CN113343976A - 基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法 - Google Patents

Abstract

本发明公开了基于颜色‑边缘融合特征生长的抗高光干扰工程测量标志提取方法，包括如下步骤：在目标指定部位布设选定特征的测量标志；训练可识别指定目标物的目标检测软件模型；针对影像进行目标检测，并提取影像中的Region of Interest(ROI)区域；结合数字图像处理方法，对于提取的ROI区域基于颜色‑边缘特征进行目标初提取，完成图像预处理；按照Canny边缘检测算法对预处理后得到的图像进行边缘检测，按照指定规则选边缘轮廓内部的部分像素点作为候选种子点；以候选种子点为起始点利用生长规则进行区域生长，将符合生长规则的像素点并入生长区域，直至再无符合生长规则的像素点并入生长区域为止；最后基于生长区域进一步提取其几何特征信息及目标特征点信息。

Description

基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提 取方法

技术领域

本发明涉及机器视觉技术、数字图像处理及工程摄影测量等领域，涉及基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法，实现对图像中测量标识的目标分割识别，抗干扰能力强。

背景技术

工程摄影测量是研究对各类目标、物体进行摄影，以确定其形状、大小和几何位置的理论和技术。为求解目标物的空间信息，往往需要对目标影像进行目标分割、特征提取，从而得到解算模型的求解参数。

图像分割是将图像中指定的目标物或有意义的特征、区域提取出来的过程，是数字图像处理和机器视觉领域中目标特征提取和目标识别的基础，图像识别结果质量会直接影响到后续图像处理的效果。在图像处理和机器视觉领域，许多图像分割算法都是基于图像中物体表面产生的反射光全是漫反射的简单假设。当物体处于高光环境或者物体表面反射光包含镜面反射成分时，物体表面颜色和纹理特征会减弱甚至消失，严重影响图像分割的结果。

正确精准的图像目标特征信息是目标识别、图像匹配、物体跟踪等图像操作和工程摄影测量等工程技术应用的前提基础。随着计算机视觉技术的发展和在工业领域的推广应用，机器视觉技术的应用场景正变得越来越复杂。不同的应用场景的光源条件也不尽相同，针对复杂光照条件下的图像目标精准提取算法已经成为推动计算机视觉技术进一步在各行业领域推广应用的基础和关键。

发明内容

针对现有技术的不足，本发明的目的是提出基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法，改进和补充现有技术方法，实现图像中目标物精准分割及特征信息提取，弥补现有技术在处理高光、旋转、干扰等情况下的不足。

为实现上述目的，本发明提供如下技术方案：

基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法，包括以下步骤：

步骤S1，在目标物指定位置布设已知几何尺寸信息和指定颜色的测量标志；

步骤S2，训练深度学习目标物识别模型，对需处理的图像进行目标检测及定位，提取ROI区域；

步骤S3，结合测量标志的颜色信息，对于提取的ROI区域进行基于颜色特征的目标提取分割，按照Canny边缘检测算法对目标提取分割的图像进行边缘检测，并进行图像去噪，且选择去噪后的边缘轮廓内部像素点作为初始种子点；

步骤S4，以初始种子点为起始点利用生长规则进行区域生长，将符合生长规则的像素点并入生长区域作为新的种子点，重复生长，直至再无符合生长规则的像素点并入生长区域为止，从而从图像中分割得到测量标志区域；

步骤S5，对区域生长分割完成之后的图像进一步提取测量标志的几何信息、边缘信息及特征信息。

进一步的，所述测量标志可根据具体应用场景设计形状、尺寸、颜色等特征，标志形状可为圆环形、矩形或三角形。圆环形标志具有旋转不变性，对物体旋转场景有良好适应性。

进一步的，所述深度学习目标物识别模型为YOLO-tiny模型，具体训练过程为；

(1)利用yolo_mark软件对目标影像进行目标物标注，生成包含标注信息的txt文件，然后转换为YOLO-tiny模型训练所需数据格式，由目标影像和目标类别与位置信息构成训练所需数据集；

(2)利用深度学习框架darknet搭建YOLO-tiny神经网络模型；

(3)将数据集输入YOLO-tiny模型进行训练，得到对应的权重文件，基于OpenCv机器视觉库载入训练得到的模型文件即可对目标物进行识别。

进一步的，利用训练得到的目标识别模型对采集的影像进行目标检测，得到目标检测的验证框的中心像素点C，宽width，高height；为保证目标物的完整提取，提取原始影像中以C点为中心，λwidth和λheight为边长矩形范围内的影像为目标ROI区域。

进一步的，步骤S3的具体实现方式如下；

将步骤S2得到的ROI区域影像由RGB颜色空间转化为HSV颜色空间，解除图像中颜色和灰度级信息的联系，基于测量标志的颜色参数进行基于颜色特征的目标提取分割；对提取之后的影像进行Canny算子边缘检测，计算各个轮廓的面积A(i)，若轮廓面积A(i)小于某一固定阈值Te，则擦除该轮廓区域，实现图像去噪，选择去噪后的每个边缘轮廓内部的一个内部像素点作为初始种子点。

进一步的，步骤S4中通过判断相同光源条件下同一物体的相同材质部分表现出的相邻像素属性是否连续来实现相似区域生长，以初始种子点为起点，以8邻域最大梯度值小于某一阈值T为判别条件，向其领域像素点生长，重复判别直至所有候选种子点均生长结束为止，即可从图像中分割得到测量标志区域；生长规则如下：

当max{d₁,d₂,d₃…d₈}＜T时，该像素点被纳入生长区域；其中，

为种子像素点的R、G、B分量，R(i),G(i),B(i)为种子像素点的8邻域任一像素点的R、G、B分量，T为预设阈值。

与现有技术相比，本发明的优点和有益效果如下：

与现有技术相比，本发明是基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法，对目标物增设测量标志，基于深度学习模型、颜色-边缘融合特征和生长算法实现了高光环境下测量标志目标的特征信息精准提取，对高光、旋转、干扰等情形有良好的适应性。并且测量标志目标特征信息可用于目标运动检测、目标物姿态解算等工程领域，具有良好的工程利用价值。

附图说明

为了更清楚地说明本发明实例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要用到的附图作简要的介绍，显而易见地，下面描述的附图是本发明的一些实例，对于本领域的普通技术人员来说，在不付出创造性劳动的前提下，还可以依据这些附图获得其他的附图。

图1为基于融合特征和生长算法的测量标志目标特征信息提取方法流程图；

图2为本发明应用在夯锤目标姿态解算场景下的圆环形测量标志布设图；

图3为本发明应用在夯锤目标姿态解算场景下的基于目标检测模型提取的目标ROI影像；

图4为本发明应用在夯锤目标姿态解算场景下的基于颜色-边缘融合特征初次提取的圆环形测量标志目标；

图5为本发明应用在夯锤目标姿态解算场景下的基于图4分割结果提取的初始种子定位图；

图6为本发明应用在夯锤目标姿态解算场景下的基于图5中初始种子进行区域生长结果图；

图7为本发明应用在夯锤目标姿态解算场景下的基于图6中上边缘信息的拟合椭圆和三个特征点。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本发明普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实例以一张高光环境下强夯施工过程影像的处理过程详细阐述本发明的实施方式，通过对夯锤目标物增设圆环形测量标志，基于圆环形测量标志的颜色-边缘融合特征及生长算法实现测量标志目标特征信息提取，并基于提取的目标特征信息进行夯锤目标三维姿态解算。显然，本实例只是本发明应用实例的一种。

下面具体阐述本发明提供的基于融合特征和生长算法的测量标志目标特征信息提取方法的具体实现流程。该方法具体包括：

步骤S1：在目标物指定位置布设已知几何尺寸信息和指定颜色的测量标志。

测量标志可根据应用场景设计为不同形状，例如将测量标志设计为圆环形，圆环形标识具有旋转不变性，对于目标物旋转情况有良好的适应性；或将测量标志设计为矩形、三角形等规则形状，应用到目标物不易被遮挡、空间姿态稳定的场景中。测量标志需设计为图像背景中较少且反差较大的颜色，可提高目标在图像中的区分度。

本实施例中，设计指定几何尺寸信息和选定颜色的圆环形测量标志，并将圆环形测量标志布设到夯锤指定部位，本实例中将圆环形标识布设在夯锤通风孔处，不易被泥土掩盖遮挡。圆环形测量标志具有旋转不变性，对于目标物旋转情况有良好的适应性。将圆环形标识设计为图像背景中少见且反差较大的颜色，提高目标在图像中的显著性，图中设定为蓝色，如图2。

步骤S2：训练夯锤目标物识别模型，对强夯施工影像进行目标检测及定位，提取夯锤目标显著区域。利用训练得到的目标识别模型对采集的影像进行目标检测，得到目标检测的验证框的中心像素点C，宽width(pixel)，高height(pixel)。为保证目标物的完整提取，提取原始影像中以C点为中心，λwidth和λheight为边长矩形范围内的影像为目标ROI影像，如图3，本实施例中λ为1.1。

具体来说，目前不同的目标检测深度学习模型在模型精度、训练速度和识别速度等方面各有优势，模型训练工作可根据现场施工需求和实际应用情况及硬件设备情况灵活选择。本实例基于YOLO-tiny模型进行夯锤目标识别模型训练。强夯夯锤目标识别模型的具体训练过程为：

(1)利用yolo_mark软件对对强夯施工照片进行夯锤目标标注，生成包含标注信息的txt文件，然后转换为YOLO模型训练所需数据格式，由强夯施工照片和目标类别与位置信息构成训练所需数据集；

(2)利用深度学习框架darknet搭建YOLO神经网络模型；

(3)将数据集输入YOLO-tiny模型进行训练，得到对应的权重文件。基于OpenCv机器视觉库载入训练得到的模型文件即可对强夯夯锤目标进行识别。

步骤S3：对于提取的目标显著区域进行基于颜色特征的目标提取分割，按照Canny边缘检测算法对S2中得到的ROI影像进行边缘检测，按照指定规则进行图像去噪，且选择去噪后的边缘轮廓内部像素点作为初始种子点。

具体来说，将S2得到的ROI影像由RGB颜色空间转化为HSV颜色空间，遍历像素点，提取蓝色像素点(本实施例中，100≤H≤124,43≤S≤255,46≤V≤255)。对提取之后的影像进行Canny算子边缘检测，并通过擦除轮廓面积A(i)＜Te的轮廓区域减少细小干扰物的干扰实现图像去噪，本例中Te＝2000pixel，去噪后影像如图4。选择去噪后的每个边缘轮廓内部的中心像素点作为初始种子点，如图5。

图4为基于颜色-边缘特征简单提取的目标分割效果图，与图2相比，可见圆环形标志的右端边缘区域因高光条件而发生镜面反射导致颜色特征出现偏差，高光区无法被提取。

步骤S4：以初始种子点为起始点利用生长规则进行区域生长，将符合生长规则的像素点并入生长区域作为新的种子点，重复生长，直至再无符合生长规则的像素点并入生长区域为止。

同一光源条件下，同一材质的物体表面往往表现出的灰度、颜色等性质是连续稳定的，通过设定较小的预设阈值T，以候选种子点为起点，重复生长即可从图像中分割得到圆环形测量标志区域。

以初始种子点为起点，以8邻域最大梯度值小于某一阈值T为判别条件，向其领域像素点生长，重复判别直至所有候选种子点均生长结束为止；生长规则如下：

当max{d₁,d₂,d₃…d₈}＜T时，该像素点被纳入生长区域。其中，

为种子像素点的R、G、B分量，R(i),G(i),B(i)为种子像素点的8邻域任一像素点的R、G、B分量，本实例中T＝9。区域生长分割结果如图6。图6为基于生长规则生长的圆环形标志提取效果图，与图4相比，高光区域经区域生长得到完善，高光环境下，圆环形标志被完整提取。针对复杂高光环境下，对测量标志进行精准提取即是本方法的突出优势，也是对现有方法的补充改进。

步骤S5：基于计算几何知识对区域生长分割完成之后的图像进一步提取测量标志在图像中的质心、面积、周长等几何信息、边缘信息及基于此衍生出的特征信息。

本实施例为本方法在单目摄影测量场景下的夯锤空间姿态测量应用，故在S4完成高完整度的目标分割处理后，基于生长分割后的圆环形测量标志，提取测量标志上边缘，并基于上边缘信息采用最小二乘法拟合椭圆，如图7。提取椭圆长轴两端点以及靠近相机侧的短轴端点的像素坐标，并将三点像素坐标提供给基于三点的目标位姿估算模型进行夯锤空间姿态估算。

尽管已描述了本发明的优选实例，但本领域的技术人员一旦得知了基本的创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围所有的变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其同等技术的范围之类，则本发明也意图包含这些改动和变型在内。

其它未详细说明的部分均为现有技术。

Claims (6)

1.基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法，其特征在于，包括如下步骤：

步骤S1，在目标物指定位置布设已知几何尺寸信息和指定颜色的测量标志；

步骤S2，训练深度学习目标物识别模型，对需处理的图像进行目标检测及定位，提取ROI区域；

步骤S3，结合测量标志的颜色信息，对于提取的ROI区域进行基于颜色特征的目标提取分割，按照Canny边缘检测算法对目标提取分割的图像进行边缘检测，并进行图像去噪，且选择去噪后的边缘轮廓内部像素点作为初始种子点；

步骤S4，以初始种子点为起始点利用生长规则进行区域生长，将符合生长规则的像素点并入生长区域作为新的种子点，重复生长，直至再无符合生长规则的像素点并入生长区域为止，从而从图像中分割得到测量标志区域；

步骤S5，对区域生长分割完成之后的图像进一步提取测量标志的几何信息、边缘信息及特征信息。

2.根据权利要求1所述的基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法，其特征在于：所述测量标志的形状为圆环形、矩形或三角形。

3.根据权利要求1所述的基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法，其特征在于：所述深度学习目标物识别模型为YOLO-tiny模型，具体训练过程为；

(1)利用yolo_mark软件对目标影像进行目标标注，生成包含标注信息的txt文件，然后转换为YOLO-tiny模型训练所需数据格式，由目标影像和目标类别与位置信息构成训练所需数据集；

(2)利用深度学习框架darknet搭建YOLO-tiny神经网络模型；

(3)将数据集输入YOLO-tiny模型进行训练，得到对应的权重文件，基于OpenCv机器视觉库载入训练得到的模型文件即可对目标物进行识别。

4.根据权利要求1所述的基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法，其特征在于：利用训练得到的目标识别模型对采集的影像进行目标检测，得到目标检测的验证框的中心像素点C，宽width，高height；为保证目标物的完整提取，提取原始影像中以C点为中心，λwidth和λheight为边长矩形范围内的影像为目标ROI区域。

5.根据权利要求1所述的基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法，其特征在于：步骤S3的具体实现方式如下；

将步骤S2得到的ROI区域影像由RGB颜色空间转化为HSV颜色空间，解除图像中颜色和灰度级信息的联系，基于测量标志的颜色参数进行基于颜色特征的目标提取分割；对提取之后的影像进行Canny算子边缘检测，计算各个轮廓的面积A(i)，若轮廓面积A(i)小于某一固定阈值Te，则擦除该轮廓区域，实现图像去噪，选择去噪后的每个边缘轮廓内部的一个内部像素点作为初始种子点。

6.根据权利要求1所述的基于颜色-边缘融合特征生长的抗高光干扰工程测量标志提取方法，其特征在于：步骤S4中通过判断相同光源条件下同一物体的相同材质部分表现出的相邻像素属性是否连续来实现相似区域生长，以初始种子点为起点，以8邻域最大梯度值小于某一阈值T为判别条件，向其领域像素点生长，重复判别直至所有候选种子点均生长结束为止，即可从图像中分割得到测量标志区域；生长规则如下：

当max{d₁,d₂,d₃…d₈}＜T时，该像素点被纳入生长区域；其中，

为种子像素点的R、G、B分量，R(i),G(i),B(i)为种子像素点的8邻域任一像素点的R、G、B分量，T为预设阈值。

Images