CN113989359A - 一种基于视觉信息的目标直径自动测量方法和系统 - Google Patents
一种基于视觉信息的目标直径自动测量方法和系统 Download PDFInfo
- Publication number
- CN113989359A CN113989359A CN202111077891.7A CN202111077891A CN113989359A CN 113989359 A CN113989359 A CN 113989359A CN 202111077891 A CN202111077891 A CN 202111077891A CN 113989359 A CN113989359 A CN 113989359A
- Authority
- CN
- China
- Prior art keywords
- bolt
- screw
- edge
- tail
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 25
- 238000000691 measurement method Methods 0.000 title claims abstract description 10
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 claims abstract description 40
- 229910052742 iron Inorganic materials 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 46
- 230000011218 segmentation Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000003708 edge detection Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 238000004088 simulation Methods 0.000 claims description 5
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000000513 principal component analysis Methods 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 32
- 238000009434 installation Methods 0.000 abstract description 13
- 238000010276 construction Methods 0.000 abstract description 9
- 238000012545 processing Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于视觉信息的目标直径自动测量方法和系统，涉及图像分析和处理领域。首先采集包含目标螺栓的图像信息和深度信息，对采集的视频帧进行目标粗定位，获取各帧中目标螺栓的视觉信息，然后对包含了六角螺母和螺杆尾部杆体的螺栓尾部表面区域进行粗分割，再对螺杆尾部表面区域进行精分割，最后基于三维点云坐标对螺杆直径尺寸进行计算。本发明针对电力铁塔建造中由于安装错误尺寸的螺栓带来的安全隐患以及人工检测耗时耗力的问题，实现了对不同螺栓尺寸的自动测量，有助于实时监测电力铁塔工地安装的情况，提升安装效率和安全性，整套目标直径的测量方案可行性高，测量精准，适用性高，方案高效实用客观准确。
Description
技术领域
本发明涉及图像分析和处理领域，尤其是一种基于视觉信息的目标直径自动测量方法 和系统。
背景技术
为便于输电铁塔上螺栓的安装，往往会将螺栓孔直径尺寸调整略微大于螺栓直径尺寸， 通常为1～2mm；实际安装过程中对螺栓固件的安装常出现尺寸安装不适配的疏漏，这将直 接对铁塔的安全性能造成影响，可能引发螺栓滑移等，诸如此类的安全隐患让人担忧。另 一方面在输电铁塔上的螺栓为了适应安装的需求往往有多种尺寸(对应到多种尺寸的螺孔 上)，因此选择方便、快速、准确、合适的方法对各螺栓的尺寸进行精确测量，这对铁塔的 安全性能评估具有重要意义。
现有技术中有一些采用图像处理加分析的方法对螺栓进行定位测量。例如对螺栓、螺 母等微小零件尺寸进行了精确测量，利用涉及图像处理的微小零件尺寸测量方法进行测量 对比，但该方法受限于二维平面测量，未建立待测工件的三维模型；有的利用软件Sherlock 设计图像检测算法及特殊的尺寸测量法，实现了对螺栓的非接触测量，但该方法提供的非 接触精密测量完全基于Sherlock平台而构建，无法脱离平台；还有利用双目相机立体视觉 模型获取螺栓3D坐标的基础上根据螺栓平面的点云信息，采用最少方形方法获取螺栓的姿 态信息等，但该方法仅适配于变电站型号配件。
发明内容
本发明通过双目相机获取图像以及深度信息，基于图像信息，在利用Faster-RCNN目 标检测网络，实现螺栓自动检测后，应用Mask-RCNN分割网络和本文提出的基于边缘轮廓 修正的分割算法，实现对螺栓尾部表面区域的分割。最后结合深度信息，对螺杆实现自动 尺寸测量。
本发明采用的技术方案如下：
一种基于视觉信息的目标直径自动测量方法，包括如下步骤，
S01，采集包含目标螺栓的图像信息和深度信息，对采集的视频帧进行目标粗定位，获 取各帧中目标螺栓的视觉信息；
S02，在对目标螺栓进行粗定位后，对包含了螺杆尾部杆体的螺栓尾部表面区域进行粗 分割；
S03，对螺杆尾部表面区域进行精分割，得到精确的螺杆尾部的表面区域掩膜；
S04，基于三维点云坐标对螺杆直径尺寸进行计算。
进一步的，步骤S01中对采集的视频帧进行目标粗定位是通过采用Faster-RCNN目标检 测网络来检测图像中是否存在螺栓，并实现对螺栓在图像上的定位。
进一步的，，步骤S03中对螺杆尾部表面区域进行精分割具体包括：
S301，基于边缘特征提取螺杆尾部表面区域的初始轮廓；
S302，对螺杆尾部的初始轮廓进行进一步修正。
进一步的，S04中基于三维点云坐标对螺杆直径尺寸进行计算具体如下：
S401，对螺杆尾部的纵截面平面进行提取；
将分割得到的掩膜区域的三维点云，利用主成分分析在最大主成分向量方向投影，将投 影结果近似为螺杆纵截面平面；
S402，查找最小凸包；
将投影得到的纵截面平面采样点集合，利用凸包检测算法提取纵截面采样点最小凸包顶 点，将最小凸包顶点坐标集合记为P{(x1,y1),(x2,y2)…(xt,yt)}；
S403，螺杆直径尺寸计算；
利用向量叉乘，计算最小凸包多边形的面积area，将该值近似为螺尾面积并以此计算螺 杆直径D，计算过程如下式(9)-(10)所示：
其中，t表示点的总个数，xt、yt为第t个点的横纵坐标。
进一步的，该方法还包括步骤S05，将图像中的螺栓对应到电力塔上具体的螺栓编号， 获取对应编号螺栓的理论值，并将计算值与理论值进行对比和验证。
另一方面本发明还提供了一种基于视觉信息的目标直径自动测量系统，该系统是基于前 述任一目标直径的自动测量方法对应的模块单元实现的，以用于对输电铁塔上的螺栓直径 尺寸进行自动测量。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明提供的基于视觉信息的目标直径自动测量方法和系统，可以针对电力铁塔建造中 由于安装错误尺寸的螺栓带来的安全隐患以及人工检测耗时耗力的问题，实现了对不同螺 栓尺寸的自动测量，有助于实时监测电力铁塔工地安装的情况，提升安装效率和安全性， 整套目标直径的测量方案可行性高，测量精准，适用性高，方案高效实用客观准确。
附图说明
图1是本发明实施例提供的基于视觉信息的目标直径自动测量方法流程图。
图2是本发明实施例提供的目标视频帧以及粗定位结果图例，其中图a为目标视频帧， 图b为粗定位结果图。
图3是本发明实施例提供的粗分割图例，其中图a为螺栓目标粗定位检测结果，图b为对螺栓尾部表面区域进行粗分割的结果示意图。
图4是本发明实施例提供的canny边缘检测结果示例图。
图5是本发明实施例提供的特征边缘段选择过程示例图。
图6是本发明实施例提供的提取的初始轮廓示例图。
图7是本发明实施例提供的对初始轮廓点集的区域划分示例图，其中(a)-(d)为卷积模板，(e)为区域划分示例图。
图8是本发明实施例提供的为修正轮廓与初始轮廓对比示例图。
图9是本发明实施例提供的螺杆尾部表面区域的精分割结果示例图。
图10是本发明实施例提供的螺栓尺寸测量图例，(a)螺杆尾部表面三维点云，(b)点 云在最大主成分向量方向投影结果，(c)凸包检测结果。
图11是本发明实施例提供的螺尾精分割后尺寸测量的误差分布结果图。
图12是本发明实施例提供的螺尾精分割前后尺寸测量的误差分布对比结果图。
具体实施方式
为了使本领域的人员更好地理解本实用新型的技术方案，下面结合本发明的附图，对本 发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在 没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。
以下实施例中将选取输电铁塔上螺栓作为目标对象，从而对具体方案进行详细说明，在 其他实施例中所述目标对象以适用于本发明方案并解决对应的技术问题为准。
实施例1
如图1所示，本实施例为一种基于视觉信息的目标直径自动测量方法，主要用于对输电 铁塔上的螺栓直径尺寸进行自动测量，包括如下步骤，
S01，对采集的视频帧进行目标粗定位，获取各视频帧中目标螺栓的视觉信息；
本实施例采用双目相机作为前端数据采集设备，得到包含螺栓在内的图像信息和深度信 息。由于硬件限制，双目相机正常的工作范围为距离相机0.3m至10m处，而螺栓在采集的 图像视野中占比较小，如图2(a)所示，利用传统图像处理的方法难以对其实现精确检测 及定位。因此本实施例中采用Faster-RCNN目标检测网络来检测图像中是否存在螺栓，并 实现对螺栓在图像上的定位，定位结果如图2(b)所示。
具体的，在本实施中选择具有较强图片信息提取能力的ResNet101作为Faster-RCNN网 络的卷积层部分。
S02，对螺栓尾部表面区域进行粗分割
在对目标螺栓进行粗定位后，得到如图3(a)所示的定位结果图，可以看到在图3a中 包含了螺杆尾部杆体的螺栓尾部表面区域，因此还需要对螺杆尾部杆体的螺栓尾部表面区 域进行粗分割。
本实施例中采用图像分割网络Mask-RCNN实现对粗定位后的螺栓尾部表面区域进行粗 分割。Mask-RCNN是一种可同时实现物体检测和实例分割的网络，该网络在Faster-RCNN的 基础上将ROI池化层改为了ROI对齐层，并加入了全连接层生成分割部分的掩模，实现对 目标物体的识别与分割。由于实验数据较少，本实施例利用迁移学习方法，在MS COCO数 据集预训练模型的基础上用本实施例的数据训练，从而用较少的数据获得更高的识别准确 率。图3(b)为对图3(a)进行主要区域粗分割后的结果示意图。
S03，对螺杆尾部表面区域进行精分割
由于对螺栓的尺寸测量需得到精确的螺杆尾部的表面区域掩膜，而通过Mask-RCNN网络 得到的部分粗分割结果中除螺杆尾部表面区域外，还包含了部分螺杆杆体以及部分螺母区 域。因此本实施例中提出一种基于边缘轮廓修正的螺杆尾部表面区域精分割方法。
S301，对螺杆尾部提取初始轮廓。
由于螺杆尾部表面区域与周围区域有明显的灰度梯度变化，本文基于边缘特征，实现螺 杆表面区域的初始轮廓提取。具体步骤如下：
S3011，首先进行边缘检测，由于canny边缘检测能够连接弱边缘与强边缘，本实施例 中通过canny边缘检测算法提取螺杆尾部表面区域的边缘段，并对canny边缘检测结果进 行连通域提取，得到边缘段集合C。边缘检测结果示意如图4所示。
S3012，其次从边缘段集合中进行特征边缘段选择；由于通过canny边缘检测算法检测 得到的边缘段除了属于螺杆尾部表面区域边缘的圆弧段外，还存在干扰边缘段，因此本实 施例中通过设置以下规则对特征边缘段进行选择。
(A)计算各连通域面积，其中连通域面积最大的边缘段cm为初分割结果边缘，属于干 扰边缘段；对于连通域面积小于阈值(例如5)的边缘段，由于曲率不明显，也作为干扰边缘段。从集合C中排除以上干扰边缘段后，得到边缘段集合C1。图5a所示为边缘段集合C1的示例结果图。
(B)对C1中的每个边缘段分别通过最小二乘法进行圆拟合，对应的损失函数loss如公 式(1)和(2)所示。
由此得到拟合圆集合O1{o1(x1,y1,r1)，…,on(xn,yn,rn)}，其中(xi,yi)为边缘段中点的 坐标，r为圆半径，(xc,yc)为拟合圆心坐标，Ri、Rj表示第i个点或第j个点到拟合圆圆心 的欧式距离，m＝n，表示参与拟合的点的总个数(即组成边缘段的点总个数)。
将步骤S02中的初分割结果区域的范围长度记为l，则拟合圆半径r大于l/2或小于l/5的 边缘段判断为干扰边缘段。其中l的计算公式如下式(3)所示：
l＝max(max(Xroi)-min(Xroi),max(Yroi)-min(Yroi)) (3)
其中Xroi，Yroi分别为初分割区域的横纵坐标集合,由此得到边缘段集合C2，如图5b所 示。
(C)计算C2中由任两边缘段ci，cj得到的拟合圆之间的差异度fij，计算方法如下公式 (4)所示。
当fij小于预设阈值时，将ci，cj标记为同一集合。遍历完成后将集合内数量最多的边缘 段集作为螺杆尾部表面区域的边缘段集合C3，如图5c所示。
(D)最后计算边缘段集合C3的各拟合圆区域内所有像素点的灰度值方差。保留方差小 于200或方差最小的拟合圆的边缘段，作为最后的特征边缘段集合C4。若C4为空集，则将 边缘段集合C1作为特征边缘段集合C4。
S3013，计算螺杆尾部表面区域的初始轮廓。
通过S3012步骤中的设置规则得到的C4，即为螺杆尾部表面区域边缘的特征圆弧段集 合。将C4中所有的边缘段利用最小二乘法进行圆拟合，将拟合圆的圆心和半径取整并分别 记为(xc,yc)和rc。将该结果作为螺杆尾部表面区域初始轮廓PC，如图6所示。
S302，对螺杆尾部的初始轮廓进行进一步修正。
由于通过圆拟合的初始轮廓与实际轮廓仍存有一定差距，还需要进一步修正。本实施例 步骤中将初始轮廓点集按照横纵坐标大小分为4个区域r1-r4，区域划分的方法如下公式 (5)-(8)所示，划分示意图如图7中(e)所示。
r1＝{pr1i(xi,yi)|pr1i∈PC and xi≤xc and yi≤yc} (5)
r2＝{pr2i(xi,yi)|Pr2i∈PC and xi≤xc and yi>yc} (6)
r3＝{Pr3i(xi,yi)|Pr3i∈PC and xi>xc and yi≤yc} (7)
r4＝{Pr4i(xi,yi)|Pr4i∈PC and xi>xc and yi>yc} (8)
在如图6所示的灰度图上对四个区域进行集合坐标划分对应分别利用4个卷积核进行卷 积操作,卷据模板如图7(a)-7(d)所示。
若轮廓点上卷积值为负，则将该轮廓点八邻域中卷积核权值为1/3所在像素点作为新轮 廓点。对所有初始轮廓点进行同样的操作后，得到新的轮廓点集合。再利用Suzuki轮廓跟 踪算法对新的轮廓点集合进行外边界点提取，得到修正后的轮廓，并将修正后的轮廓作为 最后分割结果。图8为修正轮廓(外圈)与初始轮廓(内圈)的对比，图9即为螺杆尾部表面区域的精分割结果示例图。
S04，基于三维点云坐标对螺杆直径尺寸进行计算。
对于双目相机而言可获取图像中每个像素点到相机的距离，并通过针孔成像原理即可得 到每个像素点的三维坐标。本实施例中利用螺杆尾部表面区域的三维点云计算螺杆直径长 度。图10展示了本实施例中的螺杆直径尺寸测量示例图，具体测量计算步骤如下。
S401，对螺杆尾部的纵截面平面进行提取；
本实施例采取基于螺杆尾部纵截面的面积拟合方式，实现螺栓直径的计算。由于双目相 机的深度计算有一定的误差，得到的螺杆尾部表面区域像素点的三维坐标并没有严格在同 一平面内，如10(a)所示。因此将分割得到的掩膜区域的三维点云，利用主成分分析在最大 主成分向量方向投影，将投影结果近似为螺杆纵截面平面。图10(b)展示了将图10(a)的原 始三维点云进行主成分方向投影的结果。
S402，查找最小凸包；
将投影得到的纵截面平面采样点集合，利用凸包检测算法提取纵截面采样点最小凸包顶 点，将最小凸包顶点坐标集合记为P{(x1,y1),(x2,y2)…(xt,yt)}。图10(c)展示了对图10(b) 所示的螺杆尾部纵截面采样点的凸包检测结果例图。
S403，螺杆直径尺寸计算；
利用向量叉乘，计算最小凸包多边形的面积area，将该值近似为螺尾面积并以此计算螺 杆直径D，计算过程如下式(9)-(10)所示：
其中，t表示点的总个数，xt、yt为第t个点的横纵坐标。
实施例2
为方便后续检修工作，在完成螺杆直径D的计算步骤后，所述目标直径自动测量方法 还包括步骤S05，将图像中的螺栓对应到电力塔上具体的螺栓编号，获取对应编号螺栓的理 论值，并将计算值与理论值进行对比和验证，该步骤具体实现步骤如下所示。
(S501)基于GPS确定相对位置
利用GPS对拍摄点进行经纬度以及相对地面海拔定位，由此定位拍摄处在电力塔的相对 位置。根据该位置从三维建模铁塔中模拟拍摄距离截取的模型图像集中提取对应模拟图像 以及模拟图像中螺栓图像坐标及编号信息。
(S502)提取有序螺栓坐标集合
由于截取的三维建模图像为模拟拍摄距离，在电力塔上实际拍摄范围小于截取的三维模 型电力塔的视觉范围。因此，拍摄图像中的螺栓数量少于三维模型图像中的螺栓数量，将 拍摄范围内螺栓个数记为N，截取图像中螺栓个数记为M。
将拍摄图像中的螺栓群有序坐标集合记为A0，取电力塔三维模型对应区域图像中的相同 个数的有序螺栓坐标集合分别记为A1,A2,…,AT，其中
由于在前述实施例中通过步骤S01获得的目标粗定位结果为螺栓所在的矩形区域范围， 计算矩形区域的中心坐标作为螺栓图像坐标。将拍摄图像中的螺栓坐标以及电力塔三维模 型对应区域图像中选取的各螺栓坐标集合进行排序，得到有序的螺栓坐标集合
排序方式如下，
1)计算坐标集合中横坐标的平均值。
2)取小于或等于横坐标平均值的坐标作为排序靠前坐标并其按纵坐标升序排序，接着 将余下坐标按纵坐标进行降序排序。
(S503)基于距离差的螺栓匹配
计算各集合
中计算相邻螺栓坐标的特征向量
由于拍摄图像与截取的三维建模图像比例不一，将距离进行归一化处理：
计算向量
与向量
之间的循环移位距离作为集合
与集合
之间的 循环匹配差值。然后将循环匹配差值最小所在集合
作为
对应的螺栓集合，并将循环匹 配差值最小的匹配对最后拍摄图像与三维模型中螺栓的对应集合，将右移位q位次后的
与 
中螺栓编号相对应。
计算公式如下式所示，
由此得到拍摄图像中螺栓在电力塔上的具体位置螺栓编号。
(S504)在确定具体位置的螺栓编号后，可以从三维模型数据中确定该螺栓的理论尺寸， 然后将通过实施例1中的方法计算得到的螺栓尺寸和理论尺寸对比，从而可以确定该螺栓 是否为正确的尺寸型号，完成对螺栓是否正确安装的进一步验证确认。
实施例3
本实施例主要提供一种基于视觉信息的目标直径自动测量系统，该系统主要用于对输电 铁塔上的螺栓直径尺寸进行自动测量，并且该系统是基于前述任一实施例中的直径自动测 量方法实现的。
实施例4
由于螺栓是电力铁塔上重要的固定零件。在电力铁塔的建造中，人为因素会导致配套螺 栓的安装尺寸小于电力铁塔的实际孔径，造成安全隐患。同时，建造过程中，以百计数的 螺栓会进行安装固定，人工检测耗时耗力。因此本发明实施例提出如前述任一实施例中的 基于视觉信息的螺杆直径尺寸自动测量发明与系统，为了验证和说明本发明提出的方法与 系统在实践应用中的有益效果，将通过一系列实验和实验结果进行详细说明。
(1)实验数据
本实施例中采用Stereolab开发的ZED 2双目相机作为前端数据采集设备，相机基线距离为12cm，视场110°。在电力铁塔工地现场采集804张电力铁塔图像以及深度数据 作为实验数据。
(2)结果分析
实验数据共410个螺杆，其中包含两种尺寸型号的螺栓，类型1为18.17mm，类型2为20.96mm。应用本文的自动测量系统对该螺杆样本集进行直径尺寸测量误差，其测量结果如表1所示。
表1螺杆直径尺寸测量结果
由表1可知，在测试的410个螺栓中，尺寸的最小误差为0.0294mm，平均误差为1.8408mm。 其中，类型1有120个，其测量的最小误差仅为0.0413mm，平均误差为0.6764mm；类型2 有290个，其测量最小误差为0.0013mm，平均误差为1.5193mm。从测量误差来看，通过本 系统进行螺栓尺寸结果最小误差仅为0.0013mm，平均误差不超过2mm。
除误差数值外，图11显示了螺杆直径测量结果的误差分布直方图。从图11可看出，随 着误差值的增大，螺栓数量占比减小。同时，也可看出样本测量误差主要集中在小于3mm的范围内，其占比达到了92.5％。
(3)螺杆尾部区域精分割前后尺寸测量结果对比分析
粗分割后的螺杆尾部表面区域与标准区域相比有一定差距，而粗分割的结果会直接影响 最后的尺寸计算结果，因此在前述实施例中提出了基于边缘轮廓修正的分割方法对粗分割 结果进行精分割。表2所示为在精分割前后进行尺寸计算的平均误差结果，图12显示了在 精分割前后螺栓的测量误差范围。
表2有无精分割算法步骤的螺杆尺寸测量平均误差对比
由表2中的结果可知。在对螺杆尾部区域进行精分割后，系统平均误差从4.8823mm降 低到1.4434mm。实验结果在一定程度上反映了基于边缘轮廓修正的精分割步骤存在的必要 性。
可以看到针对电力铁塔建造中由于安装错误尺寸的螺栓带来的安全隐患以及人工检测 耗时耗力的问题，本发明提出的基于视觉信息的螺杆直径自动测量方法和系统，不仅实现 了对螺栓尺寸的自动测量，其实验结果表明，该测量方法和系统在实际测量中误差3mm内 的占比92.5％，且平均误差在2mm以内。
本方案可以有效测量电力铁塔建造中的螺栓尺寸，有助于实时监测电力铁塔工地安装的 情况，提升安装效率和安全性。
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征 和/或步骤以外，均可以以任何方式组合。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征 或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (10)
1.一种基于视觉信息的目标直径自动测量方法，其特征在于，包括如下步骤，
S01，采集包含目标螺栓的图像信息和深度信息，对采集的视频帧进行目标粗定位，获取各帧中目标螺栓的视觉信息；
S02，在对目标螺栓进行粗定位后，对包含了螺杆尾部杆体的螺栓尾部表面区域进行粗分割；
S03，对螺杆尾部表面区域进行精分割，得到精确的螺杆尾部的表面区域掩膜；
S04，基于三维点云坐标对螺杆直径尺寸进行计算。
2.如权利要求1所述的一种基于视觉信息的目标直径自动测量方法，其特征在于，步骤S01中对采集的视频帧进行目标粗定位是通过采用Faster-RCNN目标检测网络来检测图像中是否存在螺栓，并实现对螺栓在图像上的定位。
3.如权利要求1所述的一种基于视觉信息的目标直径自动测量方法，其特征在于，步骤S03中对螺杆尾部表面区域进行精分割具体包括：
S301，基于边缘特征提取螺杆尾部表面区域的初始轮廓；
S302，对螺杆尾部的初始轮廓进行进一步修正。
4.如权利要求3所述的一种基于视觉信息的目标直径自动测量方法，其特征在于，S301中的对螺杆尾部提取初始轮廓具体包括：
S3011，首先进行边缘检测，通过canny边缘检测算法提取螺杆尾部表面区域的边缘段，并对canny边缘检测结果进行连通域提取，得到边缘段集合C；
S3012，其次从边缘段集合中进行特征边缘段选择；由于通过canny边缘检测算法检测得到的边缘段除了属于螺杆尾部表面区域边缘的圆弧段外，还存在干扰边缘段，因此通过设置规则对特征边缘段进行选择。
S3013，计算螺杆尾部表面区域的初始轮廓；
通过S3012步骤中的设置规则得到的C4，即为螺杆尾部表面区域边缘的特征圆弧段集合，将C4中所有的边缘段利用最小二乘法进行圆拟合，将拟合圆的圆心和半径取整并分别记为(xc，yc)和rc，将该结果作为螺杆尾部表面区域初始轮廓PC。
5.如权利要求4所述的一种基于视觉信息的目标直径自动测量方法，其特征在于，步骤S3012中设置规则对特征边缘段进行选择具体为：
(A)计算各连通域面积，其中连通域面积最大的边缘段cm为初分割结果边缘，属于干扰边缘段；对于连通域面积小于阈值的边缘段，由于曲率不明显，也作为干扰边缘段，从集合C中排除以上干扰边缘段后，得到边缘段集合C1；
(B)对C1中的每个边缘段分别通过最小二乘法进行圆拟合，对应的损失函数loss如公式(1)和(2)所示：
由此得到拟合圆集合O1{o1(x1，y1，r1)，...，on(xn，yn，rn)}，其中(xi，yi)为边缘段中点的坐标，r为圆半径，(xc，yc)为拟合圆心坐标，Ri、Rj表示第i个点或第j个点到拟合圆圆心的欧式距离，m＝n表示参与拟合的点的总个数；
将步骤S02中的初分割结果区域的范围长度记为l，则拟合圆半径r大于l/2或小于l/5的边缘段判断为干扰边缘段，其中l的计算公式如下式(3)所示：
l＝max(max(Xroi)-min(Xroi)，max(Yroi)-min(Yroi)) (3)
其中Xroi，Yroi分别为初分割区域的横纵坐标集合，由此得到边缘段集合C2；
(C)计算C2中由任两边缘段ci，cj得到的拟合圆之间的差异度fij，计算方法如下公式(4)所示：
当fij小于预设阈值时，将ci，cj标记为同一集合，遍历完成后将集合内数量最多的边缘段集作为螺杆尾部表面区域的边缘段集合C3；
(D)最后计算边缘段集合C3的各拟合圆区域内所有像素点的灰度值方差，保留方差小于200或方差最小的拟合圆的边缘段，作为最后的特征边缘段集合C4；若C4为空集，则将边缘段集合C1作为特征边缘段集合C4。
6.如权利要求3所述的一种基于视觉信息的目标直径自动测量方法，其特征在于，S302中对螺杆尾部的初始轮廓进行进一步修正具体包括：
将初始轮廓点集按照横纵坐标大小分为4个区域r1-r4，区域划分的方法如下公式(5)-(8)所示：
r1＝{pr1i(xi，yi)|pr1i∈PC and xi≤xc and yi≤yc} (5)
r2＝{pr2i(xi，yi)|Pr2i∈PC and xi≤xc and yi＞yc} (6)
r3＝{Pr3i(xi，yi)|Pr3i∈PC and xi＞xc and yi≤yc} (7)
r4＝{Pr4i(xi，yi)|Pr4i∈PC and xi＞xc and yi＞yc} (8)
对四个区域进行集合坐标划分对应分别利用4个卷积核进行卷积操作，若轮廓点上卷积值为负，则将该轮廓点八邻域中卷积核权值为1/3所在像素点作为新轮廓点；对所有初始轮廓点进行同样的操作后，得到新的轮廓点集合；再利用Suzuki轮廓跟踪算法对新的轮廓点集合进行外边界点提取，得到修正后的轮廓，并将修正后的轮廓作为最后分割结果
7.如权利要求3所述的一种基于视觉信息的目标直径自动测量方法，其特征在于，S04中基于三维点云坐标对螺杆直径尺寸进行计算具体如下：
S401，对螺杆尾部的纵截面平面进行提取；
将分割得到的掩膜区域的三维点云，利用主成分分析在最大主成分向量方向投影，将投影结果近似为螺杆纵截面平面；
S402，查找最小凸包；
将投影得到的纵截面平面采样点集合，利用凸包检测算法提取纵截面采样点最小凸包顶点，将最小凸包顶点坐标集合记为P{(x1，y1)，(x2，y2)...(xt，yt)}；
S403，螺杆直径尺寸计算；
利用向量叉乘，计算最小凸包多边形的面积area，将该值近似为螺尾面积并以此计算螺杆直径D，计算过程如下式(9)-(10)所示：
其中，t表示点的总个数，xt、yt为第t个点的横纵坐标。
8.如权利要求1所述的一种基于视觉信息的目标直径自动测量方法，其特征在于，还包括步骤S05，将图像中的螺栓对应到电力塔上具体的螺栓编号，获取对应编号螺栓的理论值，并将计算值与理论值进行对比和验证。
9.如权利要求8所述的一种基于视觉信息的目标直径自动测量方法，其特征在于，步骤S05具体实现步骤如下所示：
S501，基于GPS确定相对位置
利用GPS对拍摄点进行经纬度以及相对地面海拔定位，由此定位拍摄处在电力塔的相对位置，根据该位置从三维建模铁塔中模拟拍摄距离截取的模型图像集中提取对应模拟图像以及模拟图像中螺栓图像坐标及编号信息；
S502，提取有序螺栓坐标集合；
拍摄图像中的螺栓数量少于三维模型图像中的螺栓数量，将拍摄范围内螺栓个数记为N，截取图像中螺栓个数记为M，N≤M；
将拍摄图像中的螺栓群有序坐标集合记为A0，取电力塔三维模型对应区域图像中的相同个数的有序螺栓坐标集合分别记为A1，A2，...，AT，其中
在步骤S01中获得的目标粗定位结果为螺栓所在的矩形区域范围，计算矩形区域的中心坐标作为螺栓图像坐标，将拍摄图像中的螺栓坐标以及电力塔三维模型对应区域图像中选取的各螺栓坐标集合进行排序，得到有序的螺栓坐标集合
S503，基于距离差的螺栓匹配；
计算各集合
中计算相邻螺栓坐标的特征向量
其中
由于拍摄图像与截取的三维建模图像比例不一，将距离进行归一化处理：
计算向量
与向量
之间的循环移位距离作为集合
与集合
之间的循环匹配差值，然后将循环匹配差值最小所在集合
作为
对应的螺栓集合，并将循环匹配差值最小的匹配对最后拍摄图像与三维模型中螺栓的对应集合，将右移位q位次后的
与
中螺栓编号相对应，
计算公式如下式所示，
由此得到拍摄图像中螺栓在电力塔上的具体位置螺栓编号；
S504，在确定具体位置的螺栓编号后，可以从三维模型数据中确定该螺栓的理论尺寸，然后将计算得到的螺栓尺寸和理论尺寸对比，从而可以确定该螺栓是否为正确的尺寸型号，完成对螺栓是否正确安装的进一步验证确认。
10.一种基于视觉信息的目标直径自动测量系统，其特征在于，该系统是基于权利要求1-9中任一目标直径的自动测量方法对应的模块单元实现的，以用于对输电铁塔上的螺栓直径尺寸进行自动测量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111077891.7A CN113989359A (zh) | 2021-09-15 | 2021-09-15 | 一种基于视觉信息的目标直径自动测量方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111077891.7A CN113989359A (zh) | 2021-09-15 | 2021-09-15 | 一种基于视觉信息的目标直径自动测量方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113989359A true CN113989359A (zh) | 2022-01-28 |
Family
ID=79735836
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111077891.7A Pending CN113989359A (zh) | 2021-09-15 | 2021-09-15 | 一种基于视觉信息的目标直径自动测量方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113989359A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999040539A1 (fr) * | 1998-02-04 | 1999-08-12 | Universite Pierre Et Marie Curie (Paris Vi) | Procede de segmentation spatiale d'une image en objets visuels et application |
| CN107633267A (zh) * | 2017-09-22 | 2018-01-26 | 西南交通大学 | 一种高铁接触网支撑装置腕臂连接件紧固件识别检测方法 |
| CN110827311A (zh) * | 2019-11-05 | 2020-02-21 | 中铁十一局集团电务工程有限公司 | 一种基于成像法的电缆导体截面积测量方法及系统 |
| CN112785596A (zh) * | 2021-02-01 | 2021-05-11 | 中国铁建电气化局集团有限公司 | 基于dbscan聚类的点云图螺栓分割和高度测量方法 |
-
2021
- 2021-09-15 CN CN202111077891.7A patent/CN113989359A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999040539A1 (fr) * | 1998-02-04 | 1999-08-12 | Universite Pierre Et Marie Curie (Paris Vi) | Procede de segmentation spatiale d'une image en objets visuels et application |
| CN107633267A (zh) * | 2017-09-22 | 2018-01-26 | 西南交通大学 | 一种高铁接触网支撑装置腕臂连接件紧固件识别检测方法 |
| CN110827311A (zh) * | 2019-11-05 | 2020-02-21 | 中铁十一局集团电务工程有限公司 | 一种基于成像法的电缆导体截面积测量方法及系统 |
| CN112785596A (zh) * | 2021-02-01 | 2021-05-11 | 中国铁建电气化局集团有限公司 | 基于dbscan聚类的点云图螺栓分割和高度测量方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李煊等: "水下双目视觉系 统中的目标分割和目标 定位", 华中科技大学学报（自然科学 版）, vol. 45, no. 12, 31 December 2017 (2017-12-31), pages 53 - 59 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
| CN106340044B (zh) | 摄像机外参自动标定方法及标定装置 | |
| CN103714541B (zh) | 一种利用山体轮廓区域约束识别定位建筑物的方法 | |
| CN101609504B (zh) | 一种红外图像海面目标检测识别定位方法 | |
| CN107392929B (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
| US8103055B2 (en) | Detection of blobs in images | |
| CN104359403A (zh) | 基于亚像素边缘算法的平面零件尺寸测量方法 | |
| US10043279B1 (en) | Robust detection and classification of body parts in a depth map | |
| CN101398886A (zh) | 一种基于双目被动立体视觉的快速三维人脸识别方法 | |
| CN107492107B (zh) | 基于平面与空间信息融合的物体识别与重建方法 | |
| Ouellet et al. | Precise ellipse estimation without contour point extraction | |
| CN110222661B (zh) | 一种用于运动目标识别及跟踪的特征提取方法 | |
| CN111126116A (zh) | 无人船河道垃圾识别方法及系统 | |
| CN101630407A (zh) | 基于两视几何和图分割的伪造区域定位方法 | |
| CN110120013A (zh) | 一种点云拼接方法及装置 | |
| CN112184765A (zh) | 一种基于视觉的水下航行器自主跟踪方法 | |
| CN113011285A (zh) | 车道线检测方法、装置、自动驾驶车辆及可读存储介质 | |
| CN116152697A (zh) | 一种混凝土结构裂缝的三维模型测量方法及相关装置 | |
| Wang | Automatic extraction of building outline from high resolution aerial imagery | |
| CN110851978A (zh) | 一种基于可见性的摄像机位置优化方法 | |
| CN102201060B (zh) | 一种基于形状语义的非参数轮廓跟踪评价方法 | |
| CN111444777B (zh) | 一种同时标记阴影的前视声呐目标检测标记方法 | |
| CN106204564A (zh) | 一种激光光心提取方法 | |
| CN113989359A (zh) | 一种基于视觉信息的目标直径自动测量方法和系统 | |
| CN107808160B (zh) | 三维建筑物提取方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |