CN113963051A - 基于视觉信息和特征提取的目标直径自动测量方法和系统 - Google Patents
基于视觉信息和特征提取的目标直径自动测量方法和系统 Download PDFInfo
- Publication number
- CN113963051A CN113963051A CN202111077878.1A CN202111077878A CN113963051A CN 113963051 A CN113963051 A CN 113963051A CN 202111077878 A CN202111077878 A CN 202111077878A CN 113963051 A CN113963051 A CN 113963051A
- Authority
- CN
- China
- Prior art keywords
- points
- point
- nut
- edge
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 39
- 230000000007 visual effect Effects 0.000 title claims abstract description 23
- 238000000691 measurement method Methods 0.000 title claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 86
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000011218 segmentation Effects 0.000 claims description 64
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 8
- 230000001154 acute effect Effects 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims 1
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 abstract description 40
- 238000005259 measurement Methods 0.000 abstract description 28
- 229910052742 iron Inorganic materials 0.000 abstract description 20
- 238000010276 construction Methods 0.000 abstract description 12
- 238000009434 installation Methods 0.000 abstract description 12
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000003709 image segmentation Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 26
- 238000013135 deep learning Methods 0.000 description 13
- 238000002474 experimental method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000009439 industrial construction Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/08—Measuring arrangements characterised by the use of optical techniques for measuring diameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于视觉信息和特征提取的目标直径自动测量方法和系统，涉及图像分析和处理领域。首先采集目标图像,选取部分图像作为训练集图像进行标注后,放入目标检测网络中进行训练，利用训练后的网络实现对其余图像螺帽ROI区域的提取；然后在螺帽ROI区域内使用图像分割网络Mask‑RCNN网络对螺帽进行粗分割，之后基于边特征提取和边缘生长对螺帽精分割，最后计算该螺帽的尺寸信息。方法本发明可以针对电力铁塔建造中由于安装错误尺寸的螺栓带来的安全隐患以及人工检测耗时耗力的问题，实现了对不同螺帽尺寸的自动测量，有助于实时监测电力铁塔工地安装的情况，提升安装效率和安全性，整套目标直径的测量方案可行性高，测量精准，适用性高，方案高效实用客观准确。
Description
技术领域
本发明涉及图像分析和处理领域，尤其是一种基于视觉信息和特征提取的目标直径自动测量方法和系统。
背景技术
螺栓是绝大部分工业建设中重要的连接部件，对螺栓的识别检测已成为工业建设中安全检测的重要部分。在电力铁塔构件连接中螺栓是重要组成部分，其能否正确安装直接影响铁塔的安全性能。对安装完毕的铁塔进行安全检测是质量检测的重要工序，但人工检测费时费力，为质量检测带来困难。另一方面在输电铁塔上的螺栓为了适应安装的需求往往有多种尺寸(对应到多种尺寸的螺孔上)，因此通过图像处理算法实现螺栓的自动识别与尺寸测量，对判断是否采用正确尺寸的螺栓进行构件连接，辅助铁塔安装并进行质量评估有重要意义。
近年来，研究者们多使用深度学习的方法进行螺栓的识别。现有技术中有将SIFT特征与SVM分类器相结合，实现对火车车底螺栓图像的识别。针对轨道车辆螺栓的安全隐患问题有多任务的卷积神经网络方法实现对传统识别检测方法的超越，其对螺栓松动及脱落的识别检测准确率高达80％；在起重机螺栓识别问题领域，采用Easy DL平台对模型进行训练，能够迅速准确地识别出螺栓以及螺栓在图像中的数量和位置的深度学习方法，其准确率可达92.3％；例如针对螺栓松动引发非线性、非平稳故障信号产生的现象，有一种基于VMD与LSSVM模型相结合的螺栓松动状态识别方法，有效对螺栓松动状态进行了识别，相较于EMD-LSSVM模型更为优越有效；针对塔楼螺栓在识别过程中容易受到遮挡等因素的影响，提出了一种加入残差网络的改进FasterR-CNN螺栓识别方法，其识别精度可达90％以上。
可以发现在目前的研究中，现有技术存在很多对螺栓的自动目标检测，而对螺栓的自动尺寸测量的研究较少。对螺栓(包括螺帽和螺尾)的目标检测与尺寸自动测量，能为工业检测提供方便快捷的检测方式，对辅助检测有重要意义。
发明内容
本发明通过采集复杂施工现场的电力铁塔双目图像，利用获取的双目图像以及深度信息，提出了一种基于视觉信息和特征提取的目标直径自动测量方法和系统,该方法可对铁塔构件上的螺母进行自动图像分割，并实现对螺母直径尺寸的自动检测。
本发明采用的技术方案如下：
一种基于视觉信息和特征提取的目标直径自动测量方法，主要用于对输电铁塔上的螺母直径尺寸进行自动测量，包括：
首先通过双目相机采集目标图像,选取部分图像作为训练集图像进行标注后,放入目标检测网络Faster-RCNN中进行训练，利用训练后的网络实现对其余图像螺帽图像进行自动识别与定位，得到螺帽ROI区域；然后在螺帽ROI区域内使用图像分割网络Mask-RCNN网络对螺帽进行粗分割。
在深度学习网络粗分割结果的基础上进一步采用基于边特征提取和边缘生长的螺帽精分割方法，对螺帽的粗分割结果进行进一步优化。
首先对粗分割后的螺帽图像进行膨胀操作，并截取掩膜部分作为后续步骤的初始图像；
其次，利用本实施例提出的四个边缘角度特征算子提取图像中螺帽不同角度的边缘角度特征，并去除其中小连通域作为螺帽的初始边缘特征图像；
然后，对提取的初始边缘特征图像进行角点提取，同时利用最小二乘法圆拟合和夹角判别去除不在螺帽边缘上的多余内外角点，实现角点校正，并将校正后的角点按位置顺序连接得到初始轮廓；
最后，利用校正后的角点与初始轮廓，提取距初始轮廓较远的孤立角点，并将其与其余轮廓以边缘生长的方式实现连接，再对得到的闭合轮廓进行孔洞填充并与粗分割结果叠加，得到最终的精分割结果。
获得螺帽精分割区域后，还需要进一步计算该螺帽的尺寸信息。由于分割得到螺帽形状为多边形，因此将螺帽的对边距离作为尺寸信息，对精分割的螺帽轮廓结果利用质心和轮廓点集进行轮廓特征提取，找到对应的螺帽直径线段端点，并将端点与双目相机获得的三维信息进行匹配计算，计算直径线段的三维长度平均值，并将其作为螺钉尺寸的测量结果实现对螺栓的尺寸测量。
该方法能有效实现对安装螺帽的识别以及对不同型号螺帽的尺寸测量，为铁塔建设质量监测的辅助测量提供了新的方案。
另一方面本发明还提供了一种基于视觉信息和特征提取的目标直径自动测量系统，该系统是基于前述任一目标直径的自动测量方法对应的模块单元实现的，以用于对输电铁塔上的螺帽直径尺寸进行自动测量。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明提供的基于视觉信息和特征提取的目标直径自动测量方法和系统，可以针对电力铁塔建造中由于安装错误尺寸的螺栓带来的安全隐患以及人工检测耗时耗力的问题，实现了对不同螺帽尺寸的自动测量，有助于实时监测电力铁塔工地安装的情况，提升安装效率和安全性，整套目标直径的测量方案可行性高，测量精准，适用性高，方案高效实用客观准确。
附图说明
图1是本发明实施例提供的基于视觉信息和特征提取的目标直径自动测量方法流程图。
图2是本发明实施例提供的Faster-RCNN网络整体结构。
图3是本发明实施例提供的增加检测框IOU判别机制后目标检测的结果变化,其中图3 (a)为增加检测框IOU判别机制前的检测结果,图3(b)为增加检测框IOU判别机制后的检测结果,图3(c)为图3(a)的目标检测框部分截取图；图3(d)为图3(b)的目标检测框部分截取图。
图4是本发明实施例提供的Mask-RCNN网络整体结构图。
图5是本发明实施例提供的对螺帽进行粗分割后的结果示例图。
图6是本发明实施例提供的基于边特征提取和边缘生长的螺帽精分割方法总体流程图。
图7是本发明实施例提供的算子结构图。
图8是本发明实施例提供的各边缘角度特征提取及合并后的边缘角度特征提取结果。
图9是本发明实施例提供的螺帽内部多余角点的去除结果图，其中，图9(a)中十字形点为S303步骤中检测出的角点；图9(b)是图8(a)中所有角点圆拟合的结果图，拟合圆用圆圈表示；图9(c)图是螺帽内部角点去除之后的图。
图10是本发明实施例提供的螺帽外部多余角点去除结果图，其中图10(a)和图10(b) 分别是螺帽外部角点去除之前和去除之后的图。
图11是本发明实施例提供的轮廓生长后得到的螺帽轮廓结果图，图11(a)为角点校正结果图；图11(b)为螺帽初始轮廓图；图11(c)图为利用校正后角点和初始轮廓得到的轮廓生长结果图。
图12是本发明实施例提供的精分割结果图，其中图12(a)为轮廓生长结果图；图12(b)为对图12(a)进行孔洞填充后的结果图；图12(c)为深度学习网络初始分割结果图；图12(d)为图12(b)、图12(c)叠加后结果图；图12(e)图为将精分割结果对应截取位置放回原图后的结果图。
图13是本发明实施例提供的点对集合DP中各点对连成的直径线段示例图。
图14是本发明实施例提供的螺帽的对边距离图。
图15是本发明实施例提供的对边线段的筛选过程图例，其中，图15(a)为点对集合Q1中各点对连成的直径线段示例图，图15(b)为点对集合Q2中各点对连成的线段图，图15(c) 展示了最终的对边线段筛选结果。
图16是本发明实施例提供的粗分割与精分割实验结果对比图。
具体实施方式
为了使本领域的人员更好地理解本发明的技术方案，下面结合本发明的附图，对本发明的技术方案进行清楚、完整的描述，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例，都应当属于本申请保护的范围。
以下实施例中将选取输电铁塔上螺栓中的螺母作为目标对象，从而对具体方案进行详细说明，在其他实施例中所述目标对象以适用于本发明方案并解决对应的技术问题为准。
实施例1
如图1所示，本实施例为一种基于视觉信息和特征提取的目标直径自动测量方法，主要用于对输电铁塔上的螺母直径尺寸进行自动测量，包括如下步骤，
S01，通过双目相机采集目标图像,选取部分图像作为训练集图像进行标注后,放入目标检测网络Faster-RCNN中进行训练，利用训练后的网络实现对其余图像中的螺帽进行自动识别与定位，得到螺帽ROI区域；
为实现对螺帽的自动尺寸测量，需先对螺帽进行自动检测，实现螺帽ROI自动分割。 Faster-RCNN是目标检测领域较为经典的网络之一，由S Ren等人于2015年提出，该网络具有检测速度快、精度高的特点，已被多个领域广泛应用。输入待测图像后，网络通过卷积层提取特征图，将特征图输入区域提案(RPN)网络，RPN网络对ROI进行分类和初步回归，并对大小不同的ROI进行固定，最后利用卷积进行分类和回归坐标，得到检测结果，所述Faster-RCNN网络整体结构图如图2所示。
由于网络目标检测后会出现一个目标检测出多个重叠框的情况，为解决这一问题，本实施例步骤S01中基于Faster-RCNN网络对螺帽进行自动识别与定位,在原Faster-RCNN网络的基础上增加了检测框IOU判别机制，将训练集图像与其对应的标注目标框.xml文件送入改进后的目标检测网络Faster-RCNN中进行训练识别后,通过计算各个检测框之间的交并比将重叠框中分类概率较小的框去除，避免了多个检测框重叠的情况。
所述检测框IOU判别机制具体包括:
Faster-RCNN网络在对目标进行定位及分类识别时，会对候选区域属于各类别的概率分数进行计算，本实施例将网络检测到的各类别概率分数均小于0.5的框滤除，对剩下的检测框进行两两交并比计算，判断其是否重叠，并删除其中概率分数更低的一类，使用的交并比计算公式如下：
Scross＝(downrow_min-uprow_max)*(rightcolumn_min-leftcolumn_max) (1)
IOU＝Scross/(S1+S2-Scross) (2)
其中，IOU为两检测框的交并比，Scross为两检测框相交部分面积，downrow_min、uprow_max、rightcolumn_min、leftcolumn_max分别代表两检测框并集所在位置的最小行数、最大行数、最小列数、最大列数，S1、S2分别为原两检测框面积。
在一个实施例中将IOU的判别阈值设为80％，即当两检测框重叠部分面积超过其面积和的80％时，认为其检测对象为同一个目标，对其中概率分数更低的检测框执行滤除操作，使得同一个目标处只保留一个概率分数最高的检测框。图3为增加检测框IOU判别机制后目标检测的结果变化,其中图3(a)为增加检测框IOU判别机制前的检测结果,图3(b)为增加检测框IOU判别机制后的检测结果,图3(c)为图3(a)的目标检测框部分截取图；图3(d)为图3(b)的目标检测框部分截取图。
S02，在螺帽ROI区域内使用图像分割网络Mask-RCNN网络对螺帽进行粗分割。
Mask-RCNN网络在Faster-RCNN网络的基础上，将ROI pooling层改为了ROI Align层，并加入了FCN层生成分割部分的掩模，实现对目标物体的识别与分割。本实施例利用迁移学习方法，在MS COCO数据集预训练模型的基础上用本实验数据训练，从而用较少的数据获得更高的识别准确率。
Mask-RCNN总体结构分为五部分：卷积层、区域提案网络RPN(Region ProposalNetworks)、RoI校准层、分类层和掩膜层。输入待测图像后，卷积层通过一系列卷积层深度挖掘图像中的特征信息，得到特征图；在RPN网络中，特征图通过softmax层将特征图中的候选框锚点(anchors)分为前景或背景两类(前景即为检测目标)，或利用边界框回归算法对锚框进行修正，得到精确的候选区域；RoI校准层通过双线性插值法固定特征图上的目标像素位置，将检测目标掩码与原图对应像素对齐；分类层利用之前检测到的ROI进行分类和回归，实现检测框定位与分类；掩膜层通过FCN(Fully Convolution Network)实现目标分割掩膜的生成。Mask-RCNN网络整体结构图如图4所示。
本实施例中应用Mask-RCNN网络实现对螺帽的粗分割，如图5所示为对螺帽进行粗分割后的结果示例图。
S03，对粗分割后的螺帽图像进行精分割处理，利用边缘角度特征提取螺帽初始轮廓，去除多余角点实现角点校正，并利用边缘生长的方法螺帽进行精分割，得到精分割后的螺帽图像。
由于受光照、距离等条件的影响，本实施例的应用场景中双目摄像头实时拍摄图像中的螺帽状态会有所差异，深度学习网络对于各种状态下的图片学习不够全面，因此会出现分割不准确的情况。为得到更加精确的螺帽分割结果，本实施例在深度学习网络分割结果的基础上进一步提出了基于边特征提取和边缘生长的螺帽精分割方法，对螺帽的粗分割结果进行进一步优化。
基于边特征提取和边缘生长的螺帽精分割方法总体流程如图(6)所示，包括：
S301，对粗分割后的螺帽图像进行膨胀操作，并截取掩膜部分作为后续步骤的初始图像；
S302，利用本实施例提出的四个边缘角度特征算子提取图像中螺帽不同角度的边缘角度特征，并去除其中小连通域作为螺帽的初始边缘特征图像；
S303，对提取的初始边缘特征图像进行角点提取，同时利用最小二乘法圆拟合和夹角判别去除不在螺帽边缘上的多余内外角点，实现角点校正，并将校正后的角点按位置顺序连接得到初始轮廓；
S304，利用校正后的角点与初始轮廓，提取距初始轮廓较远的孤立角点，并将其与其余轮廓以边缘生长的方式实现连接，再对得到的闭合轮廓进行孔洞填充并与粗分割结果叠加，得到最终的精分割结果。
进一步的，在步骤S302中采用了四个基于螺帽形状特征提出的边缘角度特征算子，由于螺帽边缘呈较为规则的六边形，本实施例中设计了分别代表0/180°、45°/225°、90°/270°、 135°/315°的四个边缘角度特征算子用于对螺帽的边缘角度特征提取，各算子结构如图7所示。
如图7所示，四个边缘角度特征算子均为3*3模板，用其依次遍历图像除最外圈外的每一个像素，即可得到边缘角度特征提取后图像，具体计算公式如下式(3)到(7)所示。
edge(m,n)＝edgea(m,n)+edgeb(m,n)+edgec(m,n) (7)
其中，edge(m,n)表示最终求得的边缘角度特征提取结果；edgea(m,n)、edgeb(m,n)、 edgec(m,n)、edged(m,n)分别表示与图6对应的四个边缘角度特征算子；f(m,n)为原图像中坐标为(m,n)的像素值；cella(i,j)、cellb(i,j)、cellc(i,j)、celld(i,j)分别表示与图6对应的四个边缘角度特征算子中坐标为(i,j)的像素值。
由上述算子遍历公式可得，算子遍历结果为卷积的绝对值，每个算子可代表其自身角度与旋转180°后的角度。以上四个算子以45°为间隔涵盖了0到360°的所有角度范围，可满足任意自然状态下的螺帽边缘角度特征提取。
图8所示为各边缘角度特征提取及合并后的边缘角度特征提取结果示例。
步骤S303中采用了基于螺帽尺寸测量要求提出的角点检测方法，由于受光照环境影响，由前述步骤得到的螺帽初始轮廓存在不完整的情况，因此本实施例中加入了角点检测方法，在传统角点检测的基础上针对螺帽的形状特征及后续的尺寸测量要求进行了改进，同时利用最小二乘法圆拟合和夹角检测去除不在螺帽边缘上的多余内外角点，实现角点校正，以获取在螺帽轮廓上的角点进而实现轮廓补充。
本实施例中的角点检测采用Shi-Tomasi角点检测算法，Shi-Tomasi在Harris的基础上对角点检测矩阵进行了改进，取得了更好的准确率和更高的检测速度。由于拍摄场景是在自然环境下，部分拍摄图像中会存在阴影，在角点检测过程中会检测出不属于螺帽真实边缘的多余角点，因此本实施例针对位于螺帽边缘内部和外部的多余角点分别提出了去除方法以实现对检测角点的校正，具体校正方法如下：
S3031，对螺帽内部的多余角点进行去除；
由于螺帽内部角点处于其真实边缘角点的包围内，本实施例利用最小二乘法对检测出的所有角点进行圆拟合，并设置阈值实现对螺帽内部多余角点的去除，具体算法步骤包括：
首先将所有检测角点利用最小二乘法进行圆拟合，拟合函数的计算公式如式8所示。
其中，R是拟合圆的半径，(xc,yc)是拟合圆的圆心。对应的误差平方和计算公式如式9 所示。
其中，E为拟合曲线的误差平方和；Ri为第i个点到拟合圆圆心的欧氏距离；n为参与拟合的离散点个数。
在拟合过程中，将参与拟合的离散点质心作为拟合圆心的初始参数值，在该值的基础上向外遍历寻找使得误差平方和最小的值，即为拟合圆圆心，在求得拟合圆圆心的基础上，计算所有离散点到圆心的欧式距离的平均值，作为拟合圆半径，具体计算公式如式10所示。
其中，Rfit为拟合圆半径，其余参数与前中的相同。
其次将拟合圆的圆心作为所有角点的质心，计算所有角点到质心的欧氏距离，并以拟合圆半径的0.8为阈值，将与质心距离小于该阈值的认为是螺帽内部多余角点，并将其去除。
以任意选取的一枚螺帽为例，螺帽内部多余角点的去除结果如图9所示。
其中，图9(a)中十字形点为S303步骤中检测出的角点；图9(b)是图9(a)中所有角点圆拟合的结果图，拟合圆用圆圈表示；图9(c)图是螺帽内部角点去除之后的图。由图9(a)和图9(c)两幅图的对比可得，通过去除角点拟合圆内部距圆心较近的角点，螺帽真实边缘内部的多余角点被成功去除。
S3032，去除螺帽外部的多余角点；
由于螺帽轮廓呈较为规则的六边形，因此在螺帽真实边缘上的角点之间连线夹角为较大的钝角，而轮廓外部的角点与轮廓上角点的连线会相对较小，因此本实施例将相邻两角点之间的夹角作为判别标准，实现对螺帽轮廓外部的多余角点的去除，具体去除过程包括：
首先将螺母内部角点去除后的剩余角点按纵坐标大小分为上下两部分，并分别进行下述步骤：
将各部分中的角点按横坐标大小从左到右排序，判断当前点是否为所在部分最左/右点，若是，则设置当前点与另一部分的最左/右点及当前点在其所在部分的右/左相邻点为用于计算夹角的三点；若不是，则设置当前点与其所在部分中左右相邻点为用于计算夹角的三点；
计算三点之间的夹角作为当前点对应夹角，并判断当前点对应夹角是否为锐角，若是锐角，直接剔除当前点；若不是锐角，进一步判断当前点对应夹角是否小于未被剔除的前面点夹角均值的0.8，若小于，则直接剔除当前点，若大于则保留该当前点；
继续判断当前点是否为所在部分的最后一点，若不是最后一点，讲当前点后移1位，并重复上述去除过程，直到完成所有角点的去除处理。
螺帽外部多余角点去除结果如图10所示。
图10(a)和图10(b)两幅图分别是螺帽外部角点去除之前和去除之后的图，其中角点均用十字形表示。由上述两幅图的对比可得，夹角判别算法可以实现对在测量尺寸所需的真实边缘之外的角点的去除。
步骤S304中采用了基于角点及初始轮廓连接的轮廓生长方法，为得到螺帽的完整闭合轮廓，本步骤中将校正后的角点与初始轮廓相结合，并提出了一种结合区域生长与直线检测的两点间轮廓生长算法用于角点与角点之间、角点与轮廓之间的连接，具体步骤如下：
S3041，将校正后的相邻角点通过轮廓生长算法依次连接：
计算需连接的两点连线直线方程，计算公式如式(11)所示，
其中(x1,y1)、(x2,y2)分别为需连接的两点坐标。
以两点中居左侧的点为起点，将图像中距该直线距离为d的点置为白色直至到达两点中居右侧的点，其中d为随着两点连线斜率变化的自适应距离，其计算方式如公式(12)：
(2)孤立角点提取：计算校正后的角点与初始轮廓的最短距离，将最短距离大于所有角点平均距离2倍的点认为是不在初始轮廓内的孤立角点；
(3)将孤立角点以纵坐标均值为界分为上、下部分，通过轮廓生长算法将上部分最左侧孤立点与初始轮廓左半部分的最高点连接，最右侧孤立点与初始轮廓右半部分的最高点连接；下部分最左侧孤立点与初始轮廓左半部分的最低点连接，最右侧孤立点与初始轮廓右半部分的最低点连接，得到最终的螺帽轮廓结果。
轮廓生长后得到的螺帽轮廓结果如图11所示。
图11(a)为角点校正结果图；图11(b)为螺帽初始轮廓图；图11(c)图为利用校正后角点和初始轮廓得到的轮廓生长结果图。由图11(c)可以看出，轮廓生长算法实现了对初始轮廓和孤立角点的连接，虽然为了保证轮廓的闭合性，轮廓内部会出现多余的连线，但在后续步骤中通过孔洞填充会解决这一问题。
将上一步得到的闭合螺帽轮廓进行孔洞填充，则得到了完整的螺帽分割图像，将该图像按预处理过程中的对应截取位置放回原图中，并与深度学习网络分割的初始结果叠加，得到最终的精分割结果，如图12所示。
图12(a)为轮廓生长结果图；图12(b)为对图12(a)进行孔洞填充后的结果图；图12(c)为深度学习网络初始分割结果图；图12(d)为图12(b)、图12(c)叠加后结果图；图12(e)图为将精分割结果对应截取位置放回原图后的结果图。由图12(c)、图12 (d)对比可得，本实施例所采用的精分割方法相对深度网络初始粗分割的结果有了较大的改进。
S04，基于双目深度信息与轮廓特征对目标尺寸进行自动测量；
获得螺帽精分割区域后，还需要进一步计算该螺帽的尺寸信息。由于分割得到螺帽形状为多边形，因此将螺帽的对边距离作为尺寸信息。
对精分割的螺帽轮廓结果利用质心和轮廓点集进行轮廓特征提取，找到对应的螺帽直径线段端点，并将端点与双目相机获得的三维信息进行匹配计算，计算直径线段的三维长度平均值，并将其作为螺帽尺寸的测量结果实现对螺帽的尺寸测量。该方法能有效实现对安装螺帽的识别以及对不同型号螺帽的尺寸测量，为铁塔建设质量监测的辅助测量提供了新的方案。
S401，计算质心与轮廓点集坐标；
将精分割后的掩膜区域质心记为p0(uo,vo)，并利用Suzuki轮廓跟踪算法得到到按逆时针排列的掩膜区域最外圈轮廓,将轮廓坐标集合记为P1{p1(u1,v1),p2(u2,v2)…pN(uN,vN)}。其中N为轮廓像素个数。由于轮廓点组成封闭图形，则与点pi序号距离为L的点序号计算如下式(13)所示，
S402，查找直径线段端点；
在轮廓坐标集合P1中取序号为i的轮廓点pi,将pi和待选择点集合
中各点分别连成线段,分别计算质心p0到各线段的距离。将距离质心p0的最短线段
作为直径线段，其中
为pi和pj两点连成的线段，即pj即为点pi所在轮廓直径线段对应的另一个端点，如式(14)-(15)所示。
dtck＝|(vi-vf(i,l))*uo+(uf(i,l)-ui)*vo+(ui*vf(i,l)-vi*uf(i,l))| (14)
遍历一半轮廓点，得到直径线段端点的点对集合DP{(p11,p12),…,(pn1,pn2)}，其中n为[N/2]。图13展示了点对集合DP中各点对连成的直径线段示例图。
S403，筛选对边线段；
螺帽轮廓为六边形，本文测量的尺寸D为螺帽的对边距离，如图14所示。
因此需要在点对集合DP中筛选出对边线段。图15展示了对边线段的筛选过程图例。步骤如下所示，
S4031，计算点对集合DP中各点对所连成直径的图像坐标长度距离序列，记为lp(i)。计算公式如式(16)所示。
提取lp(i)序列中极小值索引集合idx0,序列极小值通过一阶差分计算。将点对集合DP中索引在集合idx0内的点对集作为图像坐标长度极小值点对集合 Q1{(q111,q112),…,(q1m1,q1m2)},如式(17)-(19)所示，其中m为idx0元素个数。图15(a) 展示了点对集合Q1中各点对连成的直径线段示例图。
diff(i)＝lp(i+1)-lp(i),(i∈Z[1,n-1]) (17)
idx0＝{k|diff(k)<0 and diff(k-1)<0,k∈Z[1,n-1]} (18)
Q1＝{DP(r)|r∈idx0} (19)
其中diff指直径线段长度序列的一阶方差；DP是指前述步骤中算出的直径端点的点对集合；r为直径线段长度极小值对应的点对在点对集合DP中的索引。
S4032，对idx0集合中元素按降序排列，将第一个元素入栈。按序遍历所有元素，若元素值与栈顶元素值大于[N/5]，则入栈。遍历完成后，将栈中所有元素记为集合idx1。将点对集合DP中索引在idx1内的各点对元素记为点对集合Q2{(q211,q212),…,(q2n1,q2n2)}，如式(20)所示。其中n为idx1元素个数。图15(b)展示了点对集合Q2中各点对连成的线段图。
Q2＝{DP(r)|r∈idx1} (20)
S4033)若n大于3，则计算集合Q2中各点对的图像坐标长度值，并按降序排列。选取坐标长度值为排序前三的点对作为最后的线段端点点对集合Q{(q11,q12),…,(qn1,qn2)}；否则， Q2即为对边线段的端点集合筛选结果Q。图15(c)展示了最终的对边线段筛选结果。
S404，螺帽尺寸计算；
计算点对集合Q中，各点对qi1与qi2在双目深度图像中对应点的三维欧氏距离，将其作为对边直径长度。将测量的所有对边直径长度的平均值作为测得的螺钉尺寸，如式(21)所示。
其中，(xi1,yi1,zi1)是qi1的三维坐标，(xi2,yi2,zi2)是qi2的三维坐标，D为直径长度的平均值，由此即得到螺帽的计算直径尺寸。
实施例2
本实施例主要提供一种基于视觉信息和特征提取的目标直径自动测量方法和系统，该系统主要用于对螺母的直径尺寸进行自动测量，并且该系统是基于前述任一实施例中的直径自动测量方法实现的。
实施例3
螺栓作为电力铁塔的重要连接部件，对其进行识别检测是质量监测中的重要工序。而人工检测费时费力，需要自动实时的检测手段优化检测流程。因此本发明实施例提出如前述任一实施例中的基于视觉信息的螺帽直径尺寸自动测量发明与系统，通过采集施工现场的电力铁塔双目图像，提出使用基于深度学习与图像边缘特征提取的螺帽尺寸自动检测算法，对螺帽进行识别检测后，用分割网络实现初步分割，并在此基础上提出基于边特征提取与边缘生长的螺母精分割算法，对分割结果进行进一步改良，实现对尺寸测量结果的优化。
为了验证和说明本发明提出的方法与系统在实践应用中的有益效果，将通过一系列实验和实验结果进行详细说明。
(1)实验数据
本实验视频数据由双目相机在国家电网施工现场的铁塔底部实地拍摄所得。其中。双目相机选取的是Stereolab开发的ZED 2系列相机，其基线距离为12cm，视场为110°，深度检测范围可达0.3m-20m。ZED 2相机支持多平台开发，Windows、Linux均可使用，且支持C++、Python、Matlab等多类编程语言。Zed 2双目相机采集的视频格式为.svo，视频分辨率为2K，帧率为15。实验共拍摄1343张图片，其中704张图像中包含螺帽，共计285 颗螺帽。
(2)结果分析
本实验通过Mask-RCNN网络对识别的螺帽进行图像粗分割；粗分割的结果再通过基于边特征提取与边缘生长的算法实现对螺帽的精分割；最后对精分割结果进行图像处理获得直径端点，实现三维尺寸的测量。
实验数据中含实验285个螺帽作为实验对象，其中类型1(直径30.08mm)螺帽103颗，类型2(直径36.37mm)螺帽182颗。基于深度学习与图像边缘特征提取的螺帽尺寸自动检测算法实现螺帽尺寸自动测量，其检测结果如表1所示。
表1:基于深度学习与图像边缘特征提取的螺帽尺寸自动检测结果
由表1可知，在测试的285个螺帽中，类型1数量为103个，类型2数量为182个。类型1算法所得尺寸平均值为29.1790mm，其中得到的测量最小误差仅为0.1231mm，平均误差为2.9655mm；类型2算法所得尺寸平均值为36.7020mm，其中得到的测量最小误差为0.0319mm，平均误差为2.8880mm。实验所得的最小误差较小，且测量的两类螺帽尺寸的平均误差不超过3mm，具有良好的测量精度，可实现对螺帽尺寸的初步测量。
(3)螺帽的粗分割与精分割实验对比
进行粗分割后的螺尾区域与标准区域相比仍有一定差距，因此需要对粗分割结果进行进一步精分割，并将精分割结果进行尺寸计算。粗分割结果的基础上，使用提出的基于边特征提取与边缘生长的螺母精分割算法，实现对螺帽的精分割。从实验结果来看，采用的精分割算法可以实现对螺帽尺寸检测精度的提高。
表2:螺帽粗分割尺寸结果
对实验采用的285个螺帽进行粗分割与尺寸计算，其中类型1数量为103个，类型2数量为182个。若将粗分割结果进行尺寸计算，得到的结果如表2所示。类型1得到的尺寸平均值为27.5954mm，平均误差为3.5825mm；类型2得到的尺寸平均值为33.5316mm，平均误差为3.4192mm。
将粗分割结果通过精分割算法后，经过尺寸计算，得到的结果如表2。类型1得到的算法计算尺寸为29.1790mm，其得到的平均误差为2.9655mm；类型2得到的算法计算尺寸为36.7020mm，其得到的平均误差为2.8880mm。
从图16可知，与粗分割结果相比，两种类型的螺帽尺寸计算结果的平均误差均有降低。其中，类型1平均误差从3.5825mm降为2.9655mm；类型2的平均误差从3.4192mm降为了2.8880mm；而总体的平均误差从3.4764mm降为了2.9152mm。由此可知，精分割算法能有效降低误差，提高测量精度。
本发明针对电力铁塔安装质量人工检测费时费力的现状，通过在国家电网施工工地使用双目相机进行数据采集，提出了基于视觉信息、深度学习与图像边缘特征提取的目标螺帽尺寸自动检测算法。首先，使用基于Faster-RCNN的改进目标检测网络实现对螺帽自动检测；其次，将识别所得的ROI螺帽区域通过基于Mask-RCNN的分割网络，得到粗分割结果；针对部分粗分割尺寸计算结果误差较大的情况，提出基于边特征提取与边缘生长的螺母精分割算法，对螺帽粗分割结果进行精分割；利用质心和轮廓点集找到精分割结果中螺帽对应的直径线段端点，再将端点与双目深度信息提供的三维信息相匹配，得到尺寸的三维长度平均值，平均误差小于3mm。通过实验证明，本发明提出的基于深度学习与图像边缘特征提取的螺帽尺寸自动检测算法能实现对螺帽的识别以及尺寸的初步测量。而对尺寸测量精度的进一步优化是下一步研究的重点。
本发明技术方案可以有效测量电力铁塔建造中的螺帽尺寸，有助于实时监测电力铁塔工地安装的情况，提升安装效率和安全性。
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
Claims (10)
1.一种基于视觉信息和特征提取的目标直径自动测量方法，用于对螺帽直径尺寸进行自动测量，其特征在于，包括如下步骤，
S01，通过双目相机采集目标图像，选取部分图像作为训练集图像进行标注后，放入目标检测网络中进行训练，利用训练后的网络实现对其余图像中的螺帽进行自动识别与定位，得到螺帽ROI区域；
S02，在螺帽ROI区域内使用图像分割网络对螺帽进行粗分割；
S03，对粗分割后的螺帽图像进行精分割处理，利用边缘角度特征提取螺帽初始轮廓，去除多余角点实现角点校正，并利用边缘生长的方法螺帽进行精分割，得到精分割后的螺帽图像；
S04，基于三维点云坐标对螺帽直径尺寸进行计算。
2.如权利要求1所述的一种基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，步骤S01中通过采用Faster-RCNN目标检测网络结合检测框IOU判别机制对采集的图像进行自动识别与定位、并获取螺帽ROI区域，在Faster-RCNN网络在对目标进行定位及分类识别时，对候选区域属于各类别的概率分数进行计算，将网络检测到的各类别概率分数均小于一阈值的框滤除，对剩下的检测框进行两两交并比计算，判断其是否重叠，并删除其中概率分数更低的一类，使用的交并比计算公式如下式(1)-(2)：
Scross＝(downrow_min-uprow_max)*(rightcolumn_min-leftcolumn_max) (1)
IOU＝Scross/(S1+S2-Scross) (2)
其中，IOU为两检测框的交并比，Scross为两检测框相交部分面积，downrow_min、uprow_max、rightcolumn_min、leftcolumn_max分别代表两检测框并集所在位置的最小行数、最大行数、最小列数、最大列数，S1、S2分别为原两检测框面积。
3.如权利要求2所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，S03中对螺帽进行精分割方法具体包括：
S301，对粗分割后的螺帽图像进行膨胀操作，并截取掩膜部分作为后续步骤的初始图像；
S302，利用四个边缘角度特征算子提取图像中螺帽不同角度的边缘角度特征，并去除其中小连通域作为螺帽的初始边缘特征图像；
S303，对提取的初始边缘特征图像进行角点提取，同时利用最小二乘法圆拟合和夹角判别去除不在螺帽边缘上的多余内外角点，实现角点校正，并将校正后的角点按位置顺序连接得到初始轮廓；
S304，利用校正后的角点与初始轮廓，提取距初始轮廓较远的孤立角点，并将其与其余轮廓以边缘生长的方式实现连接，再对得到的闭合轮廓进行孔洞填充并与粗分割结果叠加，得到最终的精分割结果。
4.如权利要求3所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，步骤S302中采用四个基于螺帽形状特征提出的边缘角度特征算子，用其依次遍历图像除最外圈外的每一个像素，即可得到边缘角度特征提取后图像，具体计算公式如下式(3)到(7)所示：
edge(m,n)＝edgea(m,n)+edgeb(m,n)+edgec(m,n) (7)
其中，edge(m,n)表示最终求得的边缘角度特征提取结果；edgea(m,n)、edgeb(m,n)、edgec(m,n)、edged(m,n)分别表示四个边缘角度特征算子；f(m,n)为原图像中坐标为(m,n)的像素值；cella(i,j)、cellb(i,j)、cellc(i,j)、celld(i,j)分别表示四个边缘角度特征算子中坐标为(i,j)的像素值。
5.如权利要求4所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，步骤S303中利用最小二乘法圆拟合和夹角判别去除不在螺帽边缘上的多余内外角点，实现角点校正具体包括：
S3031，利用最小二乘法圆拟合对螺帽内部的多余角点进行去除；
S3032，将相邻两角点之间的夹角作为判别标准去除螺帽外部的多余角点。
6.如权利要求5所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，S3031中对螺帽内部的多余角点进行去除具体步骤包括：
首先将所有检测角点利用最小二乘法进行圆拟合，拟合函数的计算公式如式(8)所示：
其中，R是拟合圆的半径，(xc，yc)是拟合圆的圆心，对应的误差平方和计算公式如式(9)所示：
其中，E为拟合曲线的误差平方和；Ri为第i个点到拟合圆圆心的欧氏距离；n为参与拟合的离散点个数；
在拟合过程中，将参与拟合的离散点质心作为拟合圆心的初始参数值，在该值的基础上向外遍历寻找使得误差平方和最小的值，即为拟合圆圆心，在求得拟合圆圆心的基础上，计算所有离散点到圆心的欧式距离的平均值，作为拟合圆半径，具体计算公式如下式(10)所示：
其中，Rfit为拟合圆半径；
其次将拟合圆的圆心作为所有角点的质心，计算所有角点到质心的欧氏距离，并以拟合圆半径的0.8为阈值，将与质心距离小于该阈值的认为是螺帽内部多余角点，并将其去除。
7.如权利要求5所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，S3032去除螺帽外部的多余角点的具体步骤包括：
首先将螺母内部角点去除后的剩余角点按纵坐标大小分为上下两部分，并分别进行下述步骤：
将各部分中的角点按横坐标大小从左到右排序，判断当前点是否为所在部分最左/右点，若是，则设置当前点与另一部分的最左/右点及当前点在其所在部分的右/左相邻点为用于计算夹角的三点；若不是，则设置当前点与其所在部分中左右相邻点为用于计算夹角的三点；
计算三点之间的夹角作为当前点对应夹角，并判断当前点对应夹角是否为锐角，若是锐角，直接剔除当前点；若不是锐角，进一步判断当前点对应夹角是否小于未被剔除的前面点夹角均值的0.8，若小于，则直接剔除当前点，若大于则保留该当前点；
继续判断当前点是否为所在部分的最后一点，若不是最后一点，讲当前点后移1位，并重复上述去除过程，直到完成所有角点的去除处理。
8.如权利要求1所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，步骤S304中利用校正后的角点与初始轮廓，提取距初始轮廓较远的孤立角点，并将其与其余轮廓以边缘生长的方式实现连接的具体过程包括：
S3041，将校正后的相邻角点通过轮廓生长算法依次连接：
计算需连接的两点连线直线方程，计算公式如式(11)所示，
其中(x1，y1)、(x2，y2)分别为需连接的两点坐标；
以两点中居左侧的点为起点，将图像中距该直线距离为d的点置为白色直至到达两点中居右侧的点，其中d为随着两点连线斜率变化的自适应距离，其计算方式如公式(12)：
(2)孤立角点提取：计算校正后的角点与初始轮廓的最短距离，将最短距离大于所有角点平均距离2倍的点认为是不在初始轮廓内的孤立角点；
(3)将孤立角点以纵坐标均值为界分为上、下部分，通过轮廓生长算法将上部分最左侧孤立点与初始轮廓左半部分的最高点连接，最右侧孤立点与初始轮廓右半部分的最高点连接；下部分最左侧孤立点与初始轮廓左半部分的最低点连接，最右侧孤立点与初始轮廓右半部分的最低点连接，得到最终的螺帽轮廓结果。
9.如权利要求8所述的基于视觉信息和特征提取的目标直径自动测量方法，其特征在于，S04中基于双目深度信息与轮廓特征对目标尺寸进行自动测量的具体步骤包括：
S401，计算质心与轮廓点集坐标；
将精分割后的掩膜区域质心记为p0(uo，vo)，并利用Suzuki轮廓跟踪算法得到到按逆时针排列的掩膜区域最外圈轮廓，将轮廓坐标集合记为P1{p1(u1，v1)，p2(u2，v2)…pN(uN，vN)}；其中N为轮廓像素个数，由于轮廓点组成封闭图形，则与点pi序号距离为L的点序号计算如下式(13)所示，
S402，查找直径线段端点；
在轮廓坐标集合P1中取序号为i的轮廓点pi，将pi和待选择点集合
中各点分别连成线段，分别计算质心p0到各线段的距离；将距离质心p0的最短线段
作为直径线段，其中
为pi和pj两点连成的线段，即pj即为点pi所在轮廓直径线段对应的另一个端点，如式(14)-(15)所示：
dtck＝|(vi-vf(i，l))*uo+(uf(i，l)-ui)*vo+(ui*vf(i，l)-vi*uf(i，l))| (14)
遍历一半轮廓点，得到直径线段端点的点对集合DP{(p11，p12)，...，(pn1，pn2)}，其中n为[N/2]；
S403，筛选对边线段，从点对集合DP中筛选对边线段，得到对边线段的端点对集合Q；
S404，螺帽尺寸计算；
计算端点对集合Q中，各点对qi1与qi2在双目深度图像中对应点的三维欧氏距离，将其作为对边直径长度，将测量的所有对边直径长度的平均值作为测得的螺钉尺寸，如式(16)所示，
其中，(xi1，yi1，zi1)是qi1的三维坐标，(xi2，yi2，zi2)是qi2的三维坐标，D为直径长度的平均值，由此即得到螺帽的计算直径尺寸。
10.基于视觉信息和特征提取的目标直径自动测量系统，其特征在于，该系统是基于权利要求1-9中任一目标直径自动测量方法对应的模块单元实现的，以用于对螺帽直径尺寸进行自动测量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111077878.1A CN113963051A (zh) | 2021-09-15 | 2021-09-15 | 基于视觉信息和特征提取的目标直径自动测量方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111077878.1A CN113963051A (zh) | 2021-09-15 | 2021-09-15 | 基于视觉信息和特征提取的目标直径自动测量方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113963051A true CN113963051A (zh) | 2022-01-21 |
Family
ID=79461464
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111077878.1A Pending CN113963051A (zh) | 2021-09-15 | 2021-09-15 | 基于视觉信息和特征提取的目标直径自动测量方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113963051A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114820620A (zh) * | 2022-06-29 | 2022-07-29 | 中冶建筑研究总院（深圳）有限公司 | 一种螺栓松动缺陷检测方法、系统及装置 |
| CN114913521A (zh) * | 2022-04-21 | 2022-08-16 | 江苏大学 | 一种计算钝化金属极化腐蚀后表面点蚀坑直径分布的方法 |
| CN115953418A (zh) * | 2023-02-01 | 2023-04-11 | 公安部第一研究所 | 安检ct三维图像中笔记本区域剥离方法、存储介质及设备 |
| CN116449041A (zh) * | 2023-06-14 | 2023-07-18 | 江苏金恒信息科技股份有限公司 | 连铸坯取样系统及方法 |
| CN117029733A (zh) * | 2023-10-08 | 2023-11-10 | 中冶建筑研究总院有限公司 | 一种基于计算机视觉的螺栓松动检测方法、系统及装置 |
| CN117274366A (zh) * | 2023-11-22 | 2023-12-22 | 合肥晶合集成电路股份有限公司 | 线条边距确定方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999040539A1 (fr) * | 1998-02-04 | 1999-08-12 | Universite Pierre Et Marie Curie (Paris Vi) | Procede de segmentation spatiale d'une image en objets visuels et application |
| CN107633267A (zh) * | 2017-09-22 | 2018-01-26 | 西南交通大学 | 一种高铁接触网支撑装置腕臂连接件紧固件识别检测方法 |
| CN110827311A (zh) * | 2019-11-05 | 2020-02-21 | 中铁十一局集团电务工程有限公司 | 一种基于成像法的电缆导体截面积测量方法及系统 |
| CN112785596A (zh) * | 2021-02-01 | 2021-05-11 | 中国铁建电气化局集团有限公司 | 基于dbscan聚类的点云图螺栓分割和高度测量方法 |
-
2021
- 2021-09-15 CN CN202111077878.1A patent/CN113963051A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999040539A1 (fr) * | 1998-02-04 | 1999-08-12 | Universite Pierre Et Marie Curie (Paris Vi) | Procede de segmentation spatiale d'une image en objets visuels et application |
| CN107633267A (zh) * | 2017-09-22 | 2018-01-26 | 西南交通大学 | 一种高铁接触网支撑装置腕臂连接件紧固件识别检测方法 |
| CN110827311A (zh) * | 2019-11-05 | 2020-02-21 | 中铁十一局集团电务工程有限公司 | 一种基于成像法的电缆导体截面积测量方法及系统 |
| CN112785596A (zh) * | 2021-02-01 | 2021-05-11 | 中国铁建电气化局集团有限公司 | 基于dbscan聚类的点云图螺栓分割和高度测量方法 |
Non-Patent Citations (1)
| Title |
|---|
| 李煊等: "水下双目视觉系统中的目标分割和目标定位", 华中科技大学学报（自然科学版）, vol. 45, no. 12, 31 December 2017 (2017-12-31), pages 53 - 59 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913521A (zh) * | 2022-04-21 | 2022-08-16 | 江苏大学 | 一种计算钝化金属极化腐蚀后表面点蚀坑直径分布的方法 |
| CN114913521B (zh) * | 2022-04-21 | 2024-03-19 | 江苏大学 | 一种计算钝化金属极化腐蚀后表面点蚀坑直径分布的方法 |
| CN114820620A (zh) * | 2022-06-29 | 2022-07-29 | 中冶建筑研究总院（深圳）有限公司 | 一种螺栓松动缺陷检测方法、系统及装置 |
| CN114820620B (zh) * | 2022-06-29 | 2022-09-13 | 中冶建筑研究总院（深圳）有限公司 | 一种螺栓松动缺陷检测方法、系统及装置 |
| CN115953418A (zh) * | 2023-02-01 | 2023-04-11 | 公安部第一研究所 | 安检ct三维图像中笔记本区域剥离方法、存储介质及设备 |
| CN115953418B (zh) * | 2023-02-01 | 2023-11-07 | 公安部第一研究所 | 安检ct三维图像中笔记本区域剥离方法、存储介质及设备 |
| CN116449041A (zh) * | 2023-06-14 | 2023-07-18 | 江苏金恒信息科技股份有限公司 | 连铸坯取样系统及方法 |
| CN116449041B (zh) * | 2023-06-14 | 2023-09-05 | 江苏金恒信息科技股份有限公司 | 连铸坯取样系统及方法 |
| CN117029733A (zh) * | 2023-10-08 | 2023-11-10 | 中冶建筑研究总院有限公司 | 一种基于计算机视觉的螺栓松动检测方法、系统及装置 |
| CN117029733B (zh) * | 2023-10-08 | 2024-01-26 | 中冶建筑研究总院有限公司 | 一种基于计算机视觉的螺栓松动检测方法、系统及装置 |
| CN117274366A (zh) * | 2023-11-22 | 2023-12-22 | 合肥晶合集成电路股份有限公司 | 线条边距确定方法和装置 |
| CN117274366B (zh) * | 2023-11-22 | 2024-02-20 | 合肥晶合集成电路股份有限公司 | 线条边距确定方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113963051A (zh) | 基于视觉信息和特征提取的目标直径自动测量方法和系统 | |
| CN108596066B (zh) | 一种基于卷积神经网络的字符识别方法 | |
| CN106650640B (zh) | 一种基于激光雷达点云局部结构特征的负障碍物检测方法 | |
| CN103034863B (zh) | 一种结合核Fisher与多尺度提取的遥感影像道路获取方法 | |
| CN105740798B (zh) | 一种基于结构分析的点云场景物体识别方法 | |
| AU2020202249A1 (en) | Feature extraction from mobile lidar and imagery data | |
| CN109255350B (zh) | 一种基于视频监控的新能源车牌检测方法 | |
| CN110866430B (zh) | 一种车牌识别方法及装置 | |
| CN109543753B (zh) | 基于自适应模糊修复机制的车牌识别方法 | |
| CN105046252A (zh) | 一种人民币冠字码识别方法 | |
| CN104700398A (zh) | 一种点云场景物体提取方法 | |
| CN111046950B (zh) | 一种图像处理方法、装置、存储介质和电子装置 | |
| CN113963222A (zh) | 一种基于多策略组合的高分辨率遥感影像变化检测方法 | |
| CN114782729A (zh) | 一种基于激光雷达与视觉融合的实时目标检测方法 | |
| CN116797757A (zh) | 一种基于实景三维的城市建筑群数据采集方法 | |
| CN108154114B (zh) | 一种车道线检测的方法 | |
| CN115830359A (zh) | 复杂场景下基于目标检测和模板匹配的工件识别计数方法 | |
| CN111220619B (zh) | 一种绝缘子自爆检测方法 | |
| CN115841633A (zh) | 一种电力塔和电力线关联矫正的电力塔和电力线检测方法 | |
| CN111383286A (zh) | 定位方法、装置、电子设备及可读存储介质 | |
| CN113470017A (zh) | 基于人工智能的输电线安全预警检测方法、装置及设备 | |
| CN115131539B (zh) | 基于机器视觉的铝模板自动识别与分类系统 | |
| CN105718929A (zh) | 全天候未知环境下高精度快速圆形目标定位方法和系统 | |
| CN106652020B (zh) | 一种基于模型的塔杆三维重建方法 | |
| CN114677428A (zh) | 基于无人机图像处理的输电线覆冰厚度检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |