CN117197215B - 基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法 - Google Patents
基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法 Download PDFInfo
- Publication number
- CN117197215B CN117197215B CN202311186302.8A CN202311186302A CN117197215B CN 117197215 B CN117197215 B CN 117197215B CN 202311186302 A CN202311186302 A CN 202311186302A CN 117197215 B CN117197215 B CN 117197215B
- Authority
- CN
- China
- Prior art keywords
- depth
- pixel
- image set
- final
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000005457 optimization Methods 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims description 19
- 238000007670 refining Methods 0.000 claims description 16
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000379 polymerizing effect Effects 0.000 claims description 3
- 238000012847 principal component analysis method Methods 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000012512 characterization method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 239000006002 Pepper Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003094 perturbing effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，涉及图像识别领域；方法包括：使用预设标定参数的五目相机采集初始五目图像集；对初始五目图像集进行预处理，得到具有亚像素边缘的最终预处理五目图像集；对初始化后的初始五目图像集进行迭代优化，并基于最终预处理五目图像集进行亚像素边缘的刻画，获得具有亚像素边缘的最终深度图，且最终深度图经过融合后得到整体点云；通过采集点云中圆孔的局部点云并进行特征拟合，获取最终圆孔的半径以及中心点坐标；本发明多目视觉圆孔特征的提取具有优良的鲁棒性且具有高效的融合速度。
Description
技术领域
本发明涉及图像识别领域，特别是涉及基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法。
背景技术
在航空航天、汽车等领域的零部件制造过程中，有必要进行在线检测。对于钣金零件，这种需求更加突出，因为其表面的特征孔将作为其他零件安装和定位的参考。传统上，作为工业中最常见的特征，圆孔测量通常由熟练的工人使用量规或卡尺进行，或由高精度的坐标测量机(CMM)进行。然而，这不可避免地会导致高劳动强度、低效率、高成本等问题，接触测量也会损坏圆孔的边缘和内壁。此外，为不同类型的钣金零件的圆孔测量任务设计的不同夹具之间的互换性较低。
目前，基于视觉的方法可以很好地解决上述问题，许多学者提出了一系列圆孔测量系统。他们首先提取高精度的椭圆边，然后通过直接重建拟合或模板匹配等方法测量圆孔的大小和位置。然而，由于钣金零件圆孔周围的划痕、锈蚀和复杂的反射，很难准确测量圆孔的位置和大小。
现有技术的缺陷和不足，由于图像处理过程中有多视图参与，不可避免地带来处理时间增长。在生产加工过程中，测量精度要求高、现场环境复杂、干扰因素多，现有的基于视觉的测量方法效果不理想。
为解决上述问题，故本文发明提出基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法。
发明内容
本发明的目的是提供一种基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，以解决上述现有技术存在的问题，使多目视觉圆孔特征的提取具有优良的鲁棒性且具有高效的融合速度。
为实现上述目的，本发明提供了如下方案：
基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，方法包括：
使用预设标定参数的五目相机采集初始五目图像集；
对初始五目图像集进行预处理，得到具有亚像素边缘的最终预处理五目图像集；
对初始化后的初始五目图像集进行迭代优化，并基于最终预处理五目图像集进行亚像素边缘的刻画，获得具有亚像素边缘的最终深度图，且最终经过最终深度图融合后得到整体点云；
通过采集点云中圆孔的局部点云并进行特征拟合，获取最终圆孔的半径以及中心点坐标。
可选的，初始五目图像集进行预处理，得到具有亚像素边缘的最终预处理五目图像集的方法包括：
初始五目图像集进行经过畸变矫正、第一平滑滤波、第二平滑滤波、图像二值化中的至少一种以及边缘检测处理后得到具有椭圆亚像素边缘的最终预处理五目图像集。
可选的，对初始化后的初始五目图像集进行迭代优化，并基于最终预处理五目图像集进行亚像素边缘的刻画，获得具有亚像素边缘的最终深度图，且最终经过最终深度图融合后得到整体点云的方法包括：
对初始五目图像集进行初始化，得到在像素原始位随机生成空间斜平面的初始化五目图像集；
将初始化五目图像集下采样两次，得到下采样初始图像集；
对下采样初始图像集包括的每一图像进行细节优化，然后基于最终预处理五目图像集对细节优化后的下采样初始图像集进行圆孔的亚像素边缘的刻画，得到具有亚像素边缘深度的最终深度图集；
对最终深度图集进行深度图融合，得到被测工件高精度的点云。
可选的，对下采样初始图像集包括的每一图像进行细节优化，然后基于最终预处理五目图像集对细节优化后的下采样初始图像集进行圆孔的亚像素边缘的刻画，得到具有亚像素边缘深度的最终深度图集的方法包括：
将下采样初始图像集经过深度优化迭代后，得到最粗尺度深度图集；
对最粗尺度深度图集进行细化，同时基于最终预处理五目图像集在细化后的最粗尺度深度图集刻画出圆孔的亚像素边缘，得到第一深度图集；
将第一深度图集上采样后进行细化，得到第二深度图集；
然后通过边缘引导多尺度一致性匹配代价对第二深度图集进行细化以及对其包括的圆孔边缘进行细化，得到最终深度图。
可选的，在将下采样初始参考图像经过深度优化迭代后，得到最粗尺度深度图的方法中，对初始化五目图像集进行多次深度优化迭代后，每次深度优化迭代产生一个新的用于下次迭代的参考深度预选图，最后一次迭代得到参考深度预选图为最粗尺度深度图。
可选的，将下采样初始图像集经过深度优化迭代后，得到最粗尺度深度图集的方法包括：
计算下采样初始图像集的第一匹配代价，得到各像素标有第一匹配代价的第一匹配代价图像；
对第一匹配代价图像进行空间平面假设的迭代传播，得到标有第二匹配代价的第二匹配代价图像；
对第二匹配代价图像进行空间平面的细化，得到具有最优像素空间斜平面的参考深度预选图；
其中，将参考深度预选图作为深度优化迭代中下一次迭代的第一参考图像。
可选的，计算下采样初始图像集的第一匹配代价，得到各像素标有第一匹配代价的第一匹配代价图像的方法包括：
将下采样初始图像集包括的任一图像设为参考图像，其它图像设为源图像；
选取参考图像中的一个像素为参考像素；
通过自适应匹配代价计算参考像素的局部匹配框与各个源图像的映射匹配框的双目匹配代价，进而通过多假设联合视图选择策略以双目匹配代价为线索计算每个初始源图像映射匹配框的自适应权重，最终通过加权平均进行多目匹配代价的计算；
得到各像素标有多视图匹配代价的第一匹配代价图像。
可选的，自适应匹配代价计算为：
式中，表示双目自适应匹配代价，Xref表示参考像素，/>表示源图像i中的对应像素，N表示被设置为BRIEF描述符的位数的归一化因子，β表示控制参数，并且设置为1.0，/>为BRIEF描述符的匹配代价，/>表示双线性归一化互相关匹配代价。
可选的，对最终深度图集进行深度图融合，得到被测工件高精度的点云的方法包括：
在五张最终深度图中选取任一张为待融合参考深度图，其它四张最终深度图为待融合源深度图；
将待融合参考深度图像中亚像素边缘的二维坐标投影到世界坐标系，在世界坐标系中生成第一世界坐标，然后通过世界坐标系将第一世界坐标投影到四个待融合源深度图中，在待融合源深度图中得到投影坐标；
基于投影坐标通过插值方法获得各待融合源深度图亚像素边缘的深度和法线；然后将各待融合源深度图具有亚像素边缘深度和法线的坐标投影到世界坐标系中，在世界坐标系中生成第二世界坐标，并通过世界坐标系将第二世界坐标投影到待融合参考深度图中，获得投影亚像素坐标；
对投影亚像素坐标的每一像素进行三项一致性阈值指标进行判断，若三项一致性阈值指标中任两项满足指标条件，则假设的空间平面将被保留，并且该判断的像素对应的空间斜平面的空间坐标以及法线的平均值为最终的立体空间坐标和法线；
将立体空间坐标聚合，得到工件表面的点云。
可选的，通过采集点云中圆孔的局部点云并进行特征拟合，获取最终圆孔的半径以及中心点坐标的方法包括：
初始五目图像集和最终预处理五目图像集中任一数据为约束图像输入数据，约束图像输入数据中的五张图像为输入图像，基于三目约束定位五张输入图像中的任三张输入图像中的每个圆孔的中心，得到圆孔中心坐标；
基于圆孔中心坐标在其预设半径的球体范围内进行点云的采样，得到圆孔的局部点云；
将局部点云进行平面拟合，得到满足预设阈值条件的特征点；
基于特征点使用主成分分析法将采样点云投影到同一二维平面，得到特征点在二维平面的投影点；
拟合二维平面内投影点的内接圆，得到二维平面内投影点的最大内接圆；
将最大内接圆反投影回三维空间中，得到最终圆孔，提取最终圆孔的半径以及中心点坐标，并对最终圆孔进行精度评价。
本发明公开了以下技术效果：
1.对初始化后的初始五目图像集进行迭代优化并基于最终预处理五目图像集进行亚像素边缘的刻画，最终经过深度图融合后得到整体点云，通过多次迭代优化提高了本申请圆孔定位和图像融合的鲁棒性；
2.分别对初始五目图像集的每个单帧图像进行预处理，在预处理中具有多层算法对初始五目图像集进行噪声处理，减少了噪声对后续亚像素边缘检测的干扰；
3.通过采集圆孔局部点云并进行特征拟合，获取最终圆孔的半径以及中心点坐标，并对最终圆孔进行精度评价，通过高精度的相机标定，保证了点云坐标在转换过程中转换因素的一致性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明种基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法的流程图；
图2为本发明Canny-Zernike亚像素边缘提取算法提取的高精度边缘例图，图2中，图2(a)为原始图像，图2(b)为图2(a)的局部放大图，图2(c)为像素级及亚像素级边缘后的例图，图2(d)为图2(c)的局部放大图；
图3为本发明工件的三维点云示意图；
图4为本发明红黑棋盘格迭代模式示意图；
图中：1，中心像素；2，拓展区域；3，拓展区域内像素最佳位置；4，非选择像素。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1-图4，本发明提供一种基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，具体方法包括：
使用预设标定参数的五目相机采集初始五目图像集；其中，初始五目图像集为五目相机中的每一目在同一时刻分别采集的单帧图像，初始五目图像集具有五张单帧的图像；
对初始五目图像集进行预处理，得到具有亚像素边缘的最终预处理五目图像集；其中，预处理方法包括畸变校正、中值滤波、高斯滤波、自适应二值化和Canny-Zernike亚像素边缘提取算法；图2中，为使用Canny-Zernike亚像素边缘提取算法对图2(a)所示的原始图像提取出图2(b)所示的像素级及亚像素级边缘的高精度边缘，其中原始图像的局部放大图如图2(c)所示、像素级及亚像素级边缘的放大图如图2(d)所示。
对初始化后的初始五目图像集进行迭代优化，并基于最终预处理五目图像集进行亚像素边缘的刻画，获得具有亚像素边缘的最终深度图，且最终经过最终深度图融合后得到整体点云；
通过采集点云中圆孔的局部点云并进行特征拟合，获取最终圆孔的半径以及中心点坐标，并对最终圆孔进行精度评价。
进一步的，对初始五目图像集进行预处理，得到具有亚像素边缘的最终预处理五目图像集的方法包括：
初始五目图像集包括的每一张图像进行经过畸变矫正、第一平滑滤波、第二平滑滤波、图像二值化中的至少一种，以及边缘检测处理后得到具有椭圆亚像素边缘的最终预处理五目图像集。
进一步的，具体的，对初始五目图像集包括的每一张图像进行畸变矫正，得到消除畸变干扰的第一预处理五目图像集；
基于第一滤波算法对第一预处理五目图像集包括的每一张图像进行第一平滑滤波，得到消除椒盐噪声的第二预处理五目图像集；第一滤波算法对每像素邻域进行中值筛选作为该像素的替代，用于消除掉图像上尤其是圆孔边缘的椒盐噪声以减少后续处理干扰；第一滤波算法采用中值滤波算法；
基于第二滤波算法对第二预处理五目图像集包括的每一张图像进行第二平滑滤波，得到消除高斯噪声的第三预处理五目图像集；第二滤波算法对每像素邻域进行加权平均作为该像素的替代，用于消除掉第二预处理五目图像集上的大部分噪声；第二滤波算法采用高斯滤波算法；
基于自适应的二值化算法对第三预处理五目图像集包括的每一张图像进行图像二值化，得到二值化的第四预处理五目图像集；二值化算法用第一灰度阈值将一个图像中的数据分为第一类图像和第二类图像,第一类图像的像素点的灰度均小于第一灰度阈值,第二类图像的像素点的灰度均大于或者等于第一灰度阈值；二值化算法采用大津法；
基于第一边缘检测算法对第四预处理五目图像集包括的每一张图像进行边缘检测，得到像素级边缘定位的第五预处理五目图像集；边缘检测算法采用Canny算子，减少亚像素提取工作量，提升边缘检测效率；
基于第二边缘检测算法对第五预处理五目图像集包括的每一张图像中的像素级边缘进行亚像素边缘计算，从而得到具有椭圆亚像素边缘的最终预处理五目图像集；椭圆边缘具有高精度特性，第二边缘检测算法采用Zernike灰度矩法。
进一步的，对初始化后的初始五目图像集进行迭代优化，并基于最终预处理五目图像集进行亚像素边缘的刻画，获得具有亚像素边缘的最终深度图，且最终经过最终深度图融合后得到整体点云的方法包括：
对初始五目图像集进行初始化，得到在像素原始位随机生成空间斜平面的初始化五目图像集；
将初始化五目图像集包括的每一图像下采样两次，得到下采样初始图像集；
对下采样初始图像集包括的每一图像进行细节优化，然后基于最终预处理五目图像集对细节优化后的下采样初始图像集进行圆孔的亚像素边缘的刻画，得到具有亚像素边缘深度的最终深度图集；
对最终深度图集进行深度图融合，得到被测工件高精度的点云。
更进一步的，S3.3具体的，由于工件表面纹理是一个相对性的度量，所以可以利用多尺度的信息提升匹配精度与点云完整性。通过将初始参考图像下采样两次，再应用多次深度优化迭代之后，获得最粗尺度的下采样参考深度图，通过边缘引导多尺度一致性匹配代价进行深度图的细化，同时刻画出圆孔的亚像素边缘，并滤除亚像素边缘所包络的内部像素的深度信息，亚像素边缘处的深度信息可根据圆孔边缘法线向外的邻域插值获得。随后将下采样最终参考深度图进行上采样，通过深度图细化模块平衡薄结构与大平面的重建精度，再次运行边缘引导多尺度一致性匹配代价进行深度图的细化与边缘的细化。重复上述上采样到深度图的细化与边缘的细化两次即可获得最终具有亚像素边缘深度的最终深度图。
进一步的，对下采样初始图像集包括的每一图像进行细节优化，然后基于最终预处理五目图像集对细节优化后的下采样初始图像集进行圆孔的亚像素边缘的刻画，得到具有亚像素边缘深度的最终深度图集的方法包括：
将下采样初始图像集经过深度优化迭代后，得到最粗尺度深度图集；
对最粗尺度深度图集进行细化，同时基于最终预处理五目图像集在细化后的最粗尺度深度图集刻画出圆孔的亚像素边缘，得到第一深度图集；
将第一深度图集上采样后进行细化，得到第二深度图集；以平衡薄结构与大平面的重建精度；
然后通过边缘引导多尺度一致性匹配代价对第二深度图集进行细化以及对其包括的圆孔边缘进行细化，得到最终深度图。
进一步的，在将下采样初始参考图像经过深度优化迭代后，得到最粗尺度深度图的方法中，对初始化五目图像集进行多次深度优化迭代后，每次深度优化迭代产生一个新的用于下次迭代的参考深度预选图，最后一次迭代得到参考深度预选图为最粗尺度深度图。
进一步的，将下采样初始图像集经过深度优化迭代后，得到最粗尺度深度图集的方法包括：
计算下采样初始图像集的第一匹配代价，得到各像素标有第一匹配代价的第一匹配代价图像；具体的，选取参考图像中的一个像素为参考像素，由于该参考像素对应了一个随机初始化的空间平面，结合五目相机的高精度标定参数，通过平面诱导单应性原理计算匹配框的中心与形状，将参考像素的局部匹配框对应到源图像中的映射匹配框；通过自适应匹配代价计算参考像素的局部匹配框与各个初始源图的像映射匹配框的双目匹配代价，进而通过多假设联合视图选择策略以双目匹配代价为线索计算每个初始源图像映射匹配框的自适应权重，最终通过加权平均进行多目匹配代价的计算，得到各像素标有多视图匹配代价的第一匹配代价图像。自适应匹配代价计算如下：
式中，表示双目自适应匹配代价，Xref表示参考像素，/>表示源图像i中的对应像素，N表示被设置为BRIEF描述符的位数的归一化因子，β表示控制参数，并且设置为1.0，/>为BRIEF描述符的匹配代价，/>表示双线性归一化互相关匹配代价。
对第一匹配代价图像进行空间平面假设的迭代传播，得到标有第二匹配代价的第二匹配代价图像；具体的，首先将整个第一匹配代价图像划分为红黑棋盘格模式，红黑棋盘格模式中红黑棋盘格为像素以红黑像素间隔设置的点阵，红色像素可以选择周围固定8个位置中的黑色像素的深度假设作为当前像素的后续假设，反之，黑色像素可以选择周围固定8个位置中的红色像素的深度假设作为当前像素的后续假设。如图4所示，选择图像中任一像素为中心像素1，将中心像素上下左右的相邻四个像素作为近像素，中心像素的上下左右第五个像素作为远像素，基于近像素和远像素设置拓展区域2，近像素位置背向中心像素开口拓展为V形区域，远像素面向中心像素拓展为长条区域，每个V形区域包含7个可采样点，每个长条区域包含11个可采样点，通过4个V形区域及4个长条区域中各像素对应的采样点对中心像素进行更新；在此基础上，分别在这8个区域的像素中分别选取局部最优假设的多视图匹配代价来表示中心点的匹配程度，其中，局部最优假设设置于拓展区域内像素最佳位置3，拓展区域内还设有非选择像素4。最后，使用棋盘传播模型以多视图聚合的最小成本更新中心像素的假设估计，将中心像素中的第一匹配代价更新为第二匹配代价，得到标有第二匹配代价的第二匹配代价图像。其中，多视图聚合代价为将五张图像中的多视图匹配代价进行加权。
对第二匹配代价图像进行空间平面的细化，得到具有最优像素空间斜平面的参考深度预选图；具体的，由于每个初始化假设的随机性，在每次红黑迭代后对平面假设图像应用细化步骤，进一步降低聚合代价，以在更大的解空间中近似对应于每个像素的真实空间平面。对于第二匹配代价图像中每个像素的法向和深度，存在三种可能的状态：法向接近优解，深度接近优解，都不接近优解。通过扰动初始深度并随机生成来获得新深度，通过扰动初始法线并随机生成来获得新法线。因此，产生两个新假设，其中一个是随机生成的，另一个是通过扰动得到的。将这些新的深度和法向与初始深度和初始法向结合起来，产生了另外六个有待检验的新假设；所有新假设中具有最小聚合成本的假设为最优假设估计，最优假设所对应的法向和深度组成的像素空间斜平面为最优像素空间斜平面，最小聚合成本的假设所对应的具有最优像素空间斜平面的图像为第一参考深度预选图。
其中，将参考深度预选图作为深度优化迭代中下一次迭代的第一参考图像。
进一步的，多次深度优化迭代的次数为预设的5次。
进一步的，对最终深度图集进行深度图融合，得到被测工件高精度的点云的方法包括：
在五张最终深度图中选取任一张为待融合参考深度图，其它四张最终深度图为待融合源深度图；
将待融合参考深度图像中亚像素边缘的二维坐标投影到世界坐标系，在世界坐标系中生成第一世界坐标，然后通过世界坐标系将第一世界坐标投影到四个待融合源深度图中，在待融合源深度图中得到投影坐标；
基于投影坐标通过插值方法获得各待融合源深度图亚像素边缘的深度和法线；然后将各待融合源深度图亚像素边缘的深度和法线的坐标投影到世界坐标系中，在世界坐标系中生成第二世界坐标，并通过世界坐标系将第二世界坐标投影到待融合参考深度图中，获得4个投影亚像素坐标；
对投影亚像素坐标的每一像素进行三项一致性阈值指标进行判断，若三项一致性阈值指标中任两项满足指标条件，则假设的空间平面将被保留，并且该判断的像素对应的空间斜平面的空间坐标以及法线的平均值为最终的立体空间坐标和法线；其中，一致性阈值指标基于原始坐标与4个投影亚像素坐标之间的对比，三项一致性阈值指标为一致性距离的相对深度差、法线之间的角度和重投影误差，各一致性阈值指标满足指标条件为：一致性距离的相对深度差小于0.01、法线之间的角度小于30°、重投影误差小于0.5像素。其中，一致性距离是原始坐标和投影的亚像素坐标之间的欧几里得距离。
将立体空间坐标聚合，得到工件表面的点云。
更进一步的，在深度图的融合步骤中，进行了左右一致性测试和稳健的融合策略。具体来说，将参考深度图像中的二维坐标重新投影回世界坐标系，并将它们投影到另外四个深度图中。随后，将其重新投影到世界坐标系中，并将其投影到参考深度图中，以获得4个亚像素坐标。最终的一致性距离是原始坐标和投影的亚像素坐标之间的欧几里得距离。在此，定义了一致性阈值，相对深度差为0.01，法线之间的角度为30°，重投影误差限制为0.5像素。对小于阈值的像素处的任何对应匹配进行计数。当计数大于2时，假设的空间平面将被保留，并且对应于这些假设的3D点的空间坐标以及法线被平均作为最终结果。将3D空间坐标聚合得到工件表面的点云，图3所示为工件表面的点云。
进一步的，通过采集点云中圆孔的局部点云并进行特征拟合，获取最终圆孔的半径以及中心点坐标的方法包括：
初始五目图像集和最终预处理五目图像集中任一数据为约束图像输入数据，约束图像输入数据中的五张图像为输入图像，基于三目约束定位五张输入图像中的任三张输入图像中的每个圆孔的中心，得到圆孔中心坐标；具体的，对于五张输入图像中的任三张，基于三目约束定位五张输入图像中的任三张输入图像中的每个圆孔的中心。三目约束原理为，第一张输入图像的圆孔的中心在第二张输入图像中有着极线约束，该极线交第二张输入图像的边缘于一系列的第一亚像素点，将第一亚像素点在在第三张输入图像当中绘制极线，同样交得一系列的第二亚像素点。最终通过第三张输入图像的第二亚像素点在第一张输入图像当中绘制极线，将第一张输入图像中的极线距离圆孔中心最近的极线作为选定极线，第一输入图像和第二输入图像中与选定极线对应的点作为定位点。
基于圆孔中心坐标在其预设半径的球体范围内进行点云的采样，得到圆孔的局部点云；
将局部点云进行平面拟合，得到满足预设阈值条件的特征点；具体的，利用SVD分解法原理将局部点云进行平面拟合得到平面P，其次计算平面拟合误差的均值并以该均值作为筛选离面点的标准值，最后循环计算每个点到平面的距离并与标准值进行比较，筛选掉与平面的距离大于预设阈值的点，得到满足预设阈值条件的特征点。
基于特征点使用主成分分析法将采样点云投影到同一二维平面，得到特征点在二维平面的投影点；具体的，S4.4为将三维问题转换为二维问题，将基于三张点云图像得到的特征点投影到同一平面。计算所有局部点云的采样点到拟合平面P的距离，根据平面法向量和距离计算每个特征点在拟合平面P上的投影点。
拟合二维平面内投影点的内接圆，得到二维平面内投影点的最大内接圆；
将最大内接圆反投影回三维空间中，得到最终圆孔，提取最终圆孔的半径以及中心点坐标，对最终圆孔进行精度评价。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (8)
1.基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，其特征在于，方法包括：
使用预设标定参数的五目相机采集初始五目图像集；
对所述初始五目图像集进行预处理，得到具有亚像素边缘的最终预处理五目图像集；
对初始化后的所述初始五目图像集进行迭代优化，并基于所述最终预处理五目图像集进行亚像素边缘的刻画，获得具有亚像素边缘的最终深度图，且最终经过最终深度图融合后得到整体点云；
所述对初始化后的所述初始五目图像集进行迭代优化，并基于所述最终预处理五目图像集进行亚像素边缘的刻画，获得具有亚像素边缘的最终深度图，且最终经过最终深度图融合后得到整体点云的方法包括：
对所述初始五目图像集进行初始化，得到在像素原始位随机生成空间斜平面的初始化五目图像集；
将所述初始化五目图像集下采样两次，得到下采样初始图像集；
对所述下采样初始图像集包括的每一图像进行细节优化，然后基于所述最终预处理五目图像集对细节优化后的下采样初始图像集进行圆孔的亚像素边缘的刻画，得到具有亚像素边缘深度的最终深度图集；
对所述最终深度图集进行深度图融合，得到被测工件高精度的点云；
通过采集所述点云中圆孔的局部点云并进行特征拟合，获取最终圆孔的半径以及中心点坐标；
所述通过采集所述点云中圆孔的局部点云并进行特征拟合，获取最终圆孔的半径以及中心点坐标的方法包括：
所述初始五目图像集和所述最终预处理五目图像集中任一数据为约束图像输入数据，所述约束图像输入数据中的五张图像为输入图像，基于三目约束定位五张所述输入图像中的任三张所述输入图像中的每个圆孔的中心，得到圆孔中心坐标；
基于所述圆孔中心坐标在其预设半径的球体范围内进行点云的采样，得到圆孔的所述局部点云；
将所述局部点云进行平面拟合，得到满足预设阈值条件的特征点；
基于所述特征点使用主成分分析法将采样点云投影到同一二维平面，得到所述特征点在二维平面的投影点；
拟合二维平面内所述投影点的内接圆，得到二维平面内所述投影点的最大内接圆；
将所述最大内接圆反投影回三维空间中，得到最终圆孔，提取所述最终圆孔的半径以及中心点坐标，并对所述最终圆孔进行精度评价。
2.根据权利要求1所述的基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，其特征在于，所述初始五目图像集进行预处理，得到具有亚像素边缘的最终预处理五目图像集的方法包括：
所述初始五目图像集进行经过畸变矫正、第一平滑滤波、第二平滑滤波、图像二值化中的至少一种以及边缘检测处理后得到具有椭圆亚像素边缘的所述最终预处理五目图像集。
3.根据权利要求1所述的基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，其特征在于，所述对所述下采样初始图像集包括的每一图像进行细节优化，然后基于所述最终预处理五目图像集对细节优化后的下采样初始图像集进行圆孔的亚像素边缘的刻画，得到具有亚像素边缘深度的最终深度图集的方法包括：
将所述下采样初始图像集经过深度优化迭代后，得到最粗尺度深度图集；
对所述最粗尺度深度图集进行细化，同时基于所述最终预处理五目图像集在细化后的所述最粗尺度深度图集刻画出圆孔的亚像素边缘，得到第一深度图集；
将所述第一深度图集上采样后进行细化，得到第二深度图集；
然后通过边缘引导多尺度一致性匹配代价对所述第二深度图集进行细化以及对其包括的圆孔边缘进行细化，得到所述最终深度图。
4.根据权利要求3所述的基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，其特征在于，在所述将所述下采样初始参考图像经过深度优化迭代后，得到最粗尺度深度图的方法中，对所述初始化五目图像集进行多次所述深度优化迭代后，每次深度优化迭代产生一个新的用于下次迭代的参考深度预选图，最后一次迭代得到参考深度预选图为所述最粗尺度深度图。
5.根据权利要求4所述的基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，其特征在于，所述将所述下采样初始图像集经过深度优化迭代后，得到最粗尺度深度图集的方法包括：
计算所述下采样初始图像集的第一匹配代价，得到各像素标有第一匹配代价的第一匹配代价图像；
对所述第一匹配代价图像进行空间平面假设的迭代传播，得到标有第二匹配代价的第二匹配代价图像；
对所述第二匹配代价图像进行空间平面的细化，得到具有最优像素空间斜平面的参考深度预选图；
其中，将所述参考深度预选图作为深度优化迭代中下一次迭代的第一参考图像。
6.根据权利要求5所述的基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，其特征在于，所述计算所述下采样初始图像集的第一匹配代价，得到各像素标有第一匹配代价的第一匹配代价图像的方法包括：
将所述下采样初始图像集包括的任一图像设为参考图像，其它图像设为源图像；
选取参考图像中的一个像素为参考像素；
通过自适应匹配代价计算所述参考像素的局部匹配框与各个所述源图像的映射匹配框的双目匹配代价，进而通过多假设联合视图选择策略以双目匹配代价为线索计算每个初始源图像映射匹配框的自适应权重，最终通过加权平均进行多目匹配代价的计算；
得到各像素标有多视图匹配代价的第一匹配代价图像。
7.根据权利要求6所述的基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，其特征在于，所述自适应匹配代价计算为：
式中，表示双目自适应匹配代价，Xref表示参考像素，/>表示源图像i中的对应像素，N表示被设置为BRIEF描述符的位数的归一化因子，β表示控制参数，并且设置为1.0，/>为BRIEF描述符的匹配代价，/>表示双线性归一化互相关匹配代价。
8.根据权利要求1所述的基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法，其特征在于，所述对所述最终深度图集进行深度图融合，得到被测工件高精度的点云的方法包括：
在五张所述最终深度图中选取任一张为待融合参考深度图，其它四张所述最终深度图为待融合源深度图；
将所述待融合参考深度图像中亚像素边缘的二维坐标投影到世界坐标系，在所述世界坐标系中生成第一世界坐标，然后通过所述世界坐标系将所述第一世界坐标投影到四个所述待融合源深度图中，在所述待融合源深度图中得到投影坐标；
基于所述投影坐标通过插值方法获得各所述待融合源深度图亚像素边缘的深度和法线；然后将各所述待融合源深度图具有亚像素边缘深度和法线的坐标投影到所述世界坐标系中，在所述世界坐标系中生成第二世界坐标，并通过所述世界坐标系将第二世界坐标投影到所述待融合参考深度图中，获得投影亚像素坐标；
对所述投影亚像素坐标的每一像素进行三项一致性阈值指标进行判断，若三项一致性阈值指标中任两项满足指标条件，则假设的空间平面将被保留，并且该判断的像素对应的空间斜平面的空间坐标以及法线的平均值为最终的立体空间坐标和法线；
将所述立体空间坐标聚合，得到工件表面的所述点云。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311186302.8A CN117197215B (zh) | 2023-09-14 | 2023-09-14 | 基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311186302.8A CN117197215B (zh) | 2023-09-14 | 2023-09-14 | 基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117197215A CN117197215A (zh) | 2023-12-08 |
| CN117197215B true CN117197215B (zh) | 2024-04-09 |
Family
ID=89003223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311186302.8A Active CN117197215B (zh) | 2023-09-14 | 2023-09-14 | 基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197215B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634305A (zh) * | 2021-01-08 | 2021-04-09 | 哈尔滨工业大学（深圳） | 一种基于边缘特征匹配的红外视觉里程计实现方法 |
| CN113963117A (zh) * | 2021-10-29 | 2022-01-21 | 温州大学 | 一种基于可变卷积深度网络的多视图三维重建方法及装置 |
| CN114119553A (zh) * | 2021-11-28 | 2022-03-01 | 长春理工大学 | 一种以十字激光为基准的双目视觉异面圆孔检测方法 |
| CN114677479A (zh) * | 2022-04-13 | 2022-06-28 | 温州大学大数据与信息技术研究院 | 一种基于深度学习的自然景观多视图三维重建方法 |
| CN116021519A (zh) * | 2022-12-31 | 2023-04-28 | 江南大学 | 一种基于tof相机采摘机器人手眼标定方法以及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111936821A (zh) * | 2019-07-12 | 2020-11-13 | 北京航迹科技有限公司 | 用于定位的系统和方法 |
-
2023
- 2023-09-14 CN CN202311186302.8A patent/CN117197215B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634305A (zh) * | 2021-01-08 | 2021-04-09 | 哈尔滨工业大学（深圳） | 一种基于边缘特征匹配的红外视觉里程计实现方法 |
| CN113963117A (zh) * | 2021-10-29 | 2022-01-21 | 温州大学 | 一种基于可变卷积深度网络的多视图三维重建方法及装置 |
| CN114119553A (zh) * | 2021-11-28 | 2022-03-01 | 长春理工大学 | 一种以十字激光为基准的双目视觉异面圆孔检测方法 |
| CN114677479A (zh) * | 2022-04-13 | 2022-06-28 | 温州大学大数据与信息技术研究院 | 一种基于深度学习的自然景观多视图三维重建方法 |
| CN116021519A (zh) * | 2022-12-31 | 2023-04-28 | 江南大学 | 一种基于tof相机采摘机器人手眼标定方法以及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于对称性投影的大视场小目标三维定位算法;王潇;刘育梁;李丽艳;;光学学报;20200525(第10期);全文 * |
| 基于灰度导数加权的椭圆高精度提取算法;王卫文;杨威;张伟丽;周进;吴钦章;;半导体光电;20150415(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117197215A (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107093205B (zh) | 一种基于无人机图像的三维空间建筑物窗户检测重建方法 | |
| WO2018017184A1 (en) | Systems and methods for improved surface normal estimation | |
| US20110176722A1 (en) | System and method of processing stereo images | |
| CN106651942A (zh) | 基于特征点的三维旋转运动检测与旋转轴定位方法 | |
| CN106780590A (zh) | 一种深度图的获取方法及系统 | |
| CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
| US9147279B1 (en) | Systems and methods for merging textures | |
| CN103727930A (zh) | 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法 | |
| CN104748683A (zh) | 一种数控机床工件在线自动测量装置及测量方法 | |
| CN104809738A (zh) | 一种基于双目视觉的安全气囊轮廓尺寸检测方法 | |
| CN109470149A (zh) | 一种管路位姿的测量方法及装置 | |
| CN115018846B (zh) | 基于ai智能相机的多目标裂纹缺陷检测方法和装置 | |
| CN116129037B (zh) | 视触觉传感器及其三维重建方法、系统、设备及存储介质 | |
| CN112085675A (zh) | 深度图像去噪方法、前景分割方法及人体运动监测方法 | |
| CN110851978B (zh) | 一种基于可见性的摄像机位置优化方法 | |
| CN116245928A (zh) | 一种基于双目立体匹配的三维重建方法 | |
| Zhang et al. | Object defect detection based on data fusion of a 3D point cloud and 2D image | |
| CN117541537B (zh) | 基于全景点云融合技术的时空差异检测方法及其系统 | |
| CN117197215B (zh) | 基于五目相机系统的多目视觉圆孔特征的鲁棒提取方法 | |
| CN106228593B (zh) | 一种图像密集匹配方法 | |
| CN116612097A (zh) | 一种基于表面缺陷图像的木材内部节子形态预测方法及系统 | |
| CN113129348B (zh) | 一种基于单目视觉的道路场景中车辆目标的三维重建方法 | |
| CN115239801A (zh) | 一种对象定位方法及装置 | |
| CN209279912U (zh) | 一种物体三维信息采集装置 | |
| WO2002063547A1 (en) | Structure-guided image measurement method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |