CN114413788A - 基于双目视觉和反向模型重构的零件表面图案检测方法 - Google Patents
基于双目视觉和反向模型重构的零件表面图案检测方法 Download PDFInfo
- Publication number
- CN114413788A CN114413788A CN202210073331.2A CN202210073331A CN114413788A CN 114413788 A CN114413788 A CN 114413788A CN 202210073331 A CN202210073331 A CN 202210073331A CN 114413788 A CN114413788 A CN 114413788A
- Authority
- CN
- China
- Prior art keywords
- curved surface
- contour
- point cloud
- pattern
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 238000005259 measurement Methods 0.000 claims abstract description 122
- 238000012545 processing Methods 0.000 claims abstract description 92
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000003754 machining Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000011960 computer-aided design Methods 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000003801 milling Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种基于双目视觉和反向模型重构的零件表面图案检测方法，该方法包括：获取大型曲面零件加工文件；基于零件表面图案进行多边界条件下高精度轮廓三维重建，得到若干不同测量视点的轮廓点云数据，对若干不同测量视点的轮廓点云数据进行拼接，得到目标图案三维点云；计算标准数模轮廓上所有加工点到四个定位孔的短程线距离；基于结构光拟合出待测量大型曲面零件实际测量时的曲面，反向生成实际测量CAD轮廓；将目标图案三维点云与实际测量CAD轮廓进行模数对比，计算轮廓检测误差。本发明在测量过程中无需用夹具固定，零件发生变形后仍能进行数据比对，实现了大型曲面零件表面加工图案的自动化、高精度测量。
Description
技术领域
本发明涉及视觉检测技术领域，尤其是涉及一种基于双目视觉和反向模型重构的零件表面图案检测方法。
背景技术
视觉检测技术通过视觉设备在不同位置和方向获取被测目标图像，通过对图像的处理分析得到被测物信息，进而确定被测物精度。视觉检测技术是一种非接触式的测量手段，具有检测速度快、柔性好、量程大等优点，被广泛应用于航空、航天、汽车等领域的大型机器、设备、结构的检查、调整、装配和安装等。
在航空化铣零件等大型构件的加工制造过程中，胶膜刻线的加工精度是影响化铣零件最终精度的关键。随着科学技术和加工制造水平的不断提高，航空业对化铣零件的加工制造精度提出了更高的要求，采用视觉检测技术进行三维测量是数字化刻线检测手段的重要方向。
传统的视觉检测方法通过测量出的轮廓与标准数模轮廓进行模数对比，故在测量过程中要求工件不能发生变形，需将被测工件用夹具固定在某一特定位置，即使如此在测量过程中工件仍然会发生少量变形，对最后的精度测量产生较大的误差，因此，针对大型曲面零件表面加工图案的三维检测需求，需要一套更完整的、测量更简单且更高精度的视觉测量方案。
发明内容
有鉴于此，本申请提出了一种基于双目视觉和反向模型重构的零件表面图案检测方法，用于解决现有大型曲面零件表面加工图案三维测量精度不佳的问题。
本发明的技术方案是这样实现的：
本发明提出了一种基于双目视觉和反向模型重构的零件表面图案检测方法，所述方法包括：
S1，获取大型曲面零件加工文件，所述大型曲面零件加工文件包括标准数模和待测量大型曲面零件；
S2，采集待测量大型曲面零件的零件表面图案，基于零件表面图案进行多边界条件下高精度轮廓三维重建，得到若干不同测量视点的轮廓点云数据，对若干不同测量视点的轮廓点云数据进行拼接，得到目标图案三维点云；
S3，在标准数模的轮廓上选取四个定位孔，获取标准数模的轮廓上所有加工点，计算标准数模轮廓上所有加工点到四个定位孔的短程线距离；
S4，基于结构光拟合出待测量大型曲面零件实际测量时的曲面，重建出四个定位孔，基于标准数模的轮廓上所有加工点到四个定位孔的短程线距离求解出待测量大型曲面零件在实际测量中的加工点位置，反向生成实际测量CAD轮廓；
S5，将目标图案三维点云与实际测量CAD轮廓进行模数对比，计算轮廓检测误差。
在以上技术方案的基础上，优选的，步骤S2中，采集待测量大型曲面零件的零件表面图案具体包括：
根据大型曲面零件加工文件提取加工路径，基于加工路径进行轮廓采样，得到轮廓点云模型；
采用导轨与机器人系统带动双目立体视觉系统从若干不同测量视点对待测量大型曲面零件进行三维测量；
根据轮廓点云模型采用基于单次测量面积的视点规划方法或者基于单个轮廓的视点规划方法进行视点规划，生成视点路径；基于视点路径采集待测量大型曲面零件的零件表面图案。
在以上技术方案的基础上，优选的，所述基于单次测量面积的视点规划方法具体包括：
将轮廓点云模型在XY平面投影，得到投影点云，计算投影点云的最小外接矩形；
设定测量范围S，根据设定的测量范围S对投影点云的最小外接矩形的尺寸进行扩充，在投影点云的最小外接矩形中心点不变的情况下得到投影点云对应的大矩形；
计算投影点云对应的大矩形的长宽方向包含的设定测量范围S的小矩形个数；
根据小矩形对待测量大型曲面零件进行细分，使待测量大型曲面零件的每块区域都能够被双目立体视觉系统分别从两个视角采集全面；
在投影点云对应的大矩形范围内，以小矩形个数为阈值进行循环，将轮廓点云模型划分为多个区域，计算各区域三维点云所有点的平均坐标值P，法矢平均值N，将各区域平均坐标按照之字形的顺序排列得到视点路径。
在以上技术方案的基础上，优选的，基于单个轮廓的视点规划方法具体包括：
基于轮廓点云模型提取单个轮廓，计算出单个轮廓的质心，根据双目立体视觉系统的测头和导轨与机器人系统的机器人相对位置进行坐标偏移生成视点坐标。
在以上技术方案的基础上，优选的，步骤S2中，基于零件表面图案进行多边界条件下高精度轮廓三维重建，得到若干不同测量视点的轮廓点云数据具体包括：
将双目立体视觉系统挂载在导轨与机器人系统的机器臂上，通过机器臂的移动和转动按照视点路径实现对若干不同测量视点的遍历，采集每个测量视点对应的表面图案；
通过计算灰度梯度直方图的方式对每个测量视点对应的表面图案进行边缘检测，得到目标边缘轮廓，并采用Steger算法提取目标边缘轮廓的中心线，得到亚像素精度的轮廓图像，采用极线约束估算出亚像素精度的轮廓图像的匹配点对，通过三角法获得目标边缘轮廓的点云，得到对应测量视点的轮廓点云数据。
在以上技术方案的基础上，优选的，步骤S2中，对若干不同测量视点的轮廓点云数据进行拼接，得到目标图案三维点云具体包括：
双目立体视觉系统在三维测量过程中包括平移运动和旋转运动，获取若干不同测量视点坐标系，计算若干不同测量视点坐标系之间的旋转矩阵和平移矩阵，基于坐标变换原理将若干不同测量视点的轮廓点云数据转换到同一坐标系下，进行若干不同测量视点的轮廓点云数据拼接，得到目标图案三维点云。
在以上技术方案的基础上，优选的，步骤S3具体包括：
S301，将待测量大型曲面零件的曲面展开成平面，在标准数模的轮廓上选取四个定位孔，使它们与待测量大型曲面零件中心的距离相等，将四个定位孔进行连线构成一个矩形；
S302，拟合出标准数模曲面轮廓的曲面方程r＝r(u,v)；
S303，对于标准数模曲面轮廓上的任一点(u,v)，根据曲面方程求解得到在oxy平面区域的等距对应和其逆变换，等距对应参数方程
及逆变换参数方程
的表达式为：
其中，x和y均表示oxy平面区域上等距对应的点(x,y)的坐标参数；
S304，计算曲面轮廓上点(u0,v0)和点(u1,v1)间短程线Γ的长度SΓ，其计算公式为：
在以上技术方案的基础上，优选的，步骤S4具体包括：
S401，基于结构光拟合出待测量大型曲面零件实际测量时的曲面，即变形数模，重建四个定位孔，得到变形数模曲面轮廓的曲面方程p＝p(u′,v′)和重建的四个定位孔的坐标(u′1,v′1)、(u′2,v′2)、(u′3,v′3)和(u′4,v′4)；
S402，求出变形数模曲面轮廓上重建的四个定位孔在oxy平面区域的等距对应坐标(f1(u′1,v′1),f2(u′1,v′1))、(f1(u′2,v′2),f2(u′2,v′2))、(f1(u′3,v′3),f2(u′3,v′3))和(f1(u′4,v′4),f2(u′4,v′4))；
S403，对于变形数模曲面轮廓上任一实际测量中的加工点以及其在oxy平面区域的等距对应，根据标准数模轮廓上所有加工点到四个定位孔的短程线距离约束，得到以下关系方程式：
其中，i＝1,2,…,n，n为加工点的个数，dji为标准数模轮廓第i个加工点到第j个定位孔的短程线距离，j＝1,2,3,4；对关系方程式进行求解，得到变形数模曲面轮廓上实际测量中的加工点在oxy平面区域的等距对应坐标(xi,yi)；
S404，根据曲面到oxy平面区域的逆变换方程得到实际测量中的加工点在变形数模曲面轮廓上的位置坐标(g1(xi,yi),g2(xi,yi))；
S405，遍历计算出所有实际测量中的加工点在变形数模曲面轮廓上的位置坐标，反向生成的实际测量CAD轮廓。
在以上技术方案的基础上，优选的，步骤S5具体包括：
将目标图案三维点云和实际测量CAD轮廓重叠在一起，获取目标图案三维点云的法向量，通过混合式的邻近点查找方法对目标图案三维点云的法向量进行估计，在实际测量CAD轮廓上查找匹配点，计算自适应距离阈值，根据自适应距离阈值去除误匹配，根据去除误匹配后的结果计算轮廓检测误差。
本发明还提出了一种基于双目视觉和反向模型重构的零件表面图案检测系统，所述系统包括：
文件获取模块，获取大型曲面零件加工文件，所述大型曲面零件加工文件包括标准数模和待测量大型曲面零件；
数据拼合模块，采集待测量大型曲面零件的零件表面图案，基于零件表面图案进行多边界条件下高精度轮廓三维重建，得到若干不同测量视点的轮廓点云数据，对若干不同测量视点的轮廓点云数据进行拼接，得到目标图案三维点云；
短程线计算模块，在标准数模的轮廓上选取四个定位孔，获取标准数模的轮廓上所有加工点，计算标准数模轮廓上所有加工点到四个定位孔的短程线距离；
反向重构模块，基于结构光拟合出待测量大型曲面零件实际测量时的曲面，重建出四个定位孔，基于标准数模的轮廓上所有加工点到四个定位孔的短程线距离求解出待测量大型曲面零件在实际测量中的加工点位置，反向生成实际测量CAD轮廓；
模数对比模块，将目标图案三维点云与实际测量CAD轮廓进行模数对比，计算轮廓检测误差。
本发明的一种基于双目视觉和反向模型重构的零件表面图案检测方法，相对于现有技术，具有以下有益效果：
(1)根据大型曲面零件的加工文件以最高的数据覆盖率和最少的视点数量为目标进行视点规划，可自动生成图像采集的最优测量视点路径；根据各个测量视点的双目图像数据，基于极线约束的对应点对匹配进行点云重建，基于若干不同测量视点坐标系之间的旋转矩阵和平移矩阵进行轮廓点云数据拼接，最终进行模数对比，实现了大型曲面零件表面加工图案的自动化、高精度测量。
(2)采用导轨与机器人搭载测头进行测量，能够灵活调整拍照姿态，克服拍照翘曲、过曝等对影响轮廓重建，辅助提高轮廓重建的质量，整体拼接依赖于机器人重复定位，可以有效保证拼接精度，将测量与运动控制集成在一台电脑上，极大程度提高操作便利性，设备简单，可移植性强，不依赖于龙门等大型设备。
(3)计算若干不同测量视点坐标系之间的旋转矩阵和平移矩阵，基于坐标变换原理将若干不同测量视点的轮廓点云数据转换到同一坐标系下，进行若干不同测量视点的轮廓点云数据拼接，得到目标图案三维点云，通过该方法可快速实现大型曲面零件表面加工图案的三维重建，减少了数据拼接的误差。
(4)采用结构光与双目视觉相结合，通过结构光拟合出待测量零件实际测量时的曲面，利用标准数模轮廓上加工点到定位孔的曲面距离约束，反向生成实际测量CAD轮廓，通过将目标图案三维点云与实际测量CAD轮廓进行比较，计算轮廓检测误差，测量过程中大型曲面零件无需用夹具固定，零件发生变形后仍能进行数据比对。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种基于双目视觉和反向模型重构的零件表面图案检测方法的流程示意图；
图2为本发明实施例基于零件表面图案进行多边界条件下高精度轮廓三维重建的流程示意图；
图3为本发明实施例曲面展开的加工点到定位点之间短程线距离的计算方法示意图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
请参阅图1，本实施例一种基于双目视觉和反向模型重构的零件表面图案检测方法包括以下步骤：
S1，获取大型曲面零件加工文件，所述大型曲面零件加工文件包括标准数模和待测量大型曲面零件。
S2，采集待测量大型曲面零件的零件表面图案，基于零件表面图案进行多边界条件下高精度轮廓三维重建，得到若干不同测量视点的轮廓点云数据，对若干不同测量视点的轮廓点云数据进行拼接，得到目标图案三维点云。
采集待测量大型曲面零件的零件表面图案具体包括：
根据大型曲面零件加工文件提取加工路径，基于加工路径进行轮廓采样，得到轮廓点云模型。
具体的，本实施例大型曲面零件加工文件可采用MPF文件，采用C++标准库中fstream文件流对其进行读取，提取加工路径。需要理解的是，从MPF文件中获取到的是加工路径，而非实际的轮廓，两个加工点之间的距离可能非常大，因此，先进行轮廓采样，使得轮廓点云间点的距离较为平均，提高后期视觉规划及配准的精度。
轮廓采样的具体方式为：遍历整体加工路径中的每一个轮廓数组中的所有点，判断当前点与下一个点之间的距离，若距离超过预设距离阈值，则对着两点按照预设间距进行采样，插入两点之间继续下一步采样；若距离小于预设距离阈值，则忽略不计；单独判断最后一个点，在预设距离阈值的基础上添加距离及形状约束，得到指定距离以及当前轮廓的最小外接矩形，若超出指定距离或横跨当前轮廓的最小外接矩形，则不进行采样，反之则进行采样。
采用导轨与机器人系统带动双目立体视觉系统从若干不同测量视点对待测量大型曲面零件进行三维测量。
需要理解的是，采用导轨与机器人搭载测头进行测量，能够灵活调整拍照姿态，克服拍照翘曲、过曝等对影响轮廓重建，辅助提高轮廓重建的质量，整体拼接依赖于机器人重复定位，可以有效保证拼接精度，将测量与运动控制集成在一台电脑上，极大程度提高操作便利性，设备简单，可移植性强，不依赖于龙门等大型设备。
根据轮廓点云模型采用基于单次测量面积的视点规划方法或者基于单个轮廓的视点规划方法进行视点规划，生成视点路径；基于视点路径采集待测量大型曲面零件的零件表面图案。
需要理解的是，本实施例根据轮廓点云模型进行视点规划可采用基于单次测量面积的视点规划或者基于单个轮廓的视点规划，根据实际需求进行选择。
所述基于单次测量面积的视点规划方法具体包括：
将轮廓点云模型在XY平面投影，得到投影点云，计算投影点云的最小外接矩形；
设定测量范围S，根据设定的测量范围S对投影点云的最小外接矩形的尺寸进行扩充，在投影点云的最小外接矩形中心点不变的情况下得到投影点云对应的大矩形；
计算投影点云对应的大矩形的长宽方向包含的设定测量范围S的小矩形个数；
根据小矩形对待测量大型曲面零件进行细分，使待测量大型曲面零件的每块区域都能够被双目立体视觉系统分别从两个视角采集全面；
在投影点云对应的大矩形范围内，以小矩形个数为阈值进行循环，将轮廓点云模型划分为多个区域，计算各区域三维点云所有点的平均坐标值P，法矢平均值N，将各区域平均坐标按照之字形的顺序排列得到视点路径。
具体的，本实施例中基于单次测量面积的视点规划方法包括：
S21-1，将轮廓云模型向XY平面投影，得到投影点云，计算投影点云的最小外接矩形；
S21-2，设定测量范围S，根据设定的测量范围S对投影点云的最小外接矩形的尺寸进行扩充，在投影点云的最小外接矩形中心点不变的情况下，长和宽扩充变成当前设定的测量范围长宽的倍数，得到投影点云对应的大矩形；
S21-3，分别计算出投影点云对应的大矩形的长宽方向包含的设定测量范围S的小矩形个数，得出循环阈值范围width_num和height_num；
S21-4，根据小矩形对待测量大型曲面零件进行细分，使待测量大型曲面零件的每块区域都能够被双目立体视觉系统分别从两个视角采集全面；
S21-5，在投影点云对应的大矩形范围内，依据循环阈值范围进行循环，将轮廓点云模型划分为多个区域，计算各区域三维点云所有点的平均坐标值P，法矢平均值N，将各区域平均坐标按照之字形的顺序排列得到视点路径；
S21-6，遍历投影点云中的所有点，根据起始点到起始小矩形中心点的坐标值计算当前点在哪个小矩形里面，记录下当前点的下标，存储进小矩形的点云vector；
S21-7，设置自定义阈值，结合各区域的平均坐标值P和法矢平均值N，使双目立体视觉系统的相机焦距满足相机到刻形图案的距离，保证成像质量。
基于单个轮廓的视点规划方法具体包括：
基于轮廓点云模型提取单个轮廓，计算出单个轮廓的质心，根据双目立体视觉系统的测头和导轨与机器人系统的机器人相对位置进行坐标偏移生成视点坐标。
步骤S2中，基于零件表面图案进行多边界条件下高精度轮廓三维重建，得到若干不同测量视点的轮廓点云数据具体包括：
将双目立体视觉系统挂载在导轨与机器人系统的机器臂上，通过机器臂的移动和转动按照视点路径实现对若干不同测量视点的遍历，采集每个测量视点对应的表面图案；
通过计算灰度梯度直方图的方式对每个测量视点对应的表面图案进行边缘检测，得到目标边缘轮廓，并采用Steger算法提取目标边缘轮廓的中心线，得到亚像素精度的轮廓图像，采用极线约束估算出亚像素精度的轮廓图像的匹配点对，通过三角法获得目标边缘轮廓的点云，得到对应测量视点的轮廓点云数据。
请参阅图2，本实施例中基于零件表面图案进行多边界条件下高精度轮廓三维重建的步骤具体包括：
S22-1，将双目立体视觉系统挂载在导轨与机器人系统的机器臂上，通过机器臂的移动和转动按照视点路径实现对若干不同测量视点的遍历，采集每个测量视点对应的表面图案；
S22-2，将单个测量视点拍摄到的左右相机图像进行畸变校正；
S22-3，使用Bouguet极限校正算法将双目立体视觉系统中的非平行相机系统校正为平行相机系统；
S22-4，通过计算灰度梯度直方图进行边缘检测，获取初始轮廓，使用连通区域标记算法获取每一个连通区域的高度及宽度信息，若当前连通区域高度和宽度小于待测量大型曲面零件的模型文件对应的轮廓高度、宽度的一半，则将当前连通区域所在的边缘轮廓作为虚假目标剔除，获取目标边缘轮廓；
S22-5，采用Steger算法提取目标边缘轮廓的中心线，得到亚像素精度的轮廓图像；
S22-6，通过基于极线约束的对应点匹配，估算出亚像素精度的轮廓图像的匹配点对，通过三角法获得目标边缘轮廓的点云，得到对应测量视点的轮廓点云数据。
步骤S2中，对若干不同测量视点的轮廓点云数据进行拼接，得到目标图案三维点云具体包括：
双目立体视觉系统在三维测量过程中包括平移运动和旋转运动，获取若干不同测量视点坐标系，计算若干不同测量视点坐标系之间的旋转矩阵和平移矩阵，基于坐标变换原理将若干不同测量视点的轮廓点云数据转换到同一坐标系下，进行若干不同测量视点的轮廓点云数据拼接，得到目标图案三维点云。
需要理解的是，导轨与机器人系统除了水平(x方向)、垂直(y方向)、深度(z方向)的平移运动外，还有旋转运动，所以双目立体视觉系统在测量过程中也包括平移运动和旋转运动，计算若干不同测量视点坐标系之间的旋转矩阵R和平移矩阵T，其表达式为：
基于坐标变换原理，第i个测量视点到第1个测量视点的坐标转换关系为：
其中，[xi,yi,zi]为第i个测量视点的三维坐标，
为第i个测量视点的点数据拼合到初始测量视点坐标系下的三维坐标；
根据平移矩阵T和旋转矩阵R将不同测量视点的点云数据转换到同一坐标系下进行不同测量视点的轮廓云数据拼接，得到目标图案三维点云。
S3，在标准数模的轮廓上选取四个定位孔，获取标准数模的轮廓上所有加工点，计算标准数模轮廓上所有加工点到四个定位孔的短程线距离。
请参照图3，本实施例中的大型曲面零件采用的是飞机蒙皮，直接在曲面上计算加工点到定位孔的距离比较复杂，因此，利用可展曲面能与平面建立对应这一本质特征，将飞机蒙皮曲面近似展开成平面，求得标准数模轮廓上所有加工点到四个定位孔的短程线距离。
步骤S3具体包括：
S301，将待测量大型曲面零件的曲面展开成平面，在标准数模的轮廓上选取四个定位孔，使它们与待测量大型曲面零件中心的距离相等，将四个定位孔进行连线构成一个矩形；
S302，拟合出标准数模曲面轮廓的曲面方程r＝r(u,v)；
S303，对于标准数模曲面轮廓上的任一点(u,v)，根据曲面方程求解得到在oxy平面区域的等距对应和其逆变换，等距对应参数方程
及逆变换参数方程
的表达式为：
其中，x和y均表示oxy平面区域上等距对应的点(x,y)的坐标参数；
S304，计算曲面轮廓上点(u0,v0)和点(u1,v1)间短程线Γ的长度SΓ，其计算公式为：
需要理解的是，步骤S3之后还包括：遍历标准数模的所有加工点，根据上述方法计算它们到四个定位孔的短程线距离并记录于思维数组中。
S4，基于结构光拟合出待测量大型曲面零件实际测量时的曲面，重建出四个定位孔，基于标准数模的轮廓上所有加工点到四个定位孔的短程线距离求解出待测量大型曲面零件在实际测量中的加工点位置，反向生成实际测量CAD轮廓。
需要理解的是，大型曲面零件在测量过程中会发生少量变形，对精度测量产生较大的误差，本实施例采用结构光与双目视觉相结合，通过结构光拟合出待测量零件实际测量时的曲面，利用标准数模轮廓上加工点到定位孔的曲面距离约束计算出变形后的加工点的位置，反向生成实际测量CAD轮廓，有效提高了测量的精度，测量过程中大型曲面零件无需用夹具固定，零件发生变形后仍能进行数据比对。
步骤S4具体包括：
S401，基于结构光拟合出待测量大型曲面零件实际测量时的曲面，即变形数模，重建四个定位孔，得到变形数模曲面轮廓的曲面方程p＝p(u′,v′)和重建的四个定位孔的坐标(u′1,v′1)、(u′2,v′2)、(u′3,v′3)和(u′4,v′4)；
S402，求出变形数模曲面轮廓上重建的四个定位孔在oxy平面区域的等距对应坐标(f1(u′1,v′1),f2(u′1,v′1))、(f1(u′2,v′2),f2(u′2,v′2))、(f1(u′3,v′3),f2(u′3,v′3))和(f1(u′4,v′4),f2(u′4,v′4))；
需要理解的是，根据曲面方程求得曲面到oxy平面区域的等距对应和其逆变换，等距对应参数方程及逆变换参数方程的表达式为：
其中，u′和v′均表示曲面上任一点(u′,v′)的坐标参数，x和y均表示oxy平面区域上与加工点等距对应的点(x,y)的坐标参数。
S403，对于变形数模曲面轮廓上任一实际测量中的加工点以及其在oxy平面区域的等距对应，根据标准数模轮廓上所有加工点到四个定位孔的短程线距离约束，得到以下关系方程式：
其中，i＝1,2,…,n，n为加工点的个数，dji为标准数模轮廓第i个加工点到第j个定位孔的短程线距离，j＝1,2,3,4；对关系方程式进行求解，得到变形数模曲面轮廓上实际测量中的加工点在oxy平面区域的等距对应坐标(xi,yi)；
S404，根据曲面到oxy平面区域的逆变换方程得到实际测量中的加工点在变形数模曲面轮廓上的位置坐标(g1(xi,yi),g2(xi,yi))；
S405，遍历计算出所有实际测量中的加工点在变形数模曲面轮廓上的位置坐标，反向生成的实际测量CAD轮廓。
S5，将目标图案三维点云与实际测量CAD轮廓进行模数对比，计算轮廓检测误差。
需要理解的是，本实施例中反向生成的实际测量CAD轮廓是基于测量重建的定位孔到加工点的距离得到的，与测量重建出的轮廓已处于同一坐标系下，在剔除轮廓检测的错误匹配后即可进行数模对比，计算轮廓检测误差。
具体的，将目标图案三维点云和实际测量CAD轮廓重叠在一起，获取目标图案三维点云的法向量，通过混合式的邻近点查找方法对目标图案三维点云的法向量进行估计，在实际测量CAD轮廓上查找匹配点，计算自适应距离阈值，根据自适应距离阈值去除误匹配，根据去除误匹配后的结果计算轮廓检测误差。
本实施例还提出了一种基于双目视觉和反向模型重构的零件表面图案检测系统，该系统包括：
文件获取模块，获取大型曲面零件加工文件，所述大型曲面零件加工文件包括标准数模和待测量大型曲面零件；
数据拼合模块，采集待测量大型曲面零件的零件表面图案，基于零件表面图案进行多边界条件下高精度轮廓三维重建，得到若干不同测量视点的轮廓点云数据，对若干不同测量视点的轮廓点云数据进行拼接，得到目标图案三维点云；
短程线计算模块，在标准数模的轮廓上选取四个定位孔，获取标准数模的轮廓上所有加工点，计算标准数模轮廓上所有加工点到四个定位孔的短程线距离；
反向重构模块，基于结构光拟合出待测量大型曲面零件实际测量时的曲面，重建出四个定位孔，基于标准数模的轮廓上所有加工点到四个定位孔的短程线距离求解出待测量大型曲面零件在实际测量中的加工点位置，反向生成实际测量CAD轮廓；
模数对比模块，将目标图案三维点云与实际测量CAD轮廓进行模数对比，计算轮廓检测误差。
基于双目视觉和反向模型重构的零件表面图案检测系统与上述基于双目视觉和反向模型重构的零件表面图案检测方法是相对应的，具体实施方式基本相同，因此不再赘述。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围。
Claims (10)
1.一种基于双目视觉和反向模型重构的零件表面图案检测方法，其特征在于，所述方法包括：
S1，获取大型曲面零件加工文件，所述大型曲面零件加工文件包括标准数模和待测量大型曲面零件；
S2，采集待测量大型曲面零件的零件表面图案，基于零件表面图案进行多边界条件下高精度轮廓三维重建，得到若干不同测量视点的轮廓点云数据，对若干不同测量视点的轮廓点云数据进行拼接，得到目标图案三维点云；
S3，在标准数模的轮廓上选取四个定位孔，获取标准数模的轮廓上所有加工点，计算标准数模轮廓上所有加工点到四个定位孔的短程线距离；
S4，基于结构光拟合出待测量大型曲面零件实际测量时的曲面，重建出四个定位孔，基于标准数模的轮廓上所有加工点到四个定位孔的短程线距离求解出待测量大型曲面零件在实际测量中的加工点位置，反向生成实际测量CAD轮廓；
S5，将目标图案三维点云与实际测量CAD轮廓进行模数对比，计算轮廓检测误差。
2.如权利要求1所述的一种基于双目视觉和反向模型重构的零件表面图案检测方法，其特征在于，步骤S2中，采集待测量大型曲面零件的零件表面图案具体包括：
根据大型曲面零件加工文件提取加工路径，基于加工路径进行轮廓采样，得到轮廓点云模型；
采用导轨与机器人系统带动双目立体视觉系统从若干不同测量视点对待测量大型曲面零件进行三维测量；
根据轮廓点云模型采用基于单次测量面积的视点规划方法或者基于单个轮廓的视点规划方法进行视点规划，生成视点路径；基于视点路径采集待测量大型曲面零件的零件表面图案。
3.如权利要求2所述的一种基于双目视觉和反向模型重构的零件表面图案检测方法，其特征在于，所述基于单次测量面积的视点规划方法具体包括：
将轮廓点云模型在XY平面投影，得到投影点云，计算投影点云的最小外接矩形；
设定测量范围S，根据设定的测量范围S对投影点云的最小外接矩形的尺寸进行扩充，在投影点云的最小外接矩形中心点不变的情况下得到投影点云对应的大矩形；
计算投影点云对应的大矩形的长宽方向包含的设定测量范围S的小矩形个数；
根据小矩形对待测量大型曲面零件进行细分，使待测量大型曲面零件的每块区域都能够被双目立体视觉系统分别从两个视角采集全面；
在投影点云对应的大矩形范围内，以小矩形个数为阈值进行循环，将轮廓点云模型划分为多个区域，计算各区域三维点云所有点的平均坐标值P，法矢平均值N，将各区域平均坐标按照之字形的顺序排列得到视点路径。
4.如权利要求2所述的一种基于双目视觉和反向模型重构的零件表面图案检测方法，其特征在于，基于单个轮廓的视点规划方法具体包括：
基于轮廓点云模型提取单个轮廓，计算出单个轮廓的质心，根据双目立体视觉系统的测头和导轨与机器人系统的机器人相对位置进行坐标偏移生成视点坐标。
5.如权利要求2所述的一种基于双目视觉和反向模型重构的零件表面图案检测方法，其特征在于，步骤S2中，基于零件表面图案进行多边界条件下高精度轮廓三维重建，得到若干不同测量视点的轮廓点云数据具体包括：
将双目立体视觉系统挂载在导轨与机器人系统的机器臂上，通过机器臂的移动和转动按照视点路径实现对若干不同测量视点的遍历，采集每个测量视点对应的表面图案；
通过计算灰度梯度直方图的方式对每个测量视点对应的表面图案进行边缘检测，得到目标边缘轮廓，并采用Steger算法提取目标边缘轮廓的中心线，得到亚像素精度的轮廓图像，采用极线约束估算出亚像素精度的轮廓图像的匹配点对，通过三角法获得目标边缘轮廓的点云，得到对应测量视点的轮廓点云数据。
6.如权利要求5所述的一种基于双目视觉和反向模型重构的零件表面图案检测方法，其特征在于，步骤S2中，对若干不同测量视点的轮廓点云数据进行拼接，得到目标图案三维点云具体包括：
双目立体视觉系统在三维测量过程中包括平移运动和旋转运动，获取若干不同测量视点坐标系，计算若干不同测量视点坐标系之间的旋转矩阵和平移矩阵，基于坐标变换原理将若干不同测量视点的轮廓点云数据转换到同一坐标系下，进行若干不同测量视点的轮廓点云数据拼接，得到目标图案三维点云。
7.如权利要求1所述的一种基于双目视觉和反向模型重构的零件表面图案检测方法，其特征在于，步骤S3具体包括：
S301，将待测量大型曲面零件的曲面展开成平面，在标准数模的轮廓上选取四个定位孔，使它们与待测量大型曲面零件中心的距离相等，将四个定位孔进行连线构成一个矩形；
S302，拟合出标准数模曲面轮廓的曲面方程r＝r(u,v)；
S303，对于标准数模曲面轮廓上的任一点(u,v)，根据曲面方程求解得到在oxy平面区域的等距对应和其逆变换，等距对应参数方程
及逆变换参数方程
的表达式为：
其中，x和y均表示oxy平面区域上等距对应的点(x,y)的坐标参数；
S304，计算曲面轮廓上点(u0,v0)和点(u1,v1)间短程线Γ的长度SΓ，其计算公式为：
8.如权利要求7所述的一种基于双目视觉和反向模型重构的零件表面图案检测方法，其特征在于，步骤S4具体包括：
S401，基于结构光拟合出待测量大型曲面零件实际测量时的曲面，即变形数模，重建四个定位孔，得到变形数模曲面轮廓的曲面方程p＝p(u′,v′)和重建的四个定位孔的坐标(u′1,v′1)、(u′2,v′2)、(u′3,v′3)和(u′4,v′4)；
S402，求出变形数模曲面轮廓上重建的四个定位孔在oxy平面区域的等距对应坐标(f1(u′1,v′1),f2(u′1,v′1))、(f1(u′2,v′2),f2(u′2,v′2))、(f1(u′3,v′3),f2(u′3,v′3))和(f1(u′4,v′4),f2(u′4,v′4))；
S403，对于变形数模曲面轮廓上任一实际测量中的加工点以及其在oxy平面区域的等距对应，根据标准数模轮廓上所有加工点到四个定位孔的短程线距离约束，得到以下关系方程式：
其中，i＝1,2,…,n，n为加工点的个数，dji为标准数模轮廓第i个加工点到第j个定位孔的短程线距离，j＝1,2,3,4；对关系方程式进行求解，得到变形数模曲面轮廓上实际测量中的加工点在oxy平面区域的等距对应坐标(xi,yi)；
S404，根据曲面到oxy平面区域的逆变换方程得到实际测量中的加工点在变形数模曲面轮廓上的位置坐标(g1(xi,yi),g2(xi,yi))；
S405，遍历计算出所有实际测量中的加工点在变形数模曲面轮廓上的位置坐标，反向生成的实际测量CAD轮廓。
9.如权利要求1所述的一种基于双目视觉和反向模型重构的零件表面图案检测方法，其特征在于，步骤S5具体包括：
将目标图案三维点云和实际测量CAD轮廓重叠在一起，获取目标图案三维点云的法向量，通过混合式的邻近点查找方法对目标图案三维点云的法向量进行估计，在实际测量CAD轮廓上查找匹配点，计算自适应距离阈值，根据自适应距离阈值去除误匹配，根据去除误匹配后的结果计算轮廓检测误差。
10.一种基于双目视觉和反向模型重构的零件表面图案检测系统，其特征在于，所述系统包括：
文件获取模块，获取大型曲面零件加工文件，所述大型曲面零件加工文件包括标准数模和待测量大型曲面零件；
数据拼合模块，采集待测量大型曲面零件的零件表面图案，基于零件表面图案进行多边界条件下高精度轮廓三维重建，得到若干不同测量视点的轮廓点云数据，对若干不同测量视点的轮廓点云数据进行拼接，得到目标图案三维点云；
短程线计算模块，在标准数模的轮廓上选取四个定位孔，获取标准数模的轮廓上所有加工点，计算标准数模轮廓上所有加工点到四个定位孔的短程线距离；
反向重构模块，基于结构光拟合出待测量大型曲面零件实际测量时的曲面，重建出四个定位孔，基于标准数模的轮廓上所有加工点到四个定位孔的短程线距离求解出待测量大型曲面零件在实际测量中的加工点位置，反向生成实际测量CAD轮廓；
模数对比模块，将目标图案三维点云与实际测量CAD轮廓进行模数对比，计算轮廓检测误差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210073331.2A CN114413788B (zh) | 2022-01-21 | 2022-01-21 | 基于双目视觉和反向模型重构的零件表面图案检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210073331.2A CN114413788B (zh) | 2022-01-21 | 2022-01-21 | 基于双目视觉和反向模型重构的零件表面图案检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114413788A true CN114413788A (zh) | 2022-04-29 |
| CN114413788B CN114413788B (zh) | 2024-04-09 |
Family
ID=81276215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210073331.2A Active CN114413788B (zh) | 2022-01-21 | 2022-01-21 | 基于双目视觉和反向模型重构的零件表面图案检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114413788B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115290001A (zh) * | 2022-10-09 | 2022-11-04 | 江门健维自动化设备有限公司 | 一种产品测试方法及系统 |
| CN116467796A (zh) * | 2023-04-24 | 2023-07-21 | 中国船舶集团有限公司第七一九研究所 | 一种基于机器视觉的结构承载能力校核方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103673916A (zh) * | 2012-09-06 | 2014-03-26 | 上海船舶工艺研究所 | 一种水火弯板成型在线检测方法 |
| CN106556356A (zh) * | 2016-12-07 | 2017-04-05 | 西安知象光电科技有限公司 | 一种多角度三维轮廓测量系统及测量方法 |
| US20180051982A1 (en) * | 2016-01-22 | 2018-02-22 | Xing YIN | Object-point three-dimensional measuring system using multi-camera array, and measuring method |
| US20180189969A1 (en) * | 2016-12-30 | 2018-07-05 | Biosense Webster (Israel) Ltd. | Visualization of distances on an electroanatomical map |
| CN108981604A (zh) * | 2018-07-11 | 2018-12-11 | 天津工业大学 | 一种基于线激光的精密零件三维全貌测量方法 |
| CN110480075A (zh) * | 2019-08-26 | 2019-11-22 | 上海拓璞数控科技股份有限公司 | 基于点云数据的工件曲面轮廓补偿系统及方法及介质 |
| CN110990975A (zh) * | 2019-12-11 | 2020-04-10 | 南京航空航天大学 | 基于实测数据的舱门边框轮廓铣切余量测算方法 |
| US20200166333A1 (en) * | 2016-12-07 | 2020-05-28 | Ki 'an Chishine Optoelectronics Technology Co., Ltd. | Hybrid light measurement method for measuring three-dimensional profile |
| CN111429492A (zh) * | 2020-03-20 | 2020-07-17 | 南京航空航天大学 | 一种基于局部不变性的飞机c型梁配准方法 |
| US20210166411A1 (en) * | 2019-11-28 | 2021-06-03 | Xesto Inc. | System and method for mobile 3d scanning and measurement |
| CN113160043A (zh) * | 2021-05-21 | 2021-07-23 | 京东方科技集团股份有限公司 | 一种柔性显示屏的mura处理方法及装置 |
| CN113298935A (zh) * | 2021-05-28 | 2021-08-24 | 鞍钢集团矿业有限公司 | 一种基于点云成像技术确定巷道岩体结构特征参数的方法 |
-
2022
- 2022-01-21 CN CN202210073331.2A patent/CN114413788B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103673916A (zh) * | 2012-09-06 | 2014-03-26 | 上海船舶工艺研究所 | 一种水火弯板成型在线检测方法 |
| US20180051982A1 (en) * | 2016-01-22 | 2018-02-22 | Xing YIN | Object-point three-dimensional measuring system using multi-camera array, and measuring method |
| CN106556356A (zh) * | 2016-12-07 | 2017-04-05 | 西安知象光电科技有限公司 | 一种多角度三维轮廓测量系统及测量方法 |
| US20200166333A1 (en) * | 2016-12-07 | 2020-05-28 | Ki 'an Chishine Optoelectronics Technology Co., Ltd. | Hybrid light measurement method for measuring three-dimensional profile |
| US20180189969A1 (en) * | 2016-12-30 | 2018-07-05 | Biosense Webster (Israel) Ltd. | Visualization of distances on an electroanatomical map |
| CN108981604A (zh) * | 2018-07-11 | 2018-12-11 | 天津工业大学 | 一种基于线激光的精密零件三维全貌测量方法 |
| CN110480075A (zh) * | 2019-08-26 | 2019-11-22 | 上海拓璞数控科技股份有限公司 | 基于点云数据的工件曲面轮廓补偿系统及方法及介质 |
| US20210166411A1 (en) * | 2019-11-28 | 2021-06-03 | Xesto Inc. | System and method for mobile 3d scanning and measurement |
| CN110990975A (zh) * | 2019-12-11 | 2020-04-10 | 南京航空航天大学 | 基于实测数据的舱门边框轮廓铣切余量测算方法 |
| CN111429492A (zh) * | 2020-03-20 | 2020-07-17 | 南京航空航天大学 | 一种基于局部不变性的飞机c型梁配准方法 |
| CN113160043A (zh) * | 2021-05-21 | 2021-07-23 | 京东方科技集团股份有限公司 | 一种柔性显示屏的mura处理方法及装置 |
| CN113298935A (zh) * | 2021-05-28 | 2021-08-24 | 鞍钢集团矿业有限公司 | 一种基于点云成像技术确定巷道岩体结构特征参数的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周冠妍: "飞机大型复杂蒙皮零件检测-加工一体化技术", 中国优秀硕士学位论文全文数据库 工程科技II辑, no. 3, 15 March 2017 (2017-03-15) * |
| 李中伟 等: "低对比度图像高精度轮廓三维重建算法研究", 软件导刊, vol. 19, no. 6, 30 June 2020 (2020-06-30), pages 223 - 226 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115290001A (zh) * | 2022-10-09 | 2022-11-04 | 江门健维自动化设备有限公司 | 一种产品测试方法及系统 |
| CN116467796A (zh) * | 2023-04-24 | 2023-07-21 | 中国船舶集团有限公司第七一九研究所 | 一种基于机器视觉的结构承载能力校核方法 |
| CN116467796B (zh) * | 2023-04-24 | 2023-12-22 | 中国船舶集团有限公司第七一九研究所 | 一种基于机器视觉的结构承载能力校核方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114413788B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111089569B (zh) | 一种基于单目视觉的大型箱体测量方法 | |
| JP5365218B2 (ja) | ロボットビジョンシステムおよび自動キャリブレーション方法 | |
| CN114413788B (zh) | 基于双目视觉和反向模型重构的零件表面图案检测方法 | |
| Seales et al. | Building three-dimensional object models from image sequences | |
| CN110136211A (zh) | 一种基于主动双目视觉技术的工件定位方法及系统 | |
| CN113269673B (zh) | 一种基于标准球架的三维点云拼接方法 | |
| Olson et al. | Wide-baseline stereo vision for Mars rovers | |
| CN113554757A (zh) | 基于数字孪生的工件轨迹三维重构方法及系统 | |
| CN112489110A (zh) | 一种水下动态场景光学混合三维成像方法 | |
| CN109773589B (zh) | 对工件表面进行在线测量和加工导引的方法及装置、设备 | |
| CN115578320A (zh) | 一种骨科手术机器人全自动空间注册方法及系统 | |
| CN111583342A (zh) | 一种基于双目视觉的目标快速定位方法及装置 | |
| CN110992416A (zh) | 基于双目视觉与cad模型的高反光面金属零件位姿测量方法 | |
| CN113920150A (zh) | 一种资源受限下的行星车简化双目视觉里程定位方法 | |
| CN110517323A (zh) | 基于机械手单相机多目视觉的三维定位系统及方法 | |
| JPH07103715A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| CN116385347A (zh) | 一种基于变形分析的飞机蒙皮曲面图案视觉检测方法 | |
| CN115222893A (zh) | 基于结构光测量的大尺寸构件三维重建拼接方法 | |
| Seo et al. | 3D Hole center and surface normal estimation in robot vision systems | |
| CN115179323A (zh) | 基于远心视觉约束的机器末位姿测量装置及精度提升方法 | |
| CN113689478A (zh) | 量测设备的对齐方法、装置及系统 | |
| CN116091608B (zh) | 水下目标物的定位方法、定位装置、水下设备及存储介质 | |
| CN113916149B (zh) | 依托多目ccd工业相机的圆柱直齿轮外形视觉测量装置及图像处理方法 | |
| CN112215890B (zh) | 一种基于单目视觉的盾构机滚刀刀座位姿的测量方法 | |
| Peng et al. | An Improved Monocular-Vision-Based Method for the Pose Measurement of the Disc Cutter Holder of Shield Machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |