CN112729157A - 基于四步相移与双目立体视觉融合的钣金件测量方法 - Google Patents
基于四步相移与双目立体视觉融合的钣金件测量方法 Download PDFInfo
- Publication number
- CN112729157A CN112729157A CN202011557097.8A CN202011557097A CN112729157A CN 112729157 A CN112729157 A CN 112729157A CN 202011557097 A CN202011557097 A CN 202011557097A CN 112729157 A CN112729157 A CN 112729157A
- Authority
- CN
- China
- Prior art keywords
- sheet metal
- point cloud
- metal part
- contour
- outline
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开一种基于四步相移与双目立体视觉融合的钣金件测量方法，首先使用四步相移轮廓术对整个钣金件进行扫描，重建出钣金件表面的形貌点云；接着基于双目视觉的钣金件轮廓亚像素提取，并进行钣金件轮廓立体匹配，重建出孔径的三维点云；最后将钣金件表面的形貌点云和孔径的三维点云进行融合，得到完整的钣金件点云。本发明使用基于结构光与双目立体视觉相融合的钣金测量技术，充分利用结构光技术的通用性以及双目立体视觉消除了结构光技术在钣金测量过程中，边缘轮廓处因“吉布斯效益”导致的轮廓测量精度差的问题，不仅拥有结构光技术固有的适用范围广的特点，同时具有较高的孔径测量精度。
Description
技术领域
本发明涉及光学测量技术领域，具体涉及一种基于四步相移与双目立体视觉融合的钣金件测量方法。
背景技术
钣金件因为具有密度低、强度高、成型能力好、价格低廉等卓越性能，在汽车运输、医用器械、航空航天等领域被广泛应用。但是由于加工过程的复杂，钣金件存在尺寸不一致的缺陷，使得产品的质量、安全等存在极大隐患，因此对钣金零件的表面质量、成形精度、成形过程稳定性、成形后性能、产品合格率等要求日益提高。例如新型飞机气动外形要求更严、寿命要求长、钣金件不许敲击成形，飞机机翼外形相对理论外形的偏差一般要小于0.5mm，不平滑度小于0.05mm～0.15mm，钣金件弯边高度的精度要求是0.2mm，而靠样板等模拟量协调制造的工装外形误差往往达0.2mm～0.3mm，局部甚至高达0.5mm。故此需要对钣金件的三维立体尺寸进行检测，确保产品的质量和安全得以保证。
目前，国内外对钣金件的三维立体尺寸进行测量的方法有：彭诚在2018年《自动化应用自动化应用》第02期上提出了“三坐标测量仪在机械零件检测中的应用研究”，将三坐标测量仪应用于机械零件尺寸检测，使用三坐标测量仪虽然具有较高的空间测量精度，但是测量效率较低，难以满足大批量测量任务需求。王福荣，刘武发，李攀，阮永超在2019年《机床与液压》第16期提出了“角度校正和畸变校正的方法，将图像中的椭圆图像转换成圆形图像进行尺寸测量”，该方法对钣金件上的圆孔尺寸测量具有较好的效果，但无法获得钣金件上其他区域的形貌特征，适用范围窄。张剑清，郑莉在2004年《地理空间信息》中提出了“基于结构光的不规则工业钣金件三维曲面重建方法”，该方法使用结构光技术对工业钣金件进行三维重建，利用重建后的点云数据估计钣金件孔径等尺寸信息，该方法具有较好的通用性，但是由于结构光本身的缺陷，物体轮廓位置容易出现“吉布斯效应”，从而导致边缘轮廓位置重建精度较差，严重影响了钣金孔位测量精度。
综上所述，由于上述方法广泛使用的单一测量模式，虽然在一定程度上能完成对钣金件的高效测量，但是在测量效率、精度、成本等方面达到较好的平衡，仍然存在很多问题。
发明内容
本发明所要解决的是钣金件测量过程中测量效率与测量精度难以平衡的的问题，提供一种基于四步相移与双目立体视觉融合的钣金件测量方法。
为解决上述问题，本发明是通过以下技术方案实现的：
基于四步相移与双目立体视觉融合的钣金件测量方法，包括步骤如下：
步骤1、使用四步相移轮廓法对整个钣金件进行扫描，重建出钣金件表面的形貌点云；
步骤2、基于双目视觉的钣金件轮廓亚像素提取，得到直线轮廓、椭圆轮廓和矩形轮廓；即：
步骤2.1、对左右相机预处理后的图像进行canny边缘检测，获得初步的边缘，并通过形态学处理去除毛刺和连接断裂部位；
步骤2.2、对处理后的边缘进行轮廓提取，根据初始长度与灰度值比进行初步判断，去除掉大部分的噪声；
步骤2.3、遍历去除噪声后的所有轮廓，通过直线检测函数检测出所有的直线轮廓，利用最小二乘法进行直线拟合；
步骤2.4、先将剩余的轮廓利用椭圆拟合函数进行椭圆轮廓拟合，再根据拟合后的椭圆与轮廓中的灰度值之比判断轮廓是否为椭圆轮廓：若是椭圆轮廓，则进行椭圆拟合；否则，进入步骤2.5；
步骤2.5、对剩余的轮廓进行平行四边形判断，判断依据为两对平行的线段，同时轮廓的长度与拟合的平行四边形长度在一定范围内：若是平行四边形轮廓，则进入步骤2.6，否则；放弃该轮廓；
步骤2.6、对判断为平行四边形轮廓进行角弧检测：若角弧检测结果是交点，则该平行四边形轮廓为矩形，进行矩形拟合；若角弧检测结果是圆弧，则不进行拟合；
步骤2.7、对上述得到的所有轮廓即步骤2.3的拟合出的直线轮廓、步骤2.4的拟合出的椭圆轮廓和步骤2.6的拟合出的矩形轮廓进行亚像素精度分析后，再进行分类存储；
步骤3、对步骤2中左右相机所定位到的钣金件孔位即椭圆轮廓和矩形轮廓进行整体匹配，左右相机的钣金件孔位匹配成功之后，直接使用三角化重建出孔径的三维点云；
步骤4、将步骤1重建出的钣金件表面的形貌点云和步骤3重建出的孔径的三维点云进行融合，得到完整的钣金件点云。
上述步骤4的融合过程为：计算步骤1重建出的钣金件表面的形貌点云集合A中的每一个点云ai到步骤3重建出的孔径的三维点云集合B中每一个点云bj之间的欧式距离dij，若欧式距离dij小于设定的距离阈值，则删除钣金件表面的形貌点云集合A中的点云ai，并且将孔径的三维点云集合BB中的点云bj插入到钣金件表面的形貌点云集合A中，直到孔径的三维点云集合B遍历完毕；其中i＝1,2,…,N，其中N为钣金件表面的形貌点云集合中的点云数；j＝1,2,…,M，其中N为孔径的三维点云集合中的点云数。
与现有技术相比，本发明使用基于结构光与双目立体视觉相融合的钣金测量技术，充分利用结构光技术的通用性以及双目立体视觉消除结构光技术固有的“吉布斯效应”，从而在测量效率和测量精度上达到较好的平衡。
附图说明
图1为钣金件轮廓提取流程图。
图2为左右相机圆孔轮廓对应匹配图，(a)左相机，(b)右相机。
图3为左右相机钣金件图像孔径检测结果，(a)左相机，(b)右相机。
图4为基于双目立体视觉的孔径三维重建结果图。
图5为四步相移轮廓术双目立体重建相融合的点云成像结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。
一种基于四步相移与双目立体视觉融合的钣金件测量方法，其具体包括步骤如下：
(1)使用四步相移轮廓法对整个钣金件进行扫描，重建出钣金件表面的形貌点云。
(2)基于双目视觉的钣金件轮廓亚像素提取，得到直线轮廓、椭圆轮廓和矩形轮廓。
标准钣金件轮廓一般具有直线，矩形，圆角矩形，圆(即椭圆)等几种轮廓，主要针对这几种轮廓进行分析。其基本步骤如图1所示，具体包括如下：
(2.1)对左右相机预处理后的图像进行canny边缘检测，获得初步的边缘，并通过形态学处理去除毛刺和连接断裂部位；
(2.2)对处理后的边缘进行轮廓提取，根据初始长度与灰度值比等进行初步判断，去除掉大部分的噪声；
(2.3)遍历去除噪声后的所有轮廓，通过直线检测函数检测出所有的直线轮廓，利用最小二乘法进行直线拟合，剩下的轮廓进入下一步；
(2.4)将剩余的轮廓利用椭圆拟合函数进行椭圆轮廓拟合，根据拟合后的椭圆与轮廓中的灰度值之比判断轮廓是否为椭圆轮廓，是则进行椭圆拟合，否则进入下一步；
由于椭圆性质比较特殊，目标轮廓形状未知的情况下，可以先拟合为椭圆，若拟合的形状与理想椭圆的偏差较大，则判断当前形状为非椭圆目标，进一步判断是否为平行四边形。
(2.5)对剩余的轮廓进行平行四边形判断，判断依据为两对平行的线段，同时轮廓的长度与拟合的平行四边形长度在一定范围内，若是则进入下一步，否则放弃；
(2.6)对判断为平行四边形的轮廓进行角弧检测：若角弧检测结果是交点，则该轮廓为矩形，进行矩形拟合，若角弧检测结果是圆弧，则不进行拟合；
在钣金加工过程中，通过检测圆孔和矩形的中心位置来判断钣金件的加工偏差，圆角矩形的孔罕见，故只重建出高精度的椭圆和矩形孔位。
(2.7)对得到的所有直线轮廓、椭圆轮廓和矩形轮廓进行亚像素精度分析和分类存储。
(3)基于双目立体视觉的钣金件轮廓立体匹配及三维重建。
立体匹配是将左右图像上的两个对应点进行匹配，是双目视觉中的关键步骤。现有算法很难在所有的情况下排除左右两个相机图像中背景、噪声等的干扰，无差异的找到所对应的匹配点。就钣金件轮廓而言，因为每个钣金件轮廓都是一个独立的整体，互相并无交集，直接对整副图像进行匹配不仅没有必要，而且引起的误差会很大，因此我们直接对步骤2中定位到的椭圆形轮廓以及平行四边形轮廓进行整体匹配，匹配结果如图2和3所示。左右相机孔位匹配成功之后，直接使用三角化重建出孔径的三维点云，如图4所示。
(4)结构光与双目立体视觉点云融合。
将步骤(1)重建出的钣金件点云和步骤(3)重建出的孔径点云进行融合，得到完整的钣金件点云，如5所示。融合方法如下：设步骤(1)重建出的点云集合为A，步骤(3)重建出的点云集合为B。计算集合A中每一个点云ai到集合B中每一个点云bj之间的欧式距离dij，若距离dij小于固定的阈值t(本例优选t＝0.5mm)，则删除集合A中的点云ai，并且将集合B中的点云bj插入到集合A中，直到集合B遍历完毕，实现整个点云融合过程。
本发明有效消除了结构光技术在钣金测量过程中，边缘轮廓处因“吉布斯效益”导致的轮廓测量精度差的问题，不仅拥有结构光技术固有的适用范围广的特点，同时具有较高的孔径测量精度。
需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。
Claims (2)
1.基于四步相移与双目立体视觉融合的钣金件测量方法，其特征是，包括步骤如下：
步骤1、使用四步相移轮廓法对整个钣金件进行扫描，重建出钣金件表面的形貌点云；
步骤2、基于双目视觉的钣金件轮廓亚像素提取，得到直线轮廓、椭圆轮廓和矩形轮廓；即：
步骤2.1、对左右相机预处理后的图像进行canny边缘检测，获得初步的边缘，并通过形态学处理去除毛刺和连接断裂部位；
步骤2.2、对处理后的边缘进行轮廓提取，根据初始长度与灰度值比进行初步判断，去除掉大部分的噪声；
步骤2.3、遍历去除噪声后的所有轮廓，通过直线检测函数检测出所有的直线轮廓，利用最小二乘法进行直线拟合；
步骤2.4、先将剩余的轮廓利用椭圆拟合函数进行椭圆轮廓拟合，再根据拟合后的椭圆与轮廓中的灰度值之比判断轮廓是否为椭圆轮廓：若是椭圆轮廓，则进行椭圆拟合；否则，进入步骤2.5；
步骤2.5、对剩余的轮廓进行平行四边形判断，判断依据为两对平行的线段，同时轮廓的长度与拟合的平行四边形长度在一定范围内：若是平行四边形轮廓，则进入步骤2.6，否则；放弃该轮廓；
步骤2.6、对判断为平行四边形轮廓进行角弧检测：若角弧检测结果是交点，则该平行四边形轮廓为矩形，进行矩形拟合；若角弧检测结果是圆弧，则不进行拟合；
步骤2.7、对上述得到的所有轮廓即步骤2.3的拟合出的直线轮廓、步骤2.4的拟合出的椭圆轮廓和步骤2.6的拟合出的矩形轮廓进行亚像素精度分析后，再进行分类存储；
步骤3、对步骤2中左右相机所定位到的钣金件孔位即椭圆轮廓和矩形轮廓进行整体匹配，左右相机的钣金件孔位匹配成功之后，直接使用三角化重建出孔径的三维点云；
步骤4、将步骤1重建出的钣金件表面的形貌点云和步骤3重建出的孔径的三维点云进行融合，得到完整的钣金件点云。
2.根据权利要求1所述的基于四步相移与双目立体视觉融合的钣金件测量方法，其特征是，步骤4的融合过程为：计算步骤1重建出的钣金件表面的形貌点云集合A中的每一个点云ai到步骤3重建出的孔径的三维点云集合B中每一个点云bj之间的欧式距离dij，若欧式距离dij小于设定的距离阈值，则删除钣金件表面的形貌点云集合A中的点云ai，并且将孔径的三维点云集合BB中的点云bj插入到钣金件表面的形貌点云集合A中，直到孔径的三维点云集合B遍历完毕；其中i＝1,2,…,N，其中N为钣金件表面的形貌点云集合中的点云数；j＝1,2,…,M，其中N为孔径的三维点云集合中的点云数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011557097.8A CN112729157A (zh) | 2020-12-25 | 2020-12-25 | 基于四步相移与双目立体视觉融合的钣金件测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011557097.8A CN112729157A (zh) | 2020-12-25 | 2020-12-25 | 基于四步相移与双目立体视觉融合的钣金件测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112729157A true CN112729157A (zh) | 2021-04-30 |
Family
ID=75615878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011557097.8A Withdrawn CN112729157A (zh) | 2020-12-25 | 2020-12-25 | 基于四步相移与双目立体视觉融合的钣金件测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112729157A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119553A (zh) * | 2021-11-28 | 2022-03-01 | 长春理工大学 | 一种以十字激光为基准的双目视觉异面圆孔检测方法 |
-
2020
- 2020-12-25 CN CN202011557097.8A patent/CN112729157A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114119553A (zh) * | 2021-11-28 | 2022-03-01 | 长春理工大学 | 一种以十字激光为基准的双目视觉异面圆孔检测方法 |
| CN114119553B (zh) * | 2021-11-28 | 2024-05-10 | 长春理工大学 | 一种以十字激光为基准的双目视觉异面圆孔检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102589435B (zh) | 噪声环境下激光束中心高效精确检测方法 | |
| CN110298853B (zh) | 面差视觉检测方法 | |
| CN110530278B (zh) | 利用多线结构光测量间隙面差的方法 | |
| CN111047588A (zh) | 一种轴型小零件尺寸的图像化测量方法 | |
| CN108921164B (zh) | 一种基于三维点云分割的接触网定位器坡度检测方法 | |
| CN112734662B (zh) | 一种针对锥齿轮磨损的机器视觉检测方法及系统 | |
| CN114577131B (zh) | 一种基于3d结构光相机的车身间隙检测方法及系统 | |
| CN112819883A (zh) | 一种规则对象检测及定位方法 | |
| CN116740060B (zh) | 基于点云几何特征提取的装配式预制构件尺寸检测方法 | |
| CN113074656B (zh) | 工件孔洞测量方法 | |
| CN116358449A (zh) | 一种基于双目面结构光的飞机铆钉凹凸量测量方法 | |
| CN115682947A (zh) | 焊缝扫描跟踪处理方法 | |
| CN112729157A (zh) | 基于四步相移与双目立体视觉融合的钣金件测量方法 | |
| CN109990711A (zh) | 一种冲孔镀镍钢带的外观质量检测方法 | |
| CN114004981B (zh) | 一种非完整点云条件下的车身r角视觉检测方法及系统 | |
| CN111539951B (zh) | 一种陶瓷砂轮头轮廓尺寸视觉检测方法 | |
| CN218504096U (zh) | 一种具备智能识别、检测焊缝功能的恒力控制打磨器具 | |
| CN116880353A (zh) | 一种基于两点间隙的机床对刀方法 | |
| CN110021027B (zh) | 一种基于双目视觉的切边点计算方法 | |
| CN114049391A (zh) | 一种检测车身特征线凸起位置和尖锐程度的方法及其应用 | |
| CN118181111A (zh) | 基于激光定位的抛光加工度检测方法、系统及抛光机 | |
| CN108062771B (zh) | 一种基于互相关的二维spr吸收谱最佳激发角位置识别方法 | |
| CN108256522B (zh) | 一种spr与波导混合吸收谱特征位置的二维识别方法 | |
| JP2001108431A (ja) | 表面性状測定機における凹凸部抽出方法 | |
| CN117537743A (zh) | 一种航空发动机整机外轮廓非接触式光学数字化检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210430 |
|
| WW01 | Invention patent application withdrawn after publication |