CN114001674B - 一种自由视角下的线束弯曲半径机器视觉测量方法 - Google Patents

Abstract

本发明公开了一种自由视角下的线束弯曲半径机器视觉测量方法，按照以下步骤内容实施：步骤1、在同一平面内、相邻设置有一待测线束和一参考圆，所述参考圆内具有一矩形区域；步骤2、获取多帧待测线束和参考圆的非正视角度图、以及待测线束和参考圆的单帧正视图；步骤3、获取所述正视图中矩形区域的角点坐标；步骤4、获取首帧所述非正视角度图中矩形区域的角度坐标；步骤5、将首帧所述非正视角度图转换为变换正视图；步骤6、在所述变换正视图中，完成非正视角度图中线束弯曲半径的测量。其解决了传统弯曲半径测量方法操作较复杂，无法实现弯曲半径在线实时测量的问题。

Description

一种自由视角下的线束弯曲半径机器视觉测量方法

技术领域

本发明属于工业产品中线束弯曲半径测量技术领域，具体涉及一种自由视角下的线束弯曲半径机器视觉测量方法。

背景技术

对于飞机、汽车、卫星等高值工业产品，线束装配的工作量占比大，线束装配的质量直接影响产品质量。线束的弯曲半径是线束装配的重要质量检测项之一，多项国际标准明确了对工业产品中线束弯曲半径的要求，为提升线束装配的质量，需要在线束装配过程中和装配完成后对线束的弯曲半径进行测量。

弯曲半径测量的常用方法有：圆弧样板法、卡尺法、弓高弦长法等。这些测量方法的原理、特点和精度等都不同，因此其适用的范围和应用场合也各不相同。圆弧样板法的缺陷在于测量精度不高，无法测量与样板相差较大对象的半径。卡尺法只能用于测量形状固定的，半径在卡尺量程内的物体的半径。弓高弦长法是一种间接测量半径的方法，优点在于可以通过测量线段的长度计算得到圆弧的半径，操作简单，但是弓高弦长法需要经过计算才能测得圆弧的半径。所以说，传统弯曲半径测量方法操作较复杂，无法实现弯曲半径在线实时测量。

发明内容

本发明的目的是提供一种自由视角下的线束弯曲半径机器视觉测量方法，以解决传统弯曲半径测量方法操作较复杂，无法实现弯曲半径在线实时测量的问题。

本发明采用以下技术方案：一种自由视角下的线束弯曲半径机器视觉测量方法，其特征在于，按照以下步骤内容实施：

步骤1、在同一平面内、相邻设置有一待测线束和一参考圆，所述参考圆内具有一矩形区域，所述参考圆的半径r_ca已知，所述待测线束的弯曲半径设为r_sa，r_ca与r_sa满足0.5r_ca≤r_sa≤2r_ca或0.5r_sa≤r_ca≤2r_sa；

步骤2、获取多帧待测线束和参考圆的非正视角度图、以及待测线束和参考圆的单帧正视图；

步骤3、获取所述正视图中矩形区域的角点坐标；

步骤4、获取首帧所述非正视角度图中矩形区域的角度坐标；

步骤5、向warpPerspective()函数输入所述单帧正视图的四个角点坐标、以及首帧所述非正视角度图的四个角点坐标，透视变换后、将首帧所述非正视角度图转换为变换正视图；

步骤6、在所述变换正视图中，使用Canny边缘检测方法提取待测线束的边缘，使用最小二乘拟合法测得待测线束的圆心(x_s,y_s)和半径r_sp；所述变换正视图中的参考圆面积s＝N×s₀，则所述变换正视图中的参考圆半径

计算换算尺度/>

则线束的真实弯曲半径r_sa＝r_e×r_sp；即完成了非正视角度图中线束弯曲半径的测量；

其中，r_ca为参考圆真实半径，N为参考圆内部的像素点总数，s₀每一个像素点的面积。

进一步的，依照时序对所述步骤2中所有帧的非正视角度图、按照所述步骤4至所述步骤6的方法进行处理，从而获得所有非正视角度图中的待测线束的弯曲半径，并将测得的线束弯曲半径可视化显示在相对应的非正视角度图中；

将所有显示有线束弯曲半径的非正视角度图，按照视频获取时的时序，合成视频，即完成非正视角度视频图像中线束弯曲半径测量结果的可视化显示。

进一步的，步骤2的具体过程为：

在图像采集设备的成像平面与参考圆所在平面不平行的条件下，使用图像采集设备获取待测线束和参考圆的视频图像，待测线束与参考圆同时存在于图像中，将所述视频图像分解成多张单帧图片，每张所述单帧图片均为非正式角度图；

在图像采集设备成像平面与参考圆所在平面平行的条件下，使用图像采集设备获取待测线束和参考圆的单帧正视图，待测线束与参考圆同时存在于所述单帧正视图中。

进一步的，步骤3的具体过程：对所述单帧正视图进行图像预处理得到二值化正视图，再提取所述二值化正视图中矩形区域的边框；最后对所述边框进行角点检测，并记录四个角点坐标。

进一步的，步骤4的具体过程：对所述首帧非正视角度图进行图像预处理得到二值化处理后图像，提取所述二值化处理后图像中矩形区域的边框，最后对所述边框进行角点检测，并记录四个角点坐标。

进一步的，矩形区域的四个顶点均在参考圆内，矩形区域的长为a，宽为b，且满足0.6r_ca≤a≤1.4r_ca，0.6r_ca≤b≤1.4r_ca。

进一步的，参考圆使用颜色A填充，所述矩形区域使用非颜色A进行填充。

本发明的有益效果是：本发明基于机器视觉的测量作为一种非接触式测量，检测效率和精度较高，具有能实时测量的优点，并且能节省大量的人工、时间，对比其他方法具有一定的优势。随着图像采集设备小型化和计算机性能的提升，基于机器视觉的测量将得到更广泛的应用，使用单目相机获取图像具有成本低、操作便捷的优点，应用于工业产品线束装配领域，可以提升线束装配的效率和质量。

附图说明

图1为本发明一种自由视角下的线束弯曲半径机器视觉测量方法的方法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提供了一种自由视角下的线束弯曲半径机器视觉测量方法，按照以下步骤实施：

步骤1、在同一平面内、相邻设置有一待测线束和一参考圆，所述参考圆内具有一矩形图案，所述参考圆的半径r_ca已知，所述待测线束的弯曲半径为r_sa，r_ca与r_sa应满足0.5r_ca≤r_sa≤2r_ca或0.5r_sa≤r_ca≤2r_sa。

步骤2、获取多帧待测线束和参考圆的非正视角度图、以及待测线束和参考圆的单帧正视图；

步骤3、获取所述正视图中矩形区域的角点坐标；

步骤4、获取首帧所述非正视角度图中矩形区域的角度坐标；

步骤5、向warpPerspective()函数输入所述单帧正视图的四个角点坐标、以及首帧所述非正视角度图的四个角点坐标，透视变换后、将首帧所述非正视角度图转换为变换正视图。

具体的，调用OpenCV中的warpPerspective()函数，输入如步骤3所述的正视图中矩形区域的4个角点P′₁、P′₂、P′₃、P′₄的坐标，输入步骤4中首帧非正视角度图中矩形区域的4个角点P₁、P₂、P₃、P₄的坐标，进行透视变换，将首帧非正视角度图转换为变换正视图。

步骤6、对变换正视图做分割，将待测线束与已知半径的参考圆分离开。对于待测线束，使用Canny边缘检测方法提取线束的边缘。由于线束有一定的宽度，所以会提取到两个同心圆弧，使用最小二乘拟合测得两段同心圆弧的圆心(x_s,y_s)，内圆弧的半径r_sp1和外圆弧的半径r_sp2，则变换正视图中线束弯曲半径的测量值

对变换正视图中的参考圆内部的像素点数量进行统计，可得像素点总数为N，每一个像素点的面积为s₀，可得出参考圆面积s＝N×s₀，则参考圆的测得半径/>

已知参考圆半径r_ca，可以计算换算尺度/>

则线束的真实弯曲半径r_sa＝r_e×r_sp。

其中，最小二乘拟合法求解圆弧圆心坐标和半径的方法如下：

已知一系列数据点{x_i,y_i}(i＝1,2,L,n)，圆在笛卡尔坐标系中的方程为：

(x-x_c)²+(y-y_c)²＝R²，(x_c,y_c)为圆的半径，R为半径。通常的最小二乘拟合要求距离的平方和最小，构建辅助函数g(x,y)＝(x-x_c)²+(y-y_c)²-R²，令f＝∑g(x_i,y_i ²)，最小二乘拟合转换成求f的最小值。

对f求极值，即

令

令

令

s_uv＝∑u_iv_i；

令

令

求解三个偏微分方程组成的方程组即可解得最小二乘圆拟合的解：

解得

在一些实施例中，依照时序对所述步骤2中所有帧的非正视角度图、按照所述步骤4至所述步骤6的方法进行处理，从而获得所有非正视角度图中的待测线束的弯曲半径，并将测得的线束弯曲半径可视化显示在相对应的非正视角度图中；将所有显示有线束弯曲半径的非正视角度图，按照视频获取时的时序，合成可视化视频输出，完成测量结果的可视化显示。

在一些实施例中，所述步骤2的具体过程为：

在图像采集设备的成像平面与参考圆所在平面不平行的条件下，使用图像采集设备获取待测线束和参考圆的视频图像，待测线束与参考圆同时存在于图像中，将所述视频图像分解成多张单帧图片，每张所述单帧图片均为非正式角度图；

在图像采集设备成像平面与参考圆所在平面平行的条件下，使用图像采集设备获取待测线束和参考圆的单帧正视图，待测线束与参考圆同时存在于所述单帧正视图中。

在一些实施例中，所述步骤3的具体过程：对所述单帧正视图进行图像预处理得到二值化正视图，再提取所述二值化正视图中矩形区域的边框；最后对所述边框进行角点检测，并记录四个角点坐标。

具体的，对所述单帧正视图进行图像预处理，预处理包括滤波降噪、设置阈值进行灰度化处理和二值化处理，得到二值化正视图。将二值化正视图进行分割提取参考圆及四边形，将圆形内部像素全部填充为白色，再与所得二值化正视图相减，得出四边形的区域。将四边形区域上下左右各平移一个像素后减去前一四边形区域，得出四边形的边缘。计算四边形轮廓中像素间距离最大的两点P′₁、P′₃，连接这两点得到线段P₁P₃，计算得出四边形轮廓中距离P₁P₃最远的两个像素点P′₂、P′₄，由此得到了四边形的4个顶点P′₁、P′₂、P′₃、P′₄。记录P′₁、P′₂、P′₃、P′₄的坐标P′₁(X′₁,Y′₁,Z′₁)、P′₂(X′₂,Y′₂,Z′₂)、P′₃(X′₃,Y′₃,Z′₃)、P′₄(X′₄,Y′₄,Z′₄)。

在一些实施例中，所述步骤4的具体过程：对所述首帧非正视角度图进行图像预处理得到二值化处理后图像，提取所述二值化处理后图像中矩形区域的边框，最后对所述边框进行角点检测，并记录四个角点坐标。

具体的，对所述首帧非正视角度图进行图像预处理，包括滤波降噪，设置阈值灰度化处理、二值化处理。提取二值化处理后图像中矩形区域的边框，最后对提取出的所述边框进行角点检测，并记录四个角点P₁、P₂、P₃、P₄坐标P₁(X₁,Y₁,Z₁)、P₂(X₂,Y₂,Z₂)、P₃(X₃,Y₃,Z₃)、P₄(X₄,Y₄,Z₄)。

在一些实施例中，参考圆内有一矩形区域，矩形的四个顶点均在参考圆内，矩形的长为a，宽为b，且满足0.6r_ca≤a≤1.4r_ca，0.6r_ca≤b≤1.4r_ca。

在一些实施例中，为便于后续图像处理与分析，参考圆使用颜色A填充，所述矩形区域使用非颜色A进行填充。参考圆应使用颜色填充，参考圆内的矩形区域也应使用颜色填充，矩形区域的颜色和参考圆其他部分的颜色不相同。

实施例

已参考圆半径为63mm，用弓弦法测得待测线束的半径为52.8mm。按要求设置参考圆和待测弯曲半径的线束，按要求获取正视图、非正视角度视频图像，分解视频图像获取首帧非正视角度图。测得正视角度图中四个顶点坐标依次为：P′₁(-5.04,-5.10,0)、P′₂(-5.01,5.06,0)、P′₃(5.11,5.03,0)、P′₄(5.06,-5.11,0)，测得首帧非正视角度图中矩形区域4个顶点P₁、P₂、P₃、P₄的坐标为：P₁(161.5,144.27,1、P₂(157.143,274.374₂,12)、P₃(282.473,275.388₃,12)、P₄(278.865,161.021,12)。

使用OpenCV中的warpPerspective()函数可以实现图片的透视变换，输入P₁、P₂、P₃、P₄、P′₁、P′₂、P′₃、P′₄的坐标，调用函数即可完成透视变换，将首帧非正视角度图转换成变换正视图。

对变换正视图做分割，将待测线束与已知半径的参考圆分离开。对于待测线束，使用Canny边缘检测方法提取线束的边缘；

使用最小二乘拟合测得两段同心圆弧的圆心(x_s,y_s)，内圆弧的半径r_sp1和外圆弧的半径r_sp2，则变换正视图中圆弧半径的测量值

测得r_sp＝61.48mm；

对于变换正视图中的参考圆，将圆形内部元素全部填充为白色，统计参考圆内部像素点个数，可以测得参考圆的面积为s，则参考圆的测得半径

求得s＝16719.3mm²，r_cp＝72.97mm

已知参考圆半径r_ca＝63mm，可以计算换算尺度r_e＝0.863，则使用本方法测得线束半径r_sa＝0.863×61.46＝53.06mm，测量结果与用弓弦法测得的结果差值小于1mm，说明本方法具有较高的测量精度。

对视频中所有帧图片进行测量，线束弯曲半径总是在区间(52.1mm,53.6mm)中，说明本测量方法有良好的稳定性和较高的可信性。

本发明提供了一种自由视角下的线束弯曲半径机器视觉测量方法。在同一平面内设置待测线束和参考圆。参考圆内具有一矩形图案，参考圆和矩形图案满足相应的约束条件。图像采集设备可以为单目相机或双目相机。在图像采集设备成像平面与参考圆所在平面不平行的条件下，使用图像采集设备获取待测线束和参考圆的视频图像，将视频图像分解成多张单帧图片。在图像采集设备成像平面与参考圆所在平面平行的条件下，使用图像采集设备获取待测线束和参考圆的单帧正视图。对单帧正视图中矩形区域进行角点检测，并记录角点坐标。选取首帧非正视角度图，测量其中线束的弯曲半径，步骤包括图像预处理、矩形区域边框与角点提取、透视变换、最小二乘法测量变换正视图中线束的半径和圆心、测量变换正视图中参考圆的半径、比例变换计算，测得首帧非正视角度图中线束弯曲半径。最后对所有帧的非正视角度图按相同方法进行线束弯曲半径的测量，最后进行测量结果的可视化表达与合成视频。

本发明基于机器视觉的测量作为一种非接触式测量，检测效率和精度较高，具有能实时测量的优点，并且能节省大量的人工、时间，对比其他方法具有一定的优势。随着图像采集设备小型化和计算机性能的提升，基于机器视觉的测量将得到更广泛的应用，使用单目相机获取图像具有成本低、操作便捷的优点，应用于工业产品线束装配领域，可以提升线束装配的效率和质量。

Claims (7)

1.一种自由视角下的线束弯曲半径机器视觉测量方法，其特征在于，按照以下步骤内容实施：

步骤1、在同一平面内、相邻设置有一待测线束和一参考圆，所述参考圆内具有一矩形区域，所述参考圆的半径r_ca已知，所述待测线束的弯曲半径设为r_sa，r_ca与r_sa满足0.5r_ca≤r_sa≤2r_ca或0.5r_sa≤r_ca≤2r_sa；

步骤2、获取多帧待测线束和参考圆的非正视角度图、以及待测线束和参考圆的单帧正视图；

步骤3、获取所述正视图中矩形区域的角点坐标；

步骤4、获取首帧所述非正视角度图中矩形区域的角度坐标；

步骤5、向warpPerspective()函数输入所述单帧正视图的四个角点坐标、以及首帧所述非正视角度图的四个角点坐标，透视变换后、将首帧所述非正视角度图转换为变换正视图；

步骤6、在所述变换正视图中，使用Canny边缘检测方法提取待测线束的边缘，使用最小二乘拟合法测得待测线束的圆心(x_s,y_s)和半径r_sp；所述变换正视图中的参考圆面积s＝N×s₀，则所述变换正视图中的参考圆半径

计算换算尺度/>

则线束的真实弯曲半径r_sa＝r_e×r_sp；即完成了非正视角度图中线束弯曲半径的测量；

其中，r_ca为参考圆真实半径，N为参考圆内部的像素点总数，s₀每一个像素点的面积。

2.如权利要求1所述的一种自由视角下的线束弯曲半径机器视觉测量方法，其特征在于，依照时序对所述步骤2中所有帧的非正视角度图、按照所述步骤4至所述步骤6的方法进行处理，从而获得所有非正视角度图中的待测线束的弯曲半径，并将测得的线束弯曲半径可视化显示在相对应的非正视角度图中；

将所有显示有线束弯曲半径的非正视角度图，按照视频获取时的时序，合成视频，即完成非正视角度视频图像中线束弯曲半径测量结果的可视化显示。

3.如权利要求1或2所述的一种自由视角下的线束弯曲半径机器视觉测量方法，其特征在于，所述步骤2的具体过程为：

在图像采集设备的成像平面与参考圆所在平面不平行的条件下，使用图像采集设备获取待测线束和参考圆的视频图像，待测线束与参考圆同时存在于图像中，将所述视频图像分解成多张单帧图片，每张所述单帧图片均为非正式角度图；

在图像采集设备成像平面与参考圆所在平面平行的条件下，使用图像采集设备获取待测线束和参考圆的单帧正视图，待测线束与参考圆同时存在于所述单帧正视图中。

4.如权利要求3所述的一种自由视角下的线束弯曲半径机器视觉测量方法，其特征在于，所述步骤3的具体过程：对所述单帧正视图进行图像预处理得到二值化正视图，再提取所述二值化正视图中矩形区域的边框；最后对所述边框进行角点检测，并记录四个角点坐标。

5.如权利要求4所述的一种自由视角下的线束弯曲半径机器视觉测量方法，其特征在于，所述步骤4的具体过程：对所述首帧非正视角度图进行图像预处理得到二值化处理后图像，提取所述二值化处理后图像中矩形区域的边框，最后对所述边框进行角点检测，并记录四个角点坐标。

6.如权利要求1或2所述的一种自由视角下的线束弯曲半径机器视觉测量方法，其特征在于，所述矩形区域的四个顶点均在参考圆内，矩形区域的长为a，宽为b，且满足0.6r_ca≤a≤1.4r_ca，0.6r_ca≤b≤1.4r_ca。

7.如权利要求1或2所述的一种自由视角下的线束弯曲半径机器视觉测量方法，其特征在于，所述参考圆使用颜色A填充，所述矩形区域使用非颜色A进行填充。

Images