CN113390357B - 一种基于双目多线结构光的铆钉齐平度测量方法 - Google Patents

Abstract

本发明公开了一种基于双目多线结构光的铆钉齐平度测量方法，其测量工具主要为工业相机与多线结构光发射器，通过工业相机采集多线结构光光束与待测铆钉干涉形成的结构光光条图像，并对图像进行相应的处理、分析与计算后，即可实现铆钉齐平度的非接触式快速测量，本发明一种基于双目多线结构光的铆钉齐平度测量方法，能够取代传统的使用铆钉齐平度规等专用检具进行测量的模式，适用性更高，常用的点云扫描测量模式准备周期较长，前期需要大量时间用于扫描点云数据，与此相比本方法的测量效率更高，缩短了检测周期，实现了铆钉齐平度的在线测量。

Description

一种基于双目多线结构光的铆钉齐平度测量方法

技术领域

本发明涉及铆钉齐平度测量方法，特别涉及一种基于双目多线结构光的铆钉齐平度测量方法，属于装配质量检测技术领域。

背景技术

对于飞机铆钉齐平度的装配质量检测，传统的人工触碰或使用专业检具测量的方法无法适用于大批次的铆钉齐平度测量任务，又因为需要足够的操作空间，所以无法完成飞机进气道等狭窄内腔中的铆钉齐平度检测任务，而点云扫描的测量方法准备周期太长，扫描出的点云数据量往往非常庞大，计算机对于点云数据的处理时间过长，导致测量效率低。

因此，基于以上测量方法的不足，确有必要对现有技术进行改进，对此本文提出了一种基于双目多线结构光的铆钉齐平度测量方法，能够实现铆钉齐平度的在线快速测量。

发明内容

本发明的目的在于提供一种基于双目多线结构光的铆钉齐平度测量方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于双目多线结构光的铆钉齐平度测量方法，所述方法包括如下步骤：

步骤一：在关闭结构光发射器的条件下，降低相机曝光并对待测铆钉进行图像采集，通过ROI提取出待测铆钉的图像，并使用霍夫变换算法提取出铆钉头圆轮廓在测量坐标系下的方程；

步骤二：保证测量系统位置不变，打开结构光发射器并提高相机曝光，触发相机对干涉光条进行图像采集，并对采集到的图像进行光条细化、双目匹配与重建等过程，识别和提取出重要干涉端点在测量坐标系下的坐标；

步骤三：将上述关键端点与轮廓参数代入铆钉齐平度测量模型，运用离散点筛选算法对光条骨架离散点进行筛选，最后通过计算即可得到测量结果。

作为本发明的一种优选技术方案，所述步骤一中需关闭结构光发射器，降低相机曝光，通过相机开发程序在线触发相机对铆钉头圆轮廓的图像进行采集，在对采集到的原始图像进行滤波去噪后即可通过调用Opencv库中的霍夫变换API，来完成对铆钉头部圆轮廓的提取操作，此处关闭结构光主要是为了防止结构光光条对霍夫变换圆提取操作的干扰。

作为本发明的一种优选技术方案，所述步骤一中在经过霍夫变换提取圆轮廓之后，即可获取铆钉头圆轮廓在图像坐标系下的方程表达式：

作为本发明的一种优选技术方案，所述步骤二中，在保证测量系统位置不变的条件下，开启结构光发射器并降低相机曝光，降低相机曝光是为了避免结构光主光条与待测样件表面或其他物体反射形成的次光条对图像的影响，此时同样通过相机开发程序触发相机完成第二次图像采集。

作为本发明的一种优选技术方案，所述通过对采集的图像进行光条骨架细化操作后，代入铆钉头圆轮廓在图像坐标系下的方程表达式，即可提取出铆钉头圆轮廓与中间结构光光条的交点，即干涉端点b、c，同样可以提取剩余的关键干涉端点，分别有三条结构光光条的起始点与终止点：

与

与

与

铆钉头下轮廓的干涉端点：a、d。

作为本发明的一种优选技术方案，所述在提取得到关键干涉端点后，即可对左右相机采集到的图像进行双目匹配与双目重建操作，在本方法中使用的双目匹配参考了单目单线结构光测量系统中的结构光平面约束方法，即在完成多线结构光光平面标定之后，可以获取三个结构光平面的表达方程：

随后对左右相机采集的图像进行极线矫正，此时左右相机采集的两幅图像纵坐标会变为相同，匹配像素点时只需要按行搜索即可，提高了匹配效率。在匹配的过程中，使用结构光平面表达方程来约束像素点匹配，即可提高匹配精度、降低了误匹配率；

其次根据视差原理即可实现双目重建过程，恢复出关键端点与圆轮廓在三维世界中的实际尺寸和位置。

作为本发明的一种优选技术方案，所述步骤三中，铆钉头上表面与铆钉所在的局部飞机蒙皮平面之间的距离即为铆钉齐平度，但是在实际测量中发现，通过离散点拟合出的两平面往往不是平行平面，所以无法根据两平行平面间的距离公式计算出齐平度，所以需要对齐平度的测量方式进行转换

作为本发明的一种优选技术方案，所述通过多条线段上的离散点可以拟合出飞机蒙皮平面，但是根据单挑结构光光条上的离散点无法拟合出铆钉头上表面，所以将铆钉齐平度的计算过程转换为：考虑到通过干涉在铆钉头上表面形成的结构光光条离散点(b点至c)的数量并不多，因此在本方法中对于两平面间距离的计算问题可以转换为遍历b点至c点，逐点计算出点

(i＝1,2,3,…,j)到β平面的距离r_i：

计算均值后即可得到齐平度r：

与现有技术相比，本发明的有益效果是：本发明一种基于双目多线结构光的铆钉齐平度测量方法，

1)能够取代传统的使用铆钉齐平度规等专用检具进行测量的模式，适用性更高。

2)常用的点云扫描测量模式准备周期较长，前期需要大量时间用于扫描点云数据，与此相比本方法的测量效率更高，缩短了检测周期，实现了铆钉齐平度的在线测量。

3)双目多线结构光测量系统结构紧凑、小巧，能够集成于由机械臂搭载的小型测量末端上，可以探入飞机进气道等狭窄内腔中完成检测任务，降低了局限性，提高了可行性。

附图说明：

图1是待测铆钉试验件与多线结构光干涉形成结构光光条及其干涉端点示意图。

图2是铆钉测量模型示意图。

图3是测量系统尺寸示意图。

具体实施方式

对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，本发明提供了一种基于双目多线结构光的铆钉齐平度测量方法，所述方法包括如下步骤：

步骤一：在关闭结构光发射器的条件下，降低相机曝光并对待测铆钉进行图像采集，通过ROI提取出待测铆钉的图像，并使用霍夫变换算法提取出铆钉头圆轮廓在测量坐标系下的方程；

步骤二：保证测量系统位置不变，打开结构光发射器并提高相机曝光，触发相机对干涉光条进行图像采集，并对采集到的图像进行光条细化、双目匹配与重建等过程，识别和提取出重要干涉端点在测量坐标系下的坐标；

步骤三：将上述关键端点与轮廓参数代入铆钉齐平度测量模型，运用离散点筛选算法对光条骨架离散点进行筛选，最后通过计算即可得到测量结果。

其中，所述步骤一中需关闭结构光发射器，降低相机曝光，通过相机开发程序在线触发相机对铆钉头圆轮廓的图像进行采集，在对采集到的原始图像进行滤波去噪后即可通过调用Opencv库中的霍夫变换API，来完成对铆钉头部圆轮廓的提取操作，此处关闭结构光主要是为了防止结构光光条对霍夫变换圆提取操作的干扰。

优选的，所述步骤一中在经过霍夫变换提取圆轮廓之后，即可获取铆钉头圆轮廓在图像坐标系下的方程表达式：

进一步地，所述步骤二中，在保证测量系统位置不变的条件下，开启结构光发射器并降低相机曝光，降低相机曝光是为了避免结构光主光条与待测样件表面或其他物体反射形成的次光条对图像的影响，此时同样通过相机开发程序触发相机完成第二次图像采集。

更进一步地，所述通过对采集的图像进行光条骨架细化操作后，代入铆钉头圆轮廓在图像坐标系下的方程表达式，即可提取出铆钉头圆轮廓与中间结构光光条的交点，即干涉端点b、c，同样可以提取剩余的关键干涉端点，分别有三条结构光光条的起始点与终止点：

与

与

与

铆钉头下轮廓的干涉端点：a、d。

优选的，所述在提取得到关键干涉端点后，即可对左右相机采集到的图像进行双目匹配与双目重建操作，在本方法中使用的双目匹配参考了单目单线结构光测量系统中的结构光平面约束方法，即在完成多线结构光光平面标定之后，可以获取三个结构光平面的表达方程：

随后对左右相机采集的图像进行极线矫正，此时左右相机采集的两幅图像纵坐标会变为相同，匹配像素点时只需要按行搜索即可，提高了匹配效率。在匹配的过程中，使用结构光平面表达方程来约束像素点匹配，即可提高匹配精度、降低了误匹配率；

其次根据视差原理即可实现双目重建过程，恢复出关键端点与圆轮廓在三维世界中的实际尺寸和位置。

其中，所述步骤三中，铆钉头上表面与铆钉所在的局部飞机蒙皮平面之间的距离即为铆钉齐平度，但是在实际测量中发现，通过离散点拟合出的两平面往往不是平行平面，所以无法根据两平行平面间的距离公式计算出齐平度，所以需要对齐平度的测量方式进行转换

优选的，所述通过多条线段上的离散点可以拟合出飞机蒙皮平面，但是根据单挑结构光光条上的离散点无法拟合出铆钉头上表面，所以将铆钉齐平度的计算过程转换为：考虑到通过干涉在铆钉头上表面形成的结构光光条离散点(b点至c)的数量并不多，因此在本方法中对于两平面间距离的计算问题可以转换为遍历b点至c点，逐点计算出点

(i＝1,2,3,…,j)到β平面的距离r_i：

计算均值后即可得到齐平度r：

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (1)

1.一种基于双目多线结构光的铆钉齐平度测量方法，其特征在于，所述方法包括如下步骤：

步骤一：在关闭结构光发射器的条件下，降低相机曝光并对待测铆钉进行图像采集，通过ROI提取出待测铆钉的图像，并使用霍夫变换算法提取出铆钉头圆轮廓在图像坐标系下的方程；

步骤二：保证测量系统位置不变，打开结构光发射器并提高相机曝光，触发相机对干涉光条进行图像采集，并对采集到的图像进行光条细化、双目匹配与重建，识别和提取出干涉端点在测量坐标系下的坐标；

步骤三：将干涉端点与轮廓参数代入铆钉齐平度测量模型，运用离散点筛选算法对光条骨架离散点进行筛选，最后通过计算得到测量结果；

步骤一中在经过霍夫变换提取圆轮廓之后，获取铆钉头圆轮廓在图像坐标系下的方程表达式：

通过对采集的图像进行光条骨架细化操作后，代入铆钉头圆轮廓在图像坐标系下的方程表达式，提取出铆钉头圆轮廓与中间结构光光条的交点，即干涉端点b、c，提取剩余的干涉端点，分别有三条结构光光条的起始点与终止点：

与

与

与

铆钉头下轮廓的干涉端点：a、d；

在提取得到干涉端点后，对左右相机采集到的图像进行双目匹配与双目重建操作，在完成多线结构光光平面标定之后，获取三个结构光平面的表达方程：

随后对左右相机采集的图像进行极线矫正；

根据视差原理实现双目重建过程，恢复出干涉端点与圆轮廓在三维世界中的实际尺寸和位置；

对两平面间距离的计算转换为遍历b点至c点，逐点计算出点

到β平面的距离r_i：

计算均值后得到齐平度r：

Images