CN113624142B - 一种飞机装配紧固件凹凸量检测方法 - Google Patents

Abstract

本发明公开了一种飞机装配紧固件凹凸量检测方法，涉及航空制造表面质量检测技术领域，包括以下步骤：步骤S1：搭建检测装置；步骤S2：向线激光器和一维振镜输出同步方波信号来改变一维振镜的转角，一维振镜以步进方式转动，每转动一个角度，线激光器点亮一次；步骤S3：线激光器每次点亮，第一相机和第二相机以局部曝光的方式保存图像，记录局部曝光的顺序；步骤S4：一次扫描完成后，第一相机和第二相机将图像进行传输，按照曝光时间顺序匹配第一相机和第二相机图像，然后进行三维计算，获取紧固件区域的点云数据；步骤S5：分析点云数据，提取其中的高点和低点，计算出凹凸量，本发明具有检测时数据覆盖区域大、高低点提取准确的优点。

Description

一种飞机装配紧固件凹凸量检测方法

技术领域

本发明涉及航空制造表面质量检测技术领域，具体涉及一种飞机装配紧固件凹凸量检测方法。

背景技术

飞机装配过程中大量使用铆钉、螺栓等紧固件，紧固件钉头与飞机表面的高度差称为凹凸量，对战斗机而言，凹凸量影响飞机的气动外形和隐身性能，因此在紧固件施工过程中需要对钉头凹凸量进行测量。

通常的测量方法是采用主动视觉方式对钉头区域进行三维重建，形成该区域的点云数据，常见的方法有面结构光法，多线激光法，十字激光法等，其中面结构光方法需要投影多张图像进行相位解析，对计算平台的算力要求较高，对平台的小型化、续航时间等有负面印象，多线激光法同时投影数十条激光线，图像中激光线之间的差异很小，一般以图像中由左至右的激光线排序进行匹配，容易受到环境干扰造成错误匹配，例如由于实际拍摄对象在深度方向的变化，图像中由左至右的第N条激光线实际上是投影装置由左至右的第N-1条激光线，则会造成全局计算的错误，十字激光法仅包含两条激光线，数据覆盖区域狭窄，容易造成高低点提取的不准确。

发明内容

针对现有技术中的缺陷，本发明提供一种飞机装配紧固件凹凸量检测方法，以达到检测时数据覆盖区域大、高低点提取准确的作用。

为解决上述的技术问题，本发明采用以下技术方案：

一种飞机装配紧固件凹凸量检测方法，包括以下步骤：

步骤S1：搭建检测装置，检测装置包括扫描器，扫描器两侧分别设置有第一相机和第二相机，扫描器包括线激光器和一维振镜，一维振镜用于将线激光器投射出的线状激光光线反射至被测紧固件表面；

步骤S2：向线激光器和一维振镜输出同步方波信号来改变一维振镜的转角，一维振镜以步进方式转动，每转动一个角度，线激光器点亮一次，使反射出的光线沿着一维振镜转动的方向对紧固件表面进行扫描；

步骤S3：线激光器每次点亮，第一相机和第二相机以局部曝光的方式保存图像，记录局部曝光的顺序，依次记为[1,2,3,...,i,i+1]；

步骤S4：一次扫描完成后，第一相机和第二相机将图像进行传输，采用分区域曝光方式，并通过计算机按照曝光时间顺序匹配第一相机和第二相机图像，然后进行三维计算，获取紧固件区域的点云数据；

步骤S5：通过计算机分析点云数据，提取其中的高点和低点，最后计算出凹凸量。

优选地，在步骤S4中，所述采用分区域曝光方式，具体是指：

在一次扫描后第一相机和第二相机拍摄的图像，计算机仅处理图像中激光光线上某像素点与其左右两像素的数据。

优选地，所述步骤S4具体包括：

步骤S41：对第一相机和第二相机进行预操作，根据第一相机和第二相机内外部参数，将原本非共面行对准的两幅图像经过校正后消除第一相机和第二相机畸变，实现共面行对准；

步骤S42：设第i次曝光时，第一相机拍摄的图像为L_i，第二相机拍摄的图像为R_i，设L_i中测量条纹上的第k个像素点为P_k，选择像素点P_k在图像中前一个像素点P_k-1与后一个像素点P_k+1的信息进行点云计算；

步骤S43：由原始图像和视差图得到点云数据。

4.根据权利要求3所述的一种飞机装配紧固件凹凸量检测方法，其特征在于，所述步骤S43具体包括：

S431：设第一相机和第二相机在平面上的成像点距主点的距离分别为x_L,x_R，两者差值为视差值，焦距为f，第一相机和第二相机基线为B，在完成相机校正后，利用第一相机和第二相机在同一时刻采集到的激光光线左右目标图像，则深度值Z的计算公式为：

S432：得到激光光线上某一目标点的深度值Z后，同时利用以下公式：

计算目标点的X,Y坐标，并结合原始图像的RGB信息，构成目标点最终的三维点云[X,Y,Z,R,G,B]。

5.根据权利要求4所述的一种飞机装配紧固件凹凸量检测方法，其特征在于，所述步骤S5具体包括：

通过步骤S43得到紧固件图像的三维点云数据后，并进行计算机分析，以点云数据中的深度值Z的大小作为比较参数，提取其中的高点和低点，找到最高点和最低点，所求紧固件的凹凸量S_un的值为：

S_un＝H-L；

式中，H为点云数据的最高值点，L为点云数据的最低值点。

优选地，在步骤S1中，搭建好检测装置后，标定第一相机和第二相机并得到内部参数和外部参数，所述内部参数包括相机本身镜头、成像元件属性和构成内参矩阵，所述外部参数包括相机之间的坐标系转换关系和构成外参矩阵。

优选地，扫描器还包括壳体，壳体内设置有固定座，固定座上设置有第一支座和第二支座，线激光器设置在第一支座上，第二支座上设置有步进电机，一维振镜设置在步进电机输出端。

本发明的有益效果体现在：

1、本发明基于搭建的检测装置，由一维振镜与线激光器构成扫描器，以动态扫描方式投影激光光线，在数据上等效于多线激光法，可获取较为完整的钉头区域点云数据；通过第一相机和第二相机形成双目视觉方式，对激光光线的位置精度要求较低；采用激光光线步进扫描方式，同一时刻左右相机视野内各自仅有一条激光光线，扫描完成后以激光光线图像形成的时序进行匹配，匹配难度低；采用分区域曝光方式，扫描完成后的数据量仅相当于一张完整图片的数据量，降低了数据传输和计算的压力；同时，在图像匹配方面由扫描时序确定激光光线图像的对应关系，避免了错误匹配，不受环境的影响，相较于面结构光方法，无需进行相位解析，计算量大大下降，有利于装置的小型化和长续航，相较于十字激光法，数据覆盖区域大，高低点提取准确。

2、本发明基于点云数据中的深度值Z的大小作为比较参数，提取其中的高点和低点，可准确找到最高点和最低点，从而求得紧固件的凹凸量S_un的值，依据精确的计算公式进行指导，在检测飞机装配紧固件凹凸量数据时更加科学高效。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单的介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明搭建的检测装置的结构示意图；

图2为本发明中扫描器的内部结构示意图；

图3为本发明基于分区域曝光方式获取的图像示意图。

附图标记：

110-扫描器，111-线激光器，112-一维振镜，113-固定座，114-第一支座，115-第二支座，116-步进电机，120-第一相机，130-第二相机。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明实施例的描述中，需要说明的是，若出现术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

此外，若出现术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。

在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

实施例

如图1-3所示，本实施例提供一种飞机装配紧固件凹凸量检测方法，包括以下步骤：

步骤S1：搭建检测装置，检测装置包括扫描器110，扫描器110两侧分别设置有第一相机120和第二相机130，扫描器110包括线激光器111和一维振镜112，一维振镜112用于将线激光器111投射出的线状激光光线反射至被测紧固件表面；

步骤S2：向线激光器111和一维振镜112输出同步方波信号来改变一维振镜112的转角，一维振镜112以步进方式转动，每转动一个角度，线激光器111点亮一次，使反射出的光线沿着一维振镜112转动的方向对紧固件表面进行扫描；

步骤S3：线激光器111每次点亮，第一相机120和第二相机130以局部曝光的方式保存图像，记录局部曝光的顺序，依次记为[1,2,3,...,i,i+1]；

步骤S4：一次扫描完成后，第一相机120和第二相机130将图像进行传输，采用分区域曝光方式，并通过计算机按照曝光时间顺序匹配第一相机120和第二相机130图像，然后进行三维计算，获取紧固件区域的点云数据；

步骤S5：通过计算机分析点云数据，提取其中的高点和低点，最后计算出凹凸量。

本实施例中，在步骤S1中，基于搭建的新型结构的检测装置，由一维振镜112与线激光器111构成扫描器110，以动态扫描方式投影激光光线，在数据上等效于多线激光法，可获取较为完整的钉头区域点云数据；通过第一相机120和第二相机130形成双目视觉方式，对激光光线的位置精度要求较低；在步骤S2中，采用激光光线步进扫描方式，同一时刻左右相机视野内各自仅有一条激光光线，扫描完成后以激光光线图像形成的时序进行匹配，匹配难度低；在步骤S4中，采用分区域曝光方式，扫描完成后的数据量仅相当于一张完整图片的数据量，降低了数据传输和计算的压力；同时，在图像匹配方面由扫描时序确定激光光线图像的对应关系，避免了错误匹配，不受环境的影响，相较于面结构光方法，无需进行相位解析，计算量大大下降，有利于装置的小型化和长续航，相较于十字激光法，数据覆盖区域大，高低点提取准确。

需要说明的是，第一相机120和第二相机130镜头上装有与线激光器111发光频率相同的滤光片，确保只有线激光器111发出的光可进入相机镜头，且同一时刻第一相机120和第二相机130视野内仅有一条激光光线。

具体地，在步骤S4中，所述采用分区域曝光方式，具体是指：

在一次扫描后第一相机120和第二相机130拍摄的图像，计算机仅处理图像中激光光线上某像素点与其左右两像素的数据，从而减少计算量，如图3所示。

具体地，所述步骤S4具体包括：

步骤S41：对第一相机120和第二相机130进行预操作，根据第一相机120和第二相机130内外部参数，将原本非共面行对准的两幅图像经过校正后消除第一相机120和第二相机130畸变，实现共面行对准；

步骤S42：设第i次曝光时，第一相机120拍摄的图像为L_i(如图3中的左图)，第二相机130拍摄的图像为R_i(如图3中的右图)，两相机拍摄的图像中仅出现激光光线经一维振镜112反射后，即投射到紧固件上形成测量条纹，设L_i中测量条纹上的第k个像素点为P_k，选择像素点P_k在图像中前一个像素点P_k-1与后一个像素点P_k+1的信息进行点云计算，如图3所示，每一小格代表一个像素点，阴影处为选取的进行点云计算的像素点；

步骤S43：由原始图像和视差图得到点云数据。

具体地，所述步骤S43具体包括：

S431：设第一相机120和第二相机130在平面上的成像点距主点的距离分别为x_L,x_R，两者差值为视差值，焦距为f，第一相机120和第二相机130基线为B，在完成相机校正后，利用第一相机120和第二相机130在同一时刻采集到的激光光线左右目标图像，则深度值Z的计算公式为：

S432：得到激光光线上某一目标点的深度值Z后，同时利用以下公式：

计算目标点的X,Y坐标，并结合原始图像的RGB信息，构成目标点最终的三维点云[X,Y,Z,R,G,B]。

具体地，所述步骤S5具体包括：

通过步骤S43得到紧固件图像的三维点云数据后，并进行计算机分析，以点云数据中的深度值Z的大小作为比较参数，提取其中的高点和低点，找到最高点和最低点，所求紧固件的凹凸量S_un的值为：

S_un＝H-L；

式中，H为点云数据的最高值点，L为点云数据的最低值点。

基于点云数据中的深度值Z的大小作为比较参数，提取其中的高点和低点，可准确找到最高点和最低点，从而求得紧固件的凹凸量S_un的值，且深度值Z中涉及到的参数因子x_L,x_R、f和B也容易获取，计算难度低且准确高效，依据精确的计算公式进行指导，在检测飞机装配紧固件凹凸量数据时更加科学高效。

具体地，在步骤S1中，搭建好检测装置后，标定第一相机120和第二相机130并得到内部参数和外部参数，所述内部参数包括相机本身镜头、成像元件属性和构成内参矩阵，所述外部参数包括相机之间的坐标系转换关系和构成外参矩阵。

具体地，扫描器110还包括壳体，壳体内设置有固定座113，固定座113上设置有第一支座114和第二支座115，线激光器111设置在第一支座114上，第二支座115上设置有步进电机116，一维振镜112设置在步进电机116输出端。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (4)

1.一种飞机装配紧固件凹凸量检测方法，其特征在于，包括以下步骤：

步骤S1：搭建检测装置，所述检测装置包括扫描器，所述扫描器两侧分别设置有第一相机和第二相机，所述扫描器包括线激光器和一维振镜，所述一维振镜用于将线激光器投射出的线状激光光线反射至被测紧固件表面；

步骤S2：向线激光器和一维振镜输出同步方波信号来改变一维振镜的转角，一维振镜以步进方式转动，每转动一个角度，线激光器点亮一次，使反射出的光线沿着一维振镜转动的方向对紧固件表面进行扫描；

步骤S3：线激光器每次点亮，第一相机和第二相机以局部曝光的方式保存图像，记录局部曝光的顺序，依次记为[1,2,3,...,i,i+1]；

步骤S4：一次扫描完成后，第一相机和第二相机将图像进行传输，采用分区域曝光方式，并通过计算机按照曝光时间顺序匹配第一相机和第二相机图像，然后进行三维计算，获取紧固件区域的点云数据；

步骤S5：通过计算机分析点云数据，提取其中的高点和低点，最后计算出凹凸量；

所述步骤S4具体包括：

步骤S41：对第一相机和第二相机进行预操作，根据第一相机和第二相机内外部参数，将原本非共面行对准的两幅图像经过校正后消除第一相机和第二相机畸变，实现共面行对准；

步骤S42：设第i次曝光时，第一相机拍摄的图像为L_i，第二相机拍摄的图像为R_i，设L_i中测量条纹上的第k个像素点为P_k，选择像素点P_k在图像中前一个像素点P_k-1与后一个像素点P_k+1的信息进行点云计算；

步骤S43：由原始图像和视差图得到点云数据；

所述步骤S43具体包括：

S431：设第一相机和第二相机在平面上的成像点距主点的距离分别为x_L,x_R，两者差值为视差值，焦距为f，第一相机和第二相机基线为B，在完成相机校正后，利用第一相机和第二相机在同一时刻采集到的激光光线左右目标图像，则深度值Z的计算公式为：

S432：得到激光光线上某一目标点的深度值Z后，同时利用以下公式：

计算目标点的X,Y坐标，并结合原始图像的RGB信息，构成目标点最终的三维点云[X,Y,Z,R,G,B]；

所述步骤S5具体包括：

通过步骤S43得到紧固件图像的三维点云数据后，并进行计算机分析，以点云数据中的深度值Z的大小作为比较参数，提取其中的高点和低点，找到最高点和最低点，所求紧固件的凹凸量S_un的值为：

S_un＝H-L；

式中，H为点云数据的最高值点，L为点云数据的最低值点。

2.根据权利要求1所述的一种飞机装配紧固件凹凸量检测方法，其特征在于，在步骤S4中，所述采用分区域曝光方式，具体是指：

在一次扫描后第一相机和第二相机拍摄的图像，计算机仅处理图像中激光光线上某像素点与其左右两像素的数据。

3.根据权利要求1或2所述的一种飞机装配紧固件凹凸量检测方法，其特征在于，在步骤S1中，搭建好检测装置后，标定第一相机和第二相机并得到内部参数和外部参数，所述内部参数包括相机本身镜头、成像元件属性和构成内参矩阵，所述外部参数包括相机之间的坐标系转换关系和构成外参矩阵。

4.根据权利要求1所述的一种飞机装配紧固件凹凸量检测方法，其特征在于，所述扫描器还包括壳体，所述壳体内设置有固定座，所述固定座上设置有第一支座和第二支座，所述线激光器设置在第一支座上，所述第二支座上设置有步进电机，所述一维振镜设置在步进电机输出端。

Images