CN115345822A - 一种面向航空复杂零件的面结构光自动化三维检测方法 - Google Patents

Abstract

本发明公开了一种面向航空复杂零件的面结构光自动化三维检测方法，首先针对航空零件理论模型分析处理，生成拍摄视点并筛选得出最优视点集。接着按机械臂的运动代价等为参数计算出最优路径。扫描仪按照视点路径拍摄，采用最先进的双目面结构光多频外差法以及改进的相位立体匹配算法获取点云。通过改进的标志点粘贴与组合拼接方法进行点云粗配准；和优化的ICP精配准融合多视角点云，并通过点云精简、点云去噪平滑、点云法失调整、补空洞等算法生成高质量点云并完成三维模型重建。最终利用算法实现获取模型与理论模型进行比对得出误差分析。本发明实验验证有效提高了航空复杂零件数字化三维测量的精度和自动化程度。

Description

一种面向航空复杂零件的面结构光自动化三维检测方法

技术领域

本发明涉及逆向工程中基于面结构光的三维重建技术与三维精度检测领域，具体为一种面向航空零件的面结构光自动化三维检测方法。

背景技术

飞机制造业中，航空关键零件形状复杂，成形精度难以控制，其生产的精度与效率对于飞机制造的质量至关重要。当前，航空零件质量检测多采用人工检测，存在效率低下，精度不稳定等问题。随着数字化测量技术的发展，面结构光扫描仪因其高精度和高效率被广泛应用于飞机产品的精确制造和精密装配。传统扫描仪需要人工经验确定拍摄位置，效率低下。而同时扫描仪扫描重建过程中对于无关背景的重建影响了重建的效率与质量。故对于航空复杂零件的面结构光自动化三维检测中需要解决这些技术问题。

发明内容

发明目的：本发明目的在于针对现有技术的不足和缺陷，提出一种面向航空复杂零件的面结构光自动化三维检测方法。以解决人工经验确定拍摄位置效率低、扫描仪重建模型质量差的技术问题。

技术方案：

为解决上述问题，本发明可采用以下技术方案。

一种面向航空复杂零件的面结构光自动化三维检测方法，包括以下步骤：

(1)获得航空复杂零件的零件理论数据模型；

(2)以测量空间为约束对零件理论数据模型进行分区；

(3)对各分区完成的零件理论数据模型进行初始视点生成，以各分区中心为球心，拍摄距离为半径建立球坐标系；在此球坐标系所生成的球表面分别按径向与横向到球心的矢量角偏差一个角度，生成若干布满球面的视点；

(4)对每个视点进行评价，以该视点拍摄情况下所拍摄最多的特征数、最少的遮挡率筛选出每个面的最优视点，得到每个分区的最优的前若干视点；

(5)筛选完毕后统计所有的最优视点，对于机械臂进行最优路径规划，计算出经过各最优视点的最优路径；将所有生成的最优视点的集合通过蚁群算法计算得出最优的机械臂路径点顺序，再加上机械臂预设起始点与终点，即构成本次零件扫描的最优路径；

(6)对双目相机进行标定，采用张氏棋盘格标定法得出双目相机的内外参数，综合上述内外参数校正完图像之后直接用于计算图像像素坐标转换至世界坐标的重投影矩阵Q；

(7)提供真实的航空复杂零件及固定该航空复杂零件的工装并在工装上设置用以供双目相机识别零件种类的非编码标志点；

(8)机械臂开始启动，按所获路径顺序遍历每个视点，通过工业投影机投射生成的24幅三频八步相移图案到航空复杂零件表面，并用工业相机进行随动拍摄后数据传入计算机；

(9)计算三维点云：利用拍摄的24幅三频八步相移图案进行多频外差解相算法；计算出连续的经过调制的航空复杂零件左右两幅连续相位图后，对相位图进行自动化阈值分割，区分出相位图中的航空复杂零件与背景；

(9)对左右两个相机图像中零件像素信息对应匹配，匹配完成后图像坐标对应点相减即可得到左右相机视差图矩阵D；重投影矩阵Q与上述步骤得到的视差图矩阵D计算出当前视角所拍摄的零件的世界坐标系下的三维点云，输出当前视角点云数据；

(10)通过识别粘贴的标志点来计算多视角点云拼接所需的变换矩阵；将获取的变换矩阵应用于前后两个视角所获点云，即将两幅点云统一在相同坐标系下并完成公共区域拼接，使用上述获得矩阵即完成初步点云粗拼接；

(11)通过ICP配准算法进行点云精配准，遍历完所有计算出的视点，计算出点云并完成点云自动拼接，获取初步完整的点云数据；

(12)通过点云处理算法对获取的粗糙点云进行优化得到精确点云数据；

(13)将得到的精确点云数据进行三角化重构，得到stl三角网格模型并转化为step模型；

(14)获得的step模型与零件理论数据模型进行比对，比对出零件制造的误差数据。

进一步的，步骤(5)中，筛选完毕后统计所有的最优视点集{p₁,p₂...p_i}，对于机械臂携带扫描仪进行最优路径规划，计算出经过各最优视点且效率最高，无干涉的路径，路径权值为机械臂运动代价；计算遍历点集的最优路径简化为带权有向图的旅行商TSP问题，而路径的权值设为机械臂的运动代价；在笛卡尔空间中，设定机械臂在当前视点下的运动姿态到下一个视点姿态所需要变换的各轴角度为运动代价，下公式为运动代价计算参数：

其中η为两个视角变换时机械臂的代价，α为代价系数，θ′_i与θ”_i为1～6轴前后两个视角下各轴的角度；

将所有生成的最优视点集{p₁,p₂...p_i}通过上述算法计算得出最优的机械臂路径点顺序{p_m,p_m+1...p_m+i}，其中m～m+i为生成的最优视点集按路径规划算法所得的新的遍历点的顺序，再加上机械臂预设起始点与终点，即构成本次零件扫描的最优路径{p_start,p_m,p_m+1…p_m+i,p_end}，p_start为最优路径起始点，p_end为最优路径终点，为后续三维重建做数据基础。

进一步的，所述扫描仪包括两个工业相机及一个工业投影机，将两个工业相机放在一水平固定架上放置，相机光心位置在同一直线，拍摄方向为汇交式相交约30度；两相机中间安置工业投影机；相机位置与投影机位置满足一定的关系：在两个相机所拍摄的画面公共视野中完整容纳投影机所投射矩形区域。

进一步的，步骤(6)中，内外参数中的内参数包括左右相机图像坐标系转换至以左相机光心为原点的世界坐标系系数dx,dy，左右相机径向畸变系数 k₁,k₂,k₃，切向畸变系数p₁,p₂。外参包括两个相机图像面转换至双目平行模型的转换矩阵R,T。

进一步的，步骤(9)中，计算出连续的经过调制的航空复杂零件左右两幅连续相位图Φ(x,y)_left,Φ(x,y)_right后，由于三维重建过程中存在背景区、阴影区等无效测量区域的重复相位计算和误匹配等问题，因此从条纹调制度出发研究了有效测量区域的分割，对相位图进行自动化阈值分割，区分零件与背景。该算法步骤：使用Otsu算法引入调制度阈值计算中。在不同光线与环境背景下，通过Otsu 算法确定最佳阈值，去除离散噪声的同时自动化分割出待测零件区域与无关背景区域。首先调制度函数如下：

式中，i,j为图像坐标，B(i,j)为所求像素点的调制度值，N为所采用的相移步数，本发明中采用8步，I_n(i,j)为所采集的24幅图像中对应坐标的像素值；计算出这 24幅图像的一幅调制度图像后，设定一个阈值并用图像学算法分割零件与无关背景；

其中，引入otsu算法计算调制度分割阈值，利用该阈值与调制度图B(i,j)分割零件所在图像区域与背景无关区域，得出经过处理掉无关区域的零件连续相位矩阵图Φ(x,y)_left′,Φ(x,y)_right′，解出用于双目立体匹配的连续相位Φ(x,y)_left′,Φ(x,y)_right′后，利用阶梯矫正算法优化相位值得到优化的相位矩阵Φ(x,y)_left”,Φ(x,y)_right”。

进一步的，步骤(9)中，通过左右相机径向畸变系数k₁,k₂,k₃及切向畸变系数p₁,p₂，对相位图进行畸变校正；然后进行立体校正，使用左右相机转换矩阵R,T，校正完的左右图像中，对应的像素在同一水平线上即纵坐标相等，按行搜索相位值，相等的认为是一对对应点，将所有对应点形成集合完成双目立体匹配，然后对应点图像横向坐标相减得到视差图矩阵D；输入重投影矩阵Q与上述视差图矩阵D计算出当前视角所拍摄的零件的以左相机光心为原点的世界坐标系下的三维点云，调用opencv库的reprojectImageTo3D()函数输出当前视角点云数据，原理公式如下：

其中Xw/W，Yw/W，Zw/W为世界坐标，u,v为图像坐标，d为视差，Q 为重投影矩阵。

进一步的，步骤(10)中，变换矩阵计算流程为，首先利用调制度函数手动更改阈值参数将24幅图案还原成未投影条纹时的灰度图像，通过图像学算法分离出所贴圆形黑白非编码标志点所在区域，基于opencv库使用morphologyEx 函数实现图像膨胀与腐蚀，使用adaptiveThreshold函数可自适应的对灰度图像进行二值化分割；

对上述灰度图像通过opencv库中的GaussianBlur函数进行高斯滤波算法预处理后，使用opencv库中的canny算子函数提取图像的边界点信息，并利用霍夫变换检测出标志点的椭圆轮廓；根据椭圆的圆度、预设拍摄距离下的图像椭圆轴长、采样圆形编码点灰度信息参数筛选出是否标志点；

拟合后椭圆的中心Center参数即为图像中所识别出的圆心，从已计算点云中映射出该圆心二维坐标对应的三维坐标并记录为当前视角标志点集A，机械臂运动至下一目标点，重复上述步骤，获取标志点集B，使用所计算出的标志点集 A与标志点集B进行标志点对应匹配与变换矩阵计算；

基于距离不变性建立各点簇的距离描述矩阵，设标志点集A{p₁～p_m}与标志点集B{q₁～q_n}中各点与点集其余点的距离为元素公式如下：

式中p_mp_m-1，q_nq_n-1表示两个点之间的三维距离。然后对应这两个距离矩阵进行逐行匹配，设定阈值并判断出某两行相等距离数最多的一对点p_r与q_t，将这对点{p_r,q_t}认作第一对匹配点并作为基本原点，接着构造距离基本原点的距离向量a，b：

a＝[p_rp₁,p_rp₂…p_rp_m]

b＝[q_tq₁,q_tq₂…q_tq_n]

式中分别为p_r与q_t到其余点的距离排序后建立的向量；再次进行相似性匹配，找出另外两对点{p_r′,q_t′}，{p_r”,q_t”}并满足约束条件：{p_r,p_r′,p_r”}与 {q_t,q_t′,q_t”}构成全等三角形即对应边相等，此时即为找到三对匹配点对，进行下一步变换矩阵求解；

获取三对点后，利用SVD分解求出点云配准所需的变换矩阵，公式如下：

式中，J为目标函数，k是匹配点对数，k取3，R,T为所求解旋转平移矩阵，q_i,p_i为对应点三维坐标，使得J最小；

将获取的变换矩阵应用于前后两个视角所获点云，即将两幅点云统一在相同坐标系下并完成公共区域拼接，调用PCL库中的TransformPointCloud函数，使用上述获得矩阵完成初步粗拼接。

进一步的，步骤(11)中，ICP配准算法步骤如下：

(11.1)首先估算初始变换矩阵T₀，对采样后的源点云数据A中每个点P_ai施加该变换矩阵T₀，得到P_ai′。

(11.2)从标志点集B中，利用K-D Tree快速搜索每个距离P_ai′最近的点P_bi，与P_ai′形成对应点对；

通过获取的点对求得最优变换矩阵ΔT：

(11.3)判断收敛的条件为迭代误差与迭代次数，若收敛计算T＝ΔT*T₀并输出最终变换矩阵，若否则计算T₀＝ΔT*T₀并返回第(11.1)步进行下一次迭代。

进一步的，步骤(12)中，对拼接重叠部分进行预处理，对多余的杂点以及失效点进行去除；通过点云处理算法对获取的粗糙点云进行优化，使用PCL开源库中的内置算法函数，包括下采样滤波，去噪离群点，法向调整，补空洞，得到精确点云数据。

进一步的，步骤(13)中，将最终得到的精确点云数据进行三角化重构，使用PCL中的reconstruct函数，得到stl三角网格模型并使用OCC库转化为step 模型，导入Geomagic软件中数模比对分析功能进行精度检测。

本发明的有益效果为：

1)本发明利用拍照式测量法，无接触的快速逆向恢复出零件高精度数模。通过自动规划视点，机械臂辅助移动各视点，可适用于流水线的自动化测量。对比与传统人工视觉或仪器检测，对零件无损伤，无接触，速率高且精度高。完全的将精度检测自动化，并将数据实时反馈回生产线形成闭环控制，有效提高生产质量与效率。

2)本发明对于导入的理论模型进行处理与划分，并生成合适的视点，替代以往靠人工经验确定拍摄视角所造成的重复区域过多，人工示教繁琐，效率低下的问题。此规划方法能更好的融入产品柔性流水线检测中，使得检测更加多样化与高效率。

3)本发明的点云拼接技术结合编码点编号与非编码点匹配技术，将标志点粘贴于工装四周，编码点用于识别编号对应理论模型，非编码点用于多视角拍摄下计算变换矩阵并匹配点云。与常规粘贴于零件表面相比，无需多次粘贴，工装只需粘贴一次即可。同时不损伤零件表面，重建无圆形空洞。

4)本发明的模型比对功能，与常规千分尺，三坐标测量仪相比，无接触式且完全虚拟界面测量，更加自动化与数字化。并且数据可分析并反馈回生产线，形成闭环控制。

附图说明

图1为基于双目面结构光的自动化三维扫描系统计算流程图。

图2为最优视点自动生成流程示意图。

图3为CCT8位编码标志点标号图。

图4为双目测距原理图。

图5为基于标志点的点云多视角拼接流程示意图。

图6为扫描装置简图。

图7为待测零件理论模型三维图。

图8为正弦条纹图。

图9为分割后零件左相位图。

图10为零件视差图。

图11为零件点云图。

图12为零件精配准后点云图。

图13为零件3d对比检测报告图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明，但不应以此限制本发明的保护范围：

本发明提出一种基于双目面结构三维重建的自动化检测方法。首先通过对航空复杂零件的理论模型进行特征分区及视点生成，设定筛选参数后得到各分区最优视点并进行路径规划。双目面结构光扫描仪在每个视点拍摄后，立体匹配所用连续相位采用自动化阈值分割背景与零件并基于三角测距原理进行三维重建，针对多视角下点云拼接采用工装粘贴标志点，最后获取完整高质量三维模型后与理论模型进行比对，即可得到所需检测区域误差分析报告，具体流程见图1。

本发明实施例的采用的硬件装置部分分为数据采集装置、动力装置与计算装置。软件部分包括视点生成与路径规划功能，三维重建功能，数据处理功能。

数据采集装置：即三维扫描仪，将两个工业相机放在一水平固定架上放置，相机光心位置在同一直线，拍摄方向为汇交式相交约30度。两相机中间安置DLP 工业投影机，确保投影画面不被相机镜头遮挡，并且相机位置与投影机位置满足一定的关系：在两个相机所拍摄的画面公共视野中能够完整容纳投影机所投射矩形区域。相机与镜头选型需满足景深与视场能够满足常用航空复杂零件大小。

进一步地，上述扫描仪还包括散热装置、激光测距装置。

动力装置：本发明采用机械臂携带三维扫描仪进行自动化测量，相比于转台式、直角坐标式或手持式等方法，机械臂能够广泛适用各种复杂零件的扫描路径，并且柔性化好，自动化程度高，可靠性好。选择合适负载的机械臂，安装数据采集装置与机械臂后需进行手眼标定，获取扫描仪与机械臂相对位置参数。

计算装置：即工业控制计算机，为满足模型视点生成与大量点云处理时的要求，工控机显卡及处理器性能需要满足最低要求，并且适应生产环境中的复杂环境，需配置散热器与防尘外壳。工控机通过数据线连接扫描仪与机械臂控制端。

软件为QT框架下，利用c++语言编写，配置opencv库、pcl库、opencascade 库等。

本面向航空复杂零件的面结构光自动化三维检测实施例包括以下部分：

视点生成与路径规划：

S1.1首先获得航空复杂零件理论的零件数据模型如step或IGES格式，导入到本发明的软件中进行显示，鼠标可选中模型的角点、边线、平面、曲面等特征。本软件模型处理模块界面采用QT框架编写，配置opencascade开源库(OCC)，该库主要用于开发二维或三维的几何建模程序，能创建基本几何体，对几何体进行布尔运算，并计算几何空间关系。在本软件中，通过调用STEPControl_Reader 类可以快速读取零件数模，调用AIS_InteractiveContext类显示模型并可进行选中交互操作。

S1.2使用人工交互点击特征面片或者默认全局选中，以测量空间为约束对零件数据模型进行分区，对不同分区各自采用视点生成与筛选算法。测量空间即三维扫描仪按生产需求选型相机和投影机并组装后，能达到的最大的有效测量区域，通常是由视场和景深决定的梯台空间。航空零件细节特征多且大小不一致，大型整体零件如涡轮叶片等在一个测量空间内无法完成重建，因此需要对其进行立方体分区并采用多视角多次拍摄才能完成整体零件重建，调用opencascade 开源库的Bnd_Box类可对模型建立包围盒，立方体边长为景深的1.2倍。

S1.3分区完成后，对各分区完成的模型进行初始视点生成，以各分区中心为球心，拍摄距离为半径，OCC库中调用Geom_SphericalSurface类建立球坐标系。在此球表面分别按径向与横向到球心的矢量角偏差15度，生成一系列布满球面的视点。由于航空零件极其复杂，立方体分区内的部分各特征种类繁多，大小不一。因此为减少最终视点的数量并且能拍摄到最多的特征数量，需进行特征分类。

S1.4下面进行最优视点生成，流程见图2所示。立方体分区有六个面，因此可将各细小特征面片的法向量作为分类依据，分类为六个面的朝向，调用OCC 中的BRepGProp_Face的Normal函数即可得到法向量。设定其法向量与立方体某一面法向量夹角为45度以内即归属于一类。对每个视点进行评价，设定遮挡率、特征数、垂直度等评价指标，以该视点拍摄情况下所拍摄某类最多的特征，最少的遮挡率等筛选出每个面的最优视点，得到每个分区的最优的前六个视点。遮挡率即面片中心指向视点的射线(gp_Lin类建立)与周围特征是否交集，调用 IntAna_IntConicQuad类可实现。特征数即该视点下所能获取的最多无遮挡特征的数量。垂直度即通过计算射线与法线夹角判定，夹角越小说明垂直度越高，所拍摄的质量越好。

S1.5筛选完毕后统计所有的最优视点集{p₁,p₂…p_i}，对于机械臂携带扫描仪进行最优路径规划，计算出经过各最优视点且效率最高，无干涉的路径，路径权值为机械臂运动代价。计算遍历点集的最优路径可简化为带权有向图的旅行商TSP问题，而路径的权值设为机械臂的运动代价。在笛卡尔空间中，两点之间直线运动代价最小，但机械臂难以直观控制，因此设定机械臂在当前视点下的运动姿态到下一个视点姿态所需要变换的各轴角度为运动代价，下公式为运动代价计算参数。

其中η为两个视角变换时机械臂的代价，α为代价系数，θ′_i与θ”_i为1～6轴前后两个视角下各轴的角度。

S1.6随后可采用蚁群算法解决TSP问题，蚁群算法是通过学习自然界中蚂蚁觅食时通过信息素判断下一步的路径而来，该算法采用现有技术中已经公开的算法，可参考文献《交通运输系统工程与信息》2002年1期第54页至57页“人工蚁群算法理论及其在经典TSP问题中的实现”(作者：黎锁平)一文中第四段蚁群算法解决TSP问题具体应用的说明。本发明中，将所有生成的最优视点集 {p₁,p₂…p_i}通过上述算法计算得出最优的机械臂路径点顺序{p_m,p_m+1…p_m+i}，再加上机械臂预设起始点与终点，即构成本次零件扫描的最优路径{p_start,p_m,p_m+1…p_m+i,p_end}，为后续三维重建做数据基础。

三维重建：

S2.1基于opencv库，首先对双目相机进行标定，采用张氏棋盘格标定法得出双目相机的内外参数，内参数包括左右相机图像坐标系转换至世界坐标系(以左相机光心为原点)系数dx,dy，左右相机径向畸变系数k₁,k₂,k₃，切向畸变系数 p₁,p₂。外参包括两个相机图像面转换至双目平行模型的转换矩阵R,T，该矩阵可用于立体校正(立体校正目的是把双目汇交的模型转换为平行模型方便利用三角原理计算深度信息)，以及综合上述参数校正完图像之后(包括校正畸变与立体校正)直接可用于计算图像像素坐标转换至世界坐标的重投影矩阵Q。该标定算法采用现有技术中已经公开的算法，可参考文献《IEEE期刊》2000年12月 11期22册第1330页至1334页“A flexible new technique for camera calibration”(作者：张定友)一文中对于张氏棋盘格标定算法具体应用的说明。对机械臂与相机进行手眼标定，可获取双目相机左光心与机械臂工具坐标系(设定在6轴末端法兰)之间的位置转换矩阵E，算法采用Tsai-Lenz两步标定算法，该算法采用现有技术中已经公开的算法，可参考文献《IEEE期刊》1989年6月 3期5册第345页至358页“A new technique for fullyautonomous and efficient 3D robotics hand/eye calibration”(作者：Tsai-Lenz)一文中对于手眼标定算法的体应用的说明。

S2.2其次为点云数据拼接做准备：在零件安装工装四周处贴好若干非编码标志点，由上述操作中，粘贴规则是：每个分区内的每个面内确保粘贴三个或以上标志点，确保双目相机能够在当前视点公共拍摄到工装上至少三个以上无遮挡，非共线的圆形非编码标志点，是准确计算出多视角点云拼接变换矩阵的基础。粘贴编码点为CCT环形编码，图案可见附图(3)，编码原理是：内圈圆为定位圆，外圈圆为防干扰，中圈为编码信息。设定N位二进制编码，然后将中圈分为360/N 份扇形区域，黑为0，白为1。按顺序对八位二进制进行循环检验二进制码：即为防止从任意角度拍摄并解码时，该码值解出的十进制数唯一，因此需将每次生成的N位二进制码不断移位，循环一次后对应的最小的十进制数设定为该二进制码所代表的码值，若前面的码值已存在，则跳过，这样能生成一系列码值唯一的编码点。具体作用是识别零件种类，方便自动化检测中识别出零件种类并与理论模型对应。

S2.3由上述生成的最优路径{p_start,p_m,p_m+1…p_m+i,p_end}的坐标，通过S2.1 手眼标定的矩阵E，乘上用户坐标系(零件所在工装夹座设定的坐标系)转换至机械臂工具坐标系的矩阵，计算即可转换为机械臂实际运动轨迹点 {P_start,P_m,...,P_m+i,P_end}，通过通信接口发送至机械臂控制中心。机械臂开始启动，按所获路径顺序遍历每个视点时停留2.00秒，在这段时间内，通过dlp投影机投射生成的24幅三频八步相移图案到零件表面，并用相机进行随动拍摄后数据自动传入计算机进行计算；

S2.4计算三维点云的方法：利用拍摄的24幅三频八步相移图案进行多频外差解相算法，该算法采用现有技术中已经公开的算法，可参考华中科技大学博士学位论文2009年发表的“基于数字光栅投影的结构光三维测量技术与系统研究” (作者：李中伟)一文中第二段对于多频外差解相算法具体应用的说明。计算出连续的经过调制的航空复杂零件左右两幅连续相位图Φ(x,y)_left,Φ(x,y)_right后，由于三维重建过程中存在背景区、阴影区等无效测量区域的重复相位计算和误匹配等问题，因此从条纹调制度出发研究了有效测量区域的分割，对相位图进行自动化阈值分割，区分零件与背景。该算法步骤：使用Otsu算法引入调制度阈值计算中。在不同光线与环境背景下，通过Otsu算法确定最佳阈值，去除离散噪声的同时自动化分割出待测零件区域与无关背景区域。首先调制度函数如下：

式中，i,j为图像坐标，B(i,j)为所求像素点的调制度值，N为所采用的相移步数，本发明中采用8步，I_n(i,j)为所采集的24幅图像中对应坐标的像素值。计算出这 24幅图像的一幅调制度图像后，一般方法是根据环境实验设定一个阈值并用图像学算法(二值化)分割零件与无关背景，而本发明中引入otsu算法计算调制度分割阈值，利用该阈值与调制度图B(i,j)可分割零件所在图像区域与背景无关区域，得出经过处理掉无关区域的零件连续相位矩阵图Φ(x,y)_left′,Φ(x,y)_right′，该otsu算法采用现有技术中已经公开的算法，可参考文献《自动化学报》1993 年19期1册第101页至105页“灰度图象的二维Otsu自动阈值分割法”(作者：刘健庄)一文中对于Otsu自动阈值分割算法具体应用的说明。

S2.5由上述步骤解出用于双目立体匹配的连续相位Φ(x,y)_left′,Φ(x,y)_right′后，存在相位阶梯性差错的问题，需利用阶梯矫正算法优化相位值得到优化的相位矩阵Φ(x,y)_left”,Φ(x,y)_right”。该算法采用现有技术中的已经公开的算法，可参考文献《激光与光电子学进展》2020年2期第256页至263页“基于改进单调法的阴影区相位噪声校正方法”(作者：陶四杰)一文中第三段对于相位阶梯型差错优化算法具体应用的说明。

S2.6双目三维重建原理是基于三角测距原理，请结合图4所示：图中P点为待测距测点，Or与Ot为双目相机各自的光心，Pr与Pt分别是所拍摄P点在左右两个相机成像面上的点(实际上成像面由小孔成像原理在光心后面，为方便计算示意图放置前面)。f为相机焦距，B为光心距离，Z则为待测距离。因此根据三角形相似原理对应比例关系即可得：

d＝X_R-X_T

式中d称为视差，X_R,X_T分别为左右两个相机成像点的横坐标，根据比例关系可计算出距离Z。

S2.7由上述S2.6原理，获取零件当前视角下点云数据的关键在于双目立体匹配：即需要对左右两个相机图像中零件像素信息对应匹配，匹配完成后图像坐标对应点相减即可得到左右相机视差图矩阵D。因此通过上述步骤S2.5计算出的相位矩阵Φ(x,y)_left”,Φ(x,y)_right”即可快速进行立体匹配。通过相位立体匹配算法：首先通过S2.1标定得到的左右相机径向畸变系数k₁,k₂,k₃及切向畸变系数 p₁,p₂，对相位图进行畸变校正。然后进行立体校正，使用S2.1中的左右相机转换矩阵R,T，校正完的左右图像中，对应的像素会在同一水平线上即纵坐标相等，只需按行搜索相位值，相等的认为是一对对应点，将所有对应点形成集合完成双目立体匹配，然后对应点图像横向坐标相减即可得到视差图矩阵D。

S2.8输入相机标定S2.1中得到的重投影矩阵Q与上述步骤得到的视差图矩阵D可以计算出当前视角所拍摄的零件的世界坐标系(以左相机光心为原点)下的三维点云，调用opencv库的reprojectImageTo3D()函数即可输出当前视角点云数据，原理公式如下：

其中Xw/W，Yw/W，Zw/W为世界坐标，u,v为图像坐标，d为视差，Q 为重投影矩阵。

S2.9下面需要通过识别粘贴的标志点来计算多视角点云拼接所需的变换矩阵，计算流程见附图(5)。首先利用上述S 2.4的调制度函数手动更改阈值参数即可将24幅图案还原成未投影条纹时的灰度图像。通过图像学算法进行开闭运算、二值化等分离出所贴圆形黑白非编码标志点所在区域，基于opencv库可使用morphologyEx函数实现图像膨胀与腐蚀，使用adaptiveThreshold函数可自适应的对灰度图像进行二值化分割。

S2.10对上述灰度图像进行高斯滤波算法(opencv库中的GaussianBlur函数)预处理后，使用库中的canny算子函数提取灰度图像的边界点信息，并利用霍夫变换检测出标志点的椭圆轮廓(fitEllipse函数)。根据椭圆的圆度、预设拍摄距离下的图像椭圆轴长、采样圆形编码点灰度信息(内圈白外圈黑)等参数筛选出是否标志点。CCT编码点识别过程与上述一致，仅多了解码过程，具体解码过程如下：根据上述s2中生成码值规则，对所需识别的编码点围绕上述识别出的圆心进行中圈像素值采样，然后根据灰度值进行解码，规则和s2中生成规则一致。

S2.11拟合后椭圆的中心Center参数即为图像中所识别出的圆心，从已计算点云中映射出该圆心二维坐标对应的三维坐标并记录为当前视角标志点集A，机械臂运动至下一目标点，重复步骤S2.3-S2.10，获取标志点集B。为了将多次拍摄视角下计算出的零件点云转换到统一坐标系下并完成准确配准即将存在公共区域的点云重合与拼接，下面将使用所计算出的标志点集A与B进行标志点对应匹配与变换矩阵计算。

S2.12获取两个视角下的标志点三维点集A与B后，计算变换矩阵的关键在于找到两个视角下公共的至少三对不共线的标志点坐标，即全等三角形。因此下面首先需要匹配不同视角下的同一点，由于各视角下的三维坐标是建立在以当前位姿下左相机光心为原点的坐标系下，获取的三维坐标是相对坐标因而无法直接进行匹配，但各标志点之间的距离是不变的，因此可以建立点集中各点间的拓扑关系来匹配，下面介绍匹配原理。

S2.13首先基于距离不变性建立各点簇的距离描述矩阵，设标志点三维点集 A{p₁～p_m}与B{q₁～q_n}中各点与点集其余点的距离为元素公式如下：

式中p_mp_m-1，q_nq_n-1表示两个点之间的三维距离。然后对应这两个距离矩阵进行逐行匹配，设定阈值(小于阈值则认为距离相等)并判断出某两行相等距离数最多的一对点p_r与q_t，将这对点{p_r,q_t}认作第一对匹配点并作为基本原点。

接着构造距离基本原点的距离向量a，b：

a＝[p_rp₁,p_rp₂...p_rp_m]

b＝[q_tq₁,q_tq₂...q_tq_n]

式中分别为p_r与q_t到其余点的距离排序后建立的向量。再次进行相似性匹配，找出另外两对点{p_r′,q_t′}，{p_r”,q_t”}并满足约束条件：{p_r,p_r′,p_r”}与{q_t,q_t′,q_t”}构成全等三角形即对应边相等。此时即为找到三对匹配点对，可进行下一步变换矩阵求解。该算法采用现有技术中已经公开的算法，可参考闽南师范大学硕士学位论文2020年发表的“基于关键点匹配的点云自动配准方法研究” (作者：张彬)一文中第三段对于标志点基于距离不变性的匹配算法具体应用的说明。

S2.14获取三对点后即可利用SVD分解即可求出点云配准所需的变换矩阵，公式如下：

式中，J为目标函数，k是匹配点对数，这里为3，R,T为所求解旋转平移矩阵，q_i,p_i为对应点三维坐标，需要使得J最小。

S2.15将获取的变换矩阵应用于前后两个视角所获点云，即将两幅点云统一在相同坐标系下并完成公共区域拼接，调用PCL库中的TransformPointCloud 函数，使用上述获得矩阵即可完成初步粗拼接。

S2.16点云精配准可采用现在最可靠与流行的ICP配准算法，ICP算法步骤如下：

(1)首先估算初始变换矩阵T₀，对采样后的源点云数据Source(作为基准的点云数据)中每个点P_ai施加该变换矩阵T₀，得到P_ai′。

(2)从目标点云数据Target(所需与基准进行配准并变换的点云数据)中，利用K-DTree快速搜索每个距离P_ai′最近的点P_bi，与P_ai′形成对应点对。

通过获取的点对求得最优变换矩阵ΔT：

(3)判断收敛的条件为迭代误差与迭代次数，若收敛计算T＝ΔT*T₀并输出最终变换矩阵，若否，则计算T₀＝ΔT*T₀并返回第(1)步进行下一次迭代。

S2.17重复以上步骤并按所规划路径遍历完所有计算出的视点，计算出点云并完成点云自动拼接，获取初步完整的点云数据，等待下一步处理。

数据处理功能：

由于获取的点云稠密，处理时耗时且效率低下，需要对点云进行精简。点云精简的目的是用尽量少的点数表示尽量多的模型信息，为后续的点云处理节约空间和时间。目前对点云数据的精简方法可以按照是否构建点云数据的三角网格分为两大类：基于网格的精简方法和直接对点云进行精简的方法。精简算法原理是根据需求与分辨率，将整体点云分割成各小立方体，每个小立方体内包裹若干点。原算法取小立方体的中心代表体内所有的点，改进后的算法计算体内点集质心作为样本。

S3.1首先需要对拼接重叠部分进行预处理，对多余的杂点以及失效点进行去除。通过点云处理算法对获取的粗糙点云进行优化，使用PCL开源库中的内置算法函数，包括下采样滤波(RandomSample)，去噪离群点(setStddevMulThresh)，法向调整(setNormalEstimationMethod)，补空洞(BoundaryEstimation)，等步骤。得到精确点云数据。

S3.2将最终得到的精确点云数据进行三角化重构，使用PCL中的 reconstruct函数，得到stl三角网格模型并使用OCC库转化为step模型，导入Geomagic软件中数模比对分析功能进行精度检测。

S3.3获得的step模型与零件理论数据模型进行比对，通过人工交互或全局比对可以直观准确的比对出零件制造的曲面度，直线度，粗糙度等误差数据，为后续优化工艺提供依据。

本发明面向航空复杂零件，基于面结构三维重建技术，结合模型处理视点生成技术与路径规划技术，完成对零件的自动化扫描，并自动化进行多视角点云拼接，获取完整点云后并进行自动化处理以及三角化重构。得到的高精度模型可与理论模型比对获取零件生产误差。

以下通过一个实际操作案例对上述实施例能够获得的高精度模型及与理论模型的对比报告进行验证。

该实际操作中，相机采用大华A7A20MG9型号1200万像素工业相机，工业投影仪选择德州仪器的DLP4500，扫描装置具体安置示意图见附图(6)。机械臂采用KUKA-kr20r1810，负载20KG，精度0.05mm。工控机配置为AMD Ryzen7 1800X 主板，intel i7-8700CPU，16GDDR4内存，GTX1650显卡。

扫描零件采用航空发动机某部件见附图(7)，扫描需求为测量上表面平面区域。

首先进行视点生成与路径规划，由于该模型所需测量区域在测量空间内，此次不用模型分区。本发明软件首先在理论模型选择需要检测的区域，然后生成候选视点，设定筛选参数为遮挡率，垂直度，特征数。最终生成的最优路径点顺序为如下表格。

最优路径点：

表中为home与homeback为初始点，其余为筛选出的最优路径点。

下面进行三维重建功能。首先进行标，标定结果矩阵为如下表格，具体参数详解见上文所述。

左相机内参矩阵：

左相机畸变系数矩阵：

右相机内参矩阵：

右相机畸变系数矩阵：

双目标定RT矩阵：

机械臂带动扫描仪按照生成点位顺序开始拍摄，投射的三频八步正弦条纹图见图8，按多频外差解相位算法解除的连续相位图与自动阈值背景分割图见图9。

使用本发明中的阈值分割算法后的点云数据对比如下：

三维重建后点云的数据对比

获取零件连续相位图后按立体匹配算法可得计算出视差图，见图10。

系统开始时标定获得的重投影矩阵Q为：

调用opencv内reprojectImageTo3D()函数，使用Q矩阵与视差图即可得到当前视角下零件的三维点云，见图11。

采用CCT编码点与圆形非编码点结合，利用编码标志点对零件建立编号，快速识别与匹配零件种类与理

论模型，将编码点粘贴在零件或工装上，为下面多视角点云拼接做数据准备。

步骤：首先识别并解码生成的编码标志点，对图像进行预处理，接着通过滤波和canny算法寻找到圆形轮廓，定位编码点所在区域。选择ROI区域，通过内中外三层码值采样判断是否为编码点，接着按生成编码的规则逆解出唯一码值，具体见上文所述。本实例中测量零件为一种，暂不需要使用编码标志点，在多种零件测量流水线时可采用。

粘贴的圆形非编码点通过图像学算法与椭圆拟合识别后，利用极线搜索和双目三角原理计算出标志点三维坐标。

下面进行点云拼接：经过连续两个视角获取点云后即可开始进行点云拼接过程，建立双视角下各标志点之间的距离矩阵后按一定规则匹配至少三对标志点， SVD分解后得出变换矩阵完成点云粗拼接，使用ICP算法迭代完成点云精拼接。 SVD计算出的旋转变换矩阵如下：

使用PCL变换矩阵函数完成粗批准与ICP精匹配并显示，效果见图12。

最终机械臂完成所有拍摄任务，系统软件对所有点云数据处理完毕后进行三角化重构，导入第三方Geomagic软件内按照测量任务进行测量并生成报告，见图13。

Claims (10)

1.一种面向航空复杂零件的面结构光自动化三维检测方法，其特征在于，包括以下步骤：

(1)获得航空复杂零件的零件理论数据模型；

(2)以测量空间为约束对零件理论数据模型进行分区；

(3)对各分区完成的零件理论数据模型进行初始视点生成，以各分区中心为球心，拍摄距离为半径建立球坐标系；在此球坐标系所生成的球表面分别按径向与横向到球心的矢量角偏差一个角度，生成若干布满球面的视点；

(4)对每个视点进行评价，以该视点拍摄情况下所拍摄最多的特征数、最少的遮挡率筛选出每个面的最优视点，得到每个分区的最优的前若干视点；

(5)筛选完毕后统计所有的最优视点，对于机械臂进行最优路径规划，计算出经过各最优视点的最优路径；将所有生成的最优视点的集合通过蚁群算法计算得出最优的机械臂路径点顺序，再加上机械臂预设起始点与终点，即构成本次零件扫描的最优路径；

(6)对双目相机进行标定，采用张氏棋盘格标定法得出双目相机的内外参数，综合上述内外参数校正完图像之后直接用于计算图像像素坐标转换至世界坐标的重投影矩阵Q；

(7)提供真实的航空复杂零件及固定该航空复杂零件的工装并在工装上设置用以供双目相机识别零件种类的非编码标志点；

(8)机械臂开始启动，按所获路径顺序遍历每个视点，通过工业投影机投射生成的24幅三频八步相移图案到航空复杂零件表面，并用工业相机进行随动拍摄后数据传入计算机；

(9)计算三维点云：利用拍摄的24幅三频八步相移图案进行多频外差解相算法；计算出连续的经过调制的航空复杂零件左右两幅连续相位图后，对相位图进行自动化阈值分割，区分出相位图中的航空复杂零件与背景；

(9)对左右两个相机图像中零件像素信息对应匹配，匹配完成后图像坐标对应点相减即可得到左右相机视差图矩阵D；重投影矩阵Q与上述步骤得到的视差图矩阵D计算出当前视角所拍摄的零件的世界坐标系下的三维点云，输出当前视角点云数据；

(10)通过识别粘贴的标志点来计算多视角点云拼接所需的变换矩阵；将获取的变换矩阵应用于前后两个视角所获点云，即将两幅点云统一在相同坐标系下并完成公共区域拼接，使用上述获得矩阵即完成初步点云粗拼接；

(11)通过ICP配准算法进行点云精配准，遍历完所有计算出的视点，计算出点云并完成点云自动拼接，获取初步完整的点云数据；

(12)通过点云处理算法对获取的粗糙点云进行优化得到精确点云数据；

(13)将得到的精确点云数据进行三角化重构，得到stl三角网格模型并转化为step模型；

(14)获得的step模型与零件理论数据模型进行比对，比对出零件制造的误差数据。

2.根据权利要求1所述的面向航空复杂零件的面结构光自动化三维检测方法，其特征在于：步骤(5)中，筛选完毕后统计所有的最优视点集{p₁,p₂…p_i}，对于机械臂携带扫描仪进行最优路径规划，计算出经过各最优视点且效率最高，无干涉的路径，路径权值为机械臂运动代价；计算遍历点集的最优路径简化为带权有向图的旅行商TSP问题，而路径的权值设为机械臂的运动代价；在笛卡尔空间中，设定机械臂在当前视点下的运动姿态到下一个视点姿态所需要变换的各轴角度为运动代价，下公式为运动代价计算参数：

其中η为两个视角变换时机械臂的代价，α为代价系数，θ′_i与θ”_i为1～6轴前后两个视角下各轴的角度；

将所有生成的最优视点集{p₁,p₂…p_i}通过上述算法计算得出最优的机械臂路径点顺序{p_m,p_m+1…p_m+i}，其中m～m+i为生成的最优视点集按路径规划算法所得的新的遍历点的顺序，再加上机械臂预设起始点与终点，即构成本次零件扫描的最优路径{p_start,p_m,p_m+1…p_m+i,p_end}，p_start为最优路径起始点，p_end为最优路径终点，为后续三维重建做数据基础。

3.根据权利要求2所述的面向航空复杂零件的面结构光自动化三维检测方法，其特征在于：所述扫描仪包括两个工业相机及一个工业投影机，将两个工业相机放在一水平固定架上放置，相机光心位置在同一直线，拍摄方向为汇交式相交约30度；两相机中间安置工业投影机；相机位置与投影机位置满足一定的关系：在两个相机所拍摄的画面公共视野中完整容纳投影机所投射矩形区域。

4.根据权利要求3所述的面向航空复杂零件的面结构光自动化三维检测方法，其特征在于：步骤(6)中，内外参数中的内参数包括左右相机图像坐标系转换至以左相机光心为原点的世界坐标系系数dx,dy，左右相机径向畸变系数k₁,k₂,k₃，切向畸变系数p₁,p₂；外参包括两个相机图像面转换至双目平行模型的转换矩阵R,T。

5.根据权利要求4所述的面向航空复杂零件的面结构光自动化三维检测方法，其特征在于：步骤(9)中，计算出连续的经过调制的航空复杂零件左右两幅连续相位图Φ(x,y)_left,Φ(x,y)_right后，由于三维重建过程中存在背景区、阴影区等无效测量区域的重复相位计算和误匹配等问题，因此从条纹调制度出发研究了有效测量区域的分割，对相位图进行自动化阈值分割，区分零件与背景；该算法步骤：使用Otsu算法引入调制度阈值计算中；在不同光线与环境背景下，通过Otsu算法确定最佳阈值，去除离散噪声的同时自动化分割出待测零件区域与无关背景区域；首先调制度函数如下：

式中，i,j为图像坐标，B(i,j)为所求像素点的调制度值，N为所采用的相移步数，本发明中采用8步，I_n(i,j)为所采集的24幅图像中对应坐标的像素值；计算出这24幅图像的一幅调制度图像后，设定一个阈值并用图像学算法分割零件与无关背景；

其中，引入otsu算法计算调制度分割阈值，利用该阈值与调制度图B(i,j)分割零件所在图像区域与背景无关区域，得出经过处理掉无关区域的零件连续相位矩阵图Φ(x,y)_left′,Φ(x,y)_right′，解出用于双目立体匹配的连续相位Φ(x,y)_left′,Φ(x,y)_right′后，利用阶梯矫正算法优化相位值得到优化的相位矩阵Φ(x,y)_left”,Φ(x,y)_right”。

6.根据权利要求5所述的面向航空复杂零件的面结构光自动化三维检测方法，其特征在于：步骤(9)中，通过左右相机径向畸变系数k₁,k₂,k₃及切向畸变系数p₁,p₂，对相位图进行畸变校正；然后进行立体校正，使用左右相机转换矩阵R,T，校正完的左右图像中，对应的像素在同一水平线上即纵坐标相等，按行搜索相位值，相等的认为是一对对应点，将所有对应点形成集合完成双目立体匹配，然后对应点图像横向坐标相减得到视差图矩阵D；输入重投影矩阵Q与上述视差图矩阵D计算出当前视角所拍摄的零件的以左相机光心为原点的世界坐标系下的三维点云，调用opencv库的reprojectImageTo3D()函数输出当前视角点云数据，原理公式如下：

其中Xw/W，Yw/W，Zw/W为世界坐标，u,v为图像坐标，d为视差，Q为重投影矩阵。

7.根据权利要求6所述的面向航空复杂零件的面结构光自动化三维检测方法，其特征在于：步骤(10)中，变换矩阵计算流程为，首先利用调制度函数手动更改阈值参数将24幅图案还原成未投影条纹时的灰度图像，通过图像学算法分离出所贴圆形黑白非编码标志点所在区域，基于opencv库使用morphologyEx函数实现图像膨胀与腐蚀，使用adaptiveThreshold函数可自适应的对灰度图像进行二值化分割；

对上述灰度图像通过opencv库中的GaussianBlur函数进行高斯滤波算法预处理后，使用opencv库中的canny算子函数提取图像的边界点信息，并利用霍夫变换检测出标志点的椭圆轮廓；根据椭圆的圆度、预设拍摄距离下的图像椭圆轴长、采样圆形编码点灰度信息参数筛选出是否标志点；

拟合后椭圆的中心Center参数即为图像中所识别出的圆心，从已计算点云中映射出该圆心二维坐标对应的三维坐标并记录为当前视角标志点集A，机械臂运动至下一目标点，重复上述步骤，获取标志点集B，使用所计算出的标志点集A与标志点集B进行标志点对应匹配与变换矩阵计算；

基于距离不变性建立各点簇的距离描述矩阵，设标志点集A{p₁～p_m}与标志点集B{q₁～q_n}中各点与点集其余点的距离为元素公式如下：

式中p_mp_m-1，q_nq_n-1表示两个点之间的三维距离；然后对应这两个距离矩阵进行逐行匹配，设定阈值并判断出某两行相等距离数最多的一对点p_r与q_t，将这对点{p_r,q_t}认作第一对匹配点并作为基本原点，接着构造距离基本原点的距离向量a，b：

a＝[p_rp₁,p_rp₂...p_rp_m]

b＝[q_tq₁,q_tq₂...q_tq_n]

式中分别为p_r与q_t到其余点的距离排序后建立的向量；再次进行相似性匹配，找出另外两对点{p_r′,q_t′}，{p_r”,q_t”}并满足约束条件：{p_r,p_r′,p_r”}与{q_t,q_t′,q_t”}构成全等三角形即对应边相等，此时即为找到三对匹配点对，进行下一步变换矩阵求解；

获取三对点后，利用SVD分解求出点云配准所需的变换矩阵，公式如下：

式中，J为目标函数，k是匹配点对数，k取3，R,T为所求解旋转平移矩阵，q_i,p_i为对应点三维坐标，使得J最小；

将获取的变换矩阵应用于前后两个视角所获点云，即将两幅点云统一在相同坐标系下并完成公共区域拼接，调用PCL库中的TransformPointCloud函数，使用上述获得矩阵完成初步粗拼接。

8.根据权利要求7所述的面向航空复杂零件的面结构光自动化三维检测方法，其特征在于：步骤(11)中，ICP配准算法步骤如下：

(11.1)首先估算初始变换矩阵T₀，对采样后的源点云数据A中每个点P_ai施加该变换矩阵T₀，得到P_ai′；

(11.2)从标志点集B中，利用K-D Tree快速搜索每个距离P_ai′最近的点P_bi，与P_ai′形成对应点对；

通过获取的点对求得最优变换矩阵ΔT：

(11.3)判断收敛的条件为迭代误差与迭代次数，若收敛计算T＝ΔT*T₀并输出最终变换矩阵，若否则计算T₀＝ΔT*T₀并返回第(11.1)步进行下一次迭代。

9.根据权利要求8所述的面向航空复杂零件的面结构光自动化三维检测方法，其特征在于：步骤(12)中，对拼接重叠部分进行预处理，对多余的杂点以及失效点进行去除；通过点云处理算法对获取的粗糙点云进行优化，使用PCL开源库中的内置算法函数，包括下采样滤波，去噪离群点，法向调整，补空洞，得到精确点云数据。

10.根据权利要求9所述的面向航空复杂零件的面结构光自动化三维检测方法，其特征在于：步骤(13)中，将最终得到的精确点云数据进行三角化重构，使用PCL中的reconstruct函数，得到stl三角网格模型并使用OCC库转化为step模型，导入Geomagic软件中数模比对分析功能进行精度检测。

Images