CN112907729B - 一种基于三维局部点云配准的复合材料预制体整体外形重建方法 - Google Patents

Abstract

本发明是一种基于三维局部点云配准的复合材料预制体整体外形重建方法，根据数据采集3D相机的位姿关系对两片部分重叠局部点云进行粗配准；计算粗配准之后的两片点云中每个点的法向量；将两片粗配准后的局部点云通过一个自监督的特征编码网络提取出点云中每个点的特征描述子；对点特征描述子采用最近邻算法构建两片点云中点与点之间的初始对应关系集；对初始对应关系集进行逐步优选来减少对应关系集中的离群值；对去除离群值后的每一组对应点进行迭代计算精配准变换矩阵；重复以上两两配准过程实现复合材料预制体整体外形重建。本方法旨在解决复合材料预制体的整体外形重建问题，本申请的点云配准精度高，配准重建速度比通用ICP算法速度更快。

Description

一种基于三维局部点云配准的复合材料预制体整体外形重建 方法

技术领域

本发明涉及复合材料预制体外形重建技术领域，具体的说是一种基于三维局部点云配准的复合材料预制体整体外形重建方法。

背景技术

先进复合材料具有高比强度、高比模量、耐疲劳、抗侵蚀、抗冲击、可设计性好等优点，是国民经济发展最重要的一类工程材料，在航空航天、国防军工领域的应用比例越来越大，如波音787客机中复合材料构件重量已占全机结构重量的50％左右，洛克希德·马丁公司的F35型战斗机，其复合材料在机身的用量占整个结构重量的35％。

传统的复合材料预制体织造及检测分析技术存在人工干预多、生产成本高、生产效率低等问题，且难以适应任意形状预制体的自动化制造。随着复合材料构件向着大型化、集成化、整体化方向发展，针对复合材料复杂构件高性能、高精度、高效率的制造需求，具有自动化、数字化、智能化、精密化、柔性化等技术特点的大型复杂复合材料预制体织造成形系列装备是目前复合材料构件智能制造装备发展的主要方向。近年来，随着三维激光扫描测量技术的不断发展与完善，它在数据采集方面凸显出速度快、精度高、适应性强等优点使其成为各个领域的主流测量技术。针对复合材料预制体自动化整体外形分析问题，需要一种利用三维激光扫描技术用于实现复合材料预制体自动化整体外形重建的方法。

发明内容

本发明要解决的技术问题是提供一种基于三维局部点云配准的复合材料预制体整体外形重建方法，重复将相邻具有重叠局部的点云数据进行配准，实现现复合材料预制体整体外形重建。

为解决上述技术问题，本发明采用的技术方案为：

一种基于三维局部点云配准的复合材料预制体整体外形重建方法，其特征在于：采用多个3D相机对复合材料预制体整体外形进行扫描，由于相邻两个3D相机采集到的数据有局部重叠，依次将相邻两个3D相机采集到的重叠部数据进行配准，得到完整的复合材料预制体点云数据，实现复合材料预制体整体外形的重建，具体步骤如下：

步骤1，根据采集部分重叠局部点云的两个3D相机的位姿关系求出粗配准变换矩阵，对两片部分重叠局部点云进行粗配准；

步骤2，计算粗配准之后的两片局部重叠点云中每个点的法向量；

步骤3，将两片粗配准后的点云输入到一个自监督的特征编码网络中，提取点云中每个点的特征描述子；

步骤4，根据两片粗配准后局部点云的特征描述子通过最近邻算法构建两片点云中点与点之间的对应关系集；

步骤5，对两片粗配准后的点云中的对应关系集进行逐步优选来降低对应关系集中的离群值；

步骤6，对去除离群值后的两片点云中的每一对对应点进行迭代计算精配准变换矩阵，完成两片局部点云的精配准；

步骤7，更换下一组相邻两个3D相机获取的局部点云数据，重复步骤1-6实现复合材料预制体整体外形重建。

所述的步骤1中根据采集部分重叠局部点云的两个深度相机的位姿关系进行粗配准的具体步骤如下：

步骤1.1，用两个深度相机对同一个包含三个标定点的标靶进行测量，获取到三个标定点的坐标信息，通过三个标定点在两个相机坐标系下的对应关系及位置坐标求出两个相机坐标系的变换矩阵；

步骤1.2，将其中一片局部点云中的每个点乘以两个相机坐标系的变换矩阵，把该局部点云变换到另外一个相机坐标系下，得到两片点云的粗配准结果。

所述的步骤2中计算粗配准之后的两片局部重叠点云中每个点的法向量具体步骤如下：

步骤2.1，为每片局部点云中的每个点构建k-邻域；

步骤2.2，计算每个邻域的协方差矩阵，求解出协方差矩阵的特征值和特征向量，其中最小特征值对应的特征向量作为该邻域中心的法向量。

所述的步骤3中提取点云中每个点的特征描述子具体步骤如下：

步骤3.1，将输入点云在预设方向中随机选择一个方向进行角度变化；

步骤3.2，将角度变化后的点云输入到自监督的特征编码网络中进行特征编码，得到点云中每个点在高维特征空间的点特征描述子。

所述的步骤4中根据两片粗配准后局部点云的特征描述子通过最近邻计算构建两片点云中点与点之间的对应关系集，具体步骤为：对其中一片粗配准后的局部点云中的每一个点根据点特征描述子在另一片点云的点特征描述子中搜索K邻域，将该点与K邻域中的每一个点建立点与点之间的初始对应关系。

所述的步骤5中对两片粗配准后的点云中的对应关系集进行逐步优选来降低对应关系集中的离群值，具体步骤如下：

步骤5.1，对于初始对应关系集中的每一组对应点，当且仅当该组对应点中一个点的特征描述子是另一个点的特征描述子的在该片点云中点特征描述子的最近邻，且另一个点的点特征描述子是该点特征描述子在另一片点云中点特征描述子的最近邻时，该组对应点作为初步内点保留；

步骤5.2，在初步内点对应关系集中随机选择三组对应点，计算同片点云中的三个点的欧式距离与另外一片点云中三个点的欧式距离之比是否在某个阈值区间中，如果在该阈值区间中则该组对应点作为内点保留，否则作为离群点丢弃，得到最终的对应关系集。

所述的步骤6中对去除离群值后的两片点云中的每一对对应点进行迭代计算精配准变换矩阵，完成两片局部点云精配准的具体步骤如下：

步骤6.1，将变换矩阵T初始化为单位矩阵T＝I，控制因子μ初始化为μ＝D²，D为待配准的最大表面点云的近似直径，优化方程的雅克比矩阵J_r初始化为J_r＝0，残差向量r初始化为r＝0；

步骤6.2，对最终对应关系集中的每一组对应点，计算两点之间的线性关系：

式中，p、q为对应关系集中的一组对应点；l_p,q为对应点p、q之间的线性关系；

并求出优化方程：E(T,L)＝∑_(p,q)∈kl_p,q||p-Tq||²+∑_(p,q)∈κΨ(l_p,q)的雅克比矩阵J_r和残差向量r，式中

步骤6.3，通过高斯牛顿法求解并更新变换矩阵T：

式中，α，β，γ为旋转向量ω＝(α,β,γ)中的三个分量，a,b,c为平移向量t＝(a,b,c)的三个分量，ξ定义为ξ＝(ω,t)＝(α,β,γ)(a,b,c)；

步骤6.4，每进行2次迭代将参数μ减半，重复步骤6.2至6.3直到优化方程收敛或者μ小于设定阈值。

该种基于三维局部点云配准的复合材料预制体整体外形重建方法能够达到的有益效果为：可以实现复合材料预制体整体外形的快速重建以便于后续对复合材料进行形貌分析，且具有自动化程度高、重建速度快，重建结果还原度高，方法简单便于实现的优点。

附图说明

图1为本发明一种基于三维局部点云配准的复合材料预制体整体外形重建方法的算法流程图。

图2为本发明一种基于三维局部点云配准的复合材料预制体整体外形重建方法中部分重叠局部点云获取方式示意图。

图3为本发明一种基于三维局部点云配准的复合材料预制体整体外形重建方法中计算点特征描述子的特征编码网络框架图。

图4为本发明一种基于三维局部点云配准的复合材料预制体整体外形重建方法中局部点云重建的结果示意图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述。

如图2所示，采用四组3D相机对复合材料预制体整体外形进行扫描，由于相邻两个3D相机采集到的数据有局部重叠，依次将相邻两个3D相机采集到的重叠部数据进行配准，得到完整的复合材料预制体点云数据，实现复合材料预制体整体外形的重建，该种基于三维点云局部配准的复合材料预制体整体外形重建方法如图1所示，具体步骤如下：

步骤1，根据采集部分重叠局部点云的两个3D相机的位姿关系求出粗配准变换矩阵，对两片部分重叠局部点云进行粗配准；

步骤2，计算粗配准之后的两片局部重叠点云中每个点的法向量；

步骤3，将两片粗配准后的点云输入到一个自监督的特征编码网络中，提取点云中每个点的特征描述子；

步骤4，根据两片粗配准后局部点云的特征描述子通过最近邻算法构建两片点云中点与点之间的对应关系集；

步骤5，对两片粗配准后的点云中的对应关系集进行逐步优选来降低对应关系集中的离群值；

步骤6，对去除离群值后的两片点云中的每一对对应点进行迭代计算精配准变换矩阵，完成两片局部点云的精配准；

步骤7，更换下一组相邻两个3D相机获取的局部点云数据，重复步骤1-6实现复合材料预制体整体外形重建。

本实施例中，步骤1中根据采集部分重叠局部点云的两个深度相机的位姿关系进行粗配准的具体步骤如下：

步骤1.1，用两个深度相机对同一个包含三个标定点的标靶进行测量，获取到三个标定点的坐标信息，通过三个标定点在两个相机坐标系下的对应关系及位置坐标求出两个相机坐标系的变换矩阵T₀；

步骤1.2，将其中一片局部点云P₀中的每个点乘以两个相机坐标系的变换矩阵T₀，把该局部点云变换到另外一个相机坐标系下，得到两片点云的粗配准结果P,Q。

本实施例中，步骤2中计算粗配准之后的两片局部重叠点云中每个点的法向量具体步骤如下：

步骤2.1，为每片粗配准后的局部点云P,Q中的每个点p_i,q_j构建K-邻域；

步骤2.2，计算每个邻域的协方差矩阵，求解出协方差矩阵的特征值和特征向量，其中最小特征值对应的特征向量作为该邻域中心的法向量。

本实施例中，步骤3中提取点云中每个点的特征描述子具体步骤如下：

步骤3.1，将输入点云在±x,±y,±z 6个方向随机选择一个方向R_i进行角度变化；

步骤3.2，将角度变化后的点云输入到一个自监督的特征编码网络中进行特征编码，特征编码网络将n×6维的点云数据通过两个共享参数的mlp将点坐标及法向量映射成n×64维的特征向量，然后将n×64维的特征向量通过一个特征变换模块，得到一个具有旋转不变性的n×64维特征向量，在对具有旋转不变性的特征向量通过3个共享参数的mlp进一步编码，最后输出每个点的64维特征描述子；

网络训练的过程在图3所示的主干特征编码网络后接两个线性层分类出点云的旋转方向，然后将预测的旋转方向与数据预处理过程中的角度变化方向通过交叉熵损失来实现监督训练。在使用网络编码点特征描述子过程中，直接获取输入线性分类层的特征即可作为点特征描述子。

本实施例中，步骤4中根据两片粗配准后局部点云的特征描述子通过最近邻计算构建两片点云中点与点之间的对应关系集，具体步骤为：对其中一片粗配准后的局部点云P中的每一个点p通过点特征描述子FP(p)在另一片点云Q的点特征描述子FP(Q)中搜索k-邻域，将p点与其在FP(Q)的k-邻域中的每个点都作为一组对应点，得到两片点云中点与点之间的初始对应关系K₁。

本实施例中，步骤5中对两片粗配准后的点云中的对应关系集进行逐步优选来降低对应关系集中的离群值，具体步骤如下：

步骤5.1，对于初始对应关系集K₁中的每一组对应点(p,q)，当且仅当该组对应点中一个点p的点特征描述子FP(p)是另一个点q的点特征描述子FP(q)的在该片点云P中描述子FP(P)的最近邻，且另一个点q的点特征描述子FP(q)是该点p的点特征描述子FP(p)在另一片点云Q中描述子FP(Q)的最近邻时，该组对应点(p,q)作为初步内点保留，得到初步内点对应关系集K₂；

步骤5.2，在初步内点对应关系集K₂中随机选择三组对应点(p₁,q₁),(p₂,q₂),(p₃,q₃)，取满足下述条件的对应点得到最终的对应关系集K：

其中τ为一个经验阈值，在本发明的一种实施例中τ＝0.9。

本实施例中，步骤6中对去除离群值后的两片点云中的每一对对应点进行迭代计算精配准变换矩阵，完成两片局部点云精配准的具体步骤如下：

步骤6.1，将变换矩阵T初始化为单位矩阵T＝I，控制因子μ初始化为μ＝D²，D为待配准点云中表面最大点云的近似直径，优化方程的雅克比矩阵J_r初始化为J_r＝0，残差向量r初始化为r＝0；

步骤6.2，对最终对应关系集K中的每一组对应点(p,q)，根据变换矩阵T和控制因子μ计算两点之间的线性关系：

式中，p、q为对应关系集中的一组对应点；l_p,q为对应点p、q之间的线性关系；

将两点之间的线性关系代入优化方程：

其中

求出优化方程的雅克比矩阵J_r和残差向量r；

步骤6.3，根据雅克比矩阵J_r和残差向量r通过高斯牛顿法求解并更新变换矩阵T：

式中，α，β，γ为旋转向量ω＝(α,β,γ)中的三个分量，a,b,c为平移向量t＝(a,b,c)的三个分量，ξ定义为ξ＝(ω,t)＝(α,β,γ)(a,b,c)；

步骤6.4，每进行2次迭代将参数μ减半u＝μ/2，重复步骤6.2至6.3直到优化方程收敛或者μ小于阈值δ²，δ为真实对应点的距离阈值。

本实施例中，步骤7针对每两个相邻3D相机采集的复合材料预制体局部点云数据重复步骤1至6实现部分重叠局部点云的两两配准，最后得到一片完整的复合材料预制体点云数据，实现复合材料预制体整体外形的重建。

进一步的，相邻两个3D相机采集到的数据有局部重叠不仅仅如图1所示的情况，如图4所示工况中，图4a标明了针对柱状结构两组3D相机采集到点云数据，其中在柱状结构中部有部分点云重叠部，图4b则标明了利用本申请步骤1至步骤7后复原得到的完整的复合材料预制体点云数据。

该种基于三维点云局部配准的复合材料预制体整体外形重建方法旨在解决复合材料预制体的整体外形重建问题，该方法中的点云配准精度高，配准重建速度比通用ICP算法速度更快。既能够将三维激光扫描技术应用于复合材料预制体自动化整体外形重建，还能够为实现复合材料预制体自动化、智能化、精密化整体形貌分析提供数据支撑。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (4)

1.一种基于三维局部点云配准的复合材料预制体整体外形重建方法，其特征在于：采用多个3D相机对复合材料预制体整体外形进行扫描，由于相邻两个3D相机采集到的数据有局部重叠，依次将相邻两个3D相机采集到的重叠部数据进行配准，得到完整的复合材料预制体点云数据，实现复合材料预制体整体外形的重建，具体步骤如下：

步骤1，根据采集部分重叠局部点云的两个3D相机的位姿关系求出粗配准变换矩阵，对两片部分重叠局部点云进行粗配准；

步骤2，计算粗配准之后的两片局部重叠点云中每个点的法向量；

步骤3，将两片粗配准后的点云输入到一个自监督的特征编码网络中，提取点云中每个点的特征描述子；具体包括如下子步骤：

步骤3.1，将输入点云在±x,±y,±z 6个方向随机选择一个方向R_i进行角度变化；

步骤3.2，将角度变化后的点云输入到一个自监督的特征编码网络中进行特征编码，特征编码网络将n×6维的点云数据通过两个共享参数的mlp将点坐标及法向量映射成n×64维的特征向量，然后将n×64维的特征向量通过一个特征变换模块，得到一个具有旋转不变性的n×64维特征向量，在对具有旋转不变性的特征向量通过3个共享参数的mlp进一步编码，最后输出每个点的64维特征描述子；

步骤4，根据两片粗配准后局部点云的特征描述子通过最近邻算法构建两片点云中点与点之间的对应关系集；

步骤5，对两片粗配准后的点云中的对应关系集进行逐步优选来降低对应关系集中的离群值；具体包括如下子步骤：

步骤5.1，对于初始对应关系集K₁中的每一组对应点(p,q)，当且仅当该组对应点中一个点p的点特征描述子FP(p)是另一个点q的点特征描述子FP(q)的在该片点云P中描述子FP(P)的最近邻，且另一个点q的点特征描述子FP(q)是该点p的点特征描述子FP(p)在另一片点云Q中描述子FP(Q)的最近邻时，该组对应点(p,q)作为初步内点保留，得到初步内点对应关系集K₂；

步骤5.2，在初步内点对应关系集K₂中随机选择三组对应点(p₁,q₁),(p₂,q₂),(p₃,q₃)，取满足下述条件的对应点得到最终的对应关系集K：

其中τ＝0.9；

步骤6，对去除离群值后的两片点云中的每一对对应点进行迭代计算精配准变换矩阵，完成两片局部点云的精配准；具体包括如下子步骤：

步骤6.1，将变换矩阵T初始化为单位矩阵T＝I，控制因子μ初始化为μ＝D²，D为待配准的最大表面点云的近似直径，优化方程的雅克比矩阵J_r初始化为J_r＝0，残差向量r初始化为r＝0；

步骤6.2，对最终对应关系集中的每一组对应点，计算两点之间的线性关系：

式中，p、q为对应关系集中的一组对应点；l_p,q为对应点p、q之间的线性关系；

并求出优化方程：E(T,L)＝∑_(p,q)∈κl_p,q‖p-Tq‖²+∑_(p,q)∈κΨ(l_p,q)的雅克比矩阵J_r和残差向量r，式中

步骤6.3，通过高斯牛顿法求解并更新变换矩阵T：

式中，α，β，γ为旋转向量ω＝(α,β,γ)中的三个分量，a,b,c为平移向量t＝(a,b,c)的三个分量，ξ定义为ξ＝(ω,t)＝(α,β,γ)(a,b,c)；

步骤6.4，每进行2次迭代将参数μ减半，重复步骤6.2至6.3直到优化方程收敛或者μ小于设定阈值；

步骤7，更换下一组相邻两个3D相机获取的局部点云数据，重复步骤1-6实现复合材料预制体整体外形重建。

2.如权利要求1所述的一种基于三维局部点云配准的复合材料预制体整体外形重建方法，其特征在于：所述的步骤1中根据采集部分重叠局部点云的两个深度相机的位姿关系进行粗配准的具体步骤如下：

步骤1.1，用两个深度相机对同一个包含三个标定点的标靶进行测量，获取到三个标定点的坐标信息，通过三个标定点在两个相机坐标系下的对应关系及位置坐标求出两个相机坐标系的变换矩阵；

步骤1.2，将其中一片局部点云中的每个点乘以两个相机坐标系的变换矩阵，把该局部点云变换到另外一个相机坐标系下，得到两片点云的粗配准结果。

3.如权利要求1所述的一种基于三维局部点云配准的复合材料预制体整体外形重建方法，其特征在于：所述的步骤2中计算粗配准之后的两片局部重叠点云中每个点的法向量具体步骤如下：

步骤2.1，为每片局部点云中的每个点构建k-邻域；

步骤2.2，计算每个邻域的协方差矩阵，求解出协方差矩阵的特征值和特征向量，其中最小特征值对应的特征向量作为该邻域中心的法向量。

4.如权利要求1所述的一种基于三维局部点云配准的复合材料预制体整体外形重建方法，其特征在于：所述的步骤4中根据两片粗配准后局部点云的特征描述子通过最近邻计算构建两片点云中点与点之间的对应关系集，具体步骤为：对其中一片粗配准后的局部点云中的每一个点根据点特征描述子在另一片点云的点特征描述子中搜索K邻域，将该点与K邻域中的每一个点建立点与点之间的初始对应关系。

Images