CN115908519A - 一种大型复合材料构件三维测量配准误差控制方法 - Google Patents

Abstract

本发明涉及数字化检测技术领域，解决了多帧点云的低重叠区域使得配准质量较差，严重影响检测精度和生产节奏的技术问题，尤其涉及一种大型复合材料构件三维测量配准误差控制方法，包括以下步骤：S1、获取需进行配准的两片大型的复合材料构件的点云数据P、Q，以及和点云数据P、Q重叠部分的点云数据PI和二维图像I；S2、分别将点云数据P、Q以及点云数据PI和二维图像I输入LODNet网络中。本发明通过利用两个低重叠点云的重叠但未对准部分，提出一个低重叠点对的重叠检测网络LODNet对点云数据进行处理分析，从而降低配准误差，提高检测精度。

Description

一种大型复合材料构件三维测量配准误差控制方法

技术领域

本发明涉及数字化检测技术领域，尤其涉及一种大型复合材料构件三维测量配准误差控制方法。

背景技术

大型复合材料构件在航空工业领域有着广泛应用，常用于制作各种壁板、翼面、壳体等大型结构件。大型复合材料构件的检测通常采用激光扫描的方法，由于此类构件的形貌面积较大，无法一次扫描成形，因此需要多次扫描形成多帧点云，再对多帧点云进行配准，得到最终得构件模型。然而多帧点云的低重叠区域使得配准质量较差，严重影响检测精度和生产节奏。为了实现高效率低误差的三维测量配准，必须进行数字化检测的研究。

发明内容

针对现有技术的不足，本发明提供了一种大型复合材料构件三维测量配准误差控制方法，解决了多帧点云的低重叠区域使得配准质量较差，严重影响检测精度和生产节奏的技术问题，通过利用两个低重叠点云的重叠但未对准部分，提出一个低重叠点对的重叠检测网络LODNet对点云数据进行处理分析，从而降低配准误差，提高检测精度。

为解决上述技术问题，本发明提供了如下技术方案：一种大型复合材料构件三维测量配准误差控制方法，包括以下步骤：

S1、获取需进行配准的两片大型的复合材料构件的点云数据P、Q，以及和点云数据P、Q重叠部分的点云数据PI和二维图像I；

S2、分别将点云数据P、Q以及点云数据PI和二维图像I输入LODNet网络中，对点云数据P、Q以及点云数据PI和二维图像I进行特征提取，得到提取后的特征f^P _3D、f^Q _3D、f^I _3D和f^I _2D；

S3、对特征f^P _3D、f^I _3D、f^I _2D和特征f^Q _3D、f^I _3D、f^I _2D分别进行特征融合，得到融合后的特征f^P _cm和f^Q _cm，根据特征f^P _cm和f^Q _cm得到点云数据P和二维图像I的相交区域S^P _I及点云数据Q和二维图像I的相交区域S^Q _I；

S4、对相交区域S^P _I和S^Q _I进行特征提取，对提取到的特征进行特征融合，基于融合后的特征得到点云数据P上和点云数据Q的相交区域S^P _Q以及点云数据Q上和点云数据P的相交区域S^Q _P；

S5、采用ICP配准方法根据相交区域S^P _Q和S^Q _P进行变换矩阵R、T求解。

进一步地，在步骤S1中，获取需进行配准的两片大型复合材料构件的点云数据P、Q，以及和点云数据P、Q重叠部分的点云数据PI和二维图像I，具体过程包括以下步骤：

S101、使用激光扫描仪采集复合材料构件的相邻两帧信息，生成两片点云数据P和Q；

S102、使用激光扫描仪采集包含点云数据P和Q的重叠部分的点云，生成点云数据PI；

S103、使用相机采集包含点云数据P和Q重叠部分的构件的二维图像I。

进一步地，在步骤S2中，分别将点云数据P、Q以及点云数据PI和二维图像I输入LODNet网络中，对点云数据P、Q以及点云数据PI和二维图像I进行特征提取，得到提取后的特征f^P _3D、f^Q _3D、f^I _3D和f^I _2D，具体过程包括以下步骤：

S201、将点云数据P、Q和PI输入LODNet网络中用于三维特征提取的3D编码器中，3D编码器使用模型PointNet++生成相应的特征映射f^P _3D、f^Q _3D和f^I _3D；

S202、将二维图像I输入LODNet网络中用于二维特征提取的2D编码器中，2D编码器使用模型PSPNet生成相应的特征映射f^I _2D。

进一步地，在步骤S3中，对特征f^P _3D、f^I _3D、f^I _2D和特征f^Q _3D、f^I _3D、f^I _2D分别进行特征融合，得到融合后的特征f^P _cm和f^Q _cm，根据特征f^P _cm和f^Q _cm得到点云数据P和二维图像I的相交区域S^P _I及点云数据Q和二维图像I的相交区域S^Q _I，具体过程包括以下步骤：

S301、将特征f^P _3D、f^I _3D和f^I _2D输入LODNet网络的特征融合模块中计算融合后的特征f^P _cm；

S302、将特征f^Q _3D、f^I _3D和f^I _2D输入LODNet网络的特征融合模块中计算融合后的特征f^Q _cm；

S303、将融合后的特征f^P _cm输入LODNet网络的分类模块，输出结果为点云数据P中每个点是否可投影到二维图像I的概率，获得点云数据P的子集S^P _I，表示点云数据P和二维图像I重叠部分的点云；

S304、将融合后的特征f^Q _cm输入LODNet网络的分类模块，输出结果为点云数据Q中每个点是否可投影到二维图像I的概率，获得点云数据Q的子集S^Q _I，表示点云数据Q和二维图像I重叠部分的点云。

进一步地，在步骤S303中，分类模块由两层全连接层和softmax层组成。

进一步地，在步骤S4中，对相交区域S^P _I和S^Q _I进行特征提取，对提取到的特征进行特征融合，基于融合后的特征得到点云数据P上和点云数据Q的相交区域S^P _Q以及点云数据Q上和点云数据P的相交区域S^Q _P，具体过程包括以下步骤：

S401、采用LODNet网络中用于三维特征提取的3D编码器对相交区域S^P _I和S^Q _I进行特征提取得到融合后的特征f^PI _3D和f^QI _3D；

S402、将融合后的特征f^PI _3D和f^P _cm相乘，以及融合后的特征f^QI _3D和f^Q _cm相乘后做特征融合得到特征f^PQ _cm和f^QP _cm；

S403、将特征f^PQ _cm输入LODNet网络中的分类模块中，得到子集S^P _I中每个点是否可投影到点云数据Q的概率，获得子集S^P _I的子集S^P _Q；

S404、将特征f^QP _cm输入LODNet网络中的分类模块中，得到点云子集S^Q _I中每个点是否可投影到点云数据P的概率，获得子集S^Q _I的子集S^Q _P。

进一步地，在步骤S5中，采用ICP配准方法根据相交区域S^P _Q和S^Q _P进行变换矩阵R、T求解，具体过程包括以下步骤：

S501、对相交区域S^P _Q中的每个点p_i，寻找其在相交区域S^Q _P中对应的最近点为q_i，然后计算相交区域S^P _Q和S^Q _P的质心，分别记为质心u_p和u_q；

S502、对相交区域S^P _Q和S^Q _P进行去质心得到p_0i ^，和q_0i ^，；

S503、根据p_0i ^，和q_0i ^，构建矩阵H；

S504、对矩阵H进行SVD分解后计算矩阵r和t；

S505、用矩阵r和t对相交区域S^P _Q进行变换，得到新的变换点集，变换点集中的点；

S506、计算目标函数F；

若目标函数F小于给定阈值v，则停止计算，得到变换矩阵R和T的解后结束；

若目标函数F大于给定阈值v，则以新的变换点集点集和相交区域S^P _Q重复步骤S501-S506直到结束。

借由上述技术方案，本发明提供了一种大型复合材料构件三维测量配准误差控制方法，至少具备以下有益效果：

1、本发明通过利用两个低重叠点云的重叠但未对准部分，提出一个低重叠点对的重叠检测网络LODNet对点云数据进行处理分析，从而降低配准误差，提高检测精度。

2、本发明通过利用大型复合材料构件的点云模型，实现了对三维测量配准误差的高精度控制，提高配准的准确性，具有较好的实用性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明配准误差控制方法的流程图；

图2为本发明LODNet网络的网络结构图；

图3为本发明特征融合模块的结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

请参照图1-图3，示出了本实施例的一种具体实施方式，本实施例通过利用大型复合材料构件的点云模型，实现了对三维测量配准误差的高精度控制，提高配准的准确性，具有较好的实用性。

请参照图1，本实施例提出了一种大型复合材料构件三维测量配准误差控制方法，包括以下步骤：

S1、获取需进行配准的两片大型的复合材料构件的点云数据P、Q，以及和点云数据P、Q重叠部分的点云数据PI和二维图像I；

在步骤S1中，获取需进行配准的两片大型复合材料构件的点云数据P、Q，以及和点云数据P、Q重叠部分的点云数据PI和二维图像I，具体过程包括以下步骤：

S101、使用激光扫描仪采集复合材料构件的相邻两帧信息，生成两片点云数据P和Q；

S102、使用激光扫描仪采集包含点云数据P和Q的重叠部分的点云，生成点云数据PI；

S103、使用相机采集包含点云数据P和Q重叠部分的构件的二维图像I。

S2、分别将点云数据P、Q以及点云数据PI和二维图像I输入LODNet网络中，对点云数据P、Q以及点云数据PI和二维图像I进行特征提取，得到提取后的特征f^P _3D、f^Q _3D、f^I _3D和f^I _2D；

请参照图2和图3，在步骤S2中，分别将点云数据P、Q以及点云数据PI和二维图像I输入LODNet网络中，对点云数据P、Q以及点云数据PI和二维图像I进行特征提取，得到提取后的特征f^P _3D、f^Q _3D、f^I _3D和f^I _2D，具体过程包括以下步骤：

S201、将点云数据P、Q和PI输入LODNet网络中用于三维特征提取的3D编码器中，3D编码器使用模型PointNet++生成相应的特征映射f^P _3D、f^Q _3D和f^I _3D；

S202、将二维图像I输入LODNet网络中用于二维特征提取的2D编码器中，2D编码器使用模型PSPNet生成相应的特征映射f^I _2D。

S3、对特征f^P _3D、f^I _3D、f^I _2D和特征f^Q _3D、f^I _3D、f^I _2D分别进行特征融合，得到融合后的特征f^P _cm和f^Q _cm，根据特征f^P _cm和f^Q _cm得到点云数据P和二维图像I的相交区域S^P _I及点云数据Q和二维图像I的相交区域S^Q _I；

在步骤S3中，对特征f^P _3D、f^I _3D、f^I _2D和特征f^Q _3D、f^I _3D、f^I _2D分别进行特征融合，得到融合后的特征f^P _cm和f^Q _cm，根据特征f^P _cm和f^Q _cm得到点云数据P和二维图像I的相交区域S^P _I及点云数据Q和二维图像I的相交区域S^Q _I，具体过程包括以下步骤：

S301、将特征f^P _3D、f^I _3D和f^I _2D输入LODNet网络的特征融合模块中计算融合后的特征f^P _cm；特征融合模块计算特征f^P _cm的表达式如下：

；

；

其中MLP表示三层全连接层，cat(·，·)表示串联，att(·，·，·)表示注意力模块。

S302、将特征f^Q _3D、f^I _3D和f^I _2D输入LODNet网络的特征融合模块中计算融合后的特征f^Q _cm；在特征融合模块计算特征f^Q _cm的表达式如下：

；

；

其中MLP表示三层全连接层，cat(·，·)表示串联，att(·，·，·)表示注意力模块。

S303、将融合后的特征f^P _cm输入LODNet网络的分类模块，分类模块由两层全连接层和softmax层组成，输出结果为点云数据P中每个点是否可投影到二维图像I的概率，获得点云数据P的子集S^P _I，表示点云数据P和二维图像I重叠部分的点云；

S304、将融合后的特征f^Q _cm输入LODNet网络的分类模块，输出结果为点云数据Q中每个点是否可投影到二维图像I的概率，获得点云数据Q的子集S^Q _I，表示点云数据Q和二维图像I重叠部分的点云。

S4、对相交区域S^P _I和S^Q _I进行特征提取，对提取到的特征进行特征融合，基于融合后的特征得到点云数据P上和点云数据Q的相交区域S^P _Q以及点云数据Q上和点云数据P的相交区域S^Q _P；

在步骤S4中，对相交区域S^P _I和S^Q _I进行特征提取，对提取到的特征进行特征融合，基于融合后的特征得到点云数据P上和点云数据Q的相交区域S^P _Q以及点云数据Q上和点云数据P的相交区域S^Q _P，具体过程包括以下步骤：

S401、采用LODNet网络中用于三维特征提取的3D编码器对相交区域S^P _I和S^Q _I进行特征提取得到融合后的特征f^PI _3D和f^QI _3D；该步骤与上述的步骤S201相同，因此对于相同部分不做详细赘述。

S402、将融合后的特征f^PI _3D和f^P _cm相乘，以及融合后的特征f^QI _3D和f^Q _cm相乘后做特征融合得到特征f^PQ _cm和f^QP _cm；

特征f^PQ _cm和f^QP _cm的表达式为：

S403、将特征f^PQ _cm输入LODNet网络中的分类模块中，得到子集S^P _I中每个点是否可投影到点云数据Q的概率，获得子集S^P _I的子集S^P _Q，即为点云数据P上和点云数据Q的相交区域；该步骤与上述的步骤S303相同，因此对于相同部分不做详细赘述。

S404、将特征f^QP _cm输入LODNet网络中的分类模块中，得到点云子集S^Q _I中每个点是否可投影到点云数据P的概率，获得子集S^Q _I的子集S^Q _P，即为点云数据Q上和点云数据P的相交区域，该步骤与上述的步骤S303相同，因此对于相同部分不做详细赘述。

S5、采用ICP配准方法根据相交区域S^P _Q和S^Q _P进行变换矩阵R、T求解。

在步骤S5中，采用ICP配准方法根据相交区域S^P _Q和S^Q _P进行变换矩阵R、T求解，具体过程包括以下步骤：

S501、对相交区域S^P _Q中的每个点p_i，寻找其在相交区域S^Q _P中对应的最近点为q_i，然后计算相交区域S^P _Q和S^Q _P的质心，分别记为质心u_p和u_q；

质心u_p和u_q的计算公式为：

；

；

其中，N相交区域S^P _Q中点的个数。

S502、对相交区域S^P _Q和S^Q _P进行去质心得到p_0i ^，和q_0i ^，，p_0i ^，和q_0i ^，分别为相交区域S^P _Q和S^Q _P去掉质心后剩下的点云。

计算公式为：

；

；

上式中，p_i为相交区域S^P _Q中的点，u_P为相交区域S^P _Q的质心，q_i为点p_i在相交区域S^Q _P中对应的最近点，u_q为相交区域S^Q _P的质心。

S503、根据p_0i ^，和q_0i ^，构建矩阵H；

其中，N为相交区域S^P _Q中点的个数，T为将矩阵转置的运算符。

S504、对矩阵H进行SVD分解后计算矩阵r和t；

矩阵H进行SVD分解的表达式为：

；

上式中，SVD分解是一种矩阵分解的方法，在数学中有固定解法可以得到矩阵H分解后的U、和，此处不再赘述，分解出的U为酉矩阵，为对角矩阵，为酉矩阵。

矩阵r和t的计算公式为：

；

；

上式中，V表示SVD分解得出的矩阵V，表示SVD分解得出的矩阵U的转置，u_q为相交区域S^Q _P的质心，u_P为相交区域S^P _Q的质心。

S505、用矩阵r和t对相交区域S^P _Q进行变换，得到新的变换点集，变换点集中的点；

S506、计算目标函数F，

若目标函数F小于给定阈值v，则停止计算，得到变换矩阵R和T的解后结束；

若目标函数F大于给定阈值v，则以新的变换点集点集和相交区域S^P _Q重复步骤S501-S506直到结束。

目标函数F的计算公式为：

；

上式中，N表示相交区域S^P _Q中的点的数量，q_i为点p_i在相交区域S^Q _P中对应的最近点。

本实施例通过利用两个低重叠点云的重叠但未对准部分，提出一个低重叠点对的重叠检测网络LODNet对点云数据进行处理分析，从而降低配准误差，提高检测精度。

以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种大型复合材料构件三维测量配准误差控制方法，其特征在于，包括以下步骤：

S1、获取需进行配准的两片大型的复合材料构件的点云数据P、Q，以及和点云数据P、Q重叠部分的点云数据PI和二维图像I；

S2、分别将点云数据P、Q以及点云数据PI和二维图像I输入LODNet网络中，对点云数据P、Q以及点云数据PI和二维图像I进行特征提取，得到提取后的特征f^P _3D、f^Q _3D、f^I _3D和f^I _2D；

S3、对特征f^P _3D、f^I _3D、f^I _2D和特征f^Q _3D、f^I _3D、f^I _2D分别进行特征融合，得到融合后的特征f^P _cm和f^Q _cm，根据特征f^P _cm和f^Q _cm得到点云数据P和二维图像I的相交区域S^P _I及点云数据Q和二维图像I的相交区域S^Q _I；

S4、对相交区域S^P _I和S^Q _I进行特征提取，对提取到的特征进行特征融合，基于融合后的特征得到点云数据P上和点云数据Q的相交区域S^P _Q以及点云数据Q上和点云数据P的相交区域S^Q _P；

S5、采用ICP配准方法根据相交区域S^P _Q和S^Q _P进行变换矩阵R、T求解。

2.根据权利要求1所述的误差控制方法，其特征在于：在步骤S1中，获取需进行配准的两片大型复合材料构件的点云数据P、Q，以及和点云数据P、Q重叠部分的点云数据PI和二维图像I，具体过程包括以下步骤：

S101、使用激光扫描仪采集复合材料构件的相邻两帧信息，生成两片点云数据P和Q；

S102、使用激光扫描仪采集包含点云数据P和Q的重叠部分的点云，生成点云数据PI；

S103、使用相机采集包含点云数据P和Q重叠部分的构件的二维图像I。

3.根据权利要求1所述的误差控制方法，其特征在于：在步骤S2中，分别将点云数据P、Q以及点云数据PI和二维图像I输入LODNet网络中，对点云数据P、Q以及点云数据PI和二维图像I进行特征提取，得到提取后的特征f^P _3D、f^Q _3D、f^I _3D和f^I _2D，具体过程包括以下步骤：

S201、将点云数据P、Q和PI输入LODNet网络中用于三维特征提取的3D编码器中，3D编码器使用模型PointNet++生成相应的特征映射f^P _3D、f^Q _3D和f^I _3D；

S202、将二维图像I输入LODNet网络中用于二维特征提取的2D编码器中，2D编码器使用模型PSPNet生成相应的特征映射f^I _2D。

4.根据权利要求1所述的误差控制方法，其特征在于：在步骤S3中，对特征f^P _3D、f^I _3D、f^I _2D和特征f^Q _3D、f^I _3D、f^I _2D分别进行特征融合，得到融合后的特征f^P _cm和f^Q _cm，根据特征f^P _cm和f^Q _cm得到点云数据P和二维图像I的相交区域S^P _I及点云数据Q和二维图像I的相交区域S^Q _I，具体过程包括以下步骤：

S301、将特征f^P _3D、f^I _3D和f^I _2D输入LODNet网络的特征融合模块中计算融合后的特征f^P _cm；

S302、将特征f^Q _3D、f^I _3D和f^I _2D输入LODNet网络的特征融合模块中计算融合后的特征f^Q _cm；

S303、将融合后的特征f^P _cm输入LODNet网络的分类模块，输出结果为点云数据P中每个点是否可投影到二维图像I的概率，获得点云数据P的子集S^P _I，表示点云数据P和二维图像I重叠部分的点云；

S304、将融合后的特征f^Q _cm输入LODNet网络的分类模块，输出结果为点云数据Q中每个点是否可投影到二维图像I的概率，获得点云数据Q的子集S^Q _I，表示点云数据Q和二维图像I重叠部分的点云。

5.根据权利要求4所述的误差控制方法，其特征在于：在步骤S303中，分类模块由两层全连接层和softmax层组成。

6.根据权利要求1所述的误差控制方法，其特征在于：在步骤S4中，对相交区域S^P _I和S^Q _I进行特征提取，对提取到的特征进行特征融合，基于融合后的特征得到点云数据P上和点云数据Q的相交区域S^P _Q以及点云数据Q上和点云数据P的相交区域S^Q _P，具体过程包括以下步骤：

S401、采用LODNet网络中用于三维特征提取的3D编码器对相交区域S^P _I和S^Q _I进行特征提取得到融合后的特征f^PI _3D和f^QI _3D；

S402、将融合后的特征f^PI _3D和f^P _cm相乘，以及融合后的特征f^QI _3D和f^Q _cm相乘后做特征融合得到特征f^PQ _cm和f^QP _cm；

S403、将特征f^PQ _cm输入LODNet网络中的分类模块中，得到子集S^P _I中每个点是否可投影到点云数据Q的概率，获得子集S^P _I的子集S^P _Q；

S404、将特征f^QP _cm输入LODNet网络中的分类模块中，得到点云子集S^Q _I中每个点是否可投影到点云数据P的概率，获得子集S^Q _I的子集S^Q _P。

7.根据权利要求1所述的误差控制方法，其特征在于：在步骤S5中，采用ICP配准方法根据相交区域S^P _Q和S^Q _P进行变换矩阵R、T求解，具体过程包括以下步骤：

S501、对相交区域S^P _Q中的每个点p_i，寻找其在相交区域S^Q _P中对应的最近点为q_i，然后计算相交区域S^P _Q和S^Q _P的质心，分别记为质心u_p和u_q；

S502、对相交区域S^P _Q和S^Q _P进行去质心得到p_0i ^，和q_0i ^，；

S503、根据p_0i ^，和q_0i ^，构建矩阵H；

S504、对矩阵H进行SVD分解后计算矩阵r和t；

S505、用矩阵r和t对相交区域S^P _Q进行变换，得到新的变换点集，变换点集中的点；

S506、计算目标函数F；

若目标函数F小于给定阈值v，则停止计算，得到变换矩阵R和T的解后结束；

若目标函数F大于给定阈值v，则以新的变换点集点集和相交区域S^P _Q重复步骤S501-S506直到结束。

Images