CN111027140B - 基于多视角点云数据的飞机标准件模型快速重构方法 - Google Patents

Abstract

本发明公开了一种基于多视角点云数据的飞机标准件模型快速重构方法，包括：针对多视角点云数据，对每个视角数据进行关键点提取；对提取的关键点提出了一种描述关键点的孪生网络结构，描述关键点的特征的同时，约束特征之间的相似性，建立数据间的两两配准关系；以数据间的两两配准关系为基准，采用基于图优化的配准方法优化配准次序以提高配准精度，实现飞机标准件模型多视角点云数据的配准。本发明能够将配准误差均匀到每一配准环节中，对于飞机标准件多视角点云数据，大大提高了配准的精度，实现多视角点云数据快速精配准。

Description

基于多视角点云数据的飞机标准件模型快速重构方法

技术领域

本发明涉及飞机标准件模型重构技术领域，具体而言涉及一种基于多视角点云数据的飞机标准件模型快速重构方法。

背景技术

随着航空工业的发展，飞机产品的精度要求越来越高。飞机大量使用标准件，一架大型飞机使用的标准件数量超过100万件。飞机标准件的建模技术在飞机的设计制造中占有及其重要的地位，对缩短产品生命周期、提高制造精度、降低制造成本有着极为重要的意义。因为数量种类繁多，对飞机标准件进行高精度的快速建模技术研究显得更为重要。随着技术的发展，数字化建模技术已逐渐成熟完善。三维激光扫描仪被广泛应用在飞机标准件的多视角点云采集中，进而对飞机标准件进行逆向建模。这需要将多组点云数据对齐到同一坐标系中，从而完成测量目标的整体形状。这一重建过程对精度要求较高，由于噪声和对齐精度等多个因素，重建飞机标准件模型面临着挑战。

点云配准是一个非常热门的研究课题，国内外研究人员做了非常多的研究工作。一些点云的配准方法也被提出：通过添加尺度因子和模拟退火系数改进的ICP算法，结合SIFT算子与ICP算法的快速精确配准方法，引入动态迭代角度因子的ICP算法等。但这些方法无法有效地解决多视角点云数据配准过程中出现的误差积累问题，导致精度受损。本发明结合飞机标准件的零件特性提出了一种新颖的多视角点云数据配准算法，实现飞机标准件模型的快速高精度重构。

发明内容

本发明目的在于提供一种基于多视角点云数据的飞机标准件模型快速重构方法。提高了点云多视角点云数据配准的效率，同时解决了飞机多视角点云配准的闭环问题，该方法通过优化多视角点云数据的配准顺序，将配准误差均匀到每一配准环节中，对于飞机标准件多视角点云数据，大大提高了配准的精度，实现多视角点云数据快速精配准。

为达成上述目的，结合图1，本发明提出一种基于多视角点云数据的飞机标准件模型快速重构方法，所述重构方法包括：

S1：针对多视角点云数据，对每个视角数据进行关键点提取。

S2：对提取的关键点提出了一种描述关键点的孪生网络结构，描述关键点的特征的同时，约束特征之间的相似性，建立数据间的两两配准关系。

S3：以数据间的两两配准关系为基准，采用基于图优化的配准方法优化配准次序以提高配准精度，实现飞机标准件模型多视角点云数据的配准。

进一步的实施例中，步骤S1中，针对多视角点云数据，基于ISS算法对每个视角数据进行关键点提取，包括以下步骤：

S11：对于每个数据点，设置搜索半径。

S12：查询每一点搜索半径内的所有点，计算每一个搜索半径内点的权值。

S13：计算每个数据点的协方差矩阵，求出特征值，依次判断其是否为关键点。

优选的，对每个视角的点云数据进行基于ISS特征的关键点提取，包括：

(1)对于每一数据点p_i，设置搜索半径r，形成一个球形搜索区域。

(2)查询p_i的搜索半径内的所有点，并根据查找点与p_i的距离计算每一个点的权值：

其中，p_j表示处于p_i搜索半径内其他点。

(3)根据公式计算每个点p_i的协方差矩阵：

(4)求得协方差矩阵cov(p_i)的特征值，从大到小排序为

(5)设置阈值θ₁与θ₂，满足

和

的点判断为关键点。

进一步的实施例中，所述重构方法还包括：

步骤S2中，基于Pointnet++网络框架，构建一种孪生网络，对两组待配准局部点云数据分别进行特征提取，具体包括以下两个步骤：

S21：基于PointNet++网络框架构建孪生网络，该孪生网络包含两个分支，每一个分支是独立且权值共享的，分别对两组局部点云数据进行特征提取。

S22：定义损失函数，根据孪生网络提取特征结果，构建配准的数据间的两两配准关系。

进一步的实施例中，步骤S21中，所述基于PointNet++网络框架构建孪生网络的过程包括以下步骤：

S211：对于ISS关键点，使用迭代最远点采样方法构建采样层。

S212：构建组合层，利用球查找的方法确定一个点的“局部”。

S213：构建特征提取层，对组合层定义的各个局部进行特征提取，得到局部特征。

S214：重复步骤S211-S213中的采样、组合、特征提取操作，得到不同尺度下子点云的更高维表示，直至达到最大迭代次数，例如可以设置为三次。

进一步的实施例中，步骤S213中，所述构建特征提取层的过程包括以下步骤：

S2131：输入为关键点局部点集，通过一个T-Net学习到的转换矩阵对齐，随后经过一个共享权重的多层感知机，提取关键点的特征。

S2132：提取特征后，通过一个T-Net学习到的转换矩阵，对特征进行对齐，再通过一个多层感知机，对每一点提取1024维的特征。

S2133：通过一个最大池化层，将1024维的局部特征变成1024维的全局特征。

优选的，所述基于PointNet++网络架构的孪生网络流程，包括：

(1)构建采样层，输入为基于ISS算法提取的关键点点集，使用迭代最远点采样方法。先随机选一个点，然后选择离这个点距离最远的点(度量空间下距离度量最大的点)加入起点，如此迭代，直到选出需要的个数为止。

(2)输入采样后的ISS关键点点集，通过T-Net学习到的转换矩阵对齐点，经过一个共享权重的多层感知机，提取关键点的特征，其中卷积核的大小为1×3，输入为n×3，输出为n×64。

(3)提取特征后，通过一个T-Net学习到的转换矩阵，对特征进行对齐。

(4)通过一个多层感知机，卷积核大小为1×1，其中包含一个隐层。输入为第(2)步的输出n×64，输出为n×1024，即对每一点提取1024维的特征。通过一个max pooling层，将1024维的局部特征变成1024维的全局特征。

(5)重复上述步骤，得到不同尺度下子点云的更高维表示。

进一步的实施例中，步骤S22中，所述定义损失函数，根据孪生网络提取特征结果，构建配准的数据间的两两配准关系的过程包括以下步骤：

S221：基于特征的两两配准关系度量的损失函数为：

式中，D＝||a_n-b_n||₂，a_n、b_n表示第n个具有配准关系的两样本，D表示两样本之间的欧氏距离，y为两个样本是否匹配的标签，y＝1表示相似或匹配，否则y＝0，margin为设定的阈值，N是具有配准关系的样本对总数。

S222：采用前述损失函数训练网络，构建数据间的两两配准关系。

进一步的实施例中，步骤S222中，所述采用前述损失函数训练网络的过程包括以下步骤：

S2221：将给定已知标签的数据送入孪生网络中进行特征提取，所述已知标签包括匹配、不匹配两种。

S2222：将提取得到的特征通过损失函数进行处理：匹配则缩小距离，不匹配则扩大距离。

S2223：调整网络各部分权重，完成网络的训练。

进一步的实施例中，步骤S3中，所述采用基于图优化的配准方法优化配准次序以提高配准精度的过程包括以下步骤：

S31：采用点云面积度量方法以估计各点云之间的重叠面积，根据重叠面积为图中边的权值赋值。

S32：获取带有权值的多视角点云图，通过闭合环配准整个点云数据，得到全局最优配准结果。

进一步的实施例中，所述点云面积度量方法包括以下步骤：

S311：给定重叠区域点集P＝{p₁,p₂…p_n}，在ICP配准中，得到重叠区域的配准残差r(θ)＝{r₁,r₂…r_n}，以及可变带宽核函数f_θ：

式中，h(θ)表示带宽，K(·)表示核函数。x表示配准点集；

S312：采用下述公式估计区域密度w(θ)：

式中，|N|为重叠区域点云数量，d为点云质心与原点的距离，E为所有聚类生成边的集合。e_i为第i个边的边长。f_θ(O)指在原点计算的区域密度，σ(θ)指的是高斯核函数。边长之和与重叠面积成正相关，以重叠面积作为图中各边的权值。

进一步的实施例中，所述通过闭合环配准整个点云数据的过程包括以下步骤：

S321：利用Kruskal算法从图中提取最大生成树。

S322：在剩下的边的集合中取边长或重叠面积最大的一条加入到最大生成树中，对于最大生成树，每加入一条边都会引入至少一个loop。

S323：对于最大生成树中新生成的loop中先闭合路径最短的一个并形成一个新的节点M；

优选的，闭环的约束条件为：

S324：合并之后得到新的图，计算所有与M相邻的节点权重。

S325：重复步骤S322-S324，直至没有边可以加入到目前的图中，结束配准。

最后，通过以上步骤，在每次闭环时都可以得到优化后的转换矩阵，整体配准误差得到了最大程度的减小。

以上本发明的技术方案，与现有相比，其显著的有益效果在于：

(1)实现了飞机标准件模型多视角点云数据的快速配准，效率高。

(2)解决了飞机标准件模型配准时出现的闭环问题，重构的模型精度较高。

(3)提出了飞机标准件模型快速精确配准的框架，实现端到端的配准。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1为本发明的基于多视角点云数据的飞机标准件模型快速重构方法流程图。

图2为本发明的提取一个视角点云数据ISS关键点示意图。

图3为本发明的搭建的孪生网络流程示意图。

图4为本发明的基于PointNet++网络结构示意图。

图5为本发明的基于三个视角的点云数据的配准结果图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本发明优选的实施例中提供了一种基于多视角点云数据的飞机标准件模型快速重构方法，具体来说，图1给出该方法的一种可选的流程图。如图1所示，所述重构方法包括如下操作步骤：

针对三个视角的点云数据，基于ISS算法，对每个视角数据进行ISS关键点提取；基于PointNet++网络框架，提出了一种描述关键点的孪生网络结构，描述关键点的特征的同时，约束特征之间的相似性，建立数据间的两两配准关系；基于两两配准关系进行配准，提出了基于图优化的配准方法，优化配准次序，实现飞机标准件模型三个视角点云数据的配准。

步骤一：基于ISS算法对关键点进行提取。

图2为一个视角的点云数据提取ISS关键点图：

(1)对于每一数据点p_i，设置搜索半径r为0.04。形成一个球形搜索区域。

(2)查询p_i的搜索半径内的所有点，并根据p_i与搜索半径内的点的距离计算每一个点的权值。

(3)计算每个点p_i的协方差矩阵，求得协方差矩阵cov(p_i)的特征值，从大到小排序为

(4)设置阈值θ₁与θ₂，满足

和

的点判断为关键点，在本实施例中最后获得该视角点云数据的ISS关键点数量为355个。

步骤二：设计基于PointNet++网络框架的孪生网络结构，用来约束特征之间的相似性。

如图3所示，步骤二的具体过程为：

(1)基于PointNet++网络结构搭建孪生网络的两个分支，定义损失函数并训练该网络：

式中，D＝||a_n-b_n||₂，a_n、b_n表示第n个具有配准关系的，D代表两样本之间的欧氏距离，y为两个样本是否匹配的标签，y＝1表示相似或匹配，否则y＝0，margin为设定的阈值，N是具有配准关系的样本对总数。

(2)通过训练调整网络各部分的权重，缩小相匹配的数据之间的距离，而扩大不匹配的数据之间的距离，从而构建数据间的两两配准关系。

步骤三：设计基于PointNet++的关键点特征提取网络。

图4给出了具体的网络框架，描述关键点，建立点云之间的配准关系，具体过程为：

(1)构建采样层，使用迭代最远点采样方法。对关键点集进行采样；

(2)利用T-Net学习到的变换矩阵，对齐采样后的点集，经过一个共享权重的多层感知机，提取关键点的特征，其卷积核的大小为1×3；

(3)提取特征后，再次通过一个T-Net学习到的转换矩阵，对特征进行对齐；

(4)通过一个多层感知机，卷积核大小为1×1，其中包含一个隐层，输入为n×64，输出为n×1024，即对每一点提取1024维的特征。通过一个max pooling层，将1024维的局部特征变成1024维的全局特征；

(5)重复上述步骤，得到不同尺度下子点云的更高维表示。

步骤四：将建立好的两两配准关系作为图优化的输入，得到最佳的配准次序，具体过程为：

(1)给定重叠区域点集P＝{p₁,p₂…p_n}，在ICP配准中，可以得到重叠区域的配准残差r(θ)＝{r₁,r₂…r_n}，可以得到可变带宽核函数：

式中，h(θ)表示带宽，K(·)表示核函数。用以下公式来估计区域密度：

式中，|N|为重叠区域点云数量，d为点云质心与原点的距离，E为所有聚类生成边的集合。e_i为第i个边的边长；边长与重叠面积正相关，故以重叠面积作为图中各边的权值；

(2)通过迭代寻找新生成且闭合的回环，从全局选择合适的配准顺序，消除误差积累，完成整个点云的数据配准，图5给出了该实施例配准的结果，用Bounding Box标记出三个视角的数据。利用Kruskal算法从图中提取最大生成树；取剩下的边的集合中边长(重叠面积)最大的一条加入到最大生成树中；对于最大生成树，每加入一条边都会引入至少一个loop，在新生成的loop中先闭合路径最短的一个并形成一个新的节点M，闭环的约束条件为：

合并之后得到新的图，计算所有与M相邻的节点权重；重复上述步骤直到没有边可以加入到目前的图中，结束配准。

实验结果表明，利用本方法：

(1)实现了飞机标准件模型多视角点云数据的快速配准，效率高。

(2)解决了飞机标准件模型配准时出现的闭环问题，重构的模型精度较高。

(3)提出了飞机标准件模型快速精确配准的框架，实现端到端的配准。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定义在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (8)

1.一种基于多视角点云数据的飞机标准件模型快速重构方法，其特征在于，所述重构方法包括：

S1：针对多视角点云数据，基于ISS算法对每个视角数据进行关键点提取；

S2：对提取的关键点提出了一种描述关键点的孪生网络结构，描述关键点的特征的同时，约束特征之间的相似性，建立数据间的两两配准关系；

S3：以数据间的两两配准关系为基准，采用基于图优化的配准方法优化配准次序以提高配准精度，实现飞机标准件模型多视角点云数据的配准；

所述重构方法还包括：

步骤S2中，基于Pointnet++网络框架，构建一种孪生网络，对两组待配准局部点云数据分别进行特征提取，具体包括以下两个步骤：

S21：基于PointNet++网络框架构建孪生网络，该孪生网络包含两个分支，每一个分支是独立且权值共享的，分别对两组局部点云数据进行特征提取；

S22：定义损失函数，根据孪生网络提取特征结果，构建配准的数据间的两两配准关系；

步骤S21中，所述基于PointNet++网络框架构建孪生网络的过程包括以下步骤：

S211：对于关键点，使用迭代最远点采样方法构建采样层；

S212：构建组合层，利用球查找的方法确定一个点的“局部”；

S213：构建特征提取层，对组合层定义的各个局部进行特征提取，得到局部特征；

S214：重复步骤S211-S213中的采样、组合、特征提取操作，得到不同尺度下子点云的更高维表示，直至达到最大迭代次数。

2.根据权利要求1所述的基于多视角点云数据的飞机标准件模型快速重构方法，其特征在于，步骤S1中，针对多视角点云数据，基于ISS算法对每个视角数据进行关键点提取，包括以下步骤：

S11：对于每个数据点，设置搜索半径；

S12：查询每一点搜索半径内的所有点，计算每一个搜索半径内点的权值；

S13：计算每个数据点的协方差矩阵，求出特征值，依次判断其是否为关键点。

3.根据权利要求1所述的基于多视角点云数据的飞机标准件模型快速重构方法，其特征在于，步骤S213中，所述构建特征提取层的过程包括以下步骤：

S2131：输入为关键点局部点集，通过一个T-Net学习到的转换矩阵对齐，随后经过一个共享权重的多层感知机，提取关键点的特征；

S2132：提取特征后，通过一个T-Net学习到的转换矩阵，对特征进行对齐，再通过一个多层感知机，对每一点提取1024维的特征；

S2133：通过一个最大池化层，将1024维的局部特征变成1024维的全局特征。

4.根据权利要求1所述的基于多视角点云数据的飞机标准件模型快速重构方法，其特征在于，步骤S22中，所述定义损失函数，根据孪生网络提取特征结果，构建配准的数据间的两两配准关系的过程包括以下步骤：

S221：基于特征的两两配准关系度量的损失函数为：

式中，D＝||a_n-b_n||₂，a_n、b_n表示第n个具有配准关系的两样本，D表示两样本之间的欧氏距离，y为两个样本是否匹配的标签，y＝1表示相似或匹配，否则y＝0，margin为设定的阈值，N是具有配准关系的样本对总数；

S222：采用前述损失函数训练网络，构建数据间的两两配准关系。

5.根据权利要求4所述的基于多视角点云数据的飞机标准件模型快速重构方法，其特征在于，步骤S222中，所述采用前述损失函数训练网络的过程包括以下步骤：

S2221：将给定已知标签的数据送入孪生网络中进行特征提取，所述已知标签包括匹配、不匹配两种；

S2222：将提取得到的特征通过损失函数进行处理：匹配则缩小距离，不匹配则扩大距离；

S2223：调整网络各部分权重，完成网络的训练。

6.根据权利要求1所述的基于多视角点云数据的飞机标准件模型快速重构方法，其特征在于，步骤S3中，所述采用基于图优化的配准方法优化配准次序以提高配准精度的过程包括以下步骤：

S31：采用点云面积度量方法以估计各点云之间的重叠面积，根据重叠面积为图中边的权值赋值；

S32：获取带有权值的多视角点云图，通过闭合环配准整个点云数据，得到全局最优配准结果。

7.根据权利要求6所述的基于多视角点云数据的飞机标准件模型快速重构方法，其特征在于，所述点云面积度量方法包括以下步骤：

S311：给定重叠区域点集P＝{p₁，p₂…p_n}，在ICP配准中，得到重叠区域的配准残差r(θ)＝{r₁，r₂…r_n}，以及可变带宽核函数f_θ：

式中，h(θ)表示带宽，K(·)表示核函数，x表示配准点集；

S312：采用下述公式估计区域密度w(θ)：

式中，|N|为重叠区域点云数量，d为点云质心与原点的距离，E为所有聚类生成边的集合，e_i为第i个边的边长，f_θ(O)指在原点计算的区域密度，σ(θ)指的是高斯核函数，边长之和与重叠面积成正相关，以重叠面积作为图中各边的权值。

8.根据权利要求6所述的基于多视角点云数据的飞机标准件模型快速重构方法，其特征在于，所述通过闭合环配准整个点云数据的过程包括以下步骤：

S321：利用Kruskal算法从图中提取最大生成树；

S322：在剩下的边的集合中取边长或重叠面积最大的一条加入到最大生成树中；

S323：对于最大生成树中新生成的loop中先闭合路径最短的一个并形成一个新的节点M；

S324：合并之后得到新的图，计算所有与M相邻的节点权重；

S325：重复步骤S322-S324，直至没有边可以加入到目前的图中，结束配准。

Images