CN109887009B - 一种点云局部匹配方法 - Google Patents

Abstract

本发明公开了一种点云局部匹配方法，属于计算机图形学领域。本发明的方法包括首先通过生成点云组件的骨架曲线，提取构成点云组件的二维形状集，同时计算二维形状的尺度信息集；然后利用点云组件的骨架曲线、构成点云组件的二维形状集及二维形状的尺度信息集作为点云组件的形状描述子；最后基于该描述子的相似性度量确定点云的部分匹配关系。本发明提出的点云部分匹配方法，简单易编码实现，能够有效搜索点云组件匹配对，且对于点云模型的平移、旋转及缩放变换鲁棒，具有自动化程度高和结果准确度高的优点。同时，基于本发明的方法对点云进行部分匹配的结果还可以有效支撑点云分类等后续处理技术。

Description

一种点云局部匹配方法

技术领域

本发明属于计算机图形学领域，涉及一种基于从二维到三维变换的点云局部(或点云组件)匹配方法。

背景技术

特征的提取及描述是点云模型处理中的核心技术，也是诸多点云模型处理技术的基础。当前已有大量研究针对点云模型的特征的提取及描述展开，其不同主要体现为特征的尺度大小。

当前特征提取及描述方法主要有以下三类：

第一类为微型特征的提取和描述，微型特征主要被应用于点云的非真实感绘制及点云配准。这类方法普遍采用如下步骤：首先计算点云中点数据的微分不变量，然后利用协方差分析、统计学、及聚类等方法对点的微分不变量及其邻域点的微分不变量进行分析，从而将具有大尺度曲面梯度的点判定为特征点。

第二类为中型特征的提取和描述，中型特征主要被应用于三维曲面的相似性度量中。这类方法首先通过将点云模型投影到不同角度的平面得到一系列的二维深度图像，然后利用二维图像编码的方法对二维深度图像进行编码，一系列二维深度图像的编码共同描述了点云模型的整体形状。

第三类为宏观特征的提取和描述，这类特征主要指点云的骨架线，当前应用较多的骨架线生成方法主要有基于体素的方法及基于采样的方法两类。

第一类方法中所提取出的特征均为点云的局部特征，无法对点云中的具有语义信息的组件进行描述，而第三类方法，即骨架线，虽然能描述点云的整体信息，但无法得到点云组件的形状信息，利用点云的骨架线只能区分结构明显不同的点云模型，当两个点云具有相同结构不同局部特征时，例如两个动作相同的人体模型，利用点云的骨架线则无法进行有效区分。

参考文献：

[1]Hui Huang,Shihao Wu,Daniel Cohen-or,Minglun Gong,Hao Zhang,GuiqingLi,andBaoquan Chen.2013.L1-medial skeleton of point cloud.ACMTransaction on Graphics.

[2]Yuhe Zhang,GuohuaGeng,Xiaoran Wei,Shunli Zhang,and ShanshanLi.2016.A statistical approach for extraction of feature lines from pointclouds.Computers&Graphics 56(2016),31–45.

发明内容

针对上述现有技术中存在的问题，本发明首先提供一种点云组件骨架曲线的提取方法。本发明的点云组件骨架曲线的提取方法包括：

提取点云组件的边界点簇；若存在多个边界点簇，则选取具有最大m值的边界点簇，m为任一边界点簇中任意两点间欧式距离的最大值；

依次生成点云组件的多个分段：新一个分段是由上一个分段的二阶Delaunay邻域点构成，初始分段由步骤1所得的边界点簇构成；

求取每个分段的中值点：利用公式(1)生成当前分段C的中值点p_C，分段C为多个分段中的任一个分段，

p_i为当前分段C上的任一采样点，S_C为当前分段上的采样点集合；

连接所有分段的中值点，得到初始骨架曲线，对初始骨架曲线进行平滑处理得到点云组件的骨架曲线。

同时，本发明提供一种点云组件二维形状的提取方法。本发明提供的点云组件二维形状匹配方法包括：

对点云组件的骨架曲线进行等间距采样得到多个采样点，相邻采样点间的骨架曲线构成一骨架曲线段，得到多个骨架曲线段；

提取每个骨架曲线段对应的二维形状：

点云组件上满足||p_ip′_i||<τ的采样点构成当前骨架曲线段的初始二维形状；p_i为点云组件上的任一采样点，p′_i为采样点p_i在平面P_AB上的投影点，τ为阈值，τ取值为骨架曲线段AB长度的0.4-0.6倍，平面P_AB为骨架曲线段AB的正交平面，骨架曲线段AB为多个骨架曲线段中的任一骨架曲线段；

对所得当前骨架曲线段的初始二维形状进行重建得到当前骨架曲线段的二维形状；

所有骨架曲线段的二维形状构成点云组件的二维形状集。

一些实施方式中，本发明点云组件的骨架曲线的提取方法首先采用基于L₁中值的点云骨架提取算法，如提取的骨架曲线不完整，再采用本发明的方法提取。

另一方面，本发明提供了一种点云组件匹配方法。本发明提供的点云组件匹配方法包括：采用本发明的方法提取待匹配点云组件的骨架曲线和和待匹配点云组件的二维形状集；若两个待匹配点云组件的骨架曲线匹配和二维形状集均匹配，则两个点云组件匹配。

一些实施方式中，本发明的点云组件匹配方法包括：提取待匹配点云组件的骨架曲线、二维形状集和二维形状的尺度信息集；所述二维形状的尺度信息集由所述二维形状集内的所有二维形状的尺度信息构成，所述二维形状的尺度信息为二维形状中任意两个采样点的直线段的最大长度；

若两个待匹配点云组件满足三个匹配条件中的至少两个，则两个点云组件匹配，所述三个匹配条件为：两个待匹配点云组件的骨架曲线匹配、两个待匹配点云组件的二维形状集匹配、两个待匹配点云组件的二维形状的尺度信息集匹配。

优选的，本发明的两个待匹配点云组件的二维形状的尺度信息集匹配包括：求取二维形状的尺度信息集中各尺度信息的左、右梯度；构成该二维形状的尺度信息集的左梯度向量和右梯度向量；分别求取两个待匹配二维形状的左梯度向量差值和右梯度向量差值，两个差值之和小于阈值时，则认为匹配。

进一步优选的：

是任一尺度信息

的左右梯度，S_i为构成点云组件的任一个二维形状，

为二维形状S_i的尺度信息i≤N，N为骨架曲线上由采样点划分的骨架曲线段段数，t为骨架曲线上两个相邻采样点间的距离，所述采样点经等间距采样所得；S_i-j和S_i+j为S_i的k个近邻二维形状，k≥1，j＝1,2,...,k。

最后，本发明提供了一种点云局部匹配方法。本发明提供的点云局部匹配方法包括：提取物体的点云数据，并分割得到点云组件；采用上述方法对点云组件进行匹配实现点云的局部。

与现有技术相比，本发明具有以下技术效果：通过将点云组件分解为组件的骨架曲线及构成点云组件的二维形状，并基于骨架曲线及二维形状的匹配，确定点云的部分匹配关系。采用本发明，能够快速有效地实现点云模型的部分匹配，有效支撑后续点云处理；同时，基于该匹配结果，还能有效支撑点云的分类及识别。

附图说明

图1为点云组件示意图，其中，(a)和(b)分别是两个不同的Lamp模型的组件；图中A、B、C、D、E分别代表Lamp模型的每个组件；

图2是组件的骨架曲线及构成组件的二维形状示意图，图中实线(直线和曲线)为组件的骨架曲线，实心圆代表骨架曲线上的采样点；

图3是组件骨架曲线生成及二维形状提取示意图；其中，(a)为组件分段示意图；(b)为骨架曲线生成示意图；(c)为骨架曲线均匀采样与正交平面生成示意图；(d)为采样点向正交平面投影示意图；(e)为二维形状提取结果示意图；图(b-c)中实线(直线和曲线)为组件的骨架曲线，实心圆代表骨架曲线上的采样点，A和B分别代表两个相邻的采样点，P_AB为线段AB的正交平面。图(e)中A、B、C、D、E、F、G分别代表构成该组件的二维形状；

图4是点云组件形状描述子示意图；

图5是吉他点云模型的部分匹配结果，图中A、B、C分别代表吉他模型的三个较大的组件；

图6是灯点云模型的部分匹配结果，图中A、B、C分别代表三个不同的组件；

图7是兵马俑碎片点云模型的部分匹配结果及基于该部分匹配关系进行碎片分类的结果。

具体实施方式

本发明所述的点云组件的骨架曲线生成方法中，及点云组件的二维形状提取方法中的点云组件是指物体被提取点云数据后，根据物体的结构或/和特性组成跟个点云数据得到的物体局部的点云数据，例如一个杯子被分割成杯体、杯盖和杯把，这三者的点云数据均称点云组件。当然也可以由物体的局部结构或部分生成相应物体的点云组件。点云组件也称为点云部分或点云局部。具体的，对点云模型进行分割，得到点云模型的各个部分(按照物体的组成)，点云各部分将作为本发明的处理对象，称为点云的组件，如图1所示台灯的点云组件A、B、C。

实施例1：

该实施例的点云组件骨架曲线、点云组件二维形状集提取方法及点云局部匹配方法如下：

步骤一：对点云模型进行分割，得到多个点云组件；

步骤二：生成点云模型各个组件的骨架曲线，如图2所示：

步骤2.1：若组件的骨架曲线与组件的骨架相同，则可采用文献[1](基于L₁中值的点云骨架提取算法)中的方法直接提取组件的骨架作为组件的骨架曲线；

采取步骤2.1的方法提起骨架曲线不完整是时采取步骤2.2-2.5：

步骤2.2：采用文献[2]中的方法(基于统计学的点云特征线提取方法)提取组件上的边界点簇，若存在多个边界点簇，则选取具有最大m值得边界点簇，m为边界点簇中任意两点间欧式距离的最大值；

步骤2.3：生成当前点云组建的多个分段：

新一个的分段是上一个分段的二阶Delaunay邻域点，初始分段为步骤2.2选取的边界点簇；如图3(a)所示；

步骤2.4：求取每个分段的中值点：

利用公式(1)生成当前分段C的中值点p_C，分段C为多个分段中的任一个分段，

p_i为当前分段C上的任一采样点，S_C为当前分段上的采样点集合；步骤2.5：连接所有的中值点，得到该组件的骨架曲线，如图3(b)所示。进一步，对骨架曲线进行平滑处理，例如采取文献2中的平滑处理方法；

步骤三：提取构成当前组件二维形状集；

步骤3.1：对组件的骨架曲线进行均匀(等间距)采样得到采样点，得到多个骨架曲线段，如图3(c)所示；

步骤3.2：对于任一骨架曲线段AB，利用向量叉乘计算其正交平面P_AB，如图3(c)所示；

步骤3.3：点云组件上满足||p_ip′_i||<τ的采样点构成当前骨架曲线段的初始二维形状；如图3(d)所示；p_i为点云组件上的任一采样点，p′_i为采样点p_i在平面P_AB上的投影点，τ为阈值，τ取值为骨架曲线段AB长度的0.4-0.6倍；

一些实施方式中，由于点云模型采样不均匀且可能受到噪声的扰动，因此还需要对二维形状进行形状重建；使所得形状更加平滑，可以采用基于L1中值的形状重建方法。

步骤3.4：通过以上步骤处理该组件中的所有分段，可以得到构成该组建的所有二维形状，如图3(e)所示；

步骤四，利用组件的骨架曲线和组件的二维形状集构成点云各个组件的形状描述子；

步骤五，若两个待匹配点云组件的骨架曲线匹配和二维形状集均匹配，则两个点云组件匹配。具体可采用任意一种二维形状匹配方法对构成组件的二维形状集进行匹配和采用任意一种三维曲线匹配方法对组件的骨架曲线进行匹配。

实施例2：

该实施例与实施例1不同的是：

步骤四，对有些点云需要考虑二维形状的尺度信息，组件中任一二维形状的尺度信息

为二维形状中连接任意两点的直线段的最大长度，组件中所有二维形状的尺度构成向量

即组件的尺度信息集；如图4所示。

该实施例组件的形状描述子由组件的骨架曲线、所提取出的二维形状集及向量

构成；

步骤五，若两个待匹配点云组件满足三个匹配条件中的至少两个，则两个点云组件匹配，三个匹配条件为：两个待匹配点云组件的骨架曲线匹配(约束1)、两个待匹配点云组件的二维形状集匹配(约束2)、两个待匹配点云组件的二维形状的尺度信息集匹配(约束3)；

其中两个待匹配点云组件的二维形状的尺度信息集匹配方法采用：求取二维形状的尺度信息集中各尺度信息的左、右梯度；构成该二维形状的尺度信息集的左梯度向量和右梯度向量；分别求取两个待匹配二维形状的左梯度向量差值和右梯度向量差值，两个差值之和小于阈值时，则认为匹配。

一些具体实施方式是，各尺度信息的左、右梯度计算可采用如下公式：

是任一尺度信息

的左右梯度，S_i为构成点云组件的任一个二维形状，

为二维形状S_i的尺度信息i≤N，N为骨架曲线上由采样点划分的骨架曲线段段数，t为骨架曲线上两个相邻采样点间的距离；S_i-j和S_i+j为S_i的k个近邻二维形状，k≥1，j＝1,2,...,k。

实施例3：

为利用本发明的方法如图5-图7所示点云模型进行点云模型局部匹配。

其中，图5为四个吉他模型的部分匹配结果，从图中可以看出，该四个吉他模型具有相同的组件，但各个组件的尺度比例不同，所以各个吉他的风格和样式也各不相同。同时，从该组实验可以看出，本发明的方法具有对点云模型的刚体变换(旋转、平移、缩放)鲁棒的优越性。

图6所示为一组灯点云模型的部分匹配结果，左上角虚线框内的模型为参考模型。具体分为三步：首先利用实施例2步骤五中的三个约束进行组件匹配对的搜索，且这组灯模型中没有与组件A相匹配的组件。然而，从人类视觉角度来看，图中很多灯模型的灯杆都具有相似的形状，即圆柱形，因此，该第二步则仅在约束2和约束3下进行，可得到与组件A相匹配的组件，另外，在约束1和约束2下，可以得到更多与组件B相匹配的组件。第三步则在图中给出的所有模型中进行匹配组件对搜索。从该实验可以看出，本发明提出的点云部分匹配方法能够有效搜索点云模型的匹配组件对，且可以根据实际情况，对匹配约束进行选择，得到更符合人类视觉的匹配组件对。

图7所示为一组兵马俑碎片点云模型的匹配结果，标出兵马俑碎片表面的甲钉及泡钉(兵马俑碎片表面的甲钉及泡钉具有相同的形状)，具有甲钉及泡钉的碎片通常位于兵马俑的上半身，因此根据碎片中是否含有甲钉及泡钉可以有效区分碎片随处的位置。利用本发明的方法对碎片表面的甲钉及泡钉进行匹配，并基于该匹配结果可以直接对碎片进行分类，分类结果如图中虚线框所示。从该实验可以看出，利用本发明的方法，还可以有效支撑点云模型的分类。

Claims (7)

1.一种点云组件二维形状的提取方法，其特征在于，方法包括：

对点云组件的骨架曲线进行等间距采样得到多个采样点，相邻采样点间的骨架曲线构成一骨架曲线段，得到多个骨架曲线段；

提取每个骨架曲线段对应的二维形状：

点云组件上满足||p_ip′_i||<τ的采样点构成当前骨架曲线段的初始二维形状；p_i为点云组件上的任一采样点，p′_i为采样点p_i在平面P_AB上的投影点，τ为阈值，τ取值为骨架曲线段AB长度的0.4-0.6倍，平面P_AB为骨架曲线段AB的正交平面，骨架曲线段AB为多个骨架曲线段中的任一骨架曲线段；

对所得当前骨架曲线段的初始二维形状进行重建得到当前骨架曲线段的二维形状；

所有骨架曲线段的二维形状构成点云组件的二维形状集；

所述点云组件的骨架曲线的提取方法包括：

提取点云组件的边界点簇；若存在多个边界点簇，则选取具有最大m值的边界点簇，m为任一边界点簇中任意两点间欧式距离的最大值；

依次生成点云组件的多个分段：新一个分段是由上一个分段的二阶Delaunay邻域点构成，初始分段由步骤1所得的边界点簇构成；

求取每个分段的中值点：利用公式(1)生成当前分段C的中值点p_C，分段C为多个分段中的任一个分段，

p_i为当前分段C上的任一采样点，S_C为当前分段上的采样点集合；

连接所有分段的中值点，得到初始骨架曲线，对初始骨架曲线进行平滑处理得到点云组件的骨架曲线。

2.如权利要求1所述的点云组件二维形状提取方法，其特征在于，所述点云组件的骨架曲线的提取方法首先采用基于L₁中值的点云骨架提取算法，如提取的骨架曲线不完整，再采用所述点云组件的骨架曲线的提取方法提取。

3.一种点云组件匹配方法，其特征在于，方法包括：

提取待匹配点云组件的骨架曲线和采用权利要求1所述方法提取待匹配点云组件的二维形状集；

所述点云组件的骨架曲线的提取方法包括：

提取点云组件的边界点簇；若存在多个边界点簇，则选取具有最大m值的边界点簇，m为任一边界点簇中任意两点间欧式距离的最大值；

依次生成点云组件的多个分段：新一个分段是由上一个分段的二阶Delaunay邻域点构成，初始分段由步骤1所得的边界点簇构成；

求取每个分段的中值点：利用公式(1)生成当前分段C的中值点p_C，分段C为多个分段中的任一个分段，

p_i为当前分段C上的任一采样点，_SC为当前分段上的采样点集合；

连接所有分段的中值点，得到初始骨架曲线，对初始骨架曲线进行平滑处理得到点云组件的骨架曲线；

若两个待匹配点云组件的骨架曲线匹配和二维形状集均匹配，则两个点云组件匹配。

4.如权利要求3所述的点云组件匹配方法，其特征在于，

提取待匹配点云组件的骨架曲线、二维形状集和二维形状的尺度信息集；所述二维形状的尺度信息集由所述二维形状集内的所有二维形状的尺度信息构成，所述二维形状的尺度信息为二维形状中任意两个采样点的直线段的最大长度；

若两个待匹配点云组件满足三个匹配条件中的至少两个，则两个点云组件匹配，所述三个匹配条件为：两个待匹配点云组件的骨架曲线匹配、两个待匹配点云组件的二维形状集匹配、两个待匹配点云组件的二维形状的尺度信息集匹配。

5.如权利要求4所述的点云组件匹配方法，其特征在于，所述两个待匹配点云组件的二维形状的尺度信息集匹配包括：

求取二维形状的尺度信息集中各尺度信息的左、右梯度；构成该二维形状的尺度信息集的左梯度向量和右梯度向量；

分别求取两个待匹配二维形状的左梯度向量差值和右梯度向量差值，两个差值之和小于阈值时，则认为匹配。

6.如权利要求5所述的点云组件匹配方法，其特征在于，

是任一尺度信息

的左右梯度，S_i为构成点云组件的任一个二维形状，

为二维形状S_i的尺度信息i≤N，N为骨架曲线上由采样点划分的骨架曲线段段数，t为骨架曲线上两个相邻采样点间的距离，所述采样点经等间距采样所得；

S_i-j和S_i+j为S_i的k个近邻二维形状，k≥1，j＝1,2,...,k。

7.一种点云局部匹配方法，其特征在于，方法包括：

提取物体的点云数据，并分割得到点云组件；

采用权利要求3、4、5或6所述方法对点云组件进行匹配实现点云的局部。

Images