CN113168729B - 一种基于局部参考坐标系的3d形状匹配方法及装置 - Google Patents

Abstract

提出了一种基于局部参考坐标系的3D形状匹配方法及装置。所述方法在获取3D点云及特征点之后，将特征点集投影至一平面，并利用3D点到特征点的距离、3D点到投影点的距离、3D点到其一环邻域点的平均距离中的至少一个因子来对投影点做特征变换以获得比投影点集具有更大方差方向的点分布，并基于进行特征变换后的所述点分布来确定所述局部参考坐标系。基于这种局部参考坐标系而建立的3D局部特征描述符可以更鲁棒的对3D局部表面信息进行编码，从而获得更好的3D形状匹配效果。

Description

一种基于局部参考坐标系的3D形状匹配方法及装置

技术领域

本申请属于3D形状匹配领域，尤其涉及一种基于局部参考坐标系的3D形状匹配方法及装置。

发明背景

随着三维扫描建模和三维重建技术的不断发展，3D目标识别已经成为计算机视觉领域的一个研究热点，并在智能监控、电子商务、机器人、生物医学等方面有着广泛地应用。3D形状匹配，作为3D目标识别中最为重要的环节，主要包括基于全局特征的3D形状匹配方法和基于局部特征的3D形状匹配方法。虽然基于全局特征的3D形状匹配方法速度快，但是基于局部特征的3D形状匹配方法对遮挡和杂乱更加鲁棒，并且能够使后续的姿态估计更为精确。在基于局部特征的3D形状匹配方法中，使用3D局部特征描述符对3D点云的局部特征进行描述是整个方法的核心部分，也是决定3D形状匹配或3D目标识别的精度的关键因素。为了建立精准、鲁棒的3D局部特征描述符，关键在于如何为3D点云的局部特征建立可重复且鲁棒的局部坐标参考系。

为了保持对遮挡和杂乱的区分性和鲁棒性，很多3D局部特征描述符已经被提出来并进行了广泛的研究。这些3D局部特征描述符可以被分类为两大类，即基于局部参考轴(LRA，Local Reference Axis)的描述符和基于局部参考坐标系(LRF，Local ReferenceFrame)的描述符。其中局部参考坐标系由三个正交轴构成，而局部参考轴仅包含单个定向轴。仅仅定义单个定向轴的局部参考轴只能提供径向和仰角方向的信息，这会导致3D局部特征描述符缺乏足够的细节信息。相反，具有局部参考坐标系的3D局部特征描述符利用三个轴可以充分地编码3D局部表面的空间分布和/或几何信息，其不仅具有旋转不变性而且还极大地增强了3D局部特征描述符的区分性。

目前，局部参考坐标系可以分为基于协方差分析(CA，Covariance Analysis)的局部参考坐标系和基于几何属性(GA，Geometric Attribute)的局部参考坐标系。然而，由于通过采集设备获取3D点云数据时不可避免地会存在一些噪声干扰、复杂场景下多个目标会存在遮挡和杂乱以及3D传感器与目标间距离的变化会导致点云分辨率发生改变等原因，目前大部分基于协方差分析的局部参考坐标系通常存在很低的可重复性和方向分歧(signambiguity)问题，而基于几何属性的局部参考坐标系容易受严重噪声和网格分辨率的影响，因此建立可重复、鲁棒、抗噪声以及不受网格简化影响的局部参考坐标系仍然是一个难题。

发明内容

为了解决以上技术问题，本申请提出了以下技术方案。

根据本申请的第一方面，提出了一种基于局部参考坐标系的3D形状匹配方法，所述方法包括：

获取现实场景的3D点云；

获取所述现实场景的3D点云的特征点p；

为所述特征点p的第一球形邻域建立局部参考坐标系，其中所述第一球形邻域的原点与所述特征点p重合并具有大小为R的支撑半径，所述局部参考坐标系的原点与所述特征点p重合并具有正交归一化的x轴、y轴和z轴；

基于所述局部参考坐标系，建立3D局部特征描述符并对所述第一球形邻域内的空间信息进行编码，以获得所述第一球形邻域内的3D局部表面信息；以及

将所述第一球形邻域内的3D局部表面信息与目标物体的3D局部表面信息进行匹配，以进行3D形状匹配；

其中，所述为所述特征点的第一球形邻域建立局部参考坐标系包括：

确定所述局部参考坐标系的z轴；

将所述第一球形邻域内的3D点集P投影至与所述z轴正交的平面L，得到投影点集P′，其中P＝{p₁,p₂,p₃,……,p_n}，P′＝{p′₁,p′₂,p′₃,……,p′_n}，n为所述第一球形邻域内的3D点的数量，其中所述平面L为z＝0处的平面；

对投影点集P′进行如下式所示的特征变换，以获得比投影点集P′具有更大方差方向的点分布T：

T_i＝W_i(p′_i-p)+p，

其中所述特征变换中的参数W_i由第一参数w1_i、第二参数w2_i、第三参数w3_i中的至少一个确定，其中所述第一参数w1_i与3D点p_i到所述特征点p的距离相关联，所述第二参数w2_i与3D点p_i到所述投影点p′_i的距离相关联，所述第三参数w3_i与3D点p_i到其一环邻域点的平均距离

相关联，其中所述一环邻域点为与所述3D点p_i相邻的邻域点，其中T＝{T_i}，i＝1,2,3,……,n；

对所述点分布T的如下式所示的协方差矩阵cov(T)进行特征值分解以确定所述协方差矩阵cov(T)的最大特征值所对应的特征向量v′：

并根据如下定义对所述最大特征值所对应的特征向量v′进行符号消歧以确定所述局部参考坐标系的x轴：

以及

将所述z轴和所述x轴的叉积确定为所述局部参考坐标系的y轴。

在一实施例中，由所述处理器实施的确定所述局部参考坐标系的z轴包括：

获取第二球形邻域内的3D点集P_z，其中所述第二球形邻域的原点与所述特征点p重合并具有大小为R_z的计算半径，其中P_z＝{q₁,q₂,q₃,……,q_m}，m为所述第二球形邻域内的3D点的数量；

对所述3D点集P_z的如下式所示的协方差矩阵cov(P_z)进行特征值分解以确定所述协方差矩阵cov(P_z)的最小特征值所对应的特征向量v：

其中

为3D点集P_z的质心；以及

根据如下定义对所述最小特征值所对应的特征向量v进行符号消歧以确定所述局部参考坐标系的z轴：

其中n_j为3D点q_j的法向量。

在一实施例中，由所述处理器实施的确定所述计算半径R_z包括：

获取所述现实场景的平均网格分辨率scene.mr和所述目标物体的平均网格分辨率model.mr；

根据所述现实场景的平均网格分辨率scene.mr和所述目标物体的平均网格分辨率model.mr确定半径比例因子δ，其中所述半径比例因子通过如下来确定：

其中C为常数；

将所述计算半径R_z确定为R_z＝δR。

在一实施例中，所述特征变换中的参数W_i由所述第一参数w1_i、所述第二参数w2_i、所述第三参数w3_i中的任意两个的乘积共同确定。

在一实施例中，所述特征变换中的参数W_i由所述第一参数w1_i、所述第二参数w2_i、所述第三参数w3_i的乘积共同确定。

在上述方法中，所述现实场景的3D点云可以被实时地获取，所述目标物体的3D点云可以是预先存储的。也就是说，在上述方法中，可以将对现实场景进行实时测量所得到的3D点云的3D局部表面信息与通过计算预先存储的目标物体的3D点云所获得的3D局部表面信息进行匹配，以实现从现实场景的3D点云中识别出与目标物体模型相匹配的形状。

根据本申请的第二方面，提出了一种基于局部参考坐标系的3D形状匹配方法，其与上述方法步骤类似，不同之处在于所述目标物体的3D点云是预先存储的并且所述场景的3D点云也可以是获得之后预先存储的。也就是说，在此方法中，可以将通过计算预先存储的目标物体的3D点云所获得的3D局部表面信息与通过计算所述场景的3D点云所获得的3D局部表面信息与进行匹配，以实现从所述场景的3D点云中识别出与目标物体模型相匹配的形状。

根据本申请的第三方面，提出了一种基于局部参考坐标系的3D形状匹配装置，其包括采集设备、存储器和处理器，其中所述采集设备被配置为获取现实场景的3D点云，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实施本申请上述第一方面所述的方法中除了获取现实场景的3D点云之外的其它操作。

根据本申请的第四方面，提出了一种基于局部参考坐标系的3D形状匹配装置，其包括存储器和处理器，其中所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实施本申请上述第一方面或者第二方面所述的方法。

以上仅是对本申请的概述，其不能作为衡量本申请相对现有技术做出贡献的依据，具体需参见本申请具体实施例部分的描述。

本申请所提出的基于局部参考坐标系的3D形状匹配方法及装置，通过对3D点云的特征点邻域内的邻域点进行特征变换来使得所建立的局部参考坐标系是可重复的、鲁棒的以及抗噪声的，并通过将用于计算所述局部参考坐标系的z轴的计算半径配置为根据网格分辨率进行自适应调整来使得所建立的局部参考坐标系几乎不受网格分辨率的影响。因此，即使存在遮挡、杂乱和噪声干扰，或者是对场景或目标物体的3D点云进行网格简化，使用本申请所提出的基于局部参考坐标系的3D形状匹配方法及装置仍然可以获得较好的3D形状匹配或识别结果。

附图说明

图1为根据本申请一实施例的一种基于局部参考坐标系的3D形状匹配方法的流程示意图。

图2为根据本申请一实施例建立局部参考坐标系的流程示意图。

图3为根据本申请一实施例将球形邻域内的3D点集P投影至与所述z轴正交的平面L的示意图。

图4为根据本申请一实施例的3D点的一环领域点的示意图。

图5为根据本申请一实施例确定所述局部参考坐标系的z轴的流程示意图。

图6为根据本申请一实施例确定所述z轴的的计算半径R_z的流程示意图。

图7为根据本申请一实施例的一种基于局部参考坐标系的3D形状匹配装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

除非另有定义，本说明书所使用的所有技术和科学术语与属于本申请技术领域的技术人员通常理解的含义相同。在本申请的说明书中所使用的术语只是为了描述具体的实施例，而不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意组合和所有组合。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示技术特征的数量或相对重要性。以下对本申请的各个具体实施例进行描述，且所描述的不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

众所周知，3D点云是扫描场景或物体之后，以点的形式记录场景或物体的表面，且每个点包含有三维坐标。3D形状匹配，即是将用3D点数据表示的场景或物体表面与另一或多个用3D点数据表示场景或物体表面进行匹配，以期进一步达到3D目标识别的结果。

根据本申请的第一方面，在一实施例中，如图1所示，本申请提出了一种基于局部参考坐标系的3D形状匹配方法，所述方法可以包括：

获取现实场景的3D点云；

获取所述现实场景的3D点云的特征点p；

为所述特征点p的第一球形邻域建立局部参考坐标系，其中所述第一球形邻域的原点与所述特征点p重合并具有大小为R的支撑半径，所述局部参考坐标系的原点与所述特征点p重合并具有正交归一化的x轴、y轴和z轴；

基于所述局部参考坐标系，建立3D局部特征描述符并对所述第一球形邻域内的空间信息进行编码，以获得所述第一球形邻域内的3D局部表面信息；以及

将所述第一球形邻域内的3D局部表面信息与目标物体的3D局部表面信息进行匹配，以进行3D形状匹配。

在本实施例中，所述现实场景可以是现实生活中，尤其是工业应用中的任何场景，本申请不对该应用场景作出具体限制，只要是需要用到3D形状匹配或3D识别方法的场景都可以。在本实施例中，所述3D点云可以是被实时地获取，所述目标物体的3D点云可以是预先存储的，即所述目标物体可以是用于在现实场景中匹配同样物体的模型。也就是说，在本实施例中，可以将对现实场景进行实时测量所得到的3D点云的3D局部表面信息与通过计算预先存储的目标物体的3D点云所获得的3D局部表面信息进行匹配，以实现从现实场景的3D点云中识别出与目标物体模型相匹配的形状。

在本实施例中，所述特征点又称为关键点或兴趣点，也就是突出的形状特征点。可以使用基于固定尺度(Fixed-Scale)的方法和基于自适应尺度(Adaptive-Scale)的方法来获取3D点云中的特征点，也可以使用任何其它现有技术来获取特征点，本申请对此不作限定。

在本实施例中，3D局部特征描述符可以是基于本申请的局部参考坐标系所建立的任何局部特征描述符，例如，基于GA方法的任何现有局部特征描述符，本申请对此不作限定。

在一实施例中，所述方法包括上述实施例的基本技术特征，并在上述实施例的基础之上，如图2所示，为了使所建立的局部参考坐标系是可重复的且鲁棒的，所述为所述特征点的第一球形邻域建立局部参考坐标系可以包括：

确定所述局部参考坐标系的z轴；

将所述第一球形邻域内的3D点集P投影至与所述z轴正交的平面L，如图3所示，得到投影点集P′，其中P＝{p₁,p₂,p₃,……,p_n}，P′＝{p′₁,p′₂,p′₃,……,p′_n}，n为所述第一球形邻域内的3D点的数量，其中所述平面L为z＝0处的平面；

对投影点集P′进行如下式所示的特征变换，以获得比投影点集P′具有更大方差方向的点分布T：

T_i＝W_i(p′_i-p)+p，

其中所述特征变换中的参数W_i由第一参数w1_i、第二参数w2_i、第三参数w3_i中的至少一个确定，其中所述第一参数w1_i与3D点p_i到所述特征点p的距离相关联，所述第二参数w2_i与3D点p_i到所述投影点p′_i的距离相关联，所述第三参数w3_i与3D点p_i到其一环邻域点的平均距离

相关联，其中所述一环邻域点为与所述3D点p_i相邻的邻域点，其中T＝{T_i}，i＝1,2,3,……,n；

对所述点分布T的如下式所示的协方差矩阵cov(T)进行特征值分解以确定所述协方差矩阵cov(T)的最大特征值所对应的特征向量v′：

并根据如下定义对所述最大特征值所对应的特征向量v′进行符号消歧以确定所述局部参考坐标系的x轴：

以及

将所述z轴和所述x轴的叉积确定为所述局部参考坐标系的y轴。

值得说明的是，若点集P′在某方向的方差越大，则说明点集P′整体在该方向上更加稳定。而所述局部参考坐标系的x轴应是使所述点集P′整体在所述x轴方向上更加稳定的坐标轴，因此使用上述方法所获得的局部参考坐标系具有更好的鲁棒性。

在本实施例中，通过对3D点云的特征点邻域内的邻域点进行平面投影以及特征变换来获得比投影点集P′具有更大方差方向的点分布T，通过对所述具有更大方差方向的点分布T进行分析而建立的局部参考坐标系是可重复的、鲁棒的以及抗噪声的。

在本实施例中，使用与3D点p_i到所述特征点p的距离相关联的述第一参数w1_i可以减少遮挡和杂乱对投影点集P′的影响，使用与3D点p_i到所述投影点p′_i的距离相关联的第二参数w2_i可以使投影点集P′的点分布更具有特征，使用与3D点p_i到其一环邻域点的平均距离

相关联的第三参数w3_i可以减少离群点对投影点集P′的影响。

作为一优选实施例，所述第一参数w1_i与所述3D点p_i到所述特征点p的距离需要满足如下关系式：

w1_i＝R-||p_i-p||。

作为一优选实施例，所述第二参数w2_i与所述3D点p_i到所述投影点p′_i的距离需要满足如下关系式：

h_i＝||p_i-p′_i||＝|(p_i-p)·z|

其中H＝{h_i}，σ表示上述高斯函数的标准差。

作为一优选实施例，所述标准差σ可以为：σ＝max(H)/9。

作为一优选实施例，所述第三参数w3_i与3D点p_i到其一环邻域点的平均距离

需要满足如下关系式：

其中r为所述一环邻域点的数量，s为常数。

作为示例，某一3D点p_i在其一环邻域有r个邻域点p_i1、p_i2、……p_ir。如图4所示，作为一优选实施例，所述一环邻域点的数量r可以为5，即某一3D点p_i在其一环邻域有r个邻域点p_i1、p_i2、p_i3、p_i4、p_i5。

作为一优选实施例，所述常数s可以为4。

作为一优选实施例，所述特征变换中的参数W_i可以由所述第一参数w1_i、所述第二参数w2_i、所述第三参数w3_i中的任意两个的乘积共同确定。例如，具有更大方差方向的点分布T可以具有如下多种形式：T_i＝w1_iw2_i(p′_i-p)+p、T_i＝w1_iw3_i(p′_i-p)+p或T_i＝w2_iw3_i(p′_i-p)+p。

作为一优选实施例，所述特征变换中的参数W_i可以由所述第一参数w1_i、所述第二参数w2_i、所述第三参数w3_i的乘积共同确定。例如，具有更大方差方向的点分布T可以为：T_i＝w1_iw2_iw3_i(p′_i-p)+p。

在上述优选实施例中，用于确定具有更大方差方向的点分布T的因子越多，技术效果越好，所得到的的局部参考坐标系越鲁棒。

在一实施例中，所述方法包括上述实施例的基本技术特征，并在上述实施例的基础之上，如图5所示，所述确定所述局部参考坐标系的z轴可以包括：

获取第二球形邻域内的3D点集p_z，其中所述第二球形邻域的原点与所述特征点p重合并具有大小为R_z的计算半径，其中P_z＝{q₁,q₂,q₃,……,q_m}，m为所述第二球形邻域内的3D点的数量；

对所述3D点集P_z的如下式所示的协方差矩阵cov(P_z)进行特征值分解以确定所述协方差矩阵cov(P_z)的最小特征值所对应的特征向量v：

其中

为3D点集P_z的质心；以及

根据如下定义对所述最小特征值所对应的特征向量v进行符号消歧以确定所述局部参考坐标系的z轴：

其中n_j为3D点q_k的法向量。

作为一优选实施例，所述计算半径R_z可以不等于所述支撑半径R，从而使得所述局部参考坐标系的z轴对遮挡和杂乱具有更好的鲁棒性。

作为一优选实施例，所述计算半径R_z为所述支撑半径R的三分之一。

由于在实际获取3D点云时，不同的3D网格分辨率大小会致使所获得的3D点云具有不同的密度，往往网格分辨率越大3D点云规模越大，在同样大小的空间中表示场景或物体表面的3D点数目就越多。并且，当物体模型的网格分辨率低于场景时，相同半径内现实场景中获取的邻域点会比模型的邻域点少，而当点非常稀疏时，如果使用较小的邻域半径来计算场景局部参考坐标系的z轴，将会导致3D形状匹配的性能受到极大的负面影响从而变得很差。因此，本申请提出了使用自适应的尺度因子来确定计算半径R_z，从而使得所得到的z轴不仅对遮挡很鲁棒，而且对不同的网格采样很鲁棒。在一实施例中，所述方法包括上述实施例的基本技术特征，并在上述实施例的基础之上，如图6所示，确定所述计算半径R_z可以包括：

获取所述现实场景的平均网格分辨率scene.mr和所述目标物体的平均网格分辨率model.mr；

根据所述现实场景的平均网格分辨率scene.mr和所述目标物体的平均网格分辨率model.mr确定半径比例因子δ，其中所述半径比例因子通过如下来确定：

其中C为常数；

将所述计算半径R_z确定为R_z＝δR。

在本实施例中，通过将用于计算所述局部参考坐标系的z轴的计算半径配置为根据网格分辨率进行自适应调整，从而使得所建立的局部参考坐标系可以几乎不受网格分辨率的影响。

作为一优选实施例，所述常数C可以为3。

在一实施例中，所述方法包括上述实施例的基本技术特征，并在上述实施例的基础之上，在确定所述现实场景的计算半径R_z之前，所述方法还可以包括：

预确定至少两个半径比例因子，并预确定与所述至少两个半径比例因子相对应的局部参考坐标系和3D局部特征描述符；

将所述预确定的至少两个半径比例因子和所述预确定的3D局部特征描述符存储在哈希表的不同位置处。

在一实施例中，所述方法包括上述实施例的基本技术特征，并在上述实施例的基础之上，所述方法还可以包括：

使用根据所述现实场景的平均网格分辨率scene.mr和所述目标物体的平均网格分辨率model.mr所确定的半径比例因子δ在所述哈希表中查找所述至少两个半径比例因子，将所述哈希表中与所述半径比例因子δ最接近的半径比例因子所对应的3D局部特征描述符作为最终的3D局部特征描述符。

根据本申请的第二方面，在一实施例中，本申请提出了一种基于局部参考坐标系的3D形状匹配方法，其可以包括：

获取目标物体的3D点云；

获取所述目标物体的3D点云的特征点p；

为所述特征点p的第一球形邻域建立局部参考坐标系，其中所述第一球形邻域的原点与所述特征点p重合并具有大小为R的支撑半径，所述局部参考坐标系的原点与所述特征点p重合并具有正交归一化的x轴、y轴和z轴；

基于所述局部参考坐标系，建立3D局部特征描述符并对所述第一球形邻域内的空间信息进行编码，以获得所述第一球形邻域内的3D局部表面信息；以及

将所述第一球形邻域内的3D局部表面信息与场景的3D局部表面信息进行匹配，以进行3D形状匹配；

其中，所述为所述特征点的第一球形邻域建立局部参考坐标系包括：

确定所述局部参考坐标系的z轴；

将所述第一球形邻域内的3D点集P投影至与所述z轴正交的平面L，得到投影点集P′，其中P＝{p₁,p₂,p₃,……,p_n}，P′＝{p′₁,p′₂,p′₃,……,p′_n}，n为所述第一球形邻域内的3D点的数量，其中所述平面L为z＝0处的平面；

对投影点集P′进行如下式所示的特征变换，以获得比投影点集P′具有更大方差方向的点分布T：

T_i＝W_i(p′_i-p)+p，

其中所述特征变换中的参数W_i由第一参数w1_i、第二参数w2_i、第三参数w3_i中的至少一个确定，其中所述第一参数w1_i与3D点p_i到所述特征点p的距离相关联，所述第二参数w2_i与3D点p_i到所述投影点p′_i的距离相关联，所述第三参数w3_i与3D点p_i到其一环邻域点的平均距离

相关联，其中所述一环邻域点为与所述3D点p_i相邻的邻域点，其中T＝{T_i}，i＝1,2,3,……,n；

对所述点分布T的如下式所示的协方差矩阵cov(T)进行特征值分解以确定所述协方差矩阵cov(T)的最大特征值所对应的特征向量v′：

并根据如下定义对所述最大特征值所对应的特征向量v′进行符号消歧以确定所述局部参考坐标系的x轴：

以及

将所述z轴和所述x轴的叉积确定为所述局部参考坐标系的y轴。

本申请第二方面的实施例与上述第一方面的实施例步骤类似，不同之处在于所述目标物体的3D点云是预先存储的并且所述场景的3D点云也可以是获得之后预先存储的。也就是说，在此方法中，可以将通过计算预先存储的目标物体的3D点云所获得的3D局部表面信息与通过计算所述场景的3D点云所获得的3D局部表面信息与进行匹配，以实现从所述场景的3D点云中识别出与目标物体模型相匹配的形状。本申请第二方面的其它技术特征均可以参见本申请第一方面的具体实施例中的技术特征，本文在此不再累赘陈述。

根据本申请的第三方面，在一实施例中，如图7所示，提出了一种基于局部参考坐标系的3D形状匹配装置，其可以包括采集设备、存储器和处理器，其中所述采集设备被配置为获取现实场景的3D点云，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实施本申请上述第一方面所述的方法实施例中除了获取现实场景的3D点云之外的其它操作。在本实施例中，所述采集设备可以是3D扫描设备、激光扫描设备、结构光采集设备或任何其它可以获得现实场景3D点云的设备，所述存储器可以是任何具有软件存储功能的存储设备，所述处理器是任何可以执行计算机程序并命令某一执行主体执行相关操作的处理器。在一实施例中，所述采集设备所获取的3D点云数据可以直接或间接存储在所述存储器中，或者可以由所述存储器或者处理器访问。在一实施例中，所述处理器可以直接或间接控制所述采集设备获取所述3D点云数据。本申请第三方面的其它技术特征均可以参见本申请第一方面的具体实施例中的技术特征，本文在此不再累赘陈述。

根据本申请的第四方面，在一实施例中，提出了一种基于局部参考坐标系的3D形状匹配装置，其包括存储器和处理器，其中所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实施本申请上述第一方面或者第二方面所述的方法实施例。本申请第四方面的其它技术特征均可以参见本申请第一、第二或第三方面的具体实施例中的技术特征，本文在此不再累赘陈述。

以上所述的本申请的具体实施例，并不构成对本申请保护范围的限定。任何在本申请的原理之内所作的修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种基于局部参考坐标系的3D形状匹配方法，其特征在于，所述方法包括：

获取现实场景的3D点云；

获取所述现实场景的3D点云的特征点p；

为所述特征点p的第一球形邻域建立局部参考坐标系，其中所述第一球形邻域的原点与所述特征点p重合并具有大小为R的支撑半径，所述局部参考坐标系的原点与所述特征点p重合并具有正交归一化的x轴、y轴和z轴；

基于所述局部参考坐标系，建立3D局部特征描述符并对所述第一球形邻域内的空间信息进行编码，以获得所述第一球形邻域内的3D局部表面信息；以及

将所述第一球形邻域内的3D局部表面信息与目标物体的3D局部表面信息进行匹配，以进行3D形状匹配；

其中，所述为所述特征点的第一球形邻域建立局部参考坐标系包括：

确定所述局部参考坐标系的z轴；

将所述第一球形邻域内的3D点集P投影至与所述z轴正交的平面L，得到投影点集P′，其中P＝{p₁,p₂,p₃,……,p_n}，P′＝{p′₁,p′₂,p′₃,……,p′_n}，n为所述第一球形邻域内的3D点的数量，其中所述平面L为z＝0处的平面；

对投影点集P′进行如下式所示的特征变换，以获得比投影点集P′具有更大方差方向的点分布T：

T_i＝W_i(p′_i-p)+p，

其中所述特征变换中的参数W_i由第一参数w1_i、第二参数w2_i、第三参数w3_i中的至少两个确定，其中所述第一参数w1_i与3D点p_i到所述特征点p的距离相关联，所述第二参数w2_i与3D点p_i到所述投影点p′_i的距离相关联，所述第三参数w3_i与3D点p_i到其一环邻域点的平均距离

相关联，其中所述一环邻域点为与所述3D点p_i相邻的邻域点，其中T＝{T_i}，i＝1,2,3,……,n；

对所述点分布T的如下式所示的协方差矩阵cov(T)进行特征值分解以确定所述协方差矩阵cov(T)的最大特征值所对应的特征向量v′：

并根据如下定义对所述最大特征值所对应的特征向量v′进行符号消歧以确定所述局部参考坐标系的x轴：

以及

将所述z轴和所述x轴的叉积确定为所述局部参考坐标系的y轴。

2.根据权利要求1所述的3D形状匹配方法，其特征在于，所述确定所述局部参考坐标系的z轴包括：

获取第二球形邻域内的3D点集P_z，其中所述第二球形邻域的原点与所述特征点p重合并具有大小为R_z的计算半径，其中P_z＝{q₁,q₂,q₃,……,q_m}，m为所述第二球形邻域内的3D点的数量；

对所述3D点集P_z的如下式所示的协方差矩阵cov(P_z)进行特征值分解以确定所述协方差矩阵cov(P_z)的最小特征值所对应的特征向量v：

其中

为3D点集P_z的质心；以及

根据如下定义对所述最小特征值所对应的特征向量v进行符号消歧以确定所述局部参考坐标系的z轴：

其中n_j为3D点q_j的法向量。

3.根据权利要求2所述的3D形状匹配方法，其特征在于，所述计算半径R_z不等于所述支撑半径R。

4.根据权利要求2所述的3D形状匹配方法，其特征在于，确定所述计算半径R_z包括：

获取所述现实场景的平均网格分辨率scene.mr和所述目标物体的平均网格分辨率model.mr；

根据所述现实场景的平均网格分辨率scene.mr和所述目标物体的平均网格分辨率model.mr确定半径比例因子δ，其中所述半径比例因子通过如下来确定：

其中C为常数；

将所述计算半径R_z确定为R_z＝δR。

5.根据权利要求4所述的3D形状匹配方法，其特征在于，在确定所述现实场景的计算半径R_z之前，所述方法还包括：

预确定至少两个半径比例因子，并预确定与所述至少两个半径比例因子相对应的局部参考坐标系和3D局部特征描述符；

将所述预确定的至少两个半径比例因子和所述预确定的3D局部特征描述符存储在哈希表的不同位置处。

6.根据权利要求5所述的3D形状匹配方法，其特征在于，所述方法还包括：

使用根据所述现实场景的平均网格分辨率scene.mr和所述目标物体的平均网格分辨率model.mr所确定的半径比例因子δ在所述哈希表中查找所述至少两个半径比例因子，将所述哈希表中与所述半径比例因子δ最接近的半径比例因子所对应的3D局部特征描述符作为最终的3D局部特征描述符。

7.根据权利要求1所述的3D形状匹配方法，其特征在于，所述特征变换中的参数W_i由所述第一参数w1_i、所述第二参数w2_i、所述第三参数w3_i中的任意两个的乘积共同确定。

8.根据权利要求1所述的3D形状匹配方法，其特征在于，所述特征变换中的参数W_i由所述第一参数w1_i、所述第二参数w2_i、所述第三参数w3_i的乘积共同确定。

9.根据权利要求1所述的3D形状匹配方法，其特征在于，所述第一参数w1_i与所述3D点p_i到所述特征点p的距离满足如下关系式：

w1_i＝R-||p_i-||。

10.根据权利要求1所述的3D形状匹配方法，其特征在于，所述第二参数w2_i与所述3D点p_i到所述投影点p′_i的距离满足如下关系式：

h_i＝||p_i-p′_i||＝|(p_i-p)·z|

其中H＝{h_i}，σ表示高斯函数的标准差。

11.根据权利要求1所述的3D形状匹配方法，其特征在于，所述第三参数w3_i与3D点p_i到其一环邻域点的平均距离

满足如下关系式：

其中p_ik为3D点p_i的第k个一环领域点，r为所述一环邻域点的数量，s为常数。

12.一种基于局部参考坐标系的3D形状匹配方法，其特征在于，所述方法包括：

获取目标物体的3D点云；

获取所述目标物体的3D点云的特征点p；

为所述特征点p的第一球形邻域建立局部参考坐标系，其中所述第一球形邻域的原点与所述特征点p重合并具有大小为R的支撑半径，所述局部参考坐标系的原点与所述特征点p重合并具有正交归一化的x轴、y轴和z轴；

基于所述局部参考坐标系，建立3D局部特征描述符并对所述第一球形邻域内的空间信息进行编码，以获得所述第一球形邻域内的3D局部表面信息；以及

将所述第一球形邻域内的3D局部表面信息与现实场景的3D局部表面信息进行匹配，以进行3D形状匹配；

其中，所述为所述特征点的第一球形邻域建立局部参考坐标系包括：

确定所述局部参考坐标系的z轴；

将所述第一球形邻域内的3D点集P投影至与所述z轴正交的平面L，得到投影点集P′，其中P＝{p₁,p₂,p₃,……,p_n}，P′＝{p′₁,p′₂,p′₃,……,p′_n}，n为所述第一球形邻域内的3D点的数量，其中所述平面L为z＝0处的平面；

对投影点集P′进行如下式所示的特征变换，以获得比投影点集P′具有更大方差方向的点分布T：

T_i＝W_i(p′_i-p)+p，

其中所述特征变换中的参数W_i由第一参数w1_i、第二参数w2_i、第三参数w3_i中的至少两个确定，其中所述第一参数w1_i与3D点p_i到所述特征点p的距离相关联，所述第二参数w2_i与3D点p_i到所述投影点p′_i的距离相关联，所述第三参数w3_i与3D点p_i到其一环邻域点的平均距离

相关联，其中所述一环邻域点为与所述3D点p_i相邻的邻域点，其中T＝{T_i}，i＝1,2,3,……,n；

对所述点分布T的如下式所示的协方差矩阵cov(T)进行特征值分解以确定所述协方差矩阵cov(T)的最大特征值所对应的特征向量v′：

并根据如下定义对所述最大特征值所对应的特征向量v′进行符号消歧以确定所述局部参考坐标系的x轴：

以及

将所述z轴和所述x轴的叉积确定为所述局部参考坐标系的y轴。

13.根据权利要求12所述的3D形状匹配方法，其特征在于，所述确定所述局部参考坐标系的z轴包括：

获取第二球形邻域内的3D点集P_z，其中所述第二球形邻域的原点与所述特征点p重合并具有大小为R_z的计算半径，其中P_z＝{q₁,q₂,q₃,……,q_m}，m为所述第二球形邻域内的3D点的数量；

对所述3D点集P_z的如下式所示的协方差矩阵cov(P_z)进行特征值分解以确定所述协方差矩阵cov(P_z)的最小特征值所对应的特征向量v：

其中

为3D点集P_z的质心；以及

根据如下定义对所述最小特征值所对应的特征向量v进行符号消歧以确定所述局部参考坐标系的z轴：

其中n_j为3D点q_j的法向量。

14.根据权利要求13所述的3D形状匹配方法，其特征在于，确定所述计算半径R_z包括：

获取所述现实场景的平均网格分辨率scene.mr和所述目标物体的平均网格分辨率model.mr；

根据所述现实场景的平均网格分辨率scene.mr和所述目标物体的平均网格分辨率model.mr确定半径比例因子δ，其中所述半径比例因子通过如下来确定：

其中C为常数；

将所述计算半径R_z确定为R_z＝δR。

15.根据权利要求12所述的3D形状匹配方法，其特征在于，所述特征变换中的参数W_i由所述第一参数w1_i、所述第二参数w2_i、所述第三参数w3_i中的任意两个的乘积共同确定。

16.根据权利要求12所述的3D形状匹配方法，其特征在于，所述特征变换中的参数W_i由所述第一参数w1_i、所述第二参数w2_i、所述第三参数w3_i的乘积共同确定。

17.一种基于局部参考坐标系的3D形状匹配装置，其特征在于，所述装置包括采集设备、存储器和处理器，其中所述采集设备被配置为获取现实场景的3D点云，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实施如下操作：

获取所述现实场景的3D点云的特征点p；

为所述特征点p的第一球形邻域建立局部参考坐标系，其中所述第一球形邻域的原点与所述特征点p重合并具有大小为R的支撑半径，所述局部参考坐标系的原点与所述特征点p重合并具有正交归一化的x轴、y轴和z轴；

基于所述局部参考坐标系，建立3D局部特征描述符并对所述第一球形邻域内的空间信息进行编码，以获得所述第一球形邻域内的3D局部表面信息；以及

将所述第一球形邻域内的3D局部表面信息与目标物体的3D局部表面信息进行匹配，以进行3D形状匹配；

其中，所述为所述特征点的第一球形邻域建立局部参考坐标系包括：

确定所述局部参考坐标系的z轴；

将所述第一球形邻域内的3D点集P投影至与所述z轴正交的平面L，得到投影点集P′，其中P＝{p₁,p₂,p₃,……,p_n}，P′＝{p′₁,p′₂,p′₃,……,p′_n}，n为所述第一球形邻域内的3D点的数量，其中所述平面L为z＝0处的平面；

对投影点集P′进行如下式所示的特征变换，以获得比投影点集P′具有更大方差方向的点分布T：

T_i＝W_i(p′_i-p)+p，

其中所述特征变换中的参数W_i由第一参数w1_i、第二参数w2_i、第三参数w3_i中的至少两个确定，其中所述第一参数w1_i与3D点p_i到所述特征点p的距离相关联，所述第二参数w2_i与3D点p_i到所述投影点p′_i的距离相关联，所述第三参数w3_i与3D点p_i到其一环邻域点的平均距离

相关联，其中所述一环邻域点为与所述3D点p_i相邻的邻域点，其中T＝{T_i}，i＝1,2,3,……,n；

对所述点分布T的如下式所示的协方差矩阵cov(T)进行特征值分解以确定所述协方差矩阵cov(T)的最大特征值所对应的特征向量v′：

并根据如下定义对所述最大特征值所对应的特征向量v′进行符号消歧以确定所述局部参考坐标系的x轴：

以及

将所述z轴和所述x轴的叉积确定为所述局部参考坐标系的y轴。

18.根据权利要求17所述的3D形状匹配装置，其特征在于，由所述处理器实施的确定所述局部参考坐标系的z轴包括：

获取第二球形邻域内的3D点集P_z，其中所述第二球形邻域的原点与所述特征点p重合并具有大小为R_z的计算半径，其中P_z＝{q₁,q₂,q₃,……,q_m}，m为所述第二球形邻域内的3D点的数量；

对所述3D点集P_z的如下式所示的协方差矩阵cov(P_z)进行特征值分解以确定所述协方差矩阵cov(P_z)的最小特征值所对应的特征向量v：

其中

为3D点集P_z的质心；以及

根据如下定义对所述最小特征值所对应的特征向量v进行符号消歧以确定所述局部参考坐标系的z轴：

其中n_j为3D点q_j的法向量。

19.根据权利要求18所述的3D形状匹配装置，其特征在于，由所述处理器实施的确定所述计算半径R_z包括：

获取所述现实场景的平均网格分辨率scene.mr和所述目标物体的平均网格分辨率model.mr；

根据所述现实场景的平均网格分辨率scene.mr和所述目标物体的平均网格分辨率model.mr确定半径比例因子δ，其中所述半径比例因子通过如下来确定：

其中C为常数；

将所述计算半径R_z确定为R_z＝R。

20.一种基于局部参考坐标系的3D形状匹配装置，其特征在于，所述装置包括存储器和处理器，其中所述存储器存储有计算机程序，所述处理器实施所述计算机程序时执行权利要求1-16任一项所述的方法。

Images