CN104616279A - 3d深度图特征点实时提取方法和设备 - Google Patents

Abstract

提供了一种3D深度图特征点实时提取设备和方法，该设备包括：边界提取模块，用于提取输入的3D深度图点云中的边界点；兴趣值计算模块，包括用于计算边界点兴趣值的边界点兴趣值计算模块和用于计算除边界点之外的内部点兴趣值的内部点兴趣值计算模块，边界点兴趣值计算模块和内部点兴趣值计算模块使用相同的主参数计算兴趣值，并且所得兴趣值具有相同的数量级；特征点提取模块，根据所有边界点和内部点的兴趣值大小来提取特征点。

Description

3D深度图特征点实时提取方法和设备

技术领域

本发明涉及计算机视觉领域和智能机器人学领域，更具体地讲，本发明涉及实时提取3D深度图的特征点。

背景技术

现有的3D深度图(即，3D点云)特征点提取技术从大方向上可以分为两类。第一类特征提取算法是直接将针对2D图片的特征提取算法推广到3D点云的处理上。然而，3D点云和2D图片还是有很大差别的，因此直接推广虽然可行，但是效果不佳。第二类特征提取算法是专门针对3D点云设计的。这类算法设计的特征比较有针对性，所以效果比前面一类方法好很多。

对于第二类特征提取算法，其最关键的步骤是要设计一个有效的兴趣值的计算方法。由于特征点一般来说应该落在曲面变化剧烈的位置，因此这个计算兴趣值的方法要能很好的度量出曲面的变化情况。在特征点提取后，通常会进行特征的描述匹配等操作，所以有些算法也会将特征点的稳定性考虑在内。要求特征点落在一个稳定的位置，而在这个位置附近有较大的曲面变化。

对于需要处理的点云数据，我们可以将其分为两类：一类是边界点，即位于深度不连续的边缘附近的点。这类点位于边缘附近，所以本身就具有一定的不稳定性。另一类点是除了边界点以外的其他点，这些点距离边缘有一定的距离。这类点，一般来说都相对比较稳定，即使有比较大的曲面变化，但是由于是连续性的变化，所以不会很不稳定。

现有技术对于边界的处理包括：一类是要求特征点不能是边界点；另外一种方法，是NARF算法（ICRA2011:point feature extraction on3D range scanstaking into account object boundaries）中提出的，即，对边界点和内部点都给一个分数和一个方向，然后计算出兴趣值，并且根据兴趣值的大小选择特征点。

因此，现有技术中存在的问题如下：

如前所述，点云数据可以区分为边界点和内部点两类，大部分的现有技术不区分这两类点，使用同样的几何特征以及同样的方法来计算兴趣值，因此这些算法对于内部曲面变化比较多的场景很适用，而对于内部曲面变化比较少的情景，特别是噪音比较大的真实场景，性能就下降得很厉害。表现主要差在两方面，一是在曲面变化非常小的地方，由于噪音的影响，容易误检到特征点。二是对于边界点重视程度不够。对于内部曲面变化较少的现实场景，边界特征是很重要的，而这类算法主要是针对内部点设计的兴趣值计算方法，对于边界点效果不好。

另一方面，与大部分算法不同，NARF主要是处理深度图像的，所以它对边界点进行了专门的处理。具体的，NARF给每一个点一个分数和一个方向，然后进行特征值的计算。这个分数是用来衡量曲面变化情况的，边缘点和内部点的打分策略是不一样的。边缘点位于深度不连续的位置，所以给1分；内部点得分则是跟主曲率大小有关，是一个0-1区间的数字。这个打分机制很不公平，边缘点的分数太高，所以NARF检测到的特征点大多集中在边界附近，内部特征点很少，因而对于内部特征丰富的场景，效果很差。

综上所述，现有技术使用一种兴趣值计算方法处理所有点云数据。要么针对内部点设计兴趣值计算方法，仅仅适合于内部曲面变化多的场景，要么过于看重边界，仅仅适合于内部曲面变化少，依赖边界特征的场景。

因此需要一种能够适用范围更广并且对于各种场景都有很好的性能的特征点提取方法。

发明内容

本发明的目的在于提供一种能够对于各种场景都有很好的性能的特征点提取方法。

根据本发明的一方面，通过充分考虑到内部点和边界点的特点，将内部点和边界点区分处理，使用各自适合的兴趣值计算方法。更进一步地，在本发明中，处理内部点和边界点的方法以及其使用的主参数（用于计算兴趣值的最主要的计算量）具有一致性(这里的一致性主要是指最终所求得的兴趣值的大小要具有可比性，兴趣的大小设置是有合理的意义的)，因此便于后续将所有的点放在一起根据计算出来的兴趣值筛选出最后的特征点。

根据本发明的一方面，提供了一种3D深度图特征点实时提取设备，包括：边界提取模块，用于提取输入的3D深度图点云中的边界点；兴趣值计算模块，包括用于计算边界点兴趣值的边界点兴趣值计算模块和用于计算除边界点之外的内部点兴趣值的内部点兴趣值计算模块，边界点兴趣值计算模块和内部点兴趣值计算模块使用相同的主参数计算兴趣值，并且所得兴趣值具有相同的数量级；特征点提取模块，根据所有边界点和内部点兴趣值大小来提取特征点。

优选地，边界提取模块可提取位于输入的点云中深度不连续位置上的边缘点，并且选择位于边缘点预定范围内的点作为边界点。

边界点兴趣值计算模块可包括：法向和主曲率计算子模块，对每一个边界点计算法向和主曲率，随后将计算的主曲率转化为主曲率分值；邻域选取子模块，用于以每一个边界点为中心选取第一邻域和第二邻域，其中，第一邻域比第二邻域的面积小；边界点兴趣值计算子模块，用于分别针对选取的第一邻域和第二邻域计算边界点的兴趣值。

优选地，边界点兴趣值计算子模块可通过下面的等式1根据第一邻域内的点来计算当前边界点的稳定性值：

$I_1\left(p\right)={\min }_{q_i\∈N\left(p\right)}(1-c_i\max (1-\frac{\left|\right|p-q_i\left|\right|}{\mathrm{\σ}},0))$ 等式1

其中，p表示当前边界点，q_i表示第一邻域内的点，N(p)是第一邻域内的点的集合，c_i表示第一邻域内的点的主曲率分值，σ是第一邻域的半径，||p-q_i||表示第一邻域内的点到当前边界点的距离。

优选地，可通过下面的等式2根据第二邻域内的点来计算当前边界点的曲面变化值：

$I_2\left(p\right)={\max }_i\left(c_i\right)\·{\max }_{i,j}(1-|n_i^T\·n_j\left|\right)$ 等式2

其中，p表示当前边界点，c_i表示第二邻域内的点的主曲率分值，n_i是法向，i、j分别是第二邻域内的点的下标，表示主曲率方向的差异，第一个max是对第二邻域内所有的点求一个最大分值，第二个max的对象是第二邻域内所有的点对。

优选地，可通过下面的等式3计算当前边界点的兴趣值：

I(p)=I₁(p)·I₂(p)    等式3。

优选地，内部点兴趣值计算模块可包括：法向和主曲率计算子模块，对每一个内部点计算法向和主曲率，随后将计算的主曲率转化主曲率分值；最小特征值计算子模块，用于计算内部点的散列矩阵的特征值分解的最小特征值；内部点兴趣值计算子模块，用于通过对计算的主曲率分值和该内部点的散列矩阵的特征值分解的最小特征值的大小进行筛选来计算该内部点的兴趣值。

优选地，内部点兴趣值计算子模块可通过以下公式4来计算内部点的兴趣值，

$I\left(p\right)=\left\{\begin{array}{c}{c}_0,\mathrm{if}{c}_0>{\mathrm{\ϵ}}_1\mathrm{and}{\mathrm{\γ}}_0>{\mathrm{\ϵ}}_2\\ 0,\mathrm{else}\end{array}\right.$ 公式4

其中，ε₁和ε₂是大于0小于1的阈值，c₀是主曲率分值，γ₀是内部点的散列矩阵的特征值分解的最小特征值。

优选地，在边界提取模块之前可选择地具有预处理模块，用于对输入的3D深度图点云进行预处理。

根据本发明的另一方面，提供了一种3D深度图特征点实时提取方法，包括：提取输入的3D深度图点云中的边界点；使用相同的主参数分别计算边界点和除边界点之外的内部点的兴趣值，所得兴趣值具有相同的数量级；根据所有边界点和内部点兴趣值大小来提取特征点。

优选地，提取输入的点云中的边界点的步骤可包括：提取位于输入的点云中深度不连续位置上的边缘点；选择位于边缘点预定范围内的点作为边界点。

优选地，计算边界点的兴趣值的步骤可包括：对每一个边界点计算法向和主曲率，随后将计算的主曲率转化为主曲率分值；以每一个边界点为中心选取第一邻域和第二邻域，其中，第一邻域比第二邻域的面积小；分别针对选取的第一邻域和第二邻域计算边界点的兴趣值。

优选地，可通过下面的等式1根据第一邻域内的点来计算当前边界点的稳定性值：

$I_1\left(p\right)={\min }_{q_i\∈N\left(p\right)}(1-c_i\max (1-\frac{\left|\right|p-q_i\left|\right|}{\mathrm{\σ}},0))$ 等式1

其中，p表示当前边界点，q_i表示第一邻域内的点，N(p)是第一邻域内的点的集合，c_i表示第一邻域内的点的主曲率分值，σ是第一邻域的半径，||p-q_i||表示第一邻域内的点到当前边界点的距离。

优选地，可通过下面的等式2根据第二邻域内的点来计算当前边界点的曲面变化值：

$I_2\left(p\right)={\max }_i\left(c_i\right)\·{\max }_{i,j}(1-|n_i^T\·n_j\left|\right)$ 等式2

其中，p表示当前边界点，c_i表示第二邻域内的点的主曲率分值，n_i是法向，i、j分别是第二邻域内的点的下标，表示主曲率方向的差异，第一个max是对第二邻域内所有的点求一个最大分值，第二个max的对象是第二邻域内所有的点对。

优选地，可通过下面的等式3计算当前边界点的兴趣值：

I(p)=I₁(p)·I₂(p)   等式3。

优选地，计算内部点的兴趣值的步骤可包括：对每一个内部点计算法向和主曲率，随后将计算的主曲率转化主曲率分值；计算内部点的散列矩阵的特征值分解的最小特征值；通过对计算的主曲率分值和该内部点的散列矩阵的特征值分解的最小特征值的大小进行筛选来计算该内部点的兴趣值。

优选地，可通过以下公式4来计算内部点的兴趣值，

$I\left(p\right)=\left\{\begin{array}{c}{c}_0,\mathrm{if}{c}_0>{\mathrm{\ϵ}}_1\mathrm{and}{\mathrm{\γ}}_0>{\mathrm{\ϵ}}_2\\ 0,\mathrm{else}\end{array}\right.$ 公式4

其中，ε₁和ε₂是大于0小于1的阈值，c₀是主曲率分值，γ₀是内部点的散列矩阵的特征值分解的最小特征值。

优选地，可在提取特征点之前，先对3D深度图进行预处理。

将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。

附图说明

通过下面结合附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：

图1是示出根据本发明实施例的3D深度图特征点实时提取设备的框图；

图2是示出兴趣值计算模块的结构的框图；

图3是示出边界点兴趣值计算模块的结构的框图；

图4示出了边缘点的示例；

图5示出了边界点的示例；

图6是示出内部点兴趣值计算模块的结构的框图；

图7是示出根据本发明实施例的3D深度图特征点实时提取方法的流程图；

图8是示出计算输入的点云中的边界点的兴趣值的过程的流程图；

图9是示出计算输入的点云中的内部点的兴趣值的过程的流程图；

图10示出了内在形态特征（Intrinsic Shape Signatures，ISS）的特征点检测结果；

图11示出了法向对齐的径向特征（normal aligned radial feature，NARF）的特征点检测结果；

图12示出了根据本发明实施例的特征点检测结果。

具体实施方式

现在，详细描述本发明的实施例，其示例在附图中表示，其中，相同的标号始终表示相同的部件。以下通过参考附图描述实施例以解释本发明。

图1是示出根据本发明实施例的3D深度图特征点实时提取设备的框图。

如图1所示，3D深度图特征点实时提取设备包括、边界提取模块20、兴趣值计算模块30、特征点提取模块40。

优选地，3D深度图特征点实时提取设备还可以包括预处理模块（图1中未示出）用于对输入的3D深度图(即输入的点云)进行预处理。预处理包括对输入的点云进行去噪和平滑等处理。由于预处理过程属于现有技术，因此在此不对其进行详细描述。

边界提取模块20用于提取输入的点云中的边界点。具体地讲，边界提取模块20首先提取位于输入的点云中深度不连续位置上的边缘点，可通过使用NARF和ISS算法（ICCV2009:Intrinsic shape signatures:a shape descriptor for3D object recognition）中提到的边缘点提取算法来实现。图4示出了边缘点的示例。随后，边界提取模块20选择位于边缘点预定范围内的点作为边界点，图5示出了边界点的示例。

兴趣值计算模块30包括用于计算边界点兴趣值的边界点兴趣值计算模块和用于计算内部点兴趣值的内部点兴趣值计算模块。下面对兴趣值计算模块30进行详细描述。

图2是示出兴趣值计算模块30的结构的框图。

如图2所示，兴趣值计算模块30包括边界点兴趣值计算模块310和内部点兴趣值计算模块320。边界点兴趣值计算模块310和内部点兴趣值计算模块320使用相同的主参数（记为a）计算边界点和内部点的兴趣值，并且计算得到的边界点和内部点的兴趣值的数量级相同（都为O（f（a）），其中，O表示数量级的意思，f（a）表示以主参数为变量的某个函数值，该函数可以是a的平方、立方或者平方根，甚至是其他复杂的形式），从而使得最后所得的结果可以相互比较，例如，考虑3D坐标、法向或者曲率。下面以考虑曲率为例分别对这两个模块的操作进行详细描述。

边界点兴趣值计算模块310用于计算输入的点云中的边界点的兴趣值。具体地讲，边界点是位于边缘点附近的点，位于深度不连续的不稳定区域，所以本发明实施例在计算边缘点的兴趣值时，除了要考虑曲面变化情况，稳定性也要考虑进来。

图3是示出边界点兴趣值计算模块310的结构的框图。

如图3所示，边界点兴趣值计算模块310包括法向和主曲率计算子模块3110、邻域选取子模块3120和边界点兴趣值计算子模块3130。

法向和主曲率计算子模块3110对每一个边界点计算法向和主曲率，同时可得到主曲率方向，随后将计算的主曲率转化为一个0-1区间的分值c。例如，可通过NARF算法来实现法向和主曲率计算模块3110所执行的前述操作。

邻域选取子模块3120用于以每一个边界点为中心选取一个小邻域和一个大邻域。应该理解，可以随意选取小邻域和大邻域的大小以及形状，只要小邻域比大邻域的面积小。其中，小邻域里的像素点的信息用来衡量稳定性，大邻域里的像素点的信息用来衡量曲面变化情况。

边界点兴趣值计算子模块3130用于分别针对选取的小邻域和大邻域计算边界点的兴趣值。

具体地讲，边界点兴趣值计算子模块3130首先针对选取的小邻域来计算各边界点的兴趣值。

可通过下面的等式1根据小邻域内的点来计算当前边界点的稳定性值：

$I_1\left(p\right)={\min }_{q_i\∈N\left(p\right)}(1-c_i\max (1-\frac{\left|\right|p-q_i\left|\right|}{\mathrm{\σ}},0))$ 等式1

其中，p表示当前边界点，q_i表示小邻域内的点，N(p)是小邻域内的点的集合，c_i表示小邻域内的点的主曲率分值，σ是小邻域的半径。在上述等式1中，||p-q_i||表示小邻域内的点到当前边界点的距离。

I₁(p)的大小体现了当前点的稳定程度，I₁(p)越大，当前点越稳定。如果在当前点的一个很小的邻域范围内存在主曲率比较大的点，则证明在当前点附近有很大的曲面变化，当前点不稳定，从而在当前点计算出的各项信息都不够准确。

可通过下面的等式2根据大邻域内的点来计算当前边界点的曲面变化值：

$I_2\left(p\right)={\max }_i\left(c_i\right)\·{\max }_{i,j}(1-|n_i^T\·n_j\left|\right)$ 等式2

其中，p表示当前边界点，c_i表示大邻域内的点的主曲率分值，n_i是法向，i、j分别是大邻域内的点的下标。在上述等式2中，表示主曲率方向的差异。第一个max是对大邻域内所有的点求一个最大分值，第二个max的对象是大邻域内所有的点对。

I₂(p)衡量了当前点的曲面变化程度，I₂(p)越大，则曲面变化越剧烈。

可通过下面的等式3计算当前边界点的兴趣值：

I(p)=I₁(p)·I₂(p)    等式3

也就是说，当前点的最终的兴趣值I(p)为I₁(p)和I₂(p)两项的乘积。因此，在小邻域范围内稳定性越好，在大邻域范围内曲面变化程度越大，那么当前点的兴趣值就越大。

内部点兴趣值计算模块320用于计算输入的点云中的内部点的兴趣值。

具体地讲，相比于边界点，内部点就稳定多了，因此可以使用比较简单的曲面变化衡量方法以节省时间。

图6是示出内部点兴趣值计算模块320的结构的框图。

具体地讲，如图6所示，内部点兴趣值计算模块320包括法向和主曲率计算子模块3210、最小特征值计算子模块3220和内部点兴趣值计算子模块3230。

与法向和主曲率计算子模块3110类似，法向和主曲率计算子模块3210对每一个内部点计算法向和主曲率，同时可得到主曲率方向，随后将计算的主曲率转化为一个0-1区间的分值c0。例如，可通过NARF算法来实现法向和主曲率计算模块3210所执行的前述操作。

最小特征值计算子模块3220用于计算内部点的散列矩阵(scatter matrix)的特征值分解的最小特征值γ₀。

最小特征值计算子模块3220首先计算内部点的散列矩阵。

具体的讲，对于当前内部点，给定该当前内部点邻域内的所有点作为样本，即n个样本。应该理解，这里的邻域可自由指定大小(在2D图片上，该邻域是正方形），但是与计算边界点的兴趣值时所选取的大邻域和小邻域没有关系。下面进行详细描述。

给定m维数据(即，当前内部点)的n个样本，表示为m×n矩阵，X=[x₁,x₂,...,x_n]，

样本平均值是 $\stackrel{\‾}{x}=\frac{1}{n}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{x}_j$

其中，x_j是X的第j列。

散列矩阵是m×n半正定矩阵： $S=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}(x_j-\stackrel{\‾}{x}){(x_j-\stackrel{\‾}{x})}^T=(\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\left(x_h{x}_j^T\right)-n{\stackrel{\‾}{\mathrm{xx}}}^{\text{T}}$

其中，T表示矩阵转置。

随后，最小特征值计算子模块3220通过对散列矩阵进行特征值分解得到最小的特征值。

内部点兴趣值计算子模块3230通过对法向和主曲率计算子模块3210计算的主曲率分值c₀和该内部点的散列矩阵的特征值分解的最小特征值γ₀的大小进行筛选来计算该内部点的兴趣值。

具体的讲，通过以下公式4来计算兴趣值。

$I\left(p\right)=\left\{\begin{array}{c}{c}_0,\mathrm{if}{c}_0>{\mathrm{\ϵ}}_1\mathrm{and}{\mathrm{\γ}}_0>{\mathrm{\ϵ}}_2\\ 0,\mathrm{else}\end{array}\right.$ 公式4

其中，ε₁和ε₂是大于0小于1的阈值。

也就是说，如果c₀>ε₁并且γ₀>ε₂，则将该内部点的主曲率分值c₀作为该内部点的兴趣值。否则，该内部点的兴趣值简单记为0。

特征点提取模块40根据所有边界点和内部点的兴趣值大小来提取特征点。例如，可通过设定一个阈值，将兴趣值大于该阈值的点选为特征点。

虽然以上描述了边界点兴趣值计算单元310包括法向和主曲率计算子模块3110，内部点兴趣值计算模块320包括法向和主曲率计算子模块3210，应该理解法向和主曲率计算子模块3110和法向和主曲率计算子模块3210可合并在一起用于计算输入的点云中的每一个像素点的法向和主曲率。

图7是示出根据本发明实施例的3D深度图特征点实时提取方法的流程图。

优选地，在执行以下步骤之前，3D深度图特征点实时提取方法可包括，对输入的3D深度图(即输入的点云)进行预处理的步骤。预处理包括对输入的点云进行去噪和平滑等处理。

在步骤S702，提取输入的3D深度图点云中的边界点。具体的讲，可首先提取位于输入的点云中深度不连续位置上的边缘点，随后选择位于边缘点预定范围内的点作为边界点。

在步骤S703，使用相同的主参数分别计算边界点和除边界点之外的内部点的兴趣值，所得兴趣值具有相同的数量级。

下面将参照图8详细描述计算输入的点云中的边界点的兴趣值的过程，参照图9详细描述计算输入的点云中的内部点的兴趣值的过程。

如图8所示，在步骤S801，计算输入的点云中的每一个边界点计算法向和主曲率，并将计算的主曲率转化为一个0-1区间的分值。

在步骤S802，以每一个边界点为中心选取一个小邻域和一个大邻域，其中，小邻域比大邻域的面积小。其中，小邻域里的像素点的信息用来衡量稳定性，大邻域里的像素点的信息用来衡量曲面变化情况。

在步骤S803，分别针对选取的小邻域和大邻域计算边界点的兴趣值。

具体的讲，通过使用上述等式1根据小邻域内的点来计算当前边界点的稳定性值。可通过上述等式2根据大邻域内的点来计算当前边界点的曲面变化值，最后可通过上述等式3计算当前边界点的兴趣值。

如图9所示，在步骤S901，计算输入的点云中的每一个内部点计算法向和主曲率，并将计算的主曲率转化为一个0-1区间的分值。

在步骤S902，计算内部点的散列矩阵的特征值分解的最小特征值。

在步骤S903，通过对计算的主曲率分值和该内部点的散列矩阵的特征值分解的最小特征值的大小进行筛选来计算该内部点的兴趣值。

虽然图8和图9描述了在不同的步骤中分别针对边界点和内部点计算法向和主曲率，但是应该理解，这两个步骤可合并在一起来计算输入的点云中的每一个像素点的法向和主曲率。

现返回图7，在步骤S704，根据所有边界点和内容点兴趣值大小来提取特征点。例如，可通过设定一个阈值，将兴趣值大于该阈值的点选为特征点。

图10示出了ISS的特征点检测结果，图11示出了NARF的特征点检测结果，图12是示出根据本发明实施例的3D深度图特征点实时提取设备和方法执行的特征点提取的效果图。

如图12所示，这里展示了两种数据上的结果。对于右图，本发明实施例仅仅检测书本所在矩形框内的特征点。检测到的特征点用小方格表示。实验结果表明，本发明实施例在合成数据上和真实场景上都具有很高的可重复性和稳定性，并且可以达到实时的效果。

从数据的角度来说，这里展示的兔子的合成数据，没有噪音，内部有曲面变化，没有背景所以边缘很少；而书本的真实场景的数据，则是有很多噪音，有背景所以边缘很明显。两种数据具有很大的差别。

将本发明实施例与现有技术中具有代表性的两个算法ISS和NARF进行对比，从时间上来说，本发明实施例的技术方案比这两个算法都快，以检测右图书本所在数据集为例，ISS算法非常慢，平均时间为350ms；NARF平均时间为80ms；而本发明技术方案的平均时间仅为30ms。从性能上说，本发明实施例的技术方案的结果比这两个算法效果好，结果如图10，图11，图12所示。图10显示的是ISS的特征点检测结果，该算法在合成数据上具有很好的性能，但是在真实数据上表现就很差，容易受到噪音的影响，而且对于边界信息不能很好的把握。图11显示的是NARF的特征点检测结果，该算法可以比较好的把握边界信息，在真实数据上表现尚可，但是该算法过于看重边界信息，所以对于内部特征把握不好，对于内部特征比较丰富的合成数据，表现不好。NARF算法试图将边界和内部点有所区分，但是由于机制不合理，所以结果有倾向性，边界点占优。而本发明实施例的技术方案则是对于两类不同的数据都有很好的结果，如图12所示。

尽管已经参照其示例性实施例具体显示和描述了本发明，但是本领域的技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (12)

1.一种3D深度图特征点实时提取设备，包括：

边界提取模块，用于提取输入的3D深度图点云中的边界点；

兴趣值计算模块，包括用于计算边界点兴趣值的边界点兴趣值计算模块和用于计算除边界点之外的内部点兴趣值的内部点兴趣值计算模块,边界点兴趣值计算模块和内部点兴趣值计算模块使用相同的主参数计算兴趣值，并且所得兴趣值具有相同的数量级；

特征点提取模块，根据所有边界点和内部点的兴趣值大小来提取特征点。

2.如权利要求1所述的3D深度图特征点实时提取设备，其中，边界提取模块提取位于输入的点云中深度不连续位置上的边缘点，并且选择位于边缘点预定范围内的点作为边界点。

3.如权利要求1所述的3D深度图特征点实时提取设备，其中，边界点兴趣值计算模块包括：

法向和主曲率计算子模块，对每一个边界点计算法向和主曲率，随后将计算的主曲率转化为主曲率分值；

邻域选取子模块，用于以每一个边界点为中心选取第一邻域和第二邻域，其中，第一邻域比第二邻域的面积小；

边界点兴趣值计算子模块，用于分别针对选取的第一邻域和第二邻域计算边界点的兴趣值。

4.如权利要求3所述的3D深度图特征点实时提取设备，其中，边界点兴趣值计算子模块通过下面的等式1根据第一邻域内的点来计算当前边界点的稳定性值：

$I_1\left(p\right)={\min }_{q_i\∈N\left(p\right)}(1-c_i\max (1-\frac{\left|\right|p-q_i\left|\right|}{\mathrm{\σ}},0))$ 等式1

其中，p表示当前边界点，q_i表示第一邻域内的点，N(p)是第一邻域内的点的集合，c_i表示第一邻域内的点的主曲率分值，σ是第一邻域的半径，||p-q_i||表示第一邻域内的点到当前边界点的距离，

其中，通过下面的等式2根据第二邻域内的点来计算当前边界点的曲面变化值：

$I_2\left(p\right)={\max }_i\left(c_i\right)\·{\max }_{i,j}(1-|n_i^T\·n_j\left|\right)$ 等式2

其中，p表示当前边界点，c_i表示第二邻域内的点的主曲率分值，n_i是法向，i、j分别是第二邻域内的点的下标，表示主曲率方向的差异，第一个max是对第二邻域内所有的点求一个最大分值，第二个max的对象是第二邻域内所有的点对，

其中，通过下面的等式3计算当前边界点的兴趣值：

I(p)=I₁(p)·I₂(p)    等式3。

5.如权利要求1所述的3D深度图特征点实时提取设备，其中，内部点兴趣值计算模块包括：

法向和主曲率计算子模块，对每一个内部点计算法向和主曲率，随后将计算的主曲率转化主曲率分值；

最小特征值计算子模块，用于计算内部点的散列矩阵的特征值分解的最小特征值；

内部点兴趣值计算子模块，用于通过对计算的主曲率分值和该内部点的散列矩阵的特征值分解的最小特征值的大小进行筛选来计算该内部点的兴趣值。

6.如权利要求5所述的3D深度图特征点实时提取设备，其中，内部点兴趣值计算子模块通过以下公式4来计算内部点的兴趣值，

$I\left(p\right)=\left\{\begin{array}{c}{c}_0,\mathrm{if}{c}_0>{\mathrm{\ϵ}}_1\mathrm{and}{\mathrm{\γ}}_0>{\mathrm{\ϵ}}_2\\ 0,\mathrm{else}\end{array}\right.$ 公式4

其中，ε₁和ε₂是大于0小于1的阈值，c₀是主曲率分值，γ₀是内部点的散列矩阵的特征值分解的最小特征值。

7.一种3D深度图特征点实时提取方法，包括：

提取输入的3D深度图点云中的边界点；

使用相同的主参数分别计算边界点和除边界点之外的内部点的兴趣值，所得兴趣值具有相同的数量级；

根据所有边界点和内容点兴趣值大小来提取特征点。

8.如权利要求7所述的3D深度图特征点实时提取方法，其中，提取输入的点云中的边界点的步骤包括：

提取位于输入的点云中深度不连续位置上的边缘点；

选择位于边缘点预定范围内的点作为边界点。

9.如权利要求7所述的3D深度图特征点实时提取方法，其中，计算边界点的兴趣值的步骤包括：

对每一个边界点计算法向和主曲率，随后将计算的主曲率转化为主曲率分值；

以每一个边界点为中心选取第一邻域和第二邻域，其中，第一邻域比第二邻域的面积小；

分别针对选取的第一邻域和第二邻域计算边界点的兴趣值。

10.如权利要求9所述的3D深度图特征点实时提取方法，其中，通过下面的等式1根据第一邻域内的点来计算当前边界点的稳定性值：

$I_1\left(p\right)={\min }_{q_i\∈N\left(p\right)}(1-c_i\max (1-\frac{\left|\right|p-q_i\left|\right|}{\mathrm{\σ}},0))$ 等式1

其中，p表示当前边界点，q_i表示第一邻域内的点，N(p)是第一邻域内的点的集合，c_i表示第一邻域内的点的主曲率分值，σ是第一邻域的半径，||p-q_i||表示第一邻域内的点到当前边界点的距离，

其中，通过下面的等式2根据第二邻域内的点来计算当前边界点的曲面变化值：

$I_2\left(p\right)={\max }_i\left(c_i\right)\·{\max }_{i,j}(1-|n_i^T\·n_j\left|\right)$ 等式2

其中，p表示当前边界点，c_i表示第二邻域内的点的主曲率分值，n_i是法向，i、j分别是第二邻域内的点的下标，表示主曲率方向的差异，第一个max是对第二邻域内所有的点求一个最大分值，第二个max的对象是第二邻域内所有的点对，

其中，通过下面的等式3计算当前边界点的兴趣值：

I(p)=I₁(p)·I₂(p)    等式3。

11.如权利要求7所述的3D深度图特征点实时提取方法，其中，计算内部点的兴趣值的步骤包括：

对每一个内部点计算法向和主曲率，随后将计算的主曲率转化主曲率分值；

计算内部点的散列矩阵的特征值分解的最小特征值；

通过对计算的主曲率分值和该内部点的散列矩阵的特征值分解的最小特征值的大小进行筛选来计算该内部点的兴趣值。

12.如权利要求11所述的3D深度图特征点实时提取方法，其中，通过以下公式4来计算内部点的兴趣值，

$I\left(p\right)=\left\{\begin{array}{c}{c}_0,\mathrm{if}{c}_0>{\mathrm{\ϵ}}_1\mathrm{and}{\mathrm{\γ}}_0>{\mathrm{\ϵ}}_2\\ 0,\mathrm{else}\end{array}\right.$ 公式4

其中，ε₁和ε₂是大于0小于1的阈值，c₀是主曲率分值，γ₀是内部点的散列矩阵的特征值分解的最小特征值。