CN104123724A - 一种3d点云物体的快速检测方法 - Google Patents

Abstract

本发明公开了属于计算机视觉技术领域的一种3D点云物体的快速检测方法。本发明为：步骤1：获取场景的三维点云数据，下采样待检测物体的三维点生成变密度同心箱模型；步骤2：计算变密度同心箱模型和数据库中待检测物体的三维点的法向量；步骤3：下采样变密度同心箱模型和数据库中待检测物体的三维点，提取各自的关键点，并生成其边缘直方图描述符；步骤4：生成变密度同心箱模型和数据库中待检测物体的关键点的局部参考坐标系；步骤5：进行关键点匹配；步骤6：进行相似性分析，最终发现待检测物体。本发明可以有效的减少环境检测的处理时间，同时保证环境检测的有效性。

Description

一种3D点云物体的快速检测方法

技术领域

本发明属于计算机视觉技术领域，特别涉及一种3D点云物体的快速检测方法。

背景技术

三维数据作为一种新的数字媒体形式，在近几年引起了人们的广泛关注。在数字化现实世界的过程中，三维数据具有以往二维图像所无法比拟的优势，它可以精确记录物体表面的几何属性以及物体在空间的三维信息。随着当前硬件技术不断地发展，计算机视觉系统将能够理想地捕捉到世界的三维点云数据，处理这些三维点云数据，以便利用其固有的深度信息。利用三维点云数据可以通过捕获研究物体的位姿来得到更详细的几何形状信息，所以三维点云中提供的大数据量对环境检测识别来说是非常有价值的。但是对三维点云数据的处理需要大量密集型计算算法，且在多数情况下需要实时交互，所以对三维点云数据耗费时间长。变密度同心箱视觉是指人类视觉系统对于客观世界的视觉采样在空间分布上是不均匀的，是以变密度同心箱为中心逐渐降低感知分辨率的采样过程。在中心保持高分辨率，越往外分辨率越低。使用变密度同心箱视觉的处理方法可以降低处理三维点云数据的时间。

发明内容

本发明提出一种3D点云物体的快速检测方法，其特征在于，该方法的具体步骤为：

步骤1：获取三维场景的三维点云数据，下采样待检测物体的三维点生成变密度同心箱模型；

步骤2：计算变密度同心箱模型和数据库中待检测物体的三维点的法向量；

步骤3：下采样变密度同心箱模型和数据库中待检测物体的三维点，将下采样后的三维点作为关键点，并生成其各自的边缘直方图描述符；

所述边缘直方图描述符用来描述关键点的法向量信息；

步骤4：生成变密度同心箱模型和数据库中待检测物体的所有关键点的局部参考坐标系；

步骤5：进行关键点匹配；

步骤6：进行相似性分析，最终发现待检测物体。

所述步骤1中变密度同心箱模型生成步骤具体为：

子步骤11：生成一个体积为S₀的箱子，设为0级同心箱；S₀为覆盖住待检测物体的最小体积；

子步骤12：对0级同心箱内的待检测物体的三维点云数据进行下采样，得到体积为S_m的m级同心箱；

子步骤13：依次对0级和k级同心箱之间的待检测物体的三维点云数据进行下采样，得到m+1个同心箱，其中，k＝1，…，m；

其中，k级同心箱的体积为其所包围的待检测物体的三维点云数据的密度为d_k：d_k＝d₀+k(d_m-d₀)/m，d₀为0级同心箱与1级同心箱之间所包围的待检测物体的三维点云数据的密度，d_m为m级同心箱所包围的待检测物体的三维点云数据的密度；

同心箱的体积由0级到m级逐渐减小；

同心箱所包围的检测物体的三维点云数据的密度由0级到m级逐渐增大；

子步骤14：得到的m+1个同心箱构成变密度同心箱模型；

所述变密度同心箱模型的同心箱中心为F(0，0，0)，位于m+1个同心箱的中心；F＝F'-S₀/2，F′是场景坐标系的同心箱中心；F'＝δ_m+S_m/2，δ_m为m级同心箱与m-1级同心箱之间的距离差；k级同心箱与k-1级同心箱之间的距离差为δ_k： ${\mathrm{\δ}}_k=\frac{k(S_0-S_m+2F)}{2m},$ δ_k∈R³。

所述步骤6中进行相似性分析后若没有发现待检测物体，则引入扩张因子G，通过扩大同心箱体积等级来增加其包围的三维点的数量，返回步骤2重新对待检测物体进行检测；

所述扩大同心箱体积等级具体是：使扩大后的0级同心箱的体积不变，m级同心箱的密度不变，扩大后的m-j′级同心箱的密度变得和扩大前m-j′+1级同心箱密度一样，j′＝1，2，…，m-1。

所述扩张因子G＝(S_x，S_y，S_z)∈R³，其中S_x，S_y，S_z分别为x轴，y轴和z轴方向的比例因子；

k级同心箱在x轴方向上的体积扩张公式为：

$S_{\mathrm{kx}}^{\′}=S_{\mathrm{kx}}+2(e^{\frac{1}{S_{\mathrm{kx}}}}-e^{-\frac{1}{S_x}}){\mathrm{\δ}}_{\mathrm{kx}}$

其中，S_kx表示x轴方向上k级同心箱体积的大小；S′_kx表示扩张后的x轴方向上k级同心箱体积的大小；δ_kx表示x轴方向上k级同心箱与k-1级同心箱之间的距离差；

k级同心箱在y轴方向上的体积扩张公式为：

$S_{\mathrm{ky}}^{\′}=S_{\mathrm{ky}}+2(e^{\frac{1}{S_{\mathrm{ky}}}}-e^{-\frac{1}{S_y}}){\mathrm{\δ}}_{\mathrm{ky}}$

其中，S_ky表示y轴方向上k级同心箱体积的大小；S′_ky表示扩张后的y轴方向上k级同心箱体积的大小；δ_ky表示y轴方向上k级同心箱与k-1级同心箱之间的距离差；

k级同心箱在z轴方向上的体积扩张公式为：

$S_{\mathrm{kz}}^{\′}=S_{\mathrm{kz}}+2(e^{\frac{1}{S_{\mathrm{kz}}}}-e^{-\frac{1}{S_z}}){\mathrm{\δ}}_{\mathrm{kz}}$

其中，S_kz表示z轴方向上k级同心箱体积的大小；S′_kz表示扩张后的z轴方向上k级同心箱体积的大小；δ_kz表示z轴方向上k级同心箱与k-1级同心箱之间的距离差。

发明的有益效果：较之对全场景的三维点云数据进行检测，本发明使用动态变密度同心箱的方法，可以提高物体的检测速度和对物体检测的有效性，本发明方法的检测速度快了一倍不止；相对检测简单的物体，有时能快6到7倍。

附图说明

图1为本发明提出的一种3D点云物体的快速检测方法的流程图；

图2为变密度同心箱模型的平面示意图；

图3(a)为扩张因子G＝(0，0，0)时的变密度同心箱模型示意图；

图3(b)为扩张因子G＝(20，20，20)时的变密度同心箱模型示意图；

图3(c)为扩张因子G＝(40，40，40)时的变密度同心箱模型示意图；

图3(d)为扩张因子G＝(60，60，60)时的变密度同心箱模型示意图；

具体实施方式

下面结合附图对发明做进一步详细的说明。

在对场景中的物体检测之前，我们已知待检测物体的所有特征，比如形状、体积、纹理、所有的三维点云坐标等，将这些已知特征存储于数据库中，然后再对场景中的待检测物体进行检测。

本发明方法的流程图如图1所示，具体为：

步骤1：获取三维(3D)场景的三维点云数据，下采样待检测物体的三维点生成变密度同心箱模型。

因为大型点云场景点云数量较多且复杂，计算机很难处理。所以一般情况下，是已知待检测物体(其特征已知)在某一片区域，然后设定这片区域为场景。比如要检测一个篮球，已知这个篮球在桌子上，所以设定此时的桌子即为场景。然后通过3D感知工具(比如微软的kinect)获取场景的三维点云数据。

在生成变密度同心箱模型之前，首先利用现有的自动检测识别技术初步检测出待检测物体。因为自动检测识别技术用到的物体的特征较少，所以不能准确的检测出来所要检测的物体来。比如，桌子上存在一个足球和一个篮球，自动检测识别技术中若只用到“圆形”这一个特征，那么会将篮球和足球同时检测出来，不能精确检测出哪一个是篮球。所以我们采用下面的方法进行精确地检测。

下采样(也称降采样)是指在采样之后再进行采样，但是同时满足采样定理。下采样半径(下采样因子)一般是大于1的整数或有理数。

变密度同心箱模型生成步骤具体为：

11)生成一个体积为S₀的箱子，S₀为覆盖住待检测物体的最小体积，将该箱子设为0级同心箱；

12)对0级同心箱内的待检测物体的三维点云数据进行下采样，得到体积为S_m的m级同心箱；

13)依次对0级和k级同心箱之间的待检测物体的三维点云数据进行下采样，得到m+1个同心箱，其中，k＝1，…，m；

利用线性差值法得到第k个同心箱的体积公式为：

$S_k=\frac{({\mathrm{kS}}_m-{\mathrm{kS}}_0+{\mathrm{mS}}_0)}{m};$

利用线性差值法得到第k个同心箱所包围的待检测物体的三维点云数据的密度计算公式为：

d_k＝d₀+k(d_m-d₀)/m；

其中，d₀为0级同心箱与1级同心箱之间所包围的待检测物体的三维点云数据的密度，d_m为m级同心箱(即同心箱中心)所包围的待检测物体的三维点云数据的密度。

不同级别的同心箱对应不同的点云密度，且点云密度依次增大，即d₀<d₁<···<d_m。

不同级别的同心箱对应不同的体积，且体积依次减小，即S₀>S₁>···>S_m。

14)得到的m+1个同心箱构成变密度同心箱模型；其平面示意图如图2所示。

为了方便形式化，变密度同心箱模型的同心箱中心参数F(0，0，0)选在m+1个同心箱的中心。这样，F＝F'-S₀/2，F′是场景坐标系的同心箱中心，由0级同心箱的坐标确定。

假设k级同心箱与k-1级同心箱之间的距离差为δ_k∈R³(即k级同心箱的位移)，则δ₀＝(0，0，0)，δ_m+S_m/2＝F'，δ_m为m级同心箱与m-1级同心箱之间的距离差。利用线性差值法计算每个同心箱的位移公式为：

$S_k=\frac{k(S_0-S_m+2F)}{2m};$

其中，δ_k仅被定义在m>0时，换言之同心箱应至少有2个等级。

步骤2：计算变密度同心箱模型和数据库中待检测物体的三维点的法向量。

采用k邻域的方法计算出变密度同心箱模型和数据库中待检测物体的三维点的法向量，将每个三维点的表面所产生的周围邻域的大小记为k_n。

在计算法向量的时候，先处理m级同心箱中的三维点，然后依次往外计算，直到0级同心箱为止，这样可以避免同时处理大量点云数据，减少处理时间。

步骤3：下采样变密度同心箱模型和数据库中待检测物体的三维点，将下采样后的三维点作为关键点，并生成其各自的边缘直方图描述符；

所有三维点都看做是一个半径为r_k的质点，利用下采样算法采样变密度同心箱模型和数据库中待检测物体的三维点，提取出各自的关键点。设变密度同心箱模型中待检测物体的关键点集为K_s，数据库中待检测物体的关键点集为K_m。再用Roberts算子、Sobel算子、Prewitt算子、Canny算子等求得各自关键点的边缘直方图，边缘直方图描述的是这些关键点的法向量的信息(方向、大小等)，将其作为关键点的描述符，即边缘直方图描述符。边缘直方图描述符是由关键点的法向量组成的矩阵。在变密度同心箱模型中待检测物体的关键点的r_ss邻域内求得其边缘直方图描述符集为D_s，在数据库中待检测物体的关键点的r_sm邻域内求得其边缘直方图描述符集为D_m。

步骤4：生成变密度同心箱模型和数据库中待检测物体的所有关键点的局部参考坐标系；

在变密度同心箱模型中待检测物体的关键点的r_ls邻域内生成局部参考坐标系集LRF_s，在数据库中待检测物体的关键点的r_lm邻域内生成局部参考坐标系集LRF_m。

步骤5：进行关键点匹配；

采用kd树法将变密度同心箱模型中待检测物体的关键点的边缘直方图描述符和数据库中待检测物体的关键点的边缘直方图描述符进行匹配；即计算d_mi和d_sj之间的欧氏距离，如果其小于d²max(设定的阈值)，将相似对应点(k_mi，d_mi，lrf_mi)和(k_sj，d_sj，lrf_sj)存入到相似对应点集C中；

k_mi表示数据库中待检测物体的第i个关键点；k_mi属于关键点集K_m；

d_mi表示数据库中待检测物体的第i个关键点的边缘直方图描述符；d_mi属于边缘直方图描述符集D_m；

lrf_mi表示数据库中待检测物体的第i个关键点的局部参考坐标系；lrf_mi属于局部参考坐标系集LRF_m；

k_sj表示变密度同心箱模型中待检测物体的第j个关键点；k_sj属于关键点集K_s；

d_sj表示变密度同心箱模型中待检测物体的第j个关键点的边缘直方图描述符；d_sj属于边缘直方图描述符集D_s；

lrf_sj表示变密度同心箱模型中待检测物体的第j个关键点的局部参考坐标系；lrfs_j属于局部参考坐标系集LRF_s。

步骤6：进行相似性分析，最终发现待检测物体。

计算相似对应点集C中lrf_mi到lrf_sj的转换参数向量T；这里的转换是指将两者局部参考坐标系通过刚体转换(平移或旋转)，然后才可以执行下面的步骤。

计算B＝Tk_mi；其中，B为数据库中的中间参数向量；

计算B′＝Tk_sj；其中，B′为变密度同心箱模型中的中间参数向量；

找到B和B′中存在的相同元素个数设为h，如果h大于V_h(设定的阈值)，则发现待检测物体；否则，引入扩张因子G，通过扩大同心箱体积等级来增加其包围的三维点的数量，返回步骤2重新对待检测物体进行检测。

使用扩张因子后0级同心箱的体积不变，m级同心箱密度不变。经过扩张因子之后，m-1级同心箱的密度随之增大变得和m级同心箱密度一样，m-2级同心箱的密度变得和扩张之前的m-1级同心箱的密度一样，以此类推。

扩张因子G＝(S_x，S_y，S_z)∈R³，其中S_x，S_y，S_z分别为x轴，y轴和z轴方向的比例因子。

k级同心箱在x轴方向上的体积扩张公式为：

$S_{\mathrm{kx}}^{\&prime;}=S_{\mathrm{kx}}+2(e^{\frac{1}{S_{\mathrm{kx}}}}-e^{-\frac{1}{S_x}}){\mathrm{\&delta;}}_{\mathrm{kx}}$

其中，S_kx表示x轴方向上k级同心箱体积的大小；S′_kx表示扩张后的x轴方向上k级同心箱体积的大小；δ_kx表示x轴方向上k级同心箱与k-1级同心箱之间的距离差；

k级同心箱在y轴方向上的体积扩张公式为：

$S_{\mathrm{ky}}^{\&prime;}=S_{\mathrm{ky}}+2(e^{\frac{1}{S_{\mathrm{ky}}}}-e^{-\frac{1}{S_y}}){\mathrm{\&delta;}}_{\mathrm{ky}}$

其中，S_ky表示y轴方向上k级同心箱体积的大小；S′_ky表示扩张后的y轴方向上k级同心箱体积的大小；δ_ky表示y轴方向上k级同心箱与k-1级同心箱之间的距离差；

k级同心箱在z轴方向上的体积扩张公式为：

$S_{\mathrm{kz}}^{\&prime;}=S_{\mathrm{kz}}+2(e^{\frac{1}{S_{\mathrm{kz}}}}-e^{-\frac{1}{S_z}}){\mathrm{\&delta;}}_{\mathrm{kz}}$

其中，S_kz表示z轴方向上k级同心箱体积的大小；S′_kz表示扩张后的z轴方向上k级同心箱体积的大小；δ_kz表示z轴方向上k级同心箱与k-1级同心箱之间的距离差。

如图3(a)～3(d)所示分别为扩张因子G＝(0，0，0)、G＝(20，20，20)、G＝(40，40，40)和G＝(60，60，60)时的变密度同心箱模型示意图。

因为当扩张因子G趋于∞时这个变密度同心箱模型将会是没有凹形的，所以每个级别的同心箱都是有界的，扩张后每个等级的最大值的下限在δ_k-G和(0，0，0)之间，最小值的上限在δ_k+S_k+G和S₀之间。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.一种3D点云物体的快速检测方法，其特征在于，该方法的具体步骤为：

步骤1：获取三维场景的三维点云数据，下采样待检测物体的三维点生成变密度同心箱模型；

步骤2：计算变密度同心箱模型和数据库中待检测物体的三维点的法向量；

步骤3：下采样变密度同心箱模型和数据库中待检测物体的三维点，将下采样后的三维点作为关键点，并生成其各自的边缘直方图描述符；

所述边缘直方图描述符用来描述关键点的法向量信息；

步骤4：生成变密度同心箱模型和数据库中待检测物体的所有关键点的局部参考坐标系；

步骤5：进行关键点匹配；

步骤6：进行相似性分析，最终发现待检测物体。

2.根据权利要求1所述的方法，其特征在于，所述步骤1中变密度同心箱模型生成步骤具体为：

子步骤11：生成一个体积为S₀的箱子，设为0级同心箱；S₀为覆盖住待检测物体的最小体积；

子步骤12：对0级同心箱内的待检测物体的三维点云数据进行下采样，得到体积为S_m的m级同心箱；

子步骤13：依次对0级和k级同心箱之间的待检测物体的三维点云数据进行下采样，得到m+1个同心箱，其中，k＝1，…，m；

其中，k级同心箱的体积为其所包围的待检测物体的三维点云数据的密度为d_k：d_k＝d₀+k(d_m-d₀)/m，d₀为0级同心箱与1级同心箱之间所包围的待检测物体的三维点云数据的密度，d_m为m级同心箱所包围的待检测物体的三维点云数据的密度；

同心箱的体积由0级到m级逐渐减小；

同心箱所包围的检测物体的三维点云数据的密度由0级到m级逐渐增大；

子步骤14：得到的m+1个同心箱构成变密度同心箱模型；

所述变密度同心箱模型的同心箱中心为F(0，0，0)，位于m+1个同心箱的中心；F＝F'-S₀/2，F′是场景坐标系的同心箱中心；F'＝δ_m+S_m/2，δ_m为m级同心箱与m-1级同心箱之间的距离差；k级同心箱与k-1级同心箱之间的距离差为δ_k： ${\mathrm{\&delta;}}_k=\frac{k(S_0-S_m+2F)}{2m},$ δ_k∈R³。

3.根据权利要求2所述的方法，其特征在于，所述步骤6中进行相似性分析后若没有发现待检测物体，则引入扩张因子G，通过扩大同心箱体积等级来增加其包围的三维点的数量，返回步骤2重新对待检测物体进行检测；

所述扩大同心箱体积等级具体是：使扩大后的0级同心箱的体积不变，m级同心箱的密度不变，扩大后的m-j′级同心箱的密度变得和扩大前m-j′+1级同心箱密度一样，j′＝1，2，…，m-1。

4.根据权利要求3所述的方法，其特征在于，所述扩张因子G＝(S_x，S_y，S_z)∈R³，其中S_x，S_y，S_z分别为x轴，y轴和z轴方向的比例因子；

k级同心箱在x轴方向上的体积扩张公式为：

$S_{\mathrm{kx}}^{\&prime;}=S_{\mathrm{kx}}+2(e^{\frac{1}{S_{\mathrm{kx}}}}-e^{-\frac{1}{S_x}}){\mathrm{\&delta;}}_{\mathrm{kx}}$

其中，S_kx表示x轴方向上k级同心箱体积的大小；S′_kx表示扩张后的x轴方向上k级同心箱体积的大小；δ_kx表示x轴方向上k级同心箱与k-1级同心箱之间的距离差；

k级同心箱在y轴方向上的体积扩张公式为：

$S_{\mathrm{ky}}^{\&prime;}=S_{\mathrm{ky}}+2(e^{\frac{1}{S_{\mathrm{ky}}}}-e^{-\frac{1}{S_y}}){\mathrm{\&delta;}}_{\mathrm{ky}}$

其中，S_ky表示y轴方向上k级同心箱体积的大小；S′_ky表示扩张后的y轴方向上k级同心箱体积的大小；δ_ky表示y轴方向上k级同心箱与k-1级同心箱之间的距离差；

k级同心箱在z轴方向上的体积扩张公式为：

$S_{\mathrm{kz}}^{\&prime;}=S_{\mathrm{kz}}+2(e^{\frac{1}{S_{\mathrm{kz}}}}-e^{-\frac{1}{S_z}}){\mathrm{\&delta;}}_{\mathrm{kz}}$

其中，S_kz表示z轴方向上k级同心箱体积的大小；S′_kz表示扩张后的z轴方向上k级同心箱体积的大小；δ_kz表示z轴方向上k级同心箱与k-1级同心箱之间的距离差。