CN104298971B - 一种3d点云数据中的目标识别方法 - Google Patents

Abstract

本发明公开了一种3D点云数据中的目标识别方法，将2D SIFT特征扩展至3D场景，将SIFT关键点与表面法向量直方图相结合实现了在3D深度数据中具有尺度不变性的局部特征提取，特征稳定可靠；提出的语言模型，克服了传统视觉词袋模型用局部特征描述全局特征时不够精确，易受噪声影响的缺点，大大提高了使用局部特征对目标全局特征进行描述的精度。该方法模型精确，识别效果精确可靠，可应用与任何室外复杂或简单的场景下的目标识别。

Description

一种3D点云数据中的目标识别方法

技术领域

本发明属于环境感知技术领域，具体涉及一种基于语言模型的3D点云数据中的目标识别方法，用于自主无人智能车辆的环境感知、室内目标识别和导航等方面。

背景技术

随着科学技术的发展，自主无人智能车辆的研究越来越成为各国研究机构的研究热点之一。自主无人智能车辆可以有效减少交通事故死亡率，在无人条件下完成危险环境作业，大大提高人类生活的智能化水平。而环境感知技术是自主智能车的核心技术之一。激光雷达和摄像头是目前无人车技术中的核心环境感知传感器。激光3D点云数据中的目标识别方法是提高自主智能车的环境感知和即时定位与地图构建(SLAM)技术水平以及自主智能车的自主导航中的关键技术。

3D点云下的目标识别一般包括特征提取和特征匹配两个阶段。目前3D点云下的目标识别方法依据提取的特征种类主要可分为以下两种：采用全局特征的识别方法和采用局部特征的识别方法。全局特征以提取目标的全局轮廓特征为主，在以往的实验中因对目标形变、目标因遮挡残缺不全等因素过于敏感，而渐渐被一些具有尺度与旋转不变性的稳定局部特征所替代。依赖局部特征进行目标识别的方法是目前应用最为广泛的方法之一。在特征匹配阶段，特征匹配方法也可以分为两类：直接特征点匹配方法和间接特征点匹配方法。直接特征点匹配方法直接在模型与待辨识物体上计算所提取特征的匹配程度，通过统计匹配成功的特征点百分比来进行目标辨识；而间接特征点匹配方法则通过对模型中的特征进行进一步的组合，实现通过局部特征对全局特征的描述，然后在模型和待匹配目标之间进行这些特征组合间的匹配来进行目标的辨识。稳定的局部特征加上合适的直接特征点匹配方法，在一些场合的应用中取得了不错的效果，但如何用稳定的局部特征对目标物体进行全局特征描述依旧是实现复杂场景下目标识别的难点之一。基于局部特征与视觉词袋模型的方法解决了用局部特征对物体进行全局特征描述的语义鸿沟，在图像处理领域取得了不错的效果。但传统的视觉词袋模型忽略了众多局部特征在表述目标全局特征过程中内在的空间语序逻辑，大大降低了其在对物体进行全局特征描述时的描述精度，因此使该方法的识别精度大打折扣。

发明内容

为了提高3D点云数据中的模型描述精度和目标识别精度，胜任城市复杂环境下的目标识别任务或其他应用场合的目标识别任务，本发明提出了一种基于语言模型的3D点云数据中的目标识别方法，本发明通过以下技术方案实现：

一种3D点云数据中的目标识别方法，包括离线语言模型训练步骤及在此语言模型基础上进行的对输入3D点云块的在线识别步骤，所述离线语言模型训练步骤具体包括以下步骤：

步骤1、对标记类别的点云块样本进行特征提取，具体包括：

A11、对每个点云块中的关键点进行提取，则提取到的第m个关键点表达为：k_m(x,y,z,I_intensity)，其中，x,y,z为关键点的坐标，I_intensity为传感器检测出的该关键点的反射强度；其中，以传感器扫描窗口中心点为原点，以传感器扫描起始平面中的水平射线为x轴，传感器的旋转对称轴为z轴，y轴根据x轴z轴按右手螺旋定则确定；

A12、对步骤A11中得到的关键点进行主成分分析和法向量直方图特征提取，得到各关键点的法向量与其球形邻域中各点法向量的三个夹角α、φ和θ；将360°圆周角按照角β进行等角栅格划分，得到360/β个角栅格；统计所有关键点对应的夹角α、φ和θ的值分别落入各个角栅格中的比例，然后得到第m个关键点的夹角α_m ⁰、φ_m ⁰和θ_m ⁰分别对应的直方图α_m、φ_m和θ_m；最后得到关键点的法向量直方图的特征描述子d_m＝{α_m,φ_m,θ_m,ε_m,k_m(x,y,z,I_intensity)}，所述β的取值范围为5°～20°，ε_m表示第m个关键点所在点云块的所有点中z轴坐标的最大值和最小值的差值ε，同时根据样本标记的类别信息对特征描述子进行类别标记，得到带有类别标记信息的特征描述子：(d_m,c_m)＝{α_m,φ_m,θ_m,ε_m,k_m(x,y,z,I_intensity),c_m}，其中的c_m代表第m个关键点所属的类别；

步骤2、对所提取特征进行聚类，生成视觉单词；

将所有类别中的所有特征描述子进行聚类，得到N_vw类特征描述子；将属于同一个聚类的特征描述子记为一个视觉单词，即得到N_vw个视觉单词，根据各个特征描述子所属类别，得到各视觉单词属于各个类别的后验概率：

其中，P(v_j|c_i)表示第j个视觉单词v_j属于第i个类别c_i的后验概率；n_vw(c_i)表示从类别c_i中提取的视觉单词总数，n_vot(v_j)表示属于视觉单词v_j中的特征描述子的总数，n_vot(c_i,v_j)为类别c_i中提取的属于视觉单词v_j的特征描述子个数，n_ftr(c_i)和n_ftr(c_k)分别表示从类别c_i和类别c_k中提取得到的特征描述子总数；C为所有类别组成的集合；

步骤3、对视觉单词进行空间编码，生成语言模型，具体包括如下步骤：

A31、获得所有视觉单词所属的高度空间：

对每个视觉单词v_j，查找其所有特征描述子中最大的差值ε，记为ε_max，对属于视觉单词v_j的所有特征描述子的z轴坐标进行尺度变换，即将z轴坐标值变换为：z×ε_max/ε_m，得到变换后的特征描述子；

将z轴从0至传感器安装高度的范围进行等间隔划分，使划分后的栅格区间大于激光雷达传感器分辨率；

统计属于每个视觉单词的变换后特征描述子在各个栅格区间的分布直方图，然后按照各栅格区间中变换后特征描述子百分比按照从大到小进行排列，并依次将百分比累加，当累加到大于或等于80％时，参与累加的栅格区间则为该视觉单词所属的高度区间；

A32、获得所有类别的语言模型，完成语言模型构建：

针对属于每个类别中的所有视觉单词所属的高度区间包括的所有的栅格区间，从第一个视觉单词个数不为0的栅格区间开始，依次向上进行标记，至最后一个视觉单词不为0的栅格区间为止，然后对各个标记的栅格区间中的视觉单词进行编号，如此得到各个类别对应的语言模型，其中类别c_i对应的语言模型为： 和分别表示类别c_i中第一个、第二个和最后一个栅格区间中包含的视觉单词的集合，为类别c_i中视觉单词不为0的栅格区间总个数；

所述对输入3D点云块的在线识别具体包括如下步骤：

步骤4、按所述步骤1的方法对待识别点云块进行特征提取，得到不带类别信息的待识别特征描述子；

步骤5、计算每个待识别特征描述子与步骤3的语言模型中所有视觉单词的聚类中心的距离,则该待识别特征描述子属于最小距离对应的视觉单词；则该最小距离对应的视觉单词即为与该待识别特征描述子匹配的视觉单词；

步骤6、将匹配到的视觉单词分别与每个类别对应的语言模型进行匹配，其中，与类别c_i的匹配过程如下：

B61、计算待识别点云块的z轴坐标的最小值z_min和最大值z_max；

B62、以为精度将待识别点云块的高度空间划分为个栅格区间；

B63、获得步骤5中每个匹配的视觉单词中的待识别特征描述子在所述个栅格区间中的分布直方图，然后按照各栅格区间中待识别特征描述子的百分比按照从大到小进行排序，并依次将百分比累加，当累加到大于或等于80％时，参与累加的栅格区间则为该匹配的视觉单词所属的高度区间；

B64、获得待识别点云块与各个语言模型的匹配率，其中，待识别点云块与类别c_i对应的语言模型的匹配率根据公式获得；其中n_vw(c_i)为从待识别点云块得到的属于类别c_i的匹配的视觉单词总数，n_vw为待识别点云块提取得到的匹配的视觉单词总数，为语言模型中栅格区间中的匹配的视觉单词总数，为栅格区间总数，为步骤A32中栅格区间中视觉单词与步骤B63中的栅格区间中匹配的视觉单词互相匹配的个数；

B65、取步骤B64得到的最大匹配率，并判断：当最大匹配率大于或等于设定阈值，则匹配成功，待识别点云块属于最大匹配率对应的类别；当最大匹配率小于设定阈值，匹配失败，无法确定该点云类别，所述设定阈值的取值范围为20％～35％。

所述步骤1的A11中提取关键点的方法具体包括如下步骤：

S21、对点云块分布空间采用边长为ε的立方体栅格进行划分，将其内含有点云点的立方体栅格的几何中心作为采样后的点云点，将该立方体栅格称为该采样后点云点对应的采样栅格；增大立方体栅格的边长，对采样后的点云点继续采样，如此重复采样N_octaves次，对点云块中的点云点进行N_octaves次采样；将点云块内未经过采样的点云点作为金字塔最底层，将不断增大的采样栅格对应的采样后的点云点依次存放在金字塔最底层以上的各层中，形成具有N_octaves+1层的点云金字塔；采样后的点云点的反射强度I_intensity等于对应的采样栅格中的所有点云点的平均反射强度；所述N_octaves≥3，ε≥激光雷达传感器分辨率；

S22、对每一层点云金字塔中的每个点云点分别进行m次不同卷积尺度的高斯卷积，并获得m个不同卷积尺度的高斯响应值，进而对每个点的相邻两个高斯响应值作差，得到m-1个高斯差分值，所述m≥3；

S23、针对点云金字塔各层中的每个点云点，如果对应的n-1个高斯差分值均为极值，保留该点云点，成为该层的一个极值点；否则，从该层中去除该点云点；

S24、从点云金字塔的最顶层开始，判断某个极值点在点云金字塔下一层中对应的采样栅格中是否存在极值点：

如果存在极值点，在该极值点的下一层中对应的采样栅格中寻找极值点，一直寻找到点云金字塔的最底层；

如果没有极值点，返回到点云金字塔的最顶层，判断其他极值点是否在以下各层中对应的采样栅格中存在极值点；

当某一个极值点在点云金字塔各层中对应的采样栅格中都存在极值点，则保留点云金字塔最底层中对应采样栅格中的极值点，作为关键点。

在所述步骤3中对视觉单词进行空间编码之前，先对视觉单词进行滤波和归类，具体为：

找到视觉单词v_j所属的后验概率值最大的类别若其后验概率值大于或等于剩下的属于其余各类别对应的后验概率之和，则保留该视觉单词v_j，小于则去除该视觉单词v_j；

对于滤波后的每个视觉单词，按照其属于各个类别的后验概率大小进行排序，判断前个后验概率值是否大于80％：如果大于，则保留；如果小于或等于，则不保留；则最终将该视觉单词归入保留的后验概率对应的类别中。

有益效果：

本发明将2D SIFT特征扩展至3D场景，将SIFT关键点与表面法向量直方图相结合实现了在3D深度数据中具有尺度不变性的局部特征提取，特征稳定可靠；提出的语言模型，克服了传统视觉词袋模型用局部特征描述全局特征时不够精确，易受噪声影响的缺点，大大提高了使用局部特征对目标全局特征进行描述的精度。该方法模型精确，识别效果精确可靠，可应用与任何室外复杂或简单的场景下的目标识别。

附图说明

图1是本发明整体流程图；

图2是本发明提取3D SIFT关键点中，构建点云金子塔的示意图。

图3是本发明提取表面法向量夹角直方图的示意图。

图4是本发明生成视觉单词，构建语言模型的示意图。

具体实施方式

下面结合附图和实施例，对本发明进行详细描述。

一种基于语言模型的3D点云数据中的目标识别方法，包括离线语言模型训练步骤及在此语言模型基础上进行的对输入3D点云块的在线识别步骤。

本发明提出的目标识别方法需要预先标记的类别样本，如图1所示，各样本可以是从Velodyne 3D激光雷达点云中分割好的目标点云块。识别目标也为分割好的点云块，每个点云块代表一个物体；且待识别目标与样本用同样的传感器在同样条件下采样得到，用同样的点云分割方法完成点云分割。在实际无人车应用中，样本和待识别点云块均可从Velodyne 3D激光雷达传感器对城市或乡村环境的采样中分割得到。该方法满足无人车的实际应用需求。

本实施例待共针对四个类别的目标进行离线模型训练：汽车，行人，树木，骑自行车/摩托车的人。

步骤一所述离线训练过程，具体包含以下步骤：

步骤1、对标记类别的点云块样本进行特征提取，具体包括：

A11、对每个点云块中的关键点进行提取，则提取到的第m个关键点表达为：k_m(x,y,z,I_inensity)，其中，x,y,z为关键点的坐标，其中，以传感器扫描窗口中心点为原点，以传感器扫描起始平面中的水平射线为x轴，传感器的旋转对称轴为z轴，y轴根据x轴z轴按右手螺旋定则确定；I_intensity为传感器检测出的该关键点的反射强度，具体为：

对点云块分布空间采用边长为ε的立方体栅格进行划分，有的立方体栅格中具有多个点云点，而有的立方体栅格中没有点云点，将其内含有点云点的立方体栅格的几何中心作为采样后的点云点，将该立方体栅格称为该采样后点云点对应的采样栅格；增大立方体栅格的边长，对采样后的点云点继续采样，如此重复采样N_octaves次，对点云块中的点云点进行N_octaves次采样，实现了依据栅格化尺度对原始输入点云进行降采样。如图2所示，将点云块内未经过采样的点云点作为金字塔最底层，将不断增大的采样栅格对应的采样后的点云点依次存放在金字塔最底层以上的各层中，形成具有N_octaves+1层的点云金字塔；采样后的点云点的反射强度I_intensity等于对应的采样栅格中的所有点云点的平均反射强度；所述N_octaves≥3，ε≥激光雷达传感器分辨率；本实施例取ε₀＝0.1m，N_octaves＝4。将每层采样后输出的点云数据用KD-Tree进行存储，得到点云金子塔的N_octaves个用KD-Tree存储的数据组。

对每一层点云金字塔中的每个点云点分别进行m次不同卷积尺度的高斯卷积，并获得m个不同卷积尺度的高斯响应值，进而对每个点的相邻两个高斯响应值作差，得到m-1个高斯差分值，所述m≥3。本实施例中，设定高斯卷积最小尺度σ_min＝0.2m和点云金字塔各层的卷积尺度个数M_interval＝3，生成M_interval个尺度值σ_l＝2^l·σ_min，l∈[0～(M_interval-1)],表示对金字塔当前层的第l次高斯卷积。对每层的KD-Tree,设定该层的搜索半径为r_i＝3.0·ε_i,计算KD-tree中各个点的以r_i为半径的球形邻域中的点集P^k，k为r_i半径邻域内的点的个数。对每个高斯卷积尺度σ_l，计算P^k中各点与中心点的高斯响应：

DOG((p₀,σ_l)＝L((p₀,σ_l+1)-L((p₀,σ_l),l∈[0～(M_interval-2)]

DOG(p₀,σ_l)为p₀点的高斯差分，其中，(x_j,y_j,z_j)为P^k中第j个点的坐标，I^j _intensity为传感器检测出的第j个点的反射强度，j＝1～k,在金字塔每一层中以各个点作中心点遍历计算该点处的高斯差分值，共N_octaves层，在金字塔各层的每个点处，都得到一组(即M_interval-1个)与相邻高斯卷积尺度之间的高斯差分值，为金字塔每层生成M_interval-1个DOG子层。

针对点云金字塔各层中的每个点云点，如果对应的n-1个高斯差分值均为极值，保留该点云点，成为该层的一个极值点；否则，从该层中去除该点云点；

从点云金字塔的最顶层开始，判断某个极值点在点云金字塔下一层中对应的采样栅格中是否存在极值点：

如果存在极值点，在该极值点的下一层中对应的采样栅格中寻找极值点，一直寻找到点云金字塔的最底层；

如果没有极值点，返回到点云金字塔的最顶层，判断其他极值点是否在以下各层中对应的采样栅格中存在极值点；

当某一个极值点在点云金字塔各层中对应的采样栅格中都存在极值点，则保留点云金字塔最底层中对应采样栅格中的极值点，作为关键点。

A12、如图3所示，对步骤A11中得到的关键点进行PCA主成分分析和法向量直方图特征提取，得到各关键点的法向量与其球形邻域中各点法向量的三个夹角α、φ和θ；将360°圆周角按照角β进行等角栅格划分，得到360/β个角栅格；统计所有关键点对应的夹角α、φ和θ的值分别落入各个角栅格中的比例，然后分别得到夹角α、φ和θ的直方图α_m、φ_m和θ_m；最后得到关键点的法向量直方图的特征描述子所述β的取值范围为5^°～20^°，ε_m表示关键点所在点云块的所有点中z轴坐标的最大值和最小值的差值，同时根据样本标记的类别信息对特征描述子进行类别标记，得到带有类别标记信息的特征描述子：其中的C代表不同类别的集合，C＝{c₁,c₂...c_i...c_n}，则本实施例中，C＝[汽车，行人，树木，骑自行车/摩托车的人]。具体方法如下：

设定传感器所在位置v_p(0,0,0)为该点云的视点位置。点云中各点的表面法向量反应了其所在表面的纹理信息，是物体的重要局部特征之一。将输入的原始点云用KD-Tree存储，设定邻域半径r＝0.5m，对点云中的各点p_i(x,y,z,I_intensity)，计算其半径邻域点集合P^k，即计算以p_i(x,y,z,I_intensity)为球心，r＝0.5m为半径的球所包含的激光点的集合。PCA主成分分析是模式识别中一个常用的特征降维方法。进行PCA主成分分析如下：对其半径邻域P^k中的点，构造协方差矩阵：

计算该协方差矩阵的特征值λ_i和对应的法向量对协方差矩阵的特征值λ_i进行排序取大于0的最小值，则最小特征值λ₀所对应的特征向量与表面法向量平行，若则否则

计算法向量直方图也采用由Blodow等人提出的PFH特征提取方法。本发明将扩展的3DSIFT特征与法向量直方图特征(PFH)相结合得到新的局部特征。对所有SIFT关键点k_m{(x,y,z,I_inensity)}及其相应单位法向量其邻域P^k中的点p_j(x,y,z,I_intensity)及其单位法向量计算和的夹角。如图3所示，在k_m(x,y,z,I_inensity)处构造Darboux坐标系UVW，其中则定义 则＜α,φ,θ＞为和的夹角。对角度空间进行划分，统计与邻域P^k中所有点的法向量的三个夹角的直方图，即可得到所述的关键点周围的法向量直方图描述子。将360度的角度范围按β＝10度进行划分，可得36个划分栅格，则可得如下108维的特征描述子：每个特征描述子描述一个点云块，记属于该点云块的所有点中Z坐标的最大值和最小值分别为z_max和z_min，则其中ε_m＝|z_max-z_min|。

所述对标记样本进行特征提取方法即对标记样本集中的标记样本提取上述的特征描述子，同时根据样本标记的类别信息对特征描述子进行类别标记，可得如下带有类别标记信息的特征描述子：(d_m,c_m)＝{α_m,φ_m,θ_m,ε_m,k_m(x,y,z,I_intensity),c_m}。从同一个标记样本提取得到的描述子具有相同的ε_m值。

步骤2、对所提取特征进行聚类，生成视觉单词；

此过程基于现有的K-means算法的聚类过程。设定初始聚类个数为N_vw，N_vw大小的选择需平衡实时性和聚类精确度，从所有描述子中选出N_vw个点作为初始聚类中心，依据各描述子与聚类中心的距离进行聚类。每次聚类完成后，更新聚类中心坐标，进行重新聚类，直至各聚类中心收敛，完成聚类。

聚类完成后，属于同一个聚类的描述子具有相似的特征，可以描述同一类局部纹理特征，称为视觉单词。本实施实例中，在保证描述精确与实时性的前提下，设定视觉单词个数N_vw为180个，聚类可得180个视觉单词，每个单词包含来自不同标记类别的大量的特征描述子。同时，聚类完成后，根据各描述子与类别间的标记信息，可计算各视觉单词属于各个类别的后验概率：

其中，n_vw(c_i)表示从标记类c_i中提取的视觉单词总数，n_vot(v_j)表示属于视觉单词v_j的特征描述子的总数，n_vot(c_i,v_j)为标记类c_i中提取的属于视觉单词v_j的特征描述子个数，n_ftr(c_i)表示从标记类c_i提取得到的特征描述子总数。该后验概率反映了当前视觉单词中的描述子来自各个类别的比例，代表了当前的视觉单词对各个类的表现能力。上述计算方法，保证了该后验概率不受样本中各类样本数量差异的影响，能够客观反映视觉单词与各个标记类别之间的统计规律。

步骤3、对视觉单词进行空间编码，生成语言模型，具体包括如下步骤：

对视觉单词进行空间编码前，先对视觉单词进行滤波、归类；

所述滤波操作为依据后验概率P(v_j|c_i)，滤除在各个类中共存的区分度不大的视觉单词。不同类别的物体，如车辆，行人，骑自行车的人，树，之间有些局部特征具有相似性，表现在该后验概率中，即P(v_j|c₀)～P(v_j|c_N)在数值上非常接近。这些区分度不大的视觉单词，在对目标进行识别时，并不能带来多大的有益效果，相反会对目标的识别产生不利影响。因此，需要根据其概率值的特点进行滤除。

所述归类操作即确定区分度明显的视觉单词最可能来自哪几个标记类，及属于这几个类的概率。不同类别的物体，如车辆，行人，树木，其特征具有非常明显的区别。如车辆的扁平曲面特征，树木下部的圆柱面以及树冠的特征。确定各个视觉单词最可能来自哪几个类别，是依据特征进行识别的关键。归类时依据后验概率值，规定每个视觉单词最多可归为最大类别数为的类，本实施例中标记类别为4类，则每个视觉单词最多属于2个类，且属于各个类的后验概率P(v_j|c_i)＞p_t，本实施例取p_t＝0.85。

即依据属于视觉单词v_j的各个特征描述子在Z轴上分布的统计特征，确定v_j在z轴上的分布范围。如图4所示，对每个类别的物体，如车辆，树木，行人，从它们中提取的特征在空间上有特定的组合规律，依据视觉单词的数量、类别以及该特定的组合规律，可完成对未知目标的精确类别识别。对属于类c_i的视觉单词v_j，按其在z轴上的分布进行空间位置编码，得到所述的语言模型。

生成语言模型的主要步骤如下：

对每个视觉单词v_j，查找其所有特征描述子中最大的差值ε，记为ε_max，对属于视觉单词vj的所有特征描述子的z轴坐标进行尺度变换，即将z轴坐标值变换为：z×ε_max/ε_m，得到变换后的特征描述子；

将z轴从0至传感器安装高度的范围进行等间隔划分，使划分后的栅格区间大于激光雷达传感器分辨率；

统计属于每个视觉单词的变换后特征描述子在各个栅格区间的分布直方图，然后按照各栅格区间中变换后特征描述子百分比按照从大到小进行排列，并依次将百分比累加，当累加到大于或等于80％时，参与累加的栅格区间则为该视觉单词所属的高度区间；

上述方案统计的是特征描述子在分布上的峰值位置，以及其分布比例。对于车辆、行人、树木、骑自行车的人、以及城市中的杆状物，该方式都有较好的区分度。

针对属于每个类别中的所有视觉单词所属的高度区间包括的所有的栅格区间，从第一个视觉单词个数不为0的栅格区间开始，依次向上进行标记，至最后一个视觉单词不为0的栅格区间为止，然后对各个标记的栅格区间中的视觉单词进行编号，如此得到各个类别对应的语言模型，其中类别c_i对应的语言模型为： 和分别表示类别c_i中第一个、第二个和最后一个栅格区间中包含的视觉单词的集合，为类别c_i中视觉单词不为0的栅格区间总个数；

依次对各个标记类别完成语言模型构建。则该语言模型反映了从标记样本中得到的各个类的局部特征的种类以及其在空间上的分布特征。本发明依据该从训练样本中学习到的模型，进行未知点云块的识别工作。

步骤二所述基于语言模型对输入点云进行在线识别的过程，即为该发明提供的识别方法的在线运行过程。具体包含以下步骤：

步骤4、所述的对待识别点云块进行特征提取的方法即为步骤1中的3D SIFT特征扩展和法向量直方图特征提取中所述的方法，对输入点云特征提取后，可以得到不带标注信息的特征描述子。

步骤5、计算每个待识别特征描述子与步骤3的语言模型中所有视觉单词的聚类中心的距离,则该待识别特征描述子属于最小距离对应的视觉单词；则该最小距离对应的视觉单词即为与该待识别特征描述子匹配的视觉单词；

步骤6、将匹配到的视觉单词与各个类别对应的语言模型进行匹配，具体包括以下步骤：

B61、计算待识别点云块的z轴坐标的最小值z_min和最大值z_max；

B62、以为精度将待识别点云块的高度空间划分为个栅格区间；

B63、获得步骤5中每个匹配的视觉单词中的待识别特征描述子在所述个栅格区间中的分布直方图，然后按照各栅格区间中待识别特征描述子的百分比按照从大到小进行排序，并依次将百分比累加，当累加到大于或等于80％时，参与累加的栅格区间则为该匹配的视觉单词所属的高度区间；

B64、获得待识别点云块与各个语言模型的匹配率，其中，待识别点云块与类别c_i对应的语言模型的匹配率根据公式获得；其中n_vw(c_i)为从待识别点云块得到的属于类别c_i的匹配的视觉单词总数，n_vw为待识别点云块提取得到的匹配的视觉单词总数，为语言模型中栅格区间中的匹配的视觉单词总数，为栅格区间总数，为步骤A32中栅格区间中视觉单词与步骤B63中的栅格区间中匹配的视觉单词互相匹配的个数；

B65、取步骤B64得到的最大匹配率，并判断：当最大匹配率大于或等于设定阈值，则匹配成功，待识别点云块属于最大匹配率对应的类别；当最大匹配率小于设定阈值，匹配失败，无法确定该点云类别，所述设定阈值的取值范围为20％～35％。

本发明将2D图像处理领域的SIFT特征扩展至3D点云图像处理中，结合点云法向量直方图特征(PFH)，得到了更加合适而稳定的3D深度场景下的局部特征描述；同时针对视觉词袋模型的缺点，提出一种空间语言模型的特征编码和匹配方法，大大提高了利用局部特征对全局特征进行描述时的描述精度，实现了精确的匹配结果。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种3D点云数据中的目标识别方法，包括离线语言模型训练步骤及在此语言模型基础上进行的对输入3D点云块的在线识别步骤，其特征在于，所述离线语言模型训练步骤具体包括以下步骤：

步骤1、对标记类别的点云块样本进行特征提取，具体包括：

A11、对每个点云块中的关键点进行提取，则提取到的第m个关键点表达为：k_m(x，y，z，I_intensity)，其中，x,y,z为关键点的坐标，I_intensity为传感器检测出的该关键点的反射强度；其中，以传感器扫描窗口中心点为原点，以传感器扫描起始平面中的水平射线为x轴，传感器的旋转对称轴为z轴，y轴根据x轴和z轴按右手螺旋定则确定；

A12、对步骤A11中得到的关键点进行主成分分析和法向量直方图特征提取，得到各关键点的法向量与其球形邻域中各点法向量的三个夹角α、φ和θ；将360°圆周角按照角β进行等角栅格划分，得到360/β个角栅格；统计所有关键点对应的夹角α、φ和θ的值分别落入各个角栅格中的比例，然后得到第m个关键点的夹角α_m ⁰、φ_m ⁰和θ_m ⁰分别对应的直方图α_m、φ_m和θ_m；最后得到关键点的法向量直方图的特征描述子d_m＝{α_m,φ_m,θ_m,ε_m,k_m(x,y,z,I_intensity)}，所述β的取值范围为5°～20°，ε_m表示第m个关键点所在点云块的所有点中z轴坐标的最大值和最小值的差值，同时根据样本标记的类别信息对特征描述子进行类别标记，得到带有类别标记信息的特征描述子：(d_m,c_m)＝{α_m,φ_m,θ_m,ε_m,k_m(x,y,z,I_intensity),c_m}，其中的c_m代表第m个关键点所属的类别；

步骤2、对所提取特征进行聚类，生成视觉单词；

将所有类别中的所有特征描述子进行聚类，得到N_vw类特征描述子；将属于同一个聚类的特征描述子记为一个视觉单词，即得到N_vw个视觉单词，根据各个特征描述子所属类别，得到各视觉单词属于各个类别的后验概率：

其中，P(v_j|c_i)表示第j个视觉单词v_j属于第i个类别c_i的后验概率；n_vw(c_i)表示从类别c_i中提取的视觉单词总数，n_vot(v_j)表示属于视觉单词v_j中的特征描述子的总数，n_vot(c_i,v_j)为类别c_i中提取的属于视觉单词v_j的特征描述子个数，n_ftr(c_i)和n_ftr(c_k)分别表示从类别c_i和类别c_k中提取得到的特征描述子总数；C为所有类别组成的集合；

步骤3、对视觉单词进行空间编码，生成语言模型，具体包括如下步骤：

A31、获得所有视觉单词所属的高度空间：

对每个视觉单词v_j，查找其所有特征描述子中最大的差值ε，记为ε_max，对属于视觉单词v_j的所有特征描述子的z轴坐标进行尺度变换，即将z轴坐标值变换为：z×ε_max/ε_m，得到变换后的特征描述子；

将z轴从0至传感器安装高度的范围进行等间隔划分，使划分后的栅格区间大于激光雷达传感器分辨率；

统计属于每个视觉单词的变换后特征描述子在各个栅格区间的分布直方图，然后按照各栅格区间中变换后特征描述子百分比按照从大到小进行排列，并依次将百分比累加，当累加到大于或等于80％时，参与累加的栅格区间则为该视觉单词所属的高度区间；

A32、获得所有类别的语言模型，完成语言模型构建：

针对属于每个类别中的所有视觉单词所属的高度区间包括的所有的栅格区间，从第一个视觉单词个数不为0的栅格区间开始，依次向上进行标记，至最后一个视觉单词不为0的栅格区间为止，然后对各个标记的栅格区间中的视觉单词进行编号，如此得到各个类别对应的语言模型，其中类别c_i对应的语言模型为： 和分别表示类别c_i中第一个、第二个和最后一个栅格区间中包含的视觉单词的集合，为类别c_i中视觉单词不为0的栅格区间总个数；

所述对输入3D点云块的在线识别具体包括如下步骤：

步骤4、按所述步骤1的方法对待识别点云块进行特征提取，得到不带类别信息的待识别特征描述子；

步骤5、计算每个待识别特征描述子与步骤3的语言模型中所有视觉单词的聚类中心的距离,则该待识别特征描述子属于最小距离对应的视觉单词；则该最小距离对应的视觉单词即为与该待识别特征描述子匹配的视觉单词；

步骤6、将匹配到的视觉单词分别与每个类别对应的语言模型进行匹配，其中，与类别c_i的匹配过程如下：

B61、计算待识别点云块的z轴坐标的最小值z_min和最大值z_max；

B62、以为精度将待识别点云块的高度空间划分为个栅格区间；

B63、获得步骤5中每个匹配的视觉单词中的待识别特征描述子在所述个栅格区间中的分布直方图，然后按照各栅格区间中待识别特征描述子的百分比按照从大到小进行排序，并依次将百分比累加，当累加到大于或等于80％时，参与累加的栅格区间则为该匹配的视觉单词所属的高度区间；

B64、获得待识别点云块与各个语言模型的匹配率，其中，待识别点云块与类别c_i对应的语言模型的匹配率根据公式获得；其中n_vw(c_i)为从待识别点云块得到的属于类别c_i的匹配的视觉单词总数，n_vw为待识别点云块提取得到的匹配的视觉单词总数，为语言模型中栅格区间中的匹配的视觉单词总数，为栅格区间总数，为步骤A32中栅格区间中视觉单词与步骤B63中的栅格区间中匹配的视觉单词互相匹配的个数；

B65、取步骤B64得到的最大匹配率，并判断：当最大匹配率大于或等于设定阈值，则匹配成功，待识别点云块属于最大匹配率对应的类别；当最大匹配率小于设定阈值，匹配失败，无法确定该点云类别，所述设定阈值的取值范围为20％～35％。

2.根据权利要求1所述的一种3D点云数据中的目标识别方法，其特征在于，所述步骤1的A11中提取关键点的方法具体包括如下步骤：

S21、对点云块分布空间采用边长为ε1的立方体栅格进行划分，将其内含有点云点的立方体栅格的几何中心作为采样后的点云点，将该立方体栅格称为该采样后点云点对应的采样栅格；增大立方体栅格的边长，对采样后的点云点继续采样，如此重复采样N_octaves次，对点 云块中的点云点进行N_octaves次采样；将点云块内未经过采样的点云点作为金字塔最底层，将不断增大的采样栅格对应的采样后的点云点依次存放在金字塔最底层以上的各层中，形成具有N_octaves+1层的点云金字塔；采样后的点云点的反射强度I_intensity等于对应的采样栅格中的所有点云点的平均反射强度；所述N_octaves≥3，ε1≥激光雷达传感器分辨率；

S22、对每一层点云金字塔中的每个点云点分别进行m1次不同卷积尺度的高斯卷积，并获得m1个不同卷积尺度的高斯响应值，进而对每个点的相邻两个高斯响应值作差，得到m1-1个高斯差分值，所述m1≥3；

S23、针对点云金字塔各层中的每个点云点，如果对应的m1-1个高斯差分值均为极值，保留该点云点，成为该层的一个极值点；否则，从该层中去除该点云点；

S24、从点云金字塔的最顶层开始，判断某个极值点在点云金字塔下一层中对应的采样栅格中是否存在极值点：

如果存在极值点，在该极值点的下一层中对应的采样栅格中寻找极值点，一直寻找到点云金字塔的最底层；

如果没有极值点，返回到点云金字塔的最顶层，判断其他极值点是否在以下各层中对应的采样栅格中存在极值点；

当某一个极值点在点云金字塔各层中对应的采样栅格中都存在极值点，则保留点云金字塔最底层中对应采样栅格中的极值点，作为关键点。

3.根据权利要求1所述的一种3D点云数据中的目标识别方法，其特征在于，在所述步骤3中对视觉单词进行空间编码之前，先对视觉单词进行滤波和归类，具体为：

找到视觉单词v_j所属的后验概率值最大的类别若其后验概率值大于或等于剩下的属于其余各类别对应的后验概率之和，则保留该视觉单词v_j，小于则去除该视觉单词v_j；

对于滤波后的每个视觉单词，按照其属于各个类别的后验概率大小进行排序，判断前个后验概率值是否大于80％：如果大于，则保留；如果小于或等于，则不保留；则最终将该视觉单词归入保留的后验概率对应的类别中；其中，N_class表示标记类别。