CN110490912B - 基于局部灰度顺序模型描述符的3d-rgb点云配准方法 - Google Patents

Abstract

本发明属于计算机视觉与图像处理、三维测量技术领域，具体涉及一种基于局部灰度顺序模型描述符的3D‑RGB点云配准方法。包括：第一步计算两个点云中每个点的四邻域灰度平均值；第二步将关键点的邻近点按灰度值大小分为6部分，最后将6部分各自的特征向量串联构成关键点特征描述子；第三步根据最邻近比值法和欧式距离阈值构建源点云与目标点云的点对点互对应关系，再利用随机采样一致性和颜色一致性去除错误的对应关系；第四步利用对应关系求解源点云与目标点云之间的转换矩阵，并对源点云进行空间变换，完成点云的配准。本发明能够有效的降低由于几何信息不明显和光强变化对点云配准的影响，拥有更大的适用范围，提高了三维点云配准的精度和鲁棒性。

Description

基于局部灰度顺序模型描述符的3D-RGB点云配准方法

技术领域

本发明属于计算机视觉与图像处理、三维测量技术领域，具体涉及一种基于局部灰度顺序模型描述符的3D-RGB点云配准方法。

背景技术

真实物体的三维重建是计算机视觉、计算机辅助几何设计、计算机图形学等领域的重要研究课题，它涉及计算机图形、图像处理和模式识别等诸多领域，而三维点云数据配准技术一直是三维重建的研究热点与难点。在使用采集设备进行点云采集时,受到被测物体空间位置、几何外形和测量方式的影响，单次扫描只能得到物体的局部点云数据，一般需要从不同的视角对物体进行扫描才能得到物体完整的点云数据,而且要将多视角测量的点云数据进行配准才能完成整个物体的重建。最著名的配准方法是Besl等人提出的迭代最近点(ICP，Iterative Closest Point)以及在此基础上的改进算法，通过迭代采样的方式计算使点之间的欧氏距离达到最小的旋转平移关系,但是由于ICP对点云的初始位置具有很高的要求,可能会陷入局部最优,所以相应的以描述符为关键的粗配准方法被提出,如点特征直方图(PFH，Point Feature Histogram)和快速点特征直方图(FPFH，Fast PointFeature Histogram)、3D形状内容描述子(3D Shape Context descriptor)等描述符。然而这些算法仅使用了点云的空间形状信息，需要估算相邻采样点的局部一致性方向，如法线、曲率、局部坐标系等以实现旋转不变性，而方向的估算易出错误，在遇到待配准点云的几何形状信息不明显和部分点云缺失问题时抗噪性能和配准精度等方面都存在着不足。随着RGB-D点云采集设备的发展(如Kinect)，可以采集到物体高精度的三维空间坐标和颜色值。为克服传统方法的缺点，本发明提出一种新的颜色点云配准方法，通过精确的描述点云的局部灰度顺序信息，生成更具有代表性的颜色特征描述符对点云进行配准，使算法的抗噪性能更好、配准精度和计算效率更高。

发明内容

本发明的目的在于提供一种基于局部灰度顺序模型描述符的3D-RGB点云配准方法

基于局部灰度顺序模型描述符的3D-RGB点云配准方法，该方法包括以下步骤：

步骤1：输入源颜色点云和目标颜色点云，分别选取各自的关键点；

步骤2：计算关键点的特征描述子；

步骤3：根据特征描述子的欧式距离初步确定对应关系；

步骤4：去除错误对应关系；

步骤5：计算刚体变换矩阵，对源点云进行空间变换。

所述步骤1包括以下步骤：

步骤1.1：将输入的颜色点云的RGB颜色值p_ci和q_cj转换成灰度值；

步骤1.2：求灰度平均值；

步骤1.3：根据点云P中p_i的四邻域灰度平均值，选择关键点。

步骤1.1所述RGB颜色值p_ci和q_cj转换成灰度值表示为下式：

式中

为点p_i的灰度值；/>

为点q_j的灰度值；i为点云P中点的序号，j为点云Q中点的序号，源颜色点云/>

N_p为点云P的总个数，目标颜色点云/>

N_q为点云Q的总个数，点云数据包含p_i∈P,q_j∈Q的三维空间坐标p_i＝(x_i,y_i,z_i),q_j＝(x_j,y_j,z_j)和颜色值p_ci＝(r_i,g_i,b_i)，q_cj＝(r_j,g_j,b_j)；

以点云P中的每个点p_i为中心，分别以r₁,r₂,r₃,r₄为半径，r₁＝r,r₂＝2×r,r₃＝3×r,r₄＝4×r，r为点云P中相邻两点之间的平均距离，得到点p_i的附近的点，组成四个局部点云子集，步骤1.2所述灰度平均值表示为下式：

式中m＝1,2,3,4分别代表第一、第二、第三和第四子集；N_m为第m个子集中点的总个数；g_ml为第m个子集中的第l个点的灰度值；i为点云P中的第i个点，即用四维向量

来表示点p_i点的四邻域灰度平均值，对点云Q也进行同样的计算，求得Q中每个点q_j的四邻域灰度平均值/>

步骤1.3所述点云P中p_i的四邻域灰度平均值满足下式关系的点为关键点：

式中ga_im、ga_in分别为点p_i的第m和第n个子集的灰度平均值；i为点云P中的第i个点；阈值ξ＝5，表示点p_i周围的点的灰度变化，即关键点为点云中点的四邻域灰度平均值相互之间的差值都大于阈值ξ的点，这样就得到了源颜色点云P的关键点集P_K，同理，对目标颜色点云Q进行同样的关键点搜索，得到点云Q的关键点集Q_K。

所述步骤2包括以下步骤：

步骤2.1：计算子集S中每个点的LGOP描述符；

步骤2.2：对子集S进行区域划分；

步骤2.3：构造关键点

的描述子。

步骤2.1所述的LGOP描述符表示为下式：

式中Ind(π)是π的索引值，即该点的LGOP描述符为一个第Ind(π)维为1，别的维度都为0的24维向量，对子集中的任意一点s_h，h为子集中的点的序号，由步骤1得该点的四邻域灰度平均值

按下式得到点s_h的编码向量π：

式中

是一个4维向量；/>

是整数{1,2,3,4}所有的排列组合，π为组合之一，映射函数的具体实现过程为：将向量/>

中的4个元素按升序排列，若为ga_h1≤ga_h2≤ga_h3≤ga_h4；然后使用下标列表(h1,h2,h3,h4)作为该点的编码π＝(1,2,3,4)；

步骤2.2所述的对子集S进行区域划分，划分过程包括：首先根据子集S中的每个点的四邻域灰度平均值

中的ga_h1对子集中的点进行升序排列，s₁₁≤s₄₂≤…≤s_hk≤…，h＝1,2,…,N_s为子集S中点的序号，k＝1,2,…,N_s为子集S中点的灰度值排列顺序，N_s为子集S中点的总个数；然后根据排列顺序将子集S中的点划分到6个部分中，即将子集中k＝[1,N_s/6]对应的点作为第一部分中的点，k＝[N_s/6+1,2×N_s/6]对应的点作为第二部分中的点，以此类推k＝[5×N_s/6+1,N_s]对应的点作为第六部分的点；

步骤2.3所述的关键点

的描述子表示为下式：

式中，des_b表示子集S的第b个部分的描述向量，des_b表示为下式：

式中reg_b表示子集S中第b个部分；

表示子集S中第b个部分中的点；对目标点云Q的关键点集Q_K中的每个关键点/>

采用同样的步骤求得点云Q的每个关键点的特征描述子。

步骤3所述的特征描述子的欧式距离表示为下式：

式中，

为源颜色点云P的关键点/>

的特征描述向量，

为目标颜色点云Q的关键点/>

的特征描述向量，

若

这三个点的特征向量之间的欧式距离满足下式的关系则认为/>

和

是一对对应点：

式中

为点云P中的任意一个关键点；/>

为点云Q中与点/>

的特征向量欧式距离最小的向量；/>

为点云Q中与点/>

的特征向量欧式距离第二小的向量；η表示欧式距离阈值；δ表示最近邻比值阈值。

步骤4所述的去除错误对应关系采用随机采样一致性和颜色一致性，包括以下步骤：

步骤4.1：从已获得的对应关系集合M中随机地选择出3组对应关系，根据这3组对应关系计算源点云到目标点云的坐标变换矩阵；

步骤4.2：根据这3组对应关系计算所有对应关系的源点云中点经坐标变换后与目标点云中对应点的距离偏差和灰度偏差；

步骤4.3：判断偏差是否小于设定的阈值，若偏差小于设定的阈值，此对应关系属于模型内样本，否则即为模型外样本，保存所有内样本；

步骤4.4：重复步骤4.1到步骤4.3，直到迭代次数达到设定值，迭代结束；

步骤4.5：统计每次迭代属于内样本的个数，若大于设定的阈值，则这组对应关系为正确的对应关系，反之则为错误的对应关系，并去除，最后得到对应关系集合S。

步骤5所述的刚体变换矩阵表示为下式：

式中，旋转矩阵R＝X，平移矩阵T＝C_n-RC_m，其中X＝UV^T，U和V为E_3×3＝UΛV^T的解，Λ是矩阵E_3×3特征值构成的对角矩阵，协方差矩阵E_3×3表示为下式：

式中，

和/>

为对应点集合S中源点集P与目标点集Q的对应点的质心，表示为下式：

式中，k是对应关系的数量，

本方法的有益效果在于：

(1)颜色点云在不同的点上有不同的灰度分布，使用扫描设备产生点云时会产生一定的噪声点。本发明根据不同尺度半径所得到的点云灰度平均值代替一点的灰度值，不仅可以有效的平滑噪声点的干扰，提高后续的配准精度，还可以有效的将该点邻域内的灰度分布包含在内，拥有更强的特征辨识能力。

(2)在使用扫描设备采集颜色点云时,点云的颜色值是通过彩色摄像头采集的,对光照强度具有严格的要求。当光强变化时，源点云和目标点云的颜色会有较大的改变，影响点云的配准精度。本发明采用一种基于点云局部灰度顺序的描述，当光强发生变化时，点的灰度的相对顺序不会发生改变，避免了光照强度对配准的影响，提高了配准精度。

(3)先前的几何配准方法为保持描述子的旋转不变性，需要求取点云的局部一致性方向(如法线、曲率、局部坐标系等的计算)，但对于几何不明显的如具有球、圆柱、平滑的平面等的实体，它们的法线和曲率等局部一致性方向几乎完全相同，无法进行有效的区分。而本发明采用的是一种基于点云局部灰度顺序模型来对关键点进行描述，主要是通过统计局部的灰度分布信息来进行区分，无需计算点云的局部一致性方向，只需点云具有一定的颜色信息就可以完成精确的配准。

附图说明

图1(a)为Doll的源点云数据原始位置。

图1(b)为Doll的目标点云数据原始位置。

图1(c)为Cereal-box的源点云数据原始位置。

图1(d)为Cereal-box的目标点云数据原始位置。

图2(a)为Doll的源点云关键点分布。

图2(b)为Doll的目标点云关键点分布。

图2(c)为Cereal-box的源点云关键点分布。

图2(d)为Cereal-box的目标点云关键点分布。

图3为点的LGOP描述符构建过程及其对应的索引表。

图4为关键点邻域的区域划分和关键点特征描述子3DLGOP的构建。

图5为互对应关系的求取。

图6(a)为Doll的源点云和目标点云的初始对应关系可视化。

图6(b)为Cereal-box的源点云和目标点云的初始对应关系可视化。

图7(a)为Doll的源点云和目标点云的去除错误对应关系后最终对应关系的可视化。

图7(b)为Cereal-box的源点云和目标点云的去除错误对应关系后最终对应关系的可视化。

图8(a)为Doll的源点云和目标点云的配准结果。

图8(b)为Cereal-box的源点云和目标点云的配准结果。

图9为本发明流程图。

具体实施方式

以下结合附图及具体实例对本发明作进一步的详细描述。

为了解决点云配准现有技术存在的问题，本发明公开了一种融合点云局部灰度顺序信息的快速点云配准方法。为了提高点云的配准速度和关键点搜寻的鲁棒性，本发明摒弃了依赖单点灰度平均值的关键点搜索，而是计算源点云和目标点云中每一点四个不同尺度半径邻域的灰度平均值，根据四邻域灰度平均值的变化量选择关键点，这样可以提高关键点的抗干扰性和点云的配准速度。为了消除几何配准方法中因计算局部一致性方向(如法线、曲率、局部坐标系等的计算)所带来的误差和传统的颜色点云配准方法中因点云采集时光强变化导致的源点云和目标点云的颜色差别对配准的影响，本发明提出了一个新的关键点特征描述方法，可以提高源点云与目标点云的配准精度。

本发明采用如下技术方案：

一种针对具有颜色信息的三维点云数据快速配准方法，包括如下步骤：

1)关键点的选择。为了加快点云的配准速度，需要搜索点云中具有稳定性、区别性的点集，即关键点。点云中大部分点位于灰度变化量较小的位置，其区别性不明显，为了加强关键点搜寻的鲁棒性，摒弃了依赖单点灰度平均值的关键点搜索，提出了基于点的四邻域灰度平均值的变化量进行关键点搜索的方法。首先获取需要配准的源颜色点云P与目标颜色点云Q的数据，点云数据包含源颜色点云P中每个点p_i及目标颜色点云Q中每个点q_j的空间坐标(x,y,z)以及灰度值g；然后计算p_i和q_j的r₁,r₂,r₃,r₄(r₁＝r,r₂＝2×r,r₃＝3×r,r₄＝4×r，r为点云P、Q中相邻两点之间的平均距离)四个不同尺度半径邻域的灰度平均值；最后根据灰度平均值的变化量进行关键点的筛选，得到源点云关键点集P_K和目标点云关键点集Q_K。

2)计算关键点的特征描述子。对于源点云关键点集P_K中的每个点

在源点云P中得到其邻近点组成子集，即以点/>

为中心、R为半径的球内的点组成的子集S(R＝7×r，r为点云P中相邻两点之间的平均距离)。然后按照本专利提出的方法计算关键点/>

的特征描述子，具体过程如下：第一步，对子集S中的任意一点s_h(由步骤1可得该点的四邻域灰度平均值)，根据设计的函数可以将点s_h的四邻域灰度平均值转换成描述该点周围灰度信息变化的24维特征向量，称这个向量为局部灰度顺序模型描述符(Local Gray Order Pattern，LGOP)；第二步，根据点的灰度值大小对子集S中的点进行升序排列，然后基于排列顺序将子集中的点划分到6个部分中(每个部分中点的个数相等)，最后将各个部分中的点的24维局部灰度顺序特征描述向量相加形成描述该部分整体颜色信息的24维特征向量。第三步，将6个部分各自的24维特征向量串联构成最终的144维特征描述向量3DLGOP(3D Local GrayOrder Pattern，3DLGOP)，用来描述关键点/>

周围的颜色信息特征分布。同理，对目标点云关键点集Q_K中的每个点/>

采用同样方法计算出点云Q的所有关键点的特征描述子。

3)初步确定对应关系。常用的算法是根据源点云关键点集P_K的特征描述子和目标点云关键点集Q_K的特征描述子，采用最近邻距离比值法(如果最邻近距离和次临近距离的比值小于阈值，则认为二者是匹配对)匹配策略和欧氏距离阈值初步确定对应关系。为减小对应关系错误的几率，本发明采用源点云关键点集P_K的特征描述子和目标点云关键点集Q_K的特征描述子互对应的匹配策略，即在Q_K中得到P_K的对应关系、在P_K中得到Q_K的对应关系，取两者的交集为最终的初始对应关系。

4)去除错误对应关系。采用随机采样一致性和颜色一致性去除初步确定对应关系中错误的对应关系，获得精确对应关系。

5)计算变换矩阵。利用最终的对应关系进行奇异值分解求解源颜色点云和目标颜色点云的刚体变换矩阵。根据得到的最佳变换矩阵对源颜色点云进行空间变换，最终完成源点云与目标点云的配准。

表1

本发明使用的点云是通过结构光扫描仪获得，使用自测的玩偶胡巴点云数据Doll和RGB-D Object Dataset的Cereal-box。图1(a)为Doll的源点云数据原始位置，图1(b)为Doll的目标点云数据原始位置，图1(c)为Cereal-box的源点云数据原始位置，图1(d)为Cereal-box的目标点云数据原始位置，同一组点云数据中含有两个视角的点云。

步骤1:输入源颜色点云和目标颜色点云，分别选取各自的关键点：

1)获取需要配准的源颜色点云

(N_p为点云P的总个数)与目标颜色点云

(N_q为点云Q的总个数),点云数据包含p_i∈P,q_j∈Q的三维空间坐标p_i＝(x_i,y_i,z_i),q_j＝(x_j,y_j,z_j)和颜色值p_ci＝(r_i,g_i,b_i)，q_cj＝(r_j,g_j,b_j)。由于灰度值不仅可以有效的描述点的颜色信息，又比R、G、B三个颜色通道简单，本发明按照如下式子将RGB颜色值p_ci和q_cj转换成灰度值：

式中

分别为点p_i和q_j的灰度值；i为点云P中点的序号，j为点云Q中点的序号。

2)以点云P中的每个点p_i为中心，分别以r₁,r₂,r₃,r₄为半径(r₁＝r,r₂＝2×r,r₃＝3×r,r₄＝4×r，r为点云P中相邻两点之间的平均距离)得到点p_i的邻近点，组成四个局部点云子集。按如下函数分别求四个子集中点的灰度平均值：

式中m＝1,2,3,4分别代表第一、第二、第三和第四子集；N_m为第m个子集中点的总个数；g_ml为第m个子集中的第l个点的灰度值；i为点云P中的第i个点。即可以用四维向量

来表示点p_i点的四邻域灰度平均值。对点云Q也进行同样的计算，求得Q中每个点q_j的四邻域灰度平均值/>

3)选择点云P中p_i的四邻域灰度平均值满足如下关系的点为关键点：

式中ga_im、ga_in分别为点p_i的第m和第n个子集的灰度平均值；i为点云P中的第i个点；阈值ξ＝5，表示点p_i周围的点的灰度变化。即本发明的关键点为点云中点的四邻域灰度平均值相互之间的差值都大于阈值ξ的点，这样就得到了源颜色点云P的关键点集P_K。同理，对目标颜色点云Q进行同样的关键点搜索，得到点云Q的关键点集Q_K。图2(a)为Doll的源点云关键点分布，图2(b)为Doll的目标点云关键点分布，图2(c)为Cereal-box的源点云关键点分布，图2(d)为Cereal-box的目标点云关键点分布，由图2(a)、图2(b)、图2(c)和图2(d)可以看出被选作关键点的点都是邻域灰度变化剧烈的点，对于源颜色点云和目标颜色点云，关键点的位置对应关系较明显，说明关键点搜索较稳定。

步骤2:计算关键点的特征描述子：

对于源点云关键点集P_K中的每个关键点

(i为关键点集P_K中点的序号)在源点云P中得到其邻近点组成子集S，即以点/>

为中心、R为半径的球内的点组成的子集(R＝7×r，r为点云P中相邻两点之间的平均距离),然后根据其子集S按如下步骤求关键点/>

的特征描述子：

1)计算子集S中每个点的LGOP描述符：

对子集中的任意一点s_h(h为子集中的点的序号)，由步骤1可得该点的四邻域灰度平均值

建立如下映射函数将/>

映射到/>

空间中：

式中

是一个4维向量；/>

是整数{1,2,3,4}所有可能的排列组合，π为组合之一。映射函数的具体实现过程为：将向量/>

中的4个元素按升序排列，假如为ga_h1≤ga_h2≤ga_h3≤ga_h4；然后使用下标列表(h1,h2,h3,h4)作为该点的编码π＝(1,2,3,4)。在图3中列出了

的24种排列组合(索引表)。

然后根据上式(4)所得的点s_h的编码向量π，设计如下函数

计算该点的局部灰度顺序模型特征描述符LGOP(s_h)：

式中Ind(π)是π在索引表中的索引值，即该点的LGOP描述符为一个第Ind(π)维为1，其它维度都为0的24维向量。

在图3中给出了子集中任意一点的LGOP描述符的计算过程。对子集中的任何一点s_h，假设其四邻域灰度平均值为

首先将其映射到/>

空间，映射过程为：将其四邻域灰度平均值按灰度值大小排列(12,98,123,156)，即(ga_h1,ga_h3,ga_h4,ga_h2)，然后使用下标列表(h1,h3,h4,h2)作为该点的颜色信息编码，即(1,3,4,2)；然后将编码(1,3,4,2)经函数/>

对应于映射表可得该点的LGOP描述符：

即该点的LGOP描述符为第4维为1，其它维都为0的24维向量。按照同样的方法，可以计算出子集中每个点的LGOP描述符。

2)对子集S进行区域划分：

为了提高辨识度和更充分的描述关键点周围的灰度信息分布，本发明将关键点

的子集S划分成了6个部分。划分过程如下：首先根据子集S中的每个点的四邻域灰度平均值/>

中的ga_h1对子集中的点进行升序排列，如s₁₁≤s₄₂≤…≤s_hk≤…(h＝1,2,…,N_s为子集S中点的序号，k＝1,2,…,N_s为子集S中点的灰度值排列顺序，N_s为子集S中点的总个数)；然后根据排列顺序将子集S中的点划分到6个部分中，即将子集中k＝[1,N_s/6]对应的点作为第一部分中的点，k＝[N_s/6+1,2×N_s/6]对应的点作为第二部分中的点，以此类推k＝[5×N_s/6+1,N_s]对应的点作为第六部分的点。如图4所示，假设子集S中共有12个点，并且这12个点是按照灰度值大小放置的(s_1,1,s_3,2,…,s_7,6,…s_8,12)，则将s_1,1,s_3,2两个点作为第一部分reg₁中的点，s_4,3,s_5,4作为第二部分reg₂中的点，以此类推s_9,11,s_8,12作为第六部分reg₆中的点。

3)构造关键点

的描述子：

累加每个部分中点的LGOP描述符形成描述这个部分的24维特征向量：

式中reg_b表示子集S中第b个部分；

表示子集S中第b个部分中的点；des_b表示子集S的第b个部分的描述向量。然后将6个部分各自的向量串联构成关键点/>

的144维的3DLGOP描述子：

同理，对目标点云Q的关键点集Q_K中的每个关键点

采用同样的步骤可以求得点云Q的每个关键点的特征描述子。

步骤3:初步确定对应关系：

对应关系是根据源点云和目标点云的关键点特征描述子的相似程度计算的，相似程度是由源点云关键点的特征向量

与目标点云关键点特征向量/>

之间的欧式距离确定的。

两个特征向量之间的欧氏距离定义为：

式中

为源颜色点云P的关键点/>

的特征描述向量，

为目标颜色点云Q的关键点/>

的特征描述向量，

如果

这三个点的特征向量之间的欧式距离满足如下的关系则认为/>

和/>

是一对对应点：

式中

为点云P中的任意一个关键点；/>

为点云Q中与点/>

的特征向量欧式距离最小的向量；/>

为点云Q中与点/>

的特征向量欧式距离第二小的向量；η表示欧式距离阈值；δ表示最近邻比值阈值，对于准确度要求高的匹配δ取0.4，对于匹配点数目要求多的匹配δ取0.6，一般情况下取0.5。

如图5所示，计算源颜色点云P的每一个关键点

的特征描述向量与目标颜色点云Q的每一个关键点/>

的特征描述向量之间的欧式距离，根据上述的算法确定对应点并组成预对应关系，图中集合W中的/>

就是对应点。采用同样的方法计算目标颜色点云Q的每一个关键点/>

的特征描述向量与源颜色点云P的每一个关键点/>

的特征描述向量之间的欧式距离,确定目标颜色点云对应源颜色点云的预对应关系集合,图中集合H中的

就是对应点。取预对应关系集合W和预对应关系集合H的交集作为初始对应关系集合M，交集为预对应关系集合W和预对应关系集合H中相同的对应点，例如图5中的集合W中/>

为一对对应点，集合H中/>

也为一对对应点，则/>

就是一对对应点。图6(a)为Doll的源点云和目标点云的初始对应关系可视化，图6(b)为Cereal-box的源点云和目标点云的初始对应关系可视化，由图6(a)和图6(b)可以看出大部分关键点得到了正确的对应关系，但存在少量的错误对应关系需要去除。/>

步骤4:去除错误对应关系：

采用随机采样一致性和颜色一致性去除步骤3确定的对应关系中错误的对应关系，获得精确对应关系。从已获得的对应关系集合M中随机地选择出3组对应关系，根据这3组对应关系计算源点云到目标点云的坐标变换矩阵，计算所有对应关系的源点云中点经坐标变换后与目标点云中对应点的距离偏差和灰度偏差，如果偏差小于设定的阈值，此对应关系属于模型内样本，否则即为模型外样本，保存所有内样本。重复上述过程，直到迭代次数达到设定值，迭代结束。统计每次迭代属于内样本的个数，如果大于设定的阈值，则这组对应关系为正确的对应关系，反之则为错误的对应关系，并去除，最后得到对应关系集合S。图7(a)为Doll的源点云和目标点云的去除错误对应关系后最终对应关系的可视化，图7(b)为Cereal-box的源点云和目标点云的去除错误对应关系后最终对应关系的可视化，图7(a)和图7(b)显示了去除错误对应关系后的关键点匹配，可以看出对应关系具有极大的准确性。

步骤5：计算刚体变换矩阵：

求对应点协方差矩阵并奇异值分解，获取R(旋转矩阵)、T(平移矩阵)。求对应点集合S中源点集P与目标点集Q的对应点的质心

式中k是对应关系的数量(k取步骤4中内样本数最多时对应的三组对应关系最精确，即k＝3)，

构造协方差矩阵

解E_3×3＝UΛV^T，Λ是矩阵E_3×3特征值构成的对角矩阵。得X＝UV^T,即得：

R＝X,T＝C_n-RC_m (13)

矩阵Tran就是两幅点云之间的刚体变换矩阵。通过刚体变换矩阵就可以将多视角点云数据共同部分重叠在一起，从而得到完整的物体模型。

图8(a)为Doll的源点云和目标点云的配准结果，图8(b)为Cereal-box的源点云和目标点云的配准结果，图8(a)和图8(b)显示了点云的配准结果，表1是配准过程中参数选择和结果列表，其中显示了配准精度、转换矩阵、配准时间等。综上分析，本发明所提出的基于局部灰度顺序模型描述符的3D-RGB点云配准无论在精度上，还是在速度上都很理想，并且对几何形状信息不明显和部分点云缺失问题时具有良好的抗干扰性和稳定性。

本发明的目的是公开一种基于点云局部灰度顺序模型描述符的点云配准方法。针对几何信息不明显但具有一定颜色信息的点云，采取如下步骤完成配准：第一步分别计算两个点云中每个点的四邻域灰度平均值，根据这四邻域灰度平均值的变化量进行关键点搜索；第二步将关键点的邻近点按灰度值大小分为6部分，分别计算每一部分中每个点的灰度顺序模型描述符并将其相加构成描述这一部分颜色分布信息的特征向量，最后将6部分各自的特征向量串联构成关键点特征描述子；第三步根据最邻近比值法和欧式距离阈值构建源点云与目标点云的点对点互对应关系，再利用随机采样一致性和颜色一致性去除错误的对应关系；第四步利用对应关系求解源点云与目标点云之间的转换矩阵，并对源点云进行空间变换，完成点云的配准。本发明能够有效的降低由于几何信息不明显和光强变化对点云配准的影响，拥有更大的适用范围，提高了三维点云配准的精度和鲁棒性。

Claims (1)

1.基于局部灰度顺序模型描述符的3D-RGB点云配准方法，其特征在于，该方法包括以下步骤：

步骤1：输入源颜色点云和目标颜色点云，分别选取各自的关键点；

步骤1.1：将输入的颜色点云的RGB颜色值p_ci和q_cj转换成灰度值；

其中，

为点p_i的灰度值；/>

为点q_j的灰度值；i为点云P中点的序号；j为点云Q中点的序号；源颜色点云/>

N_p为点云P的总个数；目标颜色点云/>

N_q为点云Q的总个数；点云数据包含p_i∈P,q_j∈Q的三维空间坐标p_i＝(x_i,y_i,z_i),q_j＝(x_j,y_j,z_j)和颜色值p_ci＝(r_i,g_i,b_i)，q_cj＝(r_j,g_j,b_j)；

以点云P中的每个点p_i为中心，分别以r₁,r₂,r₃,r₄为半径寻找点p_i的附近的点，组成四个局部点云子集；其中，r₁＝r,r₂＝2×r,r₃＝3×r,r₄＝4×r，r为点云P中相邻两点之间的平均距离；

步骤1.2：求灰度平均值；

其中，m＝1,2,3,4分别代表第一、第二、第三和第四子集；N_m为第m个子集中点的总个数；g_ml为第m个子集中的第l个点的灰度值；

用四维向量

来表示点p_i点的四邻域灰度平均值，对点云Q也进行同样的计算，求得Q中每个点q_j的四邻域灰度平均值/>

步骤1.3：根据点云P中p_i的四邻域灰度平均值，选择关键点；

点云P中p_i的四邻域灰度平均值满足下式关系的点为关键点：

其中，ga_im、ga_in分别为点p_i的第m和第n个子集的灰度平均值；阈值ξ＝5；关键点为点云中点的四邻域灰度平均值相互之间的差值都大于阈值ξ的点，这样就得到了源颜色点云P的关键点集P_K，同理，对目标颜色点云Q进行同样的关键点查找，得到点云Q的关键点集Q_K；

步骤2：计算关键点的特征描述子；

步骤2.1：计算子集S中每个点的LGOP描述符；

其中，Ind(π)是π的索引值，即该点的LGOP描述符为一个第Ind(π)维为1，别的维度都为0的24维向量；对子集中的任意一点s_h，h为子集中的点的序号，由步骤1得该点的四邻域灰度平均值

按下式得到点s_h的编码向量π：

其中，

是一个4维向量；/>

是整数{1,2,3,4}所有的排列组合，π为组合之一，映射函数的具体实现过程为：将向量/>

中的4个元素按升序排列，若为ga_h1≤ga_h2≤ga_h3≤ga_h4，则使用下标列表(h1,h2,h3,h4)作为该点的编码π＝(1,2,3,4)；

步骤2.2：对子集S进行区域划分；

首先根据子集S中的每个点的四邻域灰度平均值

中的ga_h1对子集中的点进行升序排列，然后根据排列顺序将子集S中的点划分到6个部分中，即将子集中k＝[1,N_s/6]对应的点作为第一部分中的点，k＝[N_s/6+1,2×N_s/6]对应的点作为第二部分中的点，以此类推k＝[5×N_s/6+1,N_s]对应的点作为第六部分的点；

步骤2.3：构造关键点

的描述子；

式中，des_b表示子集S的第b个部分的描述向量，

reg_b表示子集S中第b个部分；/>

表示子集S中第b个部分中的点；对目标点云Q的关键点集Q_K中的每个关键点

采用同样的步骤求得点云Q的每个关键点的特征描述子；

步骤3：根据特征描述子的欧式距离初步确定对应关系；

所述特征描述子的欧式距离为：

式中，

为源颜色点云P的关键点/>

的特征描述向量，

为目标颜色点云Q的关键点/>

的特征描述向量，

若

这三个点的特征向量之间的欧式距离满足下式的关系则认为/>

和/>

是一对对应点：

式中，

为点云P中的任意一个关键点；/>

为点云Q中与点/>

的特征向量欧式距离最小的向量；/>

为点云Q中与点/>

的特征向量欧式距离第二小的向量；η表示欧式距离阈值；δ表示最近邻比值阈值；

步骤4：去除错误对应关系；

步骤4.1：从已获得的对应关系集合M中随机地选择出3组对应关系，根据这3组对应关系计算源点云到目标点云的坐标变换矩阵；

步骤4.2：根据这3组对应关系计算所有对应关系的源点云中点经坐标变换后与目标点云中对应点的距离偏差和灰度偏差；

步骤4.3：判断偏差是否小于设定的阈值，若偏差小于设定的阈值，此对应关系属于模型内样本，否则即为模型外样本，保存所有内样本；

步骤4.4：重复步骤4.1到步骤4.3，直到迭代次数达到设定值，迭代结束；

步骤4.5：统计每次迭代属于内样本的个数，若大于设定的阈值，则这组对应关系为正确的对应关系，反之则为错误的对应关系，并去除，最后得到对应关系集合S；

步骤5：计算刚体变换矩阵，对源点云进行空间变换；

所述刚体变换矩阵为：

式中，旋转矩阵R＝X，平移矩阵T＝C_n-RC_m；X＝UV^T，U和V为E_3×3＝UΛV^T的解，Λ是矩阵E_3×3特征值构成的对角矩阵，协方差矩阵E_3×3表示为：

式中，

和/>

为对应点集合S中源点集P与目标点集Q的对应点的质心，表示为下式：

式中，k是对应关系的数量，

/>

Images