CN109658444A - 一种基于多模态特征的规则三维彩色点云配准方法 - Google Patents

Abstract

本发明涉及三维点云数据处理与三维场景重建技术领域，一种基于多模态特征的规则三维彩色点云配准方法，包括以下步骤：(1)获取三维彩色点云数据，(2)提取图像数据，(3)图像特征点提取，(4)图像特征点匹配，(5)提取点云数据，(6)点云特征点提取，(7)点云特征点匹配，(8)三维彩色点云粗配准，(9)三维彩色点云精配准。本发明具有以下优点：一是，本发明利用点云和图像两种模态信息，提取多模态特征，构建多模态匹配点对，充分发挥了三维彩色点云的多模态优势；二是，本发明首先利用多模态匹配点对进行粗配准，给出较为准确的匹配初值，并将其应用到精配准中，既减少了配准时间，又提高了配准精度。

Description

一种基于多模态特征的规则三维彩色点云配准方法

技术领域

本发明涉及一种基于多模态特征的规则三维彩色点云配准方法，属于三维点云数据处理与三维场景重建技术领域。

背景技术

随着信息科学技术的发展，计算机视觉、虚拟现实、3D打印、模式识别等领域在飞速进步，三维彩色点云得到了越来越广泛地应用。三维彩色点云数据是由点云数据和图像数据两种模态信息融合而成，其中，点云数据通过激光扫描仪得到，记录了物体的几何位置信息，图像数据通过彩色相机得到，记录了物体的颜色纹理信息。因此，三维彩色点云数据是三维点云数据的进一步发展，能更立体形象地描述现实世界。其中，规则三维彩色点云数据是一种规则分布的三维彩色点云数据，其按照矩形网格分布排列。

在使用三维彩色激光扫描测距系统对实际场景进行扫描测量时，由于视野限制和物体遮挡等原因，通常不能在同一个视角下一次性扫描得到实际场景的全部三维彩色点云数据。因此，需要让三维彩色激光扫描测距系统在不同视角下对被测场景进行扫描，然后将多个视角下扫描得到的三维彩色点云数据变换到同一个坐标系下，获得实际场景的完整三维彩色点云数据，这个过程就是三维彩色点云数据的配准。

目前较为常用的点云配准算法是迭代最近点算法(ICP算法)，其原理是迭代地对待配准点云集的对应点对进行选择，每次迭代时，对于一个点云集中的每个点都需要在另一个点云集中搜索离它距离最近的点，组成对应点对，并计算可以使对应点对之间的距离之和最小的旋转平移矩阵，最后利用旋转平移矩阵对待配准点云进行坐标变换，以实现点云配准。但这种算法仍存在一些不足：1)需要提供一个较好的配准初值；2)在搜索对应点对时，由于点云数据量较大，搜索耗时较长；3)迭代结果可能会陷入局部收敛的情况。

发明内容

为了解决现有技术中存在的不足，本发明目的是提供一种基于多模态特征的规则三维彩色点云配准方法，充分利用图像颜色信息和点云形状信息。该方法针对实际场景，首先利用三维彩色激光扫描测距系统，在两个不同的位置分别对同一场景进行扫描，得到两个规则的三维彩色点云数据，然后分别从中提取图像数据和点云数据，利用SIFT特征构建图像匹配点对，利用曲率极值构建点云匹配点对，并用其求取两个三维彩色点云之间的旋转矩阵和平移向量，最后将之应用到三维彩色点云配准中。该方法充分利用了三维彩色点云的多模态信息——图像信息和点云信息，计算了三维彩色点云的多模态特征——图像特征和点云特征，提供了一个准确的配准初值，减少了ICP算法的匹配次数，提高了配准精度和配准速度，较好地解决了传统配准方法初值设置难、配准效率低的问题，充分发挥了三维彩色点云的多模态优势。

为了实现上述发明目的，解决现有技术中所存在的问题，本发明采取的技术方案是：一种基于多模态特征的规则三维彩色点云配准方法，包括以下步骤：

步骤1、获取三维彩色点云数据，利用三维激光彩色扫描测距系统在两个不同的位置分别对同一场景进行扫描，得到两个规则三维彩色点云数据P＝{p_ij＝(x_ij,y_ij,z_ij,r_ij,g_ij,b_ij)|1≤i≤n,1≤j≤m}和 其中，p_ij为规则三维彩色点云数据P中的彩色点，(x_i,y_i,z_i)为彩色点p_ij的坐标，(r_ij,g_ij,b_ij)为彩色点p_ij的颜色，n为规则三维彩色点云数据P的行数，m为规则三维彩色点云数据P的列数，为规则三维彩色点云数据中的彩色点，为彩色点的坐标，为彩色点的颜色，为规则三维彩色点云数据的行数，为规则三维彩色点云数据的列数，i为规则三维彩色点云数据的扫描行号，j为规则三维彩色点云数据的扫描列号，规则三维彩色点云数据由点云数据和图像数据两种模态融合而成，并按照矩形网格分布规则化排列；

步骤2、提取图像数据，根据规则三维彩色点云数据的组织形式，分别从规则三维彩色点云数据P和中提取图像数据C＝{c_ij＝(r_ij,g_ij,b_ij)|1≤i≤n,1≤j≤m}和

步骤3、图像特征点提取，在图像模态中，利用SIFT算法分别提取图像C和中的特征点，并构建其的特征向量；

步骤4、图像特征点匹配，利用欧式距离和随机采样一致性RANSAC算法，匹配图像C和的特征点，构建两幅图像的匹配点对；

步骤5、提取点云数据，分别从规则三维彩色点云数据P和中提取点云数据S＝{s_ij＝(x_ij,y_ij,z_ij)|1≤i≤n,1≤j≤m}和

步骤6、点云特征点提取，按照扫描行号将点云S分解为n条横向线点云，计算每一条横向线点云中每个离散点的曲率，提取曲率极值点，作为点云S的横向特征点，按照扫描列号将点云S分解为m条纵向线点云，计算每一条纵向线点云中每个离散点的曲率，提取曲率极值点，作为点云S的纵向特征点，点云S的横向特征点和纵向特征点构成了点云S的特征点；按照扫描行号将点云分解为条横向线点云，计算每一条横向线点云中每个离散点的曲率，提取曲率极值点，作为点云的横向特征点，按照扫描列号将点云分解为条纵向线点云，计算每一条纵向线点云中每个离散点的曲率，提取曲率极值点，作为点云的纵向特征点，点云的横向特征点和纵向特征点构成了点云的特征点，具体包括以下子步骤：

(a)、按照扫描行号i，将点云S分解为n条横向线点云S＝{S_i|1≤i≤n}，其中，S_i＝{s_ij＝(x_ij,y_ij,z_ij)|1≤j≤m}为第i条横向线点云；

(b)、利用累积弦长参数化方法，计算横向线点云S_i中每一个离散点s_ij的累计弦长参数t_ij，按照公式(1)进行描述，

离散点s_ij＝(x_ij,y_ij,z_ij)与参数值t_ij之间一一对应，用离散矢量函数表示为s_ij＝s(t_ij)＝(x_ij＝x(t_ij),y_ij＝y(t_ij),z_ij＝z(t_ij))，t_ij∈{t_i1,t_i2,..,t_im}；

(c)、根据连续函数导数的定义，分别估算离散函数x_ij＝x(t_ij)、y_ij＝y(t_ij)和z_ij＝z(t_ij)在t_ij处的导数，按照公式(2)、公式(3)和公式(4)进行描述，

其中，m₁为计算半径，则离散矢量函数s_ij＝s(t_ij)在t_ij处的导数为，

s′_ij＝s′(t_ij)＝(x′_ij＝x′(t_ij),y′_ij＝y′(t_ij),z′_ij＝z′(t_ij)) (5)

(d)、结合连续曲线切向量计算公式，利用离散导数，估算横向线点云S_i中离散点s_ij在t_ij处的单位切向量为，

令则可得

(e)、结合连续曲线曲率计算公式，利用离散导数，估算横向线点云S_i中离散点s_ij在t_ij处的曲率为，

其中，可利用与公式(2)、公式(3)和公式(4)相同的方法求出；

(f)、利用步骤6子步骤(b)～(e)，求取所有横向线点云中离散点的曲率，沿着横向线点云提取局部曲率极值点，作为点云S的横向特征点；

(g)、按照扫描列号j，将点云S分解为m条纵向线点云，利用与步骤6子步骤(b)～(f)相同的方法，获取点云S的纵向特征点；

(h)、点云S的横向特征点和纵向特征点就构成了点云S的特征点；

(i)、利用与步骤6子步骤(a)～(h)相同的方法，获取点云的特征点；

步骤7、点云特征点匹配，利用欧式距离和随机采样一致性RANSAC算法，匹配点云S和的特征点，构建两个点云的匹配点对；

步骤8、三维彩色点云粗配准，根据扫描行号和扫描列号，将图像匹配点对和点云匹配点对映射回三维彩色点云空间，合并形成三维彩色点云匹配点对，利用三维彩色点云匹配点对的坐标信息，求取规则三维彩色点云P和之间的旋转矩阵R和平移向量t；

步骤9、三维彩色点云精配准，将粗配准求得的旋转矩阵R和平移向量t作为迭代最近点ICP算法的初始值，利用迭代最近点ICP算法和三维彩色点云的坐标信息，求取规则三维彩色点云P和之间的最优旋转矩阵和平移向量并利用最优旋转矩阵和平移向量对三维彩色点云P进行坐标变换，使之变换到三维彩色点云所在的坐标系下，实现三维彩色点云P和的精配准。

本发明有益效果是：一种基于多模态特征的规则三维彩色点云配准方法，包括以下步骤：(1)获取三维彩色点云数据，(2)提取图像数据，(3)图像特征点提取，(4)图像特征点匹配，(5)提取点云数据，(6)点云特征点提取，(7)点云特征点匹配，(8)三维彩色点云粗配准，(9)三维彩色点云精配准。与已有技术相比，本发明具有以下优点：一是，本发明利用点云和图像两种模态信息，提取多模态特征，构建多模态匹配点对，充分发挥了三维彩色点云的多模态优势；二是，本发明首先利用多模态匹配点对进行粗配准，给出较为准确的匹配初值，并将其应用到精配准中，既减少了配准时间，又提高了配准精度。

附图说明

图1是本发明方法步骤流程图。

图2是场景三维彩色点云数据显示图。

图中：(a)是三维彩色点云数据P，(b)是三维彩色点云数据

图3是场景图像数据显示图。

图中：(a)是图像数据C，(b)是图像数据

图4是两幅图像匹配特征点对显示图。

图5是场景点云数据显示图。

图中：(a)是点云数据S，(b)是点云数据

图6是点云数据S特征点显示图。

图中：(a)是横向特征点，(b)是纵向特征点。

图7是点云数据特征点显示图。

图中：(a)是横向特征点，(b)是纵向特征点。

图8是配准前两个三维彩色点云数据显示图。

图9是配准后两个三维彩色点云数据显示图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，一种基于多模态特征的规则三维彩色点云配准方法，包括以下步骤：

步骤1、获取三维彩色点云数据，利用三维激光彩色扫描测距系统在两个不同的位置分别对同一场景进行扫描，得到两个规则三维彩色点云数据P＝{p_ij＝(x_ij,y_ij,z_ij,r_ij,g_ij,b_ij)|1≤i≤n,1≤j≤m}和 其中，p_ij为规则三维彩色点云数据P中的彩色点，(x_i,y_i,z_i)为彩色点p_ij的坐标，(r_ij,g_ij,b_ij)为彩色点p_ij的颜色，n为规则三维彩色点云数据P的行数，m为规则三维彩色点云数据P的列数，为规则三维彩色点云数据中的彩色点，为彩色点的坐标，为彩色点的颜色，为规则三维彩色点云数据的行数，为规则三维彩色点云数据的列数，i为规则三维彩色点云数据的扫描行号，j为规则三维彩色点云数据的扫描列号，规则三维彩色点云数据由点云数据和图像数据两种模态融合而成，并按照矩形网格分布规则化排列，如图2所示；

步骤2、提取图像数据，根据规则三维彩色点云数据的组织形式，分别从规则三维彩色点云数据P和中提取图像数据C＝{c_ij＝(r_ij,g_ij,b_ij)|1≤i≤n,1≤j≤m}和如图3所示；

步骤3、图像特征点提取，在图像模态中，利用SIFT算法分别提取图像C和中的特征点，并构建其的特征向量；

步骤4、图像特征点匹配，利用欧式距离和随机采样一致性RANSAC算法，匹配图像C和的特征点，构建两幅图像的匹配点对，如图4所示，图中连线代表对应点对；

步骤5、提取点云数据，分别从规则三维彩色点云数据P和中提取点云数据S＝{s_ij＝(x_ij,y_ij,z_ij)|1≤i≤n,1≤j≤m}和 如图5所示；

步骤6、点云特征点提取，按照扫描行号将点云S分解为n条横向线点云，计算每一条横向线点云中每个离散点的曲率，提取曲率极值点，作为点云S的横向特征点，按照扫描列号将点云S分解为m条纵向线点云，计算每一条纵向线点云中每个离散点的曲率，提取曲率极值点，作为点云S的纵向特征点，点云S的横向特征点和纵向特征点构成了点云S的特征点；按照扫描行号将点云分解为条横向线点云，计算每一条横向线点云中每个离散点的曲率，提取曲率极值点，作为点云的横向特征点，按照扫描列号将点云分解为条纵向线点云，计算每一条纵向线点云中每个离散点的曲率，提取曲率极值点，作为点云的纵向特征点，点云的横向特征点和纵向特征点构成了点云的特征点，具体包括以下子步骤：

(a)、按照扫描行号i，将点云S分解为n条横向线点云S＝{S_i|1≤i≤n}，其中，S_i＝{s_ij＝(x_ij,y_ij,z_ij)|1≤j≤m}为第i条横向线点云；

(b)、利用累积弦长参数化方法，计算横向线点云S_i中每一个离散点s_ij的累计弦长参数t_ij，按照公式(1)进行描述，

离散点s_ij＝(x_ij,y_ij,z_ij)与参数值t_ij之间一一对应，用离散矢量函数表示为s_ij＝s(t_ij)＝(x_ij＝x(t_ij),y_ij＝y(t_ij),z_ij＝z(t_ij))，t_ij∈{t_i1,t_i2,..,t_im}；

(c)、根据连续函数导数的定义，分别估算离散函数x_ij＝x(t_ij)、y_ij＝y(t_ij)和z_ij＝z(t_ij)在t_ij处的导数，按照公式(2)、公式(3)和公式(4)进行描述，

其中，m₁为计算半径，则离散矢量函数s_ij＝s(t_ij)在t_ij处的导数为，

s′_ij＝s′(t_ij)＝(x′_ij＝x′(t_ij),y′_ij＝y′(t_ij),z′_ij＝z′(t_ij)) (5)

(d)、结合连续曲线切向量计算公式，利用离散导数，估算横向线点云S_i中离散点s_ij在t_ij处的单位切向量为，

令则可得

(e)、结合连续曲线曲率计算公式，利用离散导数，估算横向线点云S_i中离散点s_ij在t_ij处的曲率为，

其中，可利用与公式(2)、公式(3)和公式(4)相同的方法求出；

(f)、利用步骤6子步骤(b)～(e)，求取所有横向线点云中离散点的曲率，沿着横向线点云提取局部曲率极值点，作为点云S的横向特征点，如图6(a)所示；

(g)、按照扫描列号j，将点云S分解为m条纵向线点云，利用与步骤6子步骤(b)～(f)相同的方法，获取点云S的纵向特征点，如图6(b)所示；

(h)、点云S的横向特征点和纵向特征点就构成了点云S的特征点；

(i)、利用与步骤6子步骤(a)～(h)相同的方法，获取点云的特征点，横向特征点与纵向特征点如图7所示；

步骤7、点云特征点匹配，利用欧式距离和随机采样一致性RANSAC算法，匹配点云S和的特征点，构建两个点云的匹配点对；

步骤8、三维彩色点云粗配准，根据扫描行号和扫描列号，将图像匹配点对和点云匹配点对映射回三维彩色点云空间，合并形成三维彩色点云匹配点对，利用三维彩色点云匹配点对的坐标信息，求取规则三维彩色点云P和之间的旋转矩阵R和平移向量t；

步骤9、三维彩色点云精配准，将粗配准求得的旋转矩阵R和平移向量t作为迭代最近点ICP算法的初始值，利用迭代最近点ICP算法和三维彩色点云的坐标信息，求取规则三维彩色点云P和之间的最优旋转矩阵和平移向量并利用最优旋转矩阵和平移向量对三维彩色点云P进行坐标变换，使之变换到三维彩色点云所在的坐标系下，实现三维彩色点云P和的精配准，配准前场景如图8所示，配准后场景如图9所示。

本发明优点在于：本发明利用点云和图像两种模态信息，提取多模态特征，构建多模态匹配点对，充分发挥了三维彩色点云的多模态优势，并利用多模态匹配点对先进行粗配准，给出较为准确的旋转矩阵和平移向量，并将其应用到精配准中，既减少了配准时间，又提高了配准精度。

Claims (1)

1.一种基于多模态特征的规则三维彩色点云配准方法，其特征在于包括以下步骤：

步骤1、获取三维彩色点云数据，利用三维激光彩色扫描测距系统在两个不同的位置分别对同一场景进行扫描，得到两个规则三维彩色点云数据P＝{p_ij＝(x_ij,y_ij,z_ij,r_ij,g_ij,b_ij)|1≤i≤n,1≤j≤m}和 其中，p_ij为规则三维彩色点云数据P中的彩色点，(x_i,y_i,z_i)为彩色点p_ij的坐标，(r_ij,g_ij,b_ij)为彩色点p_ij的颜色，n为规则三维彩色点云数据P的行数，m为规则三维彩色点云数据P的列数，为规则三维彩色点云数据中的彩色点，为彩色点的坐标，为彩色点的颜色，为规则三维彩色点云数据的行数，为规则三维彩色点云数据的列数，i为规则三维彩色点云数据的扫描行号，j为规则三维彩色点云数据的扫描列号，规则三维彩色点云数据由点云数据和图像数据两种模态融合而成，并按照矩形网格分布规则化排列；

步骤2、提取图像数据，根据规则三维彩色点云数据的组织形式，分别从规则三维彩色点云数据P和中提取图像数据C＝{c_ij＝(r_ij,g_ij,b_ij)|1≤i≤n,1≤j≤m}和

步骤3、图像特征点提取，在图像模态中，利用SIFT算法分别提取图像C和中的特征点，并构建其的特征向量；

步骤4、图像特征点匹配，利用欧式距离和随机采样一致性RANSAC算法，匹配图像C和的特征点，构建两幅图像的匹配点对；

步骤5、提取点云数据，分别从规则三维彩色点云数据P和中提取点云数据S＝{s_ij＝(x_ij,y_ij,z_ij)|1≤i≤n,1≤j≤m}和

步骤6、点云特征点提取，按照扫描行号将点云S分解为n条横向线点云，计算每一条横向线点云中每个离散点的曲率，提取曲率极值点，作为点云S的横向特征点，按照扫描列号将点云S分解为m条纵向线点云，计算每一条纵向线点云中每个离散点的曲率，提取曲率极值点，作为点云S的纵向特征点，点云S的横向特征点和纵向特征点构成了点云S的特征点；按照扫描行号将点云分解为条横向线点云，计算每一条横向线点云中每个离散点的曲率，提取曲率极值点，作为点云的横向特征点，按照扫描列号将点云分解为条纵向线点云，计算每一条纵向线点云中每个离散点的曲率，提取曲率极值点，作为点云的纵向特征点，点云的横向特征点和纵向特征点构成了点云的特征点，具体包括以下子步骤：

(a)、按照扫描行号i，将点云S分解为n条横向线点云S＝{S_i|1≤i≤n}，其中，S_i＝{s_ij＝(x_ij,y_ij,z_ij)|1≤j≤m}为第i条横向线点云；

(b)、利用累积弦长参数化方法，计算横向线点云S_i中每一个离散点s_ij的累计弦长参数t_ij，按照公式(1)进行描述，

离散点s_ij＝(x_ij,y_ij,z_ij)与参数值t_ij之间一一对应，用离散矢量函数表示为s_ij＝s(t_ij)＝(x_ij＝x(t_ij),y_ij＝y(t_ij),z_ij＝z(t_ij))，t_ij∈{t_i1,t_i2,..,t_im}；

(c)、根据连续函数导数的定义，分别估算离散函数x_ij＝x(t_ij)、y_ij＝y(t_ij)和z_ij＝z(t_ij)在t_ij处的导数，按照公式(2)、公式(3)和公式(4)进行描述，

其中，m₁为计算半径，则离散矢量函数s_ij＝s(t_ij)在t_ij处的导数为，

s′_ij＝s′(t_ij)＝(x′_ij＝x′(t_ij),y′_ij＝y′(t_ij),z′_ij＝z′(t_ij)) (5)

(d)、结合连续曲线切向量计算公式，利用离散导数，估算横向线点云S_i中离散点s_ij在t_ij处的单位切向量为，

令则可得

(e)、结合连续曲线曲率计算公式，利用离散导数，估算横向线点云S_i中离散点s_ij在t_ij处的曲率为，

其中，可利用与公式(2)、公式(3)和公式(4)相同的方法求出；

(f)、利用步骤6子步骤(b)～(e)，求取所有横向线点云中离散点的曲率，沿着横向线点云提取局部曲率极值点，作为点云S的横向特征点；

(g)、按照扫描列号j，将点云S分解为m条纵向线点云，利用与步骤6子步骤(b)～(f)相同的方法，获取点云S的纵向特征点；

(h)、点云S的横向特征点和纵向特征点就构成了点云S的特征点；

(i)、利用与步骤6子步骤(a)～(h)相同的方法，获取点云的特征点；

步骤7、点云特征点匹配，利用欧式距离和随机采样一致性RANSAC算法，匹配点云S和的特征点，构建两个点云的匹配点对；

步骤8、三维彩色点云粗配准，根据扫描行号和扫描列号，将图像匹配点对和点云匹配点对映射回三维彩色点云空间，合并形成三维彩色点云匹配点对，利用三维彩色点云匹配点对的坐标信息，求取规则三维彩色点云P和之间的旋转矩阵R和平移向量t；

步骤9、三维彩色点云精配准，将粗配准求得的旋转矩阵R和平移向量t作为迭代最近点ICP算法的初始值，利用迭代最近点ICP算法和三维彩色点云的坐标信息，求取规则三维彩色点云P和之间的最优旋转矩阵和平移向量并利用最优旋转矩阵和平移向量对三维彩色点云P进行坐标变换，使之变换到三维彩色点云所在的坐标系下，实现三维彩色点云P和的精配准。