CN108062766A - 一种融合颜色矩信息的三维点云配准方法 - Google Patents

一种融合颜色矩信息的三维点云配准方法 Download PDF

Info

Publication number
CN108062766A
CN108062766A CN201711398961.2A CN201711398961A CN108062766A CN 108062766 A CN108062766 A CN 108062766A CN 201711398961 A CN201711398961 A CN 201711398961A CN 108062766 A CN108062766 A CN 108062766A
Authority
CN
China
Prior art keywords
mrow
msub
point cloud
color
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711398961.2A
Other languages
English (en)
Other versions
CN108062766B (zh
Inventor
杨旸
陈维乐
李夏琼
陈卓
范丹丹
崔文婷
张思睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201711398961.2A priority Critical patent/CN108062766B/zh
Publication of CN108062766A publication Critical patent/CN108062766A/zh
Application granted granted Critical
Publication of CN108062766B publication Critical patent/CN108062766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种融合颜色矩信息的三维点云配准方法，已知模板颜色点云和待配准的目标颜色点云，在给定初始配准参数的基础上，第一步分别计算两个点云中每个点的颜色一阶矩、二阶矩和三阶矩特征；第二步根据融合了点云三维空间信息和颜色矩信息的形状‑颜色联合特征设计点云配准的目标函数；第三步根据联合特征的加权距离度量，构建模板颜色点云和目标颜色点云之间点对点的对应关系；第四步利用模板颜色点云和目标颜色点云之间点对点的对应关系求解空间配准的变换参数，并对目标颜色点云进行空间变换；第五步迭代上述的第三步和第四步，直至达到迭代终止条件，最终完成模板颜色点云与目标颜色点云的配准；本发明能够有效地降低由于点云局部缺失和噪声对配准结果的影响，提高三维点云配准的精确性与鲁棒性。

Description

一种融合颜色矩信息的三维点云配准方法
技术领域
本发明涉及计算机视觉与图像处理技术领域，具体涉及一种融合颜色矩信息的三维点云配准方法。
背景技术
三维点云配准是计算机视觉与图像处理领域中的一个经典问题，以点云配准为基础的三维模型重建在场景重建、3D打印、医学影像分析等领域有着广泛应用。目前常见的点云RGB-D采集设备例如Kinect包含有深度传感器和彩色摄像头，可以采集到高密度低噪声的三维彩色点云。在使用采集设备进行点云采集时，由于单次扫描只能得到物体一个局部的点云数据，一般需要分多次对同一物体在不同角度位置进行扫描，才能得到物体完整的点云数据，但由于每一次扫描时采集设备的扫描位置和角度信息均会发生变化，还需要对采集到的所有点云数据进行配准才能完成整个物体的重建。
在同一个坐标系下存在两个相同或部分相同的点云，其中一个点云作为模板，另一个点云作为目标颜色点云，点云配准的目标是求解空间变换旋转参数R和平移参数T，将目标颜色点云利用参数完成旋转平移变换后，其与模板颜色点云相同的部分可以重合。三维重建的过程就是将采集到的所有点云进行配准，最终形成一个完整的模型点云。
在点云配准算法中最著名的算法是迭代最近点算法(Iterative Closest PointsAlgorithm)[1]。在ICP算法中，通过寻找两个点云之间距离最近的对应点对，迭代计算使对应点对之间距离的均方误差最小的最佳刚体变换。然而传统ICP算法及其改进算法仅使用了点云的空间形状信息，即点的空间三维坐标，使得在遇到待配准点云之间的部分点云缺失和噪声问题时会造成对配准精度的影响。随着RGB-D点云采集设备的发展，对物体扫描出的点云数据中每个点都具有高精度的三维空间坐标和颜色值。为了克服传统ICP的一些缺点，目前提出了许多在ICP算法中结合使用点云的空间信息和颜色信息的算法。例如从点云的颜色信息中提取出每个点的SIFT特征，利用点云外观的相似性和几何距离作为寻找对应点的距离度量[2]；在传统ICP使用的点云三维空间坐标向量(X,Y,Z)中加入点的颜色信息，例如点在HSL颜色空间中的Hue值[3]或点在Lab颜色空间的颜色值(L，a，b)[4]，在算法迭代计算过程中使用包含有颜色信息的多维特征向量以减少迭代次数和提高算法精确度。
对颜色点云在配准过程中引入颜色特征的改进需求，本发明提出一种新的颜色点云配准方法，通过有效的表达点云局部颜色分布信息，生成更具有代表性的颜色特征配合点云形状特征对颜色点云进行配准，使算法的配准精度更高且计算简单。
[1]Besl,P.J.,and N.D.Mckay."A method for registration of 3-D shapes."IEEE Transactions on Pattern Analysis&Machine Intelligence 14.2(2002):239-256.
[2]Lemuz-L,R.Pez,and M.Arias-Estrada."Iterative Closest SIFTFormulation for Robust Feature Matching."International Symposium on VisualComputing Springer Berlin Heidelberg,2006:502-513.
[3]Men,Hao,B.Gebre,and K.Pochiraju."Color point cloud registrationwith 4D ICP algorithm."IEEE International Conference on Robotics andAutomation IEEE,2011:1511-1516.
[4]Korn,Michael,M.Holzkothen,and J.Pauli."Color supportedgeneralized-ICP."International Conference on Computer Vision Theory andApplications IEEE,2015:592-599.
发明内容
为了解决颜色点云配准的现有技术存在的问题，本发明给出一种融合颜色矩信息的三维点云配准方法，计算点云中每个点所在局部颜色分布信息的颜色矩特征，生成点云的形状‐颜色联合特征对目标颜色点云与模板颜色点云进行配准。
本发明采用如下技术方案：
一种融合颜色矩信息的三维点云配准方法，使用颜色矩生成三维点云的颜色特征向量，使用形状‐颜色联合特征对目标颜色点云与模板颜色点云进行配准，具体包括如下步骤：
步骤1：获取需要配准的目标颜色点云P与模板颜色点云Q，点云数据包含目标颜色点云P中每个点及模板颜色点云Q中每个点在三维空间中的空间坐标以及在RGB颜色空间中的颜色值；提取P、Q点云中点的颜色特征：对于目标颜色点云P中每个点在点云中所处邻域内距离最近的K个点，得到点在点云P中包含K个邻近点的邻域点云子集，利用子集内各个点的颜色值，分别计算出它们在RGB三个颜色分量上的一阶矩即均值、二阶矩即方差、三阶矩即斜度，生成该点的九维颜色矩特征值向量，用来表示该点周围的颜色分布信息；同理，对模板颜色点云Q中每个点采用同样方法计算出所有点的颜色矩特征；
步骤2：根据点云的三维空间信息与颜色矩特征信息构建形状‐颜色联合特征，建立包含联合特征信息的点云配准目标函数；点云配准目标函数如下：
其中，c(i)表示目标颜色点云P与模板颜色点云Q中点对点的对应关系，为目标颜色点云P中第i个点的空间坐标向量，为模板颜色点云Q中与对应的点的空间坐标向量，为目标颜色点云P中第i个点的颜色矩特征向量，为模板颜色点云Q中与对应的点的颜色矩特征向量，R为旋转变换矩阵，RT为旋转变换矩阵的转置矩阵，In为n维的单位矩阵，det(R)为旋转变换矩阵的行列式，为平移变换向量，ω为颜色矩特征的权重系数，NP、NQ分别为目标颜色点云与模板颜色点云中包含点的个数；
步骤3：根据点云的形状‐颜色联合特征利用加权距离度量求解目标颜色点云P与模板颜色点云Q之间点对点的对应关系；对应关系ck(i)公式如下：
其中，ck(i)代表第k次迭代得到的点云间对应关系，Rk-1、分别代表上一次迭代得到的旋转、平移变换参数，为目标颜色点云P中第i个点的空间坐标向量，为模板颜色点云Q中与对应的点的空间坐标向量，为目标颜色点云P中第i个点的颜色矩特征向量，为模板颜色点云Q中与对应的点的颜色矩特征向量，ω为颜色矩特征的权重系数，NP、NQ分别为目标颜色点云与模板颜色点云中包含点的个数；
使用点云联合特征寻找P、Q点云间点对点的对应关系时，首先利用上一次得到的变换参数对目标颜色点云做空间变换，再根据目标颜色点云中每个点的联合特征，利用加权距离度量计算出在模板颜色点云中与其加权距离最近的点作为对应点对，加权距离度量公式如下：
其中，i＝1,…,NP′，j＝1,…,NQ，NP、NQ分别为目标颜色点云与模板颜色点云中包含点的个数，Pr、Qr分别为目标颜色点云与模板颜色点云的点云最大采集范围，xi′、yi′、zi′为目标颜色点云P中第i个点使用变换参数进行空间变换后的三维空间坐标，xj、yj、zj为模板颜色点云Q中的第j个点，ω为颜色矩特征的权重系数，μri、σri、sri、μgi、σgi、sgi、μbi、σbi、sbi为目标颜色点云P中第i个点在颜色空间中R、G、B三个颜色分量上的一阶矩、二阶矩、三阶矩，μrj、σrj、srj、μgj、σgj、sgj、μbj、σbj、sbj为模板颜色点云Q中第j个点在颜色空间中R、G、B三个颜色分量上的一阶矩、二阶矩、三阶矩；在计算时为了加快运算速度，需要对P、Q两个点云的联合特征构建k‐d树，再根据加权距离度量求解对应关系；
步骤4：利用目标颜色点云与模板颜色点云间对应关系求解空间配准的变换参数；
步骤5：迭代上述的步骤3和步骤4，直到目标颜色点云与模板颜色点云的对应点对之间的均方误差小于给定的阈值或达到最大迭代次数；根据迭代完成后得到的最佳空间变换参数对目标颜色点云进行空间变换，最终完成目标颜色点云与模板颜色点云的配准。
步骤5所述的迭代停止的阈值设置为E＝10-5，最大迭代次数为20次。
本发明与已有技术相比的不同点(创新点)如下：
1)物体的颜色点云在不同的形状局部上具有不同的颜色分布，本发明使用颜色矩来表示点云中任意一点所在的局部颜色分布信息，相比于仅使用该点的(R,G,B)颜色值，本发明采用的方法可以有效的将该点邻域内的颜色分布特征包含在内，拥有更强的特征辨识能力。并且颜色特征不会随着点云的空间旋转、平移变换而改变，不需要对颜色矩迭代计算。
2)在配准过程中寻找目标颜色点云与模板颜色点云间点对点的对应关系时，提出使用点云的形状‐颜色联合特征的加权距离度量寻找对应点对，点云的联合特征由点云内部每个点的三维空间坐标向量与颜色矩向量组成。相比于仅使用空间坐标计算欧氏距离寻找对应点对的传统方法，联合特征向量同时考虑了点云的形状信息与局部颜色分布信息，提高了正确匹配点对的准确性。
附图说明
图1为三维点云配准流程图。
图2为三维点云配准效果图，其中：
图2(a)、(b)为待配准的目标颜色点云和模板颜色点云图像，其中两幅点云中各有一部分形状点云缺失，且形状不完全相同。
图2(c)为本发明提出的点云配准方法的配准结果。
图2(d)为传统点云配准方法ICP的配准结果。
图2(e)、(f)为待配准的目标颜色点云和模板颜色点云图像，两幅点云采集于地球仪，其形状基本相同，但经过一定角度的旋转。
图2(g)为本发明提出的点云配准方法的配准结果。
图2(h)为传统点云配准方法ICP的配准结果。
具体实施方式
以下结合附图及具体实施例对本发明作进一步的详细描述。
如图1所示，本发明一种融合颜色矩信息的三维点云配准方法，具体包括如下步骤：
步骤1：计算点云中每个点的颜色一阶矩、二阶矩和三阶矩特征：
颜色矩是一种非常简单而有效的颜色特征，点云中任何的颜色分布均可以用它的矩来表示。由于颜色分布信息主要集中在低阶矩中，因此仅采用颜色的一阶矩(均值)、二阶矩(方差)和三阶矩(斜度)足以表达点云的颜色分布特征，且特征不会随着点云的空间旋转、平移变换而改变。
该步骤对点云颜色矩的计算分为以下几步：
1)首先获取需要进行配准的目标颜色点云与模板颜色点云点云数据信息中包含点的三维空间坐标以及颜色值
2)寻找点云P、Q在三维空间中距离点最近的K个点，即
其中点云子集A、B就是在空间分布中包含点所处邻域内的K个邻近点的局部点云子集，为子集A、B中的点。
2)计算点云子集A、B中的颜色矩特征向量，每个向量包含九个分量(三个颜色分量R、G、B，每个分量上三个低阶矩)，三种低阶矩为：
其中，μk代表一阶矩(均值)、σk代表二阶矩(方差)、sk代表三阶矩(斜度)，pci,k表示点云中第i个像素的第k个颜色分量，N表示点云中点的个数。对点云子集A,B使用上述三个公式计算出点所在局部的颜色矩特征，用来表示该点周围的颜色分布信息，即：
步骤2：构建点云配准目标函数：
根据点云的三维空间信息与颜色矩信息构建形状‐颜色联合特征，建立包含联合特征信息的点云配准目标函数如下：
其中，c(i)表示目标颜色点云P与模板颜色点云Q中点对点的对应关系，为目标颜色点云P中第i个点的空间坐标向量，为模板颜色点云Q中与对应的点的空间坐标向量，为目标颜色点云P中第i个点的颜色矩特征向量，为模板颜色点云Q中与对应的点的颜色矩特征向量，R为旋转变换矩阵，RT为旋转变换矩阵的转置矩阵，In为n维的单位矩阵，det(R)为旋转变换矩阵的行列式，为平移变换向量，ω为颜色矩特征的权重系数，NP、NQ分别为目标颜色点云与模板颜色点云中包含点的个数。
步骤3：求解点云间对应关系：
利用点云的形状‐颜色联合特征求解目标颜色点云P与模板颜色点云Q点云之间点对点的对应关系，
对应关系ck(i)如下：
其中，ck(i)代表第k次迭代得到的点云间对应关系，Rk-1、分别代表上一次迭代得到的旋转、平移变换参数，为目标颜色点云P中第i个点的空间坐标向量，为模板颜色点云Q中与对应的点的空间坐标向量，为目标颜色点云P中第i个点的颜色矩特征向量，为模板颜色点云Q中与对应的点的颜色矩特征向量，ω为颜色矩特征的权重系数，NP、NQ分别为目标颜色点云与模板颜色点云中包含点的个数。
计算对应关系时，首先对目标颜色点云利用上一次得到的变换参数做空间变换，得到变换后的目标颜色点云P′。根据目标颜色点云P′与模板颜色点云Q中每个点的形状‐颜色联合特征向量，计算P′内的每个点在Q中与其加权距离最近的点，这两个距离最近的点即为所求的对应点对，加权距离度量公式如下：
其中，i＝1,…,NP′，j＝1,…,NQ，NP、NQ分别为目标颜色点云与模板颜色点云中包含点的个数，Pr、Qr分别为目标颜色点云与模板颜色点云的点云最大采集范围，xi′、yi′、zi′为目标颜色点云P中第i个点使用变换参数进行空间变换后的三维空间坐标，xj、yj、zj为模板颜色点云Q中的第j个点，ω为颜色矩特征的权重系数，在这里设置为0.2，μri、σri、sri、μgi、σgi、sgi、μbi、σbi、sbi为目标颜色点云P中第i个点在颜色空间中R、G、B三个颜色分量上的一阶矩、二阶矩、三阶矩，μrj、σrj、srj、μgj、σgj、sgj、μbj、σbj、sbj为模板颜色点云Q中第j个点在颜色空间中R、G、B三个颜色分量上的一阶矩、二阶矩、三阶矩；为了加快运算速度，我们对P、Q两个点云的联合特征建立k‐d树，并计算点云P中的点与点云Q中点间加权距离，求得距离最小的两个点即为对应点对，从而建立目标颜色点云P与模板颜色点云Q之间点的对应关系ck(i)：
其中，为目标颜色点云P中第i个点的空间坐标向量，为模板颜色点云Q中第j个点的空间坐标向量，为模板颜色点云Q中与对应的点的空间坐标向量。
步骤4：利用对应关系求解空间变换参数：
利用目标颜色点云与模板颜色点云间对应关系求解空间配准的变换参数
在求解空间变换参数时，第一次迭代变换的初始旋转矩阵R设置为单位阵，平移矩阵T设置为零向量。根据步骤3所求的对应关系{i,ck(i)}，求解使目标颜色点云与模板颜色点云中对应点对平均距离最小的刚体变换，计算出新的空间变换参数即：
其中，c(i)表示目标颜色点云P与模板颜色点云Q中点对点的对应关系，为目标颜色点云P中第i个点的空间坐标向量，为模板颜色点云Q中与对应的点的空间坐标向量，R为旋转变换矩阵，RT为旋转变换矩阵的转置矩阵，In为n维的单位矩阵，det(R)为旋转变换矩阵的行列式，为平移变换向量，NP为目标颜色点云中包含点的个数。
具体方法为首先对目标颜色点云P中的点与模板颜色点云Q中对应点做预处理，计算点云P的中心位置和点云Q中对应点的中心位置：
其中，为目标颜色点云P中第i个点的空间坐标向量，为模板颜色点云Q中与对应的点的空间坐标向量，NP为目标颜色点云中包含点的个数。
分别将点云P中的点和点云Q中的对应点坐标平移至中心位置：
根据预处理后点云P中点的坐标与点云Q中对应点的坐标，利用SVD奇异值分解求解点云P、Q中对应点空间变换参数当前第k次迭代得到的目标颜色点云的旋转变换参数Rk和平移变换参数为：
其中，Rk-1、分别代表上一次迭代得到的目标颜色点云旋转、平移变换参数，R*、分别为本次迭代求解的点云P、Q中对应点旋转、平移变换参数
步骤5：迭代步骤3、4求解最佳空间变换参数，完成点云配准：
迭代步骤三的过程，对目标颜色点云P使用上一次迭代得到的变换参数进行空间变换：
得到点云利用空间变换后的点云P″与模板颜色点云Q计算新的对应关系ck+1(i)，根据对应关系迭代步骤4的计算过程，求解第k+1次迭代的空间变换参数重复步骤3、4直到两个点云对应点对之间的均方误差小于给定的阈值或达到最大迭代次数。迭代停止的阈值设置为E＝10-5，最大迭代次数为20次。
迭代完成后得到的目标颜色点云P与模板颜色点云Q的变换参数即为最佳空间变换参数，利用该参数对目标颜色点云进行旋转和平移，完成点云配准过程：
图2为点云配准的效果图。在图二中，(a)、(b)分别为待配准的目标颜色点云与模板颜色点云，(c)为本发明的配准效果图，(d)为传统点云配准算法ICP的配准效果。由于在目标颜色点云和模板颜色点云中有部分点的缺失，导致仅使用点云形状信息进行配准的ICP算法配准效果较差，而融合了颜色矩信息的本发明算法具有较好的配准精度；图2中(e)、(f)为待配准的目标颜色点云与模板颜色点云，(g)为本发明的配准效果图，(d)为传统点云配准算法ICP的配准效果。目标颜色点云与模板颜色点云采集于地球仪，两幅点云形状基本一致，但地球仪经过了一定角度的旋转，在配准时传统配准算法ICP仅能将点云形状配准，本发明提出的配准算法可以同时将点云形状及颜色进行配准，更符合现实中的点云配准需求。

Claims (2)

1.一种融合颜色矩信息的三维点云配准方法，其特征在于：利用颜色矩生成三维颜色点云的颜色特征向量，使用形状-颜色联合特征对目标颜色点云与模板点颜色云进行配准，具体包括如下步骤：
步骤1：获取需要配准的目标颜色点云P与模板颜色点云Q，点云数据包含目标颜色点云P中每个点及模板颜色点云Q中每个点在三维空间中的空间坐标以及在RGB颜色空间中的颜色值；提取P、Q点云中点的颜色特征：对于目标颜色点云P中每个点在点云中所处邻域内距离最近的K个点，得到点在点云P中包含K个邻近点的邻域点云子集，利用子集内各个点的颜色值，分别计算出它们在RGB三个颜色分量上的一阶矩即均值、二阶矩即方差、三阶矩即斜度，生成该点的九维颜色矩特征值向量，用来表示该点周围的颜色分布信息；同理，对模板颜色点云Q中每个点采用同样方法计算出所有点的颜色矩特征；
步骤2：根据点云的三维空间信息与颜色矩特征信息构建形状-颜色联合特征，建立包含联合特征信息的点云配准目标函数；点云配准目标函数如下：
<mrow> <munder> <mi>min</mi> <mrow> <mi>R</mi> <mo>,</mo> <mover> <mi>t</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>,</mo> <mi>c</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>&amp;Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <msub> <mi>N</mi> <mi>Q</mi> </msub> <mo>}</mo> </mrow> </munder> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>N</mi> <mi>P</mi> </msub> </munderover> <mrow> <mo>(</mo> <mo>|</mo> <mo>|</mo> <mo>(</mo> <mrow> <mi>R</mi> <msub> <mover> <mi>p</mi> <mo>&amp;RightArrow;</mo> </mover> <mi>i</mi> </msub> <mo>+</mo> <mover> <mi>t</mi> <mo>&amp;RightArrow;</mo> </mover> </mrow> <mo>)</mo> <mo>-</mo> <mover> <msub> <mi>q</mi> <mrow> <mi>c</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;RightArrow;</mo> </mover> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;omega;</mi> <msup> <mrow> <mo>(</mo> <mrow> <mover> <msub> <mi>M</mi> <msub> <mi>p</mi> <mi>i</mi> </msub> </msub> <mo>&amp;RightArrow;</mo> </mover> <mo>-</mo> <mover> <msub> <mi>M</mi> <mrow> <mi>c</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;RightArrow;</mo> </mover> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mo>,</mo> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> <msup> <mi>R</mi> <mi>T</mi> </msup> <mi>R</mi> <mo>=</mo> <msub> <mi>I</mi> <mi>n</mi> </msub> <mo>,</mo> <mi>det</mi> <mrow> <mo>(</mo> <mi>R</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> </mrow>
其中，c(i)表示目标颜色点云P与模板颜色点云Q中点对点的对应关系，为目标颜色点云P中第i个点的空间坐标向量，为模板颜色点云Q中与对应的点的空间坐标向量，为目标颜色点云P中第i个点的颜色矩特征向量，为模板颜色点云Q中与对应的点的颜色矩特征向量，R为旋转变换矩阵，RT为旋转变换矩阵的转置矩阵，In为n维的单位矩阵，det(R)为旋转变换矩阵的行列式，为平移变换向量，ω为颜色矩特征的权重系数，NP、NQ分别为目标颜色点云与模板颜色点云中包含点的个数；
步骤3：根据点云的形状-颜色联合特征利用加权距离度量求解目标颜色点云P与模板颜色点云Q之间点对点的对应关系；对应关系ck(i)公式如下：
<mrow> <msub> <mi>c</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi>min</mi> </mrow> <mrow> <mi>c</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>&amp;Element;</mo> <mo>{</mo> <mn>1</mn> <mo>,</mo> <mn>2</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <msub> <mi>N</mi> <mi>Q</mi> </msub> <mo>}</mo> </mrow> </munder> <mrow> <mo>(</mo> <mo>|</mo> <mo>|</mo> <mo>(</mo> <mrow> <msub> <mi>R</mi> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <msub> <mover> <mi>p</mi> <mo>&amp;RightArrow;</mo> </mover> <mi>i</mi> </msub> <mo>+</mo> <mover> <msub> <mi>t</mi> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>&amp;RightArrow;</mo> </mover> </mrow> <mo>)</mo> <mo>-</mo> <mover> <msub> <mi>q</mi> <mrow> <mi>c</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;RightArrow;</mo> </mover> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;omega;</mi> <msup> <mrow> <mo>(</mo> <mrow> <mover> <msub> <mi>M</mi> <msub> <mi>p</mi> <mi>i</mi> </msub> </msub> <mo>&amp;RightArrow;</mo> </mover> <mo>-</mo> <mover> <msub> <mi>M</mi> <mrow> <mi>c</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </msub> <mo>&amp;RightArrow;</mo> </mover> </mrow> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mo>,</mo> <mi>i</mi> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mn>...</mn> <mo>,</mo> <msub> <mi>N</mi> <mi>P</mi> </msub> </mrow>
其中，ck(i)代表第k次迭代得到的点云间对应关系，Rk-1、分别代表上一次迭代得到的旋转、平移变换参数，为目标颜色点云P中第i个点的空间坐标向量，为模板颜色点云Q中与对应的点的空间坐标向量，为目标颜色点云P中第i个点的颜色矩特征向量，为模板颜色点云Q中与对应的点的颜色矩特征向量，ω为颜色矩特征的权重系数，NP、NQ分别为目标颜色点云与模板颜色点云中包含点的个数；
使用点云联合特征寻找P、Q点云间点对点的对应关系时，首先利用上一次得到的变换参数对目标颜色点云做空间变换，再根据目标颜色点云中每个点的联合特征，利用加权距离度量计算出在模板颜色点云中与其加权距离最近的点作为对应点对，加权距离度量公式如下：
<mrow> <mi>d</mi> <mrow> <mo>(</mo> <msubsup> <mi>p</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <mo>,</mo> <msub> <mi>q</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mtable> <mtr> <mtd> <mrow> <msup> <mrow> <mo>(</mo> <mfrac> <msubsup> <mi>x</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <msub> <mi>P</mi> <mi>r</mi> </msub> </mfrac> <mo>-</mo> <mfrac> <msub> <mi>x</mi> <mi>j</mi> </msub> <msub> <mi>Q</mi> <mi>r</mi> </msub> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mfrac> <msubsup> <mi>y</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <msub> <mi>P</mi> <mi>r</mi> </msub> </mfrac> <mo>-</mo> <mfrac> <msub> <mi>y</mi> <mi>j</mi> </msub> <msub> <mi>Q</mi> <mi>r</mi> </msub> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <mfrac> <msubsup> <mi>z</mi> <mi>i</mi> <mo>&amp;prime;</mo> </msubsup> <msub> <mi>P</mi> <mi>r</mi> </msub> </mfrac> <mo>-</mo> <mfrac> <msub> <mi>z</mi> <mi>j</mi> </msub> <msub> <mi>Q</mi> <mi>r</mi> </msub> </mfrac> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <mi>&amp;omega;</mi> <mo>&amp;lsqb;</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>&amp;mu;</mi> <mrow> <mi>r</mi> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mrow> <mi>r</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>r</mi> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>r</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mi>r</mi> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>s</mi> <mrow> <mi>r</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>&amp;mu;</mi> <mrow> <mi>g</mi> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mrow> <mi>g</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>g</mi> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>g</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mi>g</mi> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>s</mi> <mrow> <mi>g</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>&amp;mu;</mi> <mrow> <mi>b</mi> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mrow> <mi>b</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>b</mi> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>b</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>s</mi> <mrow> <mi>b</mi> <mi>i</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>s</mi> <mrow> <mi>b</mi> <mi>j</mi> </mrow> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> </mtable> </msqrt> </mrow>
其中，i＝1,…,NP′，j＝1,…,NQ，NP、NQ分别为目标颜色点云与模板颜色点云中包含点的个数，Pr、Qr分别为目标颜色点云与模板颜色点云的点云最大采集范围，xi′、yi′、zi′为目标颜色点云P中第i个点使用变换参数进行空间变换后的三维空间坐标，xj、yj、zj为模板颜色点云Q中的第j个点，ω为颜色矩特征的权重系数，μri、σri、sri、μgi、σgi、sgi、μbi、σbi、sbi为目标颜色点云P中第i个点在颜色空间中R、G、B三个颜色分量上的一阶矩、二阶矩、三阶矩，μrj、σrj、srj、μgj、σgj、sgj、μbj、σbj、sbj为模板颜色点云Q中第j个点在颜色空间中R、G、B三个颜色分量上的一阶矩、二阶矩、三阶矩；在计算时为了加快运算速度，需要对P、Q两个点云的联合特征构建k-d树，再根据加权距离度量求解对应关系；
步骤4：利用目标颜色点云与模板颜色点云间对应关系求解空间配准的变换参数；
步骤5：迭代上述的步骤3和步骤4，直到目标颜色点云与模板颜色点云的对应点对之间的均方误差小于给定的阈值或达到最大迭代次数；根据迭代完成后得到的最佳空间变换参数对目标颜色点云进行空间变换，最终完成目标颜色点云与模板颜色点云的配准。
2.根据权利要求1所述的一种融合颜色矩信息的三维点云配准方法，其特征在于：步骤5迭代停止的阈值设置为E＝10-5，最大迭代次数为20次。
CN201711398961.2A 2017-12-21 2017-12-21 一种融合颜色矩信息的三维点云配准方法 Active CN108062766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711398961.2A CN108062766B (zh) 2017-12-21 2017-12-21 一种融合颜色矩信息的三维点云配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711398961.2A CN108062766B (zh) 2017-12-21 2017-12-21 一种融合颜色矩信息的三维点云配准方法

Publications (2)

Publication Number Publication Date
CN108062766A true CN108062766A (zh) 2018-05-22
CN108062766B CN108062766B (zh) 2020-10-27

Family

ID=62139887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711398961.2A Active CN108062766B (zh) 2017-12-21 2017-12-21 一种融合颜色矩信息的三维点云配准方法

Country Status (1)

Country Link
CN (1) CN108062766B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866934A (zh) * 2019-10-14 2020-03-06 中国科学院自动化研究所 基于规范性编码的复杂点云分割方法及系统
CN111340862A (zh) * 2020-02-18 2020-06-26 广州智能装备研究院有限公司 一种基于多特征融合的点云配准方法、装置及存储介质
CN115760855A (zh) * 2023-01-09 2023-03-07 中建科技集团有限公司 工件检查方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103236081A (zh) * 2013-04-25 2013-08-07 四川九洲电器集团有限责任公司 一种彩色点云的配准方法
US20140226895A1 (en) * 2013-02-13 2014-08-14 Lsi Corporation Feature Point Based Robust Three-Dimensional Rigid Body Registration
WO2017028961A1 (en) * 2015-08-14 2017-02-23 Thomson Licensing 3d reconstruction of a human ear from a point cloud
CN107346550A (zh) * 2017-07-05 2017-11-14 滁州学院 一种针对具有颜色信息的三维点云数据快速配准方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140226895A1 (en) * 2013-02-13 2014-08-14 Lsi Corporation Feature Point Based Robust Three-Dimensional Rigid Body Registration
CN103236081A (zh) * 2013-04-25 2013-08-07 四川九洲电器集团有限责任公司 一种彩色点云的配准方法
WO2017028961A1 (en) * 2015-08-14 2017-02-23 Thomson Licensing 3d reconstruction of a human ear from a point cloud
CN107346550A (zh) * 2017-07-05 2017-11-14 滁州学院 一种针对具有颜色信息的三维点云数据快速配准方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HAO MEN 等: "Color point cloud registration with 4D ICP algorithm", 《IEEE》 *
QIN YE 等: "An improved ICP algorithm for kinect point cloud registration", 《IEEE》 *
张勤 等: "基于激光与单目视觉的室内场景三维重建", 《系统仿真学报》 *
马金宇: "基于RGB-D数据的点云配准方法研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866934A (zh) * 2019-10-14 2020-03-06 中国科学院自动化研究所 基于规范性编码的复杂点云分割方法及系统
CN110866934B (zh) * 2019-10-14 2022-09-09 中国科学院自动化研究所 基于规范性编码的复杂点云分割方法及系统
CN111340862A (zh) * 2020-02-18 2020-06-26 广州智能装备研究院有限公司 一种基于多特征融合的点云配准方法、装置及存储介质
CN111340862B (zh) * 2020-02-18 2023-07-07 广州智能装备研究院有限公司 一种基于多特征融合的点云配准方法、装置及存储介质
CN115760855A (zh) * 2023-01-09 2023-03-07 中建科技集团有限公司 工件检查方法及相关设备

Also Published As

Publication number Publication date
CN108062766B (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
Liu Improving ICP with easy implementation for free-form surface matching
CN108921895B (zh) 一种传感器相对位姿估计方法
CN110363800B (zh) 一种基于点集数据与特征信息相融合的精确刚体配准方法
CN105205858A (zh) 一种基于单个深度视觉传感器的室内场景三维重建方法
Faghih Roohi et al. 4D statistical shape modeling of the left ventricle in cardiac MR images
CN109544606B (zh) 基于多个Kinect的快速自动配准方法及系统
CN108062766B (zh) 一种融合颜色矩信息的三维点云配准方法
CN111145232A (zh) 一种基于特征信息变化度的三维点云自动配准方法
Zhi et al. Simultaneous hand-eye calibration and reconstruction
Wuhrer et al. Landmark-free posture invariant human shape correspondence
Dambreville et al. Robust 3d pose estimation and efficient 2d region-based segmentation from a 3d shape prior
CN104463953A (zh) 基于惯性测量单元与rgb-d传感器的三维重建方法
CN117197333A (zh) 基于多目视觉的空间目标重构与位姿估计方法及系统
CN110415281B (zh) 一种基于Loam曲率加权的点集刚体配准方法
Ji et al. " Maximizing rigidity" revisited: a convex programming approach for generic 3D shape reconstruction from multiple perspective views
CN117197159A (zh) 一种高效且高质量的高温物体点云分割方法
Dai et al. A novel two-stage algorithm for accurate registration of 3-D point clouds
CN109300148B (zh) 基于方法协同的多源图像配准方法
Lusk et al. Global data association for slam with 3d grassmannian manifold objects
Hödlmoser et al. Classification and pose estimation of vehicles in videos by 3d modeling within discrete-continuous optimization
CN106971389B (zh) 一种基于统计形状模型的肾皮质定位方法
CN104123711B (zh) 一种三维图像中多器官的定位方法
Rotger et al. 2D-to-3D facial expression transfer
Lin et al. An Improved ICP with Heuristic Initial Pose for Point Cloud Alignment
Jia et al. Improved normal iterative closest point algorithm with multi-information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant