CN109345570B - 一种基于几何形状的多通道三维彩色点云配准方法 - Google Patents
一种基于几何形状的多通道三维彩色点云配准方法 Download PDFInfo
- Publication number
- CN109345570B CN109345570B CN201811047904.4A CN201811047904A CN109345570B CN 109345570 B CN109345570 B CN 109345570B CN 201811047904 A CN201811047904 A CN 201811047904A CN 109345570 B CN109345570 B CN 109345570B
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- cloud data
- data
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明属于三维点云数据处理与三维场景重建技术领域,一种基于几何形状的多通道三维彩色点云配准方法,包括以下步骤:(1)获取三维彩色点云数据,(2)提取点云数据,(3)点云形状分类,(4)点性点数据配准,(5)线性点数据配准,(6)面性点数据配准,(7)点云数据配准,(8)三维彩色点云数据配准。本发明通过构建协方差矩阵,准确地计算了三维点云数据的几何特征,从点云数据中提取出点性点、线性点和面性点三种特征点集,并利用这三种特征点集辅助完成了三维彩色点云的配准,从而有效地解决了由于三维彩色点云数据量过大而导致的配准时间过长的问题,大大地提高了三维彩色点云配准效率和准确度。
Description
技术领域
本发明涉及一种基于几何形状的多通道三维彩色点云配准方法,属于三维点云数据处理与三维场景重建技术领域。
背景技术
随着信息科学技术的发展,计算机视觉、虚拟现实、3D打印、模式识别等领域在飞速进步,三维彩色点云得到了越来越广泛地应用。三维彩色点云数据是由点云数据和图像数据两种模态信息融合而成,其中,点云数据通过激光扫描仪得到,记录了物体的几何位置信息,图像数据通过彩色相机得到,记录了物体的颜色纹理信息。因此,三维彩色点云数据是三维点云数据的进一步发展,能更立体形象地描述现实世界。
在使用三维彩色激光扫描测距系统对实际场景进行扫描测量时,由于视野限制和物体遮挡等原因,通常不能在同一个视角下一次性扫描得到实际场景的全部三维彩色点云数据。因此,需要让三维彩色激光扫描测距系统在不同视角下对被测场景进行扫描,然后将多个视角下扫描得到的三维彩色点云数据变换到同一个坐标系下,获得实际场景的完整三维彩色点云数据,这个过程就是三维彩色点云数据的配准。
目前较为常用的点云配准算法是迭代最近点算法(ICP算法),其原理是迭代地对待配准点云集的对应点对进行选择,每次迭代时,对于一个点云集中的每个点都需要在另一个点云集中搜索离它距离最近的点,组成对应点对,并计算可以使对应点对之间的距离之和最小的旋转平移矩阵,最后利用旋转平移矩阵对待配准点云进行坐标变换,以实现点云配准。但这种算法仍存在一些不足:1)需要提供一个较好的配准初值;2)在搜索对应点对时,由于点云数据量较大,搜索耗时较长;3)迭代结果可能会陷入局部收敛的情况。
发明内容
为了解决现有技术中存在的不足,本发明目的是提供一种基于几何形状的多通道三维彩色点云配准方法,以充分利用点云形状信息。该方法针对实际场景,首先利用三维彩色激光扫描测距系统,在两个不同的位置分别对同一场景进行扫描,得到两个三维彩色点云数据,然后分别从中提取点云数据,再从点云数据中提取特征点集,利用特征点集进行配准,求取旋转矩阵和平移向量,最后将之应用到三维彩色点云配准中。该方法解决了由于三维彩色点云数据量过大而导致的配准时间较长、效率低的问题,并且充分发挥了各种几何形状的多通道优势。
为了实现上述发明目的,解决现有技术中所存在的问题,本发明采取的技术方案是:一种基于几何形状的多通道三维彩色点云配准方法,包括以下步骤:
步骤1、三维彩色点云数据获取,利用三维激光彩色扫描测距系统在两个不同的位置分别对同一场景进行扫描,得到两个三维彩色点云数据P={pi=(xi,yi,zi,ri,gi,bi)|1≤i≤n}和其中,pi为三维彩色点云数据P中的彩色点,(xi,yi,zi)为彩色点pi的坐标,(ri,gi,bi)为彩色点pi的颜色,n为三维彩色点云数据P中彩色点的个数,i为三维彩色点云数据P中彩色点的序号,为三维彩色点云数据中的彩色点,为彩色点的坐标,为彩色点的颜色,为三维彩色点云数据中彩色点的个数,j为三维彩色点云数据中彩色点的序号;三维彩色点云数据P由点云数据S={si=(xi,yi,zi)|1≤i≤n}和图像数据C={ci=(ri,gi,bi)|1≤i≤n}两种模态融合而成,三维彩色点云数据由点云数据和图像数据 两种模态融合而成;
步骤3、点云形状分类,利用KD-Tree算法,快速构建点云数据中每一个点的邻域,计算该邻域的协方差矩阵,并根据协方差矩阵特征值之间的大小关系,分别将点云数据S和分为点性点、线性点和面性点,具体包括以下子步骤:
(b)、构建给定点pi的邻域Ni的协方差矩阵为,
其中,T为向量转置符号,求取协方差矩阵Mi的特征值λ1、λ2、λ3,λ1<λ2<λ3,以及相应的特征向量v1、v2、v3;
(c)、若协方差矩阵Mi的特征值λ1≈λ2≈λ3,即λ3/λ2≤8和λ2/λ1≤8,则给定点si与其邻点呈散乱状分布,将给定点si分类为点性点,若协方差矩阵Mi的特征值λ1≈λ2<<λ3,即λ3/λ2>8和λ2/λ1≤8,则给定点si与其邻点呈直线状分布,将给定点si分类为线性点,若协方差矩阵Mi的特征值λ1<<λ2≈λ3,即λ3/λ2≤8和λ2/λ1>8,则给定点si与其邻点呈平面状分布,将给定点si分类为面性点;因此,将点云数据S分为点性点数据线性点数据和面性点数据其中,为点性点,ia为点性点的序号,na为点性点的个数,为线性点,ib为线性点的序号,nb为线性点的个数,为面性点,ic为面性点的序号,nc为面性点的个数,且na+nb+nc=n;
(d)、在点云数据中,利用与步骤3子步骤(a)~(c)相同的方法,将点云数据分为点性点数据线性点数据 和面性点数据其中,为点性点,ja为点性点的序号,为点性点的个数,为线性点,jb为线性点的序号,为线性点的个数,为面性点,jc为面性点的序号,为面性点的个数,且
(b)、利用奇异值分解SVD算法,求解使目标函数f(Ra,ta)最小的旋转矩阵Ra和平移向量ta,上述目标函数f(Ra,ta)按公式(1)进行描述,
(c)、使用旋转矩阵Ra和平移向量ta对点性点数据Sa进行坐标变换,得到新的点性点数据Sa,并计算目标函数f(Ra,ta);
(d)、若目标函数f(Ra,ta)小于设定阈值或者迭代次数达到设定次数就停止迭代,获得最终的旋转矩阵Ra和平移向量ta;否则,重复步骤4子步骤(a)~(d);
本发明有益效果是:一种基于几何形状的多通道三维彩色点云配准方法,包括以下步骤:(1)获取三维彩色点云数据,(2)提取点云数据,(3)点云形状分类,(4)点性点数据配准,(5)线性点数据配准,(6)面性点数据配准,(7)点云数据配准,(8)三维彩色点云数据配准。与已有技术相比,本发明具有以下优点:一是,本发明面向三维彩色点云数据配准,在其点云模态下,分类点云几何形状,充分发挥各几何形状的多通道优势,提升配准精度;二是,本发明利用各特征点集去计算旋转平移矩阵,降低对应点对搜索数量,缩短搜索时间,提高配准效率和实时性。
附图说明
图1是本发明方法步骤流程图。
图2是场景三维彩色点云数据显示图。
图3是场景三维点云数据显示图。
图4是点性点、线性点和面性点分类示意图。
图5是配准前两个三维点云数据显示图。
图中:(a)是俯视图,(b)是侧视图。
图6是配准后两个三维点云数据显示图。
图中:(a)是俯视图,(b)是侧视图。
图7是配准前两个三维彩色点云数据显示图。
图中:(a)是俯视图,(b)是侧视图。
图8是配准后两个三维彩色点云数据显示图。
图中:(a)是俯视图,(b)是侧视图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示,一种基于几何形状的多通道三维彩色点云配准方法,包括以下步骤:
步骤1、三维彩色点云数据获取,利用三维激光彩色扫描测距系统在两个不同的位置分别对同一场景进行扫描,得到两个三维彩色点云数据P={pi=(xi,yi,zi,ri,gi,bi)|1≤i≤n}和其中,pi为三维彩色点云数据P中的彩色点,(xi,yi,zi)为彩色点pi的坐标,(ri,gi,bi)为彩色点pi的颜色,n为三维彩色点云数据P中彩色点的个数,i为三维彩色点云数据P中彩色点的序号,为三维彩色点云数据中的彩色点,为彩色点的坐标,为彩色点的颜色,为三维彩色点云数据中彩色点的个数,j为三维彩色点云数据中彩色点的序号;三维彩色点云数据P由点云数据S={si=(xi,yi,zi)|1≤i≤n}和图像数据C={ci=(ri,gi,bi)|1≤i≤n}两种模态融合而成,三维彩色点云数据由点云数据和图像数据 两种模态融合而成,如图2所示;
步骤3、点云形状分类,利用KD-Tree算法,快速构建点云数据中每一个点的邻域,计算该邻域的协方差矩阵,并根据协方差矩阵特征值之间的大小关系,分别将点云数据S和分为点性点、线性点和面性点,具体包括以下子步骤:
(b)、构建给定点pi的邻域Ni的协方差矩阵为,
其中,T为向量转置符号,求取协方差矩阵Mi的特征值λ1、λ2、λ3,λ1<λ2<λ3,以及相应的特征向量v1、v2、v3;
(c)、若协方差矩阵Mi的特征值λ1≈λ2≈λ3,即λ3/λ2≤8和λ2/λ1≤8,则给定点si与其邻点呈散乱状分布,将给定点si分类为点性点,若协方差矩阵Mi的特征值λ1≈λ2<<λ3,即λ3/λ2>8和λ2/λ1≤8,则给定点si与其邻点呈直线状分布,将给定点si分类为线性点,若协方差矩阵Mi的特征值λ1<<λ2≈λ3,即λ3/λ2≤8和λ2/λ1>8,则给定点si与其邻点呈平面状分布,将给定点si分类为面性点,如图4所示;因此,将点云数据S分为点性点数据线性点数据和面性点数据其中,为点性点,ia为点性点的序号,na为点性点的个数,为线性点,ib为线性点的序号,nb为线性点的个数,为面性点,ic为面性点的序号,nc为面性点的个数,且na+nb+nc=n;
(d)、在点云数据中,利用与步骤3子步骤(a)~(c)相同的方法,将点云数据分为点性点数据线性点数据 和面性点数据其中,为点性点,ja为点性点的序号,为点性点的个数,为线性点,jb为线性点的序号,为线性点的个数,为面性点,jc为面性点的序号,为面性点的个数,且
(b)、利用奇异值分解SVD算法,求解使目标函数f(Ra,ta)最小的旋转矩阵Ra和平移向量ta,上述目标函数f(Ra,ta)按公式(1)进行描述,
(c)、使用旋转矩阵Ra和平移向量ta对点性点数据Sa进行坐标变换,得到新的点性点数据Sa,并计算目标函数f(Ra,ta);
(d)、若目标函数f(Ra,ta)小于设定阈值或者迭代次数达到设定次数就停止迭代,获得最终的旋转矩阵Ra和平移向量ta;否则,重复步骤4子步骤(a)~(d);
步骤8、三维彩色点云数据配准,利用点云数据之间的旋转矩阵R和平移向量t,对三维彩色点云数据P进行坐标变换,使之变换到与三维彩色点云数据相同的坐标系之下,完成三维彩色点云数据的配准,配准前场景如图7所示,配准后场景如图8所示。
本发明优点在于:本发明通过构建协方差矩阵,准确地计算了三维点云数据的几何特征,从点云数据中提取出点性点、线性点和面性点三种特征点集,并利用这三种特征点集辅助完成了三维彩色点云的配准,从而有效地解决了由于三维彩色点云数据量过大而导致的配准时间过长的问题,大大地提高了三维彩色点云配准的时间效率和准确度。
Claims (1)
1.一种基于几何形状的多通道三维彩色点云配准方法,其特征在于包括以下步骤:
步骤1、三维彩色点云数据获取,利用三维激光彩色扫描测距系统在两个不同的位置分别对同一场景进行扫描,得到两个三维彩色点云数据P={pi=(xi,yi,zi,ri,gi,bi)|1≤i≤n}和其中,pi为三维彩色点云数据P中的彩色点,(xi,yi,zi)为彩色点pi的坐标,(ri,gi,bi)为彩色点pi的颜色,n为三维彩色点云数据P中彩色点的个数,i为三维彩色点云数据P中彩色点的序号,为三维彩色点云数据中的彩色点,为彩色点的坐标,为彩色点的颜色,为三维彩色点云数据中彩色点的个数,j为三维彩色点云数据中彩色点的序号;三维彩色点云数据P由点云数据S={si=(xi,yi,zi)|1≤i≤n}和图像数据C={ci=(ri,gi,bi)|1≤i≤n}两种模态融合而成,三维彩色点云数据由点云数据和图像数据两种模态融合而成;
步骤3、点云形状分类,利用KD-Tree算法,快速构建点云数据中每一个点的邻域,计算该邻域的协方差矩阵,并根据协方差矩阵特征值之间的大小关系,分别将点云数据S和分为点性点、线性点和面性点,具体包括以下子步骤:
(b)、构建给定点si的邻域Ni的协方差矩阵为,
其中,T为向量转置符号,求取协方差矩阵Mi的特征值λ1、λ2、λ3,λ1<λ2<λ3,以及相应的特征向量v1、v2、v3;
(c)、若协方差矩阵Mi的特征值λ1≈λ2≈λ3,即λ3/λ2≤8和λ2/λ1≤8,则给定点si与其邻点呈散乱状分布,将给定点si分类为点性点,若协方差矩阵Mi的特征值λ1≈λ2<<λ3,即λ3/λ2>8和λ2/λ1≤8,则给定点si与其邻点呈直线状分布,将给定点si分类为线性点,若协方差矩阵Mi的特征值λ1<<λ2≈λ3,即λ3/λ2≤8和λ2/λ1>8,则给定点si与其邻点呈平面状分布,将给定点si分类为面性点;因此,将点云数据S分为点性点数据线性点数据和面性点数据其中,为点性点,ia为点性点的序号,na为点性点的个数,为线性点,ib为线性点的序号,nb为线性点的个数,为面性点,ic为面性点的序号,nc为面性点的个数,且na+nb+nc=n;
(d)、在点云数据中,利用与步骤3子步骤(a)~(c)相同的方法,将点云数据分为点性点数据线性点数据和面性点数据其中,为点性点,ja为点性点的序号,为点性点的个数,为线性点,jb为线性点的序号,为线性点的个数,为面性点,jc为面性点的序号,为面性点的个数,且
(b)、利用奇异值分解SVD算法,求解使目标函数f(Ra,ta)最小的旋转矩阵Ra和平移向量ta,上述目标函数f(Ra,ta)按公式(1)进行描述,
(c)、使用旋转矩阵Ra和平移向量ta对点性点数据Sa进行坐标变换,得到新的点性点数据Sa,并计算目标函数f(Ra,ta);
(d)、若目标函数f(Ra,ta)小于设定阈值或者迭代次数达到设定次数就停止迭代,获得最终的旋转矩阵Ra和平移向量ta;否则,重复步骤4子步骤(a)~(d);
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811047904.4A CN109345570B (zh) | 2018-09-10 | 2018-09-10 | 一种基于几何形状的多通道三维彩色点云配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811047904.4A CN109345570B (zh) | 2018-09-10 | 2018-09-10 | 一种基于几何形状的多通道三维彩色点云配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109345570A CN109345570A (zh) | 2019-02-15 |
CN109345570B true CN109345570B (zh) | 2021-05-14 |
Family
ID=65304990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811047904.4A Active CN109345570B (zh) | 2018-09-10 | 2018-09-10 | 一种基于几何形状的多通道三维彩色点云配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109345570B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110992258B (zh) * | 2019-10-14 | 2021-07-30 | 中国科学院自动化研究所 | 基于弱色差信息的高精度rgb-d点云拼接方法和系统 |
CN112446907B (zh) * | 2020-11-19 | 2022-09-06 | 武汉中海庭数据技术有限公司 | 一种单线点云与多线点云配准的方法及装置 |
CN113587816A (zh) * | 2021-08-04 | 2021-11-02 | 天津微深联创科技有限公司 | 一种阵列式大场景结构光三维扫描测量方法及其装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2389500A (en) * | 2002-04-20 | 2003-12-10 | Virtual Mirrors Ltd | Generating 3D body models from scanned data |
CN103236081A (zh) * | 2013-04-25 | 2013-08-07 | 四川九洲电器集团有限责任公司 | 一种彩色点云的配准方法 |
CN103985149A (zh) * | 2014-05-20 | 2014-08-13 | 南京理工大学 | 三维彩色点云点特征描述方法 |
CN107346550A (zh) * | 2017-07-05 | 2017-11-14 | 滁州学院 | 一种针对具有颜色信息的三维点云数据快速配准方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8295589B2 (en) * | 2010-05-20 | 2012-10-23 | Microsoft Corporation | Spatially registering user photographs |
-
2018
- 2018-09-10 CN CN201811047904.4A patent/CN109345570B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2389500A (en) * | 2002-04-20 | 2003-12-10 | Virtual Mirrors Ltd | Generating 3D body models from scanned data |
CN103236081A (zh) * | 2013-04-25 | 2013-08-07 | 四川九洲电器集团有限责任公司 | 一种彩色点云的配准方法 |
CN103985149A (zh) * | 2014-05-20 | 2014-08-13 | 南京理工大学 | 三维彩色点云点特征描述方法 |
CN107346550A (zh) * | 2017-07-05 | 2017-11-14 | 滁州学院 | 一种针对具有颜色信息的三维点云数据快速配准方法 |
Non-Patent Citations (3)
Title |
---|
《Color point cloud registration with 4D ICP algorithm》;Hao Men,et al.;《2011 IEEE International Conference on Robotics and Automation》;20110815;第1511-1516页 * |
《一种利用关键点提取的改进ICP三维彩色点云场景配准方法》;杨永涛,等;《小型微型计算机系统》;20171231;第38卷(第9期);第2139-2145页 * |
《三维彩色点云数据的分割与分类》;王宁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315(第3期);第I138-4552页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109345570A (zh) | 2019-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109655019B (zh) | 一种基于深度学习和三维重建的货物体积测量方法 | |
CN109658444B (zh) | 一种基于多模态特征的规则三维彩色点云配准方法 | |
CN108369741B (zh) | 用于配准数据的方法和系统 | |
CN107392947B (zh) | 基于轮廓共面四点集的2d-3d图像配准方法 | |
JP6681729B2 (ja) | オブジェクトの3d姿勢およびオブジェクトのランドマーク点の3dロケーションを求める方法、およびオブジェクトの3d姿勢およびオブジェクトのランドマークの3dロケーションを求めるシステム | |
CN104299260B (zh) | 一种基于sift和lbp的点云配准的接触网三维重建方法 | |
CN104850850B (zh) | 一种结合形状和颜色的双目立体视觉图像特征提取方法 | |
CN108921895B (zh) | 一种传感器相对位姿估计方法 | |
CN108052942B (zh) | 一种飞机飞行姿态的视觉图像识别方法 | |
CN104574432B (zh) | 一种自动多视角人脸自拍图像的三维人脸重建方法及系统 | |
CN106780592A (zh) | 基于相机运动和图像明暗的Kinect深度重建算法 | |
CN105046710A (zh) | 基于深度图分割与代理几何体的虚实碰撞交互方法及装置 | |
CN111523398A (zh) | 一种融合2d人脸检测和3d人脸识别的方法及装置 | |
CN109345570B (zh) | 一种基于几何形状的多通道三维彩色点云配准方法 | |
CN105701455A (zh) | 基于asm算法的人脸特征点采集及三维人脸建模方法 | |
CN113393503B (zh) | 一种分割驱动形状先验变形的类别级物体6d位姿估计方法 | |
CN110310331A (zh) | 一种基于直线特征与点云特征结合的位姿估计方法 | |
Xu et al. | Survey of 3D modeling using depth cameras | |
Yang et al. | Stereo matching using epipolar distance transform | |
Pan et al. | Establishing point correspondence of 3d faces via sparse facial deformable model | |
CN114549669B (zh) | 一种基于图像融合技术的彩色三维点云获取方法 | |
Ye et al. | 3d morphable face model for face animation | |
CN116958420A (zh) | 一种数字人教师三维人脸的高精度建模方法 | |
Yuan et al. | 3D point cloud recognition of substation equipment based on plane detection | |
CN117218192A (zh) | 一种基于深度学习与合成数据的弱纹理物体位姿估计方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |