CN108830888B - 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 - Google Patents

基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 Download PDF

Info

Publication number
CN108830888B
CN108830888B CN201810509687.XA CN201810509687A CN108830888B CN 108830888 B CN108830888 B CN 108830888B CN 201810509687 A CN201810509687 A CN 201810509687A CN 108830888 B CN108830888 B CN 108830888B
Authority
CN
China
Prior art keywords
point
model data
cloud model
point cloud
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810509687.XA
Other languages
English (en)
Other versions
CN108830888A (zh
Inventor
熊风光
李霞
韩燮
况立群
刘姝玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North University of China
Original Assignee
North University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North University of China filed Critical North University of China
Priority to CN201810509687.XA priority Critical patent/CN108830888B/zh
Publication of CN108830888A publication Critical patent/CN108830888A/zh
Application granted granted Critical
Publication of CN108830888B publication Critical patent/CN108830888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明具体涉及一种基于改进的多尺度协方差矩阵特征描述子的粗匹配方法,主要解决了目前的描述子只注重关键点几何形状信息的描述,使得匹配精度不足、抗噪性较弱等缺点。本发明首先利用模型中所有点的协方差矩阵,将符合一定条件的点选择为整个模型的关键点,然后对这些关键点进行特征描述,得到这些关键点的多尺度协方差特征描述子,最后根据该特征描述子,计算两模型间任意关键点之间的相似性,将相似性大于某阈值的对应关系做为两模型的初始对应关系。该方法适用于对点云模型进行关键点的提取和描述,是三维点云处理中的一种基本操作,可以广泛地应用与曲面重建、模式识别等领域。

Description

基于改进的多尺度协方差矩阵特征描述子的粗匹配方法
技术领域
本发明属于三维图像技术邻域,具体涉及一种利用改进的多尺度协方差矩阵特征描述子进行粗匹配的方法。该方法适用于对三维点云模型进行关键点的选择和特征描述,用于对具有重合区域的两个三维点云模型之间的粗匹配。
背景技术
关键点的描述在计算机视觉领域有很广泛的应用。例如,三维目标追踪、三维物体建模、识别与重建等方面。对不同的复杂三维场景中的关键点进行描述时,现有的方法一般利用了两方面的信息,一方面是视觉信息,如颜色或纹理,另一方面是从深度信息中抽取出的几何信息。近年来,随着传感器技术的进步,尤其是RGB-D相机等三维扫描设备和采集技术的出现,使得获取皆具颜色和深度信息的三维模型成为可能。在此基础上,结合视觉信息和几何信息,对关键点进行新的特征描述,已成为特征描述领域中新的研究热点。
目前三维点云模型中关键点的特征描述子大部分只注重对关键点的几何形状信息进行描述,使得关键点的特征描述子只能表示出关键点的几何信息,不能给出其他更多的信息,这样导致了对关键点的局部信息描述不够充分,从而在后续的匹配过程中出现匹配精度不足,抗噪性较弱等缺点。
发明内容
为了解决目前的描述子只注重特征点几何形状信息的描述,使得关键点的局部信息描述不够充分,进而导致匹配精度不足、抗噪性较弱等缺点,本发明提出了一种结合三维几何信息和视觉信息的基于协方差矩阵的多尺度特征描述子,并根据该多尺度协方差特征描述子进行简单的粗匹配。
为解决上述技术问题,本发明采用的技术方案为:
基于改进的多尺度协方差矩阵特征描述子的粗匹配方法,包括以下步骤:
步骤1,输入源点云模型数据source和目标点云模型数据target,源点云模型数据source和目标点云模型数据target必须具有重合的区域,且点云模型数据内容包括点的坐标信息、颜色信息以及法线信息;
步骤2,对源点云模型数据source和目标点云模型数据target分别提取其关键点s_keypoints和t_keypoints;
步骤3,对步骤2中的关键点s_keypoints和t_keypoints分别进行特征描述,得到关键点的多尺度协方差特征描述子s_descriptors和t_descriptors;
步骤4,根据步骤3中得到的关键点的多尺度协方差特征描述子s_descriptors 和t_descriptors,计算源点云模型数据source和目标点云模型数据target之间任意两个关键点间的相似性,然后将相似性大于阈值的该关键点之间的对应关系作为源点云模型数据source和目标点云模型数据target之间的初始对应关系 i_correspondences,即完成了源点云模型数据source和目标点云模型数据target 之间的粗匹配。
进一步,所述步骤2中,关键点是指那些在几何形状或者是颜色方面有巨大变化的点,我们通过分别计算源点云模型数据source和目标点云模型数据target 中的所有点的协方差矩阵来进行关键点的提取,将符合条件的协方差矩阵的点作为整个点云模型的关键点,其具体提取方法通过步骤2.1至2.10实现;
步骤2.1,定义一个邻域半径r,点云模型中的所有点的信息由该点及以该点为中心,半径为r的圆内的所有点的信息共同来表示;
步骤2.2,根据源点云模型数据source中的所有点的坐标信息建立一个 KD_tree,用来进行模型数据中每个点pi及该pi点r邻域内的点的查询;
步骤2.3,根据以源点云模型数据source中查询到的第一个点pi为坐标原点建立一个uvw的局部坐标系,坐标系的建立公式如下:
Figure BDA0001671905030000031
其中, ni是点pi的法向量;
步骤2.4,分别计算邻域点pik的法向量nik与局部坐标系的v轴之间的夹角α,计算公式为α=arccos(v·nik);点pi的法向量ni和向pi-pik之间的夹角
Figure BDA0001671905030000037
计算公式为
Figure BDA0001671905030000032
邻域点pik的法向量nik在坐标系uw所形成的平面中的投影与u轴之间的夹角θ,计算公式为θ=arctan(w·nik,u·nik);并对这三个角度值进行归一化;
步骤2.5,从源点云模型数据source中读取点pi的半径为r的邻域内的点pik的颜色信息R,G,B的值,并对其进行归一化的操作;然后与步骤2.4中对应的点pik的三个角度α、
Figure BDA0001671905030000033
θ的值组成一个点pi的特征向量,记为
Figure BDA0001671905030000034
步骤2.6,根据以点pi为中心,r为邻域半径内的所有点pik的信息,计算点 pi的协方差矩阵,计算公式为
Figure BDA0001671905030000035
其中μ代表所有点pik的特征向量
Figure BDA0001671905030000036
的平均值;
步骤2.7,计算步骤2.6中得到的所有点pi的协方差矩阵Cr的秩和该矩阵对应的行列式的值,将协方差矩阵Cr为满秩的点作为关键点的候选点pm
步骤2.8,定义阈值t,将以这些候选点pm为中心,半径为r的邻域内的候选点pmk的行列式的值与该点pm的行列式的值的差值大于阈值t的点筛选出来,组成一个新的相关性区域Akm
步骤2.9,最后,通过计算相关性区域Akm中的所有点pm的坐标的2范数的倒数来衡量该点的显著性,将这个值取极大值的点来作为该相关性区域中的关键点,直至将每个相关性区域中的关键点都选择出来,得到整个源目标模型数据source的关键点s_keypoints;
步骤2.10,根据步骤2.1~2.9提取出目标点云模型数据target中的关键点 t_keypoints。
经过以上步骤,我们得到了整个源点云模型数据source和目标点云模型数据target的关键点s_keypoints和t_keypoints,此时可以用这些关键点来表示整个三维点云模型,这大大减少了我们之后用于进行特征描述及初始匹配的点的数量,降低了整个过程的计算量,提高了整个算法的运行效率。
更进一步,所述步骤3中,对关键点s_keypoints和t_keypoints进行特征描述,得到关键点的特征描述子s_descriptors和t_descriptors,具体通过步骤3.1 至3.7来实现;
步骤3.1,对于源点云模型数据source中的每个关键点Pi,pik是所有点云中到点P的距离小于半径为r1包围球内的所有邻域点;
步骤3.2,以关键点Pi为坐标原点建立一个uvw的局部坐标系,坐标系的建立公式如下:
Figure BDA0001671905030000041
其中Ni是指关键点Pi的法向量;
步骤3.3,分别计算邻域点pik的法向量nik与局部坐标系的v轴之间的夹角α,计算公式为α=arccos(v·nik);关键点Pi的法向量ni和向量Pi-pik之间的夹角
Figure BDA0001671905030000042
计算公式为
Figure BDA0001671905030000043
邻域点pik的法向量nik在坐标系uw所形成的平面中的投影与u轴之间的夹角θ,计算公式为θ=arctan(w·nik,u·nik);并对这三个角度值进行归一化;
步骤3.4,从源点云模型数据source中读取关键点Pi的r邻域内的点pik的颜色信息R,G,B的值,并对其进行归一化的操作;然后与步骤3.3中对应的点 pik的三个角度α、
Figure BDA0001671905030000051
θ的值组成一个关键点Pi的特征向量,记为
Figure BDA0001671905030000052
步骤3.5,根据步骤3.4中计算出的关键点Pi的半径为r1邻域的特征向量
Figure BDA0001671905030000054
计算关键点Pi在邻域半径为r1时的协方差矩阵,计算公式如下所示:
Figure BDA0001671905030000053
其中μ代表关键点Pi的半径为r1邻域内所有点pik
Figure BDA0001671905030000055
的平均值;
步骤3.6,依次将邻域半径设置为r2,r3,r4,r5,根据步骤3.1~3.5,计算出关键点Pi分别在半径为r1,r2,r3,r4,r5邻域时的协方差矩阵Cr(φ(p,ri)),将这些不同邻域半径下的协方差矩阵结合起来形成关键点Pi的多尺度协方差矩阵描述子s_descriptors,记为CM(P)={Cr(φ(p,ri)),i=1,2,3,4,5};
步骤3.7,根据步骤3.2~3.6,计算出目标点云模型数据target的关键点的多尺度协方差矩阵描述子t_descriptors。
经过以上步骤,我们得到了源点云模型数据source和目标点云模型数据target的多尺度特征描述子s_descriptors和t_descriptors,避免了单一尺度下的描述子在匹配小范围内相似但大范围内不相似的关键点时容易产生的较大误差。并且我们在进行特征向量中的几何量的选取时,通过定义了局部坐标系来获得角度α、
Figure BDA0001671905030000056
θ,使得本发明的特征描述子具有更稳定的几何结构,这决定了本发明的特征描述子具有更强的抗噪性。
再进一步,所述步骤4中,根据关键点的多尺度协方差特征描述子s_descriptors和t_descriptors,计算源点云模型数据source和目标点云模型数据 target之间任意两个关键点间的相似性,然后将相似性大于阈值的该关键点之间的对应关系作为源点云模型数据source和目标点云模型数据target之间的初始对应关系i_correspondences;具体通过步骤4.1至4.4来实现;
步骤4.1,对于源点云模型数据source中的任意一个关键点Pi,计算其与目标点云模型数据target中的所有关键点在邻域半径为r1时两点之间的相似性,通过计算两个关键点之间的测地线距离来表示,计算公式为
Figure BDA0001671905030000061
其中
Figure BDA0001671905030000062
Figure BDA0001671905030000063
分别是源点云模型数据source中和目标点云模型数据target的任一关键点Pi在邻域半径为r1时的协方差矩阵,
Figure BDA0001671905030000064
是矩阵
Figure BDA0001671905030000065
Figure BDA0001671905030000066
的广义特征值的集合,其值的大小表示的是相比较的两个点的测地线距离;
步骤4.2,将邻域半径依次改为r2,r3,r4,r5,重复步骤4.1,计算出每个邻域半径下源点云模型数据source和目标点云模型数据target之间任意两个关键点之间的测地线距离,即
Figure BDA0001671905030000067
步骤4.3,根据步骤4.1和4.2,计算在多尺度下源点云模型数据source和目标点云模型数据target之间任意两个关键点之间的测地线距离,以此来衡量这两点之间的相似性,计算公式为:
Figure BDA0001671905030000068
它代表两关键点在多尺度{r1,r2,r3,r4,r5}下的相似性;
步骤4.4,定义一个阈值T,将任意两关键点之间的测地线距离
Figure BDA0001671905030000069
大于该阈值T的对应关系作为源点云模型数据source和目标点云模型数据target 之间的初始对应关系i_correspondences。
本发明采用以上技术方案,首先利用点云模型中所有点的协方差矩阵,将协方差矩阵对应的行列式的值大于阈值、并且显著性较高的点选择为整个点云模型的关键点,然后,利用这些关键点的多尺度协方差矩阵,对这些关键点进行特征描述,最后,根据两模型关键点的多尺度协方差矩阵,通过计算两点间的测地线距离来衡量两者的相似性,将相似性大于某阈值的两点间的对应关系作为两个点云模型间的初始对应关系。
相对之前的特征描述子,本发明利用协方差矩阵将三维模型的几何信息和视觉信息结合起来,一定程度上弥补了由于特征描述不充分而导致的匹配不精确的缺点,并且本发明在进行特征描述子的构建时,采用定义局部坐标系的方法形成了一个稳健的几何结构,具有抗噪性较强,对分辨率的变化具有更强的鲁棒性的优点。因此,与背景技术相比,本发明具有更强的抗噪性,对分辨率的变化具有更强的鲁棒性的优点。
附图说明
图1是本发明的方法流程图;
图2是利用Pol Cirujeda等人提出的MCOV描述子对Hedwig模型进行匹配后的效果图;
图3是利用本发明的特征描述子对Hedwig模型进行匹配后的效果图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细描述,但本发明的保护范围不受以下实施例的限制。以Hedwig模型为例来进行如下的匹配方法。
如图1所示,本发明中基于改进的多尺度协方差矩阵特征描述子的粗匹配方法的实现,其包括步骤1至步骤4:
步骤1,输入源点云模型数据Hedwig_source和目标点云模型数据 Hedwig_target。源点云模型数据Hedwig_source经过旋转平移矩阵RGT得到目标点云模型数据Hedwig_target,两者具有重合的区域。且点云模型数据内容包括点的坐标信息、颜色信息以及法线信息。
步骤2,对源点云模型数据Hedwig_source和目标点云模型数据 Hedwig_target分别提取其关键点s_keypoints和t_keypoints。
该步骤可以通过如下步骤2.1至步骤2.10实现:
步骤2.1,定义一个邻域半径r,邻域半径r通常设置为整个模型边界体素范数的5%。点云模型中的所有点的信息由该点及以该点为中心,半径为r的圆内的所有点的信息共同来表示。
步骤2.2,根据源点云模型数据Hedwig_source中的所有点的坐标信息建立一个KD_tree,用来进行模型数据中每个点pi及该pi点r邻域内的点的查询;
步骤2.3,,根据以源点云模型数据Hedwig_source中查询到的第一个点pi为坐标原点建立一个uvw的局部坐标系,坐标系的建立公式如下:
Figure BDA0001671905030000081
其中,ni是点pi的法向量;
步骤2.4,分别计算邻域点pik的法向量nik与局部坐标系的v轴之间的夹角α,计算公式为α=arccos(v·nik);点pi的法向量ni和向pi-pik之间的夹角
Figure BDA0001671905030000082
计算公式为
Figure BDA0001671905030000083
邻域点pik的法向量nik在坐标系uw所形成的平面中的投影与u轴之间的夹角θ,计算公式为θ=arctan(w·nik,u·nik);并对这三个角度值进行归一化;
步骤2.5,从源点云模型数据Hedwig_source中读取点pi的半径为r的邻域内的点pik的颜色信息R,G,B的值,并对其进行归一化的操作;然后与步骤2.4 中对应的点pik的三个角度α、
Figure BDA0001671905030000084
θ的值组成一个点pi的特征向量,记为
Figure BDA0001671905030000091
步骤2.6,根据以点pi为中心,r为邻域半径内的所有点pik的信息,计算点 pi的协方差矩阵,计算公式为
Figure BDA0001671905030000092
其中μ代表所有点pik的特征向量
Figure BDA0001671905030000093
的平均值;
步骤2.7,计算步骤2.6中得到的所有点pi的协方差矩阵Cr的秩和该矩阵对应的行列式的值,将协方差矩阵Cr为满秩的点作为关键点的候选点pm
步骤2.8,定义一个阈值t,阈值t的值设为最大的行列式的值的0.7倍,将以这些候选点pm为中心,半径为r的邻域内的候选点pmk的行列式的值与该点 pm的行列式的值的差值大于阈值t的点筛选出来,组成一个新的相关性区域Akm
步骤2.9,最后,通过计算相关性区域Akm中的所有点pm的坐标的2范数的倒数来衡量该点的显著性,将这个值取极大值的点来作为该相关性区域中的关键点,直至将每个相关性区域中的关键点都选择出来,得到整个源目标模型数据Hedwig_source的关键点s_keypoints;
步骤2.10,根据步骤2.1~2.10提取出目标点云模型数据Hedwig_target中的关键点t_keypoints。
步骤3,对步骤2中的关键点s_keypoints和t_keypoints分别进行特征描述,得到关键点的多尺度协方差特征描述子s_descriptors和t_descriptors。
具体描述方法可通过步骤3.1至步骤3.7实现:
步骤3.1,对于源点云模型数据Hedwig_source中的每个关键点Pi,pik是所有点云中到点P的距离小于半径为r1=1包围球内的所有邻域点。
步骤3.2,以关键点Pi为坐标原点建立一个uvw的局部坐标系,坐标系的建立公式如下:
Figure BDA0001671905030000094
Figure BDA0001671905030000101
步骤3.3,分别计算邻域点pik的法向量nik与局部坐标系的v轴之间的夹角α,计算公式为α=arccos(v·nik)。关键点Pi的法向量ni和向量Pi-pik之间的夹角
Figure BDA0001671905030000102
计算公式为
Figure BDA0001671905030000103
邻域点pik的法向量nik在坐标系uw所形成的平面中的投影与u轴之间的夹角θ,计算公式为θ=arctan(w·nik,u·nik)。并对这三个角度值进行归一化。
步骤3.4,从源点云模型数据Hedwig_source中读取关键点Pi的r邻域内的点 pik的颜色信息R,G,B的值,并对其进行归一化的操作。然后与步骤3.3中对应的点pik的三个角度α、
Figure BDA0001671905030000107
θ的值组成一个关键点Pi的特征向量,记为
Figure 1
步骤3.5,根据步骤3.4中计算出的关键点Pi的半径为r1邻域的特征向量
Figure BDA0001671905030000108
计算关键点Pi在邻域半径为r1时的协方差矩阵,计算公式如下所示:
Figure BDA0001671905030000105
其中μ代表关键点Pi的半径为r1邻域内所有点pik
Figure BDA0001671905030000106
的平均值。
步骤3.6,依次将邻域半径设置为r2=1.1,r3=1.3,r4=1.6,r5=2,重复步骤3.1~3.5,计算出关键点Pi分别在半径为r1,r2,r3,r4,r5邻域时的协方差矩阵 Cr(φ(p,ri)),将这些不同邻域半径下的协方差矩阵结合起来形成关键点Pi的多尺度协方差矩阵描述子s_descriptors,记为CM(P)={Cr(φ(p,ri)),i=1,2,3,4,5}。
步骤3.7,重复步骤3.2~3.6,计算出目标点云模型数据Hedwig_target的关键点的多尺度协方差矩阵描述子t_descriptors。
步骤4,根据步骤3中得到的关键点的多尺度协方差特征描述子s_descriptors 和t_descriptors,计算源点云模型数据Hedwig_source和目标点云模型数据 Hedwig_target之间任意两个关键点间的相似性,然后将相似性大于某阈值的该关键点之间的对应关系作为源点云模型数据Hedwig_source和目标点云模型数据Hedwig_target之间的初始对应关系i_correspondences。
具体过程由步骤4.1至步骤4.4实现:
步骤4.1,对于源点云模型数据source中的任意一个关键点Pi,计算其与目标点云模型数据target中的所有关键点在邻域半径为r1时两点之间的相似性,通过计算两个关键点之间的测地线距离来表示,计算公式为
Figure BDA0001671905030000111
其中
Figure BDA0001671905030000112
Figure BDA0001671905030000113
分别是源点云模型数据Hedwig_source 中和目标点云模型数据Hedwig_target的任一关键点Pi在邻域半径为r1时的协方差矩阵,
Figure BDA0001671905030000114
是矩阵
Figure BDA0001671905030000115
Figure BDA0001671905030000116
的广义特征值的集合,其值的大小表示的是相比较的两个点的测地线距离。
步骤4.2,将邻域半径依次改为r2=1.1,r3=1.3,r4=1.6,r5=2,重复步骤4.1,计算出每个邻域半径下源点云模型数据Hedwig_source和目标点云模型数据 Hedwig_target之间任意两个关键点之间的测地线距离,即
Figure BDA0001671905030000117
Figure BDA0001671905030000118
步骤4.3,根据步骤4.1和4.2,计算在多尺度下源点云模型数据 Hedwig_source和目标点云模型数据Hedwig_target之间任意两个关键点之间的测地线距离,以此来衡量这两点之间的相似性,计算公式为:
Figure BDA0001671905030000119
它代表两关键点在多尺度{r1=1,r2=1.1, r3=1.3,r4=1.6,r5=2}下的相似性。
步骤4.4,定义一个阈值T,将任意两关键点之间的测地线距离
Figure BDA00016719050300001110
大于该阈值T的对应关系作为源点云模型数据Hedwig_source和目标点云模型数据 Hedwig_target之间的初始对应关系i_correspondences。
为表明本发明具有以上优点,分别利用Pol Cirujeda等人提出的MCOV特征描述子和本发明的描述子进行匹配的结果进行对比。图2是利用Pol Cirujeda 等人提出的MCOV特征描述子对Hedwig模型进行的匹配结果,图3是利用本发明的特征描述子对Hedwig模型进行的匹配结果。表1为两方法在不同水平噪音下的匹配误差(旋转误差)。
从图2、图3对比中可以看出本发明匹配效果更好,源点云模型和目标点云模型的重合度更高,具体体现在模型边缘处。
表1不同水平噪声下的旋转误差
Figure BDA0001671905030000121
从表1可以看出本发明的特征描述子比MCOV特征描述子有更强的抗噪性,同一模型在同水平的噪声下,使用本发明提出的描述子进行匹配实验时所得效果的旋转误差更小。

Claims (3)

1.基于改进的多尺度协方差矩阵特征描述子的粗匹配方法,其特征在于:包括以下步骤:
步骤1,输入源点云模型数据source和目标点云模型数据target,源点云模型数据source和目标点云模型数据target必须具有重合的区域,且点云模型数据内容包括点的坐标信息、颜色信息以及法线信息;
步骤2,对源点云模型数据source和目标点云模型数据target分别提取其关键点s_keypoints和t_keypoints;
步骤3,对步骤2中的关键点s_keypoints和t_keypoints分别进行特征描述,得到关键点的多尺度协方差特征描述子s_descriptors和t_descriptors;
步骤4,根据步骤3中得到的关键点的多尺度协方差特征描述子s_descriptors和t_descriptors,计算源点云模型数据source和目标点云模型数据target之间任意两个关键点间的相似性,然后将相似性大于阈值的该关键点之间的对应关系作为源点云模型数据source和目标点云模型数据target之间的初始对应关系i_correspondences,即完成了源点云模型数据source和目标点云模型数据target之间的粗匹配;
所述步骤2中,关键点是指那些在几何形状或者是颜色方面有巨大变化的点,我们通过分别计算源点云模型数据source和目标点云模型数据target中的所有点的协方差矩阵来进行关键点的提取,将符合条件的协方差矩阵的点作为整个点云模型的关键点,其具体提取方法通过步骤2.1至2.10实现;
步骤2.1,定义一个邻域半径r,点云模型中的所有点的信息由该点及以该点为中心,半径为r的圆内的所有点的信息共同来表示;
步骤2.2,根据源点云模型数据source中的所有点的坐标信息建立一个KD_tree,用来进行模型数据中每个点pi及该pi点r邻域内的点的查询;
步骤2.3,根据以源点云模型数据source中查询到的第一个点pi为坐标原点建立一个uvw的局部坐标系,坐标系的建立公式如下:
u=Ni
Figure FDA0003171938180000021
w=u×v,其中Ni是指关键点Pi的法向量;
步骤2.4,分别计算邻域点pik的法向量nik与局部坐标系的v轴之间的夹角α,计算公式为α=arccos(v·nik);关键点Pi的法向量ni和向量Pi-pik之间的夹角
Figure FDA0003171938180000022
计算公式为
Figure FDA0003171938180000023
邻域点pik的法向量nik在坐标系uw所形成的平面中的投影与u轴之间的夹角θ,计算公式为θ=arctan(w·nik,u·nik);并对这三个角度值进行归一化;
步骤2.5,从源点云模型数据source中读取关键点Pi的r邻域内的点pik的颜色信息R,G,B的值,并对其进行归一化的操作;然后与步骤3.3中对应的点pik的三个角度α、
Figure FDA0003171938180000024
θ的值组成一个关键点Pi的特征向量,记为
Figure FDA0003171938180000025
步骤2.6,根据以点pi为中心,r为邻域半径内的所有点pik的信息,计算点pi的协方差矩阵,计算公式为
Figure FDA0003171938180000026
其中μ代表所有点pik的特征向量
Figure FDA0003171938180000027
的平均值;
步骤2.7,计算步骤2.6中得到的所有点pi的协方差矩阵Cr的秩和该矩阵对应的行列式的值,将协方差矩阵Cr为满秩的点作为关键点的候选点pm
步骤2.8,定义阈值t,将以这些候选点pm为中心,半径为r的邻域内的候选点pmk的行列式的值与该点pm的行列式的值的差值大于这个阈值t的点筛选出来,组成一个新的相关性区域Akm
步骤2.9,最后,通过计算相关性区域Akm中的所有点pm的坐标的2范数的倒数来衡量该点的显著性,将这个值取极大值的点来作为该相关性区域中的关键点,直至将每个相关性区域中的关键点都选择出来,得到整个源目标模型数据source的关键点s_keypoints;
步骤2.10,根据步骤2.1~2.9提取出目标点云模型数据target中的关键点t_keypoints。
2.根据权利要求1所述的基于改进的多尺度协方差矩阵特征描述子的粗匹配方法,其特征在于:所述步骤3中,对关键点s_keypoints和t_keypoints进行特征描述,得到关键点的特征描述子s_descriptors和t_descriptors,具体过程通过步骤3.1至3.7来实现;
步骤3.1,对于源点云模型数据source中的每个关键点Pi,pik是所有点云中到点P的距离小于半径为r1包围球内的所有邻域点;
步骤3.2,以关键点Pi为坐标原点建立一个uvw的局部坐标系,坐标系的建立公式如下:u=Ni
Figure FDA0003171938180000031
w=u×v,其中Ni是指关键点Pi的法向量;
步骤3.3,分别计算邻域点pik的法向量nik与局部坐标系的v轴之间的夹角α,计算公式为α=arccos(v·nik);关键点Pi的法向量ni和向量Pi-pik之间的夹角
Figure FDA0003171938180000032
计算公式为
Figure FDA0003171938180000033
邻域点pik的法向量nik在坐标系uw所形成的平面中的投影与u轴之间的夹角θ,计算公式为θ=arctan(w·nik,u·nik);并对这三个角度值进行归一化;
步骤3.4,从源点云模型数据source中读取关键点Pi的r邻域内的点pik的颜色信息R,G,B的值,并对其进行归一化的操作;然后与步骤3.3中对应的点pik的三个角度α、
Figure FDA0003171938180000041
θ的值组成一个关键点Pi的特征向量,记为
Figure FDA0003171938180000042
步骤3.5,根据步骤3.4中计算出的关键点Pi的半径为r1邻域的特征向量
Figure FDA0003171938180000043
计算关键点Pi在邻域半径为r1时的协方差矩阵,计算公式如下所示:
Figure FDA0003171938180000044
其中μ代表关键点Pi的半径为r1邻域内所有点pik
Figure FDA0003171938180000045
的平均值;
步骤3.6,依次将邻域半径设置为r2,r3,r4,r5,根据步骤3.1~3.5,计算出关键点Pi分别在半径为r1,r2,r3,r4,r5邻域时的协方差矩阵Cr(φ(p,ri)),将这些不同邻域半径下的协方差矩阵结合起来形成关键点Pi的多尺度协方差矩阵描述子s_descriptors,记为CM(P)={Cr(φ(p,ri)),i=1,2,3,4,5};
步骤3.7,重复步骤3.2~3.6,计算出目标点云模型数据target的关键点的多尺度协方差矩阵描述子t_descriptors。
3.根据权利要求2所述的基于改进的多尺度协方差矩阵特征描述子的粗匹配方法,其特征在于:所述步骤4中,根据关键点的多尺度协方差特征描述子s_descriptors和t_descriptors,计算源点云模型数据source和目标点云模型数据target之间任意两个关键点间的相似性,然后将相似性大于阈值的该关键点之间的对应关系作为源点云模型数据source和目标点云模型数据target之间的初始对应关系i_correspondences;具体通过步骤4.1至4.4来实现;
步骤4.1,对于源点云模型数据source中的任意一个关键点Pi,计算其与目标点云模型数据target中的所有关键点在邻域半径为r1时两点之间的相似性,通过计算两个关键点之间的测地线距离来表示,计算公式为
Figure FDA0003171938180000051
其中
Figure FDA0003171938180000052
Figure FDA0003171938180000053
分别是源点云模型数据source中和目标点云模型数据target的任一关键点Pi在邻域半径为r1时的协方差矩阵,
Figure FDA0003171938180000054
是矩阵
Figure FDA0003171938180000055
Figure FDA0003171938180000056
的广义特征值的集合,其值的大小表示的是相比较的两个点的测地线距离;
步骤4.2,将邻域半径依次改为r2,r3,r4,r5,重复步骤4.1,计算出每个邻域半径下源点云模型数据source和目标点云模型数据target之间任意两个关键点之间的测地线距离,即
Figure FDA0003171938180000057
步骤4.3,根据步骤4.1和4.2,计算在多尺度下源点云模型数据source和目标点云模型数据target之间任意两个关键点之间的测地线距离,以此来衡量这两点之间的相似性,计算公式为:
Figure FDA0003171938180000058
它代表两关键点在多尺度{r1,r2,r3,r4,r5}下的相似性;
步骤4.4,定义一个阈值T,将任意两关键点之间的测地线距离
Figure FDA0003171938180000059
大于该阈值T的对应关系作为源点云模型数据source和目标点云模型数据target之间的初始对应关系i_correspondences。
CN201810509687.XA 2018-05-24 2018-05-24 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法 Active CN108830888B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810509687.XA CN108830888B (zh) 2018-05-24 2018-05-24 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810509687.XA CN108830888B (zh) 2018-05-24 2018-05-24 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法

Publications (2)

Publication Number Publication Date
CN108830888A CN108830888A (zh) 2018-11-16
CN108830888B true CN108830888B (zh) 2021-09-14

Family

ID=64145438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810509687.XA Active CN108830888B (zh) 2018-05-24 2018-05-24 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法

Country Status (1)

Country Link
CN (1) CN108830888B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109615197A (zh) * 2018-11-30 2019-04-12 中北大学 基于二维云模型的尾矿坝安全等级评估方法
CN109697734B (zh) * 2018-12-25 2021-03-09 浙江商汤科技开发有限公司 位姿估计方法及装置、电子设备和存储介质
CN111488937B (zh) * 2020-04-15 2021-09-28 闽江学院 一种基于多尺度邻居深度神经网络的图像匹配方法
CN111553409B (zh) * 2020-04-27 2022-11-01 哈尔滨工程大学 一种基于体素形状描述符的点云识别方法
CN112418250B (zh) * 2020-12-01 2024-05-10 怀化学院 一种复杂3d点云的优化匹配方法
CN114332172A (zh) * 2021-10-14 2022-04-12 中北大学 一种基于协方差矩阵改进的激光点云配准方法
CN115170728B (zh) * 2022-06-07 2023-05-26 青海师范大学 三维点云模型的相似性测量方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6629041B1 (en) * 2000-04-14 2003-09-30 Ralf Marbach Methods to significantly reduce the calibration cost of multichannel measurement instruments
EP2204000A2 (en) * 2007-08-27 2010-07-07 Harris Corporation System and method for estimating noise power level in a multi-signal communications channel
CN102074013A (zh) * 2011-01-26 2011-05-25 刘国英 基于小波域多尺度Markov网模型的图像分割方法
CN103530857A (zh) * 2013-10-31 2014-01-22 清华大学深圳研究生院 基于多尺度的卡尔曼滤波图像去噪方法
CN104143210A (zh) * 2014-07-31 2014-11-12 哈尔滨工程大学 一种多尺度法向特征点云配准方法
CN104504670A (zh) * 2014-12-11 2015-04-08 上海理工大学 多尺度梯度域图像融合算法
CN106846288A (zh) * 2017-01-17 2017-06-13 中北大学 一种双模态红外图像差异特征指数测度的多算法融合方法
CN107748871A (zh) * 2017-10-27 2018-03-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
CN107944347A (zh) * 2017-11-03 2018-04-20 西安电子科技大学 基于多尺度fcn‑crf的极化sar目标检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6629041B1 (en) * 2000-04-14 2003-09-30 Ralf Marbach Methods to significantly reduce the calibration cost of multichannel measurement instruments
EP2204000A2 (en) * 2007-08-27 2010-07-07 Harris Corporation System and method for estimating noise power level in a multi-signal communications channel
CN102074013A (zh) * 2011-01-26 2011-05-25 刘国英 基于小波域多尺度Markov网模型的图像分割方法
CN103530857A (zh) * 2013-10-31 2014-01-22 清华大学深圳研究生院 基于多尺度的卡尔曼滤波图像去噪方法
CN104143210A (zh) * 2014-07-31 2014-11-12 哈尔滨工程大学 一种多尺度法向特征点云配准方法
CN104504670A (zh) * 2014-12-11 2015-04-08 上海理工大学 多尺度梯度域图像融合算法
CN106846288A (zh) * 2017-01-17 2017-06-13 中北大学 一种双模态红外图像差异特征指数测度的多算法融合方法
CN107748871A (zh) * 2017-10-27 2018-03-02 东南大学 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
CN107944347A (zh) * 2017-11-03 2018-04-20 西安电子科技大学 基于多尺度fcn‑crf的极化sar目标检测方法

Also Published As

Publication number Publication date
CN108830888A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108830888B (zh) 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法
Lei et al. Fast descriptors and correspondence propagation for robust global point cloud registration
JP6216508B2 (ja) 3dシーンにおける3d物体の認識および姿勢決定のための方法
CN110097093B (zh) 一种异源图像精确匹配方法
Dibeklioglu et al. 3D facial landmarking under expression, pose, and occlusion variations
US8830229B2 (en) Recognition and pose determination of 3D objects in 3D scenes
CN110807781B (zh) 一种保留细节与边界特征的点云精简方法
CN109241901B (zh) 一种对具有孔洞的三维点云的检测与识别方法
CN109949350B (zh) 一种基于形态不变特征的多时相点云自动配准方法
CN110930456A (zh) 基于pcl点云库的钣金零件的三维立体识别及定位方法
CN111145232A (zh) 一种基于特征信息变化度的三维点云自动配准方法
Chen et al. Robust affine-invariant line matching for high resolution remote sensing images
CN106340010B (zh) 一种基于二阶轮廓差分的角点检测方法
CN111815686A (zh) 基于几何特征由粗到细点云配准方法
Cheng et al. An automatic and robust point cloud registration framework based on view-invariant local feature descriptors and transformation consistency verification
CN111179321A (zh) 一种基于模板匹配的点云配准方法
CN109255815B (zh) 一种基于零阶球谐函数的物体检测与识别方法
CN111709450A (zh) 一种基于多尺度特征融合的点云法向量估计方法及系统
EP2054835A1 (en) Target orientation
CN117132630A (zh) 一种基于二阶空间兼容性度量的点云配准方法
CN110942077B (zh) 基于权重局部变化度和l1中值优化的特征线提取方法
CN116091727A (zh) 一种基于多尺度特征描述的复杂曲面点云配准方法、电子设备及存储介质
WO2018131163A1 (ja) 情報処理装置、データベース生成装置、方法、プログラム、及び記憶媒体
CN113159103B (zh) 图像匹配方法、装置、电子设备以及存储介质
CN117911628A (zh) 基于三维激光扫描与无人机倾斜摄影的古建筑重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant