CN112651408B - 一种基于点对变换特征的三维局部表面描述方法和系统 - Google Patents

一种基于点对变换特征的三维局部表面描述方法和系统 Download PDF

Info

Publication number
CN112651408B
CN112651408B CN202110018524.3A CN202110018524A CN112651408B CN 112651408 B CN112651408 B CN 112651408B CN 202110018524 A CN202110018524 A CN 202110018524A CN 112651408 B CN112651408 B CN 112651408B
Authority
CN
China
Prior art keywords
point
dimensional
local surface
pair
point pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110018524.3A
Other languages
English (en)
Other versions
CN112651408A (zh
Inventor
李中伟
钟凯
吴浪
李蹊
何文韬
史玉升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110018524.3A priority Critical patent/CN112651408B/zh
Publication of CN112651408A publication Critical patent/CN112651408A/zh
Application granted granted Critical
Publication of CN112651408B publication Critical patent/CN112651408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于点对变换特征的三维局部表面描述方法和系统，属于三维目标识别技术领域。本发明仅仅采用关键点和点对之间的一个单一集合特征将三维局部表面点对集合划分为多个点对子集，该几何特征具有极高的稳定性，避免了利用法向量划分点对子集时存在的抗干扰能力差的问题，增强了三维局部表面描述的鲁棒性；本发明所构建的点对变换特征不仅编码了点对之间的空间位置关系、点对法相量之间的空间位姿关系，还编码了关键点与点对之间的位姿关系，极大的丰富了描述子所蕴含的局部表面信息，实现了在具有各种干扰场景下点云局部表面鲁棒地、有辨别力地描述，为实现精确、鲁棒的目标识别、3D配准等应用提供鲁棒的三维局部表面描述子。

Description

一种基于点对变换特征的三维局部表面描述方法和系统
技术领域
本发明属于三维目标识别技术领域，更具体地，涉及一种基于点对变换特征的三维局部表面描述方法和系统。
背景技术
三维局部表面描述是三维视觉与机器人领域中十分关键的一项技术，被广泛的应用于三维形状检索、点云配准、三维目标识别、机器人抓取等实际应用中。同时，随着三维成像技术的快速发展，涌现出了越来越多的三维数据获取设备，使得三维数据更易获取，这进一步增强了研究表面描述这类三维视觉任务的重要性。
一个局部表面描述子通常会编码隐藏在局部表面的几何信息和空间信息并最终以向量的形式来表征。局部描述子除了需要对刚性变换具有不变性，还需要对各种干扰(例如：噪声、变分辨率、杂乱与遮挡)具有很好的鲁棒性，同时具有很高的描述性以区分不同的三维局部表面。前人在这方面做了很多工作，但是，这些方法要么仅仅编码三维局部表面的几何信息而不包含空间信息，导致描述性和鲁棒性低，要么利用局部参考坐标系编码局部表面的几何信息与空间信息，但由于局部参考坐标系不稳定，会降低表面描述方法的性能。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于点对变换特征的三维局部表面描述方法和系统，其目的在于提高在不同应用背景下进行三维局部表面描述的鲁棒性。
为实现上述目的，本发明提供了一种基于点对变换特征的三维局部表面描述方法，包括：
S1.获取待处理的三维点云并进行预处理，得到每个点对应的法向量和多个关键点集；
S2.提取每个关键点在设定半径邻域内的局部点云；
S3.对每个关键点计算其与局部点云中所有点对的几何特征，根据该几何特征将所有点对划分为多个子集；其中，几何特征包括：关键点到点对的距离、关键点与点对所构成的两条直线的夹角；
S4.将点对中法向量与点对之间线段所成角度较小值对应的点作为源点，将另一点作为目标点，分别构建源点坐标系和目标点坐标系；
其中，源点坐标系的构建过程为：以源点作为源点坐标系的原点；将从关键点指向源点的单位向量ui作为源点坐标系的x轴，将对ui和源点法向量利用右手法则得到的单位向量vi作为y轴，将对ui和vi利用右手法则得到的单位向量wi作为z轴；目标点坐标系构建过程同理；
S5.将源点坐标系和目标点坐标系之间的变换矩阵中的旋转矩阵所对应的三个欧拉角，以及源点到目标点的欧氏距离分别作为四个点对变换特征；
S6.将四个点对变换特征组成多个二维特征空间并离散化，统计点对分布信息，生成三个点对变换特征直方图。
进一步地，预处理过程具体包括：
对三维点云建立k维树；
对三维点云中的每个点利用建立的k维树搜索K个近邻点，利用K个近邻点对每个点进行法向量方向和符号的计算；
对三维点云降采样，获得设定数量的关键点。
进一步地，采用主成分分析方法对每个点进行法向量方向和符号计算。
进一步地，步骤S3中，将所有点对划分为四个子集。
进一步地，步骤S6具体为，将四个点对变换特征组成构成三个特征空间(f1,f2)、(f1,f3)、(f1,f4)并离散化，统计点对分布信息，生成三个点对变换特征直方图；
其中，
Figure BDA0002887870470000031
d表示源点到目标点的欧氏距离，α、β、γ分别表示旋转矩阵所对应的三个欧拉角。
进一步地，所述方法还包括:对每个点对变换特征直方图进行归一化处理，将多个子集对应的点对变换特征直方图依次串联，生成描述该关键点三维局部表面的特征向量。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。
(1)本发明提供的三维局部表面描述方法中，仅仅采用关键点和点对之间的一个单一集合特征将三维局部表面点对集合划分为多个点对子集，该几何特征具有极高的稳定性，避免了利用法向量划分点对子集时存在的抗干扰能力差的问题，增强了三维局部表面描述的鲁棒性，进而提高三维目标识别的成功率与位姿估计的准确性。
(2)本发明提供的三维局部表面描述方法中，所构建的点对变换特征不仅编码了点对之间的空间位置关系、点对法相量之间的空间位姿关系，还编码了关键点与点对之间的位姿关系，这极大的丰富了描述子所蕴含的局部表面信息，实现了在具有各种干扰场景下点云局部表面鲁棒地、有辨别力地描述，为实现精确、鲁棒的目标识别、3D配准等应用提供鲁棒的三维局部表面描述子。
附图说明
图1为本发明实施例中三维局部表面描述流程图。
图2中(a)为某关键点r半径邻域内的所有点对；(b)为某一点对所计算的距离特征，(c)为依据距离特征对所有点对划分为n个子集的示意图。
图3中(a)为原点在邻域点，基于邻域点和关键点所构建的邻域点坐标系示意图，(b)为邻域任意点对中源点和目标点定义示意图，(c)为基于邻域点对坐标系的变换矩阵计算示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
具体地，如图1所示，本发明提供一种基于点对变换特征的三维局部表面描述方法，利用上述过程就可以对三维局部表面进行鲁棒描述，具体可以按照如下步骤进行：
S1.获取待处理的三维点云，点云预处理:
预处理包括，01.对三维点云建立kd-tree；02.估计点云法向量：利用主成分分析(PCA)方法对每个点进行法向量方向和符号计算，具体计算步骤如下：
1)对点云中任一点pj，及rs半径邻域Ps＝{pi：||pi-pj||≤rs},构建协方差矩阵如下：
Figure BDA0002887870470000041
2)计算pj协方差矩阵最小特征值所对应的特征向量，并将其归一化，得到
Figure BDA0002887870470000042
以此作为pj点法向量的方向。
3)然后，计算pj对应的rs半径邻域内点集的重心pc,并以下式计算结果作为点pj最终的法向量：
Figure BDA0002887870470000051
03.提取关键点：对场景和模型点云进行降采样，获得一定数量的关键点；
S2.提取关键点pk在r半径邻域内的局部点云；半径的取值需根据实际的应用背景来选取，经验上一般可以将其取为场景点云分辨率的20倍。
S3.对每个关键点计算其与局部点云中所有点对的几何特征，根据该几何特征将所有点对划分为多个子集；其中，几何特征包括：关键点到点对的距离、关键点与点对所构成的两条直线的夹角；
以关键点到点对的距离δ为例，几何特征的计算方式如下：
Figure BDA0002887870470000052
pk表示任一关键点，pi、pj表示任意点对。
图2中(a)为某一关键点的所有局部点对集合，(b)中δk为其中某一点对的距离特征，如图2中(c)所示，δ的取值区间为0到r，将该区间划分为n个子区间，当
Figure BDA0002887870470000053
时，该点对就落入到点对子集合Pk中，对图2中(a)的所有点对进行如上操作，那么，最终就将该关键点邻域中的所有点对依据距离特征δ划分为n个点对子集。
经实验验证，将所有点对划分为四个子集时描述效果更好。
S4.将点对中法向量与点对之间线段所成角度较小值对应的点作为源点，将另一点作为目标点，分别构建源点坐标系和目标点坐标系；
如图3中(b)所示，点对中两点的法向量与点对之间线段所成角度分别为
Figure BDA0002887870470000054
将较小角度对应的点pi定义为源点ps，另一点pj定义为目标点pt。
如图3中(a)所示，源点坐标系的构建过程为：以源点作为源点坐标系的原点；将从关键点指向源点的单位向量ui作为源点坐标系的x轴，将对ui和源点法向量利用右手法则得到的单位向量vi作为y轴，将对ui和vi利用右手法则得到的单位向量wi作为z轴；即
Figure BDA0002887870470000061
Figure BDA0002887870470000062
目标点坐标系构建过程同理；为计算方便，将源点和目标点的坐标系分别表示为：Ls＝{us,vs,ws,ps},Lt＝{ut,vt,wt,pt}，将它们写为矩阵形式如下：
Figure BDA0002887870470000063
S5.将源点坐标系和目标点坐标系之间的变换矩阵中的旋转矩阵所对应的三个欧拉角，以及源点到目标点的欧氏距离分别作为四个点对变换特征；
如图3中(c)所示，以源点坐标系到目标点坐标系为例，变换矩阵计算过程如下：
Figure BDA0002887870470000064
Figure BDA0002887870470000065
其中，T表示从源点坐标系到目标点坐标系的变换矩阵，R表示从源点坐标系到目标点坐标系的旋转矩阵，t表示从源点坐标系到目标点坐标系的平移向量；
采用以下公式计算4个点对变换特征(f1,f2,f3,f4)：
Figure BDA0002887870470000066
d表示源点到目标点的欧氏距离，α、β、γ分别旋转矩阵所对应的三个欧拉角；相应地，f1为距离特征，f2,f3,f4为角度特征。
S6.将四个点对变换特征组成多个二维特征空间并离散化，统计点对分布信息，生成三个点对变换特征直方图；
具体地，将四个点对变换特征组成构成三个特征空间(f1,f2)、(f1,f3)、(f1,f4)并离散化，统计点对分布信息，生成三个点对变换特征直方图。
最后，对每个点对变换特征直方图进行归一化处理，将四个子集对应12个点对变换特征直方图依次串联生成一个描述该关键点三维局部表面的特征向量。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于点对变换特征的三维局部表面描述方法，其特征在于，包括：
S1.获取待处理的三维点云并进行预处理，得到每个点对应的法向量和多个关键点集；
S2.提取每个关键点在设定半径邻域内的局部点云；
S3.对每个关键点计算其与局部点云中所有点对的几何特征，根据该几何特征将所有点对划分为多个子集；其中，几何特征包括：关键点到点对的距离、关键点与点对所构成的两条直线的夹角；
S4.将点对中法向量与点对之间线段所成角度较小值对应的点作为源点，将另一点作为目标点，分别构建源点坐标系和目标点坐标系；
其中，源点坐标系的构建过程为：以源点作为源点坐标系的原点；将从关键点指向源点的单位向量ui作为源点坐标系的x轴，将对ui和源点法向量利用右手法则得到的单位向量vi作为y轴，将对ui和vi利用右手法则得到的单位向量wi作为z轴；目标点坐标系构建过程同理；
S5.将源点坐标系和目标点坐标系之间的变换矩阵中的旋转矩阵所对应的三个欧拉角，以及源点到目标点的欧氏距离分别作为四个点对变换特征；
S6.将四个点对变换特征组成多个二维特征空间并离散化，统计点对分布信息，生成三个点对变换特征直方图。
2.根据权利要求1所述的一种基于点对变换特征的三维局部表面描述方法，其特征在于，预处理过程具体包括：
对三维点云建立k维树；
对三维点云中的每个点利用建立的k维树搜索K个近邻点，利用K个近邻点对每个点进行法向量方向和符号的计算；
对三维点云降采样，获得设定数量的关键点。
3.根据权利要求2所述的一种基于点对变换特征的三维局部表面描述方法，其特征在于，采用主成分分析方法对每个点进行法向量方向和符号计算。
4.根据权利要求1所述的一种基于点对变换特征的三维局部表面描述方法，其特征在于，步骤S3中，将所有点对划分为四个子集。
5.根据权利要求1-4任一项所述的一种基于点对变换特征的三维局部表面描述方法，其特征在于，步骤S6具体为，将四个点对变换特征组成构成三个特征空间(f1,f2)、(f1,f3)、(f1,f4)并离散化，统计点对分布信息，生成三个点对变换特征直方图；
其中，
Figure FDA0002887870460000021
d表示源点到目标点的欧氏距离，α、β、γ分别表示旋转矩阵所对应的三个欧拉角。
6.根据权利要求1-5任一项所述的一种基于点对变换特征的三维局部表面描述方法，其特征在于，所述方法还包括:对每个点对变换特征直方图进行归一化处理，将多个子集对应的点对变换特征直方图依次串联，生成描述该关键点三维局部表面的特征向量。
7.一种基于点对变换特征的三维局部表面描述系统，其特征在于，包括：计算机可读存储介质和处理器；
所述计算机可读存储介质用于存储可执行指令；
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行权利要求1至6任一项所述的基于点对变换特征的三维局部表面描述方法。
CN202110018524.3A 2021-01-07 2021-01-07 一种基于点对变换特征的三维局部表面描述方法和系统 Active CN112651408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110018524.3A CN112651408B (zh) 2021-01-07 2021-01-07 一种基于点对变换特征的三维局部表面描述方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110018524.3A CN112651408B (zh) 2021-01-07 2021-01-07 一种基于点对变换特征的三维局部表面描述方法和系统

Publications (2)

Publication Number Publication Date
CN112651408A CN112651408A (zh) 2021-04-13
CN112651408B true CN112651408B (zh) 2022-05-20

Family

ID=75367539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110018524.3A Active CN112651408B (zh) 2021-01-07 2021-01-07 一种基于点对变换特征的三维局部表面描述方法和系统

Country Status (1)

Country Link
CN (1) CN112651408B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435256B (zh) * 2021-06-04 2022-04-26 华中科技大学 一种基于几何一致性约束的三维目标识别方法及系统
CN114972459B (zh) * 2022-05-31 2023-09-08 哈尔滨理工大学 一种基于低维点云局部特征描述符的点云配准方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0894624A2 (en) * 1997-07-30 1999-02-03 Baldwin-Japan Ltd. Printing plate or printed product identifying apparatus
CN101567051A (zh) * 2009-06-03 2009-10-28 复旦大学 一种基于特征点的图像配准方法
CN105765551A (zh) * 2013-09-27 2016-07-13 柯法克斯公司 用于三维几何重建所捕获的图像数据的系统和方法
CN109087342A (zh) * 2018-07-12 2018-12-25 武汉尺子科技有限公司 一种基于特征匹配的三维点云全局配准方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507218B (zh) * 2017-08-31 2020-01-10 深圳大学 基于静态帧的部件运动性预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0894624A2 (en) * 1997-07-30 1999-02-03 Baldwin-Japan Ltd. Printing plate or printed product identifying apparatus
CN101567051A (zh) * 2009-06-03 2009-10-28 复旦大学 一种基于特征点的图像配准方法
CN105765551A (zh) * 2013-09-27 2016-07-13 柯法克斯公司 用于三维几何重建所捕获的图像数据的系统和方法
CN109087342A (zh) * 2018-07-12 2018-12-25 武汉尺子科技有限公司 一种基于特征匹配的三维点云全局配准方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jun Chu ; Chun-mei Nie.Multi-view point clouds registration and stitching based on SIFT feature.《2011 3rd International Conference on Computer Research and Development》.2011, *

Also Published As

Publication number Publication date
CN112651408A (zh) 2021-04-13

Similar Documents

Publication Publication Date Title
JP6216508B2 (ja) ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法
CN109215129B (zh) 一种基于三维点云的局部特征描述方法
Prakhya et al. B-SHOT: A binary feature descriptor for fast and efficient keypoint matching on 3D point clouds
Saavedra et al. An improved histogram of edge local orientations for sketch-based image retrieval
CN110866864A (zh) 人脸姿态估计/三维人脸重构方法、装置及电子设备
CN112651408B (zh) 一种基于点对变换特征的三维局部表面描述方法和系统
CN102074015A (zh) 一种基于二维图像序列的目标对象的三维重建方法
CN114972459B (zh) 一种基于低维点云局部特征描述符的点云配准方法
CN113298934B (zh) 一种基于双向匹配的单目视觉图像三维重建方法及系统
CN111767960A (zh) 一种应用于图像三维重建的图像匹配方法及系统
CN112562081B (zh) 一种用于视觉分层定位的视觉地图构建方法
CN109272577B (zh) 一种基于Kinect的视觉SLAM方法
Sun et al. An efficient and compact 3D local descriptor based on the weighted height image
Song et al. Fast estimation of relative poses for 6-dof image localization
CN112651944A (zh) 基于cad模型的3c部件高精度六维位姿估计方法及系统
CN111709450A (zh) 一种基于多尺度特征融合的点云法向量估计方法及系统
Wang et al. Joint head pose and facial landmark regression from depth images
Zhao et al. BE-SIFT: a more brief and efficient sift image matching algorithm for computer vision
Wang et al. Revisiting monocular satellite pose estimation with transformer
CN111414802B (zh) 蛋白质数据特征提取方法
CN109658489B (zh) 一种基于神经网络的立体网格数据处理方法和系统
US8867865B2 (en) Point set matching with outlier detection
Liu et al. 6d object pose estimation based on 2d bounding box
Uenishi et al. Virtual feature point extraction from polyhedral structure
Wang et al. A line descriptor for SLAM (LDFS)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant