CN111210466A - 多视角点云配准方法、装置以及计算机设备 - Google Patents
多视角点云配准方法、装置以及计算机设备 Download PDFInfo
- Publication number
- CN111210466A CN111210466A CN202010040824.7A CN202010040824A CN111210466A CN 111210466 A CN111210466 A CN 111210466A CN 202010040824 A CN202010040824 A CN 202010040824A CN 111210466 A CN111210466 A CN 111210466A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud object
- transfer matrix
- registration
- evaluation function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 239000011159 matrix material Substances 0.000 claims abstract description 102
- 238000012546 transfer Methods 0.000 claims abstract description 65
- 238000011156 evaluation Methods 0.000 claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 26
- 230000001815 facial effect Effects 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 19
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical compound CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 4
- 238000004364 calculation method Methods 0.000 description 13
- 230000009466 transformation Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种多视角点云配准方法、装置以及计算机设备，涉及医学数据处理技术领域，解决了多视角点云配准方法的配准结果的精确度较低的技术问题。该方法包括：确定第一点云对象通过初始转移矩阵转换后得到的第二点云对象；基于第二点云对象和目标点云对象，重复进行如下迭代步骤，直至迭代结果满足预设条件，得到满足预设条件的转移矩阵：基于预设的人体面部特征邻域，利用四元数算法计算从第二点云对象配准到目标点云对象的中间转移矩阵；对第二点云对象通过中间转移矩阵进行转换，得到转换结果；设置基于转换结果与目标点云对象之间重合度的评价函数，并通过计算得到评价函数的极小值；判断评价函数的极小值是否满足预设条件。
Description
技术领域
本申请涉及医学数据处理技术领域，尤其是涉及一种多视角点云配准方法、装置以及计算机设备。
背景技术
目前，医疗外科机器人手术导航技术是机器人领域研究的前沿热点之一，在医疗外科的手术规划、手术模拟、微创定位、无损诊疗等方面得到广泛应用。
其中，坐标标定和空间配准是图像引导的无框架脑外科立体定向机器人研究中的基本问题。尤其是将三维扫描技术引入医学影像配准领域后，对三维扫描仪获取到的点云进行多视角配准的技术具有越来越高的研究意义和应用价值，其配准过程就是求解一个最佳的转换矩阵，将多个从不同视角下获取的点云数据调整到相同坐标系下，使得点云重叠部分能达到满足一定精度要求的重合。如何获得适用性广泛且精确度高的配准算法成为研究的主流方向。但是，目前的多视角点云配准方法的配准结果的精确度较低。
发明内容
本发明的目的在于提供一种多视角点云配准方法、装置以及计算机设备，以解决目前的多视角点云配准方法的配准结果的精确度较低的技术问题。
第一方面，本申请实施例提供了一种多视角点云配准方法，所述方法包括：确定从第一点云对象配准到目标点云对象的初始转移矩阵，以及所述第一点云对象通过所述初始转移矩阵转换后得到的第二点云对象；其中，所述第一点云对象和所述目标点云对象为不同视角点下的点云；所述初始转移矩阵为通过粗配准算法进行配准的转移矩阵；
基于所述第二点云对象和所述目标点云对象，重复进行如下迭代步骤，直至迭代结果满足预设条件，得到满足所述预设条件的转移矩阵：
基于预设的人体面部特征邻域，利用四元数算法计算从所述第二点云对象配准到所述目标点云对象的中间转移矩阵；
对所述第二点云对象通过所述中间转移矩阵进行转换，得到转换结果；设置基于所述转换结果与所述目标点云对象之间重合度的评价函数，并通过计算得到所述评价函数的极小值；
判断所述评价函数的极小值是否满足所述预设条件。
在一个可能的实现中，判断所述评价函数的极小值是否满足所述预设条件的步骤之后，还包括：
若是，则基于所述初始转移矩阵和所述中间转移矩阵得到最终转移矩阵。
在一个可能的实现中，所述预设条件为：当前迭代过程产生的评价函数极小值与上次迭代过程产生的评价函数极小值之间的相差值小于预设值。
在一个可能的实现中，计算所述评价函数的极小值的步骤之前，还包括：
基于所述预设的人体面部特征邻域计算所述第二点云对象的第二数据点集；
基于所述预设的人体面部特征邻域计算所述目标点云对象的目标数据点集；
基于所述第二数据点集和所述目标数据点集，计算所述第二数据点集和所述目标数据点集之间的互样本协方差矩阵。
在一个可能的实现中，计算所述评价函数的极小值的步骤，包括：
基于所述评价函数、所述中间转移矩阵以及所述互样本协方差矩阵进行计算，得到所述评价函数的极小值。
在一个可能的实现中，所述中间转移矩阵包括：旋转矩阵、平移向量以及放缩误差因子。
在一个可能的实现中，所述预设的人体面部特征邻域包括下述至少四项：
人体面部的鼻尖点、左眼内眦点、右眼内眦点、眉间点、左鼻翼点、右鼻翼点、鼻根点以及人中点对应的特征邻域。
第二方面，提供了一种多视角点云配准装置，所述装置包括：
确定模块，用于确定从第一点云对象配准到目标点云对象的初始转移矩阵，以及所述第一点云对象通过所述初始转移矩阵转换后得到的第二点云对象；其中，所述第一点云对象和所述目标点云对象为不同视角点下的点云；所述初始转移矩阵为通过粗配准算法进行配准的转移矩阵；
计算模块，用于基于预设的人体面部特征邻域，利用四元数算法计算从所述第二点云对象配准到所述目标点云对象的中间转移矩阵；
转换模块，用于对所述第二点云对象通过所述中间转移矩阵进行转换，得到转换结果，设置基于所述转换结果与所述目标点云对象之间重合度的评价函数，并通过计算得到所述评价函数的极小值；
判断模块，用于判断所述评价函数的极小值是否满足预设条件。
第三方面，本申请实施例又提供了一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的第一方面所述方法。
第四方面，本申请实施例又提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述的第一方面所述方法。
本申请实施例带来了以下有益效果：
本申请实施例提供的一种多视角点云配准方法、装置以及计算机设备，能够确定从第一点云对象配准到目标点云对象的初始转移矩阵，以及第一点云对象通过初始转移矩阵转换后得到的第二点云对象；其中，第一点云对象和目标点云对象为不同视角点下的点云；初始转移矩阵为通过粗配准算法进行配准的转移矩阵，基于第二点云对象和目标点云对象，重复进行如下迭代步骤，直至迭代结果满足预设条件：基于预设的人体面部特征邻域，利用四元数算法计算从第二点云对象配准到目标点云对象的中间转移矩阵；对第二点云对象通过中间转移矩阵进行转换，得到转换结果；设置基于所述转换结果与所述目标点云对象之间重合度的评价函数，并通过计算得到所述评价函数的极小值；判断评价函数的极小值是否满足预设条件，通过利用预设的人体面部特征邻域再结合四元数算法，使最终得到的配准结果的精确度得到提高。
为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的多视角点云配准方法的流程图示意图；
图2为本申请实施例提供的带特征点的面部轮廓数据的示例图；
图3为本申请实施例提供的基于四元数法的点云配准流程图；
图4中的图A和图B为本申请实施例提供的点云精配准的效果图；
图5为本申请实施例提供的一种多视角点云配准装置的结构示意图；
图6为示出了本申请实施例所提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
目前，在医学图像处理、手术导航技术领域，点云配准方法主要分为手动配准和自动配准，手动配准依赖人工的干预及辅助设备，应用范围受到限制，因此目前重点研究的是自动配准算法，自动配准算法分为粗略配准和精细配准两步，其中精细配准是研究的重点，依据医学影像三维可视化理论，头颅扫描应用范畴的所有空间转换都是刚性转换，因此精配准也采用刚性变换求解实现。目前常用方法有奇异值分解、单位四元数、对偶四元数和正交分解法。但是，目前的多视角点云配准方法的配准结果的精确度较低。
基于此，本申请实施例提供了一种多视角点云配准方法、装置以及计算机设备，通过该方法可以解决目前的多视角点云配准方法的配准结果的精确度较低的技术问题。
下面结合附图对本发明实施例进行进一步地介绍。
图1为本申请实施例提供的一种多视角点云配准方法的流程示意图。
如图1所示，该方法包括：
步骤S110，确定从第一点云对象配准到目标点云对象的初始转移矩阵，以及第一点云对象通过初始转移矩阵转换后得到的第二点云对象。
其中，第一点云对象和目标点云对象为不同视角点下的点云；初始转移矩阵为通过粗配准算法进行配准的转移矩阵。
然后，基于第二点云对象和目标点云对象，重复进行如下迭代步骤，直至迭代结果满足预设条件：
步骤S120，基于预设的人体面部特征邻域，利用四元数算法计算从第二点云对象配准到目标点云对象的中间转移矩阵。
步骤S130，对第二点云对象通过中间转移矩阵进行转换，得到转换结果，设置基于转换结果与目标点云对象之间重合度的评价函数，并通过计算得到评价函数的极小值。
步骤S140，判断评价函数的极小值是否满足预设条件。若是，则进行步骤S150；若否，转到步骤S120继续执行。
步骤S150，得到满足预设条件的转移矩阵。
本申请实施例提供的多视角点云配准方法可以作为一种基于特征邻域的多视角点云配准方法，能够基于特征邻域的单位四元数解算法迭代求取坐标空间刚性变换的最优解析解，并在此基础上提出基于特征邻域的最近迭代点算法，对配准点云数据进行二次迭代，最终得到配准点云和被配准点云的全局分布相似度更高的结果，以解决现有技术中的四元数刚性配准解算方法由于匹配点依赖性和迭代单一性等设计缺陷造成的输出结果精度过低的问题。
通过基于特征邻域的四元数精细配准算法求取第二点云对象配准到目标点云对象的转移矩阵M2(齐次坐标表示的4*4矩阵)，该矩阵同样为刚体变换矩阵，第一点云对象通过两次矩阵转换，与目标点云对象重叠部分的重合程度已经能满足既定的精度要求。
本申请实施例针对传统四元数法解算精度对特征点识别精度过于依赖的缺陷和全局配准效率过低的弱点，提出了基于特征邻域的四元数解算法，并利用对应特征邻域的同分布特性，将最近迭代点算法(ICP)引入算法框架，改善了传统四元数法对匹配点精度依赖的不足之处，在兼顾运行效率的基础上提升了配准的精确度。
通过对四元数法矩阵变换中匹配点到匹配点配准计算结果不稳定和结果点云全局重合度过低的问题进行了改进，提出匹配域到匹配域的配准方法，一定程度上解决了特征点识别误差累积导致配准误差放大的技术难题，填补了多视角点云刚性配准中的一些技术空白。
下面对上述步骤进行详细介绍。
在一些实施例中，预设的人体面部特征邻域包括下述至少四项：
人体面部的鼻尖点、左眼内眦点、右眼内眦点、眉间点、左鼻翼点、右鼻翼点、鼻根点以及人中点对应的特征邻域。
用于配准的8个人体面部特征点如下：如鼻尖点、左右眼内眦点、眉间点、左右鼻翼点、鼻根点和人中点和对应特征邻域。如图2所示，图A中已经识别出用于配准的8个特征点的面部轮廓点云数据，图B中在特征点基础上分割出8个特征邻域的面部轮廓点云数据。
如图3所示，可以先通过三维扫描仪获取用于配准的人体头面部的三维面绘制数据(即三角面片)；然后，通过图形预处理算法将获取到的三角面片数据进行预处理，最终获取到对应的面部轮廓点云数据对象(设为对象A)；之后通过三维扫描仪获取用于被配准的人体头面部的三维面绘制数据(三角面片)；同样利用图形预处理算法获取对应面部轮廓点云对象B及相应的特征点和特征邻域；最后，利用粗配准算法求取对象A配准到对象B的转移矩阵M1(齐次坐标表示的4*4矩阵)，该矩阵为刚体变换矩阵，即点云对象A通过矩阵M1转换后任意两点的位置关系保持不变，本步骤最终输出A经由M1转换后的点云对象A'，A'所处位姿同对象B已经大致重合。
其中，三维扫描仪的数据采集、数据预处理、面部轮廓对象生成和粗配准均属于本申请提供的方法的前导操作，为本方法的主体部分提供有效数据支持。本方法的实施主体为最后一步，基于特征邻域的四元数精细配准，即上文提及的转移矩阵M2的解算方法。
在一些实施例中，在步骤S130中的计算评价函数的极小值的步骤之前，该方法还可以包括以下步骤：
基于预设的人体面部特征邻域计算第二点云对象的第二数据点集；
基于预设的人体面部特征邻域计算目标点云对象的目标数据点集；
基于第二数据点集和目标数据点集，计算第二数据点集和目标数据点集之间的互样本协方差矩阵。
例如，假设A经由M1获取的点云对象A'数据点集为：
X＝{(x11，x12，x13)，(x21，x22，x23)，...，(xm1，xm2，xm3)}；
其中，数据点数为m，点云对象B的数据点集为：
Y＝{(y11，y12，y13)，(y21，y22，y23)，...，(yl2，yl2，yl3)}；
其中，X的数据点数为m，Y的数据点数为l。
对于对象A、B基于特征邻域的数据点集X和Y的具体计算过程，可以包括如下过程。
目前通用的四元数精配准算法需要预先求出A、B的距离矩阵，逐点计算A中每个点与B中每个点的距离，以便求取A与B距离最近的点对的集合，运行效率非常低下。本算法利用粗配准后A和B的特征点和特征邻域大致匹配的特性，提出以特征邻域局部点对代替全局点对，在保证精度的条件下提高了算法运行效率，其具体操作如下：
当粗配准完成后，A经由M1转换为对象A'，A'的特征点与对象B的对应特征点位置和分布基本接近。
配准对象A与被配准对象点云的位姿和数据点的位置基本匹配，对应特征点基本接近。从图B可以看出，对象A与对象B的很多细节部分并不完全重合，总体配准误差较大。
特征邻域是特征点按某一邻域半径进行球状分割产生的局部点云区域，粗配准完成后，在领域半径取值相同的条件下A'的特征邻域与B的对应特征邻域位置、分布、数据点数量也基本接近，因此将A'的特征邻域中的每个点同B中对应特征邻域的点进行配对，例如A'和B的特征邻域数据点数分别为下表，即A'与B的特征邻域数据点数对比：
首先取出依次A'的特征邻域LeftInnerCanthus，遍历里面的全部53个数据点，对每个数据点:
求取B的特征邻域LeftInnerCanthus中与之距离最近的点
形成一个点对记为
最后该特征邻域会形成53个特征点对，生成点对集合：
同理，顺次取A'余下的特征邻域RightInnerCanthus，…，Glabella，分别生成特征点对：
然后求取并集：
令Pu元素数量为n，于是Pu中点对的第一个元素组成的集合即为：
(xi1，xi2，xi3)，i＝1，...，n，
其中ai坐标为：
点对的第二个元素组成的集合为：
其中bi坐标为
X与Y是一一映射关系。
对于构造X与Y的互样本协方差矩阵C的具体计算过程：
X与Y的互样本协方差矩阵定义如下：
由于X与Y为三维欧式空间的数据点集且独立同分布，因此可将X与Y看做随机向量，三个维度上的分量分别看做随机变量X1，X2，X3和Y1，Y2，Y3，其中为Xi＝(i＝1，2，3)的样本均值为：
Yj＝(j＝1，2，3)的样本均值为：
Xi、Yj(i，j＝1，2，3)的样本协方差为：
Covij＝E[(Xi-EXi)(Yj-EYj)]，i，j＝1，2，3(1.4)
由此得出：
最终得到(1.5)式：
其中，
均可由X＝{a1，...，an}，Y＝{b1，...，，bn}
计算得到。
在一些实施例中，上述步骤S130中的计算评价函数的极小值的步骤可以包括如下步骤：
基于评价函数、中间转移矩阵以及互样本协方差矩阵进行计算，得到评价函数的极小值。
需要说明的是，中间转移矩阵包括：旋转矩阵、平移向量以及放缩误差因子。
其中，对于评价函数的具体计算过程：
由于M2为刚体变换矩阵，因此M2具备正交性，且可以分解为旋转矩阵(设为R2，三维欧式空间表示的3×3矩阵)、平移向量(设为T2，三维欧式空间表示的1×3向量)和放缩误差因子S(大于0的常量)。下面令：
T2＝(t1，t2，t3) (2.2)
在理想状态下，对于A′中的任一点(xi1，xi2，xi3)(i＝1，...，n)，经由R2、T2、S的旋转、平移和旋转转换后(实际操作中S往往强制设为1)，得到(x′i1，x′i2，x′i3)，总能找到B中的对应点(yj1，yj2，yj3)(j＝1，...，m)，使得A′中所有点与B中对应点距离的平方和最小。其中：
因此设评价函数为：
算法的最终目的是求取一定约束条件下的R2，T2，S，使得f(R2，T2，S)，
取得极小值。
接下来，对于评价函数的极值的计算过程：
对于评价函数(2.4)极小值求解是整个算法最关键的部分，具体又可以分为如下环节：
1)公式(2.4)的展开和化简：
易知(EX1，EX2，EX3)为X的重心，(EY1，EY2，EY3)为Y的重心，则以重心为坐标原点的X和Y的三维数据点集坐标分别为：
其中，
由此可知，
于是当(1)、(3)式取极小值时，f(R2，T2，S)值最小，又显然，在
时，(3)式最小，因此仅需要考察(1)式的极小值：
2)公式(3.6)的展开和化简：
由于(6)式中
的重心与原点重合，且(r)3×3为保距变换，于是：
(3.6)＝g(S)：
令
对S求导：
当(3.7)取得最小值时，g'(S)＝0，此时
又由于(3.7)中只有(5)与旋转矩阵有关，并且当S取定值时，(4)、(6)为常量，因此，(5)取值越大，(3.7)取值越小，当
取极大值时，
(3.7)式取极小值，于是(3.3)式取极小值，此时的R2为最优旋转矩阵。
3)最优旋转矩阵Ropt的计算：
由(1.1)式得到：
tr(C)＝c11+c22+c33 (3.10)
Cl＝(c23-c32，c31-c13，c12-c21) (3.14)
利用(3.10)、(3.11)、(3.12)、(3.13)、(3.14)构造实对称矩阵：
其中，为三阶单位阵。
根据矩阵的特征值、特征向量和四元数转换性质，H的最大特征值对应的特征向量所描述的旋转矩阵即为:
因此，能够求取到H的特征值和特征向量，设最大特征值对应的其中某一特征向量为：
qR＝(q1，q2，q3，q4)′ (3.16)
令
其中，qR即为以α＝(α1，α2，α3)，为旋转轴，θ为旋转角的旋转矩阵四元数表达，根据转换公式，可得：
4)最优放缩因子Sopt的计算：
将求取到的Ropt代入(3.9)，即可解得：
在刚性变换的实际应用场景中，Sopt的取值往往接近1，为避免过度拟合，在本实施例中将Sopt直接设定为1。
5)最优平移向量Topt的计算：
由(3.5)式：
将Ropt，Topt带入，即得：
Topt＝(EY1，EY2，EY3)-Sopt(EX1，EX2，EX3)Ropt (3.19)
最后，可以进行从A′到B的单次四元数配准过程，具体过程可以包括如下内容。
根据Ropt，Topt建立本次配准的转移矩阵M2：
将A′中的全部数据点经M2由转换获得A″(即
)。到此单次配准过程全部结束，此时A″的点云与对象B的点云分布和相对位置将比A′更为接近。
如图4所示，基于特征邻域进行精配准以后，图A中的对象A与图B中的对象B贴合得更紧，位置重合度更高，在之前误差较大的部分已经被修正。各个细节部分配准精度都较粗配准为佳。
在一些实施例中，预设条件为：当前迭代过程产生的评价函数极小值与上次迭代过程产生的评价函数极小值之间的相差值，小于预设值。
再者，在步骤S140之后，该方法还可以包括以下步骤：S150，得到满足预设条件的转移矩阵。
在配准的迭代过程中，对A″和B重复进行上述步骤S120至步骤S140的具体过程，不断计算出匹配度更高的A’‘’，A’“’，......，直到本次迭代产生的评价函数极小值与上次迭代产生的评价函数极小值的差的绝对值小于某个阈值(本实施例设为1×10-6)。
假设算法收敛时迭代次数为m，产生的转移矩阵分别为
则最终的精细配准转移矩阵为
将其带入公式Mopt＝M1×M2,则转移矩阵Mopt＝M1×M2为本发明的算法最终输出结果。
本申请实施例中，最终转移矩阵Mopt＝M1×M2，即为最终输出结果。
当然，本算法提供的是具有ICP特征的迭代式计算方法，但实际应用中如果待配准的数据集在空间分布和凝聚性上具有较好的配准基础，也可仅采用单次配准计算方法。
图5提供了一种多视角点云配准装置的结构示意图。如图5所示，多视角点云配准装置500包括：
确定模块501，用于确定从第一点云对象配准到目标点云对象的初始转移矩阵，以及第一点云对象通过初始转移矩阵转换后得到的第二点云对象；其中，第一点云对象和目标点云对象为不同视角点下的点云；初始转移矩阵为通过粗配准算法进行配准的转移矩阵；
计算模块502，用于基于预设的人体面部特征邻域，利用四元数算法计算从第二点云对象配准到目标点云对象的中间转移矩阵；
转换模块503，用于对第二点云对象通过中间转移矩阵进行转换，得到转换结果，设置基于转换结果与目标点云对象之间重合度的评价函数，并通过计算得到评价函数的极小值；
判断模块504，用于判断评价函数的极小值是否满足预设条件。
本申请实施例提供的多视角点云配准装置，与上述实施例提供的多视角点云配准方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
如图6所示，本申请实施例提供的一种计算机设备600，包括：处理器601、存储器602和总线，所述存储器602存储有所述处理器601可执行的机器可读指令，当计算机设备运行时，所述处理器601与所述存储器602之间通过总线通信，所述处理器601执行所述机器可读指令，以执行如上述的多视角点云配准方法的步骤。
具体地，上述存储器602和处理器601能够为通用的存储器和处理器，这里不做具体限定，当处理器601运行存储器602存储的计算机程序时，能够执行上述的多视角点云配准方法。
对应于上述多视角点云配准方法，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述多视角点云配准方法的步骤。
本申请实施例所提供的多视角点云配准装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本申请实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述多视角点云配准方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种多视角点云配准方法，其特征在于，所述方法包括：
确定从第一点云对象配准到目标点云对象的初始转移矩阵，以及所述第一点云对象通过所述初始转移矩阵转换后得到的第二点云对象；其中，所述第一点云对象和所述目标点云对象为不同视角点下的点云；所述初始转移矩阵为通过粗配准算法进行配准的转移矩阵；
基于所述第二点云对象和所述目标点云对象，重复进行如下迭代步骤，直至迭代结果满足预设条件，得到满足所述预设条件的转移矩阵：
基于预设的人体面部特征邻域，利用四元数算法计算从所述第二点云对象配准到所述目标点云对象的中间转移矩阵；
对所述第二点云对象通过所述中间转移矩阵进行转换，得到转换结果；设置基于所述转换结果与所述目标点云对象之间重合度的评价函数，并通过计算得到所述评价函数的极小值；
判断所述评价函数的极小值是否满足所述预设条件。
2.根据权利要求1所述的方法，其特征在于，判断所述评价函数的极小值是否满足所述预设条件的步骤之后，还包括：
若是，则基于所述初始转移矩阵和所述中间转移矩阵得到最终转移矩阵。
3.根据权利要求1或2所述的方法，其特征在于，所述预设条件为：当前迭代过程产生的评价函数极小值与上次迭代过程产生的评价函数极小值之间的相差值小于预设值。
4.根据权利要求1所述的方法，其特征在于，计算所述评价函数的极小值的步骤之前，还包括：
基于所述预设的人体面部特征邻域计算所述第二点云对象的第二数据点集；
基于所述预设的人体面部特征邻域计算所述目标点云对象的目标数据点集；
基于所述第二数据点集和所述目标数据点集，计算所述第二数据点集和所述目标数据点集之间的互样本协方差矩阵。
5.根据权利要求4所述的方法，其特征在于，计算所述评价函数的极小值的步骤，包括：
基于所述评价函数、所述中间转移矩阵以及所述互样本协方差矩阵进行计算，得到所述评价函数的极小值。
6.根据权利要求5所述的方法，其特征在于，所述中间转移矩阵包括：旋转矩阵、平移向量以及放缩误差因子。
7.根据权利要求1所述的方法，其特征在于，所述预设的人体面部特征邻域包括下述至少四项：
人体面部的鼻尖点、左眼内眦点、右眼内眦点、眉间点、左鼻翼点、右鼻翼点、鼻根点以及人中点对应的特征邻域。
8.一种多视角点云配准装置，其特征在于，所述装置包括：
确定模块，用于确定从第一点云对象配准到目标点云对象的初始转移矩阵，以及所述第一点云对象通过所述初始转移矩阵转换后得到的第二点云对象；其中，所述第一点云对象和所述目标点云对象为不同视角点下的点云；所述初始转移矩阵为通过粗配准算法进行配准的转移矩阵；
计算模块，用于基于预设的人体面部特征邻域，利用四元数算法计算从所述第二点云对象配准到所述目标点云对象的中间转移矩阵；
转换模块，用于对所述第二点云对象通过所述中间转移矩阵进行转换，得到转换结果，设置基于所述转换结果与所述目标点云对象之间重合度的评价函数，并通过计算得到所述评价函数的极小值；
判断模块，用于判断所述评价函数的极小值是否满足预设条件。
9.一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010040824.7A CN111210466A (zh) | 2020-01-14 | 2020-01-14 | 多视角点云配准方法、装置以及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010040824.7A CN111210466A (zh) | 2020-01-14 | 2020-01-14 | 多视角点云配准方法、装置以及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111210466A true CN111210466A (zh) | 2020-05-29 |
Family
ID=70786083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010040824.7A Pending CN111210466A (zh) | 2020-01-14 | 2020-01-14 | 多视角点云配准方法、装置以及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111210466A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862111A (zh) * | 2020-07-01 | 2020-10-30 | 青岛九维华盾科技研究院有限公司 | 基于区域分割融合的点云配准算法 |
| CN112525161A (zh) * | 2021-02-09 | 2021-03-19 | 南京景曜智能科技有限公司 | 一种旋转轴标定方法 |
| CN113362446A (zh) * | 2021-05-25 | 2021-09-07 | 上海奥视达智能科技有限公司 | 基于点云数据重建对象的方法及装置 |
| CN113658170A (zh) * | 2021-08-30 | 2021-11-16 | 杭州柳叶刀机器人有限公司 | 一种关节配准点生成方法、装置、电子设备及存储介质 |
| CN113689476A (zh) * | 2021-08-26 | 2021-11-23 | 中国科学院植物研究所 | 一种点云配准方法、装置、存储介质和计算机设备 |
| WO2022165876A1 (zh) * | 2021-02-06 | 2022-08-11 | 湖南大学 | 一种基于wgan的无监督多视角三维点云联合配准方法 |
| CN116523984A (zh) * | 2023-07-05 | 2023-08-01 | 矽瞻科技(成都)有限公司 | 一种3d点云定位及配准方法、设备和介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101645170A (zh) * | 2009-09-03 | 2010-02-10 | 北京信息科技大学 | 多视点云精确配准方法 |
| CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
| CN108022262A (zh) * | 2017-11-16 | 2018-05-11 | 天津大学 | 一种基于点的邻域重心向量特征的点云配准方法 |
| CN109509226A (zh) * | 2018-11-27 | 2019-03-22 | 广东工业大学 | 三维点云数据配准方法、装置、设备及可读存储介质 |
| CN110060336A (zh) * | 2019-04-24 | 2019-07-26 | 北京华捷艾米科技有限公司 | 三维人脸重建方法、装置、介质以及设备 |
| CN110070567A (zh) * | 2019-04-28 | 2019-07-30 | 中铁七局集团有限公司 | 一种地面激光点云配准方法 |
-
2020
- 2020-01-14 CN CN202010040824.7A patent/CN111210466A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101645170A (zh) * | 2009-09-03 | 2010-02-10 | 北京信息科技大学 | 多视点云精确配准方法 |
| CN106780459A (zh) * | 2016-12-12 | 2017-05-31 | 华中科技大学 | 一种三维点云数据自动配准方法 |
| CN108022262A (zh) * | 2017-11-16 | 2018-05-11 | 天津大学 | 一种基于点的邻域重心向量特征的点云配准方法 |
| CN109509226A (zh) * | 2018-11-27 | 2019-03-22 | 广东工业大学 | 三维点云数据配准方法、装置、设备及可读存储介质 |
| CN110060336A (zh) * | 2019-04-24 | 2019-07-26 | 北京华捷艾米科技有限公司 | 三维人脸重建方法、装置、介质以及设备 |
| CN110070567A (zh) * | 2019-04-28 | 2019-07-30 | 中铁七局集团有限公司 | 一种地面激光点云配准方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨稳，周明全，张向葵，耿国华，刘晓宁，刘阳洋: ""基于分层优化策略的颅骨点云配准算法"" * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862111A (zh) * | 2020-07-01 | 2020-10-30 | 青岛九维华盾科技研究院有限公司 | 基于区域分割融合的点云配准算法 |
| WO2022165876A1 (zh) * | 2021-02-06 | 2022-08-11 | 湖南大学 | 一种基于wgan的无监督多视角三维点云联合配准方法 |
| CN112525161A (zh) * | 2021-02-09 | 2021-03-19 | 南京景曜智能科技有限公司 | 一种旋转轴标定方法 |
| CN112525161B (zh) * | 2021-02-09 | 2021-05-14 | 南京景曜智能科技有限公司 | 一种旋转轴标定方法 |
| CN113362446A (zh) * | 2021-05-25 | 2021-09-07 | 上海奥视达智能科技有限公司 | 基于点云数据重建对象的方法及装置 |
| CN113362446B (zh) * | 2021-05-25 | 2023-04-07 | 上海奥视达智能科技有限公司 | 基于点云数据重建对象的方法及装置 |
| CN113689476A (zh) * | 2021-08-26 | 2021-11-23 | 中国科学院植物研究所 | 一种点云配准方法、装置、存储介质和计算机设备 |
| CN113658170A (zh) * | 2021-08-30 | 2021-11-16 | 杭州柳叶刀机器人有限公司 | 一种关节配准点生成方法、装置、电子设备及存储介质 |
| CN116523984A (zh) * | 2023-07-05 | 2023-08-01 | 矽瞻科技(成都)有限公司 | 一种3d点云定位及配准方法、设备和介质 |
| CN116523984B (zh) * | 2023-07-05 | 2023-09-26 | 矽瞻科技(成都)有限公司 | 一种3d点云定位及配准方法、设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111210466A (zh) | 多视角点云配准方法、装置以及计算机设备 | |
| CN110335297B (zh) | 一种基于特征提取的点云配准方法 | |
| Hinkle et al. | Intrinsic polynomials for regression on Riemannian manifolds | |
| Jiang et al. | Registration for 3-D point cloud using angular-invariant feature | |
| Guest et al. | Robust point correspondence applied to two-and three-dimensional image registration | |
| US11049331B2 (en) | Customization method and apparatus | |
| Yang et al. | A triangular radial cubic spline deformation model for efficient 3D beating heart tracking | |
| US11300664B1 (en) | LiDAR odometry method, system and apparatus based on directed geometric point and sparse frame | |
| CN111340862B (zh) | 一种基于多特征融合的点云配准方法、装置及存储介质 | |
| CN112184869A (zh) | 基于绝对高斯曲率估计的保持几何特征的点云简化方法 | |
| CN115578320A (zh) | 一种骨科手术机器人全自动空间注册方法及系统 | |
| Chen et al. | An automatic registration approach to laser point sets based on multidiscriminant parameter extraction | |
| Heitz et al. | Statistical shape model generation using nonrigid deformation of a template mesh | |
| Wang et al. | Multi-view point clouds registration method based on overlap-area features and local distance constraints for the optical measurement of blade profiles | |
| CN112381952B (zh) | 一种基于多相机的面部轮廓点云模型重构方法及装置 | |
| CN107767409B (zh) | 基于高维表达的一致点漂移配准方法 | |
| CN117237428A (zh) | 一种面向三维点云的数据配准方法、装置及介质 | |
| Zhong et al. | Triple screening point cloud registration method based on image and geometric features | |
| CN113256693A (zh) | 基于K-means与正态分布变换的多视角配准方法 | |
| Jeong et al. | Bilinear models for inter-and intra-patient variation of the prostate | |
| Gao et al. | Filtering in the diffeomorphism group and the registration of point sets | |
| Lourenço et al. | 2D lidar to kinematic chain calibration using planar features of indoor scenes | |
| Kurtek et al. | Statistical Shape Model for Simulation of Realistic Endometrial Tissue. | |
| Zhu et al. | Unbiased groupwise registration for shape prediction of foot scans | |
| CN113192111B (zh) | 一种三维点云相似配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210521 Address after: 301700 west side of the third floor of No.3 workshop, No.6 Xinchuang Road, Wuqing Development Zone, Wuqing District, Tianjin Applicant after: Weijing medical equipment (Tianjin) Co.,Ltd. Address before: Room 110, courtyard 5, No.4, East Binhe Road, Qinghe, Haidian District, Beijing Applicant before: HOZ MINIMALLY INVASIVE MEDICAL TECHNOLOGY (BEIJING) Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200529 |
|
| RJ01 | Rejection of invention patent application after publication |