CN106097324A - 一种非刚体三维形状对应点确定方法 - Google Patents

Abstract

本发明涉及三维(3D)计算机视觉领域，尤其涉及一种非刚体三维形状对应点确定方法。本方法包括：源点云模型和目标点云模型的输入模块，粗配准模块，块发现模块，稀疏对应点生成模块以及稠密对应点生成模块。本发明通过以源点云模型和目标点云模型为数据源的处理通道，结合块分割的应用，实现了非刚体三维形状对应点的确定，提高了通用性、灵活性和自动化程度。

Description

一种非刚体三维形状对应点确定方法

技术领域

本发明涉及三维(3D)计算机视觉领域，尤其涉及一种基于块发现的非刚体三维形状对应点的确定方法。

背景技术

三维(3D)计算机视觉及其模式识别在医疗诊断，机器人，计算机图形学，电子游戏，虚拟现实等领域都有着重要应用，而三维形状对应点匹配问题是一直是计算机视觉和模式识别领域中的一个非常基本而又重要的工作，潜在的配准，姿势归一化等应用都依赖三维形状对应点匹配。

目前的形状对应点匹配研究多集中于二维领域，国内对二维领域的对应点匹配研究较多，如公开号分别是CN201310331189.8，CN201310329752.8的专利。随着科学技术的发展，三维(3D)计算机视觉渐渐普及，如申请号为201310674771.4的专利中提到一种三维形状测量装置，通过将多种类型的图案的图案光投影到测量对象上并且捕获测量对象的图像、来对测量对象的三维形状进行测量的三维形状测量装置，控制投影仪单元和图像捕获单元，将第一图案的曝光量设置为大于第一图案之外的图案的曝光量用以提高精度。

当被处理的三维模型具有对称性时，如何处理对称点之间对应关系交换问题，以及如何处理不一致的部分模型数据以及高噪声点云模型数据、尤其是具有大变形的关节式运动变形对象还有待进一步研究。

发明内容

为了解决上述技术问题，本发明提供了一种基于块发现的非刚体三维形状对应点确定方法。该测量方法包括以下步骤：

粗配准，根据源点云模型和目标点云模型的三维局部特征对所述源点云模型和目标点云模型进行粗配准；

块发现，对源点云模型和目标点云模型实施分割处理，找到源点云模型的刚体最大块以及目标点云模型的刚体最大块、不一致块，确定所述源点云模型和所述目标点云模型之间的对应最大块、对应不一致块；

稀疏对应点对生成，在所述源点云模型和所述目标点云模型之间的对应最大块和对应不一致块之间，然后利用互搜索的方式构造初始对应点对，利用基于谱方法的图匹配相容性检测剔除错误点，获取所述稀疏对应点对；

稠密对应点生成，利用保长变形测地距离不变性对所述稀疏对应点对进行稠密化，获得所述稠密对应点。

优选地，所述粗配准步骤中所述源点云模型和所述目标点云模型之间是关节式运动且有50％以上比例并未发生大的变形。

优选地，所述粗配准步骤中，所述三维局部特征为点云模型的快速点特征直方图FPFH描述子和曲率特征。

优选地，所述粗配准步骤包括以下步骤：

局部邻域特征提取，提取源点云模型和目标点云模型的快速点特征直方图FPFH描述子和曲率特征；

匹配点对构造，利用一对孤立点的快速点特征直方图FPFH特征向量的相似度进行匹配点对构造；

错误点去除，利用随机采样一致性RANSAC算法对错误点进行去除；

配准参数估计，求解数据点集之间刚性变换，获得配准参数。

优选地，所述配准参数估计步骤中，数据点集之间刚性变换方法可以是四元数法，正交矩阵法，奇异值分解法，以及对偶四元数法等方法中的一种。

优选地，所述块发现步骤中，所述源点云模型的刚体最大块为经粗配准矩阵变换的源点云模型与目标点云模型几何距离小于设定阈值的点集合经聚类分割后的最大块点集合。

优选地，所述块发现步骤中，所述目标点云模型的刚体最大块为目标点云模型与经粗配准矩阵变换的源点云模型几何距离小于设定阈值点云集合中经聚类分割方法后的最大块点集合。

优选地，所述聚类分割方法为欧氏聚类分割方法。

优选地，所述块发现步骤中，所述源点云模型的不一致块点云集合为所述源点云集合与所述源点云集合最大块点集合的差集进行欧氏聚类分割得到的点集合。

优选地，所述块发现步骤中，所述目标点云模型的不一致块为目标点云集合与所述目标点云集合中最大块点集合的差集进行欧氏聚类分割得到的点集合。

优选地，所述目标点云模型的不一致块利用测地线距离在目标点云模型上进行扩展获取。

优选地，源点云模型和目标点云模型之间的对应不一致块的确定方法是通过利用连通域与第一连通域的对应性，第一连通域与第二连通域的对应性，以及第二连通域与第三连通域的对应性，从而得到连通域与第三连通域的对应性，进而得到源点云模型和目标点云模型之间的对应不一致块。

优选地，所述第一连通域为在源模型最大刚体块上构造的与源模型不一致块的连通域。

优选地，所述连通域为在源模型不一致块上构造的与源模型最大刚体块的连通域。

优选地，所述第二连通域为在目标模型最大刚体块上构造的与目标模型不一致块的连通域。

优选地，所述第三连通域为在目标模型不一致块上构造的与目标模型最大刚体块的连通域。

优选地，通过连通域与第三连通域的对应性，得到所述源模型不一致块和对应目标模型不一致块的对应性。

本发明的上述技术方案具有如下优点：本发明提供一种简单高效的对应点求解算法，用块之间的连通性准确获取更多分布均匀的对应点对，并通过扩散核心对应点求得更准确的稠密对应点，能够避免因为模型的对称性使得对称点之间对应关系交换的问题。另外，本发明提供的方法能够对拓扑不一致的部分模型数据以及高噪声点云模型数据进行处理，特别是对于具有大变形的关节式运动变形对象进行处理。

附图说明

图1是本发明实施例提供的基于块发现的非刚体三维对应形状点确定方法的示意图；

图2是本发明实施例提供的基于块发现的非刚体三维对应形状点确定方法的具体工作流程图；

图3(a)、图3(b)、图3(c)、图3(d)分别是本发明实施例提供的粗配准步骤中的四个图像处理过程模型，分别为非刚体三维对应形状点确定方法的源点云模型和目标点云模型、下采样的源点云模型和目标点云模型、特征匹配对应点以及源点云模型和目标点云模型的粗配准结果；

图4(a)、图4(b)分别是本发明实施例提供的块发现子系统中非刚体三维对应形状点确定方法的源模型最大块和目标模型的最大块；

图5(a)、图5(b)、图5(c)、图5(d)分别是本发明实施例提供的粗配准非刚体三维对应形状点确定方法的目标模型上不一致块、对应的第一个对应的不一致块、不一致块初始对应和不一致块粗配准；

图6为本发明实施例提供的粗配准非刚体三维对应形状点确定方法的目标模型上所有稀疏对应点；

图7为本发明实施例提供的粗配准非刚体三维对应形状点确定方法的稠密对应点结果。

具体实施方式

下面结合附图和实施例对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但并不用来限制本发明的范围。

随着科学技术的发展，三维(3D)计算机视觉及其模式识别在医疗诊断，机器人，计算机图形学，电子游戏，虚拟现实等领域都有着重要应用，而三维形状对应点匹配问题是一直是计算机视觉和模式识别领域中的一个非常基本而又重要的工作。本发明提供的一种基于块发现的非刚体三维对应形状点确定方法，结合块发现的应用，实现对非刚体三维对应形状点的确定。

如图1所示，本发明实施例提供了一种基于块发现的非刚体三维对应形状点确定方法，该测量方法包括五个组成模块：输入模块S01，用于输入源点云模型和目标点云模型；粗配准模块S02，用于根据源点云模型和目标点云模型的三维局部特征对源点云模型和目标点云模型进行粗配准；块发现模块S03，用于对源点云模型和目标点云模型实施分割处理，找到源点云模型和目标点云模型的刚体最大块、不一致块，确定源点云模型和目标点云模型之间的对应最大块、对应不一致块；稀疏对应点对生成模块S04，在源点云模型和目标点云模型的对应最大块和对应不一致块之间，然后利用互搜索的方式构造初始对应点对，利用基于谱方法的图匹配相容性检测剔除错误点，获取稀疏对应点对；稠密对应点生成模块S05，利用保长变形测地距离不变性对稀疏对应点对进行稠密化，获得稠密对应点。

进一步地，粗配准模块S02中源点云模型和目标点云模型之间是关节式运动且有50％以上比例并未发生大的变形。其中，粗配准步骤中，三维局部特征为点云模型的快速点特征直方图FPFH描述子和曲率特征。其中，粗配准步骤包括以下步骤：第一步进行局部邻域特征提取，提取源点云模型和目标点云模型的快速点特征直方图FPFH描述子和曲率特征。第二步进行匹配点对构造，利用一对孤立点的快速点特征直方图FPFH特征向量的相似度进行匹配点对构造。第三步进行错误点去除，利用随机采样一致性RANSAC算法对错误点进行去除。第四步进行配准参数估计，求解数据点集之间刚性变换，获得配准参数。

在第四步配准参数估计中，数据点集之间刚性变换方法可以是四元数法，正交矩阵法，奇异值分解法，以及对偶四元数法等能实现此功能的方法中的任意一种。

进一步地，块发现模块S03中，源点云模型的刚体最大块为经粗配准模块S02矩阵变换的源点云模型与目标点云模型几何距离小于一定阈值的点集合经聚类分割后的最大块点集合。其中目标点云模型的刚体最大块为目标点云模型与经粗配准矩阵变换的源点云模型几何距离小于一定阈值点云集合中经聚类分割后的最大块点集合。其中，聚类分割采用欧氏聚类分割方法。其中，源点云模型的不一致块点云集合为源点云集合与源点云集合最大块点集合的差集进行欧氏聚类分割得到的点集合；目标点云模型的不一致块点云集合为目标点云集合与目标点云集合中最大块点集合的差集进行欧氏聚类分割得到的点集合。其中，目标点云模型的不一致块点云集合需要利用测地线距离在目标点云集合上对已经获取的不一致块点云进行扩展，获取更加精确的目标点云模型的不一致块点云集合。

进一步地，源点云模型和目标点云模型之间的对应不一致块确定方法通过利用连通域与第一连通域的对应性，第一连通域与第二连通域的对应性，第二连通域和第三连通域的对应性，从而得到连通域和第三连通域的对应性。其中，第一连通域为在源模型最大刚体块上构造的与源模型不一致块的连通域。其中，连通域为在源模型不一致块上构造的与源模型最大刚体块的连通域。其中，第二连通域为在目标模型最大刚体块上构造的与目标模型不一致块的连通域。其中，第三连通域为在目标模型不一致块上构造的与目标模型最大刚体块的连通域。其中，通过连通域和第三连通域的对应性，得到源模型不一致块和对应目标模型不一致块的对应性。

图2为本发明实施例提供的基于块发现的非刚体三维对应形状点确定方法具体工作流程图。在进行实施操作时包括以下步骤，执行步骤S1：用户通过输入源模型的源点云模型数据S_d和目标模型T_d的目标点云模型数据，得到人体源点云模型数据S_d和人体目标点云模型数据T_d的目标模型如图3(a)，本发明实例使用Xtion Pro获取的低精度高噪声的点云数据。进而，执行步骤S2-S7进行非刚体三维形状对应点的获取，具体步骤为：

步骤S2：启动粗配准模块进行粗配准参数估计，该模块以人体源点云模型数据S_d和人体目标点云模型数据T_d为输入，首先进行下采样如图3(b)，提取源点云模型数据S_d和目标点云模型数据T_d的快速点特征直方图FPFH描述子和曲率描述子，经过点FPFH特征相似度和点曲率相似度的匹配后，可得到一组一一对应的初始匹配点对集合C，如图3(c)，采用随机采样一致性RANSAC算法，对初始匹配点对数组进行再次过滤，对错误点进行剔除，最后利用奇异值分解法对匹配点对C进行矩阵估计，得到刚体变换矩阵X_li，此处l表示当前迭代的层次，定义迭代层数l＝0时表示粗配准是针对下采样后的S_d和T_d，下标i表示该层次不一致块的序号，当l＝0时不一致块就是整个模型。迭代层数l≥1时粗配准的所需对应点是通过刚体最大块和不一致块之间的连接性得到的，经过粗配准刚体变换后的人体源点云模型数据S_d和人体目标点云模型数据T_d如图3(d)所示。

步骤S3：启动块发现子系统模块，获取源点云模型数据S_d和人体目标点云模型数据T_d的对应最大块和对应不一致块。将源点云模型数据S_d的不一致块S_li通过刚体变换矩阵X_li变换到与人体目标点云模型数据T_d同一坐标系下，得到S’_li，l表示迭代的层级，i表示该层级中需要处理的不一致块的标号，定义迭代层数l＝0时表示粗配准是针对下采样后的S_d和T_d，获取S’_li里与T_d中距离最小的元素之间的距离符合小于3r的元素通过欧氏聚类之后得到的集合，记为G_Sli。

其中第q个聚类定义为C_Sliq

$C_{S_{li}q}=\left\{s_m\right|d_e(s_k,t_j)\≤3r,N_1(s_m,S_{li}^{\′})=s_k,s_k\∈S_{li}^{\′},t_j\∈T_d\}---\left(1\right)$

G_s是S’_li里与T_d中距离最小的元素之间的距离符合小于3r的元素通过欧氏聚类之后得到的集合，每个聚类是紧致连通的，r为点云的分辨率，由用户给出，d_e(s_k,t_i)是两点之间的欧氏距离，N₁(s_m,S’_li)表示在S’_li上K近邻搜索得到的最近点。根据G_s中聚类的大小，将最大的聚类作为S’_li的刚体最大块记为C_sli*。

$C_{S_{li*}}=\left\{C^{*}\right|C^{*}\∈G_{S_{li}},N\left(C^{*}\right)\≥N\left(C^i\right),C^i\∈G_{S_{li}}\}---\left(2\right)$

在目标模型T_d上采用同样的操作得到C_Tli*，利用测地线距离在T_d上对C_Tli*进行扩展，进而获得最终的目标模型上的对应块刚体最大块记为EC_Tli*，这样使得其尽可能的包含所有Cs_li*的对应点。

${\mathrm{EC}}_{T_{li*}}=\left\{t_m\right|t_m\∈G_r(t_j,T_d),t_j\∈C_{T_{li*}}\}---\left(3\right)$

其中G_r(t_j,T_d)表示t_j在T_d测地距离小于50r的集合，最终利用Cs_li*和EC_Tli*获取准确率较高的稀疏对应点对，4(a)中最大聚类，即标签为亮度较高的区域为源模型上刚体最大块，而4(b)中最大聚类，即标签为亮度较高的区域为目标模型上的刚体最大块。

在源模型上S_li-C_Sli*即为与X₁不一致的集合，设将S_li-C_Sli*进行欧氏空间聚类后的结果为：

$\left\{\begin{array}{c}\{C_{S_{(l+1)i}1},C_{S_{(l+1)i}2},...,C_{S_{(l+1)i}N}\}\\ C_{S_{(l+1)i}j}=\left\{s_m\right|s_m\∉C_{S_{li*}},s_m\∈S_{li},N_k(s_m,C_{S_{(l+1)i}j})\⋐C_{S_{(l+1)i}j}\}\end{array}\right.---\left(4\right)$

其中N_k(s_m,C_S(l+l)ij)表示S_m的k近邻，这里只保留聚类的大小大于一定阈值d_{c_min}的聚类作为最终源模型上的不一致块。

当迭代层级大于1时，粗配准估计X_(l+1)i所用的对应点对是通过刚体最大块C_Sli*与C_S(1+l)ij之间的相邻关系而得到的。设在目标模型上对T_li-C_Tli*进行同样的操作以及利用测地线距离在T_d上对C_T(1+l)ij进行扩展得到目标模型上的不一致块记为：

$\left\{\begin{array}{c}\{{\mathrm{EC}}_{T_{(l+1)i}1},{\mathrm{EC}}_{T_{(l+1)i}2},\mathrm{...},{\mathrm{EC}}_{T_{(l+1)i}M}\}\\ {\mathrm{EC}}_{T_{(l+1)i}j}=\left\{t_m\right|t_m\∈G_r(t_j,T_d),t_j\⋐C_{T_{(l+1)i}w}\}\end{array}\right.---\left(5\right)$

如图5(a)所示为目标模型上的所有不一致块，其包含左右胳膊和左腿三个不一致块。

步骤S4：获取最大块和不一致块的对应性及配准，接下来获取源点云模型和目标点云模型不一致块的对应关系和配准矩阵。首先，为了获取C_S(1+l)ij与C_T(1+l)iw之间的变换矩阵X_(1+l)i，在C_S(1+l)ij上构造与最大刚体块C_Sli*连通的区域

其中G_r(s_m,S_d)表示S_m在S_d测地距离小于一定阈值的集合，类似的操作在目标模型上得到A_T(l+l)ij。为了缩小搜索区域，并且避免对称性问题，需要利用聚类之间的连通性，找出源模型上与目标模型上的不一致块的对应关系。在最大刚体块C_Sli*上构造与不一致块C_S(1+i)j连通的区域。

类似的操作在目标模型上得到然后在最大刚体块上和彼此的对应关系很容易找出，因为其基本是重合的，所以用和重心基本重合来判断它们之间的对应关系，因为和的一一对应性，从而得到和之间的对应性，如图5(b)所示，源和目标模型上的右胳膊为得到的第一个对应的不一致块。

下面用在刚体最大块上得到的对应点K_li来扩散为A_S(1+l)ij寻找对应点：

$K_{(l+1)i}^{\′}=\left\{(s_m,t_m)\right|s_m\∈A_{S_{(l+1)i}j},t_m=\underset{t\∈{\mathrm{EC}}_{T_{(l+1)i}{j}^{\′}}}{\arg \min }{e}_{K_{li}}(s_m,t)\}---\left(8\right)$

其中兼容性错误e_Kli定义为：

$e_{K_{li}}(s,t)={\mathrm{\Σ}}_{(s_m,t_m)\∈K_{li}}|d_g(s,s_m)-d_g(t,t_m){|}^2---\left(9\right)$

通过上述过程，找到的对应点集合，如图5(c)，通过基于RANSAC的粗配准后，即可得到不一致块和其对应的变换矩阵X_(l+1)i之后，配准结果如图5(d)所示，然后可循环进入l+1层迭代循环直到没有符合条件的不一致块。

步骤S5：启动稀疏对应点获取子系统，在所述源点云模型和所述目标点云模型的块之间，利用互搜索的方式构造初始对应点对，利用基于谱方法的图匹配相容性检测剔除错误点，获取所述稀疏对应点对，如图6所示。

步骤S6：启动稠密对应点子系统，本步骤在稀疏对应点的基础上，利用保长变形测地距离不变的性质对对应点进行稠密化。本实例得到的稠密对应点如图7所示。

本实施例中的非刚体三维形状以人为例，但并不以此为限，其他动物例如牛、马、羊，猪等动物均可用本发明提供的基于块发现的非刚体三维形状点对应方法获取非刚体对应点。

综上所述，本发明提供的是一种非刚体三维形状对应点确定方法，通过一种简单高效的对应点求解算法，用块之间的连通性来获取更多且分布均匀的准确对应点对，并通过扩散核心对应点求得更准确的稠密对应点，能够同时避免因为模型的对称性使得对称点之间对应关系交换出现问题。另外，本发明提供的方法能够对拓扑不一致的部分模型数据以及高噪声点云模型数据进行处理，特别是对于具有大变形的关节式运动变形对象。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种非刚体三维形状对应点确定方法，其特征在于，包括以下步骤：

粗配准，根据源点云模型和目标点云模型的三维局部特征对所述源点云模型和目标点云模型进行粗配准；

块发现，对源点云模型和目标点云模型实施分割处理，找到源点云模型的刚体最大块以及目标点云模型的刚体最大块、不一致块，确定所述源点云模型和所述目标点云模型之间的对应最大块、对应不一致块；

稀疏对应点对生成，在所述源点云模型和所述目标点云模型之间的对应最大块和对应不一致块之间构造初始对应点对，检测剔除错误点，获取稀疏对应点对；

稠密对应点生成，利用保长变形测地距离不变性对所述稀疏对应点对进行稠密化，获得稠密对应点。

2.根据权利要求1所述的非刚体三维形状对应点确定方法，其特征在于，所述稀疏对应点对生成中构造初始对应点对使用互搜索方式。

3.根据权利要求1所述的非刚体三维形状对应点确定方法，其特征在于，所述稀疏对应点对生成中检测剔除错误点使用谱方法的图匹配相容性。

4.根据权利要求1所述的非刚体三维形状对应点确定方法，其特征在于，所述粗配准中三维局部特征为点云模型的快速点特征直方图FPFH描述子和曲率特征。

5.根据权利要求1所述的非刚体三维形状对应点确定方法，其特征在于，所述粗配准包括以下步骤：

局部邻域特征提取，提取源点云模型和目标点云模型的快速点特征直方图FPFH描述子和曲率特征；

匹配点对构造，利用一对孤立点的快速点特征直方图FPFH特征向量的相似度进行匹配点对构造；

错误点去除，利用随机采样一致性RANSAC算法对错误点进行去除；

配准参数估计，求解数据点集之间刚性变换，获得配准参数。

6.根据权利要求1所述的非刚体三维形状对应点确定方法，其特征在于，块发现中的源点云模型的刚体最大块为经粗配准矩阵变换的源点云模型与目标点云模型几何距离小于设定阈值的点集合经聚类分割后的最大块点集合；块发现中的目标点云模型的刚体最大块为目标点云模型与经粗配准矩阵变换的源点云模型几何距离小于设定阈值点云集合中经聚类分割后的最大块点集合；块发现中目标点云模型的不一致块为目标点云集合与目标点云集合中最大块点集合的差集进行欧氏聚类分割得到的点集合。

7.根据权利要求6所述的非刚体三维形状对应点确定方法，其特征在于，所述目标点云模型的不一致块利用测地线距离在目标点云模型上进行扩展获取。

8.根据权利要求1所述的非刚体三维形状对应点确定方法，其特征在于，源点云模型和目标点云模型之间的对应不一致块的确定方法是通过利用连通域与第一连通域的对应性、第一连通域与第二连通域的对应性、以及第二连通域与第三连通域的对应性，从而得到连通域与第三连通域的对应性，进而得到源点云模型和目标点云模型之间的对应不一致块。

9.根据权利要求8所述的非刚体三维形状对应点确定方法，其特征在于，所述第一连通域为在源模型最大刚体块上构造的与源模型不一致块的连通域；所述连通域为在源模型不一致块上构造的与源模型最大刚体块的连通域；所述第二连通域为在目标模型最大刚体块上构造的与目标模型不一致块的连通域；所述第三连通域为在目标模型不一致块上构造的与目标模型最大刚体块的连通域。