CN102024273A - 基于隐式向量空间的非刚性注册方法 - Google Patents

Abstract

本发明公开了一种基于隐式向量空间的非刚性注册方法。该方法的操作步骤如下：源模型和目标模型的提取；基于隐式向量空间的整体注册；建立整体注册的最优化方程；求解最优化方程的最优解，完成源模型和目标模型的整体注册，获得刚性变换过程；基于隐式向量空间的局部注册；采用增量式自由变形，基于隐式向量空间建立局部注册的最优化方程；局部注册的闭合形式解；建立稠密对应关系。该方法能同时处理开放的局部模型和封闭的模型，扩大了算法的适用范围并加快了求解速度，在恢复出自然的外形和姿态变换过程同时，建立各帧顶点间稠密的对应关系，以得到三维动态模型的离散帧模型间的非刚性注册。

Description

基于隐式向量空间的非刚性注册方法

技术领域

本发明属于计算机图形学与人机接口技术领域，具体涉及一种基于隐式向量空间的非刚性注册方法。

背景技术

随着逆向工程技术的发展与芯片制造水平的提高，深度摄像头等获取设备通过高频采样记录动态对象的外形和姿态变化过程(包含刚性和非刚性两种变换)，以高频速率实时输出随时间不断变化的帧模型。这为获取物理世界中的动态对象提供了新型的技术途径，用户可以不再通过繁琐的手工编辑，即可逼真重建出数字化的三维动态模型。从而，可极大地提高重建三维动态模型的水平和效率，使重建过程更为直观，效果更为生动。但是，由于记录的各帧模型是离散的，各顶点间的对应关系和动态对象的姿态和外形变换过程都是未知的。因此，如何非刚性注册三维动态模型的各离散帧是本领域研究人员关注的技术问题。具体而言，针对各离散帧模型(源模型和目标模型)，在恢复出自然的外形和姿态变换过程同时，建立各帧顶点间稠密的对应关系。

传统的非刚性注册方法多基于隐式空间来完成，采用带符号的距离函数定义隐式空间内任意位置的距离值。这样的缺点是对于模型边界附近的空间位置，难以确定该位置处距离值的符号，而一旦错误地确定了符号，就不能获得正确的非刚性注册结果。因此，传统非刚性注册的适用范围不广，很难处理开放的局部模型，事实上，由于获取过程中的遮挡问题，获取的模型往往具有空洞，是开放的局部模型。此外，传统的非刚性注册方法是通过迭代求解最优化方程来计算非刚性变换的，迭代过程复杂且耗时较长。

发明内容

本发明需要解决的技术问题是离散帧模型(源模型和目标模型)间的非刚性注册。传统方法具有非刚性注册的适用范围窄(很难处理开放的局部模型)和工作效率低的不足。为了克服这些不足，需要开发一种新的非刚性注册方法。本发明的目的是提供一种源模型和目标模型间的非刚性注册方法。

本方法的特征在于采取了基于隐式向量空间的技术方案来实现的，其实现流程如下：

a.源模型和目标模型的提取：在各个时刻，获取设备获取的场景数据是其视场范围的所有信息，获取的对象与背景存在距离上的不连续性，利用此不连续性完成获取对象与背景的分离，提取出源模型和目标模型；

b.基于隐式向量空间的整体注册；

c.建立整体注册的最优化方程：将源模型和目标模型嵌入到一个包围盒空间中，计算该空间内任意位置到源模型和目标模型的向量距离函数的差异，在整个空间内对该差异向量各元素的平方和进行积分，从而通过源模型和目标模型隐式向量空间的总体差异将整体注册问题转化为最优化问题；

d.求解最优化方程的最优解，完成源模型和目标模型的整体注册，获得刚性变换过程；

e.基于隐式向量空间的局部注册；

f.采用增量式自由变形，基于隐式向量空间建立局部注册的最优化方程；

g.局部注册的闭合形式解：通过隐式向量空间下增量式自由变形的一阶泰勒展开，将局部注册问题转化为线性问题进行求解，获得非刚性变换过程；

h.建立稠密对应关系：基于最近点查找算法，建立源模型与目标模型间的稠密对应关系。

概括而言，需要一种适用范围广且工作效率高的非刚性注册方法。通过非刚性注册处理获取的离散帧模型，求解出源模型和目标模型间的外形和姿态变换过程(包括刚性和非刚性变换两部分)，建立稠密的对应关系。

首先是将获取设备获得的场景点云数据按照空间连续性进行分离，提取出三维动态模型的源模型和目标模型。基于源模型和目标模型的隐式向量空间的差异，利用最优化方法求解整体注册的最优化方程，计算出源模型和目标帧间的刚性变换。在整体注册实施后，提出了局部注册的闭合形式解，将非线性优化问题简化为线性问题，加快了求解速度。最后，基于最近点查找算法，建立源模型和目标模型间的稠密对应关系。

本发明中，整体注册就是求源模型S和目标模型T间的刚性变换A，设其参数为Φ(包含旋转R和平移T)，即A＝Rx+T，使得源模型S在进行刚性变换后与目标模型T的外形和姿态差异最小。首先，建立一个包含源模型S和目标模型T的包围盒空间，对于空间内的任意位置x，源模型S和目标模型T的向量距离函数的差异为：

r_d(Φ：x)＝Rf_S(x)-f_T(A(Φ；x))。

那么，在整个空间内，源模型S和目标模型T的外形和姿态的总体差异可用积分形式表示为：

$E_g\left(\mathrm{\Φ}\right)={\∫}_{\mathrm{\Ω}}{r}_d^T(\mathrm{\Φ};x)r_d(\mathrm{\Φ};x)\mathrm{dx}.$

从而，整体注册问题转化成非线性最优化问题。我们使用Levenberg-Marquardt(LM)算法求解上述非线性方程，求解整体注册的刚性变换。在LM算法求解过程中，按照如下公式求解r_d(Ф：x)对参数Φ(即旋转R和平移T)的梯度：

$\frac{\∂{\left|\right|r_d(\mathrm{\Φ};x)\left)\right||}_2^2}{\∂R}=[{\▿}_{R}R{f}_S\left(X\right)-\▿f_T^T\left(A(\mathrm{\Φ};x)\right)]{\▿}_{R}A(\mathrm{\Φ};x)$

$\frac{\∂{\left|\right|r_d(\mathrm{\Φ};x)\left|\right|}_2^2}{\∂T}=[-\▿f_T^T\left(A(\mathrm{\Φ};x)\right){\▿}^{T}A(\mathrm{\Φ};x)]$

需要指出的是，在三维情况下，R的表示方法有多种，如轴角表示、矩阵表示和四元组表示。在上述表示中，仅有四元组表示可保证变量的连续性，满足LM算法的条件，求解出正确的旋转变换。

对于经过刚性变换后的源模型S和目标模型T，建立一个包含上述两个模型的封闭空间，对于该空间内的任意位置x，其三次B样条的增量式自由变形为L(Θ；x)，变量Θ为表示了非刚性变换的三次B样条的系数。通过度量位置x处源模型与目标模型L(Θ；x)的向量距离函数的差异：

r_n(Θ；x)＝f_S(x)-f_T(L(Θ；x))，

在规则化光滑函数的约束下，定义出局部注册的优化方程：

$E_I\left(\mathrm{\Θ}\right)={\∫}_{\mathrm{\Ω}}{r}_n^T(\mathrm{\Θ};x)r_n(\mathrm{\Θ};x)\mathrm{dx}+\mathrm{\α}{\∫}_{\mathrm{\Ω}}{\left|\right|\frac{\∂\mathrm{\δL}(\mathrm{\Θ};x)}{\∂x}\left|\right|}^2\mathrm{dx}$

其中，α为光滑函数的权重(通常设为1)，δL(Θ；x)为增量式自由变形的增量值。

通过使得该优化方程的值最小来求解非刚性变换是典型的非线性优化问题。本发明利用增量式自由变形下向量距离函数的一阶泰勒级数展开，将局部注册优化问题转换为线性问题求解，提供闭合形式解，简化了问题求解的复杂度，加快了求解速度。

向量距离函数的一阶泰勒展开为：

$f_T\left(L(\mathrm{\Θ};x)\right)=f_T(x+\mathrm{\δL}(\mathrm{\Θ};x))\≈f_T\left(x\right)+{(\▿f_T\left(x\right))}^T\mathrm{\δL}(\mathrm{\Θ};x)$

设f(x)＝f_S(x)-f_T(x)，则可以推出：

${\∫}_{\mathrm{\Ω}}{f}^T\left(x\right){(\▿f_T\left(x\right))}^I\frac{\∂\mathrm{\δL}(\mathrm{\Θ};x)}{\∂\mathrm{\Θ}}\mathrm{dx}=$

${\∫}_{\mathrm{\Ω}}{\left({(\▿f_T\left(x\right))}^T\mathrm{\δL}(\mathrm{\Θ};x)\right)}^T{(\▿f_T\left(x\right))}^T\frac{\∂\mathrm{\δL}(\mathrm{\Θ};x)}{\∂\mathrm{\Θ}}\mathrm{dx}+\mathrm{\α}{\∫}_{\mathrm{\Ω}}{\left(\frac{\∂}{\∂x}\mathrm{\δL}(\mathrm{\Θ};x)\right)}^T\frac{\∂}{\∂\mathrm{\Θ}}\left(\frac{\∂}{\∂x}\mathrm{\δL}(\mathrm{\Θ};x)\right)\mathrm{dx}$

这是一个具有闭合形式解的线性系统，可唯一确定增量式自由变形下非刚性变换变量Θ的值。

本发明的有益效果是基于隐式向量空间技术方案的非刚性注册方法。该方法得到源模型和目标模型间的外形和姿态变换过程，建立源模型和目标模型间的稠密对应关系。因向量距离函数在整个隐式向量空间中都是可精确定义的，故本发明适用范围更广，不但能处理封闭的模型，而且可以处理开放的局部模型；此外，通过线性方程直接计算非刚性变换过程，降低了复杂程度，加快了求解速度。

附图说明

图1为本发明的非刚性注册的步骤流程图。

图2为本发明中基于隐式向量空间的整体注册的示意图。

图3为本发明中采用增量式自由变形的局部注册的剖面示意图。

具体实施方式

参照图1，表示本发明的实现流程图。图中的步骤为：

a.源模型和目标模型的提取：在各个时刻，获取设备获取的场景数据是其视场范围的所有信息，获取的对象与背景存在距离上的不连续性，利用此不连续性完成获取对象与背景的分离，提取出源模型和目标模型；

b.基于隐式向量空间的整体注册；

c.建立整体注册的最优化方程：将源模型和目标模型嵌入到一个包围盒空间中，计算该空间内任意位置到源模型和目标模型的向量距离函数的差异，在整个隐式向量空间内对该差异向量各元素的平方和进行积分，从而通过隐式向量空间的总体差异将整体注册问题转化为最优化问题；

d.求解最优化方程的最优解，完成源模型和目标模型的整体注册，获得刚性变换过程；

e.基于隐式向量空间的局部注册；

f.采用增量式自由变形，基于隐式向量空间建立局部注册的最优化方程；

g.局部注册的闭合形式解：通过隐式向量空间下增量式自由变形的一阶泰勒展开，将局部注册问题转化为线性问题进行求解，获得非刚性变换过程；

h.建立稠密对应关系：基于最近点查找算法，建立源模型与目标模型间的稠密对应关系。

具体操作时，本发明是基于隐式向量空间来实现的。对于帧模型M，由下述向量距离函数定义其隐式向量空间Ω中任意位置x的值：

$f_M\left(x\right)=x-P_M\left(x\right),\∀x\∈\mathrm{\Ω},$

其中，P_M(x)是x在M上的投影点。

从该定义中，不难发现，隐式向量空间不再受符号距离函数中符号确定问题的困扰，在空间内任意位置都是可精确定义的。从而，本发明可以同时处理开放的局部模型和封闭模型。

参照图2，表示本发明中基于隐式向量空间的整体注册的示意图。在本发明中，整体注册就是求源模型S和目标模型T间的刚性变换A，设其参数为Φ(包含旋转R和平移T)，即A＝Rx+T，使得源模型S在进行刚性变换后与目标模型T的外形和姿态差异最小。首先，建立一个包含源模型S和目标模型T的包围盒空间，对于空间内的任意位置x，源模型S和目标模型T的向量距离函数的差异为：

r_d(Φ：x)＝Rf_S(x)-f_T(A(Φ；x))。

那么，在整个空间内，源模型S和目标模型T的外形和姿态的总体差异可用积分形式表示为：

$E_g\left(\mathrm{\Φ}\right)={\∫}_{\mathrm{\Ω}}{r}_d^T(\mathrm{\Φ};x)r_d(\mathrm{\Φ};x)\mathrm{dx}.$

从而，整体注册问题转化成非线性最优化问题。我们使用Levenberg-Marquardt(LM)算法求解上述非线性方程，求解整体注册的刚性变换。在LM算法求解过程中，按照如下公式求解r_d(Φ：x)对参数Φ(即旋转R和平移T)的梯度：

$\frac{\∂{\left|\right|r_d(\mathrm{\Φ};x)\left)\right||}_2^2}{\∂R}=[{\▿}_{R}R{f}_S\left(X\right)-\▿f_T^T\left(A(\mathrm{\Φ};x)\right)]{\▿}_{R}A(\mathrm{\Φ};x)$

$\frac{\∂{\left|\right|r_d(\mathrm{\Φ};x)\left|\right|}_2^2}{\∂T}=[-\▿f_T^T\left(A(\mathrm{\Φ};x)\right){\▿}^{T}A(\mathrm{\Φ};x)]$

需要指出的是，在三维情况下，R的表示方法有多种，如轴角表示、矩阵表示和四元组表示。在上述表示中，仅有四元组表示可保证变量的连续性，满足LM算法的条件，求解出正确的旋转变换。

参照图3，表示本发明中采用增量式自由变形的局部注册的剖面示意图。对于经过刚性变换后的源模型S和目标模型T，建立一个包含上述两个模型的封闭空间，对于该空间内的任意位置x，其三次B样条的增量式自由变形为L(Θ；x)，变量Θ为表示了非刚性变换的三次B样条的系数。通过度量位置x处源模型与目标模型L(Θ；x)的向量距离函数的差异：

r_n(Θ；x)＝f_S(x)-f_T(L(Θ；x))，

在规则化光滑函数的约束下，定义出局部注册的优化方程：

$E_I\left(\mathrm{\Θ}\right)={\∫}_{\mathrm{\Ω}}{r}_n^T(\mathrm{\Θ};x)r_n(\mathrm{\Θ};x)\mathrm{dx}+\mathrm{\α}{\∫}_{\mathrm{\Ω}}{\left|\right|\frac{\∂\mathrm{\δL}(\mathrm{\Θ};x)}{\∂x}\left|\right|}^2\mathrm{dx}$

其中，α为光滑函数的权重(通常设为1)，δL(Θ；x)为增量式自由变形的增量值。

通过使得该优化方程的值最小来求解非刚性变换是典型的非线性优化问题。本发明利用增量式自由变形下向量距离函数的一阶泰勒级数展开，将局部注册优化问题转换为线性问题求解，提供闭合形式解，简化了问题求解的复杂度，加快了求解速度。

向量距离函数的一阶泰勒展开为：

$f_T\left(L(\mathrm{\Θ};x)\right)=f_T(x+\mathrm{\δL}(\mathrm{\Θ};x))\≈f_T\left(x\right)+{(\▿f_T\left(x\right))}^T\mathrm{\δL}(\mathrm{\Θ};x)$

设f(x)＝f_S(x)-f_T(x)，则可以推出：

${\∫}_{\mathrm{\Ω}}{f}^T\left(x\right){(\▿f_T\left(x\right))}^I\frac{\∂\mathrm{\δL}(\mathrm{\Θ};x)}{\∂\mathrm{\Θ}}\mathrm{dx}=$

${\∫}_{\mathrm{\Ω}}{\left({(\▿f_T\left(x\right))}^T\mathrm{\δL}(\mathrm{\Θ};x)\right)}^T{(\▿f_T\left(x\right))}^T\frac{\∂\mathrm{\δL}(\mathrm{\Θ};x)}{\∂\mathrm{\Θ}}\mathrm{dx}+\mathrm{\α}{\∫}_{\mathrm{\Ω}}{\left(\frac{\∂}{\∂x}\mathrm{\δL}(\mathrm{\Θ};x)\right)}^T\frac{\∂}{\∂\mathrm{\Θ}}\left(\frac{\∂}{\∂x}\mathrm{\δL}(\mathrm{\Θ};x)\right)\mathrm{dx}$

这是一个具有闭合形式解的线性系统，可唯一确定增量式自由变形下非刚性变换变量Θ的值。

Claims (4)

1.基于隐式向量空间的非刚性注册方法，其特征在于该方法的操作流程为：

a.源模型和目标模型的提取：在各个时刻，获取设备获取的场景数据是其视场范围的所有信息，获取的对象与背景存在距离上的不连续性，利用此不连续性完成获取对象与背景的分离，提取出源模型和目标模型；

b.基于隐式向量空间的整体注册；

c.建立整体注册的最优化方程：

d.求解最优化方程的最优解，完成源模型和目标模型的整体注册，获得刚性变换过程；

e.基于隐式向量空间的局部注册；

f.采用增量式自由变形，基于隐式向量空间建立局部注册的最优化方程；

g.局部注册的闭合形式解：通过隐式向量空间下增量式自由变形的一阶泰勒展开，将局部注册问题转化为线性问题进行求解，获得非刚性变换过程；

h.建立稠密对应关系：基于最近点查找算法，建立源模型与目标模型间的稠密对应关系。

2.根据权力要求1所述的基于隐式向量空间的非刚性注册方法，其特征在于：整体注册就是求源模型S和目标模型T间的刚性变换A，设其参数为Φ，包含旋转R和平移T，即A＝Rx+T，使得源模型S在进行刚性变换后与目标模型T的外形和姿态差异最小。

3.根据权利要求1所述的基于隐式向量空间的非刚性注册方法，其特征在于：整体注册的最优化过程为将源模型和目标模型嵌入到一个包围盒空间中，计算该空间内任意位置到源模型和目标模型的向量距离函数的差异，在整个空间内对该差异向量各元素的平方和进行积分，通过源模型和目标模型隐式向量空间的总体差异将整体注册问题转化为最优化问题。

4.根据权利要求1所述的基于隐式向量空间的非刚性注册方法，其特征在于：在隐式向量空间内建立局部注册的最优化方程

$E_I\left(\mathrm{\Θ}\right)={\∫}_{\mathrm{\Ω}}{r}_n^T(\mathrm{\Θ};x)r_n(\mathrm{\Θ};x)\mathrm{dx}+\mathrm{\α}{\∫}_{\mathrm{\Ω}}{\left|\right|\frac{\∂\mathrm{\δL}(\mathrm{\Θ};x)}{\∂x}\left|\right|}^2\mathrm{dx}.$

Images