CN107169529B - 一种非刚性物体运动结构恢复方法 - Google Patents

Abstract

本发明公开了一种高性能非刚性物体运动结构恢复方法，基于任意两点之间的相对位置关系的基础上，提出了一种均方相对坐标误差度量函数MSRCE；并在不改变主体算法的基础上，将其完美的嵌入到现有主体方法中去，运用本发明提出的误差度量函数，最终优化目标不仅考虑每一个预测坐标与其真实坐标的关系，还同时考虑了任意两个预测坐标之间的位移矢量的精确度，有助于提高非刚性物体运动结构恢复的精度，解决了传统算法仅用均方误差MSE作为度量函数的缺点；可精确度量不同三维形状直接的误差，实用价值显著，应用广泛。

Description

一种非刚性物体运动结构恢复方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种高性能非刚性物体运动结构恢复方法。

背景技术

非刚性运动恢复结构技术主要是利用物体二维图像序列的特征点观察数据，建立空间投影模型，估计出物体的三维结构和相关的运动参数。作为计算机视觉研究领域的一个重要方向，非刚性运动恢复结构技术目前广泛应用于人脸识别、场景重构等众多应用场合。

现有技术主要分为三类：第一类是基于矩阵分解或者EM算法拟合形状的概率分布；第二类是将非刚性物体运动结构恢复看作是运动轨迹估计问题，此类方法采用关键点的跟踪去拟合三维形状；这两类方法最大的问题在于需要预先知道图片序列的时间顺序；而第三类方法是通过考虑形状空间的空间变化平滑性提升算法效果，以处理时间顺序未知的非刚性物体运动结构恢复问题。

上述三种现存的方法目前虽然效果尚佳，但是均存在一个重大缺陷：在衡量估计出的非刚性物体的三维形状与其真实形状之间的误差时均采用均方误差 (MSE)作为算法误差评价指标，进而利用MSE作为监督信号改进算法。而 MSE虽然有效但存在巨大的缺陷：只考虑对应点之间的误差，无法表示不同点之间的相对关系，从而丧失了对整体形状的度量。

因此，需要提出一种新的算法来解决现有MSE算法存在的问题。

发明内容

发明目的：为了解决现有技术中所存在的问题，本发明提出了一种在保持算法主体结构不变的情况下，将可有效衡量相对位置关系的误差度量函数完美嵌入现有主体方法中去，可精确度量不同三维形状之间的误差，以有效提高非刚性物体运动结构恢复精度的高性能非刚性物体运动结构恢复方法。

技术方案：为达以上目的，本发明采取以下技术方案：一种高性能非刚性物体运动结构恢复方法，具体采用一种均方相对坐标误差度量函数MSRCE进行恢复，包括如下步骤：

S1：MSRCE损失函数的定义：

首先，假设我们有N个样本，每个样本具有M个需要预测的关键点，每个样本中的预测坐标为

而相应的基准坐标为(x_ni,y_ni)，其中n＝1,2,...,N是样本索引，i＝1,2,...,M是坐标指数；

定义两个符号，即Δn_ijx和Δn_ijy来测量样本n的两个坐标i和j之间的相关性，如公式(1)和式(2)，

再定义MSRCE损失函数为表达式(3)；

根据公式(1)和(2)定义两个点

和B(x_ni-x_nj,y_ni-y_nj)；

公式(3)中的

为点A和B的欧氏距离损失；其中，A是两个预测坐标的位移，B是两个真实坐标的位移，如等式(4)和式(5)：

B＝(x_ni,y_ni)-(x_nj,y_nj) (5)

等式(3)的目的是衡量任意两个预测坐标的位移与其对应的两个真实坐标的位移之间的误差，即移动点A到点；

当公式(3)达到最优解时，任意两个预测关键点之间的相对位置接近于它们对应的的两个真实关键点之间的相对位置；

S2：非刚性物体运动结构恢复NRSFM的基本公式：

对于T图像相机的NRSFM问题，n个输入的二维点轨迹在输入矩阵 W∈R^2T×n中给出；[x_t,j,y_t,j]^T是第t个图像上第j个三维点的二维投影，t＝1,2,...,T,j＝1,2,...,n；为了公式表示无歧义，现在假设：1)W是完备的，意味着在跟踪过程中没有二维点被遮挡；2)其均值列向量t∈R^2T已经从所有列中减去，使其为零均值；使用正交投影和以观察到的三维物体为中心的世界坐标系， t给出了所观察到的2D摄像机在每个图像的转变；

矩阵分解法模型W＝MS作为两个低秩3K矩阵因子的乘积，其中 M∈R^2T×^3K，S∈R^{3K ×n}，

因子

)包括块对角旋转矩阵D∈R^2T×^3T和形状系数矩阵 C∈R^T×K；

目标是最小化2D重投影误差，

W*＝MS＝MM？W(7)

其中，M是模型参数矩阵X∈R^d×K的函数，d是中的低频DCT系数的数量；此外，I_n是n×n单位矩阵；

是两个矩阵的Kronecker乘积；

表示A的 Moore-Penrose伪逆；||A||_F是Frobenius规范；

S3：将MSRCE函数约束用到非刚性物体运动结构恢复任务中：

首先定义一个残差矩阵

来测量预测和真实值坐标的差异：

表示

是矩阵

的第*列，那么MSRCE函数可以写成如下：

因此，最终的优化函数是：

L＝e(M)+λL_Υ (10)

标量λ用于平衡两个损失函数；

为了在统一的框架中用公式(7)进行训练，使用高斯-牛顿算法来优化公式 (9)；计算梯度矩阵G∈R^(d*K)×1和Hessian矩阵H∈R^(d*K)×(d*K)；方程(9)的一阶导数是：

式(9)的二阶导数是：

目标是计算

和

表示两个雅可比矩阵：J_i∈R^2T×(d*K)和J_j∈R^2T×(d*K)来模拟低阶3K条件下所有变量的导数；梯度矩阵和Hessian矩阵计算如下：

当公式(10)达到最优时，即可获得高精度的非刚性物体运动结构恢复结果。

有益效果：本发明提供的一种高性能非刚性物体运动结构恢复方法，基于任意两点之间的相对位置关系的基础上，提出了一种均方相对坐标误差度量函数 MSRCE；并在不改变主体算法的基础上，将其完美的嵌入到现有主体方法中去，运用本发明提出的误差度量函数，最终优化目标不仅考虑每一个预测坐标与其真实坐标的关系，还同时考虑了任意两个预测坐标之间的位移矢量的精确度，有助于提高非刚性物体运动结构恢复的精度，解决了传统算法仅用均方误差MSE作为度量函数的缺点；可精确度量不同三维形状直接的误差，实用价值显著，应用广泛。

附图说明

图1为本发明具体实施例算法的工作原理示意图；

图2为现有技术中MSE算法存在的缺陷示意图。

具体实施方式

实施例1：

一种高性能非刚性物体运动结构恢复方法，具体采用一种均方相对坐标误差度量函数MSRCE进行恢复，包括如下步骤：

S1：MSRCE损失函数的定义：

首先介绍现有的算法如何应用到非刚性物体运动结构恢复任务中去，假设我们有N个样本，每个样本具有M个需要预测的关键点，每个样本中的预测坐标为

而相应的基准坐标为(x_ni,y_ni)，其中n＝1,2,...,N是样本索引， i＝1,2,...,M是坐标指数。那么传统的MSE定义如下：

然而，MSE在用于坐标预测相关任务中具有重大缺陷；由于公式(A)忽略了两个坐标之间的相对关系，这可能会导致在一些情况下，每个预测坐标接近真实值，但是一些坐标的相对位置会被错误的预测。一个典型的错误案例如图2 所示，两个预测标志(五角星标注)接近他们的真实值(圆点标注)。然而与真实值相比，两个预测标志的相对坐标是错误的。图1(左)的一个示例解释了这种情况，优化的MSE损失函数仅能保证预测坐标围绕相应的真实值，而不约束整体形状导致不准确的任意两个预测坐标的相对位置关系。

为了克服上述算法的缺陷，我们提出来一种均方相对坐标误差度量函数 MSRCE：

定义两个符号，即Δn_ijx和Δn_ijy来测量样本n的两个坐标i和j之间的相关性，如公式(1)和式(2)，

再定义MSRCE损失函数为表达式(3)；

根据公式(1)和(2)定义两个点

和B(x_ni-x_nj,y_ni-y_nj)；

公式(3)中的

为点A和B的欧氏距离损失；其中，A是两个预测坐标的位移，B是两个真实坐标的位移，如等式(4)和式(5)：

B＝(x_ni,y_ni)-(x_nj,y_nj) (5)

等式(3)的目的是衡量任意两个预测坐标的位移与其对应的两个真实坐标的位移之间的误差，即移动点A到点B；图1展示的一个示例通过预测位置和真实点的偏移来约束坐标位置；当公式(3)达到最优解时，任意两个预测关键点之间的相对位置接近于它们对应的的两个真实关键点之间的相对位置；

S2：非刚性物体运动结构恢复NRSFM的基本公式：

对于T图像相机的NRSFM问题，n个输入的二维点轨迹在输入矩阵 W∈R^2T×n中给出；[x_t,j,y_t,j]^T是第t个图像上第j个三维点的二维投影， t＝1,2,...,T,j＝1,2,...,n；为了公式表示无歧义，现在假设：1)W是完备的，意味着在跟踪过程中没有二维点被遮挡；2)其均值列向量t∈R^2T已经从所有列中减去，使其为零均值；使用正交投影和以观察到的三维物体为中心的世界坐标系， t给出了所观察到的2D摄像机在每个图像的转变；

矩阵分解法模型W＝MS作为两个低秩3K矩阵因子的乘积，其中 M∈R^2T×3K，S∈R^{3K ×n}，

因子

)包括块对角旋转矩阵D∈R^2T×3T和形状系数矩阵 C∈R^T×K；

目标是最小化2D重投影误差，

W^*＝MS＝MM^？W (7)

其中，M是模型参数矩阵X∈R^d×K的函数，d是中的低频DCT系数的数量；此外，I_n是n×n单位矩阵；

是两个矩阵的Kronecker乘积；

表示A的 Moore-Penrose伪逆；||A||_F是Frobenius规范；以前的NRSFM技术通常使用高斯-牛顿算法来最小化等式(7)；显然地，公式(7)没有考虑到坐标之间的相对位置信息，造成现有方法的精度不足；

S3：将MSRCE函数约束用到非刚性物体运动结构恢复任务中：

首先定义一个残差矩阵

来测量预测和真实值坐标的差异：

表示

是矩阵

的第*列，那么MSRCE函数可以写成如下：

因此，最终的优化函数是：

L＝e(M)+λL_Υ (10)

标量λ用于平衡两个损失函数；假如λ设为0，以前的NRSFM方法的优化目标可以被认为是公式(10)的特殊情况；

为了在统一的框架中用公式(7)进行训练，使用高斯-牛顿算法来优化公式 (9)；计算梯度矩阵G∈R^(d*K)×1和Hessian矩阵H∈R^(d*K)×^(d*K)；方程(9)的一阶导数是：

式(9)的二阶导数是：

目标是计算

和

回想一下，M是模型参数矩阵X∈R^d×K的函数，

是M的函数。因此，

和

都是X的函数；然后我们表示两个雅可比矩阵：J_i∈R^2T×(d*K)和J_j∈R^{2T ×(d*K)}来模拟低阶3K条件下所有变量的导数；梯度矩阵和Hessian矩阵计算如下：

当公式(10)达到最优时，即可获得高精度的非刚性物体运动结构恢复结果。

采用6个非刚性物体运动结构恢复研究中常用的数据集face1,stretch, pick-up,yoga,dance,walking评估以上所提出的恢复方法，并采用3D重构误差和标准差作为评估度量。结果如表1所示：

表1：恢复方法评估结果

表1在实际公开数据集的效果(+MSRCE是本发明的最终效果，上标π表示在数据没有时间信息情况下的结果)

从表1的数据，可以明显的看出本发明提出的算法可以大幅度提高非刚性物体运动结构恢复的性能。

应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (1)

1.一种非刚性物体运动结构恢复方法，其特征在于为提出一种均方相对坐标误差度量函数MSRCE进行恢复，具体包括如下步骤：

S1：MSRCE损失函数的定义：

首先，假设我们有N个样本，每个样本具有M个需要预测的关键点，每个样本中的预测坐标为

而相应的基准坐标为(x_ni,y_ni)，其中n＝1,2,...,N是样本索引，i＝1,2,...,M是坐标指数；

定义两个符号，即Δn_ijx和Δn_ijy来测量样本n的两个坐标i和j之间的相关性，如公式(1)和式(2)，

再定义MSRCE损失函数为表达式(3)；

根据公式(1)和(2)定义两个点

和B(x_ni-x_nj,y_ni-y_nj)；

公式(3)中的

为点A和B的欧氏距离损失；其中，A是两个预测坐标的位移，B是两个真实坐标的位移，如等式(4)和式(5)：

B＝(x_ni,y_ni)-(x_nj,y_nj) (5)

等式(3)的目的是衡量任意两个预测坐标的位移与其对应的两个真实坐标的位移之间的误差，即移动点A到点B；

当公式(3)达到最优解时，任意两个预测关键点之间的相对位置接近于它们对应的两个真实关键点之间的相对位置；

S2：非刚性物体运动结构恢复NRSFM的基本公式：

对于T图像相机的NRSFM问题，n个输入的二维点轨迹在输入矩阵W∈R^2T×n中给出；[x_t,j,y_t,j]^T是第t个图像上第j个三维点的二维投影，t＝1,2,...,T,j＝1,2,...,n；为了公式表示无歧义，现在假设：1)W是完备的，意味着在跟踪过程中没有二维点被遮挡；2)其均值列向量t∈R^2T已经从所有列中减去，使其为零均值；使用正交投影和以观察到的三维物体为中心的世界坐标系，t给出了所观察到的2D摄像机在每个图像的转变；

矩阵分解法模型W＝MS作为两个低秩3K矩阵因子的乘积，其中M∈R^2T×3K，S∈R^3K×n，

因子

包括块对角旋转矩阵D∈R^2T×3T和形状系数矩阵C∈R^T×K；

目标是最小化2D重投影误差，

其中，M是模型参数矩阵X∈R^d×K的函数，d是表示物体3D形状变化的低频DCT系数的数量；此外，I_n是n×n单位矩阵；

是两个矩阵的Kronecker乘积；M⁺表示M的Moore-Penrose伪逆；|| ||_F是Frobenius范数；

S3：将MSRCE损失函数约束用到非刚性物体运动结构恢复任务中：

首先定义一个残差矩阵

来测量预测和真实值坐标的差异：

表示

是矩阵

的第*列，那么MSRCE损失函数可以写成如下：

因此，最终的优化函数是：

L＝e(M)+λL_γ (10)

标量λ用于平衡两个损失函数；

为了在统一的框架中用公式(7)进行训练，使用高斯-牛顿算法来优化公式(9)；计算梯度矩阵G∈R^(d*K)×1和Hessian矩阵H∈R^(d*K)×(d*K)；方程(9)的一阶导数是：

式(9)的二阶导数是：

目标是计算

和

表示两个雅可比矩阵：J_i∈R^2T×(d*K)和J_j∈R^2T×(d*K)来模拟低阶3K条件下所有变量的导数；梯度矩阵和Hessian矩阵计算如下：

当公式(10)达到最优时，即可获得高精度的非刚性物体运动结构恢复结果。

Images