CN101658347B

CN101658347B - 一种脚型动态形状获取方法

Info

Publication number: CN101658347B
Application number: CN2009101531685A
Authority: CN
Inventors: 耿卫东; 高飞; 潘云鹤
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2009-09-24
Filing date: 2009-09-24
Publication date: 2011-11-30
Anticipated expiration: 2029-09-24
Also published as: CN101658347A

Abstract

本发明公开了一种脚型动态形状获取方法。该方法实现了对人脚运动变化过程中各时刻脚型的三维形状获取。首先给脚型穿着带有标记点的袜子，用多个相机，在多个视角全方位地对袜子上的标记点在各时刻的位置进行跟踪。然后基于第一帧的三维脚模型，对后续帧中跟踪到的可见的二维图像标记点进行双目相机匹配，并进行三维坐标重建，从而得到各帧时刻，可见标记点的三维位置。最后，从第一帧三维脚模型开始，通过迭代地对前一帧的三维脚模型在后一帧时刻可见标记点的位置约束下进行变形来得到后一帧的三维脚模型。本发明避免了传统立体视觉方法中光学标记点的配置和清除工作，并节约了使用光学标记点所带来的成本，同时整个过程交互较少，使用方便可靠。

Description

一种脚型动态形状获取方法

技术领域

本发明涉及一种脚型动态形状获取方法，具体是基于标记点对脚型在动态变化运动过程中的形状进行获取的方法。

背景技术

在进行物体三维测量领域的技术中，可以根据测量目标的运动与否分为静物的测量和运动中物体的测量两种类型。按照测量原理本身来分类，先有的技术主要可以分为基于激光扫描的测量技术，基于激光调制光栅的测量技术，以及立体视觉技术。基于激光扫描的测量技术一般扫描周期较长，目前最快的扫描一只脚的时间也要在4s以上，这限定了其只能对静物进行测量而不能对运动变化中的目标进行测量，而基于激光调制光栅的技术对测量环境的环境光要求较高，一般不允许在测量过程中环境光的改变，而这限制了这类技术的使用范围，在一般环境中进行运动目标的测量，就运动目标本身来说也会使环境光发生变化，所以其一般用于在暗室中。而基于立体视觉的测量技术主要用于动作捕获，其一般采用的是光学标记点，对环境光不敏感，但其一般较为稀疏，无法描述运动目标的形状，且光学标记点的成本较高，不利于产业大范围推广。另外在待捕获目标表面布置光学标记点以及捕获之后的清理工作是很繁琐的。本发明采用的是袜子上的标记点，省去了标记点布置和清理的工作同时降低了成本。同时由于本发明中的标记点跟踪过程是基于三维模型的，所以受环境光干扰的影响较小。

发明内容

本发明的目的是克服现有技术的不足，提供一种脚型动态形状获取方法。

脚型动态形状获取方法包括如下步骤：

1)在被测脚型上穿上带有标记点的袜子；

2)在拍摄区域周围放置10个用于记录脚型变形过程的相机；

3)10个相机中的若干台相机同步记录脚型的运动变形过程，得到相应数量的跟踪视频；

4)提取跟踪视频中每一帧的二维图像标记点；

5)根据立体视觉的原理重建第一帧三维脚模型作为参考模型，在重建过程中得到第一帧二维图像标记点的双目相机匹配关系，并将第一帧作为当前帧，迭代步骤6)到步骤12)的操作，直到视频中的每一帧都重建出一个三维脚模型为止；

6)根据双目相机匹配关系，建立当前帧的二维图像标记点和当前帧所对应的三维脚模型点之间的对应关系；

7)根据立体视觉原理，将当前帧对应的三维脚模型点投影到二维相机图像中，得到脚模型投影点；

8)建立脚模型投影点与下一帧二维图像标记点之间的对应关系；

9)在两个双目相机图像中，将由同一个脚模型点投影得到的两个二维投影点分别对应的下一帧中的两个二维图像标记点确定为具有双目相机匹配关系的一对二维图像标记点；

10)根据立体视觉中双目几何关系，由下一帧的双目相机匹配关系重建出下一帧中那些可见标记点的三维坐标；

11)根据步骤8)所得到的当前帧三维脚模型投影点与下一帧二维图像标记点之间的对应关系，以及步骤10)所得到的下一帧的那些可见标记点的三维坐标，求出在当前帧模型中那些在下一帧时刻可见的标记点在下一帧时刻的三维位置；

12)在下一帧可见标记点的三维坐标的约束下，选择对偶拉普拉斯网格编辑的方法，将当前帧已经重建出的三维脚模型进行变形，从而得到下一帧的三维脚模型。

所述的步骤6)中，根据双目相机匹配关系，建立当前帧的二维图像标记点和当前帧所对应的三维脚模型点之间的对应关系包括：根据立体视觉原理，由二维图像标记点的双目相机匹配关系重建出与每一对具有双目相机匹配关系的二维图像标记点对应的三维点，在当前帧所对应的三维脚模型中寻找离所重建出的三维点距离最近的三维脚模型点，将找到的三维脚模型点与所对应的具有双目相机匹配关系的一对二维图像标记点中的每一个二维图像标记点对应起来。

所述的步骤8)中，建立脚模型投影点与下一帧二维图像标记点之间的对应关系包括：

1)为每一个脚模型投影点寻找4个最近的脚模型投影点作为它的4邻域；

2)在下一帧二维图像标记点中，初始化若干个脚模型投影点对应的二维图像标记点；

3)根据初始化的对应标记点对，计算其他脚模型投影点在下一帧二维图像标记点中的对应点。

所述的步骤3)中，根据初始化的对应标记点对，计算其他脚模型投影点在下一帧二维图像标记点中的对应点包括：

1)在所有没有在下一帧二维图像标记点中找到对应的二维图像标记点的选择一个当前要处理的脚模型投影点，使得被选择的脚模型投影点在当前所有未做匹配处理的脚模型投影点中拥有最多的已经匹配好的邻域脚模型投影点；

2)计算步骤1)中所选脚模型投影点的邻域点的帧间变化向量，即分别用每个邻域脚模型投影点在下一帧中所对应的二维图像标记点的图像坐标减去邻域脚模型投影点的图像坐标，那些没有经过匹配处理的邻域脚模型投影点不作处理；

3)根据已经求出的邻域脚模型投影点的帧间变化向量，来估计当前选择要处理的脚模型投影点的帧间变化向量；

4)在当前要处理的脚模型投影点的图像坐标上加上步骤3)中计算出的帧间变化向量，从而求出当前要处理的脚模型投影点在下一帧图像中的估计位置；

5)在下一帧二维图像标记点中寻找距离步骤4)中计算出的估计位置最近的二维图像标记点，作为当前要处理的脚模型投影点在下一帧图像中所对应的二维图像标记点。

所述的步骤3)，根据已经求出的邻域脚模型投影点的帧间变化向量，来估计当前选择要处理的脚模型投影点的帧间变化向量包括：当前选择要处理的脚模型投影点的帧间变化向量由当前选择要处理的脚型投影点的邻域中已经完成匹配处理的脚模型投影点的帧间变化量的加权平均和来计算，其中对应于没有一个邻域脚模型投影点的权值为当前选择要处理的脚型投影点到邻域脚模型投影点的距离的倒数。

本发明一般基于荧光标记点的立体视觉技术改为了普通的标记点，从而降低了整个技术的成本同时避免了采用荧光标记点的前后期繁重的处理工作。其次，通过调整袜子上标记点的稀疏性，本发明的方法可以调整对目标形状获取的精度以满足不同应用的精度要求，由于荧光标记点本身的体积使得采用荧光标记点恢复物体形状的精度不高。在标记点跟踪的过程中，本发明中的跟踪方法是基于三维模型的，所以可以较好地抵抗环境光引起的噪声点的干扰。最后，对于那些在当前帧不可见的标记点，本发明采用了基于拉普拉斯细节信息的变形方法来对它们进行估计，从而弥补了跨相机跟踪过程中的盲区问题。

附图说明

图1是本发明重建出的各帧对应的三维脚模型；

图2是本发明所采用的带有标记点的袜子；

图3是本发明部分帧间二维图像标记点跟踪的结果，其中黑色线相连的为当前帧和其在下一帧中对应的标记点；

图4是本发明所述方法流程图；

图5是立体视觉原理几何关系模型图；

图6是对偶模型中一个顶点的邻域的拉普拉斯局部关系图；

具体实施方式

脚型动态形状获取方法包括如下步骤：

1)在被测脚型上穿上带有标记点的袜子；

2)在拍摄区域周围放置10个用于记录脚型变形过程的相机；

4)提取跟踪视频中每一帧的二维图像标记点；

实施例

我们首先在被测脚型上穿上带有标记点的袜子，然后用分布于拍摄区域周围的10个相机从各个视角记录第一帧脚型图像；再用10个相机中的若干台(本发明实现的过程中采用了6台)相机同步记录脚型的运动变形过程，得到相应数量的跟踪视频，其中相机的同步帧率为13帧/秒，每一帧图像的分别率为800×600像素。之后，提取跟踪视频中每一帧二维图像中的二维图像标记点的像素级精度位置。可以采用任何一种已经公开的特征提取方法，本专利实现的过程中采用的方法为Harris特征提取方法。根据立体视觉的原理重建第一帧三维脚模型作为参考模型，具体的重建方法参见申请公开号CN1544883A的发明内容，在重建过程中我们将得到第一帧二维图像标记点的双目相机匹配关系。其中立体视觉原理中讲述了如附图5中所述的一个三维点与其两个像点之间的几何关系，利用该几何关系，我们就可以利用三维点的两个像点重建出该三维点的三维坐标(相关内容可以参考任意一本计算机视觉的教科书)。我们所重建出的三维脚型由一组模型上的顶点构成的向量和以一个定义在这些顶点上的三角形集合表达的拓扑连接关系构成。此时，将第一帧作为当前帧，迭代下述步骤的操作，直到视频中的每一帧都重建出一个三维脚模型为止；

1)根据双目相机匹配关系，利用当前帧的二维图像标记点重建其对应的三维点，并在当前帧对应的三维模型点中寻找距离重建出的三维点最近的模型点，从而建立当前帧的二维图像标记点与三维脚模型点之间的对应关系；

2)根据立体视觉原理，将当前帧对应的三维脚模型点投影到二维相机图像中，得到脚模型投影点；

3)建立脚模型投影点与下一帧二维图像标记点之间的对应关系；

4)在两个双目相机图像中，将由同一个脚模型点投影得到的两个二维投影点分别对应的下一帧中的两个二维图像标记点确定为具有双目相机匹配关系的一对二维图像标记点；

5)根据立体视觉中双目几何关系，由下一帧的双目相机匹配关系重建出下一帧中那些可见标记点的三维坐标；

6)根据步骤8)所得到的当前帧三维脚模型投影点与下一帧二维图像标记点之间的对应关系，以及步骤10)所得到的下一帧的那些可见标记点的三维坐标，求出在当前帧模型中那些在下一帧时刻可见的标记点在下一帧时刻的三维位置；

7)在下一帧可见标记点的三维坐标的约束下，将当前帧已经重建出的三维脚模型进行变形，从而得到下一帧的三维脚模型。

其中，步骤3)中设计到如何将两组二维点集进行匹配的问题，该问题可以通过以下步骤进行解决：

3)通过对已经求出的邻域脚模型投影点的帧间变化向量的加权平均来估计当前选择要处理的脚模型投影点的帧间变化向量，其中加权平均所用到的权值为相关邻域脚模型投影点到当前选择要处理的脚模型投影点之间的距离的倒数；

另一个问题是步骤7)中所涉及到的一种针对三维模型中的部分标记点的约束位置，对模型进行变形，从而得到模型新的三维形状的一种方法。在这种方法中可以计算出那些非约束的顶点在新形状中的位置。本发明所采用的是一种称为对偶拉普拉斯的方法，其主要方法可以概括如下：

我们将下一帧所对应的三维脚模型定义为一个偏微分方程和一组初始条件的形式，即可以描述为

为新的三维脚模型中的顶点位置信息，

为新的三维脚模型中的那些已知位置的顶点向量，p0为所对应的三维坐标值。

定义了新三维脚模型上的每个顶点对应的拉普拉斯坐标，根据拉普拉斯做的离散化方式，其定义了每个顶点和其邻域之间的局部几何关系。

本发明首先将当前帧模型转化为其相应的对偶模型，即取原始脚模型的每个三角形的重心作为对偶模型的顶点，与该三角形相邻的三角形的重心与其相连构成对偶模型的拓扑结构。该转换的过程可以看成是一个线性关系

\tilde{V} = DV

其中，

为对偶模型中的顶点坐标构成的列向量，V为原始模型的顶点坐标构成的列向量，D为一个线性变换矩阵，D行列数分别为原始模型的顶点数和三角面片数。D的每一行对应着原始模型中的一个三角形，且只有与原始模型中所对应的三角形的三个顶点相关的位置的取值为1/3，其他的值均为0。

然后计算当前脚模型的对偶模型的拉普拉斯坐标。如附图6中所示，每一个对偶模型顶点可以由其邻域对偶顶点表达为如下形式：

{\tilde{v}}_{i} = {\tilde{q}}_{i} + h_{i} {\tilde{n}}_{i} = \underset{j &Element; {1,2,3}}{Σ} {\tilde{ω}}_{i, j} {\tilde{v}}_{i, j} + h_{i} {\tilde{n}}_{i}

整理上式可得：

{\tilde{l}}_{i} = - h_{i} {\tilde{n}}_{i} = \underset{j &Element; {1,2,3}}{Σ} {\tilde{ω}}_{i, j} ({\tilde{v}}_{i, j} - {\tilde{v}}_{i})

其中，h_i为投影向量的模，w为投影垂足在基三角形V

中的重心坐标，

为关于对偶模型中第i个顶点的拉普拉斯坐标。将对偶模型中的所有顶点的拉普拉斯坐标统一表达，可以写成矩阵形式为：

\tilde{l} = \tilde{L} \tilde{V} = \tilde{L} DV

由于在两帧间，脚模型的形状变化不是很大，所以我们在维持当前帧脚模型的微分关系不变的情况下，以新一帧那些可见的标记点的三维位置为约束求解出新一帧所对应的三维脚模型。该思路可以概括为求解下式：

\arg \min_{V^{'}} {| | \tilde{L} D V^{'} - \tilde{l} | |}^{2}

其中，V’表示新的顶点，该式的最优化可以由一个线性系统来表达，本发明将加入约束条件后的最终线性系统概括为下式：

AV＝b

其中A为系数矩阵即

以及约束向量构成的矩阵，A的行数为原始模型三角形面片数和约束顶点个数的总和，列数为原始模型中顶点的个数，b为和约束顶点的位置构成的向量。用最小二乘法解方程从而可以求出V，此时的V为新的三维脚模型的顶点的三维坐标。

Claims

1.一种脚型动态形状获取方法，其特征在于包括如下步骤：

1)在被测脚型上穿上带有标记点的袜子；

2)在拍摄区域周围放置10个用于记录脚型变形过程的相机；

4)提取跟踪视频中每一帧的二维图像标记点；

2.如权利要求1所述的一种脚型动态形状获取方法，其特征在于，所述的步骤6)中，根据双目相机匹配关系，建立当前帧的二维图像标记点和当前帧所对应的三维脚模型点之间的对应关系包括：根据立体视觉原理，由二维图像标记点的双目相机匹配关系重建出与每一对具有双目相机匹配关系的二维图像标记点对应的三维点，在当前帧所对应的三维脚模型中寻找离所重建出的三维点距离最近的三维脚模型点，将找到的三维脚模型点与所对应的具有双目相机匹配关系的一对二维图像标记点中的每一个二维图像标记点对应起来。

3.如权利要求1所述的一种脚型动态形状获取方法，其特征在于，所述的步骤8)中，建立脚模型投影点与下一帧二维图像标记点之间的对应关系包括：

(1)为每一个脚模型投影点寻找4个最近的脚模型投影点作为它的4邻域；

(2)在下一帧二维图像标记点中，初始化若干个脚模型投影点对应的二维图像标记点；

(3)根据初始化的对应标记点对，计算其他脚模型投影点在下一帧二维图像标记点中的对应点。

4.如权利要求3所述的一种脚型动态形状获取方法，其特征在于，所述的步骤(3)中，根据初始化的对应标记点对，计算其他脚模型投影点在下一帧二维图像标记点中的对应点包括：

(a)在所有没有在下一帧二维图像标记点中找到对应的二维图像标记点的选择一个当前要处理的脚模型投影点，使得被选择的脚模型投影点在当前所有未做匹配处理的脚模型投影点中拥有最多的已经匹配好的邻域脚模型投影点；

(b)计算步骤1)中所选脚模型投影点的邻域点的帧间变化向量，即分别用每个邻域脚模型投影点在下一帧中所对应的二维图像标记点的图像坐标减去邻域脚模型投影点的图像坐标，那些没有经过匹配处理的邻域脚模型投影点不作处理；

(c)根据已经求出的邻域脚模型投影点的帧间变化向量，来估计当前选择要处理的脚模型投影点的帧间变化向量；

(d)在当前要处理的脚模型投影点的图像坐标上加上步骤(c)中计算出的帧间变化向量，从而求出当前要处理的脚模型投影点在下一帧图像中的估计位置；

(e)在下一帧二维图像标记点中寻找距离步骤(d)中计算出的估计位置最近的二维图像标记点，作为当前要处理的脚模型投影点在下一帧图像中所对应的二维图像标记点。

5.如权利要求4中所述的一种脚型动态形状获取方法，其特征在于，所述的步骤(c)，根据已经求出的邻域脚模型投影点的帧间变化向量，来估计当前选择要处理的脚模型投影点的帧间变化向量包括：当前选择要处理的脚模型投影点的帧间变化向量由当前选择要处理的脚型投影点的邻域中已经完成匹配处理的脚模型投影点的帧间变化量的加权平均和来计算，其中对应于没有一个邻域脚模型投影点的权值为当前选择要处理的脚型投影点到邻域脚模型投影点的距离的倒数。