CN1710614A - 基于模型的人肢体三维运动参数估计方法 - Google Patents

Abstract

一种基于模型的人肢体三维运动参数估计方法，首先使用双目立体视觉系统拍摄人肢体摆姿势的图像序列，在双目图像序列中采用图像分割技术检测出人肢体在各个图像上的轮廓信息，采用曲线拟合技术用新的二维圆锥曲线拟合各个图像上的各个肢体边缘轮廓，求出代表各个肢体轮廓的各个二维圆锥曲线方程的系数和变形参数。然后采用圆锥曲线立体视觉方法根据各个时刻左右图像平面的二维圆锥曲线方程求出对应的空间三维圆锥曲线方程，求出各个时刻空间三维圆锥曲线方程对应的在新坐标系中的二维曲线方程，最后根据左侧摄像机图像平面上拟合出的二维圆锥曲线方程和空间三维圆锥曲线在新坐标系中的二维圆锥曲线方程的对应关系，求出各个时刻的运动参数。

Description

基于模型的人肢体三维运动参数估计方法

技术领域

本发明涉及一种基于模型的人肢体三维运动估计方法，用于感知接口，运动分析等应用领域，在医学图像、生物医学、手势识别、材料变形、图象压缩等方面都有实际应用价值。属于计算机视觉和计算机图形学领域。

背景技术

运动分析领域的研究对象主要分为刚性物体、连接刚体和非刚性物体等。计算机视觉中的运动分析研究均主要集中在对刚体运动的研究，且学者们已取得了一系列的成果，并建立了较为完善的理论框架，但是，在现实世界中大多是非刚体运动。人体属于非刚体。

在过去的十几年中，人体三维运动参数估计已经取得了一些成绩，但已有的工作都是根据人体的骨架信息进行人体运动参数估计。这些方法首先提取人体骨架信息，再根据骨架信息进行运动参数估计，这些方法增加了运动参数估计的复杂性和计算量。

在发明名称为“基于图像轮廓的人肢体三维建模方法”，申请号为200410089299.9的专利申请书中提出一种根据图像轮廓信息采用旋转圆锥曲面进行人肢体的三维建模，人体运动的分析还需要根据建立的模型来进行人肢体运动参数估计。

发明内容

本发明的目的在于针对现有人体三维运动参数估计的复杂性的不足，提出一种基于模型的人肢体三维运动参数估计方法，只要根据人肢体轮廓信息就能求出人肢体三维运动参数，降低运动参数估计的计算量，适合于各种弹性连接刚体的运动参数估计。

为实现这样的目的，本发明的技术方案中，根据图象轮廓信息采用圆锥曲线建立人肢体三维模型，根据人肢体三维模型进行人体三维运动参数估计。首先使用双目立体视觉系统拍摄人肢体摆姿势的图像序列，在双目图像序列中采用图像分割技术检测出人肢体在各个图像上的轮廓信息，采用曲线拟合技术用新的二维圆锥曲线拟合各个图像上的各个肢体边缘轮廓，求出代表各个肢体轮廓的各个二维圆锥曲线方程的系数和变形参数。然后采用圆锥曲线立体视觉方法根据各个时刻左右图像平面的二维圆锥曲线方程求出对应的空间三维圆锥曲线方程，再求出各个时刻空间三维圆锥曲线方程对应的在新坐标系中的二维曲线方程，最后根据左侧摄像机图像平面上拟合出的二维圆锥曲线方程和空间三维圆锥曲线在新坐标系中的二维圆锥曲线方程的对应关系求出各个时刻的运动参数。

本发明的建模方法具体包括以下几个步骤：

1.采用图像分割技术检测出人肢体在图像上的边缘轮廓信息

采用双目立体视觉系统对人肢体所摆姿势进行拍摄，得到一个图像序列，然后采用图像分割技术检测并得到人肢体在各个时刻左右图像上的边缘轮廓信息。

2.二维圆锥曲线拟合各个图像上各个肢体的轮廓

本发明采用曲线拟合技术用一种新的二维圆锥曲线拟合步骤1得到的各个时刻左右图像上各个肢体的边缘轮廓，提取各个时刻左右图像上所要拟合肢体轮廓线的两个端点A、B的像素坐标并变换成在图像上的平面坐标，在两端点形成的直线上方设定空间一点C，根据经过A、B、C三点的三个直线方程确定经过点A、B且与直线AC、BC相切的二维圆锥曲线；由此根据所要拟合轮廓线上的所有像素点坐标值求出各个时刻左右图像上代表各个肢体轮廓的二维圆锥曲线方程的变形参数ρ。

3.求出各个时刻左右图像二维圆锥曲线对应的空间三维圆锥曲线的方程

通过摄像机标定技术求出左右摄像机图像上二维平面坐标与世界坐标系空间三维坐标的对应关系。根据步骤2得到的各个时刻左、右摄像机图像上拟合出的平面二维圆锥曲线方程求出对应的空间三维圆锥曲线方程。

4.求出各个时刻空间三维圆锥曲线方程在新坐标系中的二维平面曲线方程

根据各个时刻空间三维圆锥曲线方程，以三维圆锥曲线所在平面为新的二维坐标，以圆锥曲线中心点为原点求出各个时刻空间三维圆锥曲线方程对应的在新坐标系中的二维曲线方程。

5.求出各个时刻的运动参数

根据左侧摄像机图像平面上拟合出的二维圆锥曲线方程和空间三维圆锥曲线在新坐标系中的二维圆锥曲线方程的对应关系，求出各个时刻的运动参数，运动参数包括了旋转矩阵和平移矩阵。

本发明方法简单，实现容易。根据人肢体模型方程就可以求出人肢体在各个时刻的运动参数，减少了运动参数估计的复杂性和计算量。本发明方法适合于许多弹性连接刚体的模型建立。实验采用便宜、容易安装的视频摄像头来采集数据，不需要附加设备，代表人肢体模型方程求解算法简单，大大降低了运动分析的计算复杂性。

附图说明

图1为本发明采用的圆锥曲线。

图1中，A，B，C为三个顶点，通过这三个顶点坐标确定圆锥曲线方程。

图2为圆锥曲线立体视觉示意图。

图2中，A₁、A₂是两个时刻在左侧摄像机图象平面进行人肢体图象轮廓拟合得到的二维圆锥曲线，Q₁、Q₂是对应的空间三维圆锥曲线。

图3为本发明拍摄的图像序列和边缘检测、曲线拟合的结果。

图3中，第一行是左侧摄像机拍摄的图像序列，第二行是与第一行图像对应的边缘检测和曲线拟合的结果。

具体实施方式

为了更好地理解本发明的技术方案，以下结合附图和实施例作进一步的详细描述。实施例具体针对附图3左侧第一幅图像(第一时刻左侧摄像机拍摄)进行人肢体运动参数估计过程的描述。

1.首先采用双目立体视觉系统对人肢体所摆姿势进行拍摄，得到一个图像序列，图3第一行即为左侧摄像机拍摄的右手臂姿势图像序列。然后采用图像分割技术(如prewitt边缘算子)检测手臂在各个图像上的边缘轮廓信息，得到与第一行图像对应的边缘检测结果，如图3第2行所示。

2.采用曲线拟合技术用新的二维圆锥曲线拟合各个图像上各个肢体的边缘轮廓。如图3第2行，提取所要拟合上肢体轮廓的两个端点像素坐标A(357，248)，B(485，175)，通过摄像机标定技术求出图像像素坐标与平面坐标的变换公式为：

$\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}0.0086& 0& -3.2055\\ 0& 0.0083& -2.5023\\ 0& 0& 1\end{array}\right]\·\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]$

通过上述公式求出端点A、B在图像上的平面坐标A(-0.1353，-0.4439)，B(0.9655，-1.0498)。在端点A、B形成的直线的上方设定空间一点C(0.1838，-0.9064)，如图1所示。经过三点A、B、C的直线方程分别为：

直线AC：a₀+a₁·x+a₂·y＝1+2.2645·x+1.5625·y＝0

直线BC：b₀+b₁·x+b₂·y＝1+0.2102·x+1.1459·y＝0

直线AB：u₀+u₁·x+u₂·y＝1+1.0618·x+1.9291·y＝0

根据这三个直线确定经过点A、B且与直线AC、BC相切的二维圆锥曲线隐函数表达式为：

C(x，y)＝(a₀+a₁·x+a₂·y)(b₀+b₁·x+b₂·y)-ρ(u₀+u₁·x+u₂·y)＝(1+2.2645·x+1.5625·y)(1+0.2102·x+1.1459·y)-ρ(1+1.0618·x+1.9291·y)＝0

也可以表达为：

$X^T\mathrm{AX}=\left[\begin{array}{ccc}x& y& 1\end{array}\right]\·\left[\begin{array}{ccc}({a_{1}b}_1-\mathrm{\ρ}\·u_1^2)& (a_1{b}_2+a_2{b}_1-2\mathrm{\ρ}\·u_1{u}_2)/2& (a_0{b}_1+a_1{b}_0-2\mathrm{\ρ}\·u_0{u}_1)/2\\ (a_1{b}_2+a_2{b}_1-2\mathrm{\ρ}\·u_1{u}_2)/2& (a_2{b}_2-\mathrm{\ρ}\·u_2^2)& (a_0{b}_2+a_2{b}_0-2\mathrm{\ρ}\·u_0{u}_2)/2\\ (a_0{b}_1+a_1{b}_0-2\mathrm{\ρ}\·u_0{u}_1)/2& (a_0{b}_2+a_2{b}_0-2\mathrm{\ρ}\·u_0{u}_2)/2& (a_0{b}_0-\mathrm{\ρ}\·u_0^2)\end{array}\right]\·\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=0$

提取边缘轮廓线上所有的像素(共n个点)，这些像素的二维平面坐标为：(x_i，y_i)，i＝1～n。把这些坐标值带入方程 $F=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{C}^2(x_i,y_i).$ 通过求F的最小值解出一个变形参数ρ＝81.2541，把ρ带入二维圆锥曲线表达式可得出

$A_1=\left[\begin{array}{ccc}-91.1314& -164.9726& -85.0383\\ -164.9726& -300.5907& -155.3931\\ -85.0383& -155.3931& -80.2541\end{array}\right]$

采用同样的方法可求出右侧摄像机图像平面上肢体边缘轮廓拟合出的二维圆锥曲线的系数矩阵E₁，其中包含另一个变形参数ρ₂＝-41.3898。求出的这两个变形参数就代表了上肢体在此时刻的皮肤的变形。

3、通过摄像机标定技术求出左右摄像机图像上二维平面坐标与世界坐标系空间三维坐标的对应关系为：

$Z_{C1}\left[\begin{array}{c}{x}_1\\ y_1\\ 1\end{array}\right]=M_1\left[\begin{array}{c}{X}_S\\ Y_S\\ Z_S\\ 1\end{array}\right]=\left[\begin{array}{cccc}997.9595& 0& 372.7276& 0\\ 0& 994.4506& 301.4770& 0\\ 0& 0& 1& 0\end{array}\right]\·\left[\begin{array}{c}{X}_S\\ Y_S\\ Z_S\\ 1\end{array}\right]$

$Z_{C2}\left[\begin{array}{c}{x}_2\\ y_2\\ 1\end{array}\right]=M_2\left[\begin{array}{c}{X}_S\\ Y_S\\ Z_S\\ 1\end{array}\right]=\left[\begin{array}{cccc}990.5091& 0& 361.3816& 0\\ 0& 986.1246& 310.2779& 0\\ 0& 0& 1& 0\end{array}\right]\·\left[\begin{array}{c}{X}_S\\ Y_S\\ Z_S\\ 1\end{array}\right]$

其中(x₁，y₁)为左侧摄像机图像上二维平面坐标，(x₂，y₂)为右侧摄像机图像上二维平面坐标，(x_S，y_S，z_S)为空间三维坐标，X_S＝[x_S，y_S，z_S，1]，M₁、M₂为变换矩阵。

采用圆锥曲线立体视觉方法求出左右图像平面上二维圆锥曲线对应的空间三维圆锥曲线方程为：

$\left\{\begin{array}{c}{W}_1(x_S,y_S.z_S)=X_S^T{M}_1^T{A}_1{M}_1{X}_S=0\\ W_2(x_w,y_w,z_w)=X_S^T{M}_2^T{E}_1{M}_2{X}_S=0\end{array}\right.$

4、求出各个时刻空间三维圆锥曲线方程在新坐标系中的二维平面曲线方程。

在空间三维圆锥曲线上任取n个点，以这n个点所在的平面为新的平面坐标系中，再采用曲线拟合技术求出在新的平面坐标系中的二维曲线方程，为F(x,y)＝(1-x+0.7299·y)·(1+0.0039·x-0.0252·y)+0.8004·(1-x+1.9366·y)²根据公式 $\frac{\∂F(x,y)}{\∂x}=0$ 和 $\frac{\∂F(x,y)}{\∂y}=0,$ 求出在新的平面坐标系中的二维曲线的中心坐标为(56.0331，28.2109)，把圆锥曲线中心当作原点后求出新的圆锥曲线方程：0.7965·x²+2.9834·y²-3.0720·x·y-17.2845＝0，此方程也可表达成下式：

$X^T\·Q_1\·X=\left[\begin{array}{ccc}x& y& 1\end{array}\right]\·\left[\begin{array}{ccc}{b}_{11}& b_{12}& 0\\ b_{12}& b_{22}& 0\\ 0& 0& b_{33}\end{array}\right]\·\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\left[\begin{array}{ccc}x& y& 1\end{array}\right]\·\left[\begin{array}{ccc}0.7965& -1.536& 0\\ -1.536& 2.9834& 0\\ 0& 0& -17.2845\end{array}\right]\·\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=0$

5、根据左侧摄像机图像平面上拟合出的二维圆锥曲线方程和空间三维圆锥曲线在新坐标系中的二维圆锥曲线方程的对应关系求出各个时刻的运动参数。

求出左侧摄像机图像平面上拟合出的二维圆锥曲线系数矩阵A₁的特征值九λ₁、λ₂和λ₃，事先给定参数d，把矩阵A₁的特征值λ₁、λ₂和λ₃，参数d和空间三维圆锥曲线在新坐标系中的二维圆锥曲线的系数矩阵Q₁中的参数b₁₁、b₁₂、b₂₂、b₃₃带入下面的方程式求出参数k、c₃、c₁、c₂：

$k=\frac{{\mathrm{\λ}}_1\·{\mathrm{\λ}}_2\·{\mathrm{\λ}}_3(d^2\·b_{11}\·b_{22}+b_{11}\·b_{33}+b_{22}\·b_{33}-d^2\·{b_{12}}^2)}{({\mathrm{\λ}}_1\·{\mathrm{\λ}}_2+{\mathrm{\λ}}_1\·{\mathrm{\λ}}_3+{\mathrm{\λ}}_2\·{\mathrm{\λ}}_3)\·(b_{11}\·b_{22}\·b_{33}-{b_{12}}^2\·b_{33})}$

${c_3}^2=\frac{{({\mathrm{\λ}}_1\·{\mathrm{\λ}}_2\·{\mathrm{\λ}}_3)}^2{(d^2\·b_{11}\·b_{22}+b_{11}\·b_{33}+b_{22}\·b_{33}-d^2\·{b_{12}}^2)}^3}{{({\mathrm{\λ}}_1\·{\mathrm{\λ}}_2+{\mathrm{\λ}}_1\·{\mathrm{\λ}}_3+{\mathrm{\λ}}_2\·{\mathrm{\λ}}_3)}^3\·{(b_{11}\·b_{22}\·b_{33}-{b_{12}}^2\·b_{33})}^2}$

$p1=\frac{(b_{22}-b_{11})}{2\·b_{12}},p2=\frac{\frac{({\mathrm{\λ}}_1+{\mathrm{\λ}}_2+{\mathrm{\λ}}_3)\·{c_3}^2}{k}-{c_3}^2\·b_{11}-d^2\·b_{22}-b_{33}}{2\·b_{12}},p3=d^2-{c_3}^2$

${c_1}^2=\frac{(-(2\·p1\·p2-p3)\±\sqrt{{(2\·p1\·p2-p3)}^2-4\·({p1}^2+1)\·}{p2}^2}{2\·({p1}^2+1)}$

c₂ ²＝d²-c₁ ²-c₃ ²

根据上面方程式求出参数c₁、c₂、c₃后，令 $C=\left[\begin{array}{ccc}1& 0& c_1\\ 0& 1& c_2\\ 0& 0& c_3\end{array}\right],$ 根据公式B₁＝(C^T)^-1·Q¹·C^-1

求出矩阵B¹，

求出矩阵A₁和B₁的特征矩阵U和V，

令 $W=\left[\begin{array}{ccc}\±1& 0& 0\\ 0& \±1& 0\\ 0& 0& \±1\end{array}\right]$ 和c＝[c₁ c₂ c₃]，根据公式R₁＝U·W·V^-1和t₁＝R₁·c可求出矩阵R₁和t₁，

采用同样的方法可求得第二时刻的参数R₂和t₂。

最后根据公式R₁₂＝R₁·R₂ ^-1和t₁₂＝t₁-R₁₂·t₂求出第一时刻和第二时刻之间的运动参数：旋转矩阵R₁₂和平移矩阵t₁₂。

采用同样的方法可求得其它时刻的运动参数。

Claims (1)

1、一种基于图像轮廓的人肢体三维建模方法，其特征在于包括如下具体步骤：

1)采用双目立体视觉系统对人肢体所摆姿势进行拍摄，得到一个图像序列，然后采用图像分割技术检测并得到人肢体在各个时刻左右图像上的边缘轮廓信息；

2)提取各个时刻左右图像上所要拟合肢体轮廓线的两个端点A、B的像素坐标并变换成在图像上的平面坐标，在两端点形成的直线上方设定空间一点C，根据经过A、B、C三点的三个直线方程确定经过点A、B且与直线AC、BC相切的二维圆锥曲线；由此根据所要拟合轮廓线上的所有像素点坐标值求出各个时刻左右图像上代表各个肢体轮廓的二维圆锥曲线方程的变形参数；

3)通过摄像机标定技术求出左右摄像机图像上二维平面坐标与空间三维坐标的对应关系，根据曲线拟合得到的各个时刻左右图像平面二维圆锥曲线方程求出对应的空间三维圆锥曲线方程；

4)根据各个时刻空间三维圆锥曲线方程，以三维圆锥曲线所在平面为新的二维坐标，以三维圆锥曲线中心点为原点求出各个时刻空间三维圆锥曲线方程对应的在新坐标系中的二维曲线方程；

5)根据左侧摄像机图像平面上拟合出的二维圆锥曲线方程和空间三维圆锥曲线在新坐标系中的二维圆锥曲线方程的对应关系，求出各个时刻的运动参数，运动参数包括了旋转矩阵和平移矩阵。

Images