CN103099623B - 一种人体运动学参数的提取方法 - Google Patents

Abstract

本发明公开了一种基于头顶点三维运动轨迹的运动学参数提取方法，包括：标定多视角相机的内部参数和镜头畸变系数，标定多视角相机之间的空间位置关系；根据人体运动初始图像定位人体头顶点的初始位置；通过跟踪头顶点在人体运动图像中的运动轨迹，根据多视角系统中三维世界坐标系与二维图像坐标系之间的映射关系，获得人体头顶点在三维空间下的三维运动轨迹；对所述人体头顶点的三维运动轨迹进行规范化预处理，获得人体运动时的身高波动信息和摇摆运动信息；从所述身高波动信息和摇摆运动信息提取人体运动学参数。本发明提出的人体运动学参数提取方法，有助于临床康复医学中病理步态的障碍诊断、康复治疗方案的制定和疗效评定。

Description

一种人体运动学参数的提取方法

技术领域

本发明属于信息技术中的多摄像头视觉测量领域，尤其涉及一种人体运动学参数的提取方法。

背景技术

目前，为捕捉人体运动并获取三维步态信息，已有基于标记点或无标记点运动捕捉技术的三维步态分析方法。而非接触式无标记人体运动捕捉技术被认为是最有前途且最有效的三维步态定量分析方法，但目前仍然面临着许多挑战，离实际应用还有一段距离，具体分析如下：

(1)基于标记点运动捕捉技术的三维步态分析方法，需要在人体上标注标记点，然后得到标记点的三维位置，最终获得人体的运动姿态信息。一般来说，基于标记点运动捕捉的三维步态分析系统较昂贵；对操作人员要求较多；步态分析数据易受遮挡影响。而且研究结果也表明，在实验室等特定环境下基于标记点运动捕捉或压力板的三维步态分析方法，较难获取到人体的真实步态信息，其原因为：数据采集时，标记点位置本身可能存在误差；人体受实验室环境影响，可能存在恐惧心理，以致无法呈现其真实的步态模式；要求人体按照恒定行走速度行走或踩踏压力板，均影响到病人的正常行走。

(2)基于无标记点运动捕捉技术的三维步态分析方法，直接从图像序列中提取人体运动信息，大致可分为基于模型的方法和无模型方法两大类，这种非接触式观测方法有助于人体真实步态信息的呈现。虽然这种方法已进行了较深入研究，但目前仍面临着巨大的挑战，如高维人体运动状态参数带来的计算复杂性，人体遮挡与自遮挡，初始帧人体的参数确定等问题。因此，这种方法在短时间内还无法有效应用到医学三维步态分析中。

目前国内医学机构使用的步态分析系统大多是基于标记点运动捕捉技术的三维步态分析系统，价格昂贵，操作复杂，无法普及应用；同时，还有些医疗机构仍在使用二维步态分析系统，这些均大大阻碍了人体运动学测量领域的发展。

发明内容

为解决上述问题，本发明提供了一种人体运动学参数提取方法，其包括：

步骤1：标定多视角相机的内部参数和镜头畸变系数，标定多视角相机之间的空间位置关系，以建立多视角系统中三维世界坐标系与二维图像坐标系之间的映射关系；

步骤2：根据人体运动初始图像定位人体头顶点的初始位置；

步骤3：通过跟踪人体头顶点在人体运动图像中的运动轨迹，根据多视角系统中三维世界坐标系与二维图像坐标系之间的映射关系，获得人体头顶点在三维空间下的三维运动轨迹；

步骤4：对所述人体头顶点的三维运动轨迹进行规范化预处理，获得人体运动时的身高波动信息和摇摆运动信息；

步骤5：从所述身高波动信息和摇摆运动信息提取人体运动学参数。

本发明采用多摄像头视觉测量技术：(1)根据应用场景和视野范围选定合适的摄像头和镜头，搭建多摄像头视觉系统，并对各相机分别进行标定，获得各相机的内部参数，根据地面上的世界坐标系，获得各相机的外部参数，再进行立体标定，进一步获得各相机之间的空间位置关系；(2)在人体初始运动各图像帧，基于多摄像头多视角信息融合技术，精确定位人体在各图像中的头顶点位置，并作为头顶点的初始位置；(3)人体后续运动各图像帧，分别跟踪头顶点初始位置，并利用多摄像头测量技术，获取到头顶点的三维坐标，从而获得头顶点的三维运动轨迹；(4)人在行走过程中，人体侧视平面上的运动变化最大，呈现的信息最多，其次是俯视平面，为提取人体侧视平面上的身高波动信息和人体俯视平面上的摇摆运动信息，对头顶点三维运动轨迹进行规范化预处理，得到身高波动曲线和摇摆运动曲线，用于表征人体运动信息；(5)最终，从身高波动曲线和摇摆运动曲线中提取出人体运动学参数。本发明提出的人体运动学参数提取方法，有助于临床康复医学中病理步态的障碍诊断、康复治疗方案的制定和疗效评定等，方法简单、易行、有效，据此搭建的病理步态视觉分析系统成本低廉、便于操作。

附图说明

图1是本发明中人体运动学参数提取方法的总框图；

图2是本发明中相机成像模型及物理成像和归一化成像坐标系；

图3是本发明中多相机立体标定示意图；

图4是本发明中头顶点初始定位方法流程图；

图5是本发明中头顶点三维运动轨迹生成流程图及轨迹图；

图6是本发明中解剖学人体运动机理示意图；

图7是本发明中人体运动坐标系及局部运动方向示意图；

图8是本发明中规范化头顶点三维运动轨迹图；

图9是本发明中人体运动学参数与步态信息的对应关系图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1给出了本发明中人体运动学参数提取方法的总框图，由图中可见，该方法包括相机标定、头顶点初始定位、头顶点三维运动轨迹的生成、轨迹规范化处理、运动学参数提取等五个步骤。此外，输入数据为多摄像头同步采集的人体直线运动图像序列；各相机采集的人体直线运动图像在进一步处理前先进行了畸变校正操作，以消除镜头带来的图像畸变。以下结合相关附图对本发明各步骤做进一步的详细描述：

步骤1：相机标定，即标定各相机的内部参数和镜头畸变系数以及各相机之间的空间位置关系，以建立多摄像头视觉系统中地面三维世界坐标系与二维图像坐标系之间的映射关系。

设定整个工作范围为6米×4米，针对这一视场，选用视场适中的镜头。综合考虑这些因素，选取焦距为6mm的镜头。场景中选用四个摄像头，其位置布局如附图1左边所示，该四个摄像头分别布置在视角1-4处，其中将视角1的相机作为基准相机。

参见附图2所示，由图中可见，相机标定主要涉及四个坐标系，即三维世界坐标系X_wY_wZ_w(原点在地面，且Z_w轴垂直于地面)、三维相机坐标系X_cY_cZ_c(原点位于镜头光心，且Z_c轴与光轴重合)、二维图像物理坐标系xO₁y(原点位于图像中心，坐标为物理坐标)、二维图像像素坐标系uOv(原点位于图像左上角，坐标为像素坐标)。

如附图2所示，采用线性摄像机针孔模型，定义空间点P在三维世界坐标系下的坐标为[X_m Y_w Z_w]^T，其相应的齐次坐标为P＝[X_w Y_w Z_w 1]^T；定义点P在三维相机坐标系下的坐标为[X_c Y_c Z_c]^T，其齐次坐标为P_c＝[X_c Y_c Z_c 1]^T；定义点P在二维图像平面上的投影点为p′，其二维图像物理坐标系下的坐标为[x y]^T(单位：毫米)，其二维图像像素坐标系下的坐标为[u v]^T，其齐次坐标为p′＝[uv1]^T。相机的光轴与图像平面的交点O₁的像素坐标为[u₀ v₀]^T；图像单位像素在x轴与y轴方向上的物理尺寸分别为dx、dy。则点P在三维坐标系下的坐标与其在二维图像平面上的投影点p′的二维图像坐标下的坐标之间的映射关系为：

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}\frac{f}{\mathrm{dx}}& 0& u_0& 0\\ 0& \frac{f}{\mathrm{dy}}& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ O^t& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]---\left(1\right)$

$=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ O^t& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]=M_1{M}_{2}P=\mathrm{MP}$

其中，P＝[X_w Y_w Z_w 1]^T为三维世界坐标系下的齐次坐标；f为镜头焦距，a_x＝f/dx、a_y＝f/dy为相机的焦比，R、t分别为三维相机坐标系与三维世界坐标系之间的旋转矩阵和平移矩阵；O^t＝[000]，M₁、M₂分别为相机的内部参数矩阵和外部参数矩阵(即单应性矩阵)，M为相机的总体投影矩阵。

整个标定过程中，需要标定相机的内部参数[f dx dy u₀ v₀]^T和、相机镜头畸变系数[k₁ k₂ p₁ p₂ k₃]^T和外部参数，所述内部参数包括相机的焦比、中心点位置，外部参数包括三维相机坐标系与三维世界坐标系之间的旋转矩阵R和平移向量t。在标定过程中使用黑白相间的正方网格标定板进行标定，其中，标定内部参数时使用小标定板，其网格大小为50mm×50mm，网格个数为8个(宽)×12个(长)；标定外部参数时使用大标定板，其网格大小为100mm×100mm，网格个数为4个(宽)×6个(长)。标定板上各角点的检测均采用Harris角点检测算法，并获取亚像素级角点位置。

步骤1具体包括以下步骤：

步骤1-1：对各相机进行单目标定，分别获得各相机的内部参数和外部参数矩阵。

(a)首先获取各相机的初始内部参数和相机相对于小标定板的旋转矩阵和平移向量。

以基准相机标定为例，为获得相机内部参数矩阵，首先不考虑镜头畸变，采用基于平面单应性矩阵的标定方法，手持小标定板，通过不断变化小标定板的姿态(至少3个姿态)，利用不同视点间的平面匹配(直接线性变换方法)计算出相机的初始内部参数和相机相对于小标定板的旋转矩阵和平移向量；即求得零镜头畸变时的相机内部参数和相机相对于小标定板的旋转矩阵和平移向量。令小标定板所在平面Z_w＝0，则：

$Z_c\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{cccc}{a}_x& 0& u_0& 0\\ 0& a_y& v_0& 0\\ 0& 0& 1& 0\end{array}\right]\left[\begin{array}{cc}R& t\\ O^t& 1\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ 0\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_x& 0& u_0\\ 0& a_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cc}R& t\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ 0\\ 1\end{array}\right]\left[\begin{array}{cc}0,& 1\end{array}\right]$

$=\left[\begin{array}{ccc}{a}_x& 0& u_0\\ 0& a_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{cccc}{r}_1& r_2& r_3& t\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ 0\\ 1\end{array}\right]=\left[\begin{array}{ccc}{a}_x& 0& u_0\\ 0& a_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{r}_1& r_2& t\end{array}\right]\left[\begin{array}{c}{X}_w\\ Y_w\\ 1\end{array}\right]---\left(2\right)$

$=H\·\left[\begin{array}{c}{X}_w\\ Y_w\\ 1\end{array}\right]$

其中，R＝[r₁ r₂ r₃]。

因此，通过求解H矩阵即可完成基准相机的标定，获得相机本身的内部参数和相机相对于小标定板的旋转矩阵和平移向量。

(b)基于以上求得的相机初始内部参数和相机相对于小标定板的旋转矩阵和平移向量，考虑镜头畸变，进一步求取相机镜头的畸变系数，并进一步优化相机的内部参数。

令原始镜头畸变图像中检测到的某一角点的图像像素坐标为[u_raw v_raw]^T，理想针孔成像模型下无镜头畸变图像中该角点的图像像素坐标为[u_und v_und]^T，其中，原始镜头畸变图像为由相机镜头得到的图像；则：

(1)将小标定板上各角点的三维世界坐标变换到三维相机坐标系中，其中，以小标定板上的一个角点为原点，建立三维世界坐标系，进而根据小标定板上的黑白相间方格的长度计算得到标定板上各角点的三维世界坐标。即

$\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=R\left[\begin{array}{c}{X}_w\\ Y_w\\ Z_w\\ 1\end{array}\right]+t---\left(3\right)$

其中，R和t为相机相对于小标定板的旋转矩阵和平移向量。

(2)进一步投影到图像平面，得到角点在图像平面坐标系的无畸变图像物理坐标[x_und y_und]^T和图像像素坐标[u_und v_und]^T，即

$\left[\begin{array}{c}{x}_{\mathrm{und}}\\ y_{\mathrm{und}}\end{array}\right]=\left[\begin{array}{c}{\mathrm{fX}}_c/Z_c\\ {\mathrm{fY}}_c/Z_c\end{array}\right]---\left(4\right)$

$\left[\begin{array}{c}{u}_{\mathrm{und}}\\ v_{\mathrm{und}}\end{array}\right]=\left[\begin{array}{ccc}{a}_x& 0& u_0\\ 0& a_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x}_{\mathrm{und}}\\ y_{\mathrm{und}}\end{array}\right]---\left(5\right)$

(3)将在原始镜头畸变图像中检测到的角点的图像像素坐标[u_raw v_raw]^T变换为图像物理坐标[x_raw y_raw]^T，并引入某一初始设定的透镜畸变系数[k₁ k₂ p₁ p₂ k₃]^T，得到畸变校正后的角点图像像素坐标[u′_und v′_und]^T和图像物理坐标[x′_und y′_und]^T，即

$\left[\begin{array}{c}{x}_{\mathrm{raw}}\\ y_{\mathrm{raw}}\\ 1\end{array}\right]=\left[\begin{array}{ccc}\mathrm{dx}& 0& -u_0\mathrm{dx}\\ 0& \mathrm{dy}& -v_0\mathrm{dy}\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{u}_{\mathrm{raw}}\\ v_{\mathrm{raw}}\\ 1\end{array}\right]---\left(6\right)$

$\left[\begin{array}{c}{x^{\′}}_{\mathrm{und}}\\ {y^{\′}}_{\mathrm{und}}\end{array}\right]=(1+k_1{r}^2+k_2{r}^4+k_3{r}^6)\left[\begin{array}{c}{x}_{\mathrm{raw}}\\ y_{\mathrm{raw}}\end{array}\right]+\left[\begin{array}{c}2p_1{x}_d{y}_d+p_2(r^2+{2x}_d^2)\\ p_1(r^2+{2y}_d^2)+2p_2{d}_x{y}_d\end{array}\right]---\left(7\right)$

$\left[\begin{array}{c}{u^{\′}}_{\mathrm{und}}\\ {v^{\′}}_{\mathrm{und}}\end{array}\right]=\left[\begin{array}{ccc}{a}_x& 0& u_0\\ 0& a_y& v_0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}{x^{\′}}_{\mathrm{und}}\\ {y^{\′}}_{\mathrm{und}}\end{array}\right]---\left(8\right)$

其中，可见上述过程中，根据相机内部参数和畸变参数建立了畸变校正后角点的图像像素坐标与原始镜头畸变图像中检测到的角点的图像像素坐标[u_raw v_raw]^T之间的线性方程。

(4)针对标定中使用的N个角点，定义目标函数：

$\min F=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}[{(u_{\mathrm{und}}^i-u_{\mathrm{und}}^{\′i})}^2+{(v_{\mathrm{und}}^i-v_{\mathrm{und}}^{\′i})}^2]---\left(9\right)$

将此非线性最小二乘问题，通过非线性优化算法多次迭代，求得使目标函数最小的参数值，得到全局优化的相机内部参数[f dx dy u₀ v₀]^T和畸变参数[k₁ k₂ p₁ p₂ k₃]^T。

(c)标定相机获得的图像平面与三维世界坐标系的空间位置关系，即获得相机相对于水平地面的旋转矩阵和平移向量。

本发明需要测量行人相对于地面的高度，因此需要获得以地平面为世界坐标系时相机的外部参数矩阵。将大标定板放置在地平面上，即设定场景地平面为世界坐标系X_WO_WY_W所在平面，其具体步骤如下：

(1)确定三维世界坐标系X_wY_wZ_w，将大标定板放置在地平面上，以大标定板上网格的一个角点作为坐标系原点，且令Z_w轴垂直于大标定板地平面；

(2)采集此时的大标定板图像，并利用之前获得的相机内部参数和镜头畸变系数进行畸变校正，获得校正后的图像；

(3)在畸变校正后的图像中使用Harris角点检测算法检测到各角点的二维图像像素坐标；

(4)根据大标定板上各角点的三维世界坐标和三维相机坐标系下畸变校正图像上检测到的各角点的三维相机坐标，求取相机相对于大标定板的旋转矩阵和平移向量，即相机的外部参数。

步骤1-2：建立各相机与基准相机之间的空间位置关系，并进行立体标定，获得各相机相对于基准相机的旋转矩阵和平移矩阵，即单应性矩阵，具体步骤如下：

(1)以视角1的相机为基准相机，根据各相机相对于水平地面的旋转矩阵和平移向量，求解大标定板在水平地面时各相机与基准相机之间的空间位置关系，即获得目标物体在水平地面时各相机相对于基准相机的旋转矩阵和平移矩阵。例如附图3中，三维世界坐标系下的空间点P，在视角1和视角4相机的三维相机坐标系(光心或原点分别为O_C1和O_C4)下的空间点分别为P_C1和P_C4，令视角1和视角4相机的外部参数矩阵分别为[R₁ t₁]和[R₄ t₄]，则相机4相对于基准相机1的空间位置关系

[R t]＝[R₁ t₁]·[R₄ t₄]^-1。

(2)此外，将大标定板放置在不同高度水平面，计算目标物体在不同高度水平面时各相机与基准相机之间的旋转矩阵和平移向量，即单应性矩阵，进而针对不同高度水平面，建立各相机与基准相机之间的空间位置关系，高度范围为1500mm～2000mm，每阶上升间距为10mm，即用此模拟不同人体的高度。

步骤2：头顶点初始定位。在人体初始运动各图像帧中，基于多摄像头多视角信息融合技术，精确定位人体在各图像中的头顶点位置，并作为头顶点的初始位置，参见附图4给出的流程图。

步骤2-1：多摄像头同步采集人体直线运动初始图像帧序列，并进行镜头畸变校正，得到各视角畸变校正后的图像；

步骤2-2：针对各视角畸变校正后的图像，分别建立混合高斯背景模型，提取出各视角图像中的前景人体运动区域；

步骤2-3：针对每一阶高度平面，分别利用各相机与基准相机之间的单应性矩阵，融合各视角仅包含前景人体运动区域的灰度图像，即将各视角人体运动区域的灰度图像，变换融合到基准相机人体运动区域灰度图像中，生成该阶高度平面上的公共视角融合图像，其中，公共视角融合图像为灰度图像，其像素灰度值为各视角前景人体运动区域图像变换到基准相机人体运动灰度图像的各像素灰度值的平均值。最终生成了各阶高度平面上的公共视角融合图像；

步骤2-4：针对每一阶高度平面上的公共视角融合图像，借助于Mean-Shift方法估计出灰度图的极值点，取所有高度平面层中的最大值点，并将其近似作为公共视角图像中人体头顶点的初始位置；

步骤2-5：基于单应性矩阵，将公共视角融合图像中确定的头顶点初始位置返回给各视角图像中，为便于跟踪，计算各视角图像中头顶点初始位置的小邻域内的显著Lucas-Kanade特征点，并将其中的最显著Lucas-Kanade特征点作为各视角图像中人体头顶点的初始位置。

步骤3：头顶点三维运动轨迹的生成。对于人体后续运动的各图像帧，分别跟踪头顶点初始位置，并利用多摄像头三维测量技术，获得头顶点在三维世界坐标系下的三维坐标，从而获得头顶点的三维运动轨迹，如附图5所示。

步骤3-1：同步采集各相机人体后续运动图像帧，并进行镜头畸变校正，得到畸变校正图像；

步骤3-2：在各视角畸变校正图像中，跟踪头顶点的初始位置，并将跟踪结果作为该时刻头顶点在该视角图像中的位置，该顶点在该视角图像中的位置由二维平面图像中的图像像素坐标表示；

步骤3-3：根据各视角畸变校正图像中头顶点的图像位置以及公式(1)，列方程组，利用最小二乘法计算头顶点在三维世界坐标系下的空间坐标；

步骤3-4：重复步骤3-1、3-2和3-3，最终生成了人体头顶点在三维空间中的运动轨迹。

步骤4：轨迹规范化处理。将人体放在三个平面上，即侧视平面、俯视平面和正视平面，这三个相互垂直的平面构成了人体所在的坐标系。人在行走过程中，人体侧视平面上的运动变化最大，呈现的信息最多，其次是俯视平面。因此，为提取人体侧视平面上的身高波动信息和人体俯视平面上的摇摆运动信息，对头顶点三维运动轨迹进行规范化预处理，得到身高波动曲线和摇摆运动曲线，用于表征运动信息，如附图6所示。轨迹规范化步骤如下：

步骤4-1：使用头顶点三维运动轨迹表征人体运动信息，定义人体运动坐标系和局部运动方向的概念，如附图7所示，图中给出的头顶点三维运动轨迹中，p₁、p₂为波谷点，X₁Y₁Z₁、X₂Y₂Z₂为人体运动坐标系，和为局部运动方向；

步骤4-2：寻找轨迹上各波谷点及局部运动方向，进而得到轨迹各段区间上的人体运动坐标系；

步骤4-3：将轨迹上各点变换到各段人体坐标系上，从而得到人体坐标系下的头顶点三维运动轨迹，即规范化的轨迹，如附图8所示，图中左侧给出了规范化的轨迹曲线；

步骤4-4：使用人体在侧视平面上的身高波动信息和俯视平面上的摇摆运动信息表征人体运动，即从人体坐标系下的头顶点三维运动轨迹中提取出侧视平面上的身高波动曲线和俯视平面上的摇摆运动曲线，用于表征人体运动，如附图8所示，图中右侧同时给出了身高波动曲线(上方)和摇摆运动曲线(下方)。

步骤5：运动学参数提取，从身高波动曲线和摇摆运动曲线中提取出需要的人体运动学参数。如图9所示，图中给出了身高波动曲线和摇摆运动曲线与运动学参数的对应关系，上方是身高波动曲线，下方是摇摆运动曲线，详细描述如下：

(1)身高波动曲线的波谷点对应着步态周期中的左脚或右脚刚触地时刻，此时行人身高最低，该时刻同时对应着摇摆运动曲线的过零点；

(2)身高波动曲线的波峰点对应着两足贴近时刻，同时大致对应着摇摆投影曲线的峰值点；

(3)身高波动曲线的两个周期，即左脚两次刚触地时刻之间的间隔，对应着一个完整的步态周期，同时对应着摇摆运动曲线的一个周期。

根据这种对应关系，从身高波动曲线和摇摆运动曲线中提取出人体运动学参数，如步长、步幅等距离参数；步频、步行速度、步行周期、同侧站立相和迈步相时间及其比例，左右侧站立相之比或迈步相之比，站立相各阶段发生时间及所占时间百分比等时间参数。

本发明采用多摄像头系统，从头顶点三维运动轨迹中提取出准确的人体运动学参数。这有助于临床康复医学中病理步态的障碍诊断、康复治疗方案的制定和疗效评定。方法简单、易行、有效，据此搭建的病理步态视觉分析系统成本低廉、便于操作。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种人体运动学参数的提取方法，其包括：

步骤1：标定多视角相机的内部参数和镜头畸变系数，标定多视角相机之间的空间位置关系，以建立多视角系统中三维世界坐标系与二维图像坐标系之间的映射关系；

步骤2：根据人体运动初始图像定位人体头顶点的初始位置；

步骤3：通过跟踪人体头顶点在人体运动图像中的运动轨迹，根据多视角系统中三维世界坐标系与二维图像坐标系之间的映射关系，获得人体头顶点在三维空间下的三维运动轨迹；

步骤4：对所述人体头顶点的三维运动轨迹进行规范化预处理，获得人体运动时的身高波动信息和摇摆运动信息；

步骤5：从所述身高波动信息和摇摆运动信息提取人体运动学参数；其中，步骤2具体包括：

步骤21：多摄像头同步采集人体直线运动初始图像帧序列，并进行镜头畸变校正，得到各视角畸变校正后的图像；

步骤22：针对各视角畸变校正后的图像，分别建立混合高斯背景模型，提取出各视角图像中的前景人体运动区域；

步骤23：针对每一阶高度平面，分别利用各相机与基准相机之间的单应性矩阵，融合各视角仅包含前景人体运动区域的灰度图像，即将各视角人体运动区域的灰度图像，变换融合到基准相机人体运动区域灰度图像中，生成该阶高度平面上的公共视角融合图像，最终生成每一阶高度平面上的公共视角融合图像；

步骤24：针对每一阶高度平面上的公共视角融合图像，并估计出灰度图的极值点，取所有高度平面层中的最大值点，并将其作为公共视角融合图像中人体头顶点的初始位置；

步骤25：基于单应性矩阵，将公共视角融合图像中确定的头顶点初始位置返回给各视角图像中，计算各视角图像中头顶点初始位置的小邻域内的显著特征点，并将其中的最显著特征点作为各视角图像中人体头顶点的初始位置。

2.如权利要求1所述的方法，其特征在于，对于每一个视角相机，步骤1中在不考虑畸变的情况下，通过标定板获得相机的初始内部参数，以及相机相对于标定板的单应性矩阵。

3.如权利要求2所述的方法，其特征在于，步骤1中在计算得到了相机的初始内部参数以及相机相对于标定板的单应性矩阵以后，在考虑畸变情况下计算镜头畸变系数，并进一步优化相机的初始内部参数，具体过程包括：

步骤11：根据相机相对于标定板的单应性矩阵将标定板上各角点的三维世界坐标变换到三维相机坐标；

步骤12：根据所述三维相机坐标和相机的初始内部参数得到所述标定板上各角点在二维图像平面上无畸变的图像像素坐标；

步骤13：基于镜头畸变系数和相机的初始内部参数建立畸变校正后标定板上各角点的图像像素坐标与具有镜头畸变的所述各角点在二维图像平面上的图像像素坐标之间的线性关系；

步骤14：基于上述所建立的线性关系，通过最小化标定板上各角点在二维图像平面上无畸变的图像像素坐标和具有镜头畸变的图像像素坐标之间的误差，得到镜头畸变系数和优化后的相机内部参数。

4.如权利要求1所述的方法，其特征在于，步骤1中，标定多视角相机之间的空间位置关系具体包括：

步骤15：标定板放置在水平地面，建立三维世界坐标系，进一步获得标定板上各角点的三维世界坐标；

步骤16：采集标定板图像，利用相机内部参数和镜头畸变系数，获得校正后的标定板图像；

步骤17：检测校正后的标定板图像上各角点的图像像素坐标，并根据相机内部参数得到各角点在三维相机坐标系中的坐标；

步骤18：根据各角点的所述三维世界坐标和三维相机坐标计算得到各相机相对于水平地面的单应性矩阵，进而获得相机相对于水平地面的空间位置关系；

步骤19：根据各视角相机相对于水平地面的空间位置关系建立多视角相机之间的空间位置关系。

5.如权利要求4所述的方法，其特征在于，步骤19中建立多视角相机之间的空间位置关系具体包括：以其中一个视角相机为基准相机，根据基准相机和其它视角相机与水平地面的单应性矩阵获得其它视角相机与基准相机之间的单应性矩阵。

6.如权利要求4所述的方法，其特征在于，步骤1中还包括针对不同高度平面分别建立多视角相机之间的空间位置关系。

7.如权利要求1所述的方法，其特征在于，步骤3中获取人体头顶点在三维世界坐标系下的三维运动轨迹具体包括：

步骤31：各视角相机同步采集人体后续的运动图像，并对所采集到的运动图像进行畸变校正，得到校正后的各视角人体运动图像；

步骤32：在校正后的各视角人体运动图像中，跟踪人体头顶点的初始位置，进而得到人体头顶点在校正后的各视角人体运动图像中的不同图像位置；

步骤33：根据所获的人体头顶点在校正后的各视角人体运动图像中的不同图像位置以及各视角相机的内部参数和外部参数，计算头顶点在三维世界坐标系下的空间坐标，进而获得人体头顶点在三维空间下的三维运动轨迹。

8.如权利要求1所述的方法，其特征在于，步骤4具体包括：

步骤41：根据人体头顶点的三维运动轨迹定义人体运动坐标系和局部运动方向；

步骤42：根据人体头顶点的三维运动轨迹上的各波谷点及局部运动方向，建立各段区间上的人体运动坐标系；

步骤43：将人体头顶点的三维运动轨迹上的各点变换到各段区间上的人体运动坐标系上，进而得到人体运动坐标系下人体头顶点的三维运动轨迹；

步骤44：根据人体运动坐标系下人体头顶点的三维运动轨迹获得人体运动时的身高波动信息和摇摆运动信息。

9.如权利要求1所述的方法，其特征在于，所述相机内部参数包括相机的焦比、中心点位置；外部参数包括三维相机坐标系和三维世界坐标系之间的转换参数；各相机之间的空间位置关系指三维世界坐标系下，各视角相机之间的旋转矩阵和平移向量。