CN102697508A - 采用单目视觉的三维重建来进行步态识别的方法 - Google Patents

Abstract

本发明公开了一种采用单目视觉的三维重建来进行步态识别的方法，目的是解决现有步态识别方法成本过高、模型粗糙、识别率较低的问题。技术方案是先标定单个摄像机，求得摄像机的内外参数；通过单帧视频序列对人体轮廓的跟踪提取获取人体二维轨迹；接着将假设的虚拟摄像机安放在在距实际摄像机ΔL处，把单视角下的多个轨迹周期转化为多个视角下的单一运动轨迹，也就是将时间的周期性变换为空间上的多维性，从而利用单目视觉的方法完成了三维轨迹的重建；最后提取人体步态空间三维曲线中步幅、步高特征值，利用支持矢量机的方法完成身份识别。本发明解决了一般步态识别方法成本过高、模型粗糙、识别率较低的问题。

Description

采用单目视觉的三维重建来进行步态识别的方法

技术领域：本发明涉及单视角条件下步态识别方法，尤其是身份识别中基于单摄像机即单目视觉的利用三维重建人体步行轨迹来进行步态识别的方法。 

背景技术：步态识别是远距离身份识别技术一个新兴子领域，它是根据人走路的姿态、方式等行为特征来实现个体的身份识别。步态识别与以往基于生物特征的识别技术比较，具有远距离识别、非侵犯、不易隐藏、对图像(视频)质量要求低等优点。在某些特定的场合中，无法通过交互性接触采集到人脸、指纹和虹膜等生理特征，而步态特征可以实现远距离的非接触性的采集，因此步态特征在这类特定场合下成为了唯一可以用于身份识别的生物特征。 

目前，步态识别技术广泛应用于社会安防和反恐维稳等领域，将视频处理技术与步态识别技术结合，智能分析公众场合下的监控视频，自动识别出隐藏于人群中的危险人物，并发出警报，实现有效预防意外事件的发生。2000年，美国国防部高级研究计划局DARPA(Defense Advanced Research Project Agency)资助的HID(Human Identification at a Distance)研究计划，集合了包括麻省理工学院等26家高校和科研机构，进行远距离情况下行为人的检测和识别的研究。它的任务就是开发多模态的、大范围的视觉检测技术，以实现对人体的检测、分类和识别，这一计划的实施有力的推动了远距离生物特征识别技术的研究和发展。 

目前用于步态识别的特征参数主要有两类：基于二维图像平面的步态特征参数和基于三维立体空间的步态特征参数。这两类步态特征在用于步态识别过程中表现出来的优势和问题都十分明显。基于人体序列轮廓图像提取步态特征参数是二维步态特征提取的代表性方法，Wagg等在2004年第15期《Computer Animation and Virtual Worlds》发表的“Automated Marker less Extraction of Walking People Using Deformable Contour Models”一文中提出了二维步态识别的四个步骤： 

第一步，按照固定角度放置摄像头，对人体行走过程的视频进行采集； 

第二步，对采集到的视频进行初始化和预处理，得到一系列二维的包含人体步态信息的图像序列； 

第三步，去除序列中每帧二维图像中的背景，得到序列人体轮廓。将序列人体图像叠 加在一帧图像中，借助于运动补偿时变累积算法，建立了轴向旋转运动及垂直震荡运动模型，结合线性霍夫变换求出胯部、膝盖及脚踝处的平均宽度的特征集。 

第四步，对得到特征集进行分类识别，确定身份信息。 

基于二维图像提取步态特征参数，算法实现相对简单，执行效率较高。但是，基于二维图像的步态特征参数受监控摄像头视角影响很大，这类步态特征参数会随着视角的变化而变化，严重影响身份识别的准确率。 

对于预先设定好的世界坐标系，三维场景空间是唯一确定的，且三维场景下提的步态特征参数具有很好的视角鲁棒性，消除了视角对步态识别精度的影响，减少提取的步态特征的误差，所以三维步态识别能够取得较高的准确率。目前，人体运动三维重建研究多采用多目相机捕获步态数据，通过三维重建获得的人体运动特征。明东等在申请号为200910068882.4的专利“基于人体运动结构正投影三维重建的步态识别方法”提出在Wagg的步骤三中进行人体步态的三维重建，在十一个固定摄像头的条件下进行步态识别。人体运动的三维重建是三维空间步态特征提取过程中的关键步骤之一，文章将不同摄像头采集的图像提取人体轮廓后进行三维投影，从而利用图像序列得到人体轮廓运动三维轨迹，提取三维轨迹特征值进行身份识别。但是，此方法对环境的要求较为苛刻，在现实环境中往往都是利用单摄像头实现对公共环境的监控，很难实现多摄像头对同一场景的采集，因此常规基于双目或多目视觉的步态识别方法不适用于监控场景内人体运动的三维重建，因此不适于公共场所的步态识别。 

为了减少步态识别的成本，提高步态识别的识别率。近期，如何利用在单视角下采集的单幅二维图像实现三维场景的重建以进行步态识别成为研究热点，其中代表性的方法是Zhang和Troje在2007年发表的文章“3D Periodic Human Motion Reconstruction from 2DMotion Sequences”提出的周期性步态运动三维重建算法。该方法采用傅里叶分解构造了人体运动的简洁表达式，通过一组样本来训练一个低维的线性模型，多幅二维图像的数据采用最小二乘法投影到这个模型上。由于建立的低维线性模型与实际轨迹拟合较差，从而形成一个粗糙的三维模型。它实现了基于单目视觉的步态运动三维重建，实验效果良好。但是该方法必须满足一定的假设条件：(1)测试样本和训练样本的摄像机角度必须相一致；(2)二维图像是人体运动的一个正投影，即人行走的轨迹方向垂直于摄像机的光轴。这些严格的假设条件极大程度地限制了该方法在身份识别中的应用。使得身份识别对环境的要求过大，成本过高，且识别率较低。 

因此，如何降低成本、精确构建三维模型、提高步态识别率仍是本领域技术人员极为 关注的技术问题。 

技术方案：本发明要解决的技术问题是提出一种采用单目视觉的三维重建来进行步态识别的方法，解决现有步态识别方法成本过高、模型粗糙、识别率较低的问题。构建的三维模型在单视角条件下将步态三维轨迹重建中时间的周期性变换为空间的多维性，同时得到二维图像法方向上的步态信息，通过获取法方向的数据，有效提高实验精度和识别概率，避免二维步态轨迹建立时摄像机角度对实验结果的影响。 

本发明的技术方案是先标定单个摄像机，求得摄像机的内外参数；通过单帧视频序列对人体轮廓的跟踪提取获取人体二维轨迹；接着将假设的虚拟摄像机安放在在距实际摄像机ΔL处，把单视角下的多个轨迹周期转化为多个视角下的单一运动轨迹，也就是将时间的周期性变换为空间上的多维性，从而利用单目视觉的方法完成了三维轨迹的重建；最后提取人体步态空间三维曲线中步幅、前步幅、后步幅、步高特征值，利用支持矢量机的方法完成身份识别。 

本发明包括以下步骤： 

第一步，标定单个摄像机。 

结合实验场景，综合运用基于二维平面模板和基于立体标定靶的摄像机标定方法，分步标定计算，得到摄像机的内外参数。方法是： 

1.1.构建实验场景。标定单个摄像机，使得摄像机的主轴与人体步态轨迹的夹角保持在45°-135°之间，并将立体标定靶放置于摄像机视场内。 

1.2在摄像机图像平面上，以摄像机主轴和像平面的交点作为图像平面坐标系的坐标原点O，以水平线与铅直线分别为x轴和y轴，建立图像坐标系O-xy。在空间中，以摄像机中心O_c为摄像机坐标系的坐标原点，以摄像机主轴为Z_c轴，以平行于x轴且通过O_c的直线为摄像机坐标系轴X_c，以平行于y轴且通过O_c的直线为摄像机坐标系轴Y_c，建立摄像机坐标系O_c-X_cY_cZ_c。同时，根据现实世界的水平面确立O_w-X_wY_w面，根据垂直方位建立轴Z_w，建立世界坐标系O_w-X_wY_wZ_w作为一个基准坐标系来描述空间点和摄像机的位置，O_w为世界坐标系的坐标原点； 

1.3利用张正友2000年在IEEE Trans.Pattern Analysis and Machine Intelligence第20期文章“A flexible new technique for camera calibration”提出的基于二维平面模板的摄像机标 定方法，以二维标定靶为输入，通过坐标变换求出摄像机的内参数：图像坐标系原点O在摄像机坐标系中的图像坐标(c_x，c_y)、焦距f与摄像机单个像元在x轴方向投影的物理尺寸f_x、焦距f与摄像机单个像元在y轴方向投影的物理尺寸f_y。 

1.4采用Tsai等1987年在IEEE Journal of Robotics and Automation第三期文章“A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses”提出的基于立体标定靶摄像机标定方法和已求出的(c_x，c_y)、f_x、f_y，以立体标定靶为输入得到摄像机的外参数：摄像机在世界坐标系中的位置和姿态。 

第二步，跟踪获取人体步态二维轨迹。 

2.1运用微软的视频处理开发工具包Opencv的视频处理函数，将监控摄像头获取的连续人体运动视频转化为单帧图像序列作为处理对象； 

2.2利用刘之贵2010年在“微型机与应用”第二期文章“复杂背景环境下运动目标的检测算法设计”提出的背景检测算法去除单帧图像序列中图像内的背景，获得人体运动对象。采用微软的视频处理开发工具包Opencv中提供的轮廓提取算法对去除背景后的人体运动对象进行处理，获得人体整体轮廓。利用人体几何学原理，在人体整体轮廓中识别人体轮廓中的最低点作为脚步的跟踪点； 

2.3由于人体在步行过程中前后位移距离不会很大，为防止在轮廓提取时出现较大偏差，利用Yizong Cheng在1995年IEEE Trans.Pattern Analysis and Machine Intelligence第17期文章“Mean shift，mode seeking，and clustering”提出的目标跟踪mean-shift算法预测下一帧图像中人体运动对象检测区域。 

2.4根据步骤2.2得到的单帧图像序列中每帧图像中人体轮廓的最低点，确定并标记最低点在摄像机图像平面上的坐标位置，连接单帧图像序列中每帧图像内的脚步跟踪点坐标，形成人体步态二维轨迹。 

第三步，构建脚踝顶点三维轨迹。 

为使摄像机最大限度的获得人体步态轨迹的轮廓，将摄像机放置于人体运动方向的一侧，并使得摄像机的主轴与人体步态轨迹的夹角保持在45°-135°之间，利用人体步态二维轨迹的步态周期信息，完成单视角下的多个步态轨迹周期转化为多个视角下的单一步态轨迹。利用二维轨迹的步态周期信息构建一台虚拟摄像机并将假设的虚拟摄像机安放在距实 体摄像机ΔL的位置，ΔL为人体步态周期平移量。然后运用多视角重建理论，重建步态中脚踝顶点的三维轨迹。方法是： 

3.1利用X_wO_wY_w平面和第二步得到的人体步态二维轨迹来计算步态周期平移量ΔL。其中，由于一帧图像上只有一个跟踪点，设单帧图像上跟踪点的坐标为(x_i，y_i)，那么单帧图像序列的整个序列中图像跟踪点的坐标值为(x₁，y₁)，(x₂，y₂)...(x_i，y_i)...(x_n，y_n)，n为单帧图像序列的帧数，n等于人体通过摄像机视场的时间t和摄像机帧率的乘积，设定滑窗大小为M个连续的坐标点，M为正整数，根据摄像头分辨率而定，一般取摄像机图像平面长度值的1/5，按公式一计算滑窗的质心： 

C(i，i+M-1)＝[(x_i+x_i+1+...+x_i+M-1)/M，(y_i+y_i+1+...+y_i+M-1)/M]公式一 

其中C(i，i+M-1)是以(x_i，y_i)为边界的滑窗的质心位置，记下此时滑窗质心G_i＝C(i，i+M-1)，滑窗继续向后移动，当i＝n时停止滑动。这样，可以得到一系列质心点G₁，G₂...G_n，这些点就是所要求解的周期划分点，将它们连线得到平移量ΔL在摄像机图像平面上的投影的长度。利用公式二计算步态周期的长度即平移量ΔL； 

ΔL＝ΔL′/cosθ公式二 

ΔL′为ΔL在摄像机图像平面上的投影的长度，通过量取周期划分点两点之间连线得到，θ为标定摄像机时，摄像机主轴与人体步态轨迹的夹角，也即X_wO_wY_w平面与二维轨迹的方向存在的夹角，θ∈[45°，135°]。 

3.2通过构建虚拟摄像机得到实际摄像机和虚拟摄像机中两幅图像间的极几何约束关系，采用Sampson估计方法估计实际空间点P在实际摄像机平面图像I上的对应位置的点m，利用同样方法估计P在虚拟摄像机的平面图像I′上的对应位置的点m′。将点m和点m′分别与实际摄像机的光心O_c与虚拟摄像机的光心O′_c相连，构造出沿P点方向的两条射线l_p和l_p′，两条射线相交从而确定P_O的位置，P_O是重建的三维轨迹上的一点，求出单帧图像序列中每帧图像对应的P_O点，在空间中拟合这些点得到一个人体步态的空间三维曲线。 

第四步，运用构建的人体步态的空间三维曲线进行身份识别。 

4.1由于人体步态的空间三维曲线具有周期、幅度，所以根据踝关节运动模式，利用 周期性曲线的周期和幅度等，提取具有周期性运动的人体步态的空间三维曲线的步幅、前步幅、后步幅、步高特征； 

4.2运用孙即祥2008年《现代模式识别》一书中提出的支持矢量机的方法对提取的步幅、前步幅、后步幅、步高特征进行步态识别。支持矢量机是从二十世纪90年代以来发展起来的一种统计学习方法，在解决小样本学习、非线性及高维模式识别问题时具有较好的效果。在未知样本较多时，局部核函数的学习能力较之全局核函数更强，所以输入步幅、前步幅、后步幅、步高组成的特征集到局部核函数。局部核函数中σ²表示支持矢量机方法的训练宽度，是减少测试误差的主要因素，其中σ²值分别取σ²=0.1，σ²=0.3，σ²=0.5，σ²=1，识别结果如表1所示。 

表1支持矢量机分类识别结果 

σ2值选取	识别率
		σ2＝0.1	82.6％
σ2＝0.3	89.8％
		σ2＝0.5	83.33％
σ2＝1	75％

取σ²＝0.3，识别正确率可达89.8％，明东在申请号为200910068882.4的专利“基于人体运动结构正投影三维重建的步态识别方法”中提出的步态识别方法中十一个摄像头的条件下的识别率也只能达到87％，充分证明了方法成本低、识别率高的优点。 

采用本发明可以得到以下技术效果： 

1、本发明既不需要通过样本训练获得三维重建模型，也不需要设定严格的初始条件，就能获得较好的识别效果。 

2、本发明利用单个摄像头，避免了在专利200910068882.4中利用十一个摄像头情况下成本过高的问题； 

3、本发明通过利用步态的周期特性构建虚拟摄像机得到三维模型，模型效果高于Zhang和Troje构建二维线性模型的效果； 

4、通过实验检测，本发明的步态识别的准确率高达89.8％，高于一般的步态识别方法。所以，发明解决了一般步态识别方法成本过高、模型粗糙、识别率较低的问题，达到了较好的技术效果。 

附图说明：

图1是申请号为200910068882.4的专利中公布的一般三维步态识别总体流程图； 

图2是本发明总体流程图； 

图3是本发明第一步建立的坐标系示意图； 

图4是本发明第三步将单视角下多个步态周期转化为多视角下的单一步态示意图； 

图5是第三步构建步态三维轨迹中两个摄像机的极几何约束图； 

图6是第三步动态周期性轨迹重建结果图； 

图7是第四步构建的踝关节运动一般模式图。 

具体实施方式：

图1是一般三维步态识别总体流程图。 

第一步，按照(0°、18°、36°...180°)11个方向安放11台摄像机，并获取视频，摄取11个方向的视频，从而得到单帧视频序列； 

第二步，跟踪人体步态轨迹。使用Kinematics模型构建整个人体的骨架模型，建立和向量P＝{x，y，θ₁，θ₂，...，θ₁₀}相关的动作估计方程，其中(x，y)是人体的位置，θ₁，θ₂，...，θ₁₀表示肩膀、肘、髋等十个关节的角度。动作估计方程就是用前一帧提取的步态特征来估计现在的动作，防止在对人体跟踪的过程中出现较大偏差。 

第三步，三维的步态重建。正投影视图与照相机中的坐标系存在公式二的关系： 

$\left(\begin{array}{c}u\\ v\end{array}\right)=s\left(\begin{array}{c}100\\ 010\end{array}\right)\left(\begin{array}{c}x\\ y\\ z\end{array}\right)$ 公式三 

假设z是常量，由公式二可以得到公式三： 

u＝se×x 

公式四 

v＝se×y 

其中，se是利用图像信息和步态特征知识进行的估计。将11幅不同角度的图像经过坐标的变换投影到三维的空间中去，得到空间的三维步态。利用11个方向的单帧视频序列，构建出人体步态的空间三维曲线。 

第四步，利用支持矢量机的方法对步态进行身份识别，发明中并未对其进行详细阐述。 

图2是本发明步态识别总体流程图。 

第一步，标定单个摄像机。结合实验场景，综合运用基于二维平面模板和基于立体标定靶的摄像机标定方法，分步标定计算，得到摄像机的内外参数。 

第二步，跟踪获取人体步态二维轨迹。 

第三步，构建脚踝顶点三维轨迹。利用二维轨迹的步态周期信息构建一台虚拟摄像机，将虚拟摄像机安放在距实体摄像机ΔL的位置，ΔL为人体步态周期平移量，运用多视角重建理论重建步态中脚踝顶点的三维轨迹。 

第四步，运用构建的人体步态的空间三维曲线进行身份识别。 

图3是本发明第一步建立的坐标系示意图。在图像平面上，以摄像机主轴和像平面的交点作为图像平面坐标系的坐标原点O，以水平线与铅直线分别为x轴和y轴，建立图像坐标系O-xy。在空间中，以摄像机中心O_c为摄像机坐标系的坐标原点，以摄像机主轴为Z_c轴，以平行于x轴且通过O_c的直线为摄像机坐标系轴X_c，以平行于y轴且通过O_c的直线为摄像机坐标系轴Y_c，建立摄像机坐标系O_c-X_cY_cZ_c。同时，根据现实世界的水平面确立O_w-X_wY_w面，根据垂直方位建立轴Z_w，建立世界坐标系O_w-X_wY_wZ_w作为一个基准坐标系来描述空间点和摄像机的位置。f表示摄像机的焦距，图像坐标系中的点P(x，y)，在摄像机坐标系中的坐标为P(X_C，Y_C，Z_C)，在世界坐标系中的坐标为P(X_W，Y_W，Z_W)。 

图4是本发明第三步将单视角下多个步态周期转化为多视角下的单一步态示意图。通过把单视角下的多个运动轨迹周期，转化为多个视角下的单一运动轨迹，把单视角的重建问题转化为基于立体视觉的三维重建。图4(a)是运动轨迹在单视角下的成像，如果物体在运动过程中轨迹沿着同一个方向，那么可以假设存在这样一个虚拟的摄像机，它与实体摄像机之间只存在相对平移，平移的长度为运动的周期长度ΔL，那么第二个运动周期的轨迹成像可以等同于其在虚拟摄像机中的成像，如图4(b)。这样就把单视角中的两个运动周期的轨迹图像等同为第一个运动周期在两个视角中的成像，而这两个视角之间平移了ΔL的长度。然后就可以运用多视角三维重建的相关算法进行重建，ΔL′为ΔL在摄像机图像平面的投影的长度，可以通过量取周期划分点两点之间连线得到，其中ΔL＝ΔL′/cosθ。 

图5是第三步构建步态三维轨迹中实体摄像机与虚拟摄像机的极几何约束图。通过两个摄像机光心O_c和O_c′平面π称为极平面，两个摄像机光心的连线称为基线r，任意两张极平面均相交于基线，所以极平面的全体构成共基线的平面束。极平面π与两个摄像机像平面的交线分别称为极线l′_m和l′_m′，这两条极线称作极线对应。显然，极平面π上任一点P在 第一个摄像机像平面上的投影m必位于极线l′_m上，同样，点P在第二个摄像机像平面上的投影m′必位于极线l_m′上，通常称m和m′为点对应，并记作 

这一点就是我们所要求的三维空间的点。基线r与两个摄像机像平面I和I′的交点称为极点e和e′。显然，e是第二个摄像机光心在第一个摄像机像平面上的投影，e′是第一个摄像机光心在第二个摄像机像平面上的投影。由于所有极平面都通过基线，所以第一个像平面上的所有极线都相交于极点e，从而第一个像平面上的所有极线构成极点e的平面线束，同样第二个像平面上的所有极线构成极点e′的平面线束。 

综上所述，可以得到所谓的极几何约束：令 是点对应，则m′位于m对应的极线l′_m上，m位于m′对应的极线l_m′上，即m′∈l′_m，m∈l_m′。如果给定两个摄像机下的图像(I，I′)，极几何约束表明： 

(1) 

在I′上存在一条极线l′_m与之对应，并且对应的像点m′∈l′_m。 

(2) 在I上存在一条极线l_m′与之对应，并且对应的像点m∈l_m′。 

极几何所描述的图像点与其极线的对应关系，可以用基本矩阵来描述： 

假定两个摄像机矩阵分别为M₁，M₂，记两个摄像机的像平面分别为I，I′，则 

的反投影线 

的参数方程为： 

$P\left(s\right)=M_1^{+}m+s{O}_c,s\∈(-\∞,\∞)$

其中，M₁ ⁺是M₁的广义逆，即M₁M₁ ⁺＝I，O_c是第一个摄像机的光心，即PO_c＝0。于是，可以推知 

l′_m＝e′×m′＝(P′O_c)×(P′P⁺m+sP′O_c)＝(P′O_c)×(P′P⁺m)＝[e′]×P′P⁺m 

记 

F＝[e′]×P′P⁺

称F为两个摄像机间或两幅图像(I，I′)间的基本矩阵。基本矩阵F描述了图像点m与其对应极线l′_m间的对应关系l′_m＝Fm由于图像点m在第二幅图像上的对应点m′在极线l′_m上，所以必有m′Fm＝0，所以说基本矩阵F刻画了两幅图像间的极几何。 

在实际情况下往往不可避免的存在测量数据的误差，即两个摄像机成像平面上的点不满足极几何约束，参照图4，通过标定得到了摄像机1的摄像机矩阵M₁，结合平移量ΔL，同样可以算得摄像机2的摄像机矩阵M₂，所以，从测量点对应 

去寻找空间点P使得它在两幅图像上投影点 

到测量点的几何距离最小。于是，三维重构的几何算法可以由下面两个步骤构成： 

步骤1，求使得下述最小化问题的点对应 

$\left\{\begin{array}{c}{\min }_{\hat{m}\↔{\hat{m}}^{\′}}G(\hat{m},{\hat{m}}^{\′})=d^2(m,\hat{m})+d^2(m^{\′},{\hat{m}}^{\′})\\ \mathrm{subjectto}{\hat{m}}^{\′T}F\hat{m}=0\end{array}\right.$ 公式四 

其中，d(.，.)是图像平面上两点之间的欧氏距离。 

步骤2，以 

作为测量点对应的几何校正，使用三角原理重构空间点P。 

如果图像点噪声服从同一个高斯分布且相互独立，可以证明公式四的最小化 

是其真值的最大似然估计。本发明采用Sampson估计来估计二维图像平面上的点对应，从而得到一族点对 

然后，通过得到的 

对轨迹进行三维重建。利用划分点G₁，G₂...G_n将步态轨迹划分为n-1个周期，每个周期的轨迹对应为相应的摄像机平面上的成像，假设 

为两个摄像机成像上的一个点对应，由摄像机矩阵M₁和M₂可以算得p的反向射线l_p和p′的反向射线l_p′，如果图像上的坐标没有误差，那么l_p和l_p′可以确定通过两摄像机光心的一张平面π_p，所以l_p和l_p′必相交于空间中一点。而对于轨迹曲线上每组相对应的点都可以得到空间中的交点，把这些交点连线即可得到理想情况下的三维重建曲线。 

图6是第三步动态周期性轨迹重建结果图。图中实线为采用本发明对实际步态进行三维重建后的轨迹曲线。为了说明本发明利用单目视觉进行三维重建的精度，将本明重建的轨迹曲线与采用多目Kinect深度摄像头和OpenNI开发包捕获的实际步态的轨迹曲线进行对比，如图6所示，虚线是Kinect深度摄像头和OpenNI开发包捕获的真实步态轨迹。分别对重建的和摄像头捕获轨迹曲线采样，对曲线每个周期采样20个点，对比计算两者的误差，结果如下表，表中各值的单位为mm。 

从表中可以看出，最大的误差为38.0397mm，平均误差为13.5819mm，最大误差为实验测量点与实际捕获点x、y、z中的误差最大值，平均误差为误差的平均值，最大误差的范围只占到实际的步长的1/30左右，证明采用本发明达到了较好的精度。 

图7是第四步构建的踝关节运动一般模式图。在第三步得到人体步态的空间三维曲线之后，对其进行特征提取，采用本发明构建了踝关节的一般模式，提取了步幅、前步幅、后步幅、步高四个参数。图中黑色曲线为本文设定的人体行进过程中脚踝顶点运动轨迹曲线的一般模式，刻画了人体在行进过程，从单脚离地迈进到落地的一个周期的运动轨迹曲线，行进的方向为由左向右。其中F和B分别是轨迹曲线的前端点和后端点，H为轨迹曲线中的最高点，V为最高点在前、后端点连线上的垂足。这里需要注意的一点是，人体行 进过程中脚踝顶点运动轨迹曲线并不一定位于一个平面上，而且通过上一章节的重建实验可以得出，由于实际情况不可避免的存在测量数据的误差，重建得到的运动轨迹曲线一般不会位于一个平面上，所以本文这里设定的一般模式，是脚踝顶点运动轨迹曲线的在由前、后端点F、B和最高点H确定的平面π上的投影曲线。在图中，可以提取以下反映人体步态的特征： 

●步幅r：单个步态周期曲线C的左端点F到右端点B的连线的长度。 

●前步幅rf：曲线C的前端点L到垂足点F的连线的长度。 

●后步幅rb：曲线C的后端点R到垂足点F的连线的长度。 

●步高h：曲线最高点H到垂足点F的连线的长度。 

此外，还可以根据实际情况对前步幅（或者后步幅）进行n等分，得到等分点Vf₁，Vf₂，......Vf_n-1，然后过各等分点在平面π上作垂线与曲线C分别相交于Hf₁，Hf₂，......Hf_n-1，定义(Vf₁,Hf₁)，(Vf₂,Hf₂)，......(Vf_n-1，Hf_n-1)的连线长度分别为hf₁，hf₂，......hf_n-1，以图7为例，对前步幅进行了3等分，得到与(Vf₁,Hf₁)和(Vf₂,Hf₂)对应的hf₁和hf₂，它们的长度在一定程度上反映了步态轨迹曲线的细节，当n越大时，说明记录的特征点越多，越能体现步态曲线的细节。 

Claims (3)

1.一种采用单目视觉的三维重建来进行步态识别的方法，其特征在于包括以下步骤：

第一步，结合实验场景，综合运用基于二维平面模板和基于立体标定靶的摄像机标定方法，分步标定计算，得到摄像机的内外参数，方法是：

1.1.构建实验场景：标定单个摄像机，使得摄像机的主轴与人体步态轨迹的夹角保持在45°-135°之间，并将立体标定靶放置于摄像机视场内；

1.2在摄像机图像平面上，以摄像机主轴和像平面的交点作为图像平面坐标系的坐标原点O，以水平线与铅直线分别为x轴和y轴，建立图像坐标系O-xy；在空间中，以摄像机中心O_c为摄像机坐标系的坐标原点，以摄像机主轴为Z_c轴，以平行于x轴且通过O_c的直线为摄像机坐标系轴X_c，以平行于y轴且通过O_c的直线为摄像机坐标系轴Y_c，建立摄像机坐标系O_c-X_cY_cZ_c；同时，根据现实世界的水平面确立O_w-X_wY_w面，根据垂直方位建立轴Z_w，建立世界坐标系O_w-X_wY_wZ_w作为一个基准坐标系来描述空间点和摄像机的位置，O_w为世界坐标系的坐标原点；

1.3利用基于二维平面模板的摄像机标定方法，以二维标定靶为输入，通过坐标变换求出摄像机的内参数：图像坐标系原点O在摄像机坐标系中的图像坐标(c_x，c_y)、焦距f与摄像机单个像元在x轴方向投影的物理尺寸f_x、焦距f与摄像机单个像元在y轴方向投影的物理尺寸f_y；

1.4采用基于立体标定靶摄像机标定方法和(c_x，c_y)、f_x、f_y，以立体标定靶为输入得到摄像机的外参数：摄像机在世界坐标系中的位置和姿态；

第二步，跟踪获取人体步态二维轨迹：

2.1运用微软的视频处理开发工具包Opencv的视频处理函数，将监控摄像头获取的连续人体运动视频转化为单帧图像序列；

2.2利用背景检测算法去除单帧图像序列中图像内的背景，获得人体运动对象；采用Opencv中提供的轮廓提取算法对去除背景后的人体运动对象进行处理，获得人体整体轮廓；利用人体几何学原理，在人体整体轮廓中识别人体轮廓中的最低点作为脚步的跟踪点；

2.3利用目标跟踪mean-shift算法预测下一帧图像中人体运动对象检测区域；

2.4根据步骤2.2得到的单帧图像序列中每帧图像中人体轮廓的最低点，确定并标记最低点在摄像机图像平面上的坐标位置，连接单帧图像序列中每帧图像内的脚步跟踪点坐标，形成人体步态二维轨迹；

第三步，利用二维轨迹的步态周期信息构建一台虚拟摄像机，将虚拟摄像机安放在距实体摄像机ΔL的位置，ΔL为人体步态周期平移量，运用多视角重建理论重建步态中脚踝顶点的三维轨迹，方法是：

3.1利用X_wO_wY_w平面和第二步得到的人体步态二维轨迹来计算步态周期平移量ΔL，设单帧图像上跟踪点的坐标为(x_i，y_i)，单帧图像序列的整个序列中图像跟踪点的坐标值为(x₁，y₁)，(x₂，y₂)...(x_i，y_i)...(x_n，y_n)，n为单帧图像序列的帧数，n等于人体通过摄像机视场的时间t和摄像机帧率的乘积，设定滑窗大小为M个连续的坐标点，M为正整数，按公式一计算滑窗的质心：

C(i，i+M-1)＝[(x_i+x_i+1+...+x_i+M-1)/m，(y_i+y_i+1+...+y_i+M-1)/M]公式一

其中C(i，i+M-1)是以(x_i，y_i)为边界的滑窗的质心位置，记下此时滑窗质心G_i＝C(i，i+M-1)，滑窗继续向后移动，当i＝n时停止滑动，得到一系列质心点G₁，G₂...G_n，这些点就是周期划分点，将它们连线得到平移量ΔL在摄像机图像平面上的投影，利用公式ΔL＝ΔL′/cosθ计算步态周期平移量ΔL，ΔL′为平移量ΔL在摄像机图像平面上的投影的长度，θ为标定摄像机时，摄像机主轴与人体步态轨迹的夹角，θ∈[45°，135°]；

3.2通过构建虚拟摄像机得到实际摄像机和虚拟摄像机中两幅图像间的极几何约束关系，采用Sampson估计方法估计实际空间点P在实际摄像机平面图像I上的对应位置的点m，利用同样方法估计P在虚拟摄像机的平面图像I′上的对应位置的点m′；将m与实际摄像机的光心O_c相连，将m′与虚拟摄像机的光心O′_c相连，构造出沿P点方向的两条射线l_p和l_p′，两条射线相交从而确定P_O的位置，P_O是重建的三维轨迹上的一点，求出单帧图像序列中每帧图像对应的P_O点，在空间中拟合这些点得到一个人体步态的空间三维曲线；

第四步，运用构建的人体步态的空间三维曲线进行身份识别：

4.1根据踝关节运动模式，提取人体步态的空间三维曲线的步幅、前步幅、后步幅、步高特征；

4.2运用支持矢量机的方法对提取的步幅、前步幅、后步幅、步高特征进行步态识别，输入步幅、前步幅、后步幅、步高组成的特征集到局部核函数。

2.如权利要求1所述的采用单目视觉的三维重建来进行步态识别的方法，其特征在于所述m值取摄像机图像平面长度值的1/5。

3.如权利要求1所述的采用单目视觉的三维重建来进行步态识别的方法，其特征在于所述运用支持矢量机的方法对提取的步幅、前步幅、后步幅、步高特征进行步态识别时，取σ²＝0.3，σ²为局部核函数中支持矢量机方法的训练宽度。

Images