CN106056050B - 一种基于自适应三维人体运动统计模型的多视角步态识别方法 - Google Patents

Abstract

本发明公开了一种基于自适应三维人体运动统计模型的多视角步态识别方法。本发明训练集影像来自多个摄像系统，通过多目视觉的三维重构技术产生对象的点云，进而建立一个三维统计人体模型。对三维人体模型通过一个虚拟相机投影变换，获得任意视角下的合成人体轮廓二值图，用于进一步提取各种步态特征。基于三维人体模型，建立骨骼模型，对每个关节的自由度赋予合理的范围，并建立统计三维人体运动统计模型，通过参数的调整，可自适应各种不同的行走场合。训练阶段，基于以上的方法建立步态特征数据库。在识别阶段，对视频提取同样的步态特征，并和数据库里的特征比较，通过最近标本分类器结合最高得分策略找出最佳的识别对象。

Description

一种基于自适应三维人体运动统计模型的多视角步态识别 方法

技术领域

本发明涉及计算机视觉和模式识别，特别涉及一种基于自适应三维人体运动统计模型的步态识别方法。

背景技术

步态识别技术是一种生物特征识别技术，即通过每个人独特的行走方式来识别个体身份。与第一代生物特征识别技术，比如指纹识别，脸部识别，虹膜识别等，相比较，步态识别技术具备不需要身体接触，对图像分辨率要求不高，可远距离识别等优点。迄今为止，步态特征也许是唯一可远距离识别的生物特征，因此，步态识别技术在安防监控等领域，存在广阔的商业应用前景。

随着科学技术的发展和公共安全意识的提高，越来越多的监控摄像头被安装于银行，学校，社区，交通枢纽等敏感场所，携带监控摄像头的无人飞机也逐步进入到实用阶段。犯罪分子的影像很可能被监控摄像头所捕获，通过学习这些影像，产生犯罪分子特有的步态模式，然后在其它监控影像中通过步态识别自动发现该犯罪分子，是一种智能化程度很高的监控手段。然而，现有的技术暂时还无法完全实现这种想法。目前，主流的方法还是通过人工的方式在海量的影像中搜索犯罪分子，必然耗费大量的人力财力且效率低下。

步态识别技术仍在研发的早期阶段，近年来一直是计算机视觉，模式识别和人工智能等领域的研究热点。虽然各种新的方法和算法不断推出，现阶段的步态识别仍存在很多技术难点。其中最大的难点就是视角变化所带来的影响，这涉及到摄像头拍摄角度和人的行走方向两个因素。一般处理多视角的方式是训练学习各视角下人体步态轮廓序列的影像，然后从中选择一个视角作为基础视角，建立基础视角下的多状态模型，同时建立基础视角以外其它视角下的多状态模型。但是，当训练集中缺少部分视角的时候，该类方法的可靠性和准确性就会下降，甚至失效。同时，这种方法也无法有效处理遮挡的问题。

发明内容

针对现有步态识别技术的多视角训练集难以完备，识别精度不高等问题，本发明提出一种基于自适应三维人体运动统计模型的多视角步态识别方法。本发明训练集影像来自多个摄像系统，通过多目视觉的三维重构技术产生对象的点云，进而建立一个三维人体统计模型。通过调整统计模型的参数自适应人的不同体型。对三维人体统计模型通过一个虚拟相机投影变换，获得任意视角下的合成人体轮廓二值图，用于进一步提取各种步态特征。基于三维人体统计模型，建立骨骼模型，对每个关节的自由度赋予合理的范围，并建立统计三维人体运动统计模型，通过参数的调整，可自适应各种不同的行走场合。建立统计三维人体模型和运动模型的目的是为了建立不同视角下可靠的二维人体运动轮廓二值图，并从中提取各种步态特征，比如FDFP(Frame Difference Frieze Pattern)，步态能量图(GEI-Gait Energy Image)，活动能量图(AEI-Active Energy Image)，仿射矩不变(AMI-Affine Moment Invariant)等。训练阶段，基于以上的方法建立步态特征数据库。在识别阶段，对视频提取同样的步态特征，并和数据库里的特征比较，通过最近标本分类器结合最高得分策略找出最佳的识别对象。

本发明为解决上述技术问题所采用的技术方案是：

一种基于惯性和深度视觉的实时三维场景重构方法，该算法包括以下步骤：

步骤一：通过多目视觉技术，对训练集里的多摄像系统所拍摄的对象做三维重建。三维重建的基本原理是多个摄像系统的前方交会。对象的运动影像被多个摄像系统拍摄，通过特征匹配技术，可以在不同摄像系统的每一帧影像上找到对象身上的共同特征点。这些共同特征点的坐标可以通过多相机前方交会计算出来。这些共同特征点就组成了某一个时刻对象的点云。在多摄像系统的连续影像上做多目视觉处理，就可以产生对象的连续的运动点云，即四维人体点云。

步骤二：基于四维人体点云，建立三维人体统计模型。首先，建立一个一般的三维人体骨骼模型，可以采用圆柱模型，即头部，躯干，四肢都用不同的圆柱体来表示。然后，对每一时刻的点云数据做点云匹配和聚类分析。点云匹配可以找出人的头部和躯干，四肢可以通过聚类分析获得。点被标记为人体的不同部分，并最大程度拟合三维人体骨骼模型，并去掉无法标记的点。通过分析所有的四维点云，就获得了一个完整的三维人体点云，并基于此建立一个表面光滑的三维网格模型作为人体模型的外壳(Hull Shell)。

步骤三：基于四维人体点云，建立三维人体运动统计模型。人体部分之间的结合部，即关节。通过四维点云的分析，可以获得每个关节的摆动范围等信息。从而，获得一个三维人体运动统计模型。

步骤四：产生任意角度的人体轮廓二值图。设置一个虚拟相机，按任意拍摄角度拍摄基于步骤二建立的三维人体统计模型和步骤三建立的三维人体运动统计模型，产生任意角度下的二值人体轮廓图。

步骤五：基于这些合成的和原本的二值人体轮廓图，提取各种步态特征，并建立步态特征的数据库。

以上的步骤一到五，都是训练阶段。

步骤六：学习阶段。学习原型集中目标对象的连续影像，并提取连续的二值轮廓图。通过这个二值轮廓图与数据库做比较，并调整三维人体统计模型与三维人体运动统计模型，使之最符合目标对象的外形。然后再重复步骤四至步骤五，建立一个目标对象多视角下的步态特征集合，称为目标对象任意视角下的步态特征集合数据库。

步骤七：识别阶段。对测试集中的连续影像提取每个人的二值轮廓图，并提取步态特征。每一帧中，每一个人的步态特征都与原型数据库内的特征做比较，如果与之最接近，则该人得到一票。整个步态周期完成后，得票最高的人，即为被识别的目标。

本发明的有益效果是：

本发明所提出的方法可以基于一个比较小的训练集合产生出三维人体统计模型和三维人体运动统计模型，通过虚拟相机投影，产生任意视角下的二维人体轮廓二值图序列，进而提取出任意角度下的步态特征。由此避免了当训练集中缺少部分视角的时候，现有识别方法的可靠性和准确性就会下降甚至失效的问题。由于本方法中的二维人体轮廓二值图序列是基于一个虚拟相机对统计三维人体模型和运动模型的投影来产生的，是一个三维到二维的投影，因此可以真正做到任意视角，有效解决现有技术无法处理遮挡的问题。

附图说明

图1为本发明方法训练阶段算法流程图

图2为本发明方法学习阶段算法流程图

图3为本发明方法测试阶段算法流程图

具体实施方式

下面结合附图及实施例对本发明作进一步说明。

图1给出了本发明在训练阶段的算法流程图。

训练所用的是多摄像系统下同时拍摄的人行走视频。对每一帧的影像提取人物，然后仅对人物区域提取特征点，进行匹配，产生匹配点集合。每一组匹配点就是同一物点在多个影像上的像点。然后基于最小二乘误差最小的原则，通过共线方程组，解算出物点的三维坐标。这样就可以计算出匹配点集合中所有物方点坐标，产生每一帧人体身上的点云。假设所有的相机都采用相同的速度拍摄，一个完整的步态周期有n帧，则可以获得n个点云，可以记作P＝{P_i|i＝1…n}。

接下来，定义一个三维人体骨骼模型，分为头部，躯干，胳膊上肢，胳膊下肢，大腿，小腿等部分。所有人体组成部分都可以通过圆柱体作为基本模型。通过人体模型对点云的最佳匹配，来确定人体模型参数，并标记每个点所属的人体模型部分。头部和躯干的点云数据因为不存在大的动作变化，可以采用ICP算法在连续帧上对头部和躯干部做点云匹配，并计算出仿射变换参数。这样所有的n个点云就可以规划到一个坐标系下，产生一个完整的人体模型。人体骨骼模型可以通过最佳匹配头部和躯干部的融合点云，进一步改进。最终的人体模型是一个基于点云产生的人体表面网格，每个节点都被记录。

四肢的部分，在融合点云中会呈现出运动的状态，这个信息用于建立三维人体运动统计模型。建立运动模型需要引入关节，即连接骨骼模型各部分的地方。对每个关节设定一个合理的自由摆动幅度。

通过对多段不同性别体型的人的视频影像序列重构三维人体模型和三维运动模型，来产生人体的三维统计模型和三维统计运动模型。假设一共对m段影像做分析，共产生了m个三维人体模型，记作X＝{X_i|i＝1…m}，其中X_i＝{x_i1,y_i1,z_i1,…,x_ik,y_ik,z_ik},k表示用于表示该三维人体模型的节点数量。计算出平均的三维模型，记作X_平均。计算出每一个三维人体模型和平均三维人体模型的差别，即dX_i＝X_i-X_平均，所有的dX_i向量构成一个矩阵，记作dX。

三维人体统计模型的定义如下：

X＝X_平均+Eb

其中，E是对dX矩阵做PCA(Principal Component Analysis)分析的结果，b是三维模型的参数向量。通过改变参数向量b可以改变三维模型的形状，用于体现人的不同体型等。

假设一个步态周期共有n个帧，那么关节j的逐帧摆动角度可以记作A_j1…A_jn。步态运动应该是一种可重复的规律运动，因此可以把A_j视作一种可重复的信号。对A_j做傅立叶变换，转换到功率谱空间，并记作P_Aj。所有的关节运动角度的功率谱向量组成了一个矩阵，记作K。

三维人体运动统计模型的定义如下：

K＝K_平均+Fc

其中，F是K的PCA结果，c是运动模型的参数向量。通过改变参数向量c可以改变三维运动模型，即改变人的运动方式，包括了四肢摆幅等。

基于三维人体统计模型和三维人体运动统计模型，通过一个虚拟的摄像机，通过相机的投影方程，可以产生任意视角下的人体二维轮廓二值图。基于连续人体轮廓二值图序列，可以提取各种不同的步态特征，比如FDFP(Frame Difference Frieze Pattern)，步态能量图(GEI-Gait Energy Image)，活动能量图(AEI-Active Energy Image),仿射矩不变(AMI-Affine Moment Invariant)等。从而建立一个任意视角下的步态特征集合数据库。

以上的内容描述了本发明是如何在训练阶段，通过多段多摄像系统影像，构造三维统计人体模型和运动模型，并如何产生一个任意视角下的步态特征集合数据库。

图2给出了本发明如何通过一段或多段目标对象的视频，通过训练集数据库产生一个目标对象的独有的三维人体模型和三维人体运动模型以及任意视角下的步态特征集合。

目标对象的视频可以理解为犯罪份子在作案现场留下的影像信息。首先，在监视视频中提取目标对象的步态轮廓二值图序列，并提取步态特征。这些步态特征与数据库中的步态特征做比较，从而找出最佳匹配的视角，三维统计模型和运动模型等。然后，通过调整三维统计模型和运动模型的参数，来最佳匹配目标对象的步态特征，从而获得了目标对象独特的三维人体模型和三维人体运动模型。虚拟相机对目标对象的三维模型投影，可以产生任意角度下的目标对象的二值轮廓图序列，并构建目标对象的任意视角下的步态特征集合。

图3给出了本发明在搜索阶段的算法流程图。首先，提取视频中所有人的步态轮廓二值图序列。然后提取每个人的步态特征集合，与目标对象步态特征集合做比较，采用最近标本分类器的方法找出最接近目标步态特征的人，并对他加一分。当整个步态周期分析结束后，得分最高的人，就被认为是目标对象。

本发明所提出的方法可以基于一个比较小的训练集合产生出三维统计模型和运动模型，通过虚拟相机投影，产生任意视角下的二维人体轮廓二值图序列，进而提取出任意角度下的步态特征。通过学习目标对象的影像，更新三维统计模型和运动模型，最佳拟合目标对象的形体特点和步态特点，并产生任意视角下的二维人体轮廓二值图序列，提取目标对象特有的步态特征。最后，在搜索的阶段，通过与目标对象的特有步态特征比较，找出最接近的人，从而锁定目标。

说明书中未阐述的部分均为现有技术或公知常识。本实施例仅用于说明该发明，而不用于限制本发明的范围，本领域技术人员对于本发明所做的等价置换等修改均认为是落入该发明权利要求书所保护范围内。

Claims (5)

1.一种基于自适应三维人体运动统计模型的多视角步态识别方法，其特征在于：该方法包括以下步骤：

步骤1：训练阶段

针对训练集中多段多摄像系统拍摄的视频影像，构造三维人体统计模型和三维人体运动统计模型，产生一个任意视角下的步态特征集合的训练集数据库，所述步骤1包括以下步骤：

步骤1.1：训练集中，对象的运动影像被多个摄像系统拍摄，通过特征匹配技术，在不同摄像系统的每一帧影像上找到对象身上的共同特征点，组成某一个时刻对象的点云；在多摄像系统的连续影像上做多目视觉处理，产生对象的连续运动点云，即四维人体点云；

步骤1.2：对每一时刻的点云数据做点云匹配和聚类分析，分别找出标记人的头部、躯干和四肢的点；通过分析所有的四维点云，获得一个完整的三维人体点云，并基于此建立一个表面光滑的三维网格模型作为人体模型的外壳，即三维人体统计模型；

步骤1.3：通过四维点云的分析，获得人体部分之间的结合部即关节的摆动范围信息，进而获得一个三维人体运动统计模型；

步骤1.4：设置一个虚拟相机，按任意拍摄角度拍摄基于步骤2.2建立的三维人体统计模型和三维人体运动统计模型，通过相机的投影方程，产生任意视角下的人体二维轮廓二值图；

步骤1.5：基于通过上述步骤合成的以及原本的人体二维轮廓二值图，提取各种步态特征，并建立步态特征数据库；

步骤2：学习阶段

针对原型集中一段或多段目标对象的视频，结合训练集数据库产生一个目标对象的三维人体统计模型和三维人体运动统计模型以及任意视角下的步态特征集合；所述步骤2包括以下具体步骤：

步骤2.1，在原型集视频中提取目标对象的步态轮廓二值图序列，并提取步态特征；

步骤2.2，将步骤2.1中提取的目标对象的步态特征与数据库中的步态特征做比较，从而找出最佳匹配的视角；通过调整三维人体统计模型和三维人体运动统计模型的参数，来最佳匹配目标对象的步态特征，从而获得了目标对象的三维人体模型和三维人体运动模型；

假设一共对m段训练集影像做分析，共产生了m个三维人体模型，记作X＝{Xi|i＝1…m}，其中Xi＝{xi1,yi1,zi1,…,xik,yik,zik}，k表示用于表示该三维人体模型的节点数量，计算出平均的三维人体模型，记作X_平均；然后计算每一个三维人体模型和平均三维人体模型的差别，即dXi＝Xi-X_平均，所有的dXi向量构成一个矩阵，记作dX；

其中，三维人体统计模型的定义为：

X＝X_平均+Eb

E是对dX矩阵做PCA(Principal Component Analysis)分析的结果，b是三维模型的参数向量；通过改变参数向量b可以改变三维模型的形状，用于体现人的不同体型；

假设一个步态周期共有n个帧，那么关节j的逐帧摆动角度记作Aj1…Ajn；步态运动是一种可重复的规律运动，因此把Aj视作一种可重复的信号；对Aj做傅立叶变换，转换到功率谱空间，并记作PAj；所有的关节运动角度的功率谱向量组成了一个矩阵，记作K；

三维人体运动统计模型的定义为：

K＝K_平均+Fc

F是K的PCA结果，c是运动模型的参数向量；通过改变参数向量c可以改变三维人体运动统计模型，即改变人的运动方式，包括四肢摆幅；

步骤2.3，通过虚拟相机对目标对象的三维人体模型投影，产生任意角度下的目标对象的二值轮廓图序列，并构建目标对象的任意视角下的步态特征集合；

步骤3：识别阶段

提取测试集视频中每个人的步态特征集合，与目标对象步态特征集合作比较，找出最接近目标步态特征的人。

2.根据权利要求1所述的一种基于自适应三维人体运动统计模型的多视角步态识别方法，其特征在于：步骤1.1具体为：

对训练集中的每一帧影像提取人物，仅对人物区域提取特征点，进行匹配，产生匹配点集合，每一组匹配点即为同一物点在多个影像上的像点；然后基于最小二乘误差最小的原则，通过共线方程组，解算出物点的三维坐标，计算出匹配点集合中所有物方点坐标，产生每一帧人体身上的点云；假设所有的相机都采用相同的速度拍摄，一个完整的步态周期有n帧，则可以获得n个点云，记作P＝{Pi|i＝1…n}。

3.根据权利要求2所述的一种基于自适应三维人体运动统计模型的多视角步态识别方法，其特征在于：步骤1.2具体为：

定义一个三维人体骨骼模型，分为头部、躯干、胳膊上肢、胳膊下肢、大腿、小腿六部分，所有人体组成部分通过圆柱体作为基本模型；通过人体模型对点云的最佳匹配，来确定人体模型参数，并标记每个点所属的人体模型部分；头部和躯干的点云数据因为不存在大的动作变化，采用ICP算法在连续帧上对头部和躯干部做点云匹配，并计算出仿射变换参数，同时通过聚类分析获得四肢对应的云点；这样将所有的n个点云规划到一个坐标系下，产生一个完整的人体模型；人体骨骼模型通过最佳匹配头部和躯干部的融合点云，进一步改进，最终建立一个表面光滑的三维网格模型作为人体模型的外壳。

4.根据权利要求3所述的一种基于自适应三维人体运动统计模型的多视角步态识别方法，其特征在于：步骤1.3具体如下：

由于四肢的部分，在融合点云中呈现出运动的状态，建立运动模型需要引入关节，即连接骨骼模型各部分的地方，对每个关节设定一个合理的自由摆动幅度。

5.根据权利要求1所述的一种基于自适应三维人体运动统计模型的多视角步态识别方法，其特征在于：步骤3具体为：

提取测试集视频中所有人的步态轮廓二值图序列，然后提取每个人的步态特征集合，与目标对象步态特征集合做比较，采用最近标本分类器的方法找出最

接近目标步态特征的人，并对他加一分；当整个步态周期分析结束后，得分最高的人，则被认为是目标对象。

Images