CN108537144A - 一种多维人体步态识别方法与设备 - Google Patents

Abstract

本申请实施例提供的一种多维人体步态识别方法与设备，通过获取人体步态信息，人体步态信息包括步态视频和电磁波回波步态信号；将步态视频和电磁波回波步态信号在时间维度上进行同步；提取步态视频中的视频关键帧；提取视频关键帧的特征分量与视频关键帧时间同步的电磁波回波步态信号的时频特征的主成分分量，将特征分量和主成分分量组合为多维特征分量；将多维特征分量与数据库中的人体步态特征进行匹配，对人体步态信息对应的人物的身份进行识别。由于获取的人体步态信息包括多个维度，并对获取到的人体步态信息进行特征提取，并组合为多维特征分量，利用多维特征分量与数据库中预先存储的人体步态特征进行匹配，提高了步态识别的结果的准确率。

Description

一种多维人体步态识别方法与设备

技术领域

本申请涉及基于生物特征的身份识别认证技术领域，尤其涉及一种多维人体步态识别方法与设备。

背景技术

步态是指人体行走时的方式，这是一种复杂的行为特征，与人体的肌肉、骨骼等生理结构以及长期形成的动作习惯息息相关，人体的外貌特征可能会因为部分原因而改变(比如，化妆)，但是，人体走路的姿势却很难改变或者伪装。

步态识别是一种新兴的利用生物特征的身份识别技术，旨在通过人体走路的姿态进行身份识别，与其他的生物识别技术相比，步态识别具有可以非接触远距离实施和不容易伪装的优点。在智能视频监控领域，比面部图像识别更具优势。

现有的步态识别技术包括基于视频图像的步态识别以及基于电磁回波的步态识别。基于视频图像的步态识别用摄像机拍摄图像，从中去除背景，提取人物行走画面，识别人物行走特征。基于电磁回波的步态识别是通过雷达向人体目标发射电磁波，并且接收反射回波，由于多普勒效应，回波信号的载频由于人体手臂、腿部的运动而富含复杂的时频特征，可以基于这一时频特征反映人体的步态特征，进而实现识别。

不过，现有技术中的步态识别技术还不成熟，例如，视频步态识别与光照条件、拍摄距离和角度、背景干扰程度等因素的关系密切，如果图像质量不佳、人物画面显示不清晰以及背景复杂，识别的精确度会明显下降，特别是人物着装宽大、携带物品时对步态识别也会产生明显的影响；基于雷达回波的步态识别中，回波是非常复杂的时变信号，步态特征体现为比较细微的频谱分布差别，造成特征提取识别的难度比较大，所需软硬件负荷都比较重，目前只是在军事等特殊领域有应用。总之，现有步态识别的结果的准确率较低，目前在实际应用当中难以真正实现根据人体的步态准确识别人体的身份。

发明内容

有鉴于此，本申请的目的在于提出一种多维人体步态识别方法与设备，来解决现有技术中视频或雷达回波等单一维度步态识别存在的结果准确率低、鲁棒性差、实现难度大等的技术问题。

基于上述目的，在本申请的一个方面，提出了一种多维人体步态识别方法，包括：

获取人体步态信息，所述人体步态信息包括步态视频和电磁波回波步态信号；

将所述步态视频和所述电磁波回波步态信号在时间维度上进行同步；

提取所述步态视频中的视频关键帧；

提取所述视频关键帧的频域特征分量，以及，与所述视频关键帧时间同步的电磁波回波步态信号的时频特征的主成分分量，将所述频域特征分量和所述主成分分量组合为多维频域特征分量；

将所述多维频域特征分量与数据库中预先存储的多维人体步态特征进行匹配，对所述人体步态信息对应的人物的身份进行识别。

在一些实施例中，所述提取所述步态视频中的视频关键帧包括：

从所述步态视频的每帧视频画面中提取运动区域，判断所述运动区域是否为人体区域；

当所述运动区域为人体区域时，对所述人体区域进行归一化缩放；

根据归一化缩放后的人体区域的外接矩形的宽度变化，选取宽度最大的帧和宽度最小的帧作为关键帧。

在一些实施例中，所述提取所述视频关键帧的频域特征分量，包括：

提取所述视频关键帧中的运动人体区域的边界轮廓，利用傅里叶变换将所述边界轮廓转换为频域特征，提取转换后的频域特征的特征分量。

在一些实施例中，所述判断所述运动区域是否为人体区域包括：

判断所述运动区域的面积是否在第一预设阈值范围内，当所述运动区域的面积在第一预设阈值范围内时，判断所述运动区域的外接矩形的高度与宽度的比值是否在第二预设阈值范围内，当所述运动区域的外接矩形的高度与宽度的比值在第二预设阈值范围内，确定所述运动区域为人体区域。

在一些实施例中，所述判断所述运动区域是否为人体区域包括：

以所述运动区域的重心为原点向所述运动区域的边界引出多个向量，组成向量组，计算所述向量组与预先设定的标准向量组的标准差，判断所述标准差是否小于预设阈值，当所述标准差小于预设阈值时，确定所述运动区域为人体区域。

在一些实施例中，所述步态视频包括可见光步态视频和红外步态视频，其中，所述可见光步态视频为环境光亮度大于预设阈值时由可见光摄像机拍摄的步态视频，所述红外步态视频为环境光亮度小于或等于预设阈值时由红外摄像机拍摄的步态视频。

在一些实施例中，在所述提取所述步态视频中的视频关键帧之前，所述方法还包括：

对所述步态视频进行预处理，包括滤除噪声以及增强视频画面的对比度。

在本申请的另一个方面，提出了一种多维人体步态识别设备，包括：

人体步态信息获取模块，用于获取人体步态信息，所述人体步态信息包括步态视频和电磁波回波步态信号；

步态信息同步模块，用于将所述步态视频和所述电磁波回波步态信号在时间维度上进行同步；

视频关键帧提取模块，用于提取所述步态视频中的视频关键帧；

特征分量提取模块，用于提取所述视频关键帧的频域特征分量，以及，与所述视频关键帧时间同步的电磁波回波步态信号的时频特征的主成分分量，所述特征分量提取模块还用于将所述频域特征分量和所述主成分分量组合为多维频域特征分量；

特征匹配模块，用于将所述多维频域特征分量与数据库中预先存储的多维人体步态特征进行匹配，对所述人体步态信息对应的人物的身份进行识别。

在一些实施例中，所述视频关键帧提取模块具体用于：

从所述步态视频的每帧视频画面中提取运动区域，判断所述运动区域是否为人体区域；

当所述运动区域为人体区域时，对所述人体区域进行归一化缩放；

根据归一化缩放后的人体区域的外接矩形的宽度变化，选取宽度最大的帧和宽度最小的帧作为关键帧。

在一些实施例中，所述特征分量提取模块具体用于：

提取所述视频关键帧中的运动人体区域的边界轮廓，利用傅里叶变换将所述边界轮廓转换为频域特征，提取转换后的频域特征的特征分量。

在一些实施例中，所述视频关键帧提取模块包括第一人体区域判断单元，所述第一人体区域判断单元用于：

判断所述运动区域的面积是否在第一预设阈值范围内，当所述运动区域的面积在第一预设阈值范围内时，判断所述运动区域的外接矩形的高度与宽度的比值是否在第二预设阈值范围内，当所述运动区域的外接矩形的高度与宽度的比值在第二预设阈值范围内，确定所述运动区域为人体区域。

在一些实施例中，所述视频关键帧提取模块包括第二人体区域判断单元，所述第二人体区域判断单元用于：

以所述运动区域的重心为原点向所述运动区域的边界引出多个向量，组成向量组，计算所述向量组与预先设定的标准向量组的标准差，判断所述标准差是否小于预设阈值，当所述标准差小于预设阈值时，确定所述运动区域为人体区域。

本申请实施例提供的一种多维人体步态识别方法与设备，通过获取人体步态信息，所述人体步态信息包括步态视频和电磁波回波步态信号；将所述步态视频和所述电磁波回波步态信号在时间维度上进行同步；提取所述步态视频中的视频关键帧；提取所述视频关键帧的特征分量，以及，与所述视频关键帧时间同步的电磁波回波步态信号的时频特征的主成分分量，将所述特征分量和所述主成分分量组合为多维特征分量；将所述多维特征分量与数据库中预先存储的人体步态特征进行匹配，对所述人体步态信息对应的人物的身份进行识别。由于获取的人体步态信息包括多个维度，并对获取到的人体步态信息进行特征提取，并组合为多维特征分量，利用所述多维特征分量与数据库中预先存储的人体步态特征进行匹配，提高了步态识别的结果的准确率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请实施例的多维人体步态识别方法的流程图；

图2是本申请实施例的多维人体步态识别方法的流程图；

图3是本申请实施例的多维人体步态识别设备的结构示意图；

图4是本申请实施例的多维人体步态识别设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

本申请实施例中的多维人体步态识别方法和设备，用于同时采集和提取多个维度形态的人体步态特征，实现人体身份的识别，通过多维识别提升了计算速度、准确度、鲁棒性，可适用各种场景需求。例如，可以应用于监控系统中，也可以用于考勤系统中。当应用于监控系统中时，可以通过对目标人体进行步态识别以确认所述目标人体的身份，进而实现可疑人员追踪、门禁开放控制等功能。当应用于考勤系统中时，可以根据人体的步态确认人体身份，从而进行自动签到等类似操作。

作为本申请的一个实施例，如图1所示，是本申请实施例一的多维人体步态识别方法的流程图。

本实施例提供的多维人体步态识别方法，包括以下步骤：

S101：获取人体步态信息，所述人体步态信息包括步态视频和电磁波回波步态信号。

在本实施例中，可以通过监控设备获取人体的步态信息，所述人体步态信息包括步态视频和电磁波回波步态信号。所述步态视频信息可以通过视频监控设备拍摄，然后从视频监控设备的数据库中调取。电磁波回波步态信号可以通过步态检测雷达向目标发射电磁波，并接收目标反射的回波；对于运动的目标来说，根据多普勒效应，回波的载频会相对于发射波发生偏移，且载频的偏移与目标的运动速度、方向紧密联系；人体在行走过程中，由于躯干、手臂、腿部不同的运动姿势，因此反射的回波信号中含有细微且丰富的频率特征，可以从该回波信号提取时频特征(即频率随时间的分布特征)，并将提取到的时频特征作为步态信息。即步态信息是由步态视频片段和电磁波回波步态信号构成的多维步态信息。

S102：将所述步态视频和所述电磁波回波步态信号在时间维度上进行同步。

在本实施例中，可以根据所述步态视频和所述电磁波回波步态信号的采集时间，将同一个采集时刻的步态视频与电磁波回波步态信号进行同步，建立同一采集时刻的步态视频与电磁波回波步态信号的映射。具体来说，视频拍摄都会按照固定的帧速率进行(例如每秒采集15帧视频画面)，可以为每一帧视频画面记录其采集时刻，并对每帧视频画面附加时间戳来表示该采集时刻；并且，针对收到的电磁波回波步态信号，将视频帧采集时刻T到下一个视频帧采集时刻T+1这一时间区间内收到的电磁波回波步态信号也附加该采集时刻T对应时间戳，从而在步态视频与电磁波回波步态信号之间建立了时间同步性。

S103：提取所述步态视频中的视频关键帧。

对于本实施例中的步态视频，可以提取视频中的关键帧，以利用图像处理技术对步态视频进行处理；从步态视频提取视频关键帧的步骤可具体参见关于图2的介绍。

S104：提取所述视频关键帧的频域特征分量，以及，与所述视频关键帧时间同步的电磁波回波步态信号的时频特征的主成分分量，将所述特征分量和所述主成分分量组合为多维频域特征分量。

在本实施例中，在S103提取步态视频的视频关键帧后，可以提取视频关键帧的频域特征分量，然后根据前述的步态视频与电磁波回波步态信号时间同步性，提取关键帧同一时刻的电磁波回波步态信号的时频特征的主成分分量，然后将所述特征分量和所述主成分分量组合为多维特征分量，从而用于对所述步态信息进行身份识别。提取视频关键帧频域特征分量、电磁波回波步态信号的时频特征的主成分分量以及组合步态的多维特征分量的过程将在下面予以具体介绍。

S105：将所述多维频域特征分量与数据库中预先存储的人体步态多维特征进行匹配，对所述人体步态信息对应的人物的身份进行识别。

在本实施例中，可以在数据库中预先录入不同人体的人体步态多维特征，进而可以与上述步骤中组成的多维特征分量进行匹配，同时，数据库中还可以存储有与人体步态多维特征对应的身份信息，当所述多维特征分量与所述人体步态多维特征匹配成功时，便可以根据数据库中所述对应的身份信息对步态信息中的人体的身份进行确认，从而实现根据步态信息对人体进行识别。

本实施例的多维人体步态识别方法，由于获取的人体步态信息包括多个维度，并对获取到的人体步态信息进行特征提取，并组合为多维特征分量，利用所述多维特征分量与数据库中预先存储的人体步态特征进行匹配，提高了步态识别的结果的准确率。

如图2所示，上述实施例中提取所述步态视频中的视频关键帧的步骤可以包括：

S201：从所述步态视频的每帧视频画面中提取运动区域，判断所述运动区域是否为人体区域。

在本实施例中，可以对步态视频拍摄区域针对累积的视频画面建立背景模型，对于步态视频的每个视频帧，可以通过与对应于视频帧的背景模型进行差分运算，确定每帧视频画面的运动区域。针对任一步态视频帧P，每个像素的灰度值I_P(x，y)，则相邻两个视频帧P-1和P之间相同位置的像素灰度值绝对差ΔI(x，y)＝|I_P(x，y)-I_P-1(x，y)|，判断ΔI(x，y)是否小于预定的像素绝对差阈值ΔI_T，设置ΔI_T是为了去除噪声给像素值带来的细小变动，如果ΔI(x，y)小于ΔI_T，则将步态视频帧P该像素的灰度值I_P(x，y)记为背景模型像素，对于步态视频帧P，求根据此前P-1帧统计的全部背景模型像素的像素灰度均值，作为背景模型对应的像素灰度值I′(x，y)。当然，也可以采用比较简单的方式，步态视频在时间维度上相邻的两个时间点对应的视频帧进行差分运算，确定每帧视频画面相对于前一帧视频画面的变化区域，并将该变化区域作为运动区域。对所述步态视频中的运动区域与非运动区域进行二值化处理，转为黑白二值化区域：首先，针对任一步态视频帧P，每个像素的灰度值I(x，y)，背景模型对应的像素灰度值I′(x，y)，进而计算步态视频每个像素与背景模型每个像素的像素灰度绝对差值D(x，y)＝|I(x，y)-I′(x，y)|，并求步态视频帧中全部像素的像素灰度绝对差值的中位值以及其中运算符Med表示取中位数；进而，计算二值化阈值其中，α为校正系数，α的经验取值范围为4.15-4.55。根据二值化阈值D_T，将步态视频帧每个像素的像素灰度绝对差值D(x，y)与D_T进行比对，若D(x，y)小于等于D_T则将该像素识别为非运动像素点，像素值取1，若D(x，y)大于D_T则将该像素识别为运动像素点，像素值取0，从而实现了对运动区域的提取和二值化。

对于提取到的运动区域，除人体区域以外，还有可能属于运动的车辆或者动物等，因此需要判断该运动区域是否为人体区域，即判断步态视频的视频帧中是否有人体存在。在本实施例中，判断所述运动区域是否为人体区域可以通过判断运动区域的轮廓与人体区域的轮廓是否吻合进而来判断所述运动区域是否为人体区域。作为本实施例的一个可选的实现方式，所述判断所述运动区域是否为人体区域可以包括：判断所述运动区域的面积S是否在第一预设阈值范围(S_min，S_max)内，即S_min≤S≤S_max，所述第一预设阈值范围(S_min，S_max)可以是预先设定的一个数值范围，该数值范围的最小值S_min可以是人体的侧投影面积值，该数值范围的最大值S_max可以是人体的正投影面积值。为了避免发生判断错误的现象，也可以对该数值范围的最小值和最大值进行适当的缩放，例如，可以对该数值范围的最小值S_min设为人体的侧投影面积值乘上一个小于1的系数，比如0.8，对该数值范围的最大值S_max设为人体的正投影面积值乘上一个大于1的系数，比如1.2。当所述运动区域的面积S在第一预设阈值范围内时，进而判断所述运动区域的外接矩形的高度与宽度的比值H/W是否在第二预设阈值范围(H/W_min，H/W_max)内，当所述运动区域的外接矩形的高度与宽度的比值H/W在第二预设阈值范围(H/W_min，H/W_max)内，确定所述运动区域为人体区域。以上方法利用外接矩形宽高比作为进一步判断条件，避免了将与人体的投影面积的大小接近的物体误判断为人体区域。

作为本实施例的另一个可选的实现方式，所述判断所述运动区域是否为人体区域还包括：以所述运动区域的重心为原点向所述运动区域的边界引出多个向量，组成向量组，计算所述向量组与预先设定的标准向量组的标准差，所述预先设定的标准向量组可以是以人体投影模板的重心为原点向投影边界引出的多个向量，判断所述标准差是否小于预设阈值，当所述标准差小于预设阈值时，确定所述运动区域为人体区域。

S202：当所述运动区域为人体区域时，对所述人体区域进行归一化缩放。

在本实施例中，当通过上述步骤确定所述运动区域为人体区域时，可以将确定出来的人体区域按照一定比例的缩放，使得步态视频的各帧中提取的人体区域转换为标准大小相同。即，可以是使缩放后的人体区域的高度相同。

S203：根据归一化缩放后的人体区域的外接矩形的宽度变化，选取宽度最大的帧和宽度最小的帧作为关键帧。

在本实施例中，当对人体区域按照一定比例进行缩放后，可以做出缩放后人体区域的外接矩形，由于人体区域是运动区域(即人体的动作是在改变的)，因此，人体区域的外接矩形的宽度也是变化的，例如，人体在行走过程中，人体的侧投影的宽度是动态变化的。因此，可以选取宽度最大的人体区域所在的帧和宽度最小的人体区域所在的帧作为关键帧，这样，一方面可以简化运算过程，另一方面可以使得得到的人体步态特征更加明显。

通过本实施例的方法，可以使得提取所述步态视频中的视频关键帧的步骤得到简化，同时，选取的关键帧相对而言更加突出人体的步态特征。

在上述实施例中，所述提取所述视频关键帧的频域特征分量，可以包括：从视频关键帧的二值化图像中，提取所述视频关键帧中的运动人体区域的边界轮廓，由于已经实现了二值化，其中非运动区域像素点的像素值取1，运动区域像素点的像素值取0，因此，如果某个取值为0的像素具有像素值为1的相邻像素点，则将该取值为0的像素定义为轮廓像素；以二值化图像的任一确定的轮廓像素为起点，通过搜索与之相邻的轮廓像素，遍历整个二值化图像，可以获得视频关键帧中的运动人体区域的边界轮廓。利用傅里叶变换将所述边界轮廓转换为频域特征，具体来说，将运动人体区域的N个边界轮廓像素(x，y)表示为复数形式s(k)＝x(k)+jy(k)，k＝1，2...N,对复数形式的N个边界轮廓像素(x，y)进行傅里叶变换如下：

通过傅里叶变换得到N个傅里叶系数S(1)到S(N)，将傅里叶系数的模值排列N维数组S＝[S1、S2...SN]，作为提取出来的转换后的视频关键帧的频域特征分量。

如前文所述，利用时间同步性，可以提取与所述视频关键帧时间同步采集的电磁波回波步态信号，该电磁波回波步态信号是一个时频信号，可以提取该信号时频特征的主成分分量。具体来说，假设雷达发射单频率f₀的电磁波，则所得电磁波回波的时域信号表示为如下形式其中k表示回波强度系数，L表示人体的散射部位总数，人体的左腿、右腿、左臂、右臂、躯干、头部等都可以视之为不同的散射部位，μ_i表示每个散射部位的雷达截面积，τ_i(t)表示每个散射部位的回波延迟。对每个关键帧期间对应的回波时域信号进行N点采样，获得数组将数组进行离散傅里叶变换，即

所得频谱S＝[S(1)、S(2)...S(K)]包括K个特征分量，作为与所述视频关键帧时间同步采集的电磁波回波步态信号时频特征的主成分分量。

可以将步态视频和电磁波回波步态信号中包含的步态特征进行统一，也就是，将视频关键帧的频域特征分量以及与所述视频关键帧时间同步的电磁波回波步态信号的时频特征的主成分分量组合为包括N+K个特征分量的多维频域特征分量，进而用于人体步态对人体的身份进行识别。所述多维特征分量可以表示为{S(i)},i＝1,2…N+K，与数据库中预先存储的人体步态多维特征{S’(i)},i＝1,2…N+K进行匹配，对所述人体步态信息对应的人物的身份进行识别，具体匹配方法是求

如果Dis值小于预先设定的匹配阈值，则表示当前的人体步态与数据库中预先存储的人体步态多维特征匹配，从而可以将数据库预存的人体步态多维特征模板对应的人物身份识别为当前步态的人物身份。

作为本申请的一个可选实施例，所述步态视频包括可见光步态视频和红外步态视频，其中，所述可见光步态视频为环境光亮度大于预设阈值时由可见光摄像机拍摄的步态视频，所述红外步态视频为环境光亮度小于于或等于预设阈值时由红外摄像机拍摄的步态视频。红外视频可以比较准确的反映人体步态的画面，特别是不受人体体外遮挡衣物的影响，因此，当环境光亮度允许的情况下，优先采用红外拍摄的方式取得本申请的步态视频；而当环境光亮度大于阈值时，红外步态视频会收到不利影响，此时则可以采用可见光拍摄的步态视频。

作为本申请的一个可选实施例，上述实施例中，在所述提取所述步态视频中的视频关键帧之前，所述方法还包括：

对所述步态视频进行预处理，包括滤除噪声以及增强视频画面的对比度，从而增加后续处理的准确度。

如图3所示，是本申请实施例的多维人体步态识别设备的结构示意图。在本实施例中，上述多维人体步态识别设备包括：

人体步态信息获取模块301，用于获取人体步态信息，所述人体步态信息包括步态视频和电磁波回波步态信号；

步态信息同步模块302，用于将所述步态视频和所述电磁波回波步态信号在时间维度上进行同步；

视频关键帧提取模块303，用于提取所述步态视频中的视频关键帧；所述视频关键帧提取模块具体用于：从所述步态视频的每帧视频画面中提取运动区域，判断所述运动区域是否为人体区域；当所述运动区域为人体区域时，对所述人体区域进行归一化缩放；根据归一化缩放后的人体区域的外接矩形的宽度变化，选取宽度最大的帧和宽度最小的帧作为视频关键帧。如图4所示，本申请所述视频关键帧提取模块可以包括第一人体区域判断单元401，所述第一人体区域判断单元401，可以用于判断所述运动区域的面积是否在第一预设阈值范围内，当所述运动区域的面积在第一预设阈值范围内时，判断所述运动区域的外接矩形的高度与宽度的比值是否在第二预设阈值范围内，当所述运动区域的外接矩形的高度与宽度的比值在第二预设阈值范围内，确定所述运动区域为人体区域。或者，所述视频关键帧提取模块还可以包括第二人体区域判断单元402，所述第二人体区域判断单元402可以用于以所述运动区域的重心为原点向所述运动区域的边界按照预设的相位差引出多个向量，组成向量组，计算所述向量组与预先设定的标准向量组的标准差，判断所述标准差是否小于预设阈值，当所述标准差小于预设阈值时，确定所述运动区域为人体区域。

特征分量提取模块303，用于提取所述视频关键帧的频域特征分量，以及，与所述视频关键帧时间同步的电磁波回波步态信号的时频特征的主成分分量，所述特征分量提取模块还用于将所述特征分量和所述主成分分量组合为多维频域特征分量；所述特征分量提取模块具体用于：提取所述视频关键帧中的运动人体区域的边界轮廓，利用傅里叶变换将所述边界轮廓转换为频域特征，提取转换后的视频关键帧频域特征分量；以及利用时间同步性，可以提取与所述视频关键帧时间同步采集的电磁波回波步态信号，该电磁波回波步态信号是一个时频信号，可以提取该信号时频特征的主成分分量。

特征匹配模块305，用于将所述多维频域特征分量与数据库中预先存储的人体步态多维特征进行匹配，对所述人体步态信息对应的人物的身份进行识别。

本实施例的多维人体步态识别设备，可以取得与上述多维人体步态识别方法实施例相类似的技术效果，这里不再赘述。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种多维人体步态识别方法，其特征在于，包括：

获取人体步态信息，所述人体步态信息包括步态视频和电磁波回波步态信号；

将所述步态视频和所述电磁波回波步态信号在时间维度上进行同步；

提取所述步态视频中的视频关键帧；

提取所述视频关键帧的频域特征分量，以及，与所述视频关键帧时间同步的电磁波回波步态信号的时频特征的主成分分量，将所述频域特征分量和所述主成分分量组合为多维频域特征分量；

将所述多维频域特征分量与数据库中预先存储的多维人体步态特征进行匹配，对所述人体步态信息对应的人物的身份进行识别。

2.根据权利要求1所述的方法，其特征在于，所述提取所述步态视频中的视频关键帧包括：

从所述步态视频的每帧视频画面中提取运动区域，判断所述运动区域是否为人体区域；

当所述运动区域为人体区域时，对所述人体区域进行归一化缩放；

根据归一化缩放后的人体区域的外接矩形的宽度变化，选取宽度最大的帧和宽度最小的帧作为关键帧。

3.根据权利要求2所述的方法，其特征在于，所述提取所述视频关键帧的频域特征分量，包括：

提取所述视频关键帧中的运动人体区域的边界轮廓，利用傅里叶变换将所述边界轮廓转换为频域特征，提取转换后的频域特征的特征分量。

4.根据权利要求2所述的方法，其特征在于，所述判断所述运动区域是否为人体区域包括：

判断所述运动区域的面积是否在第一预设阈值范围内，当所述运动区域的面积在第一预设阈值范围内时，判断所述运动区域的外接矩形的高度与宽度的比值是否在第二预设阈值范围内，当所述运动区域的外接矩形的高度与宽度的比值在第二预设阈值范围内，确定所述运动区域为人体区域。

5.根据权利要求2所述的方法，其特征在于，所述判断所述运动区域是否为人体区域包括：

以所述运动区域的重心为原点向所述运动区域的边界引出多个向量，组成向量组，计算所述向量组与预先设定的标准向量组的标准差，判断所述标准差是否小于预设阈值，当所述标准差小于预设阈值时，确定所述运动区域为人体区域。

6.根据权利要求1所述的方法，其特征在于，所述步态视频包括可见光步态视频和红外步态视频，其中，所述可见光步态视频为环境光亮度大于预设阈值时由可见光摄像机拍摄的步态视频，所述红外步态视频为环境光亮度小于或等于预设阈值时由红外摄像机拍摄的步态视频。

7.根据权利要求1所述的方法，其特征在于，在所述提取所述步态视频中的视频关键帧之前，所述方法还包括：

对所述步态视频进行预处理，包括滤除噪声以及增强视频画面的对比度。

8.一种多维人体步态识别设备，其特征在于，包括：

人体步态信息获取模块，用于获取人体步态信息，所述人体步态信息包括步态视频和电磁波回波步态信号；

步态信息同步模块，用于将所述步态视频和所述电磁波回波步态信号在时间维度上进行同步；

视频关键帧提取模块，用于提取所述步态视频中的视频关键帧；

特征分量提取模块，用于提取所述视频关键帧的频域特征分量，以及，与所述视频关键帧时间同步的电磁波回波步态信号的时频特征的主成分分量，所述特征分量提取模块还用于将所述频域特征分量和所述主成分分量组合为多维频域特征分量；

特征匹配模块，用于将所述多维频域特征分量与数据库中预先存储的多维人体步态特征进行匹配，对所述人体步态信息对应的人物的身份进行识别。

9.根据权利要求8所述的设备，其特征在于，所述视频关键帧提取模块具体用于：

从所述步态视频的每帧视频画面中提取运动区域，判断所述运动区域是否为人体区域；

当所述运动区域为人体区域时，对所述人体区域进行归一化缩放；

根据归一化缩放后的人体区域的外接矩形的宽度变化，选取宽度最大的帧和宽度最小的帧作为关键帧。

10.根据权利要求9所述的方法，其特征在于，所述特征分量提取模块具体用于：

提取所述视频关键帧中的运动人体区域的边界轮廓，利用傅里叶变换将所述边界轮廓转换为频域特征，提取转换后的频域特征的特征分量。