CN101290658A - 一种基于步态的性别识别方法 - Google Patents

Abstract

本发明公开一种基于步态的性别识别方法，包括训练和识别两个过程，包括步骤：对已经标好性别的步态视频序列进行特征提取，对提取的特征进行训练并建模，获得性别分类模型参数；对含有行人的视频或者摄像头数据进行特征提取，将提取的特征输入到训练得到的模型，获得视频中行人的性别。基于步态的性别识别对于提高下一代智能监控系统对监控场景的理解能力具有很重要的意义。用于智能视觉监控系统，帮助监控系统识别场景中人的性别，使得监控系统能真正理解场景中正在发生什么，而且可以根据不同的性别采取不同的安全级别；用于步态识别中的人的粗分类，判断人的性别，性别中搜索行人身份；用于分析顾客对特定产品或者特定娱乐项目喜好。

Description

一种基于步态的性别识别方法

技术领域

本发明属于模式识别领域，涉及图像处理和计算机视觉等技术，特别是涉及基于步态的性别识别。

背景技术

随着技术的发展以及硬件设备价格的逐渐降低，大量的监控摄像头被安装到各种场合，特别是那些对安全要求敏感的场合，如机场、社区、银行、停车场、军事基地等。动态场景的视觉监控是近年来备受关注的前沿研究方向，它从摄像机捕捉的图像序列中检测、识别、跟踪目标并对其行为进行理解。尽管目前作为人类视觉延伸的监控摄像机在商业应用中已经普遍存在，但目前的监控系统一般只能录相用于事后取证，而不能实时的分析视频数据并实时报警。因此，开发出具有实际意义的自动性、智能性的视觉监控系统日益变得迫切和必要。这就要求不仅能用摄像机代替人眼，而且能用计算机协助人、代替人，以完成监视或控制任务。

性别是人在社会活动中的一个很重要的特征，人一般可以很准确的从比较远的距离判断出其他人的性别。但对计算机来说，远距离识别出一个人的性别是一个很困难的问题。

用于性别识别的生物特征目前有脸像、语音和步态等。基于脸像和声音进行性别识别已经进行了相对广泛的研究。不过脸像有时可能被隐藏，或者在距离比较远时呈现较差的分辨率而难以辨认；使用语音的问题是语音易于受到噪声的影响。目前已有的基于步态的性别识别方法基本上采用在人体的各个部位贴标志块，或者建立人体模型来提取特征。

发明内容

现有技术基于步态的性别识别是在人体上贴标志块的方法需要用户的高度配合，且对用户带来不便，只可以在实验室条件下使用，无法推广到一般的应用中；建立人体模型的方法往往具有比较高的计算复杂度，而且很难稳定地将每一帧建立模型，为了解决现有技术的问题，本发明的目的是提供一种基于步态的性别识别方法。

为了实现上述目的，本发明提供的基于步态的远距离性别识别方法，基于视频，并包括性别训练和性别识别两个过程，步骤如下：

性别训练步骤S1：对已经标好性别的步态视频序列进行特征提取，对提取的特征进行训练并建模，获得性别分类模型参数；

性别识别步骤S2：对含有行人的视频或者摄像头数据进行特征提取，将提取的步态特征输入到步骤S1训练得到的模型，获得视频中行人的性别。

根据本发明的实施例，所述训练步骤S1如下：

步骤S11：对视频数据库中的步态序列经过前景检测和分割后，提取出人体轮廓并将轮廓归一化到相同的高度；

步骤S12：通过人在行走时的轮廓宽度变化，计算出步态周期；

步骤S13：对一个步态周期内的轮廓计算，求得平均轮廓图像；

步骤S14：对平均轮廓图像特征通过主成分分析法进行降维，获得投影矩阵，并用投影矩阵将平均轮廓投影到另一空间，获得投影系数特征；

步骤S15：将投影系数特征输入支持向量机进行训练，获得基于支持向量机的性别模型参数并将次参数保存。

根据本发明的实施例，所述识别步骤S2如下：

步骤S21：对摄像头数据或者视频文件中的步态序列经过前景检测和分割后，提取出人体轮廓并将轮廓归一化到相同的高度；

步骤S22：通过人在行走时的轮廓宽度变化，计算出步态周期；；

步骤S23：对一个步态周期内的轮廓计算，求得平均轮廓图像；

步骤S24：使用步骤S14中获得到投影矩阵，将平均轮廓投影到另一空间，获得投影系数特征；

步骤S25：载入步骤15中获得的模型，并将投影系数特征输入识别模块，得到当前行人的性别。

根据本发明的实施例，所述提取步态特征并进行训练，获得性别分类模型用于性别识别。

根据本发明的实施例，所述识别，是使用平均轮廓图像作为特征进行性别识别，平均轮廓是通过对一个步态周期内的所有人体轮廓进行平均所得。

根据本发明的实施例，所述步态周期，是使用轮廓的宽度向量的自相关系数计算步态周期；将一个轮廓的最宽处的宽度定为此轮廓的宽度，一个视频序列中的所有轮廓宽度形成一个向量，对这个向量计算自相关系数，获得步态周期。

根据本发明的实施例，在性别识别中，是使用主元分析法对平均轮廓图像进行降维。

根据本发明的实施例，在性别识别中，是使用支持向量机对特征进行训练，获得能够分辨性别的模型。

本发明的方法，步态在远距离的情况下可以突出它的优越性，在远距离情况下步态的可感知性、非侵犯性、非接触性的优点，使它可以用于远距离的性别识别。本发明的方法与其他的基于标记点跟踪或者模型的方法不同，本发明的方法以视频为输入源，对视频中的行人轮廓图像进行分析，达到性别识别的目的。本发明的方法易于实现和应用。基于步态的性别识别可以从较远距离来识别人的性别，而且无需被识别人的配合。基于步态的性别识别可以应用于如下方面：

(1)用于智能视觉监控系统，帮助监控系统识别场景中人的性别，使得监控系统能真正理解场景中正在发生什么，而且可以根据不同的性别采取不同的安全级别；

(2)用于步态识别中的人的粗分类，先判断出人的性别，然后只在此性别中搜索行人身份，可以减小算法的搜索空间；

(3)商场、游乐场等场合的性别统计，用于分析顾客对特定产品或者特定娱乐项目喜好等。

附图说明

图1示出基于步态的性别识别算法的流程框图，包括训练和识别两个部分。

图2示出人体轮廓的分割结果示例。

图3示出归一化后的人体轮廓。

图4示出一个步态视频中的人体轮廓宽度向量。

图5示出一个步态视频中的人体轮廓宽度向量的自相关系数。

图6示出步态平均轮廓。

具体实施方式

下面结合附图详细说明本发明技术方案中所涉及的各个细节问题。应指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。

基于步态的性别识别对于提高监控系统对监控场景的理解能力，提升步态识别系统的识别能力具有很重要的作用。利用步态平均轮廓法，本发明实现了一个基于步态的远距离性别识别系统；如图1示出基于步态的性别识别方法的流程框图，包括训练和识别两个部分：

所述的训练过程包括步骤：对已标注性别的步态视频序列，进行人体轮廓分割和归一化；步态周期计算以及视频序列切分；平均轮廓计算；主成分分析法降维；使用支持向量机进行训练。

所述的识别过程包括步骤：对摄像头数据或者视频文件中的步态序列经过前景检测和分割后，人体轮廓分割和归一化；步态周期计算以及视频序列切分；平均轮廓计算；对特征进行投影实现降维；载入训练阶段得到的模型进行性别识别。

本发明的方法需要的硬件最低配置为：P43.0G CPU，512M内存的计算机；最低分辨率为320×240的监控摄像头；帧率为25帧每秒的视频采集卡。在此配置水平的硬件上，采用C++语言编程实现本方法，可以达到实时识别的效果。

下面对本发明的方法涉及的关键步骤进行逐一详细说明，与本发明的方法中的基本步骤相同，具体形式如下所述：

首先，是人的轮廓分割以及归一化：

要分析人的步态，第一步应该是从背景中把人分离出来，这是关键性的一步。由于摄像机是固定的，因此背景是静止的，人是运动的。运动区域(前景)的检测可以使用混合高斯模型方法。混合高斯模型目前被广泛应用于背景建模，有比较稳定的性能。

通过混合高斯模型方法得到的前景图像中，往往有一些噪声点以及一些空洞。使用形态学操作来过滤噪声点，通过一次腐蚀操作和一次膨胀操作，可以消除噪声点和小的空洞。如附图2a示出的背景图像，如图2b示出的原始图像，如图2c示出的混合高斯模型检测到的前景，以及如图2d示出的噪声去除后的前景图。

提取的人的轮廓图像的大小跟视频帧的大小一样，是320×240。由于轮廓图像中实际轮廓的大小跟人到摄像机的距离有关，距离摄像机越近，轮廓越大，为了去除这种影响，将图像中的轮廓保持长宽比归一化到240像素高度，并将轮廓置于一240×240大小图像的中间位置，如附图3示出的归一化后的人体轮廓。

其二，是步态周期的检测：

步态行为可以近似视作周期运动，每一个步态周期以一脚触地瞬间作为周期的开始，以同一脚再次触地作为步态周期的结束。在步态视频序列处理中，通常把视频序列切分为单独的步态周期再进行特征提取。

在从侧面视角拍摄的步态视频中，人体轮廓的宽度随着人的行走有近似周期性变化。记视频序列里第i帧里的轮廓的宽度为w_i，则整个序列的轮廓宽度可以记为向量：

W＝[w₁，w₂，…，w_M]          (1)

其中M为视频中的帧数。附图4示出一个步态视频中的人体轮廓宽度向量W，显示了某个视频的序列人体轮廓宽度向量变化情况，横坐标为时间，纵坐标为宽度值。宽度向量容易受到噪声影响，直接用于检测步态周期稳定性不足。但是可以计算W的自相关系数R：

R＝[r₁，r₂，…，r_M-1]        (2)

$r_1=\frac{1}{M-i-k+1}\underset{k}{\overset{M-i}{\mathrm{\Σ}}}{w}_k\·w_{k+i}---\left(3\right)$

从附图5示出一个步态视频中的人体轮廓宽度向量的自相关系数R，可以看出，R曲线比W曲线更加平滑，周期点更容易确定。对于帧率为25FPS的视频，步态周期一般在23-31帧之间，我们在[r₂₁，r₂₂，…，r₃₃]里取最大值记为r_T，r_T的下标T则为这个序列的步态周期长度。

计算出步态周期T后，一个步态序列就可以被切分成几个步态周期。

其三，是步态平均轮廓特征的计算：

从主观上来讲，确定一个人的性别可以根据人的体型特征和运动特征。从体型上来讲，男性一般肩宽髋窄，女性一般肩窄髋宽，而且在身体曲线上也有所不同；从运动特征上来讲，男性行走时肩部晃动的幅度一般比女性大，而女性一般髋部晃动幅度要比男性大。步态平均轮廓被附图7示出用来描述不同性别的形状特征和运动特征，图中等号左边为某个步态周期内身体轮廓，等号右边为计算出的步态平均轮廓。它能表现出一个人的体型，对于前景检测引起的人体轮廓部分缺失和多余有比较好的稳定性；平均图像上每一点的像素值表示了在这一点轮廓出现的频率，可以部分地表达动态信息。

将一整个周期内的轮廓图像记作[I₁，I₂，…，I_T]，步态的平均轮廓图像被定义为：

$F=\frac{1}{T}\underset{i=1}{\overset{T}{\mathrm{\Σ}}}{I}_i---\left(4\right)$

平均轮廓图位置(x，y)的值F(x，y)表示轮廓在这个位置出现的频率。在后面的阶段，这个特征将被用来训练和识别。

其四，是用主元分析法进行特征压缩：

平均轮廓图像的大小为240×240，所以特征的维数为57600，如此高的维数会带来巨大的计算代价，因此需要将特征从高维空间映射到低维空间。主元分析法可以实现降维，而且能够保证大部分信息不丢失。

假如有s个训练类别，每个类别代表一个人的步态模式所形成的一个原始平均轮廓图像。每个人的多个步态序列可以随意地增加而不需要更改下述基于主元分析的训练过程。

令F_i，j是类i的第j个平均轮廓图像，且用一向量，而不是矩阵来表示此图像。N_i是类i的平均轮廓图像数，则总的训练样本数为：N_t＝N₁+N₂+...+N_s，整个训练集为[F_1，1，F_1，2，...，F_1，N1，F_2，1，...，F_s，N_s]，该训练集的均值m_d和全局方差矩阵∑为：

$m_d=\frac{1}{N_t}\underset{i=1}{\overset{s}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_t}{\mathrm{\Σ}}}{F}_{i,j}---\left(5\right)$

$\mathrm{\Σ}=\frac{1}{N_t}\underset{i=1}{\overset{s}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_t}{\mathrm{\Σ}}}(F_{i,j}-m_d){(F_{i,j}-m_d)}^T---\left(6\right)$

如果矩阵∑的秩是N，则利用奇异值分解理论能够得出N个非零特征值λ₁，λ₂，…，λ_N(λ₁≥λ₂≥…≥λ_N)及其对应的特征向量e₁，e₂，…，e_N。

一般而言，前面几个较大的特征值对应的特征向量相应于训练模式的较大变化，而更高阶的特征向量代表着小的变化。出于对存储和计算的有效性考虑，我们使用一个阈值T_s来忽略那些小的特征值及其对应的特征向量：

$W_k=\frac{\underset{i=1}{\overset{k}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i}{\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&lambda;}}_i}<T_s---\left(7\right)$

其中，W_k是前k(k＜N)个特征值的累积方差。选择k个最大的特征值所对应的特征向量，我们可以构建特征变换矩阵E为[e₁，e₂，…，e_k]，则每个平均轮廓图像F_i，j在特征空间中将投影为：P_i，j：

P_i，j＝[e₁e₂…e_k]^TF_i，j    (8)

主元分析法极大地降低了样本的维数，因为它仅需保留k个最有效的主特征分量来表达原始的样本。通过实验，我们发现k＝10可以达到很好的效果，这样特征就从240×240＝57600维的空间降到10维空间。

最后，是利用支持向量机训练和识别：

支持向量机(Support Vector Machines)在统计学习理论上发展起来的一种新的方法。支持向量机的基本思想是通过非线性映射，把样本空间映射到一个高维乃至无穷维的特征空间，使得在特征空间中可以应用线性学习机的方法解决样本空间中的高度非线性的分类和回归问题。支持向量机能较好地解决小样本、非线性、高维数和局部极小点等实际问题。

对于上一步通过主元分析法提取的特征P，首先将每一个维度的特征值线性归一化到[0，1]区间：

$p^{\&prime;}\left(i\right)=\frac{p\left(i\right)}{\underset{j}{\max }\left(p\left(j\right)\right)-\underset{j}{\min }\left(p\left(j\right)\right)}---\left(9\right)$

使用支持向量机的关键步骤是选择核函数，有多种核函数可以选择，比如线性、多项式、径向基函数和sigmod等。通过比较实验，发现径向基函数(RBF)具有最好的识别率，因此，选用径向基函数进行训练和识别。

为了验证算法有效性，使用CASIA步态数据库对提出的算法进行了测试。CASIA步态数据库是由中科院自动化所创建的一个共享数据库，用户评测步态算法，目前已经被国际上多家研究单位采用。CASIA步态数据库包含124人，其中男性93人，女性31人。提取男女各31人，每个人6个视频序列进行算法测试，正确识别率为93.55％。该算法的识别率优于采用其他特征(原始平均轮廓法，原始外轮廓线，外轮廓线的PCA系数以及外轮廓线的关键傅立叶系数)或者其他分类器(k紧邻分类器和正态贝叶斯分类器)的算法。

实施例子如下：

整个基于步态的性别识别方案主要包含训练和识别两个过程，为了详细说明该发明的具体实施方式，以某一个用于搜集行人信息的智能监控系统为例说明。这个系统可以记录下监控场景里出现的每一个人，并标出他们的性别。

训练的目的是学习不同性别的人的步态规律。首先我们要收集大量步态视频序列，并标注出里面行人的性别。这些标注了性别的视频用于训练性别识别模型。

训练步骤如下：

步骤S11：对视频数据库中的步态序列经过前景检测和分割后，计算出平均轮廓，提取出人体轮廓并将轮廓归一化到相同的高度；

步骤S12：通过人在行走时的轮廓宽度变化，计算出步态周期；

步骤S13：对一个步态周期内的轮廓计算，求得平均轮廓图像；

步骤S14：对平均轮廓图像特征通过主成分分析法压缩特征到低维空间，获得投影矩阵，并用投影矩阵将平均轮廓投影到另一空间，获得投影系数特征；

步骤S15：将投影系数特征使用径向基函数为核函数输入给支持向量机进行训练，获得基于支持向量机的性别模型参数并将次参数保存。

在识别阶段，将摄像头信号通过采集卡接入计算机，初始阶段的处理跟训练阶段一致，直到得到低维的特征，然后将特征输入到训练阶段所得的基于支持向量机的性别模型进行分类，输出分类结果。程序将分类结果记录下来，或者传给其他的程序。具体识别步骤如下：

步骤S21：对摄像头数据或者视频文件中的步态序列经过前景检测和分割后，提取出人体轮廓并将轮廓归一化到相同的高度；

步骤S22：通过人在行走时的轮廓宽度变化，计算出步态周期；；

步骤S23：对一个步态周期内的轮廓计算，求得平均轮廓图像；

步骤S24：使用步骤S14中获得到投影矩阵，将平均轮廓投影到另一空间，获得投影系数特征；

步骤S25：载入步骤15中获得的模型，并将投影系数特征输入识别模块，得到当前行人的性别。

总之，本发明提出了一种简单有效的基于步态平均轮廓的性别识别方法，图6示出步态平均轮廓。CASIA步态数据库上的试验结果验证了我们算法的有效性。本发明易于实现、性能稳定。本发明能够提高智能监控系统对监控场景的理解能力，是下一代智能监控系统里的关键技术。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (8)

1.一种基于步态的远距离性别识别方法，其特征在于：基于视频，并包括性别训练和性别识别两个过程，如下：

性别训练步骤S1：对已经标好性别的步态视频序列进行特征提取，对提取的特征进行训练并建模，获得性别分类模型参数；

性别识别步骤S2：对含有行人的视频或者摄像头数据进行特征提取，将提取的步态特征输入到步骤S1训练得到的模型，获得视频中行人的性别。

2.按权利要求1所述的基于步态的性别识别方法，其特征在于：所述训练步骤S1如下：

步骤S11：对视频数据库中的步态序列经过前景检测和分割后，提取出人体轮廓并将轮廓归一化到相同的高度；

步骤S12：通过人在行走时的轮廓宽度变化，计算出步态周期；

步骤S13：对一个步态周期内的轮廓计算，求得平均轮廓图像；

步骤S14：对平均轮廓图像特征通过主成分分析法进行降维，获得投影矩阵，并用投影矩阵将平均轮廓投影到另一空间，获得投影系数特征；

步骤S15：将投影系数特征输入支持向量机进行训练，获得基于支持向量机的性别模型参数并将次参数保存。

3.按权利要求1所述的性别识别方法，其特征在于：所述识别步骤S2如下：

步骤S21：对摄像头数据或者视频文件中的步态序列经过前景检测和分割后，提取出人体轮廓并将轮廓归一化到相同的高度；

步骤S22：通过人在行走时的轮廓宽度变化，计算出步态周期；；

步骤S23：对一个步态周期内的轮廓计算，求得平均轮廓图像；

步骤S24：使用步骤S14中获得到投影矩阵，将平均轮廓投影到另一空间，获得投影系数特征；

步骤S25：载入步骤15中获得的模型，并将投影系数特征输入识别模块，得到当前行人的性别。

4.按权利要求1所述的性别识别方法，其特征在于：所述提取步态特征并进行训练，获得性别分类模型用于性别识别。

5.按权利要求1或3所述的性别识别方法，其特征在于：所述识别，是使用平均轮廓图像作为特征进行性别识别，平均轮廓是通过对一个步态周期内的所有人体轮廓进行平均所得。

6.按权利要求2或3所述的性别识别方法，其特征在于：所述步态周期，是使用轮廓的宽度向量的自相关系数计算步态周期；将一个轮廓的最宽处的宽度定为此轮廓的宽度，一个视频序列中的所有轮廓宽度形成一个向量，对这个向量计算自相关系数，获得步态周期。

7.按权利要求1所述的性别识别方法，其特征在于：在性别识别中，是使用主元分析法对平均轮廓图像进行降维。

8.按权利要求1所述的性别识别方法，其特征在于：在性别识别中，是使用支持向量机对特征进行训练，获得能够分辨性别的模型。

Images