CN110751084B - 一种基于行扫描统计向量的步态特征表示和提取方法 - Google Patents

一种基于行扫描统计向量的步态特征表示和提取方法 Download PDF

Info

Publication number
CN110751084B
CN110751084B CN201910987636.2A CN201910987636A CN110751084B CN 110751084 B CN110751084 B CN 110751084B CN 201910987636 A CN201910987636 A CN 201910987636A CN 110751084 B CN110751084 B CN 110751084B
Authority
CN
China
Prior art keywords
gait
line scanning
vector
line
statistical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910987636.2A
Other languages
English (en)
Other versions
CN110751084A (zh
Inventor
王修晖
周潇涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201910987636.2A priority Critical patent/CN110751084B/zh
Publication of CN110751084A publication Critical patent/CN110751084A/zh
Application granted granted Critical
Publication of CN110751084B publication Critical patent/CN110751084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Abstract

本发明公开了一种基于行扫描统计向量的步态特征表示和提取方法，通过逐行扫描每一帧步态轮廓图像得到行扫描统计向量，然后对行扫描统计向量进行相似度分析实现步态周期划分。在此基础上，根据一个周期内的所有行扫描统计向量构造步态能量转移矩阵得到步态特征。与传统的步态能量图及其改进方法相比，通过逐行扫描的策略提取的步态特征，能够更好地反映每个时刻行人各部位的运动属性。同时，通过构造以步态周期为基础的步态能量转移矩阵，能够深入挖掘相邻帧之间的相对关系，为后续的步态识别和行为分析提供依据。

Description

一种基于行扫描统计向量的步态特征表示和提取方法
技术领域
本发明涉及生物特征识别领域，尤其涉及基于行扫描统计向量的步态特征表示和提取方法。
背景技术
在当下流行的视频监控系统中，通过摄像头对行人进行远距离身份识别是一个具有重要应用价值的研究内容。很多公共场所，诸如火车站、活动广场和十字路口等，已经安装了视频监控设施，但是，这些设备目前大多还只是循环记录相关视频数据，难以实现实时预警和联动报警。技术方面的主要原因在于现有的生物特征识别技术难以在远距离场景下有效提取特征和进行身份识别。
目前，能够用于身份识别的生物特征主要包括人脸、指纹、虹膜和步态。其中人脸、指纹和虹膜识别技术在很多领域中已经得到广泛的应用。然而，在远距离场景中，人脸和指纹信息通常无法进行精确采集，因此其应用能力具有很大的局限性。而基于步态的身份识别可以通过分析行人走路的姿态进行身份鉴别，对分辨率要求相对较低，尤其适用于远距离场景；此外，基于步态的身份识别过程中，无需被识别人的特意配合，具有非侵犯性的显著性优势。
但是，和人脸和指纹等生物特征的不同，步态识别需要的特征大多隐藏于一系列的连续步态图像中，需要采集动态特征。目前步态特征提取的主流方法是步态能量图和它的一些改进模型。步态能量图及其改进模型虽然能够在一定程度上刻画出不同行人走路时的时间和空间特性，但是仍然缺乏行之有效的策略，确保能够获取反映不同行人步态本质差异的内在特征。这种不足会严重影响后续步态识别的正确率，从而削弱了步态识别技术的实用性。
发明内容
本发明的目的在于针对现有技术的不足，结合步态特征的特殊性，提供一种基于行扫描统计向量的步态特征表示和提取方法。
本发明的目的是通过以下技术方案来实现的：
一种基于行扫描统计向量的步态特征表示和提取方法，包括以下步骤：
一种基于行扫描统计向量的步态特征表示和提取方法，其特征在于，包括以下步骤：
S1：提取步态轮廓图序列；
对于简单背景或者已有背景图片的步态视频，通过帧间差分法获取步态轮廓序列；对于复杂背景下的步态视频，先采用混合高斯模型进行背景建模，然后进一步通过帧间差分法提取完整的步态轮廓图序列；
S2：将S1得到的步态轮廓图序列中的每一帧进行二值化处理得到二值步态轮廓图，并通过对二值步态轮廓图逐行扫描,得到行扫描统计向量序列V1,V2,…,VM；
S2.1：对每一个步态轮廓图序列中的每一帧进行二值化处理，得到人体区域内部为1，其余区域为0的二值步态轮廓图；
S2.2：对S2.1得到的二值步态轮廓图进行逐行扫描，统计每行中值为1的像素点的个数，生成行扫描统计向量序列V1,V2,…,VM；
S3:针对S2.2得到的行扫描统计向量序列V1,V2,…,VM进行周期相似度分析，实现步态周期划分，从而得到以步态周期为基础的行扫描统计向量子集I1,I2,…,IN,其中N为一个步态视频中包含的完整步态周期数；
S3.1：计算S2.2得到的每个行扫描统计向量Vi与其后续Q个行扫描统计向量之间的距离，得到D(i,1),D(i,2),…,D(i,P)，其中，i＝1,2,…,P，P<M；
Figure BDA0002237190230000021
其中Vj为Vi的后续行扫描向量,j＝1,2,…,Q；“·”表示两个向量的点乘；“||”表示向量的模。
S3.2：计算S2.2得到的每个行扫描统计向量Vi与其后续Q个行扫描统计向量之间的夹角的余弦值，得到C(i,1),C(i,2),…,C(i,P)；
Figure BDA0002237190230000022
其中，“||”表示向量的模。
S3.3：计算S2.2得到的每个行扫描统计向量Vi与其后续Q个行扫描统计向量之间的相似度，得到B(i,1),B(i,2),…,B(i,P)；
Figure BDA0002237190230000023
S3.4：将S3.3得到的相似度B(i,1),B(i,2),…,B(i,P)从小到大排序，选择最小值对应的行扫描向量V(i,min)作为行扫描统计向量Vi的配对向量,并记录对应的相似度B(i,min)；类似地，可以得到每个行扫描统计向量Vi的配对向量V(1,min),V(2,min),…,V(P,min)，以及相应的相似度B(1,min),B(2,min),…,B(P,min)；
S3.5：将S3.4得到的相似度B(1,min),B(2,min),…,B(P,min)从小到大排序，得到最小值对应的向量Vmin，并选择Vmin对应的帧作为步态周期的起始帧，Vmin的配对向量对应的帧作为步态周期的结束帧，实现步态周期划分,从而得到一系列的周期化行扫描统计向量。
S4：基于S3.5生成的周期化行扫描统计向量，构造步态能量转移矩阵作为最终的步态特征。步态能量转移矩阵的每一列表征人正常行走时特定时刻的步态能量分布特性；步态能量转移矩阵的每一行表征一个步态周期内行人的步态能量转移特性。
进一步地，所述S4中构造步态能量转移矩阵的具体方法为：将一个步态周期内的第1个行扫描统计向量作为步态能量转移矩阵的第1列，第2个行扫描统计向量作为步态能量转移矩阵的第2列，以此类推。
本发明的有益效果在于：本发明根据人类走路状态的内在周期性和不同人走路的本质差异性，设计了一种基于基于行扫描统计向量的步态特征表示和提取方法，利用人走路过程中沿着垂直地面方向的运动特性来提取能反映不同人行走过程中的本质状态差异的步态特征。该方法摒弃了当前主流的步态能量图模型，借助于行扫描统计向量和进一步构造的步态能量转移矩阵，增强了对采集视角变化和其它干扰因素下的步态特征提取和表示的鲁棒性，可在大多数实际应用场景中取得良好的识别效果。
附图说明
图1是本发明的基于行扫描统计向量的步态特征表示和提取方法的流程图；
图2为分别采用本发明的方法与两种现有技术中的步态特征表示方法在CASIADataset B步态数据集下得到的累积匹配曲线图。
图3为分别采用本发明的方法与两种现有技术中的步态特征表示方法在OU-ISIRLP步态数据集下得到的累积匹配曲线图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的基于行扫描统计向量的步态特征表示和提取方法分为四个主要步骤。
1.提取步态轮廓图；
通常是从步态视频中提取步态轮廓图序列，对于简单背景的步态视频，通过帧间差分法获取步态轮廓序列。即，将连续的两帧图像看成矩阵进行减法运算，得到相应的运动差图像(通常是轮廓边缘信息)；然后使用生态学的膨胀和腐蚀操作，以及滤波操作对得到的运动差图像进行修正，得到完整的步态轮廓图像；
对于已知背景图片的步态视频，则直接将视频中的每一帧都与背景图片进行减法运算得到粗糙的步态轮廓图像；然后采用与S1.1相同的后续处理生成完整的步态轮廓图像；
对于复杂背景下的步态视频，需要先采用混合高斯模型进行背景建模，得到在一定时间内有效的动态背景信息；然后基于该动态背景信息，与S1.2类似，进一步通过帧间差分法提取完整的步态轮廓图序列。
本实施例采用中国科学院自动化研究所的CASIA Dataset B步态数据集和日本大阪大学的OU-ISIR LP步态数据集，两个数据集都提供了步态轮廓图数据，尤其是后者直接提供了步态轮廓图数据，因此这里不再讨论步态轮廓图的提取过程。
2.生成行扫描统计向量：
将上一步得到的步态轮廓图序列中的每一帧进行二值化处理得到二值步态轮廓图，并通过对二值步态轮廓图逐行扫描,得到行扫描统计向量序列V1,V2,…,VM。具体包括以下子步骤：
2.1：对每一个步态轮廓图进行二值化处理，得到人体区域内部为1，其余区域为0的二值步态轮廓图；
2.2：对上一步得到的二值步态轮廓图进行逐行扫描，统计每行中值为1的像素点的个数，生成行扫描统计向量；
3.划分步态周期：在上一步得到的行扫描统计向量序列V1,V2,…,VM基础上，进行周期相似度分析，实现步态周期划分，从而得到以步态周期为基础的行扫描统计向量子集I1,I2,…,IN,其中N为一个步态视频中包含的完整步态周期数。具体包括以下子步骤：
3.1：计算每个行扫描统计向量Vi(i＝1,2,…,P；P<M)与其后续Q个行扫描统计向量之间的距离，得到D(i,1),D(i,2),…,D(i,P)。这里的P是一个小于M的值，相当于从前面P帧中，选择一个最优帧作为第一个步态周期的起始帧。
Figure BDA0002237190230000041
其中Vj为Vi的后续行扫描向量,j＝1,2,…,Q；“·”表示两个向量的点乘；“||”表示向量的模。
3.2：计算每个行扫描统计向量Vi(i＝1,2,…,P)与其后续Q个行扫描统计向量之间的夹角的余弦值，得到C(i,1),C(i,2),…,C(i,P)；
Figure BDA0002237190230000042
其中Vj为Vi的后续行扫描向量,j＝1,2,…,Q；“||”表示向量的模。
3.3：计算每个行扫描统计向量Vi(i＝1,2,…,P)与其后续Q个行扫描统计向量之间的相似度，得到B(i,1),B(i,2),…,B(i,P)；
Figure BDA0002237190230000043
其中，j＝1,2,…,Q。
3.4：将上一步得到的相似度B(i,1),B(i,2),…,B(i,P)从小到大排序，选择最小值对应的行扫描向量V(i,min)作为行扫描统计向量Vi的配对向量,并记录对应的相似度B(i,min)；类似地，可以得到每个行扫描统计向量Vi(i＝1,2,…,P)的配对向量V(1,min),V(2,min),…,V(P,min)，以及相应的相似度B(1,min),B(2,min),…,B(P,min)；
3.5：将上一步得到的相似度B(1,min),B(2,min),…,B(P,min)从小到大排序，得到最小值对应的向量Vmin，并选择Vmin对应的帧作为步态周期的起始帧，Vmin的配对向量对应的帧作为步态周期的结束帧，实现步态周期划分,从而得到一系列的周期化行扫描统计向量。
4.构造步态能量转移矩阵：基于上一步生成的周期化行扫描统计向量，构造步态能量转移矩阵作为最终的步态特征。步态能量转移矩阵的每一列表征了人正常行走时特定时刻的步态能量分布特性；步态能量转移矩阵的每一行表征了一个步态周期内行人的步态能量转移特性。
在提取了步态特征之后，为了比较不同步态特征表示形式对不同人步态的区分能力，我们分布将本发明方法以及另外两种对比方法提取的步态特征输入到同样配置的KNN分类器，得到相应的识别率进行比较。
下面基于中国科学院自动化研究所的CASIA Dataset B步态数据集和日本大阪大学的OU-ISIR LP步态数据集，分别采用本发明的步态识别方法与如下两种现有技术中的方法进行步态识别：
(1)GEI方法(Ju Han,Bir Bhanu,“Individual Recognition Using Gait EnergyImage”,IEEE Transactions on Pattern Analysis And Machine Intelligence,2006)；
(2)ff-GEI方法(Xiuhui Wang,Wei Qi Yan,“Human Gait Recognition Based onFrame-by-Frame Gait Energy Images and Convolutional Long Short Term Memory”,International Journal of Neural Systems,2019)；
绘制本文方法和上述两种方法得到的累积匹配曲线图(Cumulative MatchCharacteristic,CMC)，如图2和图3所示。其中CASIA Dataset B步态数据集使用了正常行走条件下的全部视角数据，并且训练集和测试集各占50％；OU-ISIR LP步态数据集使用了子集A用作训练集，子集B用作测试集。从中可以看出，在两种公开的大规模步态数据集上，本发明方法都具有更高的识别率。

Claims (2)

1.一种基于行扫描统计向量的步态特征表示和提取方法，其特征在于，包括以下步骤：
S1：提取步态轮廓图序列；
对于简单背景或者已有背景图片的步态视频，通过帧间差分法获取步态轮廓序列；对于复杂背景下的步态视频，先采用混合高斯模型进行背景建模，然后进一步通过帧间差分法提取完整的步态轮廓图序列；
S2：将S1得到的步态轮廓图序列中的每一帧进行二值化处理得到二值步态轮廓图，并通过对二值步态轮廓图逐行扫描,得到行扫描统计向量序列V1,V2,…,VM；
S2.1：对每一个步态轮廓图序列中的每一帧进行二值化处理，得到人体区域内部为1，其余区域为0的二值步态轮廓图；
S2.2：对S2.1得到的二值步态轮廓图进行逐行扫描，统计每行中值为1的像素点的个数，生成行扫描统计向量序列V1,V2,…,VM；
S3:针对S2.2得到的行扫描统计向量序列V1,V2,…,VM进行周期相似度分析，实现步态周期划分，从而得到以步态周期为基础的行扫描统计向量子集I1,I2,…,IN,其中N为一个步态视频中包含的完整步态周期数；
S3.1：计算S2.2得到的每个行扫描统计向量Vi与其后续Q个行扫描统计向量之间的距离，得到D(i,1),D(i,2),…,D(i,P)，其中，i＝1,2,…,P，P<M；
其中Vj为Vi的后续行扫描向量,j＝1,2,…,Q；“·”表示两个向量的点乘；“||”表示向量的模；
S3.2：计算S2.2得到的每个行扫描统计向量Vi与其后续Q个行扫描统计向量之间的夹角的余弦值，得到C(i,1),C(i,2),…,C(i,P)；
其中，“||”表示向量的模；
S3.3：计算S2.2得到的每个行扫描统计向量Vi与其后续Q个行扫描统计向量之间的相似度，得到B(i,1),B(i,2),…,B(i,P)；
S3.4：将S3.3得到的相似度B(i,1),B(i,2),…,B(i,P)从小到大排序，选择最小值对应的行扫描向量V(i,min)作为行扫描统计向量Vi的配对向量,并记录对应的相似度B(i,min)；类似地，可以得到每个行扫描统计向量Vi的配对向量V(1,min),V(2,min),…,V(P,min)，以及相应的相似度B(1,min),B(2,min),…,B(P,min)；
S3.5：将S3.4得到的相似度B(1,min),B(2,min),…,B(P,min)从小到大排序，得到最小值对应的向量Vmin，并选择Vmin对应的帧作为步态周期的起始帧，Vmin的配对向量对应的帧作为步态周期的结束帧，实现步态周期划分，从而得到一系列的周期化行扫描统计向量；
S4：基于S3.5生成的周期化行扫描统计向量，构造步态能量转移矩阵作为最终的步态特征；步态能量转移矩阵的每一列表征人正常行走时特定时刻的步态能量分布特性；步态能量转移矩阵的每一行表征一个步态周期内行人的步态能量转移特性。
2.根据权利要求1所述的基于行扫描统计向量的步态特征表示和提取方法，其特征在于，所述S4中构造步态能量转移矩阵的具体方法为：将一个步态周期内的第1个行扫描统计向量作为步态能量转移矩阵的第1列，第2个行扫描统计向量作为步态能量转移矩阵的第2列，以此类推。
CN201910987636.2A 2019-10-17 2019-10-17 一种基于行扫描统计向量的步态特征表示和提取方法 Active CN110751084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910987636.2A CN110751084B (zh) 2019-10-17 2019-10-17 一种基于行扫描统计向量的步态特征表示和提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910987636.2A CN110751084B (zh) 2019-10-17 2019-10-17 一种基于行扫描统计向量的步态特征表示和提取方法

Publications (2)

Publication Number Publication Date
CN110751084A CN110751084A (zh) 2020-02-04
CN110751084B true CN110751084B (zh) 2023-04-18

Family

ID=69278634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910987636.2A Active CN110751084B (zh) 2019-10-17 2019-10-17 一种基于行扫描统计向量的步态特征表示和提取方法

Country Status (1)

Country Link
CN (1) CN110751084B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014194620A1 (zh) * 2013-06-04 2014-12-11 北京大学深圳研究生院 图像特征提取、训练、检测方法及模块、装置、系统
CN107451594A (zh) * 2017-07-13 2017-12-08 中国计量大学 一种基于多元回归的多视角步态分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102462076B1 (ko) * 2018-01-08 2022-11-03 한국전자통신연구원 음악 검색 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014194620A1 (zh) * 2013-06-04 2014-12-11 北京大学深圳研究生院 图像特征提取、训练、检测方法及模块、装置、系统
CN107451594A (zh) * 2017-07-13 2017-12-08 中国计量大学 一种基于多元回归的多视角步态分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘复星 ; 魏金津 ; 任女尔 ; .基于深度学习的代码克隆检测技术研究.电脑知识与技术.2018,(18),全文. *
陈实 ; 田玉敏 ; 黄万红 ; 高有行 ; .用时变模板自动识别行人的步态.西安电子科技大学学报.2007,(04),全文. *

Also Published As

Publication number Publication date
CN110751084A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
CN110084156B (zh) 一种步态特征提取方法及基于步态特征的行人身份识别方法
Wang et al. Silhouette analysis-based gait recognition for human identification
Kliper-Gross et al. Motion interchange patterns for action recognition in unconstrained videos
Barbosa et al. Re-identification with rgb-d sensors
CN101587541B (zh) 基于人体轮廓的人物识别方法
Rekik et al. A new visual speech recognition approach for RGB-D cameras
Boulgouris et al. Gait recognition using linear time normalization
Bashir et al. Feature selection on gait energy image for human identification
Tanawongsuwan et al. Modelling the effects of walking speed on appearance-based gait recognition
CN101697197B (zh) 一种基于典型相关分析空间超分辨率的人脸识别方法
CN103942577A (zh) 视频监控中基于自建立样本库及混合特征的身份识别方法
CN106128121B (zh) 基于局部特征分析的车辆排队长度快速检测算法
CN102289672A (zh) 红外步态双信道特征融合识别方法
Chunli et al. A behavior classification based on enhanced gait energy image
CN108921062B (zh) 一种联合多步态特征协同字典的步态识别方法
Khan et al. Multiple human detection in depth images
Li et al. Dynamic long short-term memory network for skeleton-based gait recognition
Muchtar et al. A unified smart surveillance system incorporating adaptive foreground extraction and deep learning-based classification
CN113011399A (zh) 基于生成协同判别网络的视频异常事件检测方法及系统
Lobachev et al. Machine learning models and methods for human gait recognition
CN104331700A (zh) 基于轨迹能量扩散图的组行为识别方法
CN110751084B (zh) 一种基于行扫描统计向量的步态特征表示和提取方法
Zhang et al. Gender recognition based on fusion on face and gait information
Hong et al. Gait recognition using multi-bipolarized contour vector
CN116012949A (zh) 一种复杂场景下的人流量统计识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant