CN111898533B - 一种基于时空特征融合的步态分类方法 - Google Patents

一种基于时空特征融合的步态分类方法 Download PDF

Info

Publication number
CN111898533B
CN111898533B CN202010750583.5A CN202010750583A CN111898533B CN 111898533 B CN111898533 B CN 111898533B CN 202010750583 A CN202010750583 A CN 202010750583A CN 111898533 B CN111898533 B CN 111898533B
Authority
CN
China
Prior art keywords
gait
image
space
time sequence
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010750583.5A
Other languages
English (en)
Other versions
CN111898533A (zh
Inventor
王修晖
陈彬彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202010750583.5A priority Critical patent/CN111898533B/zh
Publication of CN111898533A publication Critical patent/CN111898533A/zh
Application granted granted Critical
Publication of CN111898533B publication Critical patent/CN111898533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于时空特征融合的步态分类方法，首先对步态视频进行随机稀疏时序采样得到时序步态图像集，并在此基础上，通过对时序增强子网络和残差子网络的输出融合大幅度提升了对空间维度和时间维度上步态信息的提取能力，从而缓解了步态视频采集视角变化和着装不同等因素对步态特征提取的干扰，有效地提升了步态分类的正确率。

Description

一种基于时空特征融合的步态分类方法
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于时空特征融合的步态分类方法。
背景技术
步态作为人类生物特征的重要成员之一，与人脸、指纹、虹膜等其它生物特征相比，具有易于远距离采集、无需被识别对象刻意配合、难以长时间伪装等优点，因此，步态分类是人类身份识别应用领域中的重要技术。然而，由于步态视频采集视角的变化和被识别者着装的差异等因素的影响，基于步态的身份识别仍然面临着诸多挑战，其分类和识别的正确率难以达到实际应用的要求。
发明内容
针对现有的步态分类的不足，本发明提出一种基于时空特征融合的步态分类方法，该方法将深度学习技术融入到步态特征的提取过程中，用以解决步态分类过程中由于视频采集视角变化和着装差异造成的识别率不足的问题。
本发明的目的通过如下的技术方案来实现：
一种基于时空特征融合的步态分类方法，该方法具体包括如下步骤：
S1：根据帧率对输入步态视频进行随机稀疏时序采样，具体如下：
将输入步态视频划分为长度为采样间隔FC的等长图像分组，得到时序步态图像{f1,f2,…,fG}，其中，G为图像分组的个数，FC＝B×F0/FB，B为基准采样间隔，F0为输入步态视频的帧率，FB为基准帧率；
S2：随机抽取图像分组中的一个样本进行如下的预处理：
(1)通过高斯背景建模，对人体区域进行粗略分割；
(2)对粗略分割的人体区域再经过滤波和形态学操作，得到完整的二值化人体区域图像；
(3)将所述的完整的二值化人体区域图像进行规范化处理，即尺寸调整和中心对齐，减少步态图像的类内差异；
S3：对规范化处理后的二值化图像进行时空步态特征的提取，具体如下：
通过时序增强子网络提取时序步态特征：计算相邻时序特征图之间的差异向量来刻画不同人的步态在时间维度上的属性，再将差异向量输入激活函数得到特征图，最后将所得特征图与规范化处理后的二值化图像相乘来增强步态特征的时序信息；
通过残差子网络提取空间步态特征：利用带有短路链接支路的残差子网络提取时序步态图像集中的空间特征；
S4：重复执行S2～S3，分别对时序增强子网络和残差子网络进行离线训练，并采用交叉熵函数分别计算两个子网络的损失，当损失小于设定的损失阈值时，完成训练，得到训练好的两个子网络以及各自的残差；
S5：取两个子网络的残差的倒数作为权重因子，将两个训练好的子网络进行加权平均融合，得到时空步态特征提取融合网络；
S6：对待测试的步态视频执行S1～S3，分别得到两个子网络输出的时序步态特征和空间步态特征，然后输入S5得到的时空步态特征提取融合网络，从而得到输出的步态分类。
进一步地，所述的S2中将完整的二值化人体区域图像进行规范化处理的步骤具体如下：
(1)在保持图像纵横比不变的前提下，对人体区域进行平移操作，以人体躯干部分的垂直轴线位置为参考，对二值化图像进行中心对齐处理；
(2)在保持人体躯干部分的垂直轴线位于图像中心位置的前提下，先调整图像的优势维度，再将另一维度两侧等量扩展并填充背景色；所述的优势维度为在保持纵横比对图像进行放大操作时先达到目标尺寸的维度，或者在保持纵横比对图像进行缩小操作时，后达到目标尺寸的维度。
本发明的有益效果如下：
本发明提供的基于时空特征融合的步态分类方法采用了深度学习技术，通过融合时序增强子网络提取的时序步态特征和残差子网络提取的空间步态特征，更好地刻画了不同人步态的内在差异，从而提升了步态分类的正确率，推动了步态分类技术在身份识别领域的实际应用。
附图说明
图1为本发明的基于时空特征融合的步态分类方法的流程图；
图2为时空步态特征提取网络结构图；
图3为时序步态图像的规范化处理示意图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1和2所示，本发明的基于时空特征融合的步态分类方法具体包括如下步骤：
S1：根据帧率对输入步态视频进行随机稀疏时序采样，具体如下：
将输入步态视频划分为长度为采样间隔FC的等长图像分组，得到时序步态图像{f1,f2,…,fG}，其中，G为图像分组的个数，FC＝B×F0/FB，B为基准采样间隔，F0为输入步态视频的帧率，FB为基准帧率；作为其中一种实施方式，可取基准帧率FB为30帧/秒，基准采样间隔B为3帧；
S2：随机抽取图像分组中的一个样本进行如下的预处理：
(1)通过高斯背景建模，对人体区域进行粗略分割；
(2)对粗略分割的人体区域再经过滤波和形态学操作，得到完整的二值化人体区域图像；
(3)将完整的二值化人体区域图像进行规范化处理，即尺寸调整和中心对齐，减少步态图像的类内差异；
作为其中一种实施方式，规范化处理的步骤具体如下：
(1)在保持图像纵横比不变的前提下，对人体区域进行平移操作，以人体躯干部分的垂直轴线位置为参考，对二值化图像进行中心对齐处理；
(2)在保持人体躯干部分的垂直轴线位于图像中心位置的前提下，先调整图像的优势维度，再将另一维度两侧等量扩展并填充背景色；所述的优势维度为在保持纵横比对图像进行放大操作时先达到目标尺寸的维度，或者在保持纵横比对图像进行缩小操作时，后达到目标尺寸的维度。如图3所示。
S3：对规范化处理后的二值化图像进行时空步态特征的提取，具体如下：
通过时序增强子网络提取时序步态特征：计算相邻时序特征图之间的差异向量来刻画不同人的步态在时间维度上的属性，再将差异向量输入激活函数得到特征图，最后将所得特征图与规范化处理后的二值化图像相乘来增强步态特征的时序信息；
通过残差子网络提取空间步态特征：利用带有短路链接支路的残差子网络提取时序步态图像集中的空间特征；
S4：重复执行S2～S3，分别对时序增强子网络和残差子网络进行离线训练，并采用交叉熵函数分别计算两个子网络的损失，当损失小于设定的损失阈值时，完成训练，得到训练好的两个子网络以及各自的残差；
交叉熵损失函数的计算公式如下：
其中，N为样本个数；yi，k为预测结果的二值函数，当预测结果正确时取值为1，否则取值为0；pi，k为第i个步态样本预测为第m个人的概率。
S5：取两个子网络的残差的倒数作为权重因子，将两个训练好的子网络进行加权平均融合，得到时空步态特征提取融合网络；
S6：对待测试的步态视频执行S1～S3，分别得到两个子网络输出的时序步态特征和空间步态特征，然后输入S5得到的时空步态特征提取融合网络，从而得到输出的步态分类。
下面分别采用CASIA步态数据库的Dataset B数据集、OU-ISIR步态数据库的LP数据集进行步态分类正确率测试。
CASIA Dataset B是一个由中科院自动化研究所提供的多视角步态数据集。该数据集共包含124个人的15004个步态视频。每个人的步态分别从11个视角(0度，18度，36度，…，180度)进行采集。行走条件包括三种：普通条件、穿大衣和背包。本实施例的识别结果与基于LSTM(长短期记忆网络)、CNN(卷积神经网络)、以及HMM(隐式马尔科夫模型)的方法进行了对比试验。
该实施例中随机选取该上数据普通条件下每个人每个视角的70％步态数据用于训练，剩余的30％步态数据用于步态分类测试。测试次数为1000次，然后计算平均识别率和标准差。本发明提出的方法与与三种现有方法的对比实验结果如表1所示。从表1可以看出，与现有步态方法相比较，本发明的方法具有更高的平均识别率和更好的稳定性。
表1各种方法在CASIA Dataset B数据集上的对比实验结果
方法名称 平均识别率 标准差
LSTM方法 94.1％ 4.43
CNN方法 93.9％ 4.17
HMM方法 93.6％ 2.35
本发明方法 95.6％ 1.98
OU-ISIR LP是一个由日本大阪大学提供的大规模步态数据集。每个对象采集2个序列：子集A和子集B，并已经预处理为128×88的轮廓图。因此，测试时可以直接对轮廓图进行随机稀疏时序采样。另外，每个序列根据相机观测角度分为55度、65度、75度、85度。本实施例的识别结果与基于LSTM(长短期记忆网络)、CNN(卷积神经网络)、以及HMM(隐式马尔科夫模型)的方法进行了对比试验。训练数据获取方法：将OU-ISIR LP的子集A和子集B合并到一起，并随机抽取70％数据用于训练，剩余的30％数据用于步态分类测试。测试次数为1000次。本发明提出的方法与三种现有方法的对比实验结果如表2所示。从表2可以看出，与现有步态分类方法相比较，本发明的方法在大规模数据环境下时，平均正确识别率和稳定性也具有明显的优势。
表2各种方法在OU-ISIR LP数据集上的对比实验结果
方法名称 平均识别率 标准差
LSTM方法 96.6％ 3.31
CNN方法 95.4％ 3.11
HMM方法 94.5％ 2.06
本发明方法 98.1％ 1.40
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (2)

1.一种基于时空特征融合的步态分类方法，其特征在于，该方法具体包括如下步骤：
S1：根据帧率对输入步态视频进行随机稀疏时序采样，具体如下：
将输入步态视频划分为长度为采样间隔FC的等长图像分组，得到时序步态图像{f1,f2,…,fG}，其中，G为图像分组的个数，FC＝B×F0/FB，B为基准采样间隔，F0为输入步态视频的帧率，FB为基准帧率；
S2：随机抽取图像分组中的一个样本进行如下的预处理：
(1)通过高斯背景建模，对人体区域进行粗略分割；
(2)对粗略分割的人体区域再经过滤波和形态学操作，得到完整的二值化人体区域图像；
(3)将所述的完整的二值化人体区域图像进行规范化处理，即尺寸调整和中心对齐，减少步态图像的类内差异；
S3：对规范化处理后的二值化图像进行时空步态特征的提取，具体如下：
通过时序增强子网络提取时序步态特征：计算相邻时序特征图之间的差异向量来刻画不同人的步态在时间维度上的属性，再将差异向量输入激活函数得到特征图，最后将所得特征图与规范化处理后的二值化图像相乘来增强步态特征的时序信息；
通过残差子网络提取空间步态特征：利用带有短路链接支路的残差子网络提取时序步态图像集中的空间特征；
S4：重复执行S2～S3，分别对时序增强子网络和残差子网络进行离线训练，并采用交叉熵函数分别计算两个子网络的损失，当损失小于设定的损失阈值时，完成训练，得到训练好的两个子网络以及各自的残差；
S5：取两个子网络的残差的倒数作为权重因子，将两个训练好的子网络进行加权平均融合，得到时空步态特征提取融合网络；
S6：对待测试的步态视频执行S1～S3，分别得到两个子网络输出的时序步态特征和空间步态特征，然后输入S5得到的时空步态特征提取融合网络，从而得到输出的步态分类。
2.根据权利要求1所述的基于时空特征融合的步态分类方法，其特征在于，所述的S2中将完整的二值化人体区域图像进行规范化处理的步骤具体如下：
(1)在保持图像纵横比不变的前提下，对人体区域进行平移操作，以人体躯干部分的垂直轴线位置为参考，对二值化图像进行中心对齐处理；
(2)在保持人体躯干部分的垂直轴线位于图像中心位置的前提下，先调整图像的优势维度，再将另一维度两侧等量扩展并填充背景色；所述的优势维度为在保持纵横比对图像进行放大操作时先达到目标尺寸的维度，或者在保持纵横比对图像进行缩小操作时，后达到目标尺寸的维度。
CN202010750583.5A 2020-07-30 2020-07-30 一种基于时空特征融合的步态分类方法 Active CN111898533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010750583.5A CN111898533B (zh) 2020-07-30 2020-07-30 一种基于时空特征融合的步态分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010750583.5A CN111898533B (zh) 2020-07-30 2020-07-30 一种基于时空特征融合的步态分类方法

Publications (2)

Publication Number Publication Date
CN111898533A CN111898533A (zh) 2020-11-06
CN111898533B true CN111898533B (zh) 2023-11-28

Family

ID=73183790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010750583.5A Active CN111898533B (zh) 2020-07-30 2020-07-30 一种基于时空特征融合的步态分类方法

Country Status (1)

Country Link
CN (1) CN111898533B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114140682B (zh) * 2021-12-14 2024-09-06 湖南师范大学 一种基于增强连接时序分类网络的步态识别方法
CN114882593A (zh) * 2022-05-18 2022-08-09 厦门市美亚柏科信息股份有限公司 一种鲁棒的时空混合步态特征学习方法和系统
CN117215204B (zh) * 2023-11-09 2024-02-02 中国科学院自动化研究所 基于强化学习的机器人步态训练方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403084A (zh) * 2017-07-21 2017-11-28 中国计量大学 一种基于步态数据的身份识别方法
CN110688898A (zh) * 2019-08-26 2020-01-14 东华大学 基于时空双流卷积神经网络的跨视角步态识别方法
CN110909658A (zh) * 2019-11-19 2020-03-24 北京工商大学 一种基于双流卷积网络的视频中人体行为识别方法
CN111079516A (zh) * 2019-10-31 2020-04-28 浙江工商大学 基于深度神经网络的行人步态分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201113143D0 (en) * 2011-07-29 2011-09-14 Univ Ulster Gait recognition methods and systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107403084A (zh) * 2017-07-21 2017-11-28 中国计量大学 一种基于步态数据的身份识别方法
CN110688898A (zh) * 2019-08-26 2020-01-14 东华大学 基于时空双流卷积神经网络的跨视角步态识别方法
CN111079516A (zh) * 2019-10-31 2020-04-28 浙江工商大学 基于深度神经网络的行人步态分割方法
CN110909658A (zh) * 2019-11-19 2020-03-24 北京工商大学 一种基于双流卷积网络的视频中人体行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于特征融合和神经网络对步态识别仿真研究;张秋红;苏锦;杨新锋;;计算机仿真(第08期);235-237 *

Also Published As

Publication number Publication date
CN111898533A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN111898533B (zh) 一种基于时空特征融合的步态分类方法
CN110287805B (zh) 基于三流卷积神经网络的微表情识别方法及系统
CN112560810B (zh) 基于多尺度时空特征神经网络的微表情识别方法
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
CN107145842A (zh) 结合lbp特征图与卷积神经网络的人脸识别方法
CN105740758A (zh) 基于深度学习的互联网视频人脸识别方法
CN106339702A (zh) 一种基于多特征融合的人脸识别方法
CN106228142A (zh) 基于卷积神经网络和贝叶斯决策的人脸验证方法
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN109472247B (zh) 基于深度学习非配合式的人脸识别方法
CN104992148A (zh) 基于随机森林的atm终端部分遮挡人脸关键点检测方法
CN111539320B (zh) 基于互相学习网络策略的多视角步态识别方法及系统
CN110427881B (zh) 基于人脸局部区域特征学习的跨库微表情识别方法及装置
CN106295501A (zh) 基于唇部运动的深度学习身份识别方法
Thalji et al. Iris Recognition using robust algorithm for eyelid, eyelash and shadow avoiding
CN111079620A (zh) 基于迁移学习的白细胞图像检测识别模型构建方法及应用
CN112200123B (zh) 联合稠密连接网络和样本分布的高光谱开放集分类方法
CN112733665B (zh) 一种基于轻量化网络结构设计的人脸识别方法及系统
CN111985332A (zh) 一种基于深度学习的改进损失函数的步态识别方法
CN111666813B (zh) 基于非局部信息的三维卷积神经网络的皮下汗腺提取方法
CN111340758A (zh) 一种基于深度神经网络的高效虹膜图像质量评价新方法
Lazimul et al. Fingerprint liveness detection using convolutional neural network and fingerprint image enhancement
CN110929570B (zh) 虹膜快速定位装置及其定位方法
CN111259759A (zh) 基于域选择迁移回归的跨数据库微表情识别方法及装置
CN109523484B (zh) 一种基于分形特征的手指静脉血管网络修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant