CN116721469A - 一种步态识别改进方法、系统及设备和介质 - Google Patents

一种步态识别改进方法、系统及设备和介质 Download PDF

Info

Publication number
CN116721469A
CN116721469A CN202310787832.1A CN202310787832A CN116721469A CN 116721469 A CN116721469 A CN 116721469A CN 202310787832 A CN202310787832 A CN 202310787832A CN 116721469 A CN116721469 A CN 116721469A
Authority
CN
China
Prior art keywords
gait
gait recognition
feature
layer
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310787832.1A
Other languages
English (en)
Inventor
李贝贝
朱建生
阎志远
戴琳琳
张世平
随玉腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Railway Sciences Corp Ltd CARS
Institute of Computing Technologies of CARS
Beijing Jingwei Information Technology Co Ltd
Original Assignee
China Academy of Railway Sciences Corp Ltd CARS
Institute of Computing Technologies of CARS
Beijing Jingwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Railway Sciences Corp Ltd CARS, Institute of Computing Technologies of CARS, Beijing Jingwei Information Technology Co Ltd filed Critical China Academy of Railway Sciences Corp Ltd CARS
Priority to CN202310787832.1A priority Critical patent/CN116721469A/zh
Publication of CN116721469A publication Critical patent/CN116721469A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种步态识别改进方法包括：构建铁路进站环节的旅客自然步态数据集；构建基于GaitSet的改进步态识别网络模型，改进步态识别网络模型包括：多尺度特征融合模块和关键特征增强模块，其中，多尺度特征融合模块用于融合卷积神经网络的浅层细节特征信息和深层语义特征信息；关键特征增强模块用于增强步态信息的关键特征；利用旅客自然步态数据集、CASIA‑B步态数据集及GREW步态数据集，训练改进步态识别网络模型，实现对改进步态识别网络模型识别率的验证。本申请还公开了一种步态识别改进系统。

Description

一种步态识别改进方法、系统及设备和介质
技术领域
本申请涉及一种步态识别方法，特别涉及一种改进的GaitSet步态识别方法及其系统。
背景技术
当前，当前步态识别算法研究取得了较大的进展，在实验室条件下的识别精度更是高达95％以上。然而在实际的开放环境下，步态序列中的情况异常复杂，普遍存在行人遮挡、停顿等情况，使得实验室环境下的步态识别算法性能显著下降。大部分识别精度高的步态识别算法都是基于时序信息的，所以对行人停顿的问题解决力不足。在此情况下，GaitSet识别算法的优点较为突出，将步态序列看做一个无序集合，不依赖步态序列的时序信息。因此，开放环境下的步态识别任务，本发明选择了GaitSet算法作为基准算法，但GaitSet基准算法的特征提取网络比较简单，没有充分利用步态数据信息。
因此，亟需提出一种步态识别改进方法及其系统，采用基于多尺度特征融合与关键特征增强的步态识别算法，在铁路客运服务行业开放环境下的数据集中进行验证，实现了比基准算法更好的效果，解决现有技术中存在的对行人停顿的问题解决力不足，且GaitSet基准算法的特征提取网络比较简单，没有充分利用步态数据信息的问题。
发明内容
本申请实施例提供了一种步态识别改进方法及其系统，解决现有技术中存在的对行人停顿的问题解决力不足，且GaitSet基准算法的特征提取网络比较简单，没有充分利用步态数据信息的问题。
第一方面，本申请实施例提供了一种步态识别改进方法，方法包括：
构建样本集步骤：构建铁路进站环节的旅客自然步态数据集；
构建基于GaitSet的改进步态识别网络模型步骤：构建基于GaitSet的改进步态识别网络模型，改进步态识别网络模型包括：多尺度特征融合模块和关键特征增强模块，其中，多尺度特征融合模块用于融合卷积神经网络的浅层细节特征信息和深层语义特征信息；关键特征增强模块用于增强步态信息的关键特征；
步态识别模型训练步骤：利用旅客自然步态数据集、CASIA-B步态数据集及GREW步态数据集，训练改进步态识别网络模型，实现对改进步态识别网络模型识别率的验证。
本发明具体实施例中，上述构建基于GaitSet改进的步态识别网络步骤还包括：
特征获取步骤：将步态序列输入基准模型的第一层卷积神经网络与池化层，获取第一层特征；将第一层特征输入基准模型的第二层卷积神经网络与池化层，获取第二层特征；
多尺度特征融合步骤：将第一层特征输入多尺度特征融合模块，执行下采样获得第一次采样值，与第二层特征进行融合，获得第一次融合特征，用于后续神经网络的输入和再学习。
本发明具体实施例中，上述构建基于GaitSet改进的步态识别网络步骤还进一步包括：
再融合步骤：将第一次融合特征输入基准模型的第三层卷积神经网络，获取第三层特征；将第一次融合特征输入多尺度特征融合模块，执行下采样获得第二次采样值，与第三层特征进行融合，获得第二次融合特征。
本发明具体实施例中，上述构建基于GaitSet改进的步态识别网络步骤还进一步包括：
关键特征增强步骤：将第二次融合特征执行池化操作后形成第四层特征，将第四层特征输入关键特征增强模块进行特征增强；将第四层特征与MGP的输出进行融合的特征输入关键特征增强模块进行特征增强；
关键特征增强模块通过空间注意力机制对步态序列的特征细节信息进行像素级的增强，输出增强特征执行后续操作。
本发明实施例中，上述构建样本集步骤进一步包括：
收集并制作铁路行业步态识别数据集RENG。
本发明实施例中，上述关键特征增强步骤进一步包括：
初始化步骤：对输入的增强特征分别进行通道维度的最大池化和平均池化操作，分别得到大小为1×h×w的特征图，其中，1代表的是通道数，h和w为高度和宽度；
通道叠加步骤：将1×h×w的特征图在通道维度上进行叠加，输入一个卷积网络进行融合学习，得到大小为1×h×w的特征图后，经过Sigmoid激活操作，并与原特征图相乘，得到增强特征。
本发明实施例中，上述多尺度融合特征fi+1：
fi+1＝B(fi)+fi，其中，fi为当前层特征，fi+1为fi的下一层特征，B为是卷积层。
第二方面，本申请实施例提供了一种步态识别改进系统，采用如上步态识别改进方法，系统包括：
构建样本集模块：构建铁路进站环节的旅客自然步态数据集；
构建基于GaitSet的改进步态识别网络模型模块：构建基于GaitSet的改进步态识别网络模型，改进步态识别网络模型包括：多尺度特征融合模块和关键特征增强模块，其中，多尺度特征融合模块用于融合卷积神经网络的浅层细节特征信息和深层语义特征信息；关键特征增强模块用于增强步态信息的关键特征；
步态识别模型训练模块：利用旅客自然步态数据集、CASIA-B步态数据集及GREW步态数据集，训练改进步态识别网络模型，实现对改进步态识别网络模型识别率的验证。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的步态识别改进方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的步态识别改进方法。
相比于相关现有技术，具有以下突出的有益效果：
1)本发明方法提出多尺度特征融合方法，将细节信息和语义信息进行融合，获得更具鉴别力的特征；
2)本发明方法提出关键特征增强方法，通过注意力机制挖掘步态信息的关键特征并进行增强，提高不同步态之间的差异；
3)本发明方法收集并制作了开放环境下的步态数据集，所提出的方法在本发明的数据集上取得了更好的效果；
4)本发明方法相比于其它单纯地融合各阶段特征作为最后的特征，本发明的多尺度特征融合方法，还将融合后的特征传递给后续的卷积层进行再一次的学习，能够更好地学习细节和语义信息，进一步缓解梯度消失。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明步态识别改进方法示意图；
图2为本发明具体实施例步态识别网络结构图示意图；
图3为本发明具体实施例FEM模块示意图；
图4为本发明具体实施例空间注意力机制示意图；
图5为本发明具体实施例RENG数据集部分展示示意图；
图6为本发明步态识别改进系统示意图；
图7为根据本申请实施例的计算机设备的硬件结构示意图。
以上图中：
10构建样本集模块20构建基于GaitSet的改进步态识别网络模型模块
30步态识别模型训练模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本发明旨在提供一种基于多尺度特征融合和关键特征增强的步态识别算法，算法整体是基于GaitSet的思想，不要求步态序列是时间上连续的。因为卷积神经网络不同层的特征具有不同的特点，其中浅层特征主要包含大量细节信息，而深层特征则包含丰富的语义信息，如果将浅层特征和深层特征进行结合然后送入神经网络进行学习，则可以获得更有鉴别力的特征。同时，不同人之间的步态特征有时差异可能非常小，因此如果能够将步态信息的关键特征进行增强，可以一定程度上拉开不同步态间的差异，提升算法精度。因此，本发明提出的基于多尺度特征融合和关键特征增强的步态识别算法能够适用于铁路进站自然场景下的旅客步态，本发明优势在于：
1.提出了一种基于GaitSet步态识别算法的新的深度学习网络模型，构建了基于多尺度融合和特征增强学习的步态识别新算法。
2.创建了铁路进站环节下的旅客自然条件下的步态数据集，并通过模型实验，使得提出的改进的步态识别算法的性能相比基准的GaitSet算法较优。
如图1所示，本申请实施例提供了一种步态识别改进方法，方法包括：
构建样本集步骤S10：构建铁路进站环节的旅客自然步态数据集；
构建基于GaitSet的改进步态识别网络模型步骤S20：构建基于GaitSet的改进步态识别网络模型，改进步态识别网络模型包括：多尺度特征融合模块和关键特征增强模块，其中，多尺度特征融合模块用于融合卷积神经网络的浅层细节特征信息和深层语义特征信息；关键特征增强模块用于增强步态信息的关键特征；
步态识别模型训练步骤S30：利用旅客自然步态数据集、CASIA-B步态数据集及GREW步态数据集，训练改进步态识别网络模型，实现对改进步态识别网络模型识别率的验证。
本发明具体实施例中，上述构建基于GaitSet改进的步态识别网络步骤S20还包括：
特征获取步骤：将步态序列输入基准模型的第一层卷积神经网络与池化层，获取第一层特征；将第一层特征输入基准模型的第二层卷积神经网络与池化层，获取第二层特征；
多尺度特征融合步骤：将第一层特征输入多尺度特征融合模块，执行下采样获得第一次采样值，与第二层特征进行融合，获得第一次融合特征，用于后续神经网络的输入和再学习。
本发明具体实施例中，上述构建基于GaitSet改进的步态识别网络步骤S20还进一步包括：
再融合步骤：将第一次融合特征输入基准模型的第三层卷积神经网络，获取第三层特征；将第一次融合特征输入多尺度特征融合模块，执行下采样获得第二次采样值，与第三层特征进行融合，获得第二次融合特征。
本发明具体实施例中，上述构建基于GaitSet改进的步态识别网络步骤S20还进一步包括：
关键特征增强步骤：将第二次融合特征执行池化操作后形成第四层特征，将第四层特征输入关键特征增强模块进行特征增强；将第四层特征与MGP的输出进行融合的特征输入关键特征增强模块进行特征增强；
关键特征增强模块通过空间注意力机制对步态序列的特征细节信息进行像素级的增强，输出增强特征执行后续操作。
本发明实施例中，上述构建样本集步骤S10进一步包括：
收集并制作铁路行业步态识别数据集RENG。
本发明实施例中，上述关键特征增强步骤进一步包括：
初始化步骤：对输入的增强特征分别进行通道维度的最大池化和平均池化操作，分别得到大小为1×h×w的特征图，其中，1代表的是通道数，h和w为高度和宽度；
通道叠加步骤：将1×h×w的特征图在通道维度上进行叠加，输入一个卷积网络进行融合学习，得到大小为1×h×w的特征图后，经过Sigmoid激活操作，并与原特征图相乘，得到增强特征。
本发明实施例中，上述多尺度融合特征fi+1：
fi+1＝B(fi)+fi，其中，fi为当前层特征，fi+1为fi的下一层特征，B为是卷积层。
以下结合附图对本发明具体实施例进行详细说明：
1、改进的网络模型
基于GaitSet，本发明提出了基于多尺度特征融合和关键特征增强的步态识别算法，网络结构如图2所示。其中Block{1，2，3}代表的是卷积神经网络不同的层，SP代表的是Set Pooling，即上面提到的顺序无关函数，对卷积网络得到的序列特征进行SP操作，就得到了集合级(set-level)的特征。MGP(Multilayer Global Pipeline)和HPM(HorizontalPyramid Mapping)也是GaitSet中的模块，具体实现和作用可见原文现有技术文献。接下来主要介绍本发明的创新方法。
在GaitSet算法中，现有技术中提出了MGP模块，其出发点是卷积神经网络不同的特征层蕴含不同的信息，层级越浅，其特征更加关注细节信息，层级越深，则更加关注整体信息。如果将不同层级的特征进行融合，就可以同时兼顾细节特征和全局信息。
随着卷积神经网络的加深，输入数据的信息会随之衰减，因此后续层所学到的目标特征也会变少。为了解决这个问题，本发明提出了多尺度特征学习方法。如图2所示，步态序列通过Block1之后得到特征f1，浅层特征f1包含目标的细节信息，将f1经过Block2得到的特征和f1下采样后的特征进行相加得到f2，最后用相同的方法得到特征f3，用公式描述可以表示为如下形式：
fi+1＝B(fi)+fi ⑴
其中fi+1为fi的下一级特征，B代表的是卷积层。此外，公式中的加法操作可以替换为其他操作，如特征通道叠加等。
通过本发明的方法，可以降低特征的衰减速度，同时可以使得网络学习不同尺度的信息，增加网络的特征提取能力。
不同于行人重识别和图像分类，步态数据没有表观特征。虽然可以避免行人重识别中相似表观特征的影响，但是有限的步态信息给识别也带来很大的挑战。特别是在穿着变化的情况下，同一个人的步态数据都会存在很大的差异，而有些不同的人可能会有很相似的步态，在这种情况下，利用常见的方法对其进行准确地区分就变得十分困难。本发明注意到，在这些情况下如果能抓住步态的细节信息，对这些细节信息进行增强，可以有效地缓解上述情况。通过以上分析，本发明提出了FEM(Feature Enhancemen Module)模块对得到的特征进行增强学习，然后将增强后的特征送入后续模块，FEM模块的详细表示如图3所示。
FEM模块主要由空间注意力机制组成，主要关注步态的细节信息，通过空间注意力机制对步态特征的细节信息进行像素级的增强，从而达到细粒度的识别效果。上述过程可以用下面公式进行表示：
fo＝SA(fi)×fi ⑵
其中fi代表的是输入特征，fo为增强后的特征，SA代表空间注意力机制，其中空间注意力机制如图4所示。
首先对输入特征分别进行通道维度的最大池化和平均池化操作，分别得到大小为1×h×w的特征图，1代表的是通道数，h和w为高度和宽度，与输入特征的高、宽相同。然后将这两个1×h×w的特征图在通道维度上进行叠加，输入一个卷积网络进行融合学习，得到大小为1×h×w的特征图，最后经过Sigmoid激活操作，并与原特征图相乘，得到增强的输出特征。上述过程用公式可以表示为：
fo＝fi*Sig(Conv(Concat(MP(fi),AP(fi)))) ⑶
在上述公式中，fi和fo分别代表输入特征和处理之后的输出特征，MP和AP分别代表空间维度的最大池化和平均池化操作，Concat代表的是通道维度上的叠加操作，Conv代表的是卷积操作，Sig代表的是Sigmoid激活函数。
2、RENG铁路进站旅客步态数据集
当前大部分步态识别研究都是基于实验室条件下收集的数据集，如CASIA-B和OU-MVLP等。研究人员发现该环境下收集到的步态数据是受限的，没有考虑到实际应用环境中的各种干扰，不利于应用实践。清华大学朱政等人提出了首个开放环境下的步态数据集GREW，实验结果表明，大多数在实验室条件下能够表现良好的算法在该数据集上的精度表现不佳。为了促进步态识别算法能够实际应用，提高对开放环境的处理能力，本发明收集并制作了铁路自然场景下的步态识别数据集Railway Enter Natural Gait(RPNG)。RPNG数据集共有799人的步态序列，每个人的序列数均大于2，具体分布如图5所示。
如表1所示，其中步态序列数为2的有555人，占整体人数的69.4％，有98.5％的人序列数目在6个以内，总序列数为2051。对比当前主流步态数据集，目前RENG的数据规模还比较小，后续会继续扩大，部分数据如图5所示。
表1
3、模型训练与消融实验
本发明首先在步态数据集CASIA-B上进行预训练，然后在本发明提出的步态数据集RPNG上进行训练和测试。CASIA-B是当前比较主流的步态数据集之一，由中国科学院自动化所收集制作。该数据集共包括124个人物，其标签为(001，002，...，124)，其中每个人有3种行人状态，每个状态会有11个视角(0°，18°，...，180°)。行人状态包括正常(6个序列)，背包(2个序列)以及穿大衣(2个)序列。因此每个人会有11×(6+2+2)＝110个序列，共110×124＝13640个序列。
训练时，本发明首先基于CASIA-B数据集对提出的模型进行预训练，然后基于构建的RPNG数据集进行训练和测试，训练集和测试集数据占比约2:3，即600人的序列作为训练集，剩下的199人序列作为测试集。
在所有的实验中，网络输入的步态数据尺寸为30×1×64×44，其中30为输入步态序列的长度，1为通道数，64为单个步态图片的高度，44为宽度。在预训练阶段，本发明选择Adam作优化器，学习率lr为1e-4，使用三元损失函数在4卡英伟达2080Ti上进行80000次迭代。其中batchsize设置为(8×16)，8代表的是不同的行人数，16是每个行人的步态序列数。预训练结束后，本发明加载训练好的模型参数在本发明的数据集上进行训练，将学习率设置为1e-4，保持其他参数不变，继续进行20000次迭代。
测试时，本发明选择RPNG步态数据集中的199人的序列为测试集，将每个人的任意一段序列形成probe集，其他序列作为gallery集。
对提出的模型和基准GaitSet算法，分别在CASIA-B，GREW以及RENG三个数据集上进行消融实验。对于RENG步态数据集，由于没有具体的角度以及状态划分，选择测试集中每个人的任意一段序列构建步态测试对象probe，其他序列作为步态底库gallery，测试时，选择RENG步态数据集中的199人的序列为测试集，将每个人的任意一段序列形成probe，其他序列作为gallery集。
表2算法消融实验
如表2所示，所提方法在上述三个数据集上都取得了比基准方法更好的效果，具体而言，在CASIA-B上，本文所提出的方法rank#1为95.81％，相比基准方法Gaitset提高了0.81％。在GREW上所提出的方法比基准方法提高了1.9％，达到了48.2％。在自建RENG数据集上，所提方法rank#1为79.9％，比基准方法提高了1.51％。以上三个数据集上的实验结果证明了本文所提方法的有效性。同时，为了证明本文所提方法各模块的有效性，相应地还做了消融实验，当只添加多尺度特征学习模块或者仅使用特征增强模块时，Proposed(仅多尺度特征融合)和Proposed(仅特征增强)在三个步态数据集上的rank#1结果均高于基准方法，证明了改进方法的有效性。
第二方面，本申请实施例提供了一种步态识别改进系统，采用如上步态识别改进方法，如图6所示，系统包括：
构建样本集模块10：构建铁路进站环节的旅客自然步态数据集；
构建基于GaitSet的改进步态识别网络模型模块20：构建基于GaitSet的改进步态识别网络模型，改进步态识别网络模型包括：多尺度特征融合模块和关键特征增强模块，其中，多尺度特征融合模块用于融合卷积神经网络的浅层细节特征信息和深层语义特征信息；关键特征增强模块用于增强步态信息的关键特征；
步态识别模型训练模块30：利用旅客自然步态数据集、CASIA-B步态数据集及GREW步态数据集，训练改进步态识别网络模型，实现对改进步态识别网络模型识别率的验证。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述步态识别改进方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特该程序被处理器执行时实现如上所述步态识别改进方法。
另外，结合图1描述的本申请实施例的步态识别改进方法可以由计算机设备来实现。图7为根据本申请实施例的计算机设备的硬件结构示意图。
计算机设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种步态识别改进方法。
在其中一些实施例中，计算机设备还可包括通信接口83和总线80。其中，如图7所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
相比于现有技术，本发明方法提出了一种基于GaitSet步态识别算法的新的深度学习网络模型，构建了基于多尺度融合和特征增强学习的步态识别新算法；创建了铁路进站环节下的旅客自然条件下的步态数据集，并通过模型实验，使得提出的改进的步态识别算法的性能相比基准的GaitSet算法较优。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种步态识别改进方法，其特征在于，所述方法包括：
构建样本集步骤：构建铁路进站环节的旅客自然步态数据集；
构建基于GaitSet的改进步态识别网络模型步骤：构建基于GaitSet的改进步态识别网络模型，所述改进步态识别网络模型包括：多尺度特征融合模块和关键特征增强模块，其中，所述多尺度特征融合模块用于融合卷积神经网络的浅层细节特征信息和深层语义特征信息；所述关键特征增强模块用于增强步态信息的关键特征；
步态识别模型训练步骤：利用所述旅客自然步态数据集、CASIA-B步态数据集及GREW步态数据集，训练所述改进步态识别网络模型，实现对改进步态识别网络模型识别率的验证。
2.根据权利要求1所述步态识别改进方法，其特征在于，所述构建基于GaitSet改进的步态识别网络步骤还包括：
特征获取步骤：将步态序列输入基准模型的第一层卷积神经网络与池化层，获取第一层特征；将所述第一层特征输入基准模型的第二层卷积神经网络与池化层，获取第二层特征；
多尺度特征融合步骤：将所述第一层特征输入所述多尺度特征融合模块，执行下采样获得第一次采样值，与所述第二层特征进行融合，获得第一次融合特征，用于后续神经网络的输入和再学习。
3.根据权利要求2所述步态识别改进方法，其特征在于，所述构建基于GaitSet改进的步态识别网络步骤还进一步包括：
再融合步骤：将所述第一次融合特征输入基准模型的第三层卷积神经网络，获取第三层特征；将所述第一次融合特征输入所述多尺度特征融合模块，执行下采样获得第二次采样值，与所述第三层特征进行融合，获得第二次融合特征。
4.根据权利要求3所述步态识别改进方法，其特征在于，所述构建基于GaitSet改进的步态识别网络步骤还进一步包括：
关键特征增强步骤：将所述第二次融合特征执行池化操作后形成第四层特征，将所述第四层特征输入所述关键特征增强模块进行特征增强；将所述第四层特征与MGP的输出进行融合的特征输入所述关键特征增强模块进行特征增强；
所述关键特征增强模块通过空间注意力机制对所述步态序列的特征细节信息进行像素级的增强，输出增强特征执行后续操作。
5.根据权利要求1所述步态识别改进方法，其特征在于，所述构建样本集步骤进一步包括：
收集并制作铁路行业步态识别数据集RENG。
6.根据权利要求4所述步态识别改进方法，其特征在于，所述关键特征增强步骤进一步包括：
初始化步骤：对输入的所述增强特征分别进行通道维度的最大池化和平均池化操作，分别得到大小为1×h×w的特征图，其中，1代表的是通道数，h和w为高度和宽度；
通道叠加步骤：将所述1×h×w的特征图在通道维度上进行叠加，输入一个卷积网络进行融合学习，得到大小为1×h×w的特征图后，经过Sigmoid激活操作，并与原特征图相乘，得到增强特征。
7.根据权利要求6所述步态识别改进方法，其特征在于，
所述多尺度融合特征fi+1：
fi+1＝B(fi)+fi，其中，fi为当前层特征，fi+1为fi的下一层特征，B为是卷积层。
8.一种步态识别改进系统，采用如权利要求1-7中任意一项所述步态识别改进方法，其特征在于，所述系统包括：
构建样本集模块：用于构建铁路进站环节的旅客自然步态数据集；
构建基于GaitSet的改进步态识别网络模型模块：用于构建基于GaitSet的改进步态识别网络模型，所述改进步态识别网络模型包括：多尺度特征融合模块和关键特征增强模块，其中，所述多尺度特征融合模块用于融合卷积神经网络的浅层细节特征信息和深层语义特征信息；所述关键特征增强模块用于增强步态信息的关键特征；
步态识别模型训练模块：利用所述旅客自然步态数据集、CASIA-B步态数据集及GREW步态数据集，训练所述改进步态识别网络模型，实现对改进步态识别网络模型识别率的验证。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述步态识别改进方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述步态识别改进方法。
CN202310787832.1A 2023-06-29 2023-06-29 一种步态识别改进方法、系统及设备和介质 Pending CN116721469A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310787832.1A CN116721469A (zh) 2023-06-29 2023-06-29 一种步态识别改进方法、系统及设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310787832.1A CN116721469A (zh) 2023-06-29 2023-06-29 一种步态识别改进方法、系统及设备和介质

Publications (1)

Publication Number Publication Date
CN116721469A true CN116721469A (zh) 2023-09-08

Family

ID=87867832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310787832.1A Pending CN116721469A (zh) 2023-06-29 2023-06-29 一种步态识别改进方法、系统及设备和介质

Country Status (1)

Country Link
CN (1) CN116721469A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690583A (zh) * 2024-02-01 2024-03-12 吉林大学 基于物联网的康复护理交互式管理系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690583A (zh) * 2024-02-01 2024-03-12 吉林大学 基于物联网的康复护理交互式管理系统及方法
CN117690583B (zh) * 2024-02-01 2024-04-09 吉林大学 基于物联网的康复护理交互式管理系统及方法

Similar Documents

Publication Publication Date Title
CN108764072B (zh) 一种基于多尺度融合的血细胞亚型图像分类方法
CN109409222B (zh) 一种基于移动端的多视角人脸表情识别方法
CN112257794B (zh) 一种基于yolo的轻量级的目标检测方法
CN110490802B (zh) 一种基于超分辨率的卫星影像飞机目标型号识别方法
CN111275007B (zh) 基于多尺度信息融合的轴承故障诊断方法及系统
CN111126202A (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN110826596A (zh) 一种基于多尺度可变形卷积的语义分割方法
CN110717527A (zh) 结合空洞空间金字塔结构的目标检测模型确定方法
CN113159051A (zh) 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN110503161B (zh) 一种基于弱监督yolo模型的矿石泥团目标检测方法和系统
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN106257496B (zh) 海量网络文本与非文本图像分类方法
CN112085741B (zh) 一种基于深度学习的胃癌病理切片分割算法
CN116721469A (zh) 一种步态识别改进方法、系统及设备和介质
CN113743269B (zh) 一种轻量化识别视频人体姿态的方法
CN111861906A (zh) 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
CN111860077A (zh) 人脸检测方法、装置、计算机可读存储介质及设备
CN116310466A (zh) 基于局部无关区域筛选图神经网络的小样本图像分类方法
CN111353583A (zh) 基于群卷积特征拓扑空间的深度学习网络及其训练方法
CN113158971B (zh) 一种事件检测模型训练方法及事件分类方法、系统
CN113743277A (zh) 一种短视频分类方法及系统、设备和存储介质
CN110827963A (zh) 针对病理图像的语义分割方法和电子设备
CN113487610A (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN114373092A (zh) 一种基于拼图排列学习的渐进式训练细粒度视觉分类方法
CN110942106A (zh) 一种基于平方平均的池化卷积神经网络图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination