CN112507803A - 一种基于双流网络的步态识别方法 - Google Patents

一种基于双流网络的步态识别方法 Download PDF

Info

Publication number
CN112507803A
CN112507803A CN202011278441.XA CN202011278441A CN112507803A CN 112507803 A CN112507803 A CN 112507803A CN 202011278441 A CN202011278441 A CN 202011278441A CN 112507803 A CN112507803 A CN 112507803A
Authority
CN
China
Prior art keywords
gait
pedestrian walking
pedestrian
gait recognition
walking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011278441.XA
Other languages
English (en)
Inventor
侯舒娟
许健
李海
张钦
宋政育
武毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202011278441.XA priority Critical patent/CN112507803A/zh
Publication of CN112507803A publication Critical patent/CN112507803A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本公开的基于双流网络的步态识别方法，将采集的行人行走视频按帧分割为RGB图像；输入RGB图像到光流提取模块中提取光流图；基于光流图分割出多张含有行人行走的图片区域，将含有行人行走的图片区域的重心对齐叠加得到步态能量图；将步态能量图输入到步态识别网络中进行步态能量图特征提取和识别，得到基于步态能量图的步态识别结果；将RGB图像输入到步态识别网络中进行二维步态特征提取和识别，输出基于RGB图像的二维步态识别结果；融合基于步态能量图的步态识别结果和基于RGB图像的二维步态识别结果得到双流网络的行人行走步态识别结果。能够自动注重运动部位的特征提取，充分利用步态识别中的时间信息，提高步态识别的精度。

Description

一种基于双流网络的步态识别方法
技术领域
本公开属于图像识别技术领域，特别是涉及到一种基于双流网络的步态识别方法。
背景技术
步态是描述一个人行走模式的一种生理和行为生物特征。步态识别应用于识别个人的行走模式，是最有发展前景的生物特征识别技术之一。与其它生物识别方式相比，比如面部、指纹和虹膜，步态识别可以很容易地捕获和识别目标，不需要目标的合作。因此，步态识别在犯罪调查、门禁系统和社会安全等应用场合具有巨大的潜力。
当前的步态识别算法大致分为两类，一类为判别式算法，一类为生成式算法。判别式算法中的基于神经网络的步态能量图方法是目前常用的方法。例如，2016年KoheiShirage等人在《GEINet:View-invariant Gait Recognition Using A ConvolutionalNeural Network》一文中提出GEINet结构，用步态能量图和类似于图像分类中AlexNet的CNN网络提取步态特征并进行跨视角判别。但是该方法仅有最基本步态能量图与神经网络结合的框架，识别效果欠佳。
2017年Xianfu Zhang等人在《DeepGait:A Learning Deep ConvolutionalRepresentation for Gait Recognition》一文中将步态轮廓图通过预训练的深度卷积模型VGG-16得到特征表示，从而进行步态识别。但该方法在跨视角场景及协变量变化时无法有效提取具有判别力的特征。
2017年Rijun Liao等人在《Pose-based Temporal-spatial Network(PTSN)forGait Recognition With Carrying And Clothing Variations》一文中利用CNN提取步态关键点中的空间信息，利用LSTM提取时间信息。利用姿态关键点进行步态识别可以有效缓解协变量变化对步态识别性能的影响，但未能在跨视角的场景下验证模型的有效性。
2020年Chao Fan等人在《GaitPart:Temporal Part-based Model for GaitRecognition》一文中提出了基于人体部位分割的GaitPart模型，该模型认为人体不同部位在行走过程中具有明显不同的形状和运动模式，因此需要对不同部位分别进行特征提取。该模型精度较高，但并未区分重点运动部位。
现有基于神经网络的步态识别方法存在步态时间信息利用不充分，在实际应用中效果受限；对行人整体轮廓作相同程度的特征提取，未对影响步态识别的运动部位做重点提取；尽管如2020年Chao Fan等人提出的GaitPart方法注重了运动部位的特征提取，但其采用人工经验选择运动部位；没有设计单独的提取人体的体型外观等静态二维特征的模块，存在对人体本身的静态二维特征的提取和利用不充分等问题。
发明内容
有鉴于此，本公开提出了基于双流网络的步态识别方法，能够自动注重运动部位的特征提取，充分利用步态识别中的时间信息，提高步态识别精度。
根据本公开的一方面，提出了一种基于双流网络的步态识别方法，所述方法包括：
将采集的行人行走视频按帧顺序分割为连续的RGB图像；
输入所述RGB图像到光流提取模块，提取行人行走的光流图；
基于所述光流图分割出多张含有行人行走的图片区域，将多张含有行人行走的图片区域的重心对齐叠加得到所述行人行走的步态能量图；
将所述步态能量图输入到步态识别网络中进行行人行走的步态能量图特征提取和步态能量图特征识别，得到基于步态能量图的行人行走步态识别结果；
将所述RGB图像输入到步态识别网络中进行行人行走的二维步态特征提取和二维步态特征识别，输出基于RGB图像的行人行走二维步态识别结果；
融合基于步态能量图的行人行走步态识别结果和基于RGB图像的行人行走二维步态识别结果得到双流网络的行人行走步态识别结果。
在一种可能的实现方式中，基于所述光流图分割出多张含有行人行走的图片区域，将多张含有行人行走的图片区域的重心对齐叠加得到所述行人行走的步态能量图，包括：
以所述光流图中的行人头顶为中心进行裁剪、分割得到多张含有行人行走的图像区域；
以所述含有行人行走的图片区域的行人头顶为中心对一个步态周期内的含有行人行走的图像区域进行叠加合成为行人行走的步态能量图。
在一种可能的实现方式中，步态识别网络包括CNN卷积层、全连接层和Softmax层；
其中，CNN卷积层，用于提取行人行走步态特征；
全连接层，用于对所述行人行走步态特征进行加权整合；
Softmax层，用于识别加权整合的行人行走步态特征，并输出所述行人行走步态特征的识别结果的概率。
在一种可能的实现方式中，融合基于步态能量图的行人行走步态识别结果和基于RGB图像的行人行走二维步态识别结果得到双流网络的行人行走步态识别结果，包括：
将行人基于步态能量图的步态识别结果的概率和基于RGB图像的二维步态识别结果的概率相加后，利用平均值算法计算得到双流网络的行人行走步态识别概率，将步态识别概率最大的行人作为双流网络的行人行走步态识别的结果。
本公开的基于双流网络的步态识别方法，将采集的行人行走视频按帧顺序分割为连续的RGB图像；输入RGB图像到光流提取模块，提取行人行走的光流图；基于光流图分割出多张含有行人行走的图片区域，将多张含有行人行走的图片区域的重心对齐叠加得到行人行走的步态能量图；将步态能量图输入到步态识别网络中进行行人行走的步态能量图特征提取和步态能量图特征识别，得到基于步态能量图的行人行走步态识别结果；将RGB图像输入到步态识别网络中进行行人行走的二维步态特征提取和二维步态特征识别，输出基于RGB图像的行人行走二维步态识别结果；融合基于步态能量图的行人行走步态识别结果和基于RGB图像的行人行走二维步态识别结果得到双流网络的行人行走步态识别结果。能够自动注重运动部位的特征提取，充分利用步态识别中的时间信息，提高步态识别的精度。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出了根据本公开一实施例的基于双流网络的步态识别方法流程图；
图2示出了根据本公开另一实施例的基于双流网络的步态识别方法流程图；
图3示出了根据本公开一实施例的基于双流网络的步态识别方法的步态能量图支路的步态识别网络结构图；
图4示出了根据本公开一实施例的基于双流网络的步态识别方法的二维特征提取支路的步态识别网络结构图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出了根据本公开一实施例的基于双流网络的步态识别方法流程图。
本公开的基于双流网络的步态识别方法，融合了步态识别和行人动作识别的结构。整体为双流网络架构，分为步态能量图支路和二维特征提取支路。其中，步态能量图支路从原始视频中提取光流，在光流图的基础上进行掩膜和步态能量图的提取。二维特征支路从输入人体的静态RGB图像中提取人体本身的二维特征，如身高，体型等。能够使网络自动地注重运动部位，同时解决了步态识别中时间信息利用不充分的问题。
如图1所示，该方法的具体可以包括：
步骤S1：将采集的行人行走视频按帧顺序分割为连续的RGB图像。
其中，行人行走视频可以为利用监控摄像头、行车记录仪、摄像机等拍摄到的行人行走视频，规模较大且包含同一行人在多视角下的视频。
将行人行走视频按帧顺序一帧一帧的分开，分割为连续RGB的图像集，便于步态能量图支路和二维特征提取支路的处理。
步骤S2：输入所述RGB图像到光流提取模块，提取行人行走的光流图。
将RGB图像集按顺序逐帧输入到步态能量图支路的光流提取模块中，提取出每个行人行走时对应的光流图，其中，光流图在着重计算运动部位时含有步态时间信息。
步骤S3：基于光流图分割出多张含有行人行走的图片区域，将多张含有行人行走的图片区域的重心对齐叠加得到所述行人行走的步态能量图。
在每个行人行走时对应的光流图的基础上，将含有行人的图片区域分割出来，按照含有行人的图片区域的几何重心进行对齐，叠加平均得到基于光流图的行人行走步态能量图(Gait Engery Image，GEI)。由于光流图含有步态时间信息，则从行人行走的光流图中提取的行人行走步态能量图能够更注重于运动部位，并且保留步态时间信息，能够充分利用步态识别中的时间信息，提高步态识别的精度。
步骤S4：将所述步态能量图输入到步态识别网络中进行行人行走的步态能量图特征提取和步态能量图特征识别，得到基于步态能量图的行人行走步态识别结果。
其中，该步骤分为两阶段：第一阶段使用多层CNN网络(Convolutional NeuralNetworks，卷积神经网络)对步骤S3生成的行人行走步态能量图进行掩膜和步态能量特征提取；第二阶段使用全连接层和Softmax层，根据第一阶段提取得到的掩膜和步态能量特征进行判别和分类，得到基于步态能量图的行人行走步态识别结果。
步骤S5：将所述RGB图像输入到步态识别网络中进行行人行走的二维步态特征提取和二维步态特征识别，输出基于RGB图像的行人行走的二维步态识别结果。
将步骤(1)中的RGB图像集输入到二维特征提取支路中，进行人体形态的二维特征(例如身高，体型等)提取和判别，得出基于RGB图像的行人行走的二维特征判别结果。与步骤S4原理类似，该步骤也分为两阶段：第一阶段使用多层CNN网络(Convolutional NeuralNetworks，卷积神经网络)提取RGB图像中的人体形态二维特征；第二阶段使用全连接层和Softmax层，根据第一阶段提取得到的人体形态二维特征进行判别和分类，得到基于RGB图像的行人行走的二维特征判别结果。
步骤S6：融合基于步态能量图的行人行走步态识别结果和基于RGB图像的行人行走二维步态识别结果得到双流网络的行人行走步态识别结果。
本公开的基于双流网络的步态识别方法，将采集的行人行走视频按帧顺序分割为连续的RGB图像；输入RGB图像到光流提取模块，提取行人行走的光流图；基于光流图分割出多张含有行人行走的图片区域，将多张含有行人行走的图片区域的重心对齐叠加得到行人行走的步态能量图；将步态能量图输入到步态识别网络中进行行人行走的步态能量图特征提取和步态能量图特征识别，得到基于步态能量图的行人行走步态识别结果；将RGB图像输入到步态识别网络中进行行人行走的二维步态特征提取和二维步态特征识别，输出基于RGB图像的行人行走二维步态识别结果；融合基于步态能量图的行人行走步态识别结果和基于RGB图像的行人行走二维步态识别结果得到双流网络的行人行走步态识别结果。能够自动注重运动部位的特征提取，充分利用步态识别中的时间信息，提高步态识别的精度。
在一示例中，基于所述光流图分割出多张含有行人行走的图片区域，将多张含有行人行走的图片区域的重心对齐叠加得到所述行人行走的步态能量图，包括：以光流图中的行人头顶为中心进行裁剪、分割得到多张含有行人行走的图像区域；以含有行人行走的图片区域的行人头顶为中心对一个步态周期内的含有行人行走的图像区域进行叠加合成为行人行走的步态能量图。能够方便高效地合成为行人行走的步态能量图。
图3、图4分别示出了根据本公开一实施例的基于双流网络的步态识别方法的步态能量图支路和二维特征提取支路的步态识别网络结构图。
在一示例中，如图3和图4所示，步态识别网络包括5层CNN卷积层、全连接层和Softmax层；其中，5层CNN卷积层，用于提取行人行走步态特征；全连接层，用于对所述行人行走步态特征进行加权整合；Softmax层，用于识别加权整合的行人行走步态特征，并输出所述行人行走步态特征的识别结果的概率。
如图3所示，将步态能量图输入到5层CNN卷积层中，提取行人行走步态能量图的步态特征，然后将行人行走步态特征输入到全连接层进行加权整合，最后输入到Softmax层进行识别，得到行人行走步态特征的识别结果的概率值，即为步态能量图支路的行人行走步态特征判别结果。
如图4所示，将RGB图像集输入到5层CNN卷积层中，提取二维RGB图像的静态特征，即人体形态的二维特征(例如身高，体型等)，然后输入到全连接层，再输入全连接层对二维RGB图像的静态特征进行加权整合，最后输入Softmax层进行识别，得到基于RGB图像的行人行走的二维特征识别结果的概率值，即为二维特征提取支路的行人行走步态特征判别结果。
在一示例中，融合基于步态能量图的行人行走步态识别结果和基于RGB图像的行人行走二维步态识别结果得到双流网络的行人行走步态识别结果可以包括：
将行人基于步态能量图的步态识别结果的概率和基于RGB图像的二维步态识别结果的概率相加后，利用平均值算法计算得到双流网络的行人行走步态识别概率，将步态识别概率最大的行人作为双流网络的行人行走步态识别结果。能够得出双流网络的行人步态的整体判别结果。
应用示例：
图2示出了根据本公开另一实施例的基于双流网络的步态识别方法流程图。
在本实施例中，使用中国科学院自动化研究所提供的CASIA步态数据库中的Dataset B(多视角库)作为原始视频(行人行走视频)，按照帧的顺序将该视频集分割为连续的独立的RGB静态图像，形成为图片集。将RGB图片集输入步态能量图支路的光流提取模块中，使用TV-L1算法(Total Variation-L1，基于L1范数的全变分法)进行光流提取，提取出每个行人行走(步行)时对应的光流图。在光流图的基础上，首先以光流图中的行人头顶为中心进行裁剪、分割得到多张光流图中含有行人行走的图像区域，然后以含有行人行走的图片区域的行人头顶为中心对裁剪后的一个步态周期内的含有行人行走的图像区域进行堆叠合成为行人行走的步态能量图。将步态能量图输入到如图3所示的5层CNN卷积层中，提取行人行走步态能量图的步态特征，然后将行人行走步态特征输入到全连接层进行加权整合，最后输入到Softmax层进行识别，得到行人行走步态特征的识别结果的概率值，即为步态能量图支路的行人行走步态特征判别结果。
同时，将RGB图像集输入到二维特征提取支路的如图4所示的5层CNN卷积层中，提取二维RGB图像的静态特征，即人体形态的二维特征(例如身高，体型等)，然后输入到全连接层，再输入全连接层对二维RGB图像的静态特征进行加权整合，最后输入Softmax层进行识别，得到基于RGB图像的行人行走的二维特征识别结果的概率值，即为二维特征提取支路的行人行走步态特征判别结果。
步态能量图支路输出的行人行走步态识别结果和二维特征提取支路输出的行人行走二维步态识别结果均为概率列表。其中，每个概率代表该步态行为属于某个行人的概率。使用取平均值的方法计算步态能量图支路和二维特征提取支路这两条支路输出的概率相加后的和的平均值作为双流网络的行人行走步态识别概率，将步态识别概率最大的行人作为双流网络的行人行走步态识别的结果，进而得出双流网络的行人步态的整体判别结果。能够使网络自动地注重运动部位，同时解决步态识别中时间信息利用不充分的问题。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (4)

1.一种基于双流网络的步态识别方法，其特征在于，所述方法包括：
将采集的行人行走视频按帧顺序分割为连续的RGB图像；
输入所述RGB图像到光流提取模块，提取行人行走的光流图；
基于所述光流图分割出多张含有行人行走的图片区域，将多张含有行人行走的图片区域的重心对齐叠加得到所述行人行走的步态能量图；
将所述步态能量图输入到步态识别网络中进行行人行走的步态能量图特征提取和步态能量图特征识别，得到基于步态能量图的行人行走步态识别结果；
将所述RGB图像输入到步态识别网络中进行行人行走的二维步态特征提取和二维步态特征识别，输出基于RGB图像的行人行走二维步态识别结果；
融合基于步态能量图的行人行走步态识别结果和基于RGB图像的行人行走二维步态识别结果得到双流网络的行人行走步态识别结果。
2.根据权利要求1所述的步态识别方法，其特征在于，基于所述光流图分割出多张含有行人行走的图片区域，将多张含有行人行走的图片区域的重心对齐叠加得到所述行人行走的步态能量图，包括：
以所述光流图中的行人头顶为中心进行裁剪、分割得到多张含有行人行走的图像区域；
以所述含有行人行走的图片区域的行人头顶为中心对一个步态周期内的含有行人行走的图像区域进行叠加合成为行人行走的步态能量图。
3.根据权利要求1所述的步态识别方法，其特征在于，步态识别网络包括CNN卷积层、全连接层和Softmax层；
其中，CNN卷积层，用于提取行人行走步态特征；
全连接层，用于对所述行人行走步态特征进行加权整合；
Softmax层，用于识别加权整合的行人行走步态特征，并输出所述行人行走步态特征的识别结果的概率。
4.根据权利要求3所述的步态识别方法，其特征在于，融合基于步态能量图的行人行走步态识别结果和基于RGB图像的行人行走二维步态识别结果得到双流网络的行人行走步态识别结果，包括：
将行人基于步态能量图的步态识别结果的概率和基于RGB图像的二维步态识别结果的概率相加后，利用平均值算法计算得到双流网络的行人行走步态识别概率，将步态识别概率最大的行人作为双流网络的行人行走步态识别的结果。
CN202011278441.XA 2020-11-16 2020-11-16 一种基于双流网络的步态识别方法 Pending CN112507803A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011278441.XA CN112507803A (zh) 2020-11-16 2020-11-16 一种基于双流网络的步态识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011278441.XA CN112507803A (zh) 2020-11-16 2020-11-16 一种基于双流网络的步态识别方法

Publications (1)

Publication Number Publication Date
CN112507803A true CN112507803A (zh) 2021-03-16

Family

ID=74957987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011278441.XA Pending CN112507803A (zh) 2020-11-16 2020-11-16 一种基于双流网络的步态识别方法

Country Status (1)

Country Link
CN (1) CN112507803A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627549A (zh) * 2022-01-28 2022-06-14 宁波大学 一种基于步态关系网络的步态识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163175A (zh) * 2019-05-28 2019-08-23 杭州电子科技大学 一种基于改进vgg-16网络的步态识别方法及系统
CN110688898A (zh) * 2019-08-26 2020-01-14 东华大学 基于时空双流卷积神经网络的跨视角步态识别方法
CN111931603A (zh) * 2020-07-22 2020-11-13 北方工业大学 基于竞合网络的双流卷积网络的人体动作识别系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163175A (zh) * 2019-05-28 2019-08-23 杭州电子科技大学 一种基于改进vgg-16网络的步态识别方法及系统
CN110688898A (zh) * 2019-08-26 2020-01-14 东华大学 基于时空双流卷积神经网络的跨视角步态识别方法
CN111931603A (zh) * 2020-07-22 2020-11-13 北方工业大学 基于竞合网络的双流卷积网络的人体动作识别系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张怡佳等: "基于双流卷积神经网络的改进人体行为识别算法", 《计算机测量与控制》 *
张聪聪等: "基于关键帧的双流卷积网络的人体动作识别方法", 《南京信息工程大学学报(自然科学版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627549A (zh) * 2022-01-28 2022-06-14 宁波大学 一种基于步态关系网络的步态识别方法

Similar Documents

Publication Publication Date Title
CN109934176B (zh) 行人识别系统、识别方法及计算机可读存储介质
KR101254177B1 (ko) 방사형 기저 함수 신경회로망 알고리즘을 이용한 실시간 얼굴 인식 시스템
CN105139004B (zh) 基于视频序列的人脸表情识别方法
CN110210276A (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN112801015B (zh) 一种基于注意力机制的多模态人脸识别方法
Aurangzeb et al. Human behavior analysis based on multi-types features fusion and Von Nauman entropy based features reduction
CN111539351B (zh) 一种多任务级联的人脸选帧比对方法
El-Ghaish et al. Human action recognition based on integrating body pose, part shape, and motion
CN111914758A (zh) 一种基于卷积神经网络的人脸活体检测方法及装置
Obaida et al. Real-time face detection in digital video-based on Viola-Jones supported by convolutional neural networks
Mehraj et al. A survey of biometric recognition using deep learning
Abdullah et al. Context aware crowd tracking and anomaly detection via deep learning and social force model
CN116824641B (zh) 姿态分类方法、装置、设备和计算机存储介质
CN112507803A (zh) 一种基于双流网络的步态识别方法
Valle et al. Recognition of human walking/running actions based on neural network
CN116453192A (zh) 一种基于分块的自注意力遮挡人脸识别方法
CN114783054B (zh) 一种基于无线和视频特征融合的步态识别方法
CN115862097A (zh) 基于多注意力多尺度特征学习的遮挡人脸识别方法和装置
Yang et al. Fast image mosaicing for panoramic face recognition.
Rao et al. Amalgamation Biometric Deep Features in Smart City-ITS Authentication
CN114373205A (zh) 一种基于卷积宽度网络的人脸检测和识别方法
Nguyen et al. Real-time long short-term glance-based fire detection using a CNN-LSTM neural network
CN113553895A (zh) 一种基于人脸正面化的多姿态人脸识别方法
Hashem et al. Human gait identification system based on transfer learning
Chandankhede et al. Deep learning technique for serving visually impaired person

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210316

WD01 Invention patent application deemed withdrawn after publication