CN110070029A - 一种步态识别方法及装置 - Google Patents

一种步态识别方法及装置 Download PDF

Info

Publication number
CN110070029A
CN110070029A CN201910309192.7A CN201910309192A CN110070029A CN 110070029 A CN110070029 A CN 110070029A CN 201910309192 A CN201910309192 A CN 201910309192A CN 110070029 A CN110070029 A CN 110070029A
Authority
CN
China
Prior art keywords
human body
pedestrian
key point
body key
target nerve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910309192.7A
Other languages
English (en)
Other versions
CN110070029B (zh
Inventor
袁飞
华仁红
马向军
孙文凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yida Turing Technology Co Ltd
Original Assignee
Beijing Yida Turing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yida Turing Technology Co Ltd filed Critical Beijing Yida Turing Technology Co Ltd
Priority to CN201910309192.7A priority Critical patent/CN110070029B/zh
Publication of CN110070029A publication Critical patent/CN110070029A/zh
Application granted granted Critical
Publication of CN110070029B publication Critical patent/CN110070029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种步态识别方法及装置。方法包括：获取待识别视频中任一行人对应的人体关键点特征向量序列；将人体关键点特征向量序列输入至目标神经网络，根据目标神经网络的输出结果，识别人体关键点特征向量序列对应的行人身份；其中，目标神经网络是根据带有行人身份标签的人体关键点特征向量序列进行训练后得到的。本发明实施例提供的方法及装置，通过获取待识别视频中任一行人对应的人体关键点特征向量序列，并将该序列输入至目标神经网络，根据目标神经网络的输出结果，识别该序列对应的行人身份。通过充分利用人体关键点特征，自学习人体的步态特征，大大提高了步态识别的鲁棒性和准确性，并且，对硬件的要求较低，便于实际应用。

Description

一种步态识别方法及装置
技术领域
本发明实施例涉及步态识别技术领域，尤其涉及一种步态识别方法及装置。
背景技术
步态识别是一种新兴的生物特征识别技术，旨在通过人们走路的姿态进行身份识别，与其他的生物特征识别技术相比，步态识别具有非接触、远距离和不容易伪装的优点，在智能视频监控领域，比图像识别更具优势。
现有的步态识别方法较多，例如：
方法一为基于步态辅助设备进行步态识别，即使用步态辅助设备对人体的步态信息进行采集，步态辅助设备包括外骨骼组件、传感器组件和数据处理器。通过数据处理器接收传感器组件测量获得的外骨骼组件的运动数据，并利用预设的步态识别算法确定步态参数，该步态参数用于表征步态辅助设备的使用者的行动姿态和行为特征。
方法二为基于平均差分图像进行步态识别，适用于固定背景下，单人依次走过摄像机的情形下的步态识别，步骤如下：图像分帧；得到背景图像；提取人体轮廓；对每一帧人体轮廓二值化图像进行边缘剪裁后，计算每帧轮廓的质心，并进行质心对齐，得到质心对齐轮廓；行走周期的计算；针对每个行走周期内的质心对齐轮廓，计算相邻两帧之间的差分图像；将多个行走周期内的差分图像叠加以后取平均值,得到平均差分图像；平均图像的特征提取，利用主成分分析方法计算每个平均图像的特征值并按绝对值由大到小排序，取绝对值最大的部分特征值组成特征向量；通过近邻算法来进行步态的识别。
现有技术中采用硬件设备来获取人的运动数据，或通过提取人的轮廓来得到人的行走特征，都存在不同的缺点。采用硬件设备来获取人的运动数据，对硬件要求较高，不便于实际应用，采用人的轮廓的方法对人的外形要求较高，比如同一个人，夏天和冬天的轮廓差别较大，甚至发型的改变也能引起轮廓的改变，准确性和鲁棒性太差。
发明内容
针对现有技术中存在的技术问题，本发明实施例提供一种步态识别方法及装置。
第一方面，本发明实施例提供一种步态识别方法，包括：
获取待识别视频中任一行人对应的人体关键点特征向量序列；
将所述人体关键点特征向量序列输入至目标神经网络，根据所述目标神经网络的输出结果，识别所述人体关键点特征向量序列对应的行人身份；
其中，所述目标神经网络是根据带有行人身份标签的人体关键点特征向量序列进行训练后得到的。
第二方面，本发明实施例提供一种步态识别装置，包括：
特征向量序列获取模块，用于获取待识别视频中任一行人对应的人体关键点特征向量序列；
行人身份识别模块，用于将所述人体关键点特征向量序列输入至目标神经网络，根据所述目标神经网络的输出结果，识别所述人体关键点特征向量序列对应的行人身份；
其中，所述目标神经网络是根据带有行人身份标签的人体关键点特征向量序列进行训练后得到的。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的一种步态识别方法及装置，通过获取待识别视频中任一行人对应的人体关键点特征向量序列，并将该序列输入至目标神经网络，根据目标神经网络的输出结果，识别该序列对应的行人身份。通过充分利用人体关键点特征，自学习人体的步态特征，大大提高了步态识别的鲁棒性和准确性，并且，对硬件的要求较低，便于实际应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种步态识别方法流程图；
图2为本发明实施例提供的一种步态识别装置的结构示意图；
图3为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种步态识别方法流程图，如图1所示，该方法包括：
步骤101，获取待识别视频中任一行人对应的人体关键点特征向量序列。
具体地，在实际应用中，需在墙壁等支撑物上预先设置摄像头，利用摄像头拍摄其自身覆盖范围内的包含若干个行人的视频，在本发明实施例中，需要对拍摄得到的视频中所包含的若干个行人进行身份识别，因此，将该视频称为待识别视频。
待识别视频中包含了若干个行人，即一个或多个行人，若需要对该视频中的一个行人进行身份识别，则首先需要获取该行人对应的人体关键点特征向量序列，若需要对该视频中的多个行人进行身份识别，则首先需要获取这多个行人中的每一行人对应的人体关键点特征向量序列。
其中，人体关键点特征向量序列用于表征人体骨骼关键点的特征，其包含若干个人体关键点特征向量，且这若干个人体关键点特征向量按照时间顺序依次排列组成人体关键点特征向量序列。
其中，人体骨骼关键点指的是人体的固定部位的位置，包括眼睛、鼻子、肩、腰等，人体骨骼关键点对于描述人体姿态，预测人体行为至关重要，因此，人体骨骼关键点是诸多计算机视觉任务的基础，例如动作分类、异常行为检测、自动驾驶等。
需要说明的是，由于摄像头硬件损毁或环境因素影响，其拍摄到的视频可能存在随机噪声的影响从而使得该视频不适合用于对行人身份进行识别，因此，为了保障识别的有效性和准确性，在获取该视频中行人对应的人体关键点特征向量序列之前，还可对该视频进行一系列处理，例如，对于在雨雾天拍摄到的视频，通过视频透雾增透技术，将由于雨水、雾气或灰尘等导致朦胧不清的视频变得更加清晰，从而使得处理之后的视频更加适用于对行人身份进行识别。
步骤102，将所述人体关键点特征向量序列输入至目标神经网络，根据所述目标神经网络的输出结果，识别所述人体关键点特征向量序列对应的行人身份；其中，所述目标神经网络是根据带有行人身份标签的人体关键点特征向量序列进行训练后得到的。
具体地，当获取到一个行人对应的人体关键点特征向量序列后，将该人体关键点特征向量序列输入至目标神经网络，从而根据目标神经网络的输出结果，识别该人体关键点特征向量序列对应的行人身份，也即，识别该行人的身份。可以理解的是，目标神经网络是通过训练之后所得到的，其能够有效且准确地根据行人对应的人体关键点特征向量序列，识别行人的身份。
需要说明的是，目标神经网络为循环神经网络(Recurrent Neural Network，简称RNN)，特别地，优选为长短期记忆网络(Long Short Term Memory networks，简称LSTM)。LSTM是一种特殊的RNN，能够学习到输入对象之间的长期依赖关系。由于人体关键点特征向量序列是一个时间序列，本发明实施例中的LSTM可以实现该序列的长期记忆和短期记忆，从而能够充分考虑该序列中各个特征向量在时间维度上(多个特征向量的上下文特征)和空间维度上(多个特征向量的全局特征和单个特征向量的个体特征)的特征。
将人体关键点特征向量序列输入至LSTM中，LSTM输出该序列对应的各身份预测概率，将最大的预测概率对应身份作为该序列对应的行人身份。例如，输出结果为：该序列对应的行人为A的概率5％，该序列对应的行人为B的概率18％，该序列对应的行人为C的概率72％，该序列对应的行人为D的概率5％，那么，判定该行人为C。
本发明实施例提供的方法，通过获取待识别视频中任一行人对应的人体关键点特征向量序列，并将该序列输入至目标神经网络，根据目标神经网络的输出结果，识别该序列对应的行人身份。通过充分利用人体关键点特征，自学习人体的步态特征，大大提高了步态识别的鲁棒性和准确性，并且，对硬件的要求较低，便于实际应用。
在上述各实施例的基础上，本发明实施例对上述实施例中获取人体关键点特征向量序列的过程进行进一步说明，即，所述获取待识别视频中任一行人对应的人体关键点特征向量序列，包括：
获取待识别视频，所述待识别视频中包括若干个行人。
需要说明的是，在上述实施例中已详细说明该视频的获取过程，在此不再赘述。在本发明实施例中，将该视频的时长优选为20～30s，但可以理解的是，该视频的时长可根据实际应用场景进行调整，本发明实施例对此不作具体限定。
对所述待识别视频进行采样，得到多帧图像并组成采样图像序列。
具体地，为了获取行人对应的人体关键点特征向量序列，首先需要对该视频进行采样，在本发明实施例中，每秒提取10帧图像，那么，对于时长为20s的视频，一共提取200帧图像，将这200帧图像按照采样顺序依次排列组成采样图像序列。需要说明的是，本发明实施例对采样频率可根据实际应用场景进行调整，本发明实施例对此不作具体限定。
将所述采样图像序列输入至人体关键点检测模型，得到所述待识别视频中任一行人对应的人体关键点特征向量序列。
具体地，人体关键点检测模型众多，在本发明实施例中，将该模型优选为OpenPose模型，将采样图像序列输入至该模型中，该模型可输出该视频中任一行人对应的人体关键点特征向量序列。
以下通过举例对该模型的功能进行进一步说明：
该模型包括特征向量输出单元和特征向量序列输出单元，将由200帧图像组成的采样图像序列输入至特征向量输出单元中，该单元可针对每一帧图像输出对应的若干个人体关键点特征向量，需要说明的是，若该帧图像中只有一个行人，则输出一个人体关键点特征向量，若该帧图像中只有三个行人，则输出三个人体关键点特征向量，可以理解的是，这三个行人和这三个人体关键点特征向量一一对应。
将200帧图像所对应的多个人体关键点特征向量输入至特征向量序列输出单元，该单元可对接收到的多个人体关键点特征向量进行汇总分析，得到该视频中任一行人对应的多个人体关键点特征向量并按照时间顺序依次排列为该行人对应的人体关键点特征向量序列，并输出。
在上述各实施例的基础上，本发明实施例对将人体关键点特征向量序列输入至目标神经网络之前所做的操作进行说明，即，所述将所述人体关键点特征向量序列输入至目标神经网络，之前还包括：
获取多个样本视频和每一样本视频中每一行人对应的行人身份标签，并获取每一样本视频中每一行人对应的人体关键点特征向量序列。
具体地，在将人体关键点特征向量序列输入至目标神经网络之前，还需对原始神经网络进行训练，以得到目标神经网络。
需要说明的是，原始神经网络也为RNN，特别地，优选为LSTM。
为了对原始神经网络进行训练，首先需要获取多个样本视频、每一样本视频中每一行人对应的行人身份标签、以及每一样本视频中每一行人对应的人体关键点特征向量序列。
需要说明的是，样本视频与上述实施例中待识别视频的获取方式可以相同，即通过设置于墙壁等支撑物上的摄像头拍摄获取，样本视频中也包括若干个行人，且样本视频的时长也可为20～30s。
对于每一样本视频，该样本视频中每一行人的身份是已知的，且已通过行人身份标签进行标注。其中，行人身份标签包括身份A、身份B、身份C和身份D。需要说明的是，行人身份标签的个数以及命名等可根据实际应用场景进行调整，本发明实施例对此不作具体限定。
通过将样本视频输入至人体关键点检测模型，可输出该样本视频中每一行人对应的人体关键点特征向量序列。需要说明的是，人体关键点检测模型的具体实现过程可以参见上述方法实施例，此处不再赘述。
将每一行人对应的人体关键点特征向量序列和行人身份标签的组合作为一个训练样本，得到多个训练样本并组成训练集。
具体地，将每一行人对应的人体关键点特征向量序列和行人身份标签的组合作为一个训练样本，即将每一带有行人身份标签的人体关键点特征向量序列作为一个训练样本，由此即可获得多个训练样本。为了便于描述，将这多个训练样本称为训练集。
通过所述训练集对原始神经网络进行训练，得到所述目标神经网络。
具体地，将训练集中的多个训练样本依次输入至原始神经网络，即将每一训练样本中的人体关键点特征向量序列和行人身份标签同时输入至原始神经网络，根据原始神经网络的每一次输出结果对原始神经网络中的模型参数进行调整，最终得到目标神经网络。
在上述各实施例的基础上，本发明实施例对目标神经网络的获取方式进行进一步说明，即，所述通过所述训练集对原始神经网络进行训练，得到所述目标神经网络，包括：
将所述训练集中的任一训练样本输入至所述原始神经网络，根据所述原始神经网络的输出结果和所述训练样本中的行人身份标签计算所述原始神经网络的损失值；若所述损失值小于第一预设阈值，则将所述原始神经网络作为所述目标神经网络。
具体地，在获得训练集之后，对于训练集中的任意一个训练样本，将该训练样本中的人体关键点特征向量序列和行人身份标签同时输入至原始神经网络，输出该训练样本对应的预测概率，其中预测概率指的是该训练样本针对不同行人身份标签对应的预测概率。在此基础上，利用预设损失函数根据训练样本对应的预测概率和训练样本中的行人身份标签计算损失值。
其中，行人身份标签可以表示为one-hot向量，预设损失函数可以为交叉熵损失函数。在其他实施例中，行人身份标签的表示方式和预设损失函数可以根据实际需求进行设置，此处不做具体限定。
在计算获得损失值之后，本次训练过程结束，再利用误差反向传播算法更新原始神经网络中的模型参数，之后再进行下一次训练。在训练的过程中，若针对某个训练样本计算获得的损失值小于第一预设阈值，则原始神经网络训练完成，将此时的原始神经网络作为目标神经网络。
在上述各实施例的基础上，本发明实施例对目标神经网络的另一种获取方式进行进一步说明，即，所述通过所述训练集对原始神经网络进行训练，得到所述目标神经网络，包括：
将所述训练集中的任一训练样本输入至所述原始神经网络，根据所述原始神经网络的输出结果和所述训练样本中的行人身份标签计算所述原始神经网络的损失值；若所述损失值小于第一预设阈值，则将所述原始神经网络作为候选神经网络；多次调整所述原始神经网络的结构，每调整一次则重复执行训练过程以得到对应的候选神经网络，并从得到的多个候选神经网络中选择一个作为所述目标神经网络。
具体地，在本发明实施例中，原始神经网络中包括3个LSTM层，隐藏单元的个数设为64，步长设为30。通过上述实施例中的训练过程对该原始神经网络进行训练，将训练完成的原始神经网络作为一个候选神经网络。
然后，对神经网络的结构进行一次调整，例如，增加2～3个LSTM层、调整隐藏单元的个数或步长，调整完毕后，通过上述训练过程对调整完毕的原始神经网络进行训练，将训练完成的原始神经网络作为一个候选神经网络。
多次执行上述调整及训练过程，得到多个候选神经网络，在这多个候选神经网络选择一个作为目标神经网络。
此处对调整的终止条件进行说明：当本次调整后的原始神经网络的损失值大于上次整后的原始神经网络的损失值时，终止调整。
在上述各实施例的基础上，本发明实施例对上述实施例中的从多个候选神经网络选择一个作为目标神经网络的过程进行进一步说明，即，所述从得到的多个候选神经网络中选择一个作为所述目标神经网络，包括：
从所述多个候选神经网络中，选择损失值小于第二预设阈值的若干个候选神经网络；基于验证集对所述若干个候选神经网络中的每一候选神经网络进行验证，得到每一候选神经网络的准确率，并将准确率最高的候选神经网络作为所述目标神经网络。
具体地，为了缩小选择范围，首先，将这多个候选神经网络中每一候选神经网络的损失值与第二预设阈值进行对比，将损失值小于第二预设阈值的候选神经网络选择出来。
然后，对于选择出来的每一候选神经网络，通过验证集验证该候选神经网络的准确率，需要说明的是，验证集包括多个验证样本，每一验证样本为人体关键点特征向量序列和行人身份标签的组合。将每一验证样本输入至候选神经网络中以得到预测的行人身份标签，基于预测的行人身份标签和验证样本中的行人身份标签，计算该候选神经网络的准确率。
根据上述过程获得多个候选神经网络的准确率，将准确率最高的候选神经网络作为目标神经网络。
在上述各实施例的基础上，所述目标神经网络为长短期记忆网络。
图2为本发明实施例提供的一种步态识别装置的结构示意图，如图2所示，该装置包括：
特征向量序列获取模块201，用于获取待识别视频中任一行人对应的人体关键点特征向量序列。
具体地，在实际应用中，需在墙壁等支撑物上预先设置摄像头，利用摄像头拍摄其自身覆盖范围内的包含若干个行人的视频，在本发明实施例中，需要对拍摄得到的视频中所包含的若干个行人进行身份识别，因此，将该视频称为待识别视频。待识别视频中包含了若干个行人，即一个或多个行人，若需要对该视频中的一个行人进行身份识别，则首先需要获取该行人对应的人体关键点特征向量序列，若需要对该视频中的多个行人进行身份识别，则首先需要获取这多个行人中的每一行人对应的人体关键点特征向量序列。其中，人体关键点特征向量序列用于表征人体骨骼关键点的特征，其包含若干个人体关键点特征向量，且这若干个人体关键点特征向量按照时间顺序依次排列组成人体关键点特征向量序列。其中，人体骨骼关键点指的是人体的固定部位的位置，包括眼睛、鼻子、肩、腰等，人体骨骼关键点对于描述人体姿态，预测人体行为至关重要，因此，人体骨骼关键点是诸多计算机视觉任务的基础，例如动作分类、异常行为检测、自动驾驶等。需要说明的是，由于摄像头硬件损毁或环境因素影响，其拍摄到的视频可能存在随机噪声的影响从而使得该视频不适合用于对行人身份进行识别，因此，为了保障识别的有效性和准确性，在获取该视频中行人对应的人体关键点特征向量序列之前，还可对该视频进行一系列处理，例如，对于在雨雾天拍摄到的视频，通过视频透雾增透技术，将由于雨水、雾气或灰尘等导致朦胧不清的视频变得更加清晰，从而使得处理之后的视频更加适用于对行人身份进行识别。
行人身份识别模块202，用于将所述人体关键点特征向量序列输入至目标神经网络，根据所述目标神经网络的输出结果，识别所述人体关键点特征向量序列对应的行人身份；其中，所述目标神经网络是根据带有行人身份标签的人体关键点特征向量序列进行训练后得到的。
具体地，当获取到一个行人对应的人体关键点特征向量序列后，将该人体关键点特征向量序列输入至目标神经网络，从而根据目标神经网络的输出结果，识别该人体关键点特征向量序列对应的行人身份，也即，识别该行人的身份。可以理解的是，目标神经网络是通过训练之后所得到的，其能够有效且准确地根据行人对应的人体关键点特征向量序列，识别行人的身份。需要说明的是，目标神经网络为循环神经网络(Recurrent NeuralNetwork，简称RNN)，特别地，优选为长短期记忆网络(Long Short Term Memory networks，简称LSTM)。LSTM是一种特殊的RNN，能够学习到输入对象之间的长期依赖关系。由于人体关键点特征向量序列是一个时间序列，本发明实施例中的LSTM可以实现该序列的长期记忆和短期记忆，从而能够充分考虑该序列中各个特征向量在时间维度上(多个特征向量的上下文特征)和空间维度上(多个特征向量的全局特征和单个特征向量的个体特征)的特征。将人体关键点特征向量序列输入至LSTM中，LSTM输出该序列对应的各身份预测概率，将最大的预测概率对应身份作为该序列对应的行人身份。例如，输出结果为：该序列对应的行人为A的概率5％，该序列对应的行人为B的概率18％，该序列对应的行人为C的概率72％，该序列对应的行人为D的概率5％，那么，判定该行人为C。
本发明实施例提供的装置，具体执行上述各方法实施例流程，具体请详见上述各方法实施例的内容，此处不再赘述。本发明实施例提供的装置，通过获取待识别视频中任一行人对应的人体关键点特征向量序列，并将该序列输入至目标神经网络，根据目标神经网络的输出结果，识别该序列对应的行人身份。通过充分利用人体关键点特征，自学习人体的步态特征，大大提高了步态识别的鲁棒性和准确性，并且，对硬件的要求较低，便于实际应用。
图3为本发明实施例提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储在存储器303上并可在处理器301上运行的计算机程序，以执行上述各实施例提供的方法，例如包括：获取待识别视频中任一行人对应的人体关键点特征向量序列；将所述人体关键点特征向量序列输入至目标神经网络，根据所述目标神经网络的输出结果，识别所述人体关键点特征向量序列对应的行人身份；其中，所述目标神经网络是根据带有行人身份标签的人体关键点特征向量序列进行训练后得到的。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：获取待识别视频中任一行人对应的人体关键点特征向量序列；将所述人体关键点特征向量序列输入至目标神经网络，根据所述目标神经网络的输出结果，识别所述人体关键点特征向量序列对应的行人身份；其中，所述目标神经网络是根据带有行人身份标签的人体关键点特征向量序列进行训练后得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种步态识别方法，其特征在于，包括：
获取待识别视频中任一行人对应的人体关键点特征向量序列；
将所述人体关键点特征向量序列输入至目标神经网络，根据所述目标神经网络的输出结果，识别所述人体关键点特征向量序列对应的行人身份；
其中，所述目标神经网络是根据带有行人身份标签的人体关键点特征向量序列进行训练后得到的。
2.根据权利要求1所述的方法，其特征在于，所述获取待识别视频中任一行人对应的人体关键点特征向量序列，包括：
获取待识别视频，所述待识别视频中包括若干个行人；
对所述待识别视频进行采样，得到多帧图像并组成采样图像序列；
将所述采样图像序列输入至人体关键点检测模型，得到所述待识别视频中任一行人对应的人体关键点特征向量序列。
3.根据权利要求1所述的方法，其特征在于，所述将所述人体关键点特征向量序列输入至目标神经网络，之前还包括：
获取多个样本视频和每一样本视频中每一行人对应的行人身份标签，并获取每一样本视频中每一行人对应的人体关键点特征向量序列；
将每一行人对应的人体关键点特征向量序列和行人身份标签的组合作为一个训练样本，得到多个训练样本并组成训练集；
通过所述训练集对原始神经网络进行训练，得到所述目标神经网络。
4.根据权利要求3所述的方法，其特征在于，所述通过所述训练集对原始神经网络进行训练，得到所述目标神经网络，包括：
将所述训练集中的任一训练样本输入至所述原始神经网络，根据所述原始神经网络的输出结果和所述训练样本中的行人身份标签计算所述原始神经网络的损失值；
若所述损失值小于第一预设阈值，则将所述原始神经网络作为所述目标神经网络。
5.根据权利要求3所述的方法，其特征在于，所述通过所述训练集对原始神经网络进行训练，得到所述目标神经网络，包括：
将所述训练集中的任一训练样本输入至所述原始神经网络，根据所述原始神经网络的输出结果和所述训练样本中的行人身份标签计算所述原始神经网络的损失值；
若所述损失值小于第一预设阈值，则将所述原始神经网络作为候选神经网络；
多次调整所述神经网络的结构，每调整一次则重复执行训练过程以得到对应的候选神经网络，并从得到的多个候选神经网络中选择一个作为所述目标神经网络。
6.根据权利要求5所述的方法，其特征在于，所述从得到的多个候选神经网络中选择一个作为所述目标神经网络，包括：
从所述多个候选神经网络中，选择损失值小于第二预设阈值的若干个候选神经网络；
基于验证集对所述若干个候选神经网络中的每一候选神经网络进行验证，得到每一候选神经网络的准确率，并将准确率最高的候选神经网络作为所述目标神经网络。
7.根据权利要求1-6任一所述的方法，其特征在于，所述目标神经网络为长短期记忆网络。
8.一种步态识别装置，其特征在于，包括：
特征向量序列获取模块，用于获取待识别视频中任一行人对应的人体关键点特征向量序列；
行人身份识别模块，用于将所述人体关键点特征向量序列输入至目标神经网络，根据所述目标神经网络的输出结果，识别所述人体关键点特征向量序列对应的行人身份；
其中，所述目标神经网络是根据带有行人身份标签的人体关键点特征向量序列进行训练后得到的。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201910309192.7A 2019-04-17 2019-04-17 一种步态识别方法及装置 Active CN110070029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910309192.7A CN110070029B (zh) 2019-04-17 2019-04-17 一种步态识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910309192.7A CN110070029B (zh) 2019-04-17 2019-04-17 一种步态识别方法及装置

Publications (2)

Publication Number Publication Date
CN110070029A true CN110070029A (zh) 2019-07-30
CN110070029B CN110070029B (zh) 2021-07-16

Family

ID=67367899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910309192.7A Active CN110070029B (zh) 2019-04-17 2019-04-17 一种步态识别方法及装置

Country Status (1)

Country Link
CN (1) CN110070029B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674785A (zh) * 2019-10-08 2020-01-10 中兴飞流信息科技有限公司 一种基于人体关键点跟踪的多人姿态分析方法
CN110688898A (zh) * 2019-08-26 2020-01-14 东华大学 基于时空双流卷积神经网络的跨视角步态识别方法
CN110705390A (zh) * 2019-09-17 2020-01-17 平安科技（深圳）有限公司 基于lstm的形体姿态识别方法、装置及存储介质
CN110895860A (zh) * 2019-10-22 2020-03-20 珠海格力电器股份有限公司 一种区域监测方法、装置、电子设备及存储介质
CN111191526A (zh) * 2019-12-16 2020-05-22 汇纳科技股份有限公司 行人属性识别网络训练方法、系统、介质及终端
CN112016475A (zh) * 2020-08-31 2020-12-01 支付宝(杭州)信息技术有限公司 一种人体检测识别方法和装置
CN112446240A (zh) * 2019-08-29 2021-03-05 杭州海康威视数字技术股份有限公司 一种动作识别方法及装置
CN112633222A (zh) * 2020-12-30 2021-04-09 民航成都电子技术有限责任公司 基于对抗网络的步态识别方法、装置、设备及介质
CN113821689A (zh) * 2021-09-22 2021-12-21 沈春华 基于视频序列的行人检索方法、装置和电子设备
CN114373091A (zh) * 2020-10-14 2022-04-19 南京工业大学 基于深度学习融合svm的步态识别方法
CN114419103A (zh) * 2022-01-26 2022-04-29 奥比中光科技集团股份有限公司 一种骨架检测跟踪方法、装置及电子设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807245A (zh) * 2010-03-02 2010-08-18 天津大学 基于人工神经网络的多源步态特征提取与身份识别方法
CN107292250A (zh) * 2017-05-31 2017-10-24 西安科技大学 一种基于深度神经网络的步态识别方法
CN108182433A (zh) * 2017-12-29 2018-06-19 北京易达图灵科技有限公司 一种表计读数识别方法及系统
CN108229647A (zh) * 2017-08-18 2018-06-29 北京市商汤科技开发有限公司 神经网络结构的生成方法和装置、电子设备、存储介质
CN108427953A (zh) * 2018-02-26 2018-08-21 北京易达图灵科技有限公司 一种文字识别方法及装置
CN108460340A (zh) * 2018-02-05 2018-08-28 北京工业大学 一种基于3d稠密卷积神经网络的步态识别方法
CN108510491A (zh) * 2018-04-04 2018-09-07 深圳市未来媒体技术研究院 虚化背景下人体骨骼关键点检测结果的过滤方法
CN108764107A (zh) * 2018-05-23 2018-11-06 中国科学院自动化研究所 基于人体骨架序列的行为与身份联合识别方法及装置
CN108764176A (zh) * 2018-05-31 2018-11-06 郑州云海信息技术有限公司 一种动作序列识别方法、系统及设备和存储介质
CN108960078A (zh) * 2018-06-12 2018-12-07 温州大学 一种基于单目视觉、从动作识别身份的方法
CN108985259A (zh) * 2018-08-03 2018-12-11 百度在线网络技术（北京）有限公司 人体动作识别方法和装置
CN109194879A (zh) * 2018-11-19 2019-01-11 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及移动终端
CN109241853A (zh) * 2018-08-10 2019-01-18 平安科技（深圳）有限公司 行人特征采集方法、装置、计算机设备及存储介质
CN109558787A (zh) * 2018-09-28 2019-04-02 浙江农林大学 一种基于卷积神经网络模型的竹林害虫识别方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101807245A (zh) * 2010-03-02 2010-08-18 天津大学 基于人工神经网络的多源步态特征提取与身份识别方法
CN107292250A (zh) * 2017-05-31 2017-10-24 西安科技大学 一种基于深度神经网络的步态识别方法
CN108229647A (zh) * 2017-08-18 2018-06-29 北京市商汤科技开发有限公司 神经网络结构的生成方法和装置、电子设备、存储介质
CN108182433A (zh) * 2017-12-29 2018-06-19 北京易达图灵科技有限公司 一种表计读数识别方法及系统
CN108460340A (zh) * 2018-02-05 2018-08-28 北京工业大学 一种基于3d稠密卷积神经网络的步态识别方法
CN108427953A (zh) * 2018-02-26 2018-08-21 北京易达图灵科技有限公司 一种文字识别方法及装置
CN108510491A (zh) * 2018-04-04 2018-09-07 深圳市未来媒体技术研究院 虚化背景下人体骨骼关键点检测结果的过滤方法
CN108764107A (zh) * 2018-05-23 2018-11-06 中国科学院自动化研究所 基于人体骨架序列的行为与身份联合识别方法及装置
CN108764176A (zh) * 2018-05-31 2018-11-06 郑州云海信息技术有限公司 一种动作序列识别方法、系统及设备和存储介质
CN108960078A (zh) * 2018-06-12 2018-12-07 温州大学 一种基于单目视觉、从动作识别身份的方法
CN108985259A (zh) * 2018-08-03 2018-12-11 百度在线网络技术（北京）有限公司 人体动作识别方法和装置
CN109241853A (zh) * 2018-08-10 2019-01-18 平安科技（深圳）有限公司 行人特征采集方法、装置、计算机设备及存储介质
CN109558787A (zh) * 2018-09-28 2019-04-02 浙江农林大学 一种基于卷积神经网络模型的竹林害虫识别方法
CN109194879A (zh) * 2018-11-19 2019-01-11 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高志强 等: "《深度学习 从入门到实战》", 30 June 2018 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110688898A (zh) * 2019-08-26 2020-01-14 东华大学 基于时空双流卷积神经网络的跨视角步态识别方法
CN110688898B (zh) * 2019-08-26 2023-03-31 东华大学 基于时空双流卷积神经网络的跨视角步态识别方法
CN112446240A (zh) * 2019-08-29 2021-03-05 杭州海康威视数字技术股份有限公司 一种动作识别方法及装置
CN110705390A (zh) * 2019-09-17 2020-01-17 平安科技（深圳）有限公司 基于lstm的形体姿态识别方法、装置及存储介质
CN110674785A (zh) * 2019-10-08 2020-01-10 中兴飞流信息科技有限公司 一种基于人体关键点跟踪的多人姿态分析方法
WO2021077907A1 (zh) * 2019-10-22 2021-04-29 珠海格力电器股份有限公司 一种区域监测方法、装置、电子设备及存储介质
CN110895860A (zh) * 2019-10-22 2020-03-20 珠海格力电器股份有限公司 一种区域监测方法、装置、电子设备及存储介质
CN111191526A (zh) * 2019-12-16 2020-05-22 汇纳科技股份有限公司 行人属性识别网络训练方法、系统、介质及终端
CN111191526B (zh) * 2019-12-16 2023-10-10 汇纳科技股份有限公司 行人属性识别网络训练方法、系统、介质及终端
CN112016475B (zh) * 2020-08-31 2022-07-08 支付宝(杭州)信息技术有限公司 一种人体检测识别方法和装置
CN112016475A (zh) * 2020-08-31 2020-12-01 支付宝(杭州)信息技术有限公司 一种人体检测识别方法和装置
CN114373091A (zh) * 2020-10-14 2022-04-19 南京工业大学 基于深度学习融合svm的步态识别方法
CN112633222A (zh) * 2020-12-30 2021-04-09 民航成都电子技术有限责任公司 基于对抗网络的步态识别方法、装置、设备及介质
CN112633222B (zh) * 2020-12-30 2023-04-28 民航成都电子技术有限责任公司 基于对抗网络的步态识别方法、装置、设备及介质
CN113821689A (zh) * 2021-09-22 2021-12-21 沈春华 基于视频序列的行人检索方法、装置和电子设备
CN114419103A (zh) * 2022-01-26 2022-04-29 奥比中光科技集团股份有限公司 一种骨架检测跟踪方法、装置及电子设备

Also Published As

Publication number Publication date
CN110070029B (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN110070029A (zh) 一种步态识别方法及装置
CN110363140B (zh) 一种基于红外图像的人体动作实时识别方法
CN106709461B (zh) 基于视频的行为识别方法及装置
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN105303150B (zh) 实现图像处理的方法和系统
CN108230291B (zh) 物体识别系统训练方法、物体识别方法、装置和电子设备
CN110097029B (zh) 基于Highway网络多视角步态识别的身份认证方法
CN107958244A (zh) 一种基于视频多帧人脸特征融合的人脸识别方法及装置
CN109190446A (zh) 基于三元组聚焦损失函数的行人再识别方法
CN104504366A (zh) 基于光流特征的笑脸识别系统及方法
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN109472247B (zh) 基于深度学习非配合式的人脸识别方法
CN110163041A (zh) 视频行人再识别方法、装置及存储介质
CN114582030B (zh) 一种基于服务机器人的行为识别方法
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN113221663A (zh) 一种实时手语智能识别方法、装置及系统
CN110096938A (zh) 一种视频中的动作行为的处理方法和装置
CN110363770A (zh) 一种边缘引导式红外语义分割模型的训练方法及装置
CN110503082A (zh) 一种基于深度学习的模型训练方法以及相关装置
CN108171208A (zh) 信息获取方法和装置
CN111914758A (zh) 一种基于卷积神经网络的人脸活体检测方法及装置
CN112926388A (zh) 一种基于动作识别的校园暴力行为视频检测方法
CN111860117A (zh) 一种基于深度学习的人体行为识别方法
CN110175553A (zh) 基于步态识别与人脸识别建立特征库的方法及装置
CN116311400A (zh) 掌纹图像的处理方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant