CN112232224A - 一种lstm与cnn相结合的跨视角步态识别方法 - Google Patents
一种lstm与cnn相结合的跨视角步态识别方法 Download PDFInfo
- Publication number
- CN112232224A CN112232224A CN202011119681.5A CN202011119681A CN112232224A CN 112232224 A CN112232224 A CN 112232224A CN 202011119681 A CN202011119681 A CN 202011119681A CN 112232224 A CN112232224 A CN 112232224A
- Authority
- CN
- China
- Prior art keywords
- joint
- pedestrian
- gait
- constraint
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005021 gait Effects 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims abstract description 54
- 239000013598 vector Substances 0.000 claims abstract description 50
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000009916 joint effect Effects 0.000 claims abstract description 12
- 210000002683 foot Anatomy 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 14
- 210000003141 lower extremity Anatomy 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000005484 gravity Effects 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 210000000629 knee joint Anatomy 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 3
- 102000002274 Matrix Metalloproteinases Human genes 0.000 description 2
- 108010000684 Matrix Metalloproteinases Proteins 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种LSTM与CNN相结合的跨视角步态识别方法，包括以下步骤：1)从CASIA‑B步态视频数据集中，采用OpenPose3D提取视频中行人的3D姿态数据；2)从步骤1)中获取的3D姿态数据中提取视频行人关节点的运动约束数据及关节动作数据，构建行人步态约束矩阵并以此建立样本集；3)构建3D步态识别网络LC‑POSEGAIT；4)利用步骤2)得到的训练集样本对3D步态识别网络LC‑POSEGAIT进行训练；5)利用训练后的3D步态识别网络LC‑POSEGAIT提取视频行人的步态特征向量，完成LSTM与CNN相结合的跨视角步态识别，该方法能够实现跨视角步态识别，避免了行人检测跟踪的预处理工作，能够缓解拍摄角度、携带物品、光照等因素对步态识别的影响。
Description
技术领域
本发明属于机器视觉领域，涉及一种LSTM与CNN相结合的跨视角步态识别方法。
背景技术
生物特征识别在安全监控、行人跟踪、身份识别等领域有着广泛的应用。目前，公共场所都安装有大量的摄像监控设备，采集的监控数据多用于事后取证，较少对特定目标行人在无感知、远距离、非受控的情况下进行身份验证，以支持安全预警和报警。步态是人在行进过程中走路姿态的表现，具有非接触、非侵入性、难以隐藏和伪造的特点，是唯一可以在远距离、非受控的状态下获得的生物特征，可支持远距离身份识别，因此，步态识别有着广阔的应用前景。
步态在一组运动周期中才能表现出显著性特征，易受外在环境(视角、路面、遮挡等)和自身因素(携带物、着装等)的干扰，加之人体的非刚性运动，使观察视角的变化对行人步态的类内特征影响较大。现有基于表观建模的跨视角步态识别方法采用类能量图建模，容易丢失步态的时空信息，易受行人衣着、携带物及形体变化影响，识别性能有限，只适用于视角变化范围有限或较小的情形。由于步态信息本质的三维性，在3D空间中，人体关节的运动变化可以更准确描述步态特征。但是，传统3D步态模型中人体关节点跟踪是一个难点，而使用3D设备或多摄像机协作重构3D步态模型，需要复杂的摄像机参数调整及建模计算，其应用场景又受到限制。
发明内容
本发明的目的在于克服上述现有技术的缺点，提供了一种LSTM与CNN相结合的跨视角步态识别方法，该方法能够实现跨视角步态识别，且省略行人检测跟踪的预处理步骤。
为达到上述目的，本发明所述的LSTM与CNN相结合的跨视角步态识别方法包括以下步骤：
1)从CASIA-B步态视频数据集中，采用OpenPose3D提取视频中行人的3D姿态数据；
2)从步骤1)中获取的3D姿态数据中提取视频行人关节点的运动约束数据及关节动作数据，构建行人运动约束矩阵并以此建立样本集；
3)构建LSTM与CNN并行组合的3D步态识别网络LC-POSEGAIT；
4)利用步骤2)得到的训练集样本对3D步态识别网络LC-POSEGAIT进行训练；
5)利用训练后的3D步态识别网络LC-POSEGAIT提取视频行人的步态特征向量，并对步态特征向量进行度量，实现跨视角步态识别。步骤1)的具体操作为：从CASIA-B步态视频数据集中，采用OpenPose3D提取视频中行人的3D姿态数据
其中，
表示行人第m帧第i个关节点的三维坐标。
步骤2)的具体操作为：
21)根据视频行人的关节点姿态数据，分别计算关节夹角约束Rjoint、足角约束Rfoot、重心与下肢关节运动约束Rgra、人体结构约束Rstep及人体运动约束Rforw，以构建视频行人运动的3D关节约束特征矩阵
22)根据视频行人的关节点姿态数据，设定用关节点在时间序列m上的位移矢量序列
表达行人关节点在时域和空域中的动作特征，以构建行人关节动作特征矩阵
23)设定步态分割周期，以视频行人左脚在前与地面第一次接触，到左脚再次与地面接触的过程确定为一个步态分割周期；
24)从行人关节约束特征矩阵及关节动作特征矩阵中提取两个步态分割周期的数据，并以此构建样本集
和
然后将步态标准样本
和
划分为训练集、注册集及测试集；
步骤3)的具体操作为：
采用LSTM网络和CNN网络并行组合的方式建立3D步态识别网络LC-POSEGAIT，其中，LSTM网络用于提取视频行人关节约束特征矩阵
的运动时序特征，CNN网络用于提取关节动作特征矩阵
的动作空间特征，LSTM网络及CNN网络提取的特征通过全连接层融合；
3D步态识别网络LC-POSEGAIT采用Softmax损失函数Ls与Center损失函数LC联合的多损失函数L＝Ls+λLC作为损失函数。
步骤5)的具体操作为：
51)将3D步态识别网络LC-POSEGAIT的全连接层向量作为行人3D步态特征向量，分别提取测试集和注册集样本的3D步态特征向量，其中，测试集的特征向量集
注册集的特征向量集
i和j表示视频中的行人编号，θ和
表示对行人的观察视角；
52)在测试集中，选取行人i在视角θ下的3D步态特征向量
与注册集中行人j在视角
下的3D步态特征向量
进行相似性度量，实现跨视角步态识别，其中，度量函数选用向量空间余弦相似度，并设定判断阈值a，当相似度计算结果≥a时，则行人i和行人j的3D步态相似，否则为不相似。
步骤21)中关节约束特征矩阵
的建立过程为：
利用OpenPose3D获取视频中行人的关节点姿态数据，计算并建立关节约束特征矩阵
为由关节夹角约束Rjoint、足角约束Rfoot、重心与下肢关节运动约束Rgra、人体结构约束Rstep及人体运动比列约束Rforw构成的运动约束向量矩阵，上述约束的计算见式(1)～式(5)。
其中，关节点向量
i表示下肢关节点，j1及j2为与i相邻的关节点；
为XOY平面的法向量，a为踝关节，k为膝关节；NG表示身体重心G的三维坐标，i1、i2表示下肢关节点；z0为头部节点到XOY平面的垂直距离；
得到视频行人运动的3D关节约束特征矩阵
步骤22)中关节动作特征矩阵
的建立过程为：
利用OpenPose3D获取行人视频中的关节点姿态数据，建立关节点i在时间序列m上的位移矢量序列
计算方法见式(6)。
其中，Δt表示连续两帧之间的时间间隔，
表示行人第m帧第i个关节点的三维坐标；
得关节动作特征矩阵
3D步态识别网络LC-POSEGAIT的损失函数为：
其中，
表示权值矩阵，byi表示偏置，xi表示经过网络的输出值，cyi表示第yi类的中心。
本发明具有以下有益效果：
本发明所述的LSTM与CNN相结合的跨视角步态识别方法在具体操作时，直接从CASIA-B步态视频数据集中，采用OpenPose3D提取视频中行人的3D姿态数据，并以此对3D步态识别网络LC-POSEGAIT进行训练，不但简化了视频中行人检测、跟踪的预处理步骤，直接获得关节点的空间三维坐标，避免建立3D步态模型需要在3D成像设备或多摄像机协作环境下的重构，使得步态识别的应用场景更加广泛。另外，本发明采用3D步态识别网络LC-POSEGAIT进行识别，其中，LSTM分支从关节约束特征矩阵中学习关节运动约束的时序特征，CNN分支捕捉动作特征矩阵中行人关节的空间运动特征，以充分挖掘3D步态运动的时空特征，可在跨视角步态识别下取得较好的效果。
附图说明
图1为本发明的流程图；
图2为人体关节点的标注图；
图3为行人关节约束特征向量矩阵构建的流程图；
图4为3D步态识别网络LC-POSEGAIT的结构图；
图5为SPAE、GaitGANv2、PoseGait方法与本发明的平均识别率对比图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
参考图1，本发明所述的LSTM与CNN相结合的跨视角步态识别方法包括以下步骤：
1)从CASIA-B步态视频数据集中，采用OpenPose3D提取视频中行人的3D姿态数据；
从中科院自动化所公开的CASIA-B步态视频数据集中，采集OpenPose3D提取视频中124个行人的3D姿态数据
其中，
表示行人第m帧第i个关节点的三维坐标，其中，包括3种状态(背包、穿大衣、正常行走)下的10种走路姿态、11个视角，共124×10×11＝13640个视频，参考图2；
2)从步骤1)中获取的3D姿态数据中提取视频行人关节点的运动约束数据及关节动作数据，并以此构建训练集样本；
步骤2)的具体操作为：
21)根据视频行人的关节点姿态数据，分别计算关节夹角约束Rjoint、足角约束Rfoot、重心与下肢关节运动约束Rgra、人体结构约束Rstep及人体运动约束Rforw，以构建视频行人运动的3D关节约束特征矩阵
步骤21)中关节约束特征矩阵
的建立过程为：
利用OpenPose3D获取视频中行人的关节点姿态数据，计算并建立关节约束特征矩阵
为由关节运动约束Rjoint、足角约束Rfoot、重心与下肢关节运动约束Rgra、人体结构约束Rstep及人体运动比列约束Rforw构成的运动约束向量矩阵，上述约束计算见式(1)～式(5)，
其中，关节点向量
i表示下肢关节点，j1及j2为与i相邻的关节点；
为XOY平面的法向量，a为踝关节，k为膝关节；NG表示身体重心G的三维坐标，i1、i2表示下肢关节点；z0为头部节点到XOY平面的垂直距离；
得到视频行人运动的3D关节约束特征矩阵
其中，每段视频得到n×44维的行人运动3D关节约束特征矩阵。
22)根据视频行人的关节点姿态数据，设定用关节点在时间序列m上的位移矢量序列
表达行人关节点在时域和空域中的动作特征，以构建行人关节动作特征矩阵
步骤22)中关节动作特征矩阵
的建立过程为：
利用OpenPose3D获取行人视频中的关节点姿态数据，建立关节点i在时间序列m上的位移矢量序列
计算见式(6)，
其中，Δt表示相邻两帧之间的时间间隔，
表示行人第m帧第i个关节点的三维坐标，计算每一帧行人15个关节点在时间序列m上的位移矢量序列
Δt＝1/25＝0.04秒，对于每一帧的行人关节点，都得到了45个位移矢量，构成了n×45维动作特征矩阵
其中，n表示每一段视频的帧数；
得行人的关节动作特征矩阵
23)以视频行人左脚在前与地面第一次接触，到左脚再次与地面接触的过程确定为一个步态分割周期，其中，一个步态分割周期内的所有视频帧为该步态分割周期内的视频帧；
24)从行人关节动作特征矩阵及视频行人运动的3D关节约束特征矩阵中提取两个步态分割周期的数据，并以此构建训练集样本
和
然后将步态标准样本
和
划分为训练集、注册集及测试集；
具体的，将视频行人左脚在前与地面第一次接触到左脚再次与地面接触的过程确定为一个步态分割周期，具体为，当左脚在前时，左右踝关节(图2中节点13和节点10)与XOY平面(地平面)的距离都是最短时所在的视频帧为一个步态分割周期的开始帧，若某一帧满足条件
且
且
则第m帧就为一个步态分割周期的开始帧。
经历“(左脚前右脚后一起着地)→(左脚着地，右脚抬起)→(右脚前左脚后一起着地)→(右脚着地，左脚抬起)→(左脚前右脚后一起着地)”的过程，分别计算每帧行人左右踝关节与XOY平面的距离z13、z10，当左脚在前，左右踝关节再次到XOY平面的距离都是最短时，得到一个步态分割周期的结束帧n，这个期间的所有视频帧为一个步态分割周期内的视频帧。
从关节约束特征矩阵
和行人关节动作特征矩阵
中，取两个步态分割周期的约束向量矩阵
和
作为步态标准样本，分别有124×10×11＝13640个样本，这里，
为50×44维的向量矩阵，
是50×45维的向量矩阵。
将步态标准样本分为训练集、注册集和测试集，用于训练LC-POSEGAIT网络和跨视角步态识别。样本集划分如表1所示。
表1
3)构建3D步态识别网络LC-POSEGAIT；
步骤3)的具体过程为：
31)3D步态识别网络LC-POSEGAIT构建：采用LSTM与CNN并行组合的方式建立3D步态识别网络LC-POSEGAIT，如图4所示，其中，LSTM网络一共有2层，用于提取行人关节约束特征矩阵
的关节运动时序特征，模型参数为：激活函数为ReLU，步长＝50，输入维数＝44，隐层节点数＝256，dropout＝0.1，lstm层数＝2。
CNN网络由2个卷积层、2个池化层构成和一个全连接层，用于提取关节动作特征矩阵
的关节动作空间特征，其参数如表2所示。
表2
两个网络提取的特征在全连接层融合。
采用Softmax损失函数Ls和Center损失函数LC联合的多损失函数L优化网络，具体为：
其中，
表示权值矩阵，byi表示偏置，xi表示经过网络的输出值，cyi表示第yi类的中心。
32)3D步态识别网络LC-POSEGAIT的初始化：
选用Adam方法优化网络，在训练过程中以自适应方式调节各参数的学习率，使网络尽快收敛，同时，为了使网络反向传播计算的收敛速度更快，选择激活函数ReLU，其公式为
设置网络初始参数，其中，网络在反向传播误差更新权重的学习率α＝0.001，每批训练样本数Batch-size＝64，网络迭代次数epoch＝800，样本中心cyi随机初始化。
4)利用步骤2)得到的训练集样本对3D步态识别网络LC-POSEGAIT进行训练；
具体过程为：将训练集数据(001#-074#)的关节约束特征矩阵
和关节动作特征矩阵
分别送入LSTM网络和CNN网络中，通过数据前向传播，得到网络输出值，通过反向传播算法顺着梯度下降方向调整权重，直到网络的损失函数值达到最小，最终得到稳定的3D步态识别网络LC-POSEGAIT的参数。
5)利用训练后的3D步态识别网络LC-POSEGAIT提取视频行人的步态特征向量，完成LSTM与CNN相结合的跨视角步态识别。
步骤5)的具体操作为：
51)将3D步态识别网络LC-POSEGAIT的全连接层向量作为行人3D步态特征向量，分别提取测试集和注册集样本的3D步态特征向量，其中，测试集的特征向量集
注册集的特征向量集
i和j表示视频中的行人编号，θ和
表示对行人的观察视角；
52)在测试集中，选取行人i在视角θ下的3D步态特征向量
与注册集中行人j在视角
下的3D步态特征向量
进行相似性度量，实现跨视角步态识别，其中，度量函数选用向量空间余弦相似度，并设定判断阈值a，当相似度计算结果≥a时，则行人i和行人j的3D步态相似，否则为不相似，相似度计算为：
为了验证发明方法的有效性，在CASIA-B数据集上进行正常行走、衣着不变化、背包行走下的同状态跨视角实验，识别率取测试集在各视角识别率的平均值，实验结果如表3所示。
表3
为和SPAE、GaitGANv2表观方法以及姿态估计的PoseGait方法识别结果进行对比，调整测试集中注册集的行走状态为nm01-04，测试数据集为nm05-06、bg01-02、cl01-02,跨视角的平均识别率如图5所示。
Claims (8)
1.一种LSTM与CNN相结合的跨视角步态识别方法，其特征在于，包括以下步骤：
1)从CASIA-B步态视频数据集中，采用OpenPose3D提取视频中行人的3D姿态数据；
2)从步骤1)中获取的3D姿态数据中提取视频行人关节点的运动约束数据及关节动作数据，构建行人运动约束矩阵并以此建立样本集；
3)构建LSTM与CNN并行组合的3D步态识别网络LC-POSEGAIT；
4)利用步骤2)得到的样本集对3D步态识别网络LC-POSEGAIT进行训练；
5)利用训练后的3D步态识别网络LC-POSEGAIT提取视频行人的步态特征向量，并对步态特征向量进行度量，实现跨视角步态识别。
2.根据权利要求1所述的LSTM与CNN相结合的跨视角步态识别方法，其特征在于，步骤1)的具体操作为：从CASIA-B步态视频数据集中，采用OpenPose3D提取视频中行人的3D姿态数据
其中，
表示行人第m帧第i个关节点的三维坐标。
3.根据权利要求1所述的LSTM与CNN相结合的跨视角步态识别方法，其特征在于，步骤2)的具体操作为：
21)根据视频行人的关节点姿态数据，分别计算关节夹角约束Rjoint、足角约束Rfoot、重心与下肢关节运动约束Rgra、人体结构约束Rstep及人体运动约束Rforw，以构建视频行人运动的3D关节约束特征矩阵
22)根据视频行人的关节点姿态数据，设定用关节点在时间序列m上的位移矢量序列
表达行人关节点在时域和空域中的动作特征，以构建行人关节动作特征矩阵
23)步态分割周期，以视频行人左脚在前与地面第一次接触，到左脚再次与地面接触的过程确定为一个步态分割周期；
24)从行人关节约束特征矩阵及关节动作特征矩阵中提取两个步态分割周期的数据，并以此构建训练集样本
和
然后将步态标准样本
和
分割为训练集、注册集和测试集。
4.根据权利要求1所述的LSTM与CNN相结合的跨视角步态识别方法，其特征在于，步骤3)的具体操作为：
采用LSTM网络和CNN网络并行组合的方式建立3D步态识别网络LC-POSEGAIT，其中，LSTM网络用于提取视频行人关节约束特征矩阵
的运动时序特征，CNN网络用于提取关节动作特征矩阵
的动作空间特征，LSTM网络及CNN网络提取的特征通过全连接层融合；
3D步态识别网络LC-POSEGAIT采用Softmax损失函数Ls与Center损失函数LC联合的多损失函数L＝Ls+λLC作为损失函数。
5.根据权利要求2所述的LSTM与CNN相结合的跨视角步态识别方法，其特征在于，步骤5)的具体操作为：
51)将3D步态识别网络LC-POSEGAIT的全连接层向量作为行人3D步态特征向量，分别提取测试集和注册集样本的3D步态特征向量，其中，测试集的特征向量集
注册集的特征向量集
i和j表示视频中的行人编号，θ和
表示对行人的观察视角；
52)在测试集中，选取行人i在视角θ下的3D步态特征向量
与注册集中行人j在视角
下的3D步态特征向量
进行相似性度量，实现跨视角步态识别，其中，度量函数选用向量空间余弦相似度，并设定判断阈值a，当相似度计算结果≥a时，则行人i和行人j的3D步态相似，否则，则为3D步态不相似。
6.根据权利要求3所述的LSTM与CNN相结合的跨视角步态识别方法，其特征在于，步骤21)中关节约束特征矩阵
的建立过程为：
利用OpenPose3D获取视频中行人的关节点姿态数据，计算并建立关节约束特征矩阵
为由关节运动约束Rjoint、足角约束Rfoot、重心与下肢关节运动约束Rgra、人体结构约束Rstep及人体运动比列约束Rforw构成的运动约束向量矩阵，上述约束计算方法见式(1)式(5)；
其中，关节点向量
i表示下肢关节点，j1及j2为与i相邻的关节点；
为XOY平面的法向量，a为踝关节，k为膝关节；NG表示身体重心G的三维坐标，i1、i2表示下肢关节点；z0为头部节点到XOY平面的垂直距离；
得到视频行人运动的3D关节约束特征矩阵
7.根据权利要求3所述的LSTM与CNN相结合的跨视角步态识别方法，其特征在于，步骤22)中关节动作特征矩阵
的建立过程为：
利用OpenPose3D获取行人视频中的关节点姿态数据，建立关节点i在时间序列m上的位移矢量序列
计算方法见式(6)；
其中，Δt表示相邻两帧之间的时间间隔，
表示行人第m帧第i个关节点的三维坐标；
得到关节动作特征矩阵
8.根据权利要求1所述的LSTM与CNN相结合的跨视角步态识别方法，其特征在于，3D步态识别网络LC-POSEGAIT的损失函数为：
其中，
表示权值矩阵，byi表示偏置，xi表示经过网络的输出值，cyi表示第yi类的中心。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011119681.5A CN112232224A (zh) | 2020-10-19 | 2020-10-19 | 一种lstm与cnn相结合的跨视角步态识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011119681.5A CN112232224A (zh) | 2020-10-19 | 2020-10-19 | 一种lstm与cnn相结合的跨视角步态识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112232224A true CN112232224A (zh) | 2021-01-15 |
Family
ID=74117883
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011119681.5A Pending CN112232224A (zh) | 2020-10-19 | 2020-10-19 | 一种lstm与cnn相结合的跨视角步态识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112232224A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766420A (zh) * | 2021-03-12 | 2021-05-07 | 合肥共达职业技术学院 | 一种基于时频域信息的人体行为识别方法 |
| CN114187665A (zh) * | 2021-12-20 | 2022-03-15 | 长讯通信服务有限公司 | 一种基于人体骨架热图的多人步态识别方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015028856A1 (en) * | 2013-08-27 | 2015-03-05 | Tata Consultancy Services Limited | Pose and sub-pose clustering-based identification of individuals |
| CN108921019A (zh) * | 2018-05-27 | 2018-11-30 | 北京工业大学 | 一种基于GEI和TripletLoss-DenseNet的步态识别方法 |
| CN109871750A (zh) * | 2019-01-02 | 2019-06-11 | 东南大学 | 一种基于骨架图序列异常关节修复的步态识别方法 |
| CN110956111A (zh) * | 2019-11-22 | 2020-04-03 | 苏州闪驰数控系统集成有限公司 | 人工智能cnn、lstm神经网络步态识别系统 |
| CN111062340A (zh) * | 2019-12-20 | 2020-04-24 | 湖南师范大学 | 一种基于虚拟姿态样本合成的异常步态行为识别方法 |
| CN111401303A (zh) * | 2020-04-08 | 2020-07-10 | 山东大学 | 一种身份与视角特征分离的跨视角步态识别方法 |
| CN111414840A (zh) * | 2020-03-17 | 2020-07-14 | 浙江大学 | 步态识别方法、装置、设备及计算机可读存储介质 |
| US20200285896A1 (en) * | 2019-03-09 | 2020-09-10 | Tongji University | Method for person re-identification based on deep model with multi-loss fusion training strategy |
-
2020
- 2020-10-19 CN CN202011119681.5A patent/CN112232224A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015028856A1 (en) * | 2013-08-27 | 2015-03-05 | Tata Consultancy Services Limited | Pose and sub-pose clustering-based identification of individuals |
| CN108921019A (zh) * | 2018-05-27 | 2018-11-30 | 北京工业大学 | 一种基于GEI和TripletLoss-DenseNet的步态识别方法 |
| CN109871750A (zh) * | 2019-01-02 | 2019-06-11 | 东南大学 | 一种基于骨架图序列异常关节修复的步态识别方法 |
| US20200285896A1 (en) * | 2019-03-09 | 2020-09-10 | Tongji University | Method for person re-identification based on deep model with multi-loss fusion training strategy |
| CN110956111A (zh) * | 2019-11-22 | 2020-04-03 | 苏州闪驰数控系统集成有限公司 | 人工智能cnn、lstm神经网络步态识别系统 |
| CN111062340A (zh) * | 2019-12-20 | 2020-04-24 | 湖南师范大学 | 一种基于虚拟姿态样本合成的异常步态行为识别方法 |
| CN111414840A (zh) * | 2020-03-17 | 2020-07-14 | 浙江大学 | 步态识别方法、装置、设备及计算机可读存储介质 |
| CN111401303A (zh) * | 2020-04-08 | 2020-07-10 | 山东大学 | 一种身份与视角特征分离的跨视角步态识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| RIJUN LIAO ETAL.: "A model-based gait recognition method with body pose and human prior knowledge", PATTERN RECOGNITION, 30 December 2019 (2019-12-30), pages 1 - 5 * |
| YANG FENG ETAL.: "Learning Effective Gait Features Using LSTM", 2016 23RD INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION (ICPR), 8 December 2016 (2016-12-08) * |
| 冯世灵等: "结合非局部与分块特征的跨视角步态识别", 模式识别与人工智能, vol. 32, no. 9, 30 September 2019 (2019-09-30) * |
| 戚艳军等: "一种LSTM与CNN相结合的步态识别方法", 西安电子科技大学学报, vol. 48, no. 5, 31 October 2021 (2021-10-31) * |
| 许凡;程华;房一泉;: "基于CLSTM的步态分类方法", 华东理工大学学报(自然科学版), no. 04, 30 August 2017 (2017-08-30) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766420A (zh) * | 2021-03-12 | 2021-05-07 | 合肥共达职业技术学院 | 一种基于时频域信息的人体行为识别方法 |
| CN112766420B (zh) * | 2021-03-12 | 2022-10-21 | 合肥共达职业技术学院 | 一种基于时频域信息的人体行为识别方法 |
| CN114187665A (zh) * | 2021-12-20 | 2022-03-15 | 长讯通信服务有限公司 | 一种基于人体骨架热图的多人步态识别方法 |
| CN114187665B (zh) * | 2021-12-20 | 2023-10-20 | 长讯通信服务有限公司 | 一种基于人体骨架热图的多人步态识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106056050B (zh) | 一种基于自适应三维人体运动统计模型的多视角步态识别方法 | |
| CN106384093B (zh) | 一种基于降噪自动编码器和粒子滤波的人体动作识别方法 | |
| CN109934848B (zh) | 一种基于深度学习的运动物体精准定位的方法 | |
| CN108241849A (zh) | 基于视频的人体交互动作识别方法 | |
| CN106295568A (zh) | 基于表情和行为双模态结合的人类自然状态情感识别方法 | |
| CN111160294B (zh) | 基于图卷积网络的步态识别方法 | |
| CN110738154A (zh) | 一种基于人体姿态估计的行人摔倒检测方法 | |
| CN112200106A (zh) | 跨相机行人重识别与跟踪方法 | |
| Tong et al. | Multi-view gait recognition based on a spatial-temporal deep neural network | |
| CN110135249A (zh) | 基于时间注意力机制和lstm的人体行为识别方法 | |
| CN112232224A (zh) | 一种lstm与cnn相结合的跨视角步态识别方法 | |
| CN104463099B (zh) | 一种基于图的半监督耦合度量的多角度步态识别方法 | |
| CN110008913A (zh) | 基于姿态估计与视点机制融合的行人再识别方法 | |
| CN106815578A (zh) | 一种基于深度运动图‑尺度不变特征变换的手势识别方法 | |
| CN108876897A (zh) | 快速运动下的场景三维重建方法 | |
| CN106815855A (zh) | 基于产生式和判别式结合的人体运动跟踪方法 | |
| CN107742097A (zh) | 一种基于深度相机的人体行为识别方法 | |
| Bashirov et al. | Real-time rgbd-based extended body pose estimation | |
| CN110348321A (zh) | 基于骨骼时空特征及长短时记忆网络的人体动作识别方法 | |
| CN111476077A (zh) | 一种基于深度学习的多视角步态识别方法 | |
| CN114187665A (zh) | 一种基于人体骨架热图的多人步态识别方法 | |
| CN113378649A (zh) | 身份、位置和动作识别方法、系统、电子设备及存储介质 | |
| CN112509051A (zh) | 一种基于仿生学的自主移动平台环境感知与建图方法 | |
| Krzeszowski et al. | Gait recognition based on marker-less 3D motion capture | |
| Wang et al. | NerfCap: Human performance capture with dynamic neural radiance fields |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |