CN117409485B - 一种基于姿态估计和确定学习的步态识别方法及系统 - Google Patents
一种基于姿态估计和确定学习的步态识别方法及系统 Download PDFInfo
- Publication number
- CN117409485B CN117409485B CN202311723714.0A CN202311723714A CN117409485B CN 117409485 B CN117409485 B CN 117409485B CN 202311723714 A CN202311723714 A CN 202311723714A CN 117409485 B CN117409485 B CN 117409485B
- Authority
- CN
- China
- Prior art keywords
- gait
- processing
- sequence
- data sequence
- feature data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005021 gait Effects 0.000 title claims abstract description 254
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 142
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 238000005457 optimization Methods 0.000 claims abstract description 22
- 238000003062 neural network model Methods 0.000 claims abstract description 17
- 230000008439 repair process Effects 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims description 50
- 210000000629 knee joint Anatomy 0.000 claims description 49
- 238000013528 artificial neural network Methods 0.000 claims description 32
- 238000004422 calculation algorithm Methods 0.000 claims description 28
- 210000004394 hip joint Anatomy 0.000 claims description 13
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000007499 fusion processing Methods 0.000 claims description 8
- 238000012423 maintenance Methods 0.000 claims description 7
- 210000002569 neuron Anatomy 0.000 claims description 7
- 230000000737 periodic effect Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000005284 excitation Effects 0.000 claims description 4
- 230000006872 improvement Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 3
- 230000003749 cleanliness Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005312 nonlinear dynamic Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于姿态估计和确定学习的步态识别方法及系统，涉及步态识别技术领域，该方法包括：获取待测行走视频序列并按帧率拆分成待测图像序列；通过改进的OpenPose姿态估计网络模型对所述待测图像序列进行特征提取及约束规则检测处理，以获得步态特征数据序列，其中，所述约束规则检测包括对特征提取处理后的步态特征数据序列进行关键节点的约束优化处理，以对关键节点识别有误的待测图像序列进行优化修复处理并输出识别准确的步态特征数据序列；将所述步态特征数据序列输入至训练好的RBF神经网络模型中，以获得步态识别结果。采用本发明可提高识别准确率及步态识别的鲁棒性。
Description
技术领域
本发明步态识别技术领域，尤其涉及一种基于姿态估计和确定学习的步态识别方法及系统。
背景技术
步态是一种描述个体行走方式的典型行为特征，可用于辨别个体，基于视觉的步态识别方法是当前的研究热点。利用摄像头等视觉采集设备，可以在不与对象接触的远距离位置获取对象的步态，因此基于视觉的步态识别技术可用于远距离身份识别及其他无需接触的应用；同时，大量研究表明步态在退行性疾病的诊断、康复评估和治疗效果分析方面也具有重要的应用价值。
基于视觉的步态识别利用摄像头获取个体的步态视频或序列，可以粗略分为两大类：基于轮廓的和基于模型的方法；基于轮廓的方法通常为步态序列建立一种有效的表示，并从中直接提取具有辨别能力的高维步态特征；基于模型的方法倾向于结合人体解剖学知识，用行走模型拟合步态序列，并从模型中提取有效的步态特征。
然而基于模型的步态识别方法虽然对身体形状，如戴帽子、穿着大衣不敏感，但通常需要手动标记数据或使用Kinect 2D等特定设备获取人体关节点信息，相比于基于轮廓的步态识别方法计算量大及准确率低。而基于轮廓的步态识别方法存在受外观影响大、受光照、背景影响、以及跨视角问题的影响，导致识别准确率较低，识别错误的数据将会大大影响后续数据的应用处理。
发明内容
本发明所要解决的技术问题在于，提供一种基于姿态估计和确定学习的步态识别方法及系统，可提高识别准确率及步态识别的鲁棒性。
为了解决上述技术问题，本发明提供了一种基于姿态估计和确定学习的步态识别方法，包括：获取待测行走视频序列并按帧率拆分成待测图像序列；通过改进的OpenPose姿态估计网络模型对所述待测图像序列进行特征提取及约束规则检测处理，以获得步态特征数据序列，其中，所述约束规则检测包括对特征提取处理后的步态特征数据序列进行关键节点的约束优化处理，以对关键节点识别有误的待测图像序列进行优化修复处理并输出识别准确的步态特征数据序列；将所述步态特征数据序列输入至训练好的RBF神经网络模型中，以获得步态识别结果。
作为上述方案的改进，所述对特征提取处理后的步态特征数据序列进行关键节点的约束优化处理的步骤包括：S1、判断所述步态特征数据序列中的每个步态特征数据与其相邻的任一个步态特征数据的关键节点比较关系是否相同，判断为是，则表示左右脚识别准确，执行步骤S2，判断为否是，则表示左右脚识别有误，执行步骤S3；S2、对所述步态特征数据序列中的每个步态特征数据进行漏检修复处理，并输出所述步态特征数据序列；S3、对所述步态特征数据序列进行关键节点修复处理，并输出所述步态特征数据序列；其中，所述关键节点比较关系为左脚膝关节的x坐标小于右脚膝关节的x坐标或左脚膝关节的x坐标大于右脚膝关节的x坐标。
作为上述方案的改进，所述对所述步态特征数据序列进行关键节点修复处理的步骤包括：通过图像金字塔算法对所述待测图像序列中的图像进行金字塔分解处理，以获得不同尺度的金字塔子图像；对不同尺度的所述金字塔子图像进行区分度增强处理，以获得增强后的不同尺度的金字塔子图像；通过所述图像金字塔算法对增强后的不同尺度的所述金字塔子图像进行融合处理，以获得金字塔图像序列；对所述金字塔图像序列再进行OpenPose特征提取处理并返回步骤S1。
作为上述方案的改进，所述区分度增强处理的计算公式为：
Ienhanced(x,y)=CLIP(Ioriginal(x,y)*a+b，0,255)；
其中，Ienhanced(x,y)为增强图像的坐标点（x，y）的像素值，Ioriginal(x,y)为原始图像在坐标点（x，y）的像素值，CLIP为截取函数，a为预设对比度数值，b为预设像素值。
作为上述方案的改进，所述对所述步态特征数据序列中的每个步态特征数据进行漏检修复处理，并输出所述步态特征数据序列的步骤包括：判断所述步态特征数据中的关节点数据的置信度是否等于预设置信度，判断为是时，通过双线性插值算法对关节点位置信息进行预测并计算关节点角度，输出所述步态特征数据序列，判断为否时，输出所述步态特征数据序列。
作为上述方案的改进，所述RBF神经网络模型的训练步骤包括：获取CASIA-B数据集中的正常行走视频序列并按帧率拆分成训练图像序列，所述训练图像序列作为训练集；通过改进的所述OpenPose姿态估计网络模型对所述训练图像序列进行特征提取及约束规则检测处理，以获得训练步态特征数据序列；构建RBF神经网络辨识器并对训练步态特征数据序列的步态系统轨迹进行局部逼近；根据确定学习理论,沿步态系统轨迹的RBF神经网络的神经元满足持续激励条件时,其权值将收敛到最优值，取权值收敛后一段时间内各个权值的均值作为学习训练结果,并利用所述学习训练结果建立常值神经网络，所学到的步态训练模式以常值神经网络权值的形式存储以形成训练模式库；通过所述常值神经网络构建动态估计器，以通过所述动态估计器将训练模式库中的步态训练模式与步态待测模式进行差分，以获得所述步态待测模式与所述步态训练模式之间的最小动力误差并获得步态待测模式的识别结果。
作为上述方案的改进，所述对所述待测图像序列进行特征提取的步骤包括：通过OpenPose神经网络对所述待测图像序列中的图像进行处理，以获得关节点的位置信息，所述关节点的位置信息包括关节点坐标及其置信度；基于人体宽高比的周期变化及关节点位置信息计算步态周期；通过人体五连杆模型及关节点位置信息计算膝关节和髋关节的角度，并对所述髋关节和膝关节的角度数据进行归一化；所述待测图像序列经上述处理后输出对应的数据序列并作为步态特征数据序列。
本发明还提供了一种基于姿态估计和确定学习的步态识别系统，包括：获取模块，获取待测行走视频序列并按帧率拆分成待测图像序列；数据处理模块，通过改进的OpenPose姿态估计网络模型对所述待测图像序列进行特征提取及约束规则检测处理，以获得步态特征数据序列，其中，所述约束规则检测包括对特征提取处理后的步态特征数据序列进行关键节点的约束优化处理，以对关键节点识别有误的待测图像序列进行优化修复处理并输出识别准确的步态特征数据序列；识别处理模块，用于将所述步态特征数据序列输入至训练好的RBF神经网络模型中，以获得步态识别结果。
作为上述方案的改进，所述数据处理模块包括约束检测处理子模块，所述约束检测处理子模块包括：漏检处理单元、用于当所述步态特征数据序列中的每个步态特征数据与其相邻的任一个步态特征数据的关键节点比较关系相同时，对所述步态特征数据序列中的每个步态特征数据进行漏检修复处理，并输出所述步态特征数据序列；其中，所述漏检处理单元包括：漏检处理子单元，用于判断所述步态特征数据中的关节点数据的置信度是否等于预设置信度，判断为是时，通过双线性插值算法对关节点位置信息进行预测并计算关节点角度，输出所述步态特征数据序列，判断为否时，输出所述步态特征数据序列；修复处理单元、用于当所述步态特征数据序列中的每个步态特征数据与其相邻的任一个步态特征数据的关键节点比较关系不相同时，对所述步态特征数据序列进行关键节点修复处理，并输出所述步态特征数据序列；其中，所述关键节点比较关系为左脚膝关节的x坐标小于右脚膝关节的x坐标或左脚膝关节的x坐标大于右脚膝关节的x坐标。
作为上述方案的改进，所述修复处理单元包括：金字塔处理子单元，用于通过图像金字塔算法对所述待测图像序列中的图像进行金字塔分解处理，以获得不同尺度的金字塔子图像；增强处理子单元，用于对不同尺度的所述金字塔子图像进行区分度增强处理，以获得增强后的不同尺度的金字塔子图像；融合处理子单元，用于通过所述图像金字塔算法对增强后的不同尺度的所述金字塔子图像进行融合处理，以获得金字塔图像序列；数据处理子单元，用于对所述金字塔图像序列再进行OpenPose特征提取处理。
实施本发明，具有如下有益效果：
本发明的基于姿态估计和确定学习的步态识别方法及系统，一方面采用改进的OpenPose神经网络来获取人体2D序列图的关节点位置信息并准确识别能表征人体步态动力学特性的步态特征数据，解决了现有的基于轮廓的步态识别方法容易受外观的影响，而导致识别准确率较低的问题，提高步态特征识别准确率及步态识别的鲁棒性，且解决了现有的基于模型的方法需通过kinect摄像头及其他传感器获取关节点的问题，大大降低成本。另一方面，基于确定学习的RBF神经网络模型对步态系统进行辨识训练，实现对步态动力学本质特征的获取，并通过训练好的RBF神经网络模型对待测步态系统进行快速识别，提高识别效率及准确率。
附图说明
图1是本发明基于姿态估计和确定学习的步态识别方法的流程图；
图2是本发明对特征提取处理后的步态特征数据序列进行关键节点的约束优化处理的流程图；
图3是本发明人体五连杆模型的结构示意图；
图4是本发明RBF神经网络中的神经元布置图；
图5是本发明基于姿态估计和确定学习的步态识别系统的结构示意图；
图6是本发明数据处理模块的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。仅此声明，本发明在文中出现或即将出现的上、下、左、右、前、后、内、外等方位用词，仅以本发明的附图为基准，其并不是对本发明的具体限定。
如图1所示，本发明提供了一种基于姿态估计和确定学习的步态识别方法，包括：
S1、获取待测行走视频序列并按帧率拆分成待测图像序列；
S2、通过改进的OpenPose姿态估计网络模型对所述待测图像序列进行特征提取及约束规则检测处理，以获得步态特征数据序列，其中，所述约束规则检测包括对特征提取处理后的步态特征数据序列进行关键节点的约束优化处理，以对关键节点识别有误的待测图像序列进行优化修复处理并输出识别准确的步态特征数据序列；
具体地，所述对所述待测图像序列进行特征提取的步骤包括：
步骤一、通过OpenPose神经网络对所述待测图像序列中的图像进行处理，以获得关节点的位置信息，所述关节点的位置信息包括关节点坐标及其置信度；
需要说明的是，通过OpenPose神经网络对所述待测图像序列中的逐帧图像进行处理，以获得对应关节点的位置信息。
步骤二、基于人体宽高比的周期变化及关节点位置信息计算步态周期；
需要说明的是，由于人体行走过程具有周期性，对视频处理后得到一个步态周期的特征可以删除冗余信息，加快训练速度。对此，通过获取的关节点位置信息得到人体骨架的最小外接矩形；最小外接矩形是根据对象的几何形状确定的，通过找到一个矩形，使得该矩形的边与对象的边平行，并且矩形的面积最小化；通过计算最小外接矩形的宽高比作为人体的宽高比。由于一个完整的步态周期一般包括宽高比的三个极小值点或三个极大值），通过宽高比变化曲线的三个局部极小值点即可求得步态周期。
步骤三、通过人体五连杆模型及关节点位置信息计算膝关节和髋关节的角度，并对所述髋关节和膝关节的角度数据进行归一化；
需要说明的是，人体五连杆模型如图3所示，
步骤四、所述待测图像序列经上述处理后输出对应的数据序列并作为步态特征数据序列。
需要说明的是，通过以下公式计算髋关节（θt1，θt2）和膝关节（θk1，θk2）的角度。
其中，（）和（/>）代表相邻的关节点坐标。
通过提取到的膝关节和髋关节的角度变化，可以看出步态特征具有类周期性，而确定学习是一种针对产生周期或回归轨迹的连续或离散非线性动态系统，对其未知系统动态进行局部准确建模的算法。因此，特征提取后的步态特征数据具有类周期性，可满足确定学习的输入条件。
然而由于上述常规的OpenPose算法的识别精度受到多种因素（如环境因素姿势因素、图像清洗度因素等）的影响，导致识别结果准确率欠佳，存在左右脚识别错误的问题，影响后续数据的应用，从而使识别结果准确率低。
对此，本发明在上述特征处理算法的基础上结合约束规则检测以构建改进的OpenPose姿态估计网络模型以解决识别准确率低的问题，如左右脚识别错误的问题。其中，所述约束规则检测包括对特征提取处理后的步态特征数据序列进行关键节点的约束优化处理，以对关键节点识别有误的待测图像序列进行优化修复处理，解决左右脚识别错误的问题，从而输出识别准确的步态特征数据序列。
具体地，如图2所示，所述对特征提取处理后的步态特征数据序列进行关键节点的约束优化处理的步骤包括：
S10、判断所述步态特征数据序列中的每个步态特征数据与其相邻的任一个步态特征数据的关键节点比较关系是否相同，判断为是，则表示左右脚识别准确，执行步骤S20，判断为否是，则表示左右脚识别有误，执行步骤S30；
需要说明的是，所述关键节点比较关系为左脚膝关节的x坐标小于右脚膝关节的x坐标或左脚膝关节的x坐标大于右脚膝关节的x坐标。如在一段连续的图像帧中，若上一帧的左脚膝关节的x坐标大于右脚膝关节坐标，当前帧的左脚膝关节的x坐标小于右脚膝关节坐标，下一帧的左脚膝关节的x坐标大于右脚膝关节坐标时，则当前步态特征数据与其相邻的任一个步态特征数据的关键节点比较关系不相同，可判断为识别相反，即不满足约束条件，左右脚识别错误。相应地，若当前步态特征数据与其相邻的任一个步态特征数据的关键节点比较关系相同，即满足约束条件，左右脚识别准确。
S20、对所述步态特征数据序列中的每个步态特征数据进行漏检修复处理，并输出所述步态特征数据序列；
具体地，所述对所述步态特征数据序列中的每个步态特征数据进行漏检修复处理，并输出所述步态特征数据序列的步骤包括：
判断所述步态特征数据中的关节点数据的置信度是否等于预设置信度，判断为是时，通过双线性插值算法对关节点位置信息进行预测并计算关节点角度，输出所述步态特征数据序列，判断为否时，输出所述步态特征数据序列。
需要说明的是，当关节点数据的置信度等于预设置信度时，即表示OpenPose识别不到该关节点的坐标，但是人行走过程中具有连贯性，通过双线性插值算法对关节点位置信息进行预测可获得相应的关节点坐标并通过关节点坐标计算出关节点的角度。当关节点数据的置信度不等于预设置信度时，可直接输出该步态特征数据序列。其中，预设置信度优选为0，但不以此为限制，可根据实际情况进行调整。
S30、对所述步态特征数据序列进行关键节点修复处理，并输出所述步态特征数据序列；
具体地，所述对所述步态特征数据序列进行关键节点修复处理的步骤包括：
步骤一）、通过图像金字塔算法对所述待测图像序列中的图像进行金字塔分解处理，以获得不同尺度的金字塔子图像；
需要说明的是，通过图像金字塔算法对图像进行金字塔分解处理，可获得不同尺度的金字塔子图像。本发明实施例中，构建三层图像金字塔并对图像进行金字塔分解处理，可获得原来100%、80%和64%分辨率大小的图像。
步骤二）、对不同尺度的所述金字塔子图像进行区分度增强处理，以获得增强后的不同尺度的金字塔子图像；
具体地，所述区分度增强处理的计算公式为：
Ienhanced(x,y)=CLIP(Ioriginal(x,y)*a+b，0,255)；
其中，Ienhanced(x,y)为增强图像的坐标点（x，y）的像素值，Ioriginal(x,y)为原始图像在坐标点（x，y）的像素值，CLIP为截取函数，将像素值限制在[0,255]区间，a为预设对比度数值，b为预设像素值。
需要说明的是，a>1时，则表示增强对比度，a<1时，则表示减弱对比度。b大于0时,则表示增强亮度，b小于0时,则表示降低亮度。在本实施中，a优选为1.5，b优选为30，但不以此限制，a和b参数的具体取值可根据实际需求进行调整。
通过上述的区分度增强处理的计算公式可分别对不同尺度的所述金字塔子图像进行线性拉伸，增加对比度，使图像中的人体部位更加清晰和鲜明，从而增强区分度，使得OpenPose在提取特征和检测关节点时更便于区分处理，能准确地获取所需的特征数据并进行约束规则检测，提高识别准确率及步态识别的鲁棒性，解决左右脚识别错误的问题。
步骤三）、通过所述图像金字塔算法对增强后的不同尺度的所述金字塔子图像进行融合处理，以获得金字塔图像序列；
步骤四）、对所述金字塔图像序列再进行OpenPose特征提取处理并返回步骤S10。
需要说明的是，将增强后的不同尺度的所述金字塔子图像进行融合处理，以获得金字塔图像序列，将所述金字塔图像序列再进行上述的OpenPose特征提取处理后再次进行约束规则检测，直至满足约束条件时，对该步态特征数据续序列进行加权并输出给后续的基于确定学习的RBF神经网络模型中。
S3、将所述步态特征数据序列输入至训练好的RBF神经网络模型中，以获得步态识别结果。
具体地，所述RBF神经网络模型的训练步骤包括：
步骤（一）、获取CASIA-B数据集中的正常行走视频序列并按帧率拆分成训练图像序列，所述训练图像序列作为训练集；
需要说明的是，将CASIA-B数据集的124个正常行走视频序列按帧率拆分成训练图像序列并作为RBF神经网络模型的训练集。
步骤（二）、通过改进的所述OpenPose姿态估计网络模型对所述训练图像序列进行特征提取及约束规则检测处理，以获得训练步态特征数据序列；
需要说明的是，通过改进的所述OpenPose姿态估计网络模型对训练集的图像数据进行处理，以获得识别准确的训练步态特征数据序列，以供RBF神经网络辨识器学习训练。
步骤（三）、构建RBF神经网络辨识器并对训练步态特征数据序列的步态系统轨迹进行局部逼近；
具体地，如图4所示，RBF神经网络构建在常规晶格上，神经元个数N=1840，神经元的感受野宽度设置η=0.1，中心点均匀布置在[-1.8,2.1]*[-2.3,2.2]的区域内。基于姿态估计提取的髋关节和膝关节角度进行归一化，其构建的相空间轨迹可以在被布置的神经元所覆盖，因此满足持续激励条件，可用确定学习进行未知的步态动力学信息进行局部的精确建模。
其中，RBF神经网络辨识器的公式为：
；
其中，x为待测的步态系统状态，为已辨识的步态系统状态，k为一个模式中状态的变化，S为高斯径向基函数，Ts为设置的采样周期，优选为0.1，但不以此为限制，可根据实际需求进行调整。a为常量参数，优选为0.8，但不以此为限制，可根据实际需求进行调整。
进一地，RBF神经网络权值更新公式为：
；
其中，动态神经网络的初始值W=0；为学习率，优选为1.2，但不以此为限制，可根据实际需求进行调整。P矩阵设置优选为100，但不以此为限制，可根据实际需求进行调整。/>为步态轨迹在布置的RBF网络中的激活值。
步骤（四）、根据确定学习理论,沿步态系统轨迹的RBF神经网络的神经元满足持续激励条件时,其权值将收敛到最优值，取权值收敛后一段时间内各个权值的均值作为学习训练结果,并利用所述学习训练结果建立常值神经网络，所学到的步态训练模式（即步态动力学本质特征或步态动力学知识）以常值神经网络权值的形式存储以形成训练模式库；
步骤（五）、通过所述常值神经网络构建动态估计器，以通过所述动态估计器将训练模式库中的步态训练模式与步态待测模式进行差分，以获得所述步态待测模式与所述步态训练模式之间的最小动力误差并获得步态待测模式的识别结果。
需要说明的是，通过两组动态估计器进行步态分类识别，一组动态估计器内嵌有训练模式库中的步态训练模式，另一组动态估计器嵌入有待测的步态待测模式，通过两组动态估计器进行差分以构建估计误差系统，根据最小动力误差原则将步态待测模式准确识别出来。
其中，估计误差计算公式为：
；
其中，e（k）为状态估计误差，其中a为估计器常量参数，a>0。
如图5所示，本发明还提供了一种基于姿态估计和确定学习的步态识别系统，包括：
获取模块1，获取待测行走视频序列并按帧率拆分成待测图像序列；
数据处理模块2，通过改进的OpenPose姿态估计网络模型对所述待测图像序列进行特征提取及约束规则检测处理，以获得步态特征数据序列，其中，所述约束规则检测包括对特征提取处理后的步态特征数据序列进行关键节点的约束优化处理，以对关键节点识别有误的待测图像序列进行优化修复处理并输出识别准确的步态特征数据序列；
具体地，所述对所述待测图像序列进行特征提取包括：
通过OpenPose神经网络对所述待测图像序列中的图像进行处理，以获得关节点的位置信息，所述关节点的位置信息包括关节点坐标及其置信度；
需要说明的是，通过OpenPose神经网络对所述待测图像序列中的逐帧图像进行处理，以获得对应关节点的位置信息。
基于人体宽高比的周期变化及关节点位置信息计算步态周期；
需要说明的是，由于人体行走过程具有周期性，对视频处理后得到一个步态周期的特征可以删除冗余信息，加快训练速度。对此，通过获取的关节点位置信息得到人体骨架的最小外接矩形；最小外接矩形是根据对象的几何形状确定的，通过找到一个矩形，使得该矩形的边与对象的边平行，并且矩形的面积最小化；通过计算最小外接矩形的宽高比作为人体的宽高比。由于一个完整的步态周期一般包括宽高比的三个极小值点或三个极大值），通过宽高比变化曲线的三个局部极小值点即可求得步态周期。
通过人体五连杆模型及关节点位置信息计算膝关节和髋关节的角度，并对所述髋关节和膝关节的角度数据进行归一化；
需要说明的是，人体五连杆模型如图3所示，
所述待测图像序列经上述处理后输出对应的数据序列并作为步态特征数据序列。
需要说明的是，通过以下公式计算髋关节（θt1，θt2）和膝关节（θk1，θk2）的角度。
其中，（）和（/>）代表相邻的关节点坐标。
通过提取到的膝关节和髋关节的角度变化，可以看出步态特征具有类周期性，而确定学习是一种针对产生周期或回归轨迹的连续或离散非线性动态系统，对其未知系统动态进行局部准确建模的算法。因此，特征提取后的步态特征数据具有类周期性，可满足确定学习的输入条件。
然而由于上述常规的OpenPose算法的识别精度受到多种因素（如环境因素姿势因素、图像清洗度因素等）的影响，导致识别结果准确率欠佳，存在左右脚识别错误的问题，影响后续数据的应用，从而使识别结果准确率低。
对此，本发明在上述特征处理算法的基础上结合约束规则检测以构建改进的OpenPose姿态估计网络模型以解决识别准确率低的问题，如左右脚识别错误的问题。其中，所述约束规则检测包括对特征提取处理后的步态特征数据序列进行关键节点的约束优化处理，以对关键节点识别有误的待测图像序列进行优化修复处理，解决左右脚识别错误的问题，从而输出识别准确的步态特征数据序列。
具体地，如图6所示，所述数据处理模块2包括约束检测处理子模块21，所述约束检测处理子模块21包括：
漏检处理单元211、用于当所述步态特征数据序列中的每个步态特征数据与其相邻的任一个步态特征数据的关键节点比较关系相同时，对所述步态特征数据序列中的每个步态特征数据进行漏检修复处理，并输出所述步态特征数据序列；
需要说明的是，所述关键节点比较关系为左脚膝关节的x坐标小于右脚膝关节的x坐标或左脚膝关节的x坐标大于右脚膝关节的x坐标。如在一段连续的图像帧中，若上一帧的左脚膝关节的x坐标大于右脚膝关节坐标，当前帧的左脚膝关节的x坐标小于右脚膝关节坐标，下一帧的左脚膝关节的x坐标大于右脚膝关节坐标时，则当前步态特征数据与其相邻的任一个步态特征数据的关键节点比较关系不相同，可判断为识别相反，即不满足约束条件，左右脚识别错误。相应地，若当前步态特征数据与其相邻的任一个步态特征数据的关键节点比较关系相同，即满足约束条件，左右脚识别准确。
其中，所述漏检处理单元211包括：
漏检处理子单元2111，用于判断所述步态特征数据中的关节点数据的置信度是否等于预设置信度，判断为是时，通过双线性插值算法对关节点位置信息进行预测并计算关节点角度，输出所述步态特征数据序列，判断为否时，输出所述步态特征数据序列；
需要说明的是，当关节点数据的置信度等于预设置信度时，即表示OpenPose识别不到该关节点的坐标，但是人行走过程中具有连贯性，通过双线性插值算法对关节点位置信息进行预测可获得相应的关节点坐标并通过关节点坐标计算出关节点的角度。当关节点数据的置信度不等于预设置信度时，可直接输出该步态特征数据序列。其中，预设置信度优选为0，但不以此为限制，可根据实际情况进行调整。
修复处理单元212、用于当所述步态特征数据序列中的每个步态特征数据与其相邻的任一个步态特征数据的关键节点比较关系不相同时，对所述步态特征数据序列进行关键节点修复处理，并输出所述步态特征数据序列；
其中，所述修复处理单元包括：
金字塔处理子单元2121，用于通过图像金字塔算法对所述待测图像序列中的图像进行金字塔分解处理，以获得不同尺度的金字塔子图像；
需要说明的是，通过图像金字塔算法对图像进行金字塔分解处理，可获得不同尺度的金字塔子图像。本发明实施例中，构建三层图像金字塔并对图像进行金字塔分解处理，可获得原来100%、80%和64%分辨率大小的图像。
增强处理子单元2122，用于对不同尺度的所述金字塔子图像进行区分度增强处理，以获得增强后的不同尺度的金字塔子图像；
具体地，所述区分度增强处理的计算公式为：
Ienhanced(x,y)=CLIP(Ioriginal(x,y)*a+b，0,255)；
其中，Ienhanced(x,y)为增强图像的坐标点（x，y）的像素值，Ioriginal(x,y)为原始图像在坐标点（x，y）的像素值，CLIP为截取函数，将像素值限制在[0,255]区间，a为预设对比度数值，b为预设像素值。
需要说明的是，a>1时，则表示增强对比度，a<1时，则表示减弱对比度。b大于0时,则表示增强亮度，b小于0时,则表示降低亮度。在本实施中，a优选为1.5，b优选为30，但不以此限制，a和b参数的具体取值可根据实际需求进行调整。
通过上述的区分度增强处理的计算公式可分别对不同尺度的所述金字塔子图像进行线性拉伸，增加对比度，使图像中的人体部位更加清晰和鲜明，从而增强区分度，使得OpenPose在提取特征和检测关节点时更便于区分处理，能准确地获取所需的特征数据并进行约束规则检测，提高识别准确率及步态识别的鲁棒性，解决左右脚识别错误的问题。
融合处理子单元2123，用于通过所述图像金字塔算法对增强后的不同尺度的所述金字塔子图像进行融合处理，以获得金字塔图像序列；
数据处理子单元2124，用于对所述金字塔图像序列再进行OpenPose特征提取处理。
需要说明的是，将增强后的不同尺度的所述金字塔子图像进行融合处理，以获得金字塔图像序列，将所述金字塔图像序列再进行上述的OpenPose特征提取处理后再次进行约束规则检测，直至满足约束条件时，对该步态特征数据续序列进行加权并输出给后续的基于确定学习的RBF神经网络模型中。
识别处理模块，用于将所述步态特征数据序列输入至训练好的RBF神经网络模型中，以获得步态识别结果。
综上所述，本发明一方面采用改进的OpenPose神经网络来获取人体2D序列图的关节点位置信息并准确识别能表征人体步态动力学特性的步态特征数据，解决了现有的基于轮廓的步态识别方法容易受外观的影响，而导致识别准确率较低的问题，提高步态特征识别准确率及步态识别的鲁棒性，且解决了现有的基于模型的方法需通过kinect摄像头及其他传感器获取关节点的问题，大大降低成本。另一方面，基于确定学习的RBF神经网络模型对步态系统进行辨识训练，实现对步态动力学本质特征的获取，并通过训练好的RBF神经网络模型对待测步态系统进行快速识别，提高识别效率及准确率。
以上所揭露的仅为本发明的较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (5)
1.一种基于姿态估计和确定学习的步态识别方法，其特征在于，包括：
获取待测行走视频序列并按帧率拆分成待测图像序列；
通过改进的OpenPose姿态估计网络模型对所述待测图像序列进行特征提取及约束规则检测处理，以获得步态特征数据序列，其中，所述约束规则检测包括对特征提取处理后的步态特征数据序列进行关键节点的约束优化处理，以对关键节点识别有误的待测图像序列进行优化修复处理并输出识别准确的步态特征数据序列；
将所述步态特征数据序列输入至训练好的RBF神经网络模型中，以获得步态识别结果；
所述对特征提取处理后的步态特征数据序列进行关键节点的约束优化处理的步骤包括：
S1、判断所述步态特征数据序列中的每个步态特征数据与其相邻的任一个步态特征数据的关键节点比较关系是否相同，判断为是，则表示左右脚识别准确，执行步骤S2，判断为否是，则表示左右脚识别有误，执行步骤S3；
S2、对所述步态特征数据序列中的每个步态特征数据进行漏检修复处理，并输出所述步态特征数据序列；
S3、对所述步态特征数据序列进行关键节点修复处理，并输出所述步态特征数据序列；
其中，所述关键节点比较关系为左脚膝关节的x坐标小于右脚膝关节的x坐标或左脚膝关节的x坐标大于右脚膝关节的x坐标；
所述对所述步态特征数据序列进行关键节点修复处理的步骤包括：
通过图像金字塔算法对所述待测图像序列中的图像进行金字塔分解处理，以获得不同尺度的金字塔子图像；
对不同尺度的所述金字塔子图像进行区分度增强处理，以获得增强后的不同尺度的金字塔子图像；
通过所述图像金字塔算法对增强后的不同尺度的所述金字塔子图像进行融合处理，以获得金字塔图像序列；
对所述金字塔图像序列再进行OpenPose特征提取处理并返回步骤S1；
所述区分度增强处理的计算公式为：
Ienhanced(x,y)=CLIP(Ioriginal(x,y)*a+b，0,255)；
其中，Ienhanced(x,y)为增强图像的坐标点（x，y）的像素值，Ioriginal(x,y)为原始图像在坐标点（x，y）的像素值，CLIP为截取函数，a为预设对比度数值，b为预设像素值。
2.根据权利要求1所述的基于姿态估计和确定学习的步态识别方法，其特征在于，所述对所述步态特征数据序列中的每个步态特征数据进行漏检修复处理，并输出所述步态特征数据序列的步骤包括：
判断所述步态特征数据中的关节点数据的置信度是否等于预设置信度，判断为是时，通过双线性插值算法对关节点位置信息进行预测并计算关节点角度，输出所述步态特征数据序列，判断为否时，输出所述步态特征数据序列。
3.根据权利要求1所述的基于姿态估计和确定学习的步态识别方法，其特征在于，所述RBF神经网络模型的训练步骤包括：
获取CASIA-B数据集中的正常行走视频序列并按帧率拆分成训练图像序列，所述训练图像序列作为训练集；
通过改进的所述OpenPose姿态估计网络模型对所述训练图像序列进行特征提取及约束规则检测处理，以获得训练步态特征数据序列；
构建RBF神经网络辨识器并对训练步态特征数据序列的步态系统轨迹进行局部逼近；
根据确定学习理论,沿步态系统轨迹的RBF神经网络的神经元满足持续激励条件时,其权值将收敛到最优值，取权值收敛后一段时间内各个权值的均值作为学习训练结果,并利用所述学习训练结果建立常值神经网络，所学到的步态训练模式以常值神经网络权值的形式存储以形成训练模式库；
通过所述常值神经网络构建动态估计器，以通过所述动态估计器将训练模式库中的步态训练模式与步态待测模式进行差分，以获得所述步态待测模式与所述步态训练模式之间的最小动力误差并获得步态待测模式的识别结果。
4.根据权利要求1所述的基于姿态估计和确定学习的步态识别方法，其特征在于，所述对所述待测图像序列进行特征提取的步骤包括：
通过OpenPose神经网络对所述待测图像序列中的图像进行处理，以获得关节点的位置信息，所述关节点的位置信息包括关节点坐标及其置信度；
基于人体宽高比的周期变化及关节点位置信息计算步态周期；
通过人体五连杆模型及关节点位置信息计算膝关节和髋关节的角度，并对所述髋关节和膝关节的角度数据进行归一化；
所述待测图像序列经上述处理后输出对应的数据序列并作为步态特征数据序列。
5.一种基于姿态估计和确定学习的步态识别系统，其特征在于，包括：
获取模块，获取待测行走视频序列并按帧率拆分成待测图像序列；
数据处理模块，通过改进的OpenPose姿态估计网络模型对所述待测图像序列进行特征提取及约束规则检测处理，以获得步态特征数据序列，其中，所述约束规则检测包括对特征提取处理后的步态特征数据序列进行关键节点的约束优化处理，以对关键节点识别有误的待测图像序列进行优化修复处理并输出识别准确的步态特征数据序列；
识别处理模块，用于将所述步态特征数据序列输入至训练好的RBF神经网络模型中，以获得步态识别结果；
所述数据处理模块包括约束检测处理子模块，所述约束检测处理子模块包括：
漏检处理单元、用于当所述步态特征数据序列中的每个步态特征数据与其相邻的任一个步态特征数据的关键节点比较关系相同时，对所述步态特征数据序列中的每个步态特征数据进行漏检修复处理，并输出所述步态特征数据序列；
其中，所述漏检处理单元包括：
漏检处理子单元，用于判断所述步态特征数据中的关节点数据的置信度是否等于预设置信度，判断为是时，通过双线性插值算法对关节点位置信息进行预测并计算关节点角度，输出所述步态特征数据序列，判断为否时，输出所述步态特征数据序列；
修复处理单元、用于当所述步态特征数据序列中的每个步态特征数据与其相邻的任一个步态特征数据的关键节点比较关系不相同时，对所述步态特征数据序列进行关键节点修复处理，并输出所述步态特征数据序列；
其中，所述关键节点比较关系为左脚膝关节的x坐标小于右脚膝关节的x坐标或左脚膝关节的x坐标大于右脚膝关节的x坐标；
所述修复处理单元包括：
金字塔处理子单元，用于通过图像金字塔算法对所述待测图像序列中的图像进行金字塔分解处理，以获得不同尺度的金字塔子图像；
增强处理子单元，用于对不同尺度的所述金字塔子图像进行区分度增强处理，以获得增强后的不同尺度的金字塔子图像；
融合处理子单元，用于通过所述图像金字塔算法对增强后的不同尺度的所述金字塔子图像进行融合处理，以获得金字塔图像序列；
数据处理子单元，用于对所述金字塔图像序列再进行OpenPose特征提取处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311723714.0A CN117409485B (zh) | 2023-12-15 | 2023-12-15 | 一种基于姿态估计和确定学习的步态识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311723714.0A CN117409485B (zh) | 2023-12-15 | 2023-12-15 | 一种基于姿态估计和确定学习的步态识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117409485A CN117409485A (zh) | 2024-01-16 |
| CN117409485B true CN117409485B (zh) | 2024-04-30 |
Family
ID=89496578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311723714.0A Active CN117409485B (zh) | 2023-12-15 | 2023-12-15 | 一种基于姿态估计和确定学习的步态识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117409485B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871750A (zh) * | 2019-01-02 | 2019-06-11 | 东南大学 | 一种基于骨架图序列异常关节修复的步态识别方法 |
| CN111882492A (zh) * | 2020-06-18 | 2020-11-03 | 天津中科智能识别产业技术研究院有限公司 | 一种图像数据自动增强的方法 |
| CN113657278A (zh) * | 2021-08-18 | 2021-11-16 | 成都信息工程大学 | 一种运动姿态识别方法、装置、设备及存储介质 |
| WO2022216233A1 (en) * | 2021-04-08 | 2022-10-13 | Nanyang Technological University | Gait monitoring method and robot |
-
2023
- 2023-12-15 CN CN202311723714.0A patent/CN117409485B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109871750A (zh) * | 2019-01-02 | 2019-06-11 | 东南大学 | 一种基于骨架图序列异常关节修复的步态识别方法 |
| CN111882492A (zh) * | 2020-06-18 | 2020-11-03 | 天津中科智能识别产业技术研究院有限公司 | 一种图像数据自动增强的方法 |
| WO2022216233A1 (en) * | 2021-04-08 | 2022-10-13 | Nanyang Technological University | Gait monitoring method and robot |
| CN113657278A (zh) * | 2021-08-18 | 2021-11-16 | 成都信息工程大学 | 一种运动姿态识别方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 深度学习的二维人体姿态估计综述;周燕 等;《计算机科学与探索》;20210430;第15卷(第4期);641-657 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117409485A (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nadeem et al. | Human actions tracking and recognition based on body parts detection via Artificial neural network | |
| CN109657631B (zh) | 人体姿态识别方法及装置 | |
| CN114724241A (zh) | 基于骨骼点距离的动作识别方法、装置、设备及存储介质 | |
| Zeng et al. | Silhouette-based gait recognition via deterministic learning | |
| KR100886557B1 (ko) | 적응형 학습에 기반한 얼굴 인식 시스템 및 방법 | |
| CN110674785A (zh) | 一种基于人体关键点跟踪的多人姿态分析方法 | |
| Zeng et al. | View-invariant gait recognition via deterministic learning | |
| CN114187665B (zh) | 一种基于人体骨架热图的多人步态识别方法 | |
| CN113361542B (zh) | 一种基于深度学习的局部特征提取方法 | |
| CN111144165B (zh) | 一种步态信息识别方法、系统及存储介质 | |
| CN111460976B (zh) | 一种数据驱动的基于rgb视频的实时手部动作评估方法 | |
| JP6773829B2 (ja) | 対象物認識装置、対象物認識方法、及び対象物認識プログラム | |
| CN112989889B (zh) | 一种基于姿态指导的步态识别方法 | |
| CN112926522B (zh) | 一种基于骨骼姿态与时空图卷积网络的行为识别方法 | |
| CN115331263B (zh) | 鲁棒的姿态估计方法及其在朝向判断的应用及相关方法 | |
| CN113920326A (zh) | 基于人体骨骼关键点检测的摔倒行为识别方法 | |
| CN117671738B (zh) | 基于人工智能的人体姿态识别系统 | |
| CN109993116B (zh) | 一种基于人体骨骼相互学习的行人再识别方法 | |
| Chen et al. | Unsupervised sim-to-real adaptation for environmental recognition in assistive walking | |
| CN111898566A (zh) | 姿态估计方法、装置、电子设备和存储介质 | |
| CN117409485B (zh) | 一种基于姿态估计和确定学习的步态识别方法及系统 | |
| Jessika et al. | A study on part affinity fields implementation for human pose estimation with deep neural network | |
| Campomanes-Álvarez et al. | Automatic facial expression recognition for the interaction of individuals with multiple disabilities | |
| CN114612526A (zh) | 一种关节点追踪方法、帕金森辅助诊断方法及装置 | |
| CN113963202A (zh) | 一种骨骼点动作识别方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |