CN116246351A - 一种基于图像处理的老年人步态识别方法和系统 - Google Patents

一种基于图像处理的老年人步态识别方法和系统 Download PDF

Info

Publication number
CN116246351A
CN116246351A CN202310526823.7A CN202310526823A CN116246351A CN 116246351 A CN116246351 A CN 116246351A CN 202310526823 A CN202310526823 A CN 202310526823A CN 116246351 A CN116246351 A CN 116246351A
Authority
CN
China
Prior art keywords
image
deep learning
model
gait
old
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310526823.7A
Other languages
English (en)
Other versions
CN116246351B (zh
Inventor
张宇
李劭鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SECOND HOSPITAL OF TIANJIN MEDICAL UNIVERSITY
Original Assignee
SECOND HOSPITAL OF TIANJIN MEDICAL UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SECOND HOSPITAL OF TIANJIN MEDICAL UNIVERSITY filed Critical SECOND HOSPITAL OF TIANJIN MEDICAL UNIVERSITY
Priority to CN202310526823.7A priority Critical patent/CN116246351B/zh
Publication of CN116246351A publication Critical patent/CN116246351A/zh
Application granted granted Critical
Publication of CN116246351B publication Critical patent/CN116246351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • G06V40/25Recognition of walking or running movements, e.g. gait recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/48Matching video sequences

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理技术领域,具体涉及一种基于图像处理的老年人步态识别方法和系统,本发明通过将采集的老年人走路的图像转换成视频帧,然后将视频帧图像与上一帧视频帧图像进行相似度比较,进而去除背景区域,仅将目标区域图像输入到深度学习模型中,提高了模型的运算效率;另外,本发明首先通过实际距离与识别的关键点距离对识别结果进行“粗”验证,当“粗”验证提示有问题时,再设置第二深度学习模型进行进一步验证,一方面,设置识别结果验证,可以显著提高识别的准确度,同时,“粗”验证的过程较为简单,可以使得大部分的识别结果能够验证通过,仅当验证结果没有通过时,再进行耗时的二次验证,可以有效提高识别结果验证的效率。

Description

一种基于图像处理的老年人步态识别方法和系统
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于图像处理的老年人步态识别方法和系统。
背景技术
随着社会生产力的持续发展以及医疗水平的不断增强,人类寿命不断延长,人口老龄化问题在很多国家和地区日益突出,已经成为各个国家重点解决的难题;由于年龄的增长,老年人身体机能发生退化,极易受到意外伤害,在中国,每年因意外伤害造成的死亡病例约80多万,占全球伤害死亡总人数的15%;多位研究者的调查结果显示,跌倒、碰撞等异常行为是造成老年人伤害的主要原因;在老年人的伤害康复阶段,医生为了快速精准的为患者制定完善的康复疗程,步态识别是重要的检查与分析的手段,并且步态识别在辅助医生获取脑卒中、帕金森等疾病患者的情况具有非常重要的作用,因此,对老年人的步态进行识别,具有非常重要的应用前景和研究价值。
随着摄像技术的普及,基于图像处理的方法应用在步态识别上吸引了研究人员巨大的兴趣;传统的步态识别方法基于手工特征的提取目标,使用传统图像处理技术对特征点进行匹配,主要由区域选择器对图像遍历提取候选框,通过特征提取技术SIFT等对感兴趣的区域进行特征的提取,使用支持向量机等分类器对目标特征进行识别,进而对步态特征进行识别,例如,中国发明专利(CN110991326A)公开了一种基于Gabor滤波器和改进极限学习机的步态识别方法及系统,包括:获取步态视频或步态序列,进行预处理,得到尺寸大小一致步态侧影图;根据步态侧影图进行步态周期的计算,经过处理得到步态能量图;将步态能量图用Gabor滤波器进行步态特征提取;采用线性判别分析方法进行步态特征降维;将进行降维处理过后的数据作为改进极限学习机即步态识别算法的输入数据,进行识别。然而,上述方法在进行步态识别时,存在两方面的不足:
1、上述方案通过步态能量图进行步态的识别,实际上在步态识别时,由于需要首先计算步态侧影图,再计算步态能量图,进而进行步态识别,每一个环节都会引入误差,步态识别的精度不高,同时,现有技术中也存在对识别结果进行验证提高精度的方案,基本上都是通过设置单一的条件进行验证,一方面验证的精度不高,另一方面,验证的过程也会增加步态识别的时间,造成步态识别效率不高;
2、上述方案对视频帧数据进行切割,实际上包含了大量的无用信息,将上述包含大量无用信息的视频帧数据输入到模型中,无疑会极大的增加模型的运算量。
因此,现有技术急需一种基于图像处理的老年人步态识别方法和系统,用于提高老年人步态识别的精度和效率。
发明内容
本发明要解决的技术问题是针对上述技术方案的不足,提供一种基于图像处理的老年人步态识别方法和系统,用于提高老年人步态识别的精度和效率。
为了实现上述目的,根据本发明的一个方面,提供一种基于图像处理的老年人步态识别方法,包括以下步骤:
步骤1:通过摄像设备采集老年人行走视频数据;
步骤2:对所述老年人行走视频数据进行预处理,得到目标区域图像;
步骤3:将所述目标区域图像输入到第一深度学习模型,得到所述老年人每帧图像中的人体关键点;
步骤4:验证获得的人体的关键点是否准确,若准确,则进入步骤6,若不准确,则进入步骤5;
步骤5:对第一深度学习模型的参数进行调优操作;然后进入步骤4;
步骤6:通过第一深度学习模型得到所有视频帧图像中的人体关键点,然后计算得到老年人的步态特征。
优选地,所述摄像设备为高清运动摄像机,像素要求为至少720p,其放置于测试路线的侧面;
更进一步地,所述测试路线全长3m,为一条笔直的路线;老年人站在测试路线起点时,则摄像机开始采集老年人视频,走到测试路线终点后,老年人转身再继续走到起点,所述摄像机记录老年人行走全程的行走视频数据;
优选地,所述步骤2包括以下子步骤:
步骤2.1:将所述行走视频数据预处理为视频帧图像;
具体地,可以每秒30帧的间隔将视频转换成视频帧图像;
步骤2.2:对所述视频帧图像进行压缩操作;
优选地,将每帧视频帧图像压缩为1280*720像素;
步骤2.3:对压缩后的所述视频帧图像进行相似性比较,得到目标区域图像;
优选地,所述相似性比较具体为:若所述视频帧图像的像素点的像素值与上一帧视频帧图像的同一位置的像素点的像素值变化小于设定阈值时,则认为所述像素点处于背景区域,若像素值变化大于设定阈值,则认为像素点位于初始目标区域内;对视频帧图像中的所有像素点进行上述相似性比较,从而得到目标区域图像;
优选地,本发明关注的人体关键点包括:左膝盖、右膝盖、左脚裸、右脚裸;
优选地,所述第一深度学习模型为卷积神经网络模型;
优选地,所述卷积神经网络模型识别人体关键点的流程为:
步骤3.1:构建卷积神经网络模型;
所述构建的卷积神经网络模型一共具有9层,其中,第1-3层由卷积、池化、降采样完成所述目标区域图像的局部特征提取;第4-5层为提取不同通道之间的特征,第6-7层把第1-3层提取的局部特征通过权值矩阵获得全局特征;第8层为全连接层,第9层为输出层,用于输出模型运算结果;
步骤3.2:选取数据集,对卷积神经网络模型进行训练;
本发明采用中国科学院公布的CASIA行为分析数据库作为模型训练的数据集,并将数据集按照比例分为训练集和测试集,通过训练集对模型进行训练,得到模型的最优参数,然后通过测试集进行验证模型的精确度;
步骤3.3:将所述目标区域图像输入到训练好的卷积神经网络模型,得到人体的关键点;
优选地,所述步骤4包括:
步骤4.1:计算所述第一深度学习模型得到的人体关键点中的左膝盖与左脚裸之间的距离,将上述的距离与实际测量的左膝盖中心点与左脚裸中心点之间的距离比较,若误差在5%以内,则进行步骤6,若误差在5%以上,则进入步骤4.2;
更进一步地,也可用右膝盖关键点与右脚裸关键点的距离与人体实际测量右膝盖中心点与右脚裸中心点的距离进行验证模型识别关键点的识别精度;
步骤4.2:采用第二深度学习模型对同一目标区域图像进行关键点识别,得到第二深度学习模型识别的关键点,将所述第二深度学习模型识别的关键点坐标与所述第一深度学习模型识别的同一部位的关键点坐标进行误差比较,若大于5%,则进入步骤5,若小于5%,则进入步骤6;
优选地,所述第二深度学习模型与第一深度学习模型不同;
更进一步地,所述第二深度学习模型为基于注意力机制的孪生神经网络模型;
优选地,所述步态特征为步速、步长、步宽;
通过本发明,可以得到不同时刻下人体关键点,根据识别得到的人体关键点以及时刻可计算得到步速、步长、步宽等参数。具体的通过人体关键点计算得到上述特征为现有技术,再此不进行详细赘述。
根据本发明的另一方面,包括一种基于图像处理的老年人步态识别系统,其采用上述的基于图像处理的老年人步态识别方法,所述系统包括:
视频数据采集模块:用于通过摄像设备采集老年人行走视频数据;
视频数据预处理模块:用于对所述老年人行走视频数据进行预处理,得到目标区域图像;
人体关键点识别模块:用于将所述目标区域图像输入到第一深度学习模型,得到所述老年人每帧图像中的人体关键点;
人体关键点验证模块:用于验证获得的人体关键点是否准确;
模型参数调优模块:用于对所述第一深度学习模型的参数进行调优操作;
步态特征计算模块:用于得到所有视频帧图像中的人体关键点,然后计算得到老年人的步态特征。
根据本发明的另一方面,本发明还包括一种计算机可读存储介质,计算机可读存储介质上存储有数据处理程序,数据处理程序被处理器执行上述的一种基于图像处理的老年人步态识别方法。
基于上述技术方案,本申请提供的一种基于图像处理的老年人步态识别方法和系统,具有如下技术效果:
本发明在通过第一深度学习模型识别出人体的关键点后,首先对识别结果进行“粗”验证,即根据人体中膝盖和脚裸的距离参数是定值,基本上不随人体的运动状态而改变的特性,通过实际距离与识别的关键点距离对识别结果进行验证,当“粗”验证提示有问题时,再设置第二深度学习模型进行进一步验证,一方面,设置识别结果验证,可以显著提高识别的准确度,同时,本发明在设置验证条件时,“粗”验证的过程较为简单,可以使得大部分的识别结果能够验证通过,仅当验证结果没有通过时,再进行耗时的二次验证,可以有效提高识别结果验证的效率,进而提高步态识别的效率;
另外,本发明根据现有技术中对步态识别过程中运算量大的技术问题,通过对视频帧图像与上一帧视频帧图像进行相似性比较,将视频帧图像分为背景区域和目标区域,并将目标区域分割出来输入到后续的深度学习模型中,从而使得输入到模型中的数据量大大减少,进而减少了模型的运算量,提高了步态识别的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于图像处理的老年人步态识别方法流程图;
图2为本申请实施例提供的对所述老年人行走视频数据进行预处理,得到目标区域图像的流程图;
图3为本申请实施例提供的卷积神经网络模型识别人体关键点的流程图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面首先结合附图对本申请所涉及的概念进行说明。在此需要指出的是,以下对各个概念的说明,仅为了使本申请的内容更加容易理解,并不表示对本申请保护范围的限定。
实施例一、如图1所示,一种基于图像处理的老年人步态识别方法,包括以下步骤:
步骤1:通过摄像设备采集老年人行走视频数据;
具体地,所述摄像设备为高清运动摄像机,像素要求为至少720p,其放置于测试路线的侧面;
更进一步地,所述测试路线全长3m,为一条笔直的路线;老年人站在测试路线起点时,则摄像机开始采集老年人视频,走到测试路线终点后,老年人转身再继续走到起点,所述摄像机记录老年人行走全程的行走视频数据;
步骤2:对所述老年人行走视频数据进行预处理,得到目标区域图像;
如图2所示,所述步骤2包括以下子步骤:步骤2.1:将所述行走视频数据预处理为视频帧图像;
具体地,可以每秒30帧的间隔将视频转换成视频帧图像;
步骤2.2:对所述视频帧图像进行压缩操作;
具体地,将每帧视频帧图像压缩为1280*720像素;实际上,将视频帧图像压缩,一方面可以减少后续模型计算的压力,另一方面,压缩为1280*720像素,也可保留较多的图像中老年人姿态的特征;
步骤2.3:对压缩后的所述视频帧图像进行相似性比较,得到目标区域图像;
具体地,所述相似性比较具体为:若所述视频帧图像的像素值与上一帧视频帧图像的同一位置的像素值变化小于设定阈值时,则认为该像素点处于背景区域,若像素值变化大于设定阈值,则认为像素点位于初始目标区域内;多视频帧图像中的所有像素点进行上述判断,从而得到目标区域图像;
实际上,对视频帧图像进行相似性比较的目的为去除视频帧图像中的背景图像,由于本实施例中老年人在固定的场景下进行步态识别,因此,其场景也是相对简单的,因此,相似性比较可较好的去除背景图像,仅仅保留老年人的姿态图像,这样可以去除相当比例的无用图像,本实施例通过相似性比较,将背景区域图像去除,仅保留老年人的姿态图像,为后续的模型运算,减少了较大的运算量;
步骤3:将所述目标区域图像输入到第一深度学习模型,得到所述老年人每帧图像中的人体关键点;
现有技术中,在进行步态识别时,都会获取多达十几个的关键点,这无疑会造成极大的计算量,本实施例对老年人的步态进行识别,由于只关注步态信息,因此,本实施例关注的人体关键点包括:左膝盖、右膝盖、左脚裸、右脚裸;以期望通过设置较少的人体关键点,再减少运算量的基础上可以获得精确的步态识别效果;
具体地,所述第一深度学习模型为卷积神经网络模型;如图3所示,所述卷积神经网络模型识别人体关键点的流程为:
步骤3.1:构建卷积神经网络模型;
具体地,所述构建的卷积神经网络模型一共具有9层,其中,第1-3层由卷积、池化、降采样完成所述目标区域图像的局部特征提取;第4-5层为提取不同通道之间的特征,第6-7层把第1-3层提取的局部特征通过权值矩阵获得全局特征;第8层为全连接层,第9层为输出层,用于输出模型运算结果;
步骤3.2:选取数据集,对卷积神经网络模型进行训练;
利用深度学习的方法进行步态识别需要依靠大量的训练数据作为基础,基于深度学习的步态识别算法之所以能够在众多模型算法中脱颖而出,主要得益于通过大量的数据集对模型进行训练,因此获得高质量的训练数据集是提高步态识别模型性能的根本保证;
具体地,本实施例采用中国科学院公布的CASIA行为分析数据库作为模型训练的数据集,并将数据集按照比例分为训练集和测试集,通过训练集对模型进行训练,得到模型的最优参数,然后通过测试集进行验证模型的精确度;
步骤3.3:将所述目标区域图像输入到训练好的卷积神经网络模型,得到人体的关键点;
步骤4:验证获得的人体的关键点是否准确,若准确,则进入6,若不准确,则进入步骤5;
具体地,所述步骤4包括:
步骤4.1:计算所述第一深度学习模型得到的人体关键点中的左膝盖与左脚裸之间的距离,将上述的距离与实际测量的左膝盖中心点与左脚裸中心点之间的距离比较,若误差在5%以内,则进行步骤6,若误差在5%以上,则进入步骤4.2;
具体地,所述关键点中的左膝盖与左脚裸之间的距离可通过图片中具有固定尺寸的某物品作为参照系计算得出;
更进一步地,也可用右膝盖关键点与右脚裸关键点的距离与人体实际测量右膝盖中心点与右脚裸中心点的距离进行验证模型识别关键点的识别精度;
值得强调的是,发明人通过研究发现,在人体中,膝盖和脚裸的距离参数是定值,不会随着人体的运动状态而改变,因此,本实施例通过模型识别的左膝盖关键点与左脚裸关键点之间的距离与人体实际测量的膝盖中心点到脚裸中心点的距离比较,比如说,实际测量的左膝盖中心点与左脚裸中心点的距离为0.480m,而通过模型识别出膝盖的关键点与脚裸的关键点的距离为0.478m,误差在5%内,就可以侧面验证出模型识别的关键点是精确的;
总所周知,实际测量的膝盖到脚裸的距离参数很容易就能获取到,一般地,在对老年人步态进行检测时,都会首先获取该参数,所以,本实施例首先设置一个较容易获取的参数对模型的识别结果进行验证,以希望用较短的时间对识别结果进行验证,提高结果验证的效率,进而提高步态识别的效率,然而,上述的验证由于受到参照物的选取、中心点的位置选取、计算误差等的影响,只是相对粗浅的验证过程,若出现验证的误差较大的情况,也并不能一定能证明是模型识别的不准确,因此,本实施例为了提高效率,首先设置了一个“粗”验证的过程,当“粗”验证提示误差较大时,再进行下一步验证,从而提高验证效率;
步骤4.2:采用第二深度学习模型对同一目标区域图像进行关键点识别,得到第二深度学习模型识别的关键点,将所述第二深度学习模型识别的关键点坐标与所述第一深度学习模型识别的同一部位的关键点坐标进行误差比较,若大于5%,则进入步骤5,若小于5%,则进入步骤6;
具体地,所述第二深度学习模型与第一深度学习模型不同;
更进一步地,所述第二深度学习模型为基于注意力机制的孪生神经网络模型;
实际上,若两个不同的模型识别得到的关键点的误差较大,由于第二深度学习模型相对第一深度学习模型,准确度相对更高,因此,通过设置步骤4.2,相当于第一深度学习模型经过粗验证和细验证均具有较大误差,则可以说明第一深度学习模型识别准确率较差,此时需要对第一深度模型的参数进行调整;
步骤5:对第一深度学习模型的参数进行调优操作;然后进入步骤4;
具体地,通过对训练集进行扩增,对第一深度学习模型进行更多次数的训练,以及在训练过程中,设置更为精确的收敛条件从而获得更优参数,从而得到更为准确的深度学习模型参数;
步骤6:通过第一深度学习模型得到所有视频帧图像中的人体关键点,然后计算得到老年人的步态特征;
具体地,所述步态特征为步速、步长、步宽;
通过本实施例,可以得到不同时刻下人体关键点,根据识别得到的人体关键点以及时刻可计算得到步速、步长、步宽等参数。具体的通过人体关键点计算得到上述特征为现有技术,再此不进行详细赘述。
实施例二,本实施例包括一种基于图像处理的老年人步态识别系统,其采用上述的基于图像处理的老年人步态识别方法,所述系统包括:
视频数据采集模块:用于通过摄像设备采集老年人行走视频数据;
视频数据预处理模块:用于对所述老年人行走视频数据进行预处理,得到目标区域图像;
人体关键点识别模块:用于将所述目标区域图像输入到第一深度学习模型,得到所述老年人每帧图像中的人体关键点;
人体关键点验证模块:用于验证获得的人体关键点是否准确;
模型参数调优模块:用于对所述第一深度学习模型的参数进行调优操作;
步态特征计算模块:用于得到所有视频帧图像中的人体关键点,然后计算得到老年人的步态特征。
实施例三,本实施例包括一种计算机可读存储介质,计算机可读存储介质上存储有数据处理程序,数据处理程序被处理器执行实施例一的基于图像分析的老年人步态识别方法。
本领域技术人员应明白,本文的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
本文是参照根据本文实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的实施例及/或实施方式,仅是用以说明实现本发明技术的较佳实施例及/或实施方式,并非对本发明技术的实施方式作任何形式上的限制,任何本领域技术人员,在不脱离本发明内容所公开的技术手段的范围,当可作些许的更动或修改为其它等效的实施例,但仍应视为与本发明实质相同的技术或实施例。

Claims (10)

1.一种基于图像处理的老年人步态识别方法,其特征在于,包括以下步骤:
步骤1:通过摄像设备采集老年人行走视频数据;
步骤2:对所述老年人行走视频数据进行预处理,得到目标区域图像;
步骤3:将所述目标区域图像输入到第一深度学习模型,得到老年人的每帧图像中的人体关键点;
步骤4:验证获得的人体关键点是否准确,若准确,则进入步骤6,若不准确,则进入步骤5;
所述步骤4具体包括:步骤4.1:计算所述第一深度学习模型得到的人体关键点中的左膝盖与左脚裸之间的距离,将上述的距离与实际测量的左膝盖中心点与左脚裸中心点之间的距离比较,若误差在5%以内,则进行步骤6,若误差在5%以上,则进入步骤4.2;
步骤4.2:采用第二深度学习模型对同一目标区域图像进行关键点识别,得到第二深度学习模型识别的关键点,将所述第二深度学习模型识别的关键点坐标与所述第一深度学习模型识别的同一部位的关键点坐标进行误差比较,若大于5%,则进入步骤5,若小于5%,则进入步骤6;
步骤5:对第一深度学习模型的参数进行调优操作;然后进入步骤4;
步骤6:通过第一深度学习模型得到所有视频帧图像中的人体关键点,然后计算得到老年人的步态特征。
2.根据权利要求1所述的基于图像处理的老年人步态识别方法,其特征在于,所述步态特征为步速、步长、步宽。
3.根据权利要求1所述的基于图像处理的老年人步态识别方法,其特征在于,所述摄像设备为高清运动摄像机,像素要求为至少720p,其放置于测试路线的侧面,所述测试路线全长3m,为一条笔直的路线;老年人站在测试路线起点时,则摄像设备开始采集老年人视频,走到测试路线终点后,老年人转身再继续走到起点,所述摄像设备记录老年人行走全程的行走视频数据。
4.根据权利要求1所述的基于图像处理的老年人步态识别方法,其特征在于,所述步骤2包括以下子步骤:
步骤2.1:将所述行走视频数据预处理为视频帧图像;
步骤2.2:对所述视频帧图像进行压缩操作;
步骤2.3:对压缩后的所述视频帧图像进行相似性比较,得到目标区域图像。
5.根据权利要求4所述的基于图像处理的老年人步态识别方法,其特征在于,所述步骤2.1中,以每秒30帧的间隔将视频转换成视频帧图像;所述步骤2.2中,将每帧视频帧图像压缩为1280*720像素。
6.根据权利要求4或5所述的基于图像处理的老年人步态识别方法,其特征在于,所述相似性比较具体为:若所述视频帧图像的像素点的像素值与上一帧视频帧图像的同一位置的像素点的像素值变化小于设定阈值时,则认为所述像素点处于背景区域,若像素值变化大于设定阈值,则认为所述像素点位于初始目标区域内;对视频帧图像中的所有像素点进行上述相似性比较,从而得到目标区域图像。
7.根据权利要求1所述的基于图像处理的老年人步态识别方法,其特征在于,所述人体关键点包括:左膝盖、右膝盖、左脚裸、右脚裸。
8.根据权利要求1所述的基于图像处理的老年人步态识别方法,其特征在于,所述第一深度学习模型为卷积神经网络模型。
9.根据权利要求8所述的基于图像处理的老年人步态识别方法,其特征在于,所述卷积神经网络模型识别人体关键点的流程为:
步骤3.1:构建卷积神经网络模型;所述构建的卷积神经网络模型一共具有9层,其中,第1-3层由卷积、池化、降采样完成所述目标区域图像的局部特征提取;第4-5层为提取不同通道之间的特征,第6-7层把第1-3层提取的局部特征通过权值矩阵获得全局特征;第8层为全连接层,第9层为输出层,用于输出模型运算结果;
步骤3.2:选取数据集,对卷积神经网络模型进行训练;采用中国科学院公布的CASIA行为分析数据库作为模型训练的数据集,并将数据集按照比例分为训练集和测试集,通过训练集对模型进行训练,得到模型的最优参数,然后通过测试集进行验证模型的精确度;
步骤3.3:将所述目标区域图像输入到训练好的卷积神经网络模型,得到人体的关键点。
10.一种基于图像处理的老年人步态识别系统,其采用权利要求1-9任一项所述的基于图像处理的老年人步态识别方法,其特征在于,所述系统包括:
视频数据采集模块:用于通过摄像设备采集老年人行走视频数据;
视频数据预处理模块:用于对所述老年人行走视频数据进行预处理,得到目标区域图像;
人体关键点识别模块:用于将所述目标区域图像输入到第一深度学习模型,得到每帧图像中的人体关键点;
人体关键点验证模块:用于验证获得的人体关键点是否准确;
模型参数调优模块:用于对所述第一深度学习模型的参数进行调优操作;
步态特征计算模块:用于得到所有视频帧图像中的人体关键点,然后计算得到老年人的步态特征。
CN202310526823.7A 2023-05-11 2023-05-11 一种基于图像处理的老年人步态识别方法和系统 Active CN116246351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310526823.7A CN116246351B (zh) 2023-05-11 2023-05-11 一种基于图像处理的老年人步态识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310526823.7A CN116246351B (zh) 2023-05-11 2023-05-11 一种基于图像处理的老年人步态识别方法和系统

Publications (2)

Publication Number Publication Date
CN116246351A true CN116246351A (zh) 2023-06-09
CN116246351B CN116246351B (zh) 2023-07-18

Family

ID=86628109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310526823.7A Active CN116246351B (zh) 2023-05-11 2023-05-11 一种基于图像处理的老年人步态识别方法和系统

Country Status (1)

Country Link
CN (1) CN116246351B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011944A (zh) * 2023-09-08 2023-11-07 南京特殊教育师范学院 基于深度学习的步态识别矫治方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160148411A1 (en) * 2014-08-25 2016-05-26 Right Foot Llc Method of making a personalized animatable mesh
CN107358149A (zh) * 2017-05-27 2017-11-17 深圳市深网视界科技有限公司 一种人体姿态检测方法和装置
CN110991340A (zh) * 2019-12-03 2020-04-10 郑州大学 一种基于图像压缩的人体动作分析方法
CN111523468A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 人体关键点识别方法和装置
CN113488163A (zh) * 2021-07-07 2021-10-08 四川大学华西医院 一种基于机器视觉的肌少症识别方法、装置、设备及介质
CN114052725A (zh) * 2022-01-17 2022-02-18 北京大学第三医院(北京大学第三临床医学院) 基于人体关键点检测的步态分析算法设定方法以及装置
CN115546904A (zh) * 2022-12-06 2022-12-30 南京华苏科技有限公司 基于目标检测时序跟踪并识别人员摔倒后的危险性的方法
CN115830712A (zh) * 2022-12-06 2023-03-21 凯通科技股份有限公司 一种步态识别方法、装置、设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160148411A1 (en) * 2014-08-25 2016-05-26 Right Foot Llc Method of making a personalized animatable mesh
CN107358149A (zh) * 2017-05-27 2017-11-17 深圳市深网视界科技有限公司 一种人体姿态检测方法和装置
CN110991340A (zh) * 2019-12-03 2020-04-10 郑州大学 一种基于图像压缩的人体动作分析方法
CN111523468A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 人体关键点识别方法和装置
CN113488163A (zh) * 2021-07-07 2021-10-08 四川大学华西医院 一种基于机器视觉的肌少症识别方法、装置、设备及介质
CN114052725A (zh) * 2022-01-17 2022-02-18 北京大学第三医院(北京大学第三临床医学院) 基于人体关键点检测的步态分析算法设定方法以及装置
CN115546904A (zh) * 2022-12-06 2022-12-30 南京华苏科技有限公司 基于目标检测时序跟踪并识别人员摔倒后的危险性的方法
CN115830712A (zh) * 2022-12-06 2023-03-21 凯通科技股份有限公司 一种步态识别方法、装置、设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TORBEN TEEPE ET AL.: "Towards a Deeper Understanding of Skeleton-based Gait Recognition", THE IEEE CVF COMPUTER VISION AND PATTERN RECOGNITION CONFERENCE (CVPR) 2022, pages 1569 - 1577 *
夏梦 等: "基于关键点距离表征网络的物体位姿估计方法", 激光与光电子学进展, pages 1 - 19 *
宫宇: "运动人体检测和二维关键点提取", 电子设计工程, vol. 20, no. 1, pages 168 - 170 *
强保华 等: "基于改进CPMs 和SqueezeNet的轻量级人体骨骼关键点检测模型", 计算机应用, vol. 40, no. 6, pages 1806 - 1811 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011944A (zh) * 2023-09-08 2023-11-07 南京特殊教育师范学院 基于深度学习的步态识别矫治方法及系统
CN117011944B (zh) * 2023-09-08 2024-03-22 南京特殊教育师范学院 基于深度学习的步态识别矫治方法及系统

Also Published As

Publication number Publication date
CN116246351B (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN111353395B (zh) 一种基于长短期记忆网络的换脸视频检测方法
De Melo et al. A deep multiscale spatiotemporal network for assessing depression from facial dynamics
CN108810620B (zh) 识别视频中的关键时间点的方法、装置、设备及存储介质
KR101879207B1 (ko) 약한 지도 학습 방식의 객체 인식 방법 및 장치
CN110909651A (zh) 视频主体人物的识别方法、装置、设备及可读存储介质
CN116246351B (zh) 一种基于图像处理的老年人步态识别方法和系统
CN110287370B (zh) 基于现场鞋印的犯罪嫌疑人追踪方法、装置及存储介质
CN110532850B (zh) 一种基于视频关节点和混合分类器的跌倒检测方法
KR20190105180A (ko) 합성곱 신경망 기반의 병변 진단 장치 및 방법
CN114219984A (zh) 一种基于改进YOLOv3的微小病虫害检测系统及其方法
CN106203255A (zh) 一种基于时间对齐的行人重识别方法及系统
CN115797929A (zh) 基于双注意力机制的小型农田图像分割方法、装置
CN113506274A (zh) 基于视觉显著性差异图的用于人体认知状况的检测系统
CN117541774A (zh) 基于改进YOLOv5与CBMA的帕金森早期医疗影像的识别方法
CN112992340A (zh) 基于行为识别的疾病预警方法、装置、设备及存储介质
CN115758122A (zh) 基于多尺度卷积神经网络的睡眠呼吸事件定位方法及装置
CN113469053B (zh) 眼动轨迹鉴别方法及系统
CN115376210A (zh) 泳池防溺水的溺水行为识别方法、装置、设备及介质
CN111382703B (zh) 一种基于二次筛选与分数融合的指静脉识别方法
CN113139496A (zh) 一种基于时序多尺度融合的行人重识别方法及系统
Moutselos et al. Setting a Baseline for long-shot real-time Player and Ball detection in Soccer Videos
CN117649692B (zh) 基于多人脸图像特征图融合的人脸识别方法及相关设备
Vera-Rodriguez et al. A large scale footstep database for biometric studies created using cross-biometrics for labelling
CN117496323B (zh) 基于Transformer的多尺度二阶病理图像分类方法及系统
CN112418104B (zh) 行人跟踪方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant