CN115153516A - 一种步态轨迹异常检测方法及检测装置 - Google Patents

一种步态轨迹异常检测方法及检测装置 Download PDF

Info

Publication number
CN115153516A
CN115153516A CN202210820094.1A CN202210820094A CN115153516A CN 115153516 A CN115153516 A CN 115153516A CN 202210820094 A CN202210820094 A CN 202210820094A CN 115153516 A CN115153516 A CN 115153516A
Authority
CN
China
Prior art keywords
dimensional
gait
target
sequence
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210820094.1A
Other languages
English (en)
Inventor
邹刚
范志晴
谢剑斌
谢昌颐
邹亮羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Zhongke Zhuying Intelligent Technology Research Institute Co ltd
Original Assignee
Hunan Zhongke Zhuying Intelligent Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Zhongke Zhuying Intelligent Technology Research Institute Co ltd filed Critical Hunan Zhongke Zhuying Intelligent Technology Research Institute Co ltd
Priority to CN202210820094.1A priority Critical patent/CN115153516A/zh
Publication of CN115153516A publication Critical patent/CN115153516A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Dentistry (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种步态轨迹异常检测方法及检测装置，检测方法包括：S1.获取异常步态检测模型，并基于所述异常步态检测模型对输入视频进行识别检测，获取所述输入视频中步态异常的二维图像集；S2.提取所述二维图像集中属于同一目标的二维图像，构建目标图像集；S3.基于所述目标图像集获取所述目标的三维姿态序列；S4.基于步态评价模型对所述三维姿态序列估计步态得分，并基于所述步态得分判断所述目标是否存在步态轨迹异常。本方案通过非接触的方式即可准确有效的得出评估结论，极大的提高了评估效率。

Description

一种步态轨迹异常检测方法及检测装置
技术领域
本发明涉及生物识别领域，尤其涉及一种步态轨迹异常及检测方法。
背景技术
步态识别是一种新兴的生物特征识别技术，可通过人们走路的姿态进行身份识别、健康状态识别等，具有极为广泛的应用前景。
随着以帕金森病(Parkinson’s Di sease，PD) 为代表的渐进性中枢神经退行性疾病日渐增多，帕金森病可能导致大脑和脊髓的神经元细胞退化，临床表现出静止性震颤、运动迟缓和步态异常等行为。目前针对PD疾病的治疗，医学上普遍采取需要医生和患者投入众多时间和精力的人工运动评估方式，出于早发现、早介入、早治疗的目的，对早期患者的运动状态变化进行追踪观察，能够有助于控制疾病进展，缓解症状，提高患者的生活质量，因此通过计算机视觉实现自动化客观化的运动评估，通过视频自动获取用于评估帕金森病的临床参数，实现远程监测患者状况的可能性，对患者的康复评测有重要意义。
发明内容
本发明的目的在于提供一种步态轨迹异常检测方法及检测装置。
为实现上述发明目的，本发明提供一种步态轨迹异常检测方法，包括：
S1.获取异常步态检测模型，并基于所述异常步态检测模型对输入视频进行识别检测，获取所述输入视频中步态异常的二维图像集；
S2.提取所述二维图像集中属于同一目标的二维图像，构建目标图像集；
S3.基于所述目标图像集获取所述目标的三维姿态序列；
S4.基于步态评价模型对所述三维姿态序列估计步态得分，并基于所述步态得分判断所述目标是否存在步态轨迹异常。
根据本发明的一个方面，步骤S1中，获取异常步态检测模型的步骤中，包括：
S11.采集帕金森患者的TUG测试视频；
S12.采用目标检测算法对所述TUG测试视频中每帧图像进行检测，获取包含目标的边界框，并基于所述边界框对每帧所述图像进行裁剪，获取相同尺寸的目标图像；
S13.基于获取的所述目标图像进行异常步态识别训练，获取所述异常步态检测模型。
根据本发明的一个方面，步骤S2中，提取所述二维图像集中属于同一目标的二维图像，构建目标图像集的步骤中，包括：
S21.针对所述二维图像分别构建描述对象模型；
S22.基于所述描述对象模型并采用卡尔曼滤波器对具有先后顺序的所述二维图像进行关联预测，并对所述二维图像的边界框之间的IOU距离进行计算；
S23.若所述IOU距离小于预设阈值，则重新执行步骤S22；
若所述IOU距离大于或等于所述预设阈值，则采用匈牙利算法对关联的所述二维图像进行匹配检测，并基于满足检测结果的所述二维图像构建所述目标图像集。
根据本发明的一个方面，步骤S21中，所述描述对象模型表示为：
x＝[u,v,s,r,u′,v′,S′]T
其中，u和v表示所述二维图像中目标中心的水平和垂直像素位置，s 和r表示所述二维图像的边界框的比例/面积和恒定纵横比。
根据本发明的一个方面，步骤S3中，基于所述目标图像集获取所述目标的三维姿态序列的步骤中，包括：
S31.将同一所述目标的所述目标图像集中的所述二维图像逐一输入 CPN网络进行关键点检测，获取相应的二维关键点图像；
S32.对所述二维关键点图像进行精确特征点坐标和归一化处理；
S33.采用GRU分类器对归一化处理后的所述二维关键点图像进行分类；
S34.采用DTW算法对分类后的所述二维关键点图像进行时序排列，获得所述目标的二维关键点图像序列；
S35.基于获取的所述二维关键点图像序列获取所述三维姿态序列。
根据本发明的一个方面，步骤35中，基于获取的所述二维关键点图像序列获取所述三维姿态序列的步骤中包括：
S351.对所述二维关键点图像序列中的所述二维关键点图像进行数据预处理；
S352.对所述二维关键点图像提取时空特征；
S353.对提取的所述时空特征进行特征融合获取所述三维姿态序列。
根据本发明的一个方面，步骤S4中，所述步态评价模型采用混合序列焦点双特征双运动模型。
为实现上述发明目的，本发明提供一种用于前述的步态轨迹异常检测方法的检测装置，包括：
异常步态检测单元，用于对输入视频进行识别检测，获取所述输入视频中步态异常的二维图像集；
目标分类单元，用于提取所述二维图像集中属于同一目标的二维图像，构建目标图像集；
三维姿态序列获取单元，基于所述目标图像集获取所述目标的三维姿态序列；
步态评估单元，用于对所述三维姿态序列估计步态得分，并基于所述步态得分判断所述目标是否存在步态轨迹异常。
根据本发明的一种方案，与传统的评估方法相比，本方案通过非接触的方式即可准确有效的得出评估结论，极大的提高了评估效率。
根据本发明的一种方案，与传统的评估方法相比，本方案只需要采集目标的步态视频即可进行风险评估，并不需要结合其他传感器数据即可实现，在保证了评估效率的同时，极大的降低了数据的采集难度。
根据本发明的一种方案，本发明通过采用计算机视觉实现帕金森运动状态自动评估为出发点，结合帕金森测试视频，对帕金森患者的异常步态进行评估的方法，可以试下对患者运动状态的实时评估，保证了医生对患者状态的及时掌握，以及能够辅助医生进行帕金森早期诊断，达到“早发现”的效果。
根据本发明的一种方案，利用多个视角的二维图像实现三维关键点估计的方法，进一步精确患者的在运动评估中的运动参数，使用三维关键点可以帮助医生更加精确的知道患者测试过程中的任何时刻的运动数据，通过对运动状态量化进行更加方便评估。
根据本发明的一种方案，基于人体三维关键点估计的异常动作识别系统。通过图像化界面将算法结合，操作简单，便于协助医生诊断早期帕金森。
附图说明
图1是示意性表示根据本发明的一种实施方式的步态轨迹异常检测方法的步骤框图；
图2是示意性表示根据本发明的一种实施方式中获取二维关键点图像的流程图；
图3是示意性表示根据本发明的一种实施方式中获取二维关键点图像序列的流程图；
图4是示意性表示根据本发明的一种实施方式中由二维关键点图像序列获取三维姿态序列的流程图；
图5是示意性表示根据本发明的一种实施方式中对三维姿态图像进行判别的流程图；
图6是示意性表示根据本发明的一种实施方式中针对三维姿态序列估计步态得分的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。
如图1所示，根据本发明的一种实施方式，本发明的如图1所示，根据本发明的一种实施方式，本发明的一种步态轨迹异常检测方法，包括：
S1.获取异常步态检测模型，并基于异常步态检测模型对输入视频进行识别检测，获取输入视频中步态异常的二维图像集；
S2.提取二维图像集中属于同一目标的二维图像，构建目标图像集；
S3.基于目标图像集获取目标的三维姿态序列；
S4.基于步态评价模型对三维姿态序列估计步态得分，并基于步态得分判断目标是否存在步态轨迹异常。
根据本发明的一种实施方式，步骤S1中，获取异常步态检测模型的步骤中，包括：
S11.采集帕金森患者的TUG测试视频。在本实施方式中，通过视频录制设备在较少的限制条件下录制Timed Up-and-Go(TUG)测试视频(TUG测试已被广泛接受为衡量帕金森病患者基本功能活动能力的标准评估方法)，收集涵盖帕金森患者正常生活的6个基本活动，为坐、站起、行走、转身、走回和坐回，此TUG测试视频作为运动评估的输入数据。
S12.采用目标检测算法对TUG测试视频中每帧图像进行检测，获取包含目标的边界框，并基于边界框对每帧图像进行裁剪，获取相同尺寸的目标图像。在本实施方式中，采用目标检测算法将目标从所录制的TUG测试视频中框选出来，以得到每帧图像上每个人的边界框(bounding-boxes)，然后，基于所获得的边界框对每帧图像进行裁剪获取包含有目标且尺寸规范的目标图像，用于保证后续算法执行的效率和准确性。在本实施方式中，目标检测算法采用改进Mask Rcnn作为检测框架，以实现对图像的识别检测和裁剪。
S13.基于获取的目标图像进行异常步态识别训练，获取异常步态检测模型。
如图1所示，根据本发明的一种实施方式，步骤S2中，提取二维图像集中属于同一目标的二维图像，构建目标图像集的步骤中，包括：
S21.针对二维图像分别构建描述对象模型。在本实施方式中，构建的描述对象模型是用于将上一帧目标身份传播到下一帧表示的运动模型，以实现独立于其他物体和摄像机运动线性恒速模型的方式近似每个目标的帧间位移。在本实施方式中，描述对象模型表示为：
x＝[u,v,s,r,u′,v′,S′]T
其中，u和v表示二维图像中目标中心的水平和垂直像素位置，s和r 表示二维图像的边界框的比例/面积和恒定纵横比。
S22.基于描述对象模型并采用卡尔曼滤波器对具有先后顺序的二维图像进行关联预测，并对二维图像的边界框之间的IOU距离进行计算。
S23.若IOU距离小于预设阈值，则重新执行步骤S22；
若IOU距离大于或等于预设阈值，则采用匈牙利算法对关联的二维图像进行匹配检测，并基于满足检测结果的二维图像构建目标图像集。
在本实施方式中，需要注意的是，当检测与目标相关联时，检测到的边界框用于更新目标状态，其中速度分量通过卡尔曼滤波器框架得到最佳求解。如果没有与目标相关联的检测，则只需使用线速度模型对其状态进行预测，而无需进行校正。
如图2和图3所示，根据本发明的一种实施方式，步骤S3中，基于目标图像集获取目标的三维姿态序列的步骤中，包括：
S31.将同一目标的目标图像集中的二维图像逐一输入CPN网络进行关键点检测，获取相应的二维关键点图像。在本实施方式中，针对每个二维图像，采用top-down的方式提取二维图像中的关键特征，基于所提取的关键特征进行相互关联以获得二维关键点图像；其中，获取二维图像中关键特征的关键点后，相应的获取关键点在二维图像上的二维关键点坐标。
S32.对二维关键点图像进行精确特征点坐标和归一化处理，在本实施方式中，从提取两帧间的关键点及描述子，到计算出参考帧到当前帧的估计位姿，要估计仿射模型参数，至少必须获得3个非共线位置的运动矢量数据，因此，进行精确特征点坐标的步骤中，根据视频序列图像的连续性，结合块匹配方法利用半自动搜索定位特征点的方法确定精确特征点坐标。
S33.采用GRU分类器对归一化处理后的二维关键点图像进行分类。
S34.采用DTW算法对分类后的二维关键点图像进行时序排列，获得目标的二维关键点图像序列。
S35.基于获取的二维关键点图像序列获取三维姿态序列。
结合图4和图5所示，根据本发明的一种实施方式，步骤35中，基于获取的二维关键点图像序列获取三维姿态序列的步骤中包括：
S351.对二维关键点图像序列中的二维关键点图像进行数据预处理；
S352.对二维关键点图像提取时空特征；其中，时空特征包括：关键点坐标和二维关键点图像的时间标记；
S353.对提取的时空特征进行特征融合获取三维姿态序列；在本实施方式中，采用姿态估计模型对二维关键点图像中的关键点进行姿态估计，并基于估计结果和二维关键点图像生成三维姿态图像，重复执行对二维关键点图像序列中各个图像的姿态估计过程，生成与二维关键点图像序列相对应的三维姿态序列。在本实施方式中，姿态估计模型采用预先训练的方式获得。具体的，获取同一目标在不同视角的二维图像(可通过在不同视角分别摄取的方式获取，或者，基于获取的目标视频数据在不同视角分别进行投影以获得)，并结合Mask Rcnn目标检测网络和CPN网络对不同视角的二维图像进行关键点检测，获取目标在不同视角下的二维关键点图像；然后基于获取的二维关键点图像与目标的三维姿态进行关联训练，以获取能够基于二维关键点图像获取三维姿态的姿态估计模型。
如图5所示，在本实施方式中，在获取三维姿态图像后，引入预先训练的判别器，将所获得的三维姿态图像与预先设置的大规模3D human body 数据集进行比较，判断获取的三维姿态图像是否真实(即判断所获得三维姿态图像是否存在遮挡截断)。进而，通过判别器确定出所获得的三维姿态图像是否为真实的目标人体，达到优化三维姿态序列的目的。在本实施方式中，判别器起到弱监督作用，在其进行预训练的过程中，以进行人体各个关节的角度限制进行训练以获得其准确的鉴别能力。
根据本发明，通过利用视频帧间之间所具有的强相关性。针对视频图像背景受物体遮挡和视野局限造成的图像信息丢失问题，根据序列图像的运动特性，并利用运动估值进行运动补偿以去除帧间的时域相关性等的方式，可有效解决基于描述对象模型就人体骨骼关键点算法中预测结果与真实值对应关系不明确的问题，同时还可有效消除误检或者漏检的情况。
如图6所示，根据本发明的一种实施方式，步骤S4中，基于步态评价模型对所述三维姿态序列估计步态得分，并基于所述步态得分判断所述目标是否存在步态轨迹异常的步骤中，步态评价模型采用混合序列焦点双特征双运动模型。
根据本发明的一种实施方式，本发明的用于前述的步态轨迹异常检测方法的检测装置，包括：异常步态检测单元，目标分类单元，三维姿态序列获取单元和步态评估单元。在本实施方式中，异常步态检测单元用于对输入视频进行识别检测，获取输入视频中步态异常的二维图像集；目标分类单元用于提取二维图像集中属于同一目标的二维图像，构建目标图像集；三维姿态序列获取单元基于目标图像集获取目标的三维姿态序列；其中，采用姿态估计模型对基于目标图像集所获取的二维关键点图像中的关键点进行姿态估计，并基于估计结果和二维关键点图像生成三维姿态图像，重复执行对二维关键点图像序列中各个图像的姿态估计过程，生成与二维关键点图像序列相对应的三维姿态序列。在本实施方式中，姿态估计模型采用预先训练的方式获得。具体的，获取同一目标在不同视角的二维图像(可通过在不同视角分别摄取的方式获取，或者，基于获取的目标视频数据在不同视角分别进行投影以获得)，并结合Mask Rcnn目标检测网络和CPN 网络对不同视角的二维图像进行关键点检测，获取目标在不同视角下的二维关键点图像；然后基于获取的二维关键点图像与目标的三维姿态进行关联训练，以获取能够基于二维关键点图像获取三维姿态的姿态估计模型。
在本实施方式中，在获取三维姿态图像后，引入预先训练的判别器，将所获得的三维姿态图像与预先设置的大规模3D human body数据集进行比较，判断获取的三维姿态图像是否真实(即判断所获得三维姿态图像是否存在遮挡截断)。进而，通过判别器确定出所获得的三维姿态图像是否为真实的目标人体，达到优化三维姿态序列的目的。在本实施方式中，判别器起到弱监督作用，在其进行预训练的过程中，以进行人体各个关节的角度限制进行训练以获得其准确的鉴别能力。
在本实施方式中，步态评估单元用于对三维姿态序列估计步态得分，并基于步态得分判断目标是否存在步态轨迹异常；其中，步态评估单元采用混合序列焦点双特征双运动模型进行步态得分的评判。
上述内容仅为本发明的具体方案的例子，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。
以上所述仅为本发明的一个方案而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种步态轨迹异常检测方法，包括：
S1.获取异常步态检测模型，并基于所述异常步态检测模型对输入视频进行识别检测，获取所述输入视频中步态异常的二维图像集；
S2.提取所述二维图像集中属于同一目标的二维图像，构建目标图像集；
S3.基于所述目标图像集获取所述目标的三维姿态序列；
S4.基于步态评价模型对所述三维姿态序列估计步态得分，并基于所述步态得分判断所述目标是否存在步态轨迹异常。
2.根据权利要求1所述的步态轨迹异常检测方法，其特征在于，步骤S1中，获取异常步态检测模型的步骤中，包括：
S11.采集帕金森患者的TUG测试视频；
S12.采用目标检测算法对所述TUG测试视频中每帧图像进行检测，获取包含目标的边界框，并基于所述边界框对每帧所述图像进行裁剪，获取相同尺寸的目标图像；
S13.基于获取的所述目标图像进行异常步态识别训练，获取所述异常步态检测模型。
3.根据权利要求2所述的步态轨迹异常检测方法，其特征在于，步骤S2中，提取所述二维图像集中属于同一目标的二维图像，构建目标图像集的步骤中，包括：
S21.针对所述二维图像分别构建描述对象模型；
S22.基于所述描述对象模型并采用卡尔曼滤波器对具有先后顺序的所述二维图像进行关联预测，并对所述二维图像的边界框之间的IOU距离进行计算；
S23.若所述IOU距离小于预设阈值，则重新执行步骤S22；
若所述IOU距离大于或等于所述预设阈值，则采用匈牙利算法对关联的所述二维图像进行匹配检测，并基于满足检测结果的所述二维图像构建所述目标图像集。
4.根据权利要求3所述的步态轨迹异常检测方法，其特征在于，步骤S21中，所述描述对象模型表示为：
x＝[u,v,s,r,u′,v′,S′]T
其中，u和v表示所述二维图像中目标中心的水平和垂直像素位置，s和r表示所述二维图像的边界框的比例/面积和恒定纵横比。
5.根据权利要求3或4所述的步态轨迹异常检测方法，其特征在于，步骤S3中，基于所述目标图像集获取所述目标的三维姿态序列的步骤中，包括：
S31.将同一所述目标的所述目标图像集中的所述二维图像逐一输入CPN网络进行关键点检测，获取相应的二维关键点图像；
S32.对所述二维关键点图像进行精确特征点坐标和归一化处理；
S33.采用GRU分类器对归一化处理后的所述二维关键点图像进行分类；
S34.采用DTW算法对分类后的所述二维关键点图像进行时序排列，获得所述目标的二维关键点图像序列；
S35.基于获取的所述二维关键点图像序列获取所述三维姿态序列。
6.根据权利要求5所述的步态轨迹异常检测方法，其特征在于，步骤35中，基于获取的所述二维关键点图像序列获取所述三维姿态序列的步骤中包括：
S351.对所述二维关键点图像序列中的所述二维关键点图像进行数据预处理；
S352.对所述二维关键点图像提取时空特征；
S353.对提取的所述时空特征进行特征融合获取所述三维姿态序列。
7.根据权利要求6所述的步态轨迹异常检测方法，其特征在于，步骤S4中，所述步态评价模型采用混合序列焦点双特征双运动模型。
8.一种用于权利要求1至7任一项所述的步态轨迹异常检测方法的检测装置，其特征在于，包括：
异常步态检测单元，用于对输入视频进行识别检测，获取所述输入视频中步态异常的二维图像集；
目标分类单元，用于提取所述二维图像集中属于同一目标的二维图像，构建目标图像集；
三维姿态序列获取单元，基于所述目标图像集获取所述目标的三维姿态序列；
步态评估单元，用于对所述三维姿态序列估计步态得分，并基于所述步态得分判断所述目标是否存在步态轨迹异常。
CN202210820094.1A 2022-07-13 2022-07-13 一种步态轨迹异常检测方法及检测装置 Pending CN115153516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210820094.1A CN115153516A (zh) 2022-07-13 2022-07-13 一种步态轨迹异常检测方法及检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210820094.1A CN115153516A (zh) 2022-07-13 2022-07-13 一种步态轨迹异常检测方法及检测装置

Publications (1)

Publication Number Publication Date
CN115153516A true CN115153516A (zh) 2022-10-11

Family

ID=83493161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210820094.1A Pending CN115153516A (zh) 2022-07-13 2022-07-13 一种步态轨迹异常检测方法及检测装置

Country Status (1)

Country Link
CN (1) CN115153516A (zh)

Similar Documents

Publication Publication Date Title
CN108256433B (zh) 一种运动姿态评估方法及系统
US9996739B2 (en) System and method for automatic gait cycle segmentation
Gao et al. Detecting emotional stress from facial expressions for driving safety
CA2748037C (en) Method and system for gesture recognition
US8462996B2 (en) Method and system for measuring human response to visual stimulus based on changes in facial expression
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
Sohail et al. Detection of facial feature points using anthropometric face model
US20220383653A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program
CN105426827A (zh) 活体验证方法、装置和系统
CN110428908B (zh) 一种基于人工智能的眼睑运动功能评估系统
EP1618532A2 (en) Method and system for determining object pose from images
CN111933275A (zh) 一种基于眼动与面部表情的抑郁评估系统
US11663845B2 (en) Method and apparatus for privacy protected assessment of movement disorder video recordings
Loureiro et al. Using a skeleton gait energy image for pathological gait classification
JP2021089717A (ja) 対象の再特定の方法
Jaroensri et al. A video-based method for automatically rating ataxia
Mehrizi et al. Automatic health problem detection from gait videos using deep neural networks
Nouredanesh et al. Chasing feet in the wild: a proposed egocentric motion-aware gait assessment tool
CN113221815A (zh) 一种基于骨骼关键点自动检测技术的步态鉴定方法
CN111448589A (zh) 用于检测患者的身体移动的设备、系统和方法
CN109492585B (zh) 一种活体检测方法和电子设备
Trucco et al. Locating the optic disk in retinal images via plausible detection and constraint satisfaction
CN115153516A (zh) 一种步态轨迹异常检测方法及检测装置
CN106446837B (zh) 一种基于运动历史图像的挥手检测方法
Zhang et al. An approach of region of interest detection based on visual attention and gaze tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination