CN110728226A - 一种基于动作识别的步态量化系统及方法 - Google Patents

一种基于动作识别的步态量化系统及方法 Download PDF

Info

Publication number
CN110728226A
CN110728226A CN201910953001.0A CN201910953001A CN110728226A CN 110728226 A CN110728226 A CN 110728226A CN 201910953001 A CN201910953001 A CN 201910953001A CN 110728226 A CN110728226 A CN 110728226A
Authority
CN
China
Prior art keywords
gait
unit
signal
quantization
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910953001.0A
Other languages
English (en)
Inventor
高跃
冯玉彤
赵曦滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910953001.0A priority Critical patent/CN110728226A/zh
Publication of CN110728226A publication Critical patent/CN110728226A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请公开了一种基于动作识别技术的步态量化的系统，包括：硬件采集单元用于采集获取患者整个步行区间的视频数据，采集设备包括相机单元组成的相机阵列，其中，相机单元包括工业相机及辅助支架；数据集成单元用于获取硬件采集单元采集到的多视角视频数据，并对视频进行裁剪和进行时序对齐，得到对齐后的多视角视频数据；量化算法单元用于根据对齐多视角视频数据，得到被采集者在整个步态区间的量化结果，量化结果包括瞬时量化指标和全局量化指标，其中，瞬时量化指标包括当前状态、当前步长和当前步时等，全局量化指标包括冻结/行走时间比、冻结次数、平均步长、平均步时等。通过本申请中的技术方案，有利于得到所需的步态量化指标。

Description

一种基于动作识别的步态量化系统及方法
技术领域
本发明涉及一种步态量化技术，尤其涉及一种基于动作识别的步态量化处理系统以及一种基于动作识别的步态量化处理方法。
背景技术
帕金森病是一种影响中枢神经系统的慢性神经退化疾病，主要影响运动神经系统，其临床症状包括颤抖、肢体僵硬、运动功能减退和步态异常等，也可能出现认知和行为问题，会严重影响患者的正常生活，加重其所在家庭的压力。数据统计表明，截止2018年全球约有620万人患有帕金森病，其中中国帕金森病患者占比约50％。帕金森病病因未明，且目前没有完全治愈手段，只能通过药物或手术在一定时间内缓解病情。帕金森病患病率高、危害严重，其病理和治疗方法是医学界热门且亟待解决的研究领域之一。
帕金森病治疗周期长，患者需要定期到医院随访以评估病情严重程度评估，了解病情发展变化。对帕金森病情的诊断，目前主要依赖于医生的肉眼观察、主观判断，而相应的量表指标都采用主观描述症状对应评分的方法，因此，指标自身的主观性和观测手段的主观性都导致了帕金森病情的评估不够客观精准，不符合帕金森病作为一类疑难疾病对精准病情评估体系的需求，亟需一种能够对病情按照客观的量化标准进行分析和量化的诊断工具。
步态障碍是帕金森病的一类典型临床表现，具体包括慌张步态和冻结步态等，该病情严重程度的量化主要通过步行/冻结时间、步长、步时等指标表示。对于以上步态量化指标，现有的量化技术主要通过可穿戴设备和加速度传感等实现，这一类设备一方面成本较高且操作复杂，不利于进行大规模推广和应用；另一方面在使用时患者需要佩戴一定的设备，会对自身的运动形态产生影响，干扰步态分析过程。而本申请提出的技术使用成本较低的视频采集设备，患者在使用时也不需要额外佩戴装置，有利于设备的推广应用以及量化准确性的提高。
发明内容
本申请的目的在于利用对人的步行过程拍摄的视频数据，基于动作识别相关技术，实现对步态信号的量化。
本申请的第一方面的技术方案，提供了一种基于动作识别技术的步态量化系统，包括：硬件采集单元，数据集成单元以及量化算法单；其特征在于：
硬件采集单元用于采集获取患者整个步行区间的视频数据，采集设备包括相机单元组成的相机阵列，其中，相机单元包括工业相机及辅助支架；
数据集成单元用于获取硬件采集单采集到的多视角视频数据，并对视频进行裁剪和进行时序对齐，得到对齐后的多视角视频数据；
量化算法单元用于根据对齐多视角视频数据，得到被采集者在整个步态区间的量化结果，量化结果包括瞬时量化指标和全局量化指标，其中，瞬时量化指标包括当前状态、当前步长和当前步时；全局量化指标包括冻结或行走时间比、冻结次数、平均步长和平均步时。
进一步地，量化算法单元，具体还包括：关键点提取单元，中心视角定位单元，步态信号提取单元，标定信号提取单元以及统计单元；关键点提取单元用于从视频数据中得到每一帧的人体关键点坐标，并形成关键点坐标时间序列；中心视角定位单元用于确定每一时刻相机单元中的被采集者处于最中心位置的单元；步态信号提取单元用于根据关键点坐标序列及中心相机位置，得到表示初步步态信号，初步步态信号的值表示当前时刻人体左右脚距离；标定信号提取单元用于对初步步态信号进行信号处理和标定，得到包含具体步态信息的标定步态信号，标定信号包含初步步态信号、波峰/谷位置、状态区间、单步区间；统计单元用于根据标定步态信号，通过坐标系换算和统计计算得到量化结果，包括瞬时量化指标和全局量化指标，瞬时量化指标包括当前状态、当前步长和当前步时等，全局量化指标包括冻结/行走时间比、冻结次数、平均步长、平均步时等。
进一步地，标定信号单元，具体还包括：信号优化单元，波峰/谷定位单元，状态区间划分单元以及单步区间划分单元；信号优化单元用于对初始步态信号进行异常值处理和平滑化处理；波峰/谷定位单元用于标定出初始步态信号中阈值设定下每一个波峰、波谷的时刻，并对出现连续两次波峰或波谷的情况进行补齐；状态区间划分单元用于将初始步态信号中的每一时刻分类为冻结状态或行走状态，并得到若干个连续的冻结区间和行走区间；单步区间划分单元用于将所有行走区间划分为若干个单步区间，单步区间表示被采集者完成一个单步的时序区间。
本申请的第二方面的技术方案，提供了一种基于动作识别技术的步态量化方法，该方法包括：
步骤1、采集患者在步态区间中多个视角的视频数据；
步骤2、统一收集各视角的视频数据并进行裁剪，并按时序对齐；
步骤3、基于整理后的视频数据，利用量化算法计算得到被采集者在整个步态区间的量化结果，量化结果包括瞬时量化指标和全局量化指标，瞬时量化指标包括当前状态、当前步长和当前步时，全局量化指标包括冻结/行走时间比、冻结次数、平均步长、平均步时。
进一步地，步骤3具体包括：
步骤31、根据对齐的多视角视频数据和关键点提取模型，计算出每个视角的关键点坐标时间序列；
步骤32、根据每个视角的关键点坐标时间序列，计算出每个时刻的中心视角，中心视角为该时刻所有视角中被采集者相较中心距离最近的视角；
步骤33、根据中心视角的关键点坐标构成的序列，计算出初步步态信号，初步步态信号的值表示当前时刻人体左右脚距离；
步骤34、根据初步步态信号，计算出标定步态信号，标定步态信号包括初步步态信号、波峰/谷位置、状态区间、单步区间；
步骤35、根据标定步态信号，通过坐标系换算和统计计算出瞬时量化指标和全局量化指标，瞬时量化指标包括当前状态、当前步长和当前步时等，全局量化指标包括冻结/行走时间比、冻结次数、平均步长、平均步时等。
进一步地，步骤34具体包括：
步骤341、根据初步步态信号，进行异常值处理和平滑化处理；
步骤342、根据优化后的初步步态信号，定位出每一个波峰、波谷所在位置，并对出现连续两次波峰或波谷的情况进行补齐；
步骤343、根据优化后的初步步态信号及波峰/谷位置，判断出每一时刻的状态，包括冻结状态和行走状态，得到若干个冻结区间和行走区间；
步骤344、根据优化后的初步步态信号、波峰/谷位置和行走区间，将每个行走区间划分为若干个单步区间，单步区间表示被采集者完成一个单步的时序区间。
进一步地，步骤35具体包括：
步骤351、根据标定步态信号，计算得到瞬时量化指标，瞬时量化指标包括当前状态、当前步长和当前步时；
步骤352、根据标定步态信号和瞬时量化指标，统计计算得到全局量化指标，全局量化指标包括冻结/行走时间比、冻结次数、平均步长、平均步时。
本申请的有益效果是：通过设置关键点提取模型，计算出视频数据的关键点坐标时间序列，进一步计算得到能够反映被采集者步行状态的步态信号，并通过标定信号提取中的信号处理算法，得到对具体步行状态理的解标定，即是否处于步行状态和每一步的起止时刻，并建立起步态信号的横纵坐标与实际步态中步时、步长的映射关系，从而能够得到所需的步态量化指标，为步态障碍的严重程度提供可供分析的量化数据。
附图说明
本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本申请的一个实施例的基于动作识别技术的步态量化系统的示意框图；
图2是根据本申请的一个实施例的硬件采集单元部署方案示意图；
图3是根据本申请的一个实施例的量化算法处理示意流程图；
图4是根据本申请的一个实施例的基于动作识别技术的步态量化方法的示意流程图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。
在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。
实施例一：
以下结合图1至图3对本申请的实施例一进行说明。
如图1所示，本实施例提供了一种基于动作识别技术的步态量化系统1000，包括：硬件采集单元100，数据集成单元200以及量化算法单元300；硬件采集单元100用于采集获取患者整个步行区间的视频数据，采集设备包括相机单元组成的相机阵列，其中，相机单元包括工业相机及辅助支架。
具体地，如图2所示，整个待采集的步行区域为一矩形空间，在采集过程中，被采集者从步行区域任意一侧向另一侧行走后返回；相机阵列与步行区域平行设置，并根据相机参数设置合适的间隔；相机阵列由一组相机单元组成，相机单元的个数及相互间的距离根据步行区域进行合适的配置；相机单元由工业相机和辅助支架组成，其中辅助支架可对拍摄的纵向高度和拍摄角度进行任意调节，在拍摄过程中各相机单元应保持上述配置完全一致。
数据集成单元200用于获取硬件采集单元采集到的多视角视频数据，并对视频进行裁剪和进行时序对齐，得到对齐后的多视角视频数据。
具体地，数据集成单元得到多视角视频数据后，根据每个视角视频的时间戳标记，将其修建为开始时间一致、时长相等的若干个视频数据，将其作为对齐后的多视角视频数据。
量化算法单元300用于根据对齐后视频数据，得到被采集者在整个步态区间的量化结果，量化结果包括瞬时量化指标和全局量化指标，其中，瞬时量化指标包括当前状态、当前步长和当前步时等，全局量化指标包括冻结/行走时间比、冻结次数、平均步长、平均步时等。
具体地，如图3所示，量化算法单元得到对齐的多视角视频数据后，对其进行关键点提取、中心视角定位、步态信号提取和标定信号提取，最终计算出所需要的瞬时量化指标和全局量化指标。
进一步地，量化算法单元300，具体还包括：关键点提取单元310，中心视角定位单元320，步态信号提取单元330，标定信号提取单元340以及统计单元350；关键点提取单元310用于根据对齐的多视角视频数据和关键点提取模型，计算出每个视角的关键点坐标时间序列。
具体地，对于每一个视角的视频数据，利用关键点提取模型提取其每一帧的关键点，其中，关键点为二维图像空间内若干个指示人体关键部位的坐标点，通过将每一个帧的关键点排列得到关键点序列；优选地，关键点提取模型被配置为OpenPose关键点提取模型，该模型提取出的关键点为25个关键部位的坐标点。
中心视角定位单元320用于根据每个视角的关键点坐标时间序列，计算出每个时刻的中心视角，中心视角为该时刻所有视角中被采集者相较中心距离最近的视角。
具体地，对于每一时刻，取出每一个视角的关键点中的躯干中部关键点坐标，与视频二维空间的中心点计算欧式距离，所有视角中距离最小的视角即为当前时刻的中心位置。
步态信号提取单元330用于根据中心视角的关键点坐标构成的序列，计算出初步步态信号，初步步态信号的值表示当前时刻人体左右脚距离。
具体地，对于每一时刻，取其中心视角对应的关键点，将关键点中的左脚脚踝横坐标与右脚脚踝横坐标求差值，将其作为纵坐标将得到一个时序信号，作为初步步态信号。
标定信号提取单元340用于根据初步步态信号，计算出标定步态信号，标定步态信号包括初步步态信号、波峰/谷位置、状态区间、单步区间。
进一步地，标定信号提取单元340，具体还包括：信号优化单元341，波峰/谷定位单元342，状态区间划分单元343，单步区间划分单元344。信号优化单元341用于根据初步步态信号，进行异常值处理和平滑化处理。
具体地，由于拍摄环境不稳定或关键点提取模型误差，初步步态信号将存在部分噪声点(如跳变点等)，为此需要在信号上进行平滑化算法，同时为保证原信号其他点不受影响，采用直接阈值过滤的方法，将明显不符合人体运动特征的区域抹平，得到优化后的初步步态信号。
波峰/谷定位单元342用于根据优化后的初步步态信号，定位出每一个波峰、波谷所在位置，并对出现连续两次波峰或波谷的情况进行补齐。
具体地，利用滑动窗口在初步步态信号上滑动，预设窗口宽度及波峰/谷阈值，将在窗口内为最大值且与最小值差值超过阈值，或为最小值且与最大值差值超过阈值的点标记为波峰/谷点；在定位出所有波峰、波谷后，扫描出现连续两次波峰或波谷的情况，并在该区间内的最小值或最大值作为新的波谷或波峰。
状态区间划分单元343用于根据优化后的初步步态信号及波峰/谷位置，判断出每一时刻的状态，包括冻结状态和行走状态，得到若干个冻结区间和行走区间。
具体地，预设滑动窗口阈值，在整个信号上进行滑动窗口判断，若整个窗口内不存在波峰或波谷，则将窗口内最左侧的帧设置为冻结状态，否则为行走状态；得到所有帧的状态后，将其按照连续的若干帧冻结状态或行走状态，划分为冻结区间或行走区间。
单步区间划分单元344用于根据优化后的初步步态信号、波峰/谷位置和行走区间，将每个行走区间划分为若干个单步区间，单步区间表示被采集者完成一个单步的时序区间。
具体地，在每一个行走区间内，将其按照所有的波峰、波谷划分为若干个子区间，其中每一个子区间为一个单步区间。
统计单元350用于根据标定步态信号，通过坐标系换算和统计计算出瞬时量化指标和全局量化指标，瞬时量化指标包括当前状态、当前步长和当前步时等，全局量化指标包括冻结/行走时间比、冻结次数、平均步长、平均步时等。
具体地，对于距离相关指标，需要利用提取的标定信号进行辅助运算。首先利用身高像素值和实际身高值构建映射关系，从步长像素值和肩宽像素值得到相应实际值；由于被观测者相对于相机正视视角存在一定偏斜角度，因此利用计算出的实际肩宽值和真实肩宽值进行角度计算，并进而对步长值进行修正，得到最终步长值。对于时间相关指标，步态信号对应的单位为帧数，因此需要根据拍摄帧率换算时间单位。
对于瞬时量化指标，当前状态已经在标定步态信号中标出，当前步长和当前步时根据上述换算方法得到；对于全局量化指标，统计冻结状态和行走状态的帧数量，将其换算为冻结时间和行走世间，相除得到冻结/行走时间比，冻结次数统计为冻结区间的个数，平均步长和平均步时通过累加所有单步区间的当前步长和当前步时后平均得到。
实施例二：
如图4所示，本实施例提供了一种基于动作识别技术的步态量化方法，包括：
步骤1，采集患者在步态区间中多个视角的视频数据，采集设备包括相机单元组成的相机阵列。
步骤2，统一收集各视角的视频数据并进行裁剪，并按时序对齐；
具体地，数据集成单元得到多视角视频数据后，根据每个视角视频的时间戳标记，将其修建为开始时间一致、时长相等的若干个视频数据，将其作为对齐后的多视角视频数据。
步骤3，基于整理后的视频数据，利用量化算法计算得到被采集者在整个步态区间的量化结果，量化结果包括瞬时量化指标和全局量化指标，瞬时量化指标包括当前状态、当前步长和当前步时等，全局量化指标包括冻结/行走时间比、冻结次数、平均步长、平均步时等。
步骤31，根据对齐的多视角视频数据和关键点提取模型，计算出每个视角的关键点坐标时间序列；
具体地，对于每一个视角的视频数据，利用关键点提取模型提取其每一帧的关键点，其中，关键点为二维图像空间内若干个指示人体关键部位的坐标点，通过将每一个帧的关键点排列得到关键点序列；优选地，关键点提取模型被配置为OpenPose关键点提取模型，该模型提取出的关键点为25个关键部位的坐标点。
步骤32，根据每个视角的关键点坐标时间序列，计算出每个时刻的中心视角，中心视角为该时刻所有视角中被采集者相较中心距离最近的视角；
具体地，对于每一时刻，取出每一个视角的关键点中的躯干中部关键点坐标，与视频二维空间的中心点计算欧式距离，所有视角中距离最小的视角即为当前时刻的中心位置。
步骤33，根据中心视角的关键点坐标构成的序列，计算出初步步态信号，初步步态信号的值表示当前时刻人体左右脚距离；
具体地，对于每一时刻，取其中心视角对应的关键点，将关键点中的左脚脚踝横坐标与右脚脚踝横坐标求差值，将其作为纵坐标将得到一个时序信号，作为初步步态信号。
步骤34，根据初步步态信号，计算出标定步态信号，标定步态信号包括初步步态信号、波峰/谷位置、状态区间、单步区间；
步骤341，根据初步步态信号，进行异常值处理和平滑化处理；
具体地，由于拍摄环境不稳定或关键点提取模型误差，初步步态信号将存在部分噪声点(如跳变点等)，为此需要在信号上进行平滑化算法，同时为保证原信号其他点不受影响，采用直接阈值过滤的方法，将明显不符合人体运动特征的区域抹平，得到优化后的初步步态信号。
步骤342，根据优化后的初步步态信号，定位出每一个波峰、波谷所在位置，并对出现连续两次波峰或波谷的情况进行补齐；
具体地，利用滑动窗口在初步步态信号上滑动，预设窗口宽度及波峰/谷阈值，将在窗口内为最大值且与最小值差值超过阈值，或为最小值且与最大值差值超过阈值的点标记为波峰/谷点；在定位出所有波峰、波谷后，扫描出现连续两次波峰或波谷的情况，并在该区间内的最小值或最大值作为新的波谷或波峰。
步骤343，根据优化后的初步步态信号及波峰/谷位置，判断出每一时刻的状态，包括冻结状态和行走状态，得到若干个冻结区间和行走区间；
具体地，预设滑动窗口阈值，在整个信号上进行滑动窗口判断，若整个窗口内不存在波峰或波谷，则将窗口内最左侧的帧设置为冻结状态，否则为行走状态；得到所有帧的状态后，将其按照连续的若干帧冻结状态或行走状态，划分为冻结区间或行走区间。
步骤344，根据优化后的初步步态信号、波峰/谷位置和行走区间，将每个行走区间划分为若干个单步区间，单步区间表示被采集者完成一个单步的时序区间；
具体地，在每一个行走区间内，将其按照所有的波峰、波谷划分为若干个子区间，其中每一个子区间为一个单步区间。
步骤35，根据标定步态信号，通过坐标系换算和统计计算出瞬时量化指标和全局量化指标，瞬时量化指标包括当前状态、当前步长和当前步时等，全局量化指标包括冻结/行走时间比、冻结次数、平均步长、平均步时等。
具体地，对于距离相关指标，需要利用提取的标定信号进行辅助运算。首先利用身高像素值和实际身高值构建映射关系，从步长像素值和肩宽像素值得到相应实际值；由于被观测者相对于相机正视视角存在一定偏斜角度，因此利用计算出的实际肩宽值和真实肩宽值进行角度计算，并进而对步长值进行修正，得到最终步长值。对于时间相关指标，步态信号对应的单位为帧数，因此需要根据拍摄帧率换算时间单位。
步骤351，根据标定步态信号，计算得到瞬时量化指标，瞬时量化指标包括当前状态、当前步长和当前步时等；
具体地，当前状态已经在标定步态信号中标出，当前步长和当前步时根据上述换算方法得到。
步骤352，根据标定步态信号和瞬时量化指标，统计计算得到全局量化指标，全局量化指标包括冻结/行走时间比、冻结次数、平均步长、平均步时等；
具体地，统计冻结状态和行走状态的帧数量，将其换算为冻结时间和行走世间，相除得到冻结/行走时间比，冻结次数统计为冻结区间的个数，平均步长和平均步时通过累加所有单步区间的当前步长和当前步时后平均得到。
以上结合附图详细说明了本申请的技术方案，本申请提出了一种基于动作识别技术的步态量化方法与系统，其中，该系统包括：硬件采集单元用于采集获取患者整个步行区间的视频数据，采集设备包括相机单元组成的相机阵列，其中，相机单元包括工业相机及辅助支架；数据集成单元用于获取硬件采集单元采集到的多视角视频数据，并对视频进行裁剪和进行时序对齐，得到对齐后的多视角视频数据；量化算法单元用于根据对齐多视角视频数据，得到被采集者在整个步态区间的量化结果，量化结果包括瞬时量化指标和全局量化指标，其中，瞬时量化指标包括当前状态、当前步长和当前步时等，全局量化指标包括冻结/行走时间比、冻结次数、平均步长、平均步时等。
本申请中的步骤可根据实际需求进行顺序调整、合并和删减。本申请系统中的单元可根据实际需求进行合并、划分和删减。尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (7)

1.一种基于动作识别技术的步态量化系统，包括：硬件采集单元(100)，数据集成单元(200)以及量化算法单元(300)；其特征在于：
硬件采集单元(100)用于采集获取患者整个步行区间的视频数据，采集设备包括相机单元组成的相机阵列，其中，相机单元包括工业相机及辅助支架；
数据集成单元(200)用于获取硬件采集单元(100)采集到的多视角视频数据，并对视频进行裁剪和进行时序对齐，得到对齐后的多视角视频数据；
量化算法单元(300)用于根据对齐多视角视频数据，得到被采集者在整个步态区间的量化结果，量化结果包括瞬时量化指标和全局量化指标，其中，瞬时量化指标包括当前状态、当前步长和当前步时；全局量化指标包括冻结或行走时间比、冻结次数、平均步长和平均步时。
2.根据权利要求1所述的基于动作识别技术的步态量化系统，其特征在于：量化算法单元(300)还包括：关键点提取单元(310)，中心视角定位单元(320)，步态信号提取单元(330)，标定信号提取单元(340)以及统计单元(350)；其中：
关键点提取单元(310)用于从视频数据中得到每一帧的人体关键点坐标，并形成关键点坐标时间序列；
中心视角定位单元(320)用于确定每一时刻相机单元中的被采集者处于最中心位置的单元；
步态信号提取单元(330)用于根据关键点坐标序列及中心相机位置，得到表示初步步态信号，初步步态信号的值表示当前时刻人体左右脚距离；
标定信号提取单元(340)用于对初步步态信号进行信号处理和标定，得到包含具体步态信息的标定步态信号，标定信号包含初步步态信号、波峰/谷位置、状态区间、单步区间；
统计单元(350)用于根据标定步态信号，通过坐标系换算和统计计算得到量化结果。
3.根据权利要求2所述的基于动作识别技术的步态量化系统，其特征在于：标定信号提取单元(340)还包括信号优化单元(341)，波峰/波谷定位单元(342)，状态区间划分单元(343)以及单步区间划分单元(344)；
信号优化单元(341)用于对初始步态信号进行异常值处理和平滑化处理；
波峰/波谷定位单元(342)用于标定出初始步态信号中阈值设定下每一个波峰、波谷的时刻，并对出现连续两次波峰/波谷的情况进行补齐；
状态区间划分单元(343)用于将初始步态信号中的每一时刻分类为冻结状态或行走状态，并得到若干个连续的冻结区间和行走区间；
单步区间划分单元(344)用于将所有行走区间划分为若干个单步区间，单步区间表示被采集者完成一个单步的时序区间。
4.一种基于动作识别技术的步态量化方法，其特征在于：包括以下步骤：
步骤1、采集患者在步态区间中多个视角的视频数据；
步骤2、统一收集各视角的视频数据并进行裁剪，并按时序对齐；
步骤3、基于整理后的视频数据，利用量化算法计算得到被采集者在整个步态区间的量化结果，量化结果包括瞬时量化指标和全局量化指标，瞬时量化指标包括当前状态、当前步长和当前步时，全局量化指标包括冻结/行走时间比、冻结次数、平均步长和平均步时。
5.根据权利要求4所述的基于动作识别技术的步态量化方法，其特征在于：步骤3具体包括：
步骤31、根据对齐的多视角视频数据和关键点提取模型，计算出每个视角的关键点坐标时间序列；
步骤32、根据每个视角的关键点坐标时间序列，计算出每个时刻的中心视角，中心视角为该时刻所有视角中被采集者相较中心距离最近的视角；
步骤33、根据中心视角的关键点坐标构成的序列，计算出初步步态信号，初步步态信号的值表示当前时刻人体左右脚距离；
步骤34、根据初步步态信号，计算出标定步态信号，标定步态信号包括初步步态信号、波峰/谷位置、状态区间、单步区间；
步骤35、根据标定步态信号，通过坐标系换算和统计计算出瞬时量化指标和全局量化指标。
6.根据权利要求5所述的基于动作识别技术的步态量化方法，其特征在于：步骤34具体包括：
步骤341、根据初步步态信号，进行异常值处理和平滑化处理；
步骤342、根据优化后的初步步态信号，定位出每一个波峰、波谷所在位置，并对出现连续两次波峰或波谷的情况进行补齐；
步骤343、根据优化后的初步步态信号及波峰/谷位置，判断出每一时刻的状态，包括冻结状态和行走状态，得到若干个冻结区间和行走区间；
步骤344、根据优化后的初步步态信号、波峰/谷位置和行走区间，将每个行走区间划分为若干个单步区间，单步区间表示被采集者完成一个单步的时序区间。
7.根据权利要求5所述的基于动作识别技术的步态量化方法，其特征在于：步骤35具体包括：
步骤351、根据标定步态信号，计算得到瞬时量化指标，瞬时量化指标包括当前状态、当前步长和当前步时；
步骤352、根据标定步态信号和瞬时量化指标，统计计算得到全局量化指标，全局量化指标包括冻结/行走时间比、冻结次数、平均步长和平均步时。
CN201910953001.0A 2019-10-09 2019-10-09 一种基于动作识别的步态量化系统及方法 Pending CN110728226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910953001.0A CN110728226A (zh) 2019-10-09 2019-10-09 一种基于动作识别的步态量化系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910953001.0A CN110728226A (zh) 2019-10-09 2019-10-09 一种基于动作识别的步态量化系统及方法

Publications (1)

Publication Number Publication Date
CN110728226A true CN110728226A (zh) 2020-01-24

Family

ID=69220853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910953001.0A Pending CN110728226A (zh) 2019-10-09 2019-10-09 一种基于动作识别的步态量化系统及方法

Country Status (1)

Country Link
CN (1) CN110728226A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528876A (zh) * 2020-12-15 2021-03-19 中国计量大学 一种基于人脸检测的蹲起计数方法
CN112998694A (zh) * 2021-02-03 2021-06-22 上海橙捷健康科技有限公司 一种人体下肢关节角度的测量方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170243354A1 (en) * 2016-02-19 2017-08-24 Xerox Corporation Automatic frontal-view gait segmentation for abnormal gait quantification
CN107330249A (zh) * 2017-06-09 2017-11-07 常州大学 一种基于kinect骨骼数据的帕金森病症计算机辅助判别方法
CN108095729A (zh) * 2018-01-24 2018-06-01 深圳市臻络科技有限公司 一种冻结步态识别方法和装置
CN108416276A (zh) * 2018-02-12 2018-08-17 浙江大学 基于人的侧面步态视频的异常步态检测方法
US20180349705A1 (en) * 2017-06-02 2018-12-06 Apple Inc. Object Tracking in Multi-View Video
CN109815858A (zh) * 2019-01-10 2019-05-28 中国科学院软件研究所 一种日常环境中的目标用户步态识别系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170243354A1 (en) * 2016-02-19 2017-08-24 Xerox Corporation Automatic frontal-view gait segmentation for abnormal gait quantification
US20180349705A1 (en) * 2017-06-02 2018-12-06 Apple Inc. Object Tracking in Multi-View Video
CN107330249A (zh) * 2017-06-09 2017-11-07 常州大学 一种基于kinect骨骼数据的帕金森病症计算机辅助判别方法
CN108095729A (zh) * 2018-01-24 2018-06-01 深圳市臻络科技有限公司 一种冻结步态识别方法和装置
CN108416276A (zh) * 2018-02-12 2018-08-17 浙江大学 基于人的侧面步态视频的异常步态检测方法
CN109815858A (zh) * 2019-01-10 2019-05-28 中国科学院软件研究所 一种日常环境中的目标用户步态识别系统及方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ASMA CHANNA ET AL: ""Recent developments and trends for analyzing gait in Parkinson"s Patients:A review"", 《INTERNATIONAL JOURNAL OF ENGINEERING AND APPLIED SCIENCES》 *
CHANDRA PRAKASH ET AL: ""Recent developments in human gait research:parameters, approaches, applications, machine learning techniques, datasets and challenges"", 《ARTIFICIAL INTELLIGENCE REVIEW》 *
SUN BEI ET AL: ""Movement Disorder Detection via Adaptively Fused Gait Analysis Based on Kinect Sensors"", 《IEEE SENSORS JOURNAL》 *
陈玲: ""基于视频流的步态识别系统研究与实现"", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112528876A (zh) * 2020-12-15 2021-03-19 中国计量大学 一种基于人脸检测的蹲起计数方法
CN112528876B (zh) * 2020-12-15 2023-10-13 中国计量大学 一种基于人脸检测的蹲起计数方法
CN112998694A (zh) * 2021-02-03 2021-06-22 上海橙捷健康科技有限公司 一种人体下肢关节角度的测量方法及系统
CN112998694B (zh) * 2021-02-03 2022-12-09 上海橙捷健康科技有限公司 一种人体下肢关节角度的测量方法及系统

Similar Documents

Publication Publication Date Title
US11986286B2 (en) Gait-based assessment of neurodegeneration
Rosati et al. Muscle activation patterns during gait: A hierarchical clustering analysis
US8823526B2 (en) Method of assessing human fall risk using mobile systems
Barth et al. Subsequence dynamic time warping as a method for robust step segmentation using gyroscope signals of daily life activities
CN109815858B (zh) 一种日常环境中的目标用户步态识别系统及方法
US20210315486A1 (en) System and Method for Automatic Evaluation of Gait Using Single or Multi-Camera Recordings
CN108960155B (zh) 基于Kinect的成人步态提取与异常分析方法
CN104008398A (zh) 一种基于多传感器信息融合的步态分类方法
CN110728226A (zh) 一种基于动作识别的步态量化系统及方法
US9864780B2 (en) Gait-based biometric data analysis system
CN109330605A (zh) 一种步态周期自动划分方法及计算机设备
González et al. Estimation of temporal gait events from a single accelerometer through the scale-space filtering idea
Perez et al. A smartphone-based system for clinical gait assessment
CN117883074A (zh) 一种基于人体姿态视频的帕金森病步态量化分析方法
Fleyeh et al. Extracting body landmarks from videos for parkinson gait analysis
CN110545723A (zh) Locogram软件：用于分析步态练习的工具
Zhang et al. Sensoring and Application of Multimodal Data for the Detection of Freezing of Gait in Parkinson's Disease
CN114098714A (zh) 基于机器视觉建立冻结步态识别模型的方法
Elkholy et al. A general descriptor for detecting abnormal action performance from skeletal data
EP3922176A1 (en) Physical health condition image analysis device, method, and system
CN111150404B (zh) 一种帕金森病情的步态监测装置
Oluwadare Gait analysis on a smart floor for health monitoring
Single et al. A Transferable Lidar-Based Method to Conduct Contactless Assessments of Gait Parameters in Diverse Home-like Environments
CN114795168B (zh) 生命体征参数心率计算方法及系统
Li et al. Analysis of plantar pressure image based on flexible force-sensitive sensor array

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200124

RJ01 Rejection of invention patent application after publication