CN116630551B - 运动捕捉和评估装置及其方法 - Google Patents

运动捕捉和评估装置及其方法 Download PDF

Info

Publication number
CN116630551B
CN116630551B CN202310913392.XA CN202310913392A CN116630551B CN 116630551 B CN116630551 B CN 116630551B CN 202310913392 A CN202310913392 A CN 202310913392A CN 116630551 B CN116630551 B CN 116630551B
Authority
CN
China
Prior art keywords
human body
body key
key point
distribution information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310913392.XA
Other languages
English (en)
Other versions
CN116630551A (zh
Inventor
程耿
付思超
何麒
周东
冯建明
董博雅
潘卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coagulation Medical Technology Shenzhen Co ltd
Ningdong Wansheng Medical Technology Wuhan Co ltd
Original Assignee
Coagulation Medical Technology Shenzhen Co ltd
Ningdong Wansheng Medical Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coagulation Medical Technology Shenzhen Co ltd, Ningdong Wansheng Medical Technology Wuhan Co ltd filed Critical Coagulation Medical Technology Shenzhen Co ltd
Priority to CN202310913392.XA priority Critical patent/CN116630551B/zh
Publication of CN116630551A publication Critical patent/CN116630551A/zh
Application granted granted Critical
Publication of CN116630551B publication Critical patent/CN116630551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Dentistry (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提出了运动捕捉和评估装置及其方法。该装置包括：视频采集模块，包括两个或更多个相机，被配置为采集受试者的运动视频；人体关键点分布信息提取模块，被配置为从采集的运动视频中提取受试者的人体关键点分布信息的时间序列；以及运动评估模块，对提取的人体关键点分布信息的时间序列进行评估，以确定受试者运动障碍的程度。人体关键点分布信息提取模块还被配置为：从运动视频的每个时刻的视频帧组中计算人体关键点三维热力图，基于计算的人体关键点三维热力图确定人体关键点在三维空间中的中心坐标和有效半径，并且按照时间顺序组合每个时刻的人体关键点在三维空间中的中心坐标和有效半径，作为人体关键点分布信息的时间序列。

Description

运动捕捉和评估装置及其方法
技术领域
本发明涉及运动捕捉和评估装置及其方法，特别涉及利用人体关键点分布信息的时间序列对运动障碍的程序进行评估的装置及其方法。
背景技术
运动障碍，是一类源于基底核功能紊乱或由于外伤、神经退行等导致的，以运动功能损害等为特征的病理性症状。运动障碍的临床表现主要包括不自主动作、动作缺失或缓慢而无瘫痪、姿势及肌张力异常等。而发生运动障碍的主要诱因包括帕金森病、肌张力障碍、亨廷顿舞蹈症、共济失调、原发性震颤、肌阵挛和惊恐综合症、抽搐和图雷特综合征、不宁腿综合征、步态紊乱、痉挛、僵体症候群等疾病，或以卒中、药物、创伤、感染和其他神经退行导致的并发症出现。无论原发性的运动障碍，还是继发性的运动障碍，其都是高发的运动功能异常症状，并且会严重影响相关人员的生活质量。
另一方面，现阶段对运动障碍的评估需要专业人员依据与各种运动功能性疾病所对应的评估量表，例如国际帕金森和运动障碍协会修订的帕金森病综合评价量表MDS-UPDRS，根据自己肉眼观察到的运动状态进行评估。这样的人工评估的方式存在诸多问题。首先，评估的准确程度完全依赖于评估人员所具备的经验的丰富程度。另外，这样的评估过程环节复杂繁琐，以MDS-UPDRS为例，需要对受试者进行“对指试验”、“站立平衡试验”、“步态”等十余个运动功能检查测试，并给测试结果进行评分。此外，受试者动作的速度、幅度、频率、距离等维度的差别，缺乏客观可量化的指标，进一步导致了由主观性认知导致的偏差。
因此，需要能够对受试者运动进行捕捉和评估的技术，以确定受试者运动障碍或运动损害的严重程度。在传统的技术中，主要有一下两种：（1）基于传感器的方案，即，通过多个传感器提取受试者例如步态运动过程中的腿部加速度、角速度以及足底压力等运动特征数据，使用机器学习模型对提取的特征进行分类分析等；以及（2）基于机器视觉的方法，即，从运动视频中提取每一帧人体关键点的二维坐标，构建基于人体关键点的空间时间图和基于人体骨骼的空间时间图，采用双流空间时间图卷积模型得到各类评估分数的概率值，以得到运动视频的评估结果，或者通过采集运动视频提取人体骨架的关键点并以LOSO方法评估建立的识别模型来进行算法评估。无论是哪种方案都存在各自的缺陷和不够。其中第一类方案虽然能够得到准确的测量数据，但是需要额外的传感器的成本开销，并且增加传感器的穿脱、充电、校准和消毒等繁琐的流程，难以便捷使用和普及；而第二类方案除了人体关键点定位不准确的缺陷以外，仅使用了基于单目视频提取的二维视场内的关键点信息，人体关键点三维坐标向二维成像平面的二维关键点映射时，会产生不可避免的维度损失和歧义，例如利用单目的RGB相机从受试者正前方或正后方拍摄获取的行走的二维关键点视图中，只能观察到受试者手臂随步态发生长度变化，而难以分辨受试者是在前摆臂还是后摆臂，并且普遍存在肢体关键点彼此遮挡时（如转身过程中）的错误识别问题。可见，在从视频中确定人体关键点的过程中，由于包括但不限于设备数量、设置角度、关键点遮挡、算法缺陷等各种因素，可能造成提取的人体关键点的波动或跳变等，这给基于这样获得的人体关键点的运动评估造成准确度上的严重恶化。
这样，能够对受试者运动进行更加客观的、准确的捕捉和评估的技术改进，越来越多地成为当前重要的研究目标。
在这里描述的技术内容仅仅被提供作为本发明所提出的技术方案的背景技术，以帮助对本发明的各个方面的理解，而并非从任何角度来讲被认为属于相对于本发明的技术方案的现有技术。
发明内容
技术问题
针对在传统技术中存在的各种问题，为了改善在运动捕捉和评估中的用户体验和评估准确度，提出了一种对受试者的运动进行捕捉和评估的装置及其方法。
问题的解决方案
根据本发明的一个方面，提供了一种运动捕捉和评估方法。该方法包括：采集受试者的运动视频，从采集的运动视频中提取受试者的人体关键点分布信息的时间序列；以及对提取的人体关键点分布信息的时间序列进行评估，以确定受试者运动障碍的程度。根据本发明的实施例，提取人体关键点分布信息包括：从运动视频的每个时刻的视频帧组中计算人体关键点三维热力图，
并且基于计算的人体关键点三维热力图，确定人体关键点在三维空间中的中心坐标和有效半径，作为人体关键点分布信息。提取人体关键点三维热力图的具体过程为通过深度学习模型获取每个视频对应的二维热力图，然后结合各个相机的内外参进行对极几何解算，得到真实空间中的三维热力图，或是通过深度学习的方法直接从其他深度学习模型直接从每个时刻的视频帧组中提取出三维热力图。
根据本发明的实施例，运动视频通过安置在不同视角的两个或更多个相机同步采集，并且视频帧组由在同一时刻通过所述两个或更多个相机采集的视频帧组成。根据本发明的实施例，人体关键点分布信息的时间序列通过将每个时刻的人体关键点在三维空间中的中心坐标和有效半径按照时间顺序进行组合而获得。根据本发明的实施例，人体关键点三维热力图表示人体关键点位于三维空间中各个位置处的概率。
根据本发明的另一个方面，提供一种运动捕捉和评估系统。该系统包括：存储器，被配置为存储机器可读指令；以及至少一个处理器，被配置为调用所述机器可读指令来执行本发明提供的运动捕捉和评估方法。
根据本发明的另一个方面，提供一种计算机可读记录介质，其上存储有指令，当由一个或多个处理器执行时，使得一个或多个处理器执行本发明提供的运动捕捉和评估方法。
有益效果
本发明的实施方式通过无接触地采集受试者的运动视频进行运动障碍严重程度评估，而无需传感器等电子设备。同时，相比基于单目的二维视频采集，能够有效地解决遮挡和歧义、得到更准确的运动关键部位检测结果，
而且，本发明的实施方式通过人体关键点分布信息而不是单个关键点坐标来表示各个人体关键点在三维空间中出现的分布范围。以包括中心坐标和有效半径的人体关键点分布信息来表示人体的运动姿态，能够更好地反应人体的关键部位在三维空间中具备一定空间体积，而不是一个过渡理想化的无体积的“点”的物理事实。同时，这样的技术方案能够很好地吸收关键点确定过程中可能产生的波动和变化，具有更好的可泛化性和鲁棒性，并且支持在后续处理中得到更精确和适配的运动障碍评估结果。结果，基于一种运动捕捉和评估装置和方法，能够针对人体不同部位和/或不同动作，完成多种运动功能障碍的检查测试。
请注意，本发明的实施方式并不要求解决上述传统技术中的所有或任何技术问题。并且，这里所描述的各种实施方式，不应被理解为意图对本发明的技术方案进行任何限制。对于本领域技术人员而言清晰的是，在不脱离本发明的范围的情况下，可以对所描述的实施方式进行适当的修改、变型、等同或替换。
附图说明
从以下结合附图的描述中，本发明的特定实施例的上述和其他方面、特征和优点将变得更加清晰，其中：
图1为根据本发明的实施例的相机布置位置示意图；
图2为根据本发明的实施例的运动捕捉和评估方法的流程图；
图3为根据本发明的实施例的提取人体关键点分布信息的流程图；
图4为根据本发明的实施例的运动捕捉和评估装置的框图。
具体实施方式
在进行下面的详细描述之前，阐述贯穿本专利文件使用的某些单词和短语的定义可能是有利的。术语“包括”和“包含”及其派生词是指包括但不限于。术语“或”是包含性的，意思是和/或。短语“与……相关联”及其派生词是指包括、包括在……内、互连、包含、包含在……内、连接或与……连接、耦接或与……耦接、与……通信、配合、交织、并列、接近、绑定或与……绑定、具有、具有属性、具有关系或与……有关系等。术语“控制器”或“处理器”是指执行至少一个操作的任何设备、系统或其一部分，其可以用硬件、或者硬件和软件和/或固件的组合来实现。与任何特定实施部件相关联的功能既可以是集中式的也可以是分布式的，无论是本地的还是远程的。短语“至少一个”，当与项目列表一起使用时，意指可以使用所列项目中的一个或多个的不同组合，并且可能只需要列表中的一个项目。例如，“A、B、C中的至少一个”包括以下组合中的任意一个：A、B、C、A和B、A和C、B和C、A和B和C。
贯穿本专利文件提供了对一些特定单词和短语的定义的解释和说明。本领域普通技术人员应该理解，在许多情况下，即使不是大多数情况下，这样的定义也可以适用于同样定义的单词和短语的先前以及将来的使用。
以下结合附图描述本专利文档中的本发明的原理的各种实施例仅作为说明性的，并且不应以任何方式被解释为限制本发明的保护范围。本领域技术人员应当理解，本发明的原理可以在任何适当布置的系统或装置中实施。在一些情况下，在说明书中描述的操作或动作可以按照与所例示的顺序不同的顺序来执行，并且仍然可以达到期望结果。此外，附图描绘的过程不一定要求所示的特定顺序或依次顺序来达到期望结果。并且，在一些特定的实施方式中，多任务式的和并行的处理方式也可能是有利的。
以下参考图2描述本发明的对受试者的运动进行捕捉和评估方法。
图2示出了根据本发明的实施例的运动捕捉和评估方法。
在步骤S1，对受试者的运动进行捕捉。为了对受试者的运动功能进行检查测试，使用适当的视频采集装置，例如摄像头或红外相机等。根据要进行评估的具体项目，可能针对受试者的特定部位（例如，人体关键点或感兴趣的身体部分）的运动进行更加精确的捕捉和跟踪。换句话说，这样的人体关键点是指与具体的运动功能检查项目相关的人体关节或部位等。例如，当进行面部运动功能检查时，则感兴趣的人体关键点包括但不限于，双眼轮廓点、嘴部轮廓点、鼻尖点等；当进行手部运动功能检查时，所感兴趣的人体关键点包括但不限于，手腕、五指指尖、五指指关节；以及当进行肢体运动功能检查时，所感兴趣的人体关键点包括但不限于，左右肩关节、左右髋关节、左右膝关节、左右踝关节、左右肘关节、左右腕关节。
因此，为了对执行运动功能检查测试所需的人体关键点进行符合要求的运动跟踪和捕捉，需要对采集运动视频所需的相机的内参数和外参数进行设置。这里，相机的内参数包括例如相机的焦距、分辨率、帧速率等，而相机的外参数包括例如相机在受试者所处于的三维空间中的坐标位置、拍摄角度等。相机的内参数和外参数可以是针对具体的运动功能测试项目而预先确定并存储在存储装置中，并在执行运动捕捉前从存储装置中读取并进行设置的。或者，所述参数也可以根据具体情况由现场人员适应地调整。
根据本发明的实施例，如图1中示出的相机布置位置示意图，由两个或更多个相机组成的相机群组可以将这些相机布置在受试者所在的三维空间中不同位置。并且，不同的相机可以被布置为具有不同的视角，以便从不同的角度采集受试者的运动视频。根据本发明的实施例，在受试者的运动过程中，在任一时刻，保证受试者的人体关键点处于至少一个或多个相机的拍摄视野当中。
进一步的，根据本发明的实施例，相机的布置还包括对相机内参数和外参数的设置，包括但不限于，对各个相机的摄像视野的覆盖范围、焦距范围、景深范围的设置。具体来讲，各个相机被设置在受试者所处于的三维空间中的特定位置，首先保证相机在视频采集过程中的稳定，并且保证受试者在三维空间中的运动范围（例如，人体关键点）始终处于尽量多的相机的拍摄视野的覆盖范围内。另外，一些人体关键点在三维空间中的景深可能随着受试者的运动而发生变化，因此，相机的设置还包括但不限于，调节相机的焦距范围，使得能够尽量清晰地跟踪和捕捉到受试者的运动状态。
这里，人体关键点为与具体运动功能检查项目相关的人体关节或部位，如进行面部运动功能检查时，所需的人体关键点包括但不限于，双眼轮廓点、嘴部轮廓点、鼻尖点等；如进行手部运动功能检查时，所需的人体关键点包括但不限于，手腕、五指指尖、五指指关节等；进行肢体运动功能检查时，所需的人体关键点包括但不限于，左右肩关节、左右髋关节、左右膝关节、左右踝关节、左右肘关节、左右腕关节等。例如，在进行根据MDS-UPDRS量表中的步态检查中，根据一种实施方式，可以选取左右肩关节、肘关节、手腕、髋关节等16个人体关键点。可以根据实际应用，增加更多的人体关键点或减少一些人体关键点。
根据本发明的实施例，也可以对相机的分辨率以及其他参数进行设置和标定。相机的各种参数和设置可以被存储在存储装置中，以便后续使用。
再次参考图1，图1示出了根据本发明的实施例的相机布置位置示意图。如图1中所示，针对MDS-UPDRS量表中的步态检查项，可以使用三个相机①②③来捕捉受试者的步态视频，三个相机被布置在三个不同的位置，并以不同的视角同步对受试者的运动开始和结束运动视频。这样，可以获得分别由三个相机①②③采集的运动视频V1、V2、V3（未示出）。
接着，在步骤S2，从采集的运动视频中提取受试者的人体关键点分布信息的时间序列。如上所述，从三个相机①②③可以获得针对同一受试者的人体关键点的视频V1、V2、V3，从而在每个时刻，可以获得由分别从三个相机①②③获得的视频帧F1i、F2i、F3i组成的视频帧组。
参考图3对提取人体关键点分布信息进行描述。如图3所示，根据本发明的实施例，在步骤S21，提取人体关键点分布信息还包括从运动视频的每个时刻的视频帧组中计算人体关键点三维热力图。这里，视频帧组定义为同一时刻上由多个相机所获取的视频帧的组合。这样，在上述示例中，从运动视频中获得的每个时刻的由视频帧F1i、F2i、F3i组成的视频帧组中提取人体关键点三维热力图。
人体关键点三维热力图表示对应人体关键点分布在三维空间中各个位置处的概率。换句话说，人体关键点三维热力图为各个人体关键点在三维空间中分布的概率图。热力图可以用概率矩阵P来表示。三维热力图的三维空间包括宽度、高度、深度三个维度，可以表示为（X，Y，Z）。在该三维空间中的每一个坐标（x，y，z）都对应人体关键点在三维空间中的分布概率，对应概率矩阵P中的一个元素。提取人体关键点三维热力图的具体过程为通过深度学习模型获取每个视频对应的二维热力图，然后结合各个相机的内外参进行对极几何解算，得到真实空间中的三维热力图，或是通过深度学习的方法直接从其他深度学习模型直接从每个时刻的视频帧组中提取出三维热力图。
接着，在步骤S22，基于计算的人体关键点三维热力图，确定人体关键点在三维空间中的中心坐标和有效半径，作为人体关键点分布信息。利用人体关键点的三维热力图，能够高效地和准确地确定人体关键点在三维空间中的定位。根据一种实施方式，可以将三维热力图中最“热”的点，即，人体关键点出现在三维空间中的概率最高的位置，确定改为人体关键点分布信息的中心坐标。同时，根据人体关键点在三维热力图中热分布，可以确定人体关键点相对于中心坐标的有效半径。根据一种实施方式，可以设定预定的热度阈值，从而确定三维空间中具备等于或高于该预定阈值的热度的位置相对于中心坐标的有效半径。由此获得的人体关键点分布信息，包括中心坐标和有效半径，指示了人体关键点在三维空间中高概率的分布范围，其是三维空间中具有一定体积的空间区域，而非一个理想化的点。因此，人体关键点分布信息能够更好地反映原本所要体现的人体关节和部位。而且，由于人体关键点分布信息包括中心坐标和有效半径，能够很好地吸收传统关键点的定位中可能产生的波动和变化，具有更好的可泛化性和鲁棒性，提高了对受试者运动捕捉的精准度和后续评估处理的准确度。
再次参考图2，根据本发明的实施例，通过将每一时刻的人体关键点分布信息按照时间顺序进行组合，以获得受试者的人体关键点分布信息的时间序列。
接下来，在步骤S3，对提取的人体关键点分布信息的时间序列进行评估，以确定受试者运动障碍的程度。根据本发明的实施例，可以依据各种运动障碍评估量表对所获得的人体关键点分布信息的时间序列进行评估，例如，使用运动障碍评估量表中的运动功能检查评分项目。以帕金森病综合评价量表MDS-UPDRS为例，需要评分的检查项目可以包括但不限于，1）MDS-UPDRS量表中3.4“对指试验”的评分、2）MDS-UPDRS量表中3.7“脚趾拍地运动”的评分、3）MDS-UPDRS量表中3.10“步态”的评分、4）MDS-UPDRS量表中3.11“冻结步态”的评分、5）MDS-UPDRS量表中3.13“姿势”的评分。这里，除了帕金森病综合评价量表MDS-UPDRS以外，运动障碍评估量表还包括但不限于，肌张力障碍评定量表UDRS、迟发性运动障碍评定量表TDRS、共济失调评估和分级量表SARA、卒中运动功能评估量表MAS等。
另外，根据本发明的实施例，可以利用训练好的深度神经网络DNN对人体关键点分布信息的时间序列进行关于运动障碍的严重程度的评估。
将提取的人体关键点分布信息的时间序列输入训练好的深度神经网络模型中，该神经网络模型可以提取人体关键点分布信息中各个关键点的运动特征，从而得到受试者的运动障碍评估结果。该运动障碍评估结果可以是受试者的运动障碍程度的量化表征。根据本发明的实施例，示例性的，在帕金森综合征运动功能评估中，深度神经网络模型被训练为根据输入的人体关键点分布信息的时间序列，输出0到4之间的得分，作为受试者运动障碍评估结果。在对受试者进行帕金森综合征运动功能评估时，需要参考由国际帕金森和运动障碍协会修订的帕金森病综合评价量表MDS-UPDRS对受试者的运动功能障碍进行评估，如果得分为0，表示受试者特定部位的运动功能没有障碍，如果得分为4分，则表示受试者几乎无法完成这项运动，分值越大，受试者的运动障碍程度越严重。深度神经网络模型的输出与量表保持一致，更能保证评估结果的有效性，从而提升对受试者运动障碍评估的准确性。
根据实施例，所述深度神经网络模型的网路结构包括卷积神经网络CNN、图卷积神经网络GCN、变换器（Transformer）、循环神经网络RNN、残差神经网络ResNet、ResNeXt、UNet、UNet++、YOLO系列中的一个或多个神经网络模型的组合。此外，还可以利用按类划分好的训练集和验证集来进行训练和验证，进一步增强神经网络评估的性能。
根据本发明的实施例，对捕捉的运动进行评估还可以包括对要进行运动功能检测的运动视频进行标注。标记的结果可以表示依据对应评定量表下的每种动作损害程度的严重等级。预先可以收集大量的受试者多视角运动视频，依据相应的运动功能评估量表对运动视频中受试者的运动障碍的严重程度进行评估。可以针对多组运动视频中给出每组运动视频的评估结果。接下来，可以将这些运动视频作为训练数据，评估结果作为标签，对深度神经网络进行训练。训练完成后的深度神经网络模型可以作为评估模型使用。示例性的，在一个实施例中，深度神经网络模型被训练用于检测人体步态障碍的评估。具体的，选取了左右肩、肘、手腕、髋关节等与步态运动相关的16个人体关键点，针对每一时刻的视频帧组，提取人体关键点分布信息，将16个关键点的分布信息的时间序列作为输入向量输入到深度神经网络模型，深度神经网络模型可以提取该输入向量的特征，并将提取的特征通过一个Softmax层得到每一个评分类别的概率，再通过max方法取概率值最大的类别作为步态运动障碍严重程度的评估结果。
根据本发明的实施例，还可以利用对应的标注结果对深度神经网络进行训练以获得预训练模型。
首先，可以对训练数据进行标注，即，根据受试者运动功能检查测试的类型，依据评定量表进行标注评分。例如，使用MDS-UPDRS量表给受试者的步态视频进行冻结步态评分：当视频中的受试者没有冻结步态时，标记为0分；在起步，转身或通过门口时有一次停顿，但随后即可顺利的沿直线行走，标记为1分；在起步，转身或通过门口时有一次（不含）以上的停顿，但随后即可顺利的沿直线行走，标记为2分；在直线行走中有一次步态冻结，标记为3分，在直线行走中有多次步态冻结标记为4分。接着，还可以对训练数据进行数据格式转换和存储，将数据格式转换为预设标准数据格式。具体的，提取到人体关键点三维热力图序列后，将三维热力图序列和其对应的标记结果以特征——标签的方式保存为特定格式的文件、包括但不限于txt，pkl，json，npy等数据文件。
其次，可以选择神经网络结构和超参。具体的，在深度学习领域，常见的神经网络结构有ResNet、ResNeXt、UNet、UNet++、YOLO系列等，神经网络超参指的是模型训练过程中使用的批尺寸，学习率，迭代次数等指导模型训练过程的参数。
再次，可以选择损失函数。损失函数将样本模型预测值和真实值之间的差异量化成损失值，不同的损失函数，对差异度量的结果不一样。在分类问题中，常用的损失函数有Entropy、CrossEntropy、KL散度等。
最后，根据预设标准数据格式的训练数据进行训练；
为了验证本申请所提出策略的有效性和先进性，对本申请所提出的策略与其它的常用策略进行了逐项对比实验，以下，以针对帕金森综合征评估量表MDS_UPDRS指导的步态运动障碍为例，对上述方法的模型效果进行评估，实验结果也证实了策略的有效性和先进性：
使用准确率和可接受的准确率作为性能指标来评估模型的性能，准确率是指预测评分与专业人员标注评分一致的样本量占总样本数量的比例；由于不同人员之间的经验及其主观认知差异，不同人员对同一段运动障碍评估视频的评分也常存在小幅度的差别，在实际临床诊断中通常认为在评估分数一定的误差范围内浮动是可以接受的。例如，对受试者进行帕金森综合征运动功能评估时，通常认为MDS-UPDRS量表评分中上下浮动1分是可以接受的误差范围，故在MDS-UPDRS量表评分中，可接受准确是指预测评分与专业人员标注评分之差在正负1分范围内的样本量占总样本量的比例。
下表是本发明提出的方案与其它方案之间的性能对比：
表1
可见，本发明所提供的方法相比采用单视角和关键点的方法在预测评分的准确率和和可接受准确率上均有较明显提升。
以下参考图4描述运动捕捉和评估装置。图4示出了根据本发明的运动捕捉和评估装置400。如图4所示，根据本发明的运动捕捉和评估装置400包括：视频采集模块401、人体关键点分布信息提取模块402和预测评估模块403。
根据本发明的实施例，视频采集模块，被配置用于获取受试者的运动功能检查视频。例如，视频采集模块可以包括两个或更多个相机。在一个实施例中，视频采集模块可以包括三个相机，并且分别设置在垂直于受试者前进方向上、受试者行走方向的正上方以及受试者的后方3个位置。每个相机可以以例如30 fps的帧速率同时采集受试者的运动视频。可以使用市场上可购得的摄像机或者专业摄像机，例如，可以使用海康MV-CA013-A0UC工业相机。将所有相机采集的同一时刻的视频帧组合成一个视频帧组，以便得到视频帧组。人体关键点分布信息提取模块，被配置用于从运动功能检查视频中提取人体关键点分布信息的时间序列。预测评估模块，被配置用于运行深度神经网络，对人体关键点分布信息的时间序列进行运动障碍评估。
应当理解，这里所描述的仅仅是本发明提出的运动捕捉和评估装置的示例，在其他的实施方式中，可以包含比这里所描述的更多或更少的相同或其他元素。并且，所有这些元素既可以实现为布置在同一物理设备中的本地体系，也可以实现为以互联网连接的分布式体系。
本发明实施例同样提供了运动捕捉和评估系统，包括：至少一个存储器和至少一个处理器。所述至少一个存储器，用于存储机器可读程序。所述至少一个处理器，用于调用所述机器可读程序，并且促使运动捕捉和评估系统执行这里所描述的运动捕捉和评估方法。
本发明实施例提供了计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行这里描述的运动捕捉和评估方法。
具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机（或CPU或MPU或GPU）读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘（如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW）、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
需要说明的是，上述各流程和各系统结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上各实施例中，硬件单元可以通过机械方式或电气方式实现。例如，一个硬件单元可以包括永久性专用的电路或逻辑（如专门的处理器、GPU、FPGA或ASIC）来完成相应操作。硬件单元还可以包括可编程逻辑或电路（如通用处理器或其它可编程处理器），可以由软件进行临时的设置以完成相应操作。具体的实现方式（机械方式、或专用的永久性电路、或者临时设置的电路）可以基于成本和时间上的考虑来确定。
文本和附图仅作为示例提供，以帮助理解本发明。它们不应被解释为以任何方式限制本发明的范围。尽管已经提供了某些实施例和示例，但是基于这里所描述的内容，对于本领域技术人员而言清晰的是，在不脱离本发明的范围的情况下，可以对所示的实施例和示例进行改变。
尽管已经用示例性实施例描述了本发明，但是可以向本领域技术人员建议各种改变和修改。本发明旨在涵盖落入所附权利要求范围内的这种改变和修改。
本发明中的任何描述都不应被理解为暗示任何特定的元件、步骤或功能是必须包括在权利要求范围内的必要元素。专利主题的范围仅由权利要求限定。

Claims (12)

1.一种运动捕捉和评估方法，其特征在于，包括：
采集受试者的运动视频，
从采集的运动视频中提取受试者的人体关键点分布信息的时间序列；以及
对提取的人体关键点分布信息的时间序列进行评估，以确定受试者运动障碍的程度，
其中，提取人体关键点分布信息的时间序列包括：
按照时间顺序组合每个时刻的人体关键点在三维空间中的中心坐标和有效半径，以获得由所述中心坐标和有效半径组成的人体关键点分布信息的时间序列，所述中心坐标是人体关键点在三维空间中出现概率最高的位置的坐标，而所述有效半径是所述概率等于或高于预定阈值的位置相对于所述中心坐标的距离。
2.根据权利要求1所述的运动捕捉和评估方法，其特征在于，所述运动视频通过安置在不同视角的两个或更多个相机同步采集，并且所述视频帧组由在同一时刻通过所述两个或更多个相机采集的视频帧组成。
3.根据权利要求1所述的运动捕捉和评估方法，其特征在于，提取人体关键点分布信息还包括：
从运动视频的每个时刻的视频帧组中计算人体关键点三维热力图；以及
基于计算的人体关键点三维热力图，确定人体关键点在三维空间中的中心坐标和有效半径，作为人体关键点分布信息。
4.根据权利要求1所述的运动捕捉和评估方法，其特征在于，所述人体关键点三维热力图表示人体关键点位于三维空间中各个位置处的概率，提取人体关键点三维热力图的具体过程为通过深度学习模型获取每个视频对应的二维热力图，然后结合各个相机的内外参进行对极几何解算，得到真实空间中的三维热力图，或是通过深度学习的方法直接从其他深度学习模型直接从每个时刻的视频帧组中提取出三维热力图。
5.根据权利要求2所述的运动捕捉和评估方法，其特征在于，所述方法还包括，根据要评估的受试者运动障碍的类型调整所述两个或更多个相机的数量、内参数、外参数中的一个或多个，
其中，所述内参数包括相机的焦距、分辨率，并且
其中，所述外参数包括相机的位置坐标、朝向角度。
6.根据权利要求1所述的运动捕捉和评估方法，其特征在于，所述方法还包括，基于以下运动障碍评估量表中的至少一个，对人体关键点分布信息的时间序列进行评估：帕金森病综合评价量表MDS-UPDRS、肌张力障碍评定量表UDRS、迟发性运动障碍评定量表TDRS、共济失调评估和分级量表SARA、卒中运动功能评估量表MAS。
7.根据权利要求1所述的运动捕捉和评估方法，其特征在于，所述方法还包括，通过深度神经网络模型，对人体关键点分布信息的时间序列进行评估，以确定受试者运动障碍的程度。
8.根据权利要求7所述的运动捕捉和评估方法，其特征在于，所述方法还包括，对所述深度神经网络模型进行训练，其包括：
对来自运动视频的训练数据进行标注；
对训练数据的数据格式进行转换，以使训练数据中的人体关键点分布信息的时间序列与对应的标注结果相关联；
选择深度神经网络模型的网络结构和超参数；
选择损失函数；以及
根据所选择的损失函数，使用数据格式转换后的训练数据对深度神经网络模型进行训练。
9.一种运动捕捉和评估装置，其特征在于，包括：
视频采集模块，包括两个或更多个相机，被配置为采集受试者的运动视频；
人体关键点分布信息提取模块，被配置为从采集的运动视频中提取受试者的人体关键点分布信息的时间序列；以及
运动评估模块，对提取的人体关键点分布信息的时间序列进行评估，以确定受试者运动障碍的程度，
其中，所述人体关键点分布信息提取模块还被配置为：按照时间顺序组合每个时刻的人体关键点在三维空间中的中心坐标和有效半径，以获得由所述中心坐标和有效半径组成的人体关键点分布信息的时间序列，所述中心坐标是人体关键点在三维空间中出现概率最高的位置的坐标，而所述有效半径是所述概率等于或高于预定阈值的位置相对于所述中心坐标的距离。
10.根据权利要求9所述的运动捕捉和评估装置，其特征在于，所述人体关键点分布信息提取模块还被配置为：
从运动视频的每个时刻的视频帧组中计算人体关键点三维热力图，并且
基于计算的人体关键点三维热力图，确定人体关键点在三维空间中的中心坐标和有效半径，作为人体关键点分布信息。
11.一种运动捕捉和评估系统，其特征在于，包括：
存储器，被配置为存储机器可读指令；以及
至少一个处理器，被配置为调用所述机器可读指令来执行如权利要求1-10中任一项所述的方法。
12.一种计算机可读记录介质，其上存储有指令，其特征在于，当由一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-10中任一项所述的方法。
CN202310913392.XA 2023-07-25 2023-07-25 运动捕捉和评估装置及其方法 Active CN116630551B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310913392.XA CN116630551B (zh) 2023-07-25 2023-07-25 运动捕捉和评估装置及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310913392.XA CN116630551B (zh) 2023-07-25 2023-07-25 运动捕捉和评估装置及其方法

Publications (2)

Publication Number Publication Date
CN116630551A CN116630551A (zh) 2023-08-22
CN116630551B true CN116630551B (zh) 2023-11-07

Family

ID=87592480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310913392.XA Active CN116630551B (zh) 2023-07-25 2023-07-25 运动捕捉和评估装置及其方法

Country Status (1)

Country Link
CN (1) CN116630551B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657631A (zh) * 2018-12-25 2019-04-19 上海智臻智能网络科技股份有限公司 人体姿态识别方法及装置
CN109685013A (zh) * 2018-12-25 2019-04-26 上海智臻智能网络科技股份有限公司 人体姿态识别中头部关键点的检测方法及装置
CN110895809A (zh) * 2019-10-18 2020-03-20 中国科学技术大学 准确提取髋关节影像中关键点的方法
CN111382679A (zh) * 2020-02-25 2020-07-07 上海交通大学 帕金森病步态运动障碍严重程度的评估方法、系统及设备
CN111539377A (zh) * 2020-05-11 2020-08-14 浙江大学 基于视频的人体运动障碍检测方法、装置及设备
CN113762133A (zh) * 2021-09-01 2021-12-07 哈尔滨工业大学（威海） 基于人体姿态识别的自重健身辅助教练系统、方法、终端
CN114093032A (zh) * 2021-11-26 2022-02-25 重庆大学 一种基于动作状态信息的人体动作评估方法
CN114663509A (zh) * 2022-03-23 2022-06-24 北京科技大学 一种关键点热力图引导的自监督单目视觉里程计方法
CN114757822A (zh) * 2022-06-14 2022-07-15 之江实验室 一种基于双目的人体三维关键点检测方法及系统
CN114882580A (zh) * 2022-02-15 2022-08-09 谢弘毅 一种基于深度学习的运动动作一致性的度量方法
CN115294018A (zh) * 2022-06-30 2022-11-04 同济大学 一种基于rgb-d图像的颈部肌张力障碍识别系统
CN115346670A (zh) * 2022-08-15 2022-11-15 浙江工业大学 基于姿态识别的帕金森病评级方法、电子设备及介质
CN115631155A (zh) * 2022-10-14 2023-01-20 北京科技大学 一种基于时空自注意力的骨骼疾病筛查方法
CN116012930A (zh) * 2023-03-28 2023-04-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于深度学习卷积神经网络的维度表情识别方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657631A (zh) * 2018-12-25 2019-04-19 上海智臻智能网络科技股份有限公司 人体姿态识别方法及装置
CN109685013A (zh) * 2018-12-25 2019-04-26 上海智臻智能网络科技股份有限公司 人体姿态识别中头部关键点的检测方法及装置
CN111797791A (zh) * 2018-12-25 2020-10-20 上海智臻智能网络科技股份有限公司 人体姿态识别方法及装置
CN110895809A (zh) * 2019-10-18 2020-03-20 中国科学技术大学 准确提取髋关节影像中关键点的方法
CN111382679A (zh) * 2020-02-25 2020-07-07 上海交通大学 帕金森病步态运动障碍严重程度的评估方法、系统及设备
CN111539377A (zh) * 2020-05-11 2020-08-14 浙江大学 基于视频的人体运动障碍检测方法、装置及设备
CN113762133A (zh) * 2021-09-01 2021-12-07 哈尔滨工业大学（威海） 基于人体姿态识别的自重健身辅助教练系统、方法、终端
CN114093032A (zh) * 2021-11-26 2022-02-25 重庆大学 一种基于动作状态信息的人体动作评估方法
CN114882580A (zh) * 2022-02-15 2022-08-09 谢弘毅 一种基于深度学习的运动动作一致性的度量方法
CN114663509A (zh) * 2022-03-23 2022-06-24 北京科技大学 一种关键点热力图引导的自监督单目视觉里程计方法
CN114757822A (zh) * 2022-06-14 2022-07-15 之江实验室 一种基于双目的人体三维关键点检测方法及系统
CN115294018A (zh) * 2022-06-30 2022-11-04 同济大学 一种基于rgb-d图像的颈部肌张力障碍识别系统
CN115346670A (zh) * 2022-08-15 2022-11-15 浙江工业大学 基于姿态识别的帕金森病评级方法、电子设备及介质
CN115631155A (zh) * 2022-10-14 2023-01-20 北京科技大学 一种基于时空自注意力的骨骼疾病筛查方法
CN116012930A (zh) * 2023-03-28 2023-04-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于深度学习卷积神经网络的维度表情识别方法

Also Published As

Publication number Publication date
CN116630551A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN110321754B (zh) 一种基于计算机视觉的人体运动姿态纠正方法及系统
US11763603B2 (en) Physical activity quantification and monitoring
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
US11403882B2 (en) Scoring metric for physical activity performance and tracking
CN104700433A (zh) 一种基于视觉的实时人体全身体运动捕捉方法及其系统
CN111460976B (zh) 一种数据驱动的基于rgb视频的实时手部动作评估方法
CN112016497A (zh) 基于人工智能的单视角太极拳动作分析及考核系统
CN113283373A (zh) 一种用于增强深度相机检测肢体运动参数的方法
CN116630551B (zh) 运动捕捉和评估装置及其方法
CN116740618A (zh) 一种运动视频动作评估方法、系统、计算机设备及介质
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
CN116189301A (zh) 一种基于姿态估计的立定跳远动作规范性评估方法
CN106446837B (zh) 一种基于运动历史图像的挥手检测方法
US11922822B2 (en) Method of scoring a move of a user and system thereof
Blythman et al. Assessment of deep learning pose estimates for sports collision tracking
CN113807323A (zh) 基于图像识别的手功能精准评估系统及方法
CN113378772B (zh) 一种基于多特征融合的手指灵活检测方法
CN113643788B (zh) 基于多个图像获取设备确定特征点的方法及系统
CN113781453B (zh) 一种基于x线片的脊柱侧凸进展预测及方法和装置
CN115641646B (zh) 一种cpr自动检测质控方法及系统
CN117011940A (zh) 一种基于视觉感知的运动步态捕捉与评价方法及系统
Kim et al. A Taekwondo Poomsae Movement Classification Model Learned Under Various Conditions
CN117373109A (zh) 一种基于人体骨骼点和动作识别的体态评估方法
CN117197892A (zh) 一种人体关键点信息和篮球定位的动作相似度计算方法
Wang Method for Capturing Tennis Training Actions under Machine Vision Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant