CN115346670A - 基于姿态识别的帕金森病评级方法、电子设备及介质 - Google Patents

基于姿态识别的帕金森病评级方法、电子设备及介质 Download PDF

Info

Publication number
CN115346670A
CN115346670A CN202210976912.7A CN202210976912A CN115346670A CN 115346670 A CN115346670 A CN 115346670A CN 202210976912 A CN202210976912 A CN 202210976912A CN 115346670 A CN115346670 A CN 115346670A
Authority
CN
China
Prior art keywords
human skeleton
key point
action
quality index
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210976912.7A
Other languages
English (en)
Inventor
冯则城
孔杭扬
马思涵
周利波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210976912.7A priority Critical patent/CN115346670A/zh
Publication of CN115346670A publication Critical patent/CN115346670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Neurosurgery (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Developmental Disabilities (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)

Abstract

本发明公开了一种基于姿态识别的帕金森病评级方法、电子设备及介质，所述方法首先获取待检测的帕金森病患的运动视频，处理运动视频中的每一帧图像，获得每一帧图像的人体骨骼关键点所在区域；并截取人体骨骼关键点所在区域对应的照片，经置信度阈值检验后得到人体骨骼关键点的坐标，每一帧图像的人体骨骼关键点坐标构成的时间序列；根据国际运动障碍学会统一帕金森病评定量表MDS‑UPDRS将每一帧图像的人体骨骼关键点坐标构成的时间序列转换成该运动视频所对应的动作质量指数；采集患者病例信息，并其转化为症状指数；将动作质量指数与症状指数拼接成原始特征向量，利用支持向量机模型对原始特征向量进行回归得到帕金森病严重程度指数。

Description

基于姿态识别的帕金森病评级方法、电子设备及介质
技术领域
本发明属于互联网+智慧医疗领域，尤其涉及一种基于姿态识别的帕金森病评级方法、电子设备及介质。
背景技术
帕金森病是一种影响中枢神经系统的慢性神经退化疾病。它的症状通常随时间缓慢出现，早期最明显的症状为颤抖、肢体僵硬、运动功能减退和步态异常，也可能有认知和行为问题。对帕金森病的及早发现以及积极治疗有助于延缓病情的发展。然而多数患者只有在严重影响生活的情况下才会选择诊断，此时已经为时晚矣。
近年来，我国帕金森病发病率逐渐升高，患者数量位居世界第一。而我国帕金森专家医师虽然也有增长，但是难以满足如此众多的病患。并且医生的临床诊断往往通过人工肉眼的方式去观察患者的震颤幅度等体征，需要医生具备相当的经验且容易出错。
通过近年来兴起的基于卷积神经网络的姿态识别算法，能够对图片、视频中的人体姿态进行识别。例如人体姿态估计领域中的一个重要方法Openpose，通过自底向上的思想用置信度图来表示人体的关节点。但是由于Openpose对于视频流数据仅仅是采用逐帧姿态识别的方式，所需算力大并且不能适应帕金森病诊断的要求。
因此，亟需提出一种基于姿态识别的帕金森病评级方法，对帕金森病进行量化评估。
发明内容
针对现有技术不足，本发明提出了一种基于姿态识别的帕金森病评级方法、电子设备及介质。
为实现上述技术目的，本发明的技术方案为：本发明实施例的第一方面提出了一种基于姿态识别的帕金森病评级方法，所述方法具体包括以下步骤：
S1，获取待检测的帕金森病患的运动视频，处理运动视频中的每一帧图像，获得每一帧图像的人体骨骼关键点所在区域；并截取人体骨骼关键点所在区域对应的照片，经置信度阈值检验后得到人体骨骼关键点的坐标，每一帧图像的人体骨骼关键点坐标构成的时间序列；
S2，根据国际运动障碍学会统一帕金森病评定量表MDS-UPDRS将步骤S1得到每一帧图像的人体骨骼关键点坐标构成的时间序列转换成该运动视频所对应的动作质量指数；
S3，采集患者病例信息，根据国际运动障碍学会统一帕金森病评定量表MDS-UPDRS将患者病例信息转化为症状指数；
S4，将步骤S2得到的动作质量指数与步骤S3得到的症状指数拼接成原始特征向量，利用支持向量机模型对原始特征向量进行回归得到帕金森病严重程度指数。
本发明实施例的第二方面提出了一种电子设备，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的基于姿态识别的帕金森病评级方法。
本发明实施例的第三方面提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的基于姿态识别的帕金森病评级方法。
本发明的有益效果为：本发明提供了一种基于姿态识别的帕金森病评级方法，对帕金森病患的运动视频进行分析，经置信度阈值检验后得到人体骨骼关键点的坐标，在姿态识别过程中能够有效减少所需算力，从而降低成本。本发明方法将每一帧图像的人体骨骼关键点坐标构成的时间序列转换成该运动视频所对应的动作质量指数，对脚趾拍地、手指拍打等动作进行量化，根据国际运动障碍学会统一帕金森病评定量表MDS-UPDRS，建立帕金森病评级量化标准，更直观准确。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法的流程图；
图2为本发明应用实施例的流程图；
图3为本发明实施例电子设备的示意图；
图4是本发明方法部署到云端后前后端功能示意图。
具体实施方式
下面结合附图，对本发明进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
如图1所示，本发明提供了一种基于姿态识别的帕金森病评级方法，本发明实施例中的姿态识别方法具体为：基于Openpose提出的一种改进的姿态识别方法，能够对视频流数据有效提高识别速度并降低算力要求。具体包括以下步骤：
S1，获取待检测的帕金森病患的运动视频，处理运动视频中的每一帧图像，获得每一帧图像的人体骨骼关键点所在区域；并截取人体骨骼关键点所在区域对应的照片，经置信度阈值检验后得到人体骨骼关键点的坐标，每一帧图像的人体骨骼关键点坐标构成的时间序列。
具体包括以下子步骤：
S101，将运动视频中的第i帧图像输入到检测器中，获得人体骨骼关键点所在区域的范围，通常可以用矩形框的两个顶点坐标表示。
所述检测器的作用在于通过目标检测算法(本发明实施例中选用yolo目标检测算法)识别出人体骨骼关键点所在区域，为后续关键点精确定位提供大概的区域；示例性地，对于要识别手指关键点的任务就需要首先确定整只手所在的区域。
在本实施例中，人体骨骼关键点所在区域的范围采用左下顶点坐标和右上顶点坐标共四个参数描述的矩形框来表示，并截取此区域图像以便后续定位。
作为优选地，在本实施例中所述检测器采用具有特征金字塔的编码解码架构所搭建的卷积神经网络。
S102，利用步骤S101获得的人体骨骼关键点所在区域，截取该人体骨骼关键点所在区域对应的图片，并将截取的图片输入到定位器中，定位器输出感兴趣的关键点的坐标，所述坐标通常可以用一个二维向量来表示。
所述定位器的作用在于从选定的区域内标定感兴趣关键点的坐标，用于后续的分析。作为优选地，在本实施例中所述定位器采用具有特征金字塔的编码解码架构所搭建的卷积神经网络。
值得注意的是，所述步骤S102中的关键点的坐标(即二维坐标)为人体骨骼关键点所在区域内的相对坐标，若要转换到全局坐标中还需根据所在区域相对于全局的位置进行转换。
S103，基于步骤S101得到的人体骨骼关键点所在区域的范围，按照该范围截取运动视频中的第i+1帧图像对应的局部图，将该局部图输入到判别器中。判别器输出出关键点是否还在当前截取区域的置信度，若低于某一个自定义阈值，则需要重新进行区域定位，重复步骤S101。
作为优选地，在本实施例中所述判别器为一卷积神经网络。所述判别器的作用在于判断当前视频流是否需要重新进行定位，如图1所示，若不需要重新定位则不通过检测器直接采用上一帧图片的矩形框作为当前帧图片的选定矩形框区域，从而降低不必要的算力开销。
S2，根据国际运动障碍学会统一帕金森病评定量表MDS-UPDRS将步骤S1得到的运动视频中每一帧图像的关键点坐标(即时间序列)转换成该运动视频所对应的动作质量指数。
具体包括以下步骤：
S201：对运动功能评估部分进行量化，(例如)将医生主观的感受转换成能够量化的指标，如动作的速度快慢、动作幅度的大小、动作幅度逐渐减小的趋势、动作停顿次数等。
S202：利用S1中得到的时间序列计算该动作在国际运动障碍学会统一帕金森病评定量表MDS-UPDRS中所要求的指标，并根据量表的评判标准进行打分，作为该动作的动作质量指数。
对帕金森病人不同的动作评估时，分别将手掌、面部、脚、整个躯体作为感兴趣部位。并对脚趾拍地、手指拍打、起立、手掌开合运动、前臂回旋动作、脚抬高跺地动作、走路步态等测试动作进行评估。
示例性地，本发明实施例中以脚趾拍地为例，具体为：
S201：脚趾拍地在国际运动障碍学会统一帕金森病评定量表MDS-UPDRS的描述为：患者舒适就坐在有直背及把手的椅子上，并将脚跟置放于地上。然后请患者尽量以最大幅度及最快速度脚趾拍地10次。
对运动功能评估部分进行量化，以脚趾拍地为例，从步骤S1得到的每一帧图像的人体骨骼关键点坐标构成的时间序列中取脚腕关键点、脚尖关键点作为感兴趣的人体骨骼关键点。以从脚腕关键点指向脚尖关键点的向量与图像水平x轴形成的锐角作为脚趾拍地的角度。在每一时刻都可用此二点的坐标计算脚底与地面的的夹角。进而可以利用该时间序列计算脚趾拍地的速度、脚趾拍地的幅度大小、有无动作迟疑或是停顿，以及拍地的幅度越做越小的趋势大小。
S202：利用S1中得到的时间序列计算该动作在国际运动障碍学会统一帕金森病评定量表MDS-UPDRS中所要求的指标，并根据量表的评判标准进行打分，脚趾拍地的速度、脚趾拍地的幅度大小、有无动作迟疑或是停顿，以及拍地的幅度的评判标准都对应一子动作质量指数，取最高子动作质量指数作为该动作的动作质量指数。
下表1动作的指标与动作质量指数对应关系。根据下表判断该患者在此条目下的动作质量指数，只要有满足某个动作质量指数下的一条要求即可判断此动作对应于该动作质量指数。最终取最高的动作质量指数作为该动作的动作质量指数。
表1：动作的指标与动作质量指数的对应关系表
Figure BDA0003798658650000051
示例性地，本发明实施例中再以起立动作评估为例，具体为：
S201：起立动作评估在国际运动障碍学会统一帕金森病评定量表MDS-UPDRS的描述为：患者坐在附有扶手的靠背椅上，双脚舒适的放于地板上，身体往后坐，两手交叉置于胸前之后站立起身。
对运动功能评估部分进行量化，以起立为例，从步骤S1得到的每一帧图像的人体骨骼关键点坐标构成的时间序列中取膝盖人体骨骼关键点、臀部人体骨骼关键点与脚腕骨骼关键点作为感兴趣的人体骨骼关键点。以从膝盖关键点指向脚腕关键点的向量与从膝盖关键点指向臀部关键点的向量之间的夹角作为大腿弯曲的角度。在每一时刻都可用此三点的坐标计算脚底与地面的的夹角。认为此夹角小于95°为成功坐下，此夹角大于170°为成功站起。进而可以利用该时间序列计算患者站起的速度与起立成功与否。
S202：利用S1中得到的时间序列计算该动作在国际运动障碍学会统一帕金森病评定量表MDS-UPDRS中所要求的指标，并根据量表的评判标准进行打分，起立所花时间、尝试次数、是否需要身体往椅子前面坐才能站起，以及是否需要手推椅子把手才能站起，都对应一子动作质量指数，取最高子动作质量指数作为该动作的动作质量指数。
下表2动作的指标与动作质量指数对应关系。根据下表判断该患者在此条目下的动作质量指数，只要有满足某个动作质量指数下的一条要求即可判断此动作对应于该动作质量指数。最终取最高的动作质量指数作为该动作的动作质量指数。
表1：动作的指标与动作质量指数的对应关系表
Figure BDA0003798658650000061
Figure BDA0003798658650000071
S3：采集患者病例信息，根据国际运动障碍学会统一帕金森病评定量表MDS-UPDRS将患者病例信息转化为症状指数。
示例性地，本发明实施例中以评估认知功能受损为例，具体为：
S301：评估认知功能受损在国际运动障碍学会统一帕金森病评定量表MDS-UPDRS的描述为：过去一周内，患者是否在记忆、与人对话、专心、思考、在家附近或街道中找路等方面有困难。考虑各种认知功能的改变程度，包含：认知变慢、推理能力衰退、记忆力丧失、注意力及定向感不足，依据患者和(或)照料者的认知评估对日常生活活动的影响。
S302：根据下表2，患者选择最符合自身症状的选项，得到该条目的症状指数。
表2：认知功能受损情况与症状指数的对应关系表
Figure BDA0003798658650000072
S4：构建支持向量机模型，并对其进行训练，将步骤S2得到的动作质量指数与步骤S3得到的症状指数拼接成m*1的原始特征向量，并利用训练好的支持向量机模型回归出一个该患者的帕金森病严重程度指数。
S401：采集历史患者病例信息，将历史患者病例信息转化为n个特征向量(n>m)，并对n个特征向量进行主成分分析以降低特征维度，保留k(k<m)个特征。由此，m维的原始特征向量降维成能够代表患者症状的新的k维的特征向量。
S402：构建支持向量机模型，并对其进行训练。以降维后的特征向量为输入，该病人的帕金森病程度为真值，利用支持向量机算法对所有患者的降维后的特征向量进行拟合，得到训练好的支持向量机模型。
S403：如图2所示，将步骤S2得到的动作质量指数与步骤S3得到的症状指数拼接成m*1原始特征向量，将其原始特征向量降维后，输入到S402中所述训练好的支持向量机模型中，得到该患者的帕金森严重程度指数。
本发明实施例中，还设计了电子问卷，通过电子问卷采集患者病例信息。
相应的，如图3所示，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于姿态识别的帕金森病评级方法。如图3所示，为本发明实施例提供的基于姿态识别的帕金森病评级方法所在任意具备数据处理能力的设备的一种硬件结构图，除了图3所示的处理器、内存以及网络接口之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于姿态识别的帕金森病评级方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、SD卡、闪存卡(Flash Card)等。进一步的，所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
本发明方法还可以部署到云端，让用户也能够方便快捷地对自己帕金森症状的程度进行方便地评估。如图4所示，具体包含以下步骤：
(1)将每一个动作的视频分析以及最终结果计算等功能对应的程序封装成接口，从而可以通过不同的请求来让云服务器完成所需计算。优选地，采用Flask框架对各计算任务进行封装，并为需要调用的功能封装成接口方便前端调用。
(2)在购置的云服务器上对封装好的接口进行部署。
优选地，采用轻量级、性能强的Nginx作为处理高并发的反向代理Web服务器。
优选地，采用实现了WSGI协议的uWSGI作为应用服务器，用于沟通python应用程序以及Web服务器Nginx。
(3)构建前端页面，引导用户完成视频的拍摄以及电子问卷的填写。
优选地，采用微信小程序作为前端页面的载体，方便移动端用户使用。
(4)用户通过前端页面的指引拍摄视频并完成相应问卷，一并上传到云服务器。
(5)服务器接收到来自用户携带相应数据的请求，计算并得到病患最终的帕金森症状指数返回给患者用户。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

Claims (8)

1.一种基于姿态识别的帕金森病评级方法，其特征在于，所述方法具体包括以下步骤：
S1，获取待检测的帕金森病患的运动视频，处理运动视频中的每一帧图像，获得每一帧图像的人体骨骼关键点所在区域；并截取人体骨骼关键点所在区域对应的照片，经置信度阈值检验后得到人体骨骼关键点的坐标，每一帧图像的人体骨骼关键点坐标构成的时间序列；
S2，根据国际运动障碍学会统一帕金森病评定量表MDS-UPDRS将步骤S1得到每一帧图像的人体骨骼关键点坐标构成的时间序列转换成该运动视频所对应的动作质量指数；
S3，采集患者病例信息，根据国际运动障碍学会统一帕金森病评定量表MDS-UPDRS将患者病例信息转化为症状指数；
S4，将步骤S2得到的动作质量指数与步骤S3得到的症状指数拼接成原始特征向量，利用支持向量机模型对原始特征向量进行回归得到帕金森病严重程度指数。
2.根据权利要求1所述的基于姿态识别的帕金森病评级方法，其特征在于，所述步骤S1具体为：
S101，将运动视频中的第i帧图像输入到检测器中，获得人体骨骼关键点所在区域的范围；
所述检测器采用具有特征金字塔的编码解码架构所搭建的卷积神经网络；
S102，利用步骤S101获得的人体骨骼关键点所在区域，截取该人体骨骼关键点所在区域对应的图片，并将截取的图片输入到定位器中，定位器输出感兴趣的关键点的坐标；
所述定位器采用具有特征金字塔的编码解码架构所搭建的卷积神经网络；
S103，基于步骤S101得到的人体骨骼关键点所在区域的范围，按照该范围截取运动视频中的第i+1帧图像对应的局部图，将该局部图输入到判别器中；判别器输出出关键点是否还在当前截取区域的置信度，若低于某一个自定义阈值，则需要重新进行区域定位，重复步骤S101；
所述判别器为卷积神经网络。
3.根据权利要求1所述的基于姿态识别的帕金森病评级方法，其特征在于，所述步骤S2具体为：对包括脚趾拍地、手指拍打、起立、手掌开合运动、前臂回旋动作、脚抬高跺地动作和走路步态在内的测试动作进行运动功能评估与量化，利用S1中得到的时间序列计算包括动作的速度快慢、动作幅度的大小、动作幅度逐渐减小的趋势、动作停顿次数在内的指标，根据国际运动障碍学会统一帕金森病评定量表MDS-UPDRS中的评判标准进行打分，作为该动作的动作质量指数。
4.根据权利要求3所述的基于姿态识别的帕金森病评级方法，其特征在于，所述步骤S2中计算脚趾拍地对应的动作质量指数过程具体为：
S201：对脚趾拍地进行运动功能评估与量化，从步骤S1得到的每一帧图像的人体骨骼关键点坐标构成的时间序列中取脚腕关键点、脚尖关键点作为感兴趣的人体骨骼关键点；以从脚腕关键点指向脚尖关键点的向量与图像水平x轴形成的锐角作为脚趾拍地的角度；在每一时刻都可用此二点的坐标计算脚底与地面的的夹角；进而利用该时间序列计算脚趾拍地的速度、脚趾拍地的幅度大小、有无动作迟疑或是停顿，以及拍地的幅度越做越小的趋势大小；
S202：利用S1中得到的时间序列计算该动作在国际运动障碍学会统一帕金森病评定量表MDS-UPDRS中所要求的指标，并根据量表的评判标准进行打分，脚趾拍地的速度、脚趾拍地的幅度大小、有无动作迟疑或是停顿，以及拍地的幅度的评判标准都对应一子动作质量指数，取最高子动作质量指数作为该动作的动作质量指数。
5.根据权利要求3所述的基于姿态识别的帕金森病评级方法，其特征在于，所述步骤S2中计算起立动作对应的动作质量指数过程具体为：
S201：对起立动作进行运动功能与量化，从步骤S1得到的每一帧图像的人体骨骼关键点坐标构成的时间序列中取膝盖人体骨骼关键点、臀部人体骨骼关键点与脚腕骨骼关键点作为感兴趣的人体骨骼关键点；以从膝盖关键点指向脚腕关键点的向量与从膝盖关键点指向臀部关键点的向量之间的夹角作为大腿弯曲的角度；在每一时刻都可用此三点的坐标计算脚底与地面的的夹角；此夹角小于95°为成功坐下，此夹角大于170°为成功站起；进而可以利用该时间序列计算患者站起的速度与起立成功与否。
S202：利用S1中得到的时间序列计算该动作在国际运动障碍学会统一帕金森病评定量表MDS-UPDRS中所要求的指标，并根据量表的评判标准进行打分，起立所花时间、尝试次数、是否需要身体往椅子前面坐才能站起，以及是否需要手推椅子把手才能站起的评判标准都对应一子动作质量指数，取最高子动作质量指数作为该动作的动作质量指数。
6.根据权利要求1所述的基于姿态识别的帕金森病评级方法，其特征在于，所述步骤S4具体为：
S401：采集历史患者病例信息，将历史患者病例信息转化为特征向量，并对其进行主成分分析以降低特征维度，构成历史患者病例信息对应的降维后的特征向量；
S402：构建支持向量机模型，将步骤S401得到的降维后的特征向量输入支持向量机模型中进行训练拟合，得到训练好的支持向量机模型；
S403：将步骤S2得到的动作质量指数与步骤S3得到的症状指数拼接成原始特征向量，将其原始特征向量进行降维之后，利用支持向量机模型进行回归得到帕金森病严重程度指数。
7.一种电子设备，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求1-6任一项所述的基于姿态识别的帕金森病评级方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的基于姿态识别的帕金森病评级方法。
CN202210976912.7A 2022-08-15 2022-08-15 基于姿态识别的帕金森病评级方法、电子设备及介质 Pending CN115346670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210976912.7A CN115346670A (zh) 2022-08-15 2022-08-15 基于姿态识别的帕金森病评级方法、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210976912.7A CN115346670A (zh) 2022-08-15 2022-08-15 基于姿态识别的帕金森病评级方法、电子设备及介质

Publications (1)

Publication Number Publication Date
CN115346670A true CN115346670A (zh) 2022-11-15

Family

ID=83951302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210976912.7A Pending CN115346670A (zh) 2022-08-15 2022-08-15 基于姿态识别的帕金森病评级方法、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115346670A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115881295A (zh) * 2022-12-06 2023-03-31 首都医科大学附属北京天坛医院 帕金森症状信息检测方法、装置、设备和计算机可读介质
CN116630551A (zh) * 2023-07-25 2023-08-22 凝动万生医疗科技(武汉)有限公司 运动捕捉和评估装置及其方法
CN117809849A (zh) * 2024-02-29 2024-04-02 四川赛尔斯科技有限公司 一种认知功能障碍老人行走姿态的分析方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115881295A (zh) * 2022-12-06 2023-03-31 首都医科大学附属北京天坛医院 帕金森症状信息检测方法、装置、设备和计算机可读介质
CN115881295B (zh) * 2022-12-06 2024-01-23 首都医科大学附属北京天坛医院 帕金森症状信息检测方法、装置、设备和计算机可读介质
CN116630551A (zh) * 2023-07-25 2023-08-22 凝动万生医疗科技(武汉)有限公司 运动捕捉和评估装置及其方法
CN116630551B (zh) * 2023-07-25 2023-11-07 凝动万生医疗科技(武汉)有限公司 运动捕捉和评估装置及其方法
CN117809849A (zh) * 2024-02-29 2024-04-02 四川赛尔斯科技有限公司 一种认知功能障碍老人行走姿态的分析方法及系统
CN117809849B (zh) * 2024-02-29 2024-05-03 四川赛尔斯科技有限公司 一种认知功能障碍老人行走姿态的分析方法及系统

Similar Documents

Publication Publication Date Title
US9761011B2 (en) Motion information processing apparatus obtaining motion information of a subject performing a motion
US11266341B2 (en) Measuring dynamic body movement
US9700242B2 (en) Motion information processing apparatus and method
CN115346670A (zh) 基于姿态识别的帕金森病评级方法、电子设备及介质
US11403882B2 (en) Scoring metric for physical activity performance and tracking
JP7057589B2 (ja) 医療情報処理システム、歩行状態定量化方法およびプログラム
US20150320343A1 (en) Motion information processing apparatus and method
CN112970074A (zh) 身体活动量化和监测
CN113229807A (zh) 人体康复评估装置、方法、电子设备及存储介质
Zhang et al. Comparison of OpenPose and HyperPose artificial intelligence models for analysis of hand-held smartphone videos
Zhu et al. Dual-channel cascade pose estimation network trained on infrared thermal image and groundtruth annotation for real-time gait measurement
Cotton et al. Markerless Motion Capture and Biomechanical Analysis Pipeline
Ahmed et al. Kalman filter-based noise reduction framework for posture estimation using depth sensor
CN112885465A (zh) 运动数据分析方法、装置、系统和计算机可读存储介质
Cejnog et al. Hand range of motion evaluation for Rheumatoid Arthritis patients
CN117333932A (zh) 基于机器视觉识别肌少症的方法、装备、设备以及介质
CN115130851A (zh) 一种临床护理控制方法和系统
CN115578789A (zh) 脊柱侧弯检测装置、系统及计算机可读存储介质
Dentamaro et al. Sit-to-stand test for neurodegenerative diseases video classification
KR20230120341A (ko) 2차원 영상을 이용한 3차원 인체 관절 각도 예측 방법 및 시스템
Nahavandi et al. A low cost anthropometric body scanning system using depth cameras
Cotton et al. Optimizing Trajectories and Inverse Kinematics for Biomechanical Analysis of Markerless Motion Capture Data
Walee et al. Human Activity Recognition Using an IoT-based Posture Corrector and Machine Learning
CN117690583B (zh) 基于物联网的康复护理交互式管理系统及方法
Zaher et al. A Framework for Assessing Physical Rehabilitation Exercises

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination