CN111274998B - 帕金森病手指敲击动作识别方法及系统、存储介质及终端 - Google Patents

帕金森病手指敲击动作识别方法及系统、存储介质及终端 Download PDF

Info

Publication number
CN111274998B
CN111274998B CN202010096791.8A CN202010096791A CN111274998B CN 111274998 B CN111274998 B CN 111274998B CN 202010096791 A CN202010096791 A CN 202010096791A CN 111274998 B CN111274998 B CN 111274998B
Authority
CN
China
Prior art keywords
feature
motion
features
hand
skeleton sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010096791.8A
Other languages
English (en)
Other versions
CN111274998A (zh
Inventor
钱晓华
李�昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010096791.8A priority Critical patent/CN111274998B/zh
Publication of CN111274998A publication Critical patent/CN111274998A/zh
Application granted granted Critical
Publication of CN111274998B publication Critical patent/CN111274998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124—Determining motor skills
    • A61B5/1125—Grasping motions of hands
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供一种帕金森病手指敲击动作识别方法及系统、存储介质及终端，包括以下步骤：获取包含帕金森患者手部敲击动作的视频数据；基于OpenPose算法获取所述视频数据中的手部骨架序列数据；基于所述手部骨架序列数据构建骨架序列特征；基于所述骨架序列特征构建多流细粒度骨架序列动作识别的深度学习模型；根据所述深度学习模型对待识别手指敲击动作进行识别。本发明的帕金森病手指敲击动作识别方法及系统、存储介质及终端基于手部姿势估计算法和深度学习算法实现帕金森病手指敲击动作的识别，准确度高，实用性强。

Description

帕金森病手指敲击动作识别方法及系统、存储介质及终端
技术领域
本发明涉及动作识别的技术领域，特别是涉及一种帕金森病手指敲击动作识别方法及系统、存储介质及终端。
背景技术
帕金森病(Parkinson’s Disease，PD)是最常见的神经退行性疾病之一，它会对人体的运动系统产生影响，最明显的症状是肢体的震颤、僵硬、运动缓慢和行走困难等。2015年，全球大约有620万人患有帕金森病，并有117400人死亡。尽管帕金森病还无法治愈，但是尽早的病情诊断有助于延长患者的生存周期。在临床诊断中，医生主要跟据评定量表来判断PD患者运动症状的严重程度，最常用的评定量表是由运动障碍协会修订的统一帕金森病评定量表(MDS-UPDRS)。MDS-UPDRS对多种运动障碍进行了定量评估，包含言语、手部动作、步态以及腿部动作等，并对每个动作的严重程度进行了五类评分，分别为：0分(正常)、1分(轻微)、2分(轻度)、3分(中度)、4分(重度)。然而，MDS-UPDRS量表在临床诊断的过程中仍存在一定的局限性，即不同评分者的评价结果间会存在的主观性的差异。另外，诊断时间长、PD患者数量众多也给临床医生造成了很大的负担。因此，临床诊断中急需一种能够进行自动帕金森病运动障碍评估的系统，以减轻医生的负担和实现客观的运动障碍评分。
在多种运动障碍动作的评估试验中，手部敲击试验与PD患者的运动迟缓和节律异常密切相关，是评价PD患者症状严重程度的重要方式。手部的精细运动控制异常通常是PD患者运动障碍的早期症状之一，其中手指敲击试验相对于握拳试验、手掌翻转试验受病人症状影响程度更大，因此更为关键。MDS-UPDRS量表对手指敲击实验进行定量评估的具体过程为：患者以最大的幅度和最快的速度用食指拍打拇指10次，通过评估动作的速度、幅度等特征对症状的严重程度进行5类评分。然而，手指敲击被认为是评估最困难的项目之一。
在现有技术的帕金森病运动障碍自动评估方案中，基于可穿戴设备的评估方案是主流方式之一。常见的可穿戴设备包括加速计、陀螺仪、磁力计等。其中，Yokoe等人提出了一种基于3D加速计和触觉传感器的加速度测量系统，用于PD手指敲击试验的定量诊断，分析的特征包括手指敲击速度、幅度以及敲击间隔的标准偏差。Lin等人从惯性传感器中获取的一维信号中提取特征，然后利用支持向量机(Support Vector Machine，SVM)分类器对握手任务进行了客观评分。Mohammad等人在受试者的脚部部署了8个传感器，然后通过支持向量机(SVM)对帕金森病人和健康对照者的步态信号进行分类，在93例PD患者和73例健康对照者数据中达到了很高的区分准确率。Djuric-Jovicic等人提出了一种利用三位陀螺仪对手指敲击进行定量和定性评估的新方法，其获取的单一角度与运动捕捉系统的结果之间具有很高的相关性。然而，可穿戴设备虽然具有灵敏、准确等特点，但是其本身所需要的资金成本和设备调试成本，以及缺乏标准化的佩戴方式等缺陷不利于临床上的推广使用。
基于深度学习的姿势估计方式是近年来刚刚兴起的动作识别方式，它采用深度学习算法对视频或摄像机中采集的图像信息进行实时的人体姿态估计，即获取人体的骨架序列数据。目前将姿势估计算法应用到帕金森病动作识别任务中的研究工作还很少。Li等人利用卷积姿势估计模型获取帕金森病人的运动轨迹，然后利用运动轨迹的特征来训练随机森林，对帕金森病人的交流、饮水任务和左旋多巴运动障碍患者的腿部灵活性、脚趾轻敲任务进行自动评估。Li等人通过同样的姿势估计方法对左旋多巴运动障碍进行了定量分析，根据姿势估计得到的关节运动轨迹，提取运动特征，然后分析与临床医生评分结果的相关性。Liu等人提出了一种轻量级的人体姿态估计深度学习模型，并利用支持向量机(SVM)等监督学习分类器对手指轻敲、握拳、手掌旋前/旋后进行了自动UPDRS评分。基于姿态估计的动作识别方式不需要患者佩戴任何额外的可穿戴设备，具有高效、准确等特点，便于临床中的推广使用，也有助于实现帕金森病患者的远程诊断和家庭化管理。
上述基于可穿戴设备和姿势估计的方法通常需要与基于特征工程的传统机器学习算法(例如SVM等)相结合，来完成帕金森病动作自动评估的任务。一般情况下，输入到分类器之中的特征(例如速度、幅度特征等)需要人为提取。然而，人体或者手部的运动过程是比较复杂的，帕金森病患者动作中真正具有区分度的关键信息可能难以通过人工提取简单特征的方式来描述和刻画。因此，如何自适应的学习人体或者手部动作中的关键特征是提高自动评估系统性能的关键。
基于骨架序列数据的深度学习动作识别方法也展现出了极大的潜力，在很多动作分类任务中获得了不俗的成绩。目前，基于深度学习的骨架序列识别算法主要包括图卷积网络、卷积神经网络以及递归神经网络等方式。Yan等人提出了时空图卷积网络，它可以从骨架序列数据中自动学习时间和空间信息，在Kinects和NTU RGB+D数据集中都获得了不错的分类结果。Li等人和Lee等人也采用卷积神经网络和长短期记忆网络等方法实现了对于骨架序列数据的准确动作识别。基于深度学习的骨架序列动作识别算法可以直接对骨架序列数据中的时间空间信息进行关键特征学习，这为解决帕金森病手部敲击试验的自动MDS-UPDRS评分任务提供了另一种可行的方案。
目前，基于深度学习的骨架序列动作识别算法主要用于体育运动和日常生活行为等动作的识别中，不同类别之间的动作差异较大，例如打网球与跑步、握手与拥抱等。对于此类任务，深度学习框架容易学习到不同类别之间的特征差异，从而进行准确的分类。然而，对于帕金森病人的手部敲击动作评估问题，深度学习框架需要做的是区分相同动作在不同UPDRS评分中细微的表现差异，这被称为视频动作的细粒度分类问题。相比较于体育运动和日常行为的分类，相邻的MDS-UPDRS评分(如1分和2分)中的手部敲击动作在视觉上只存在细微的差异，这为实现准确的手部动作自动评估带来了挑战，更加考验深度学习模型细粒度分类的能力。
在临床数据的采集过程中，数据类别不均衡的现象是非常常见的。以手部敲击试验为例，在所搜集的数据中，受试者评分为1分和2分的患者占总数的80％左右，而评分为0分、3分和4分的样本量总和只占20％左右。这样的数据分布会让分类器在学习的过程中过多的关注占比较大的类别样本，而忽略那些占比很少的类别，导致占比较少的类别的准确率难以提高。因此，如何有效地解决数据分布不均衡问题也会对最终的结果产生影响。
因此，当前帕金森病手指敲击动作自动识别过程中存在以下的不足和挑战：
(1)基于可穿戴设备的方案需要花费一定的资金成本和设备调试成本，且不同的可穿戴设备之间缺少标准化的佩戴方式，所以不利于临床中的广泛使用；
(2)传统的基于特征工程的机器学习算法通常需要人工选取特征，而帕金森病人的手部运动障碍的表现是比较复杂的，可能难以通过提取简单特征的方式来描述和刻画；
(3)对于手部敲击试验，其不同严重程度的表现只存在细微的差异，这种细粒度分类问题为实现准确的自动评估系统带来了挑战；
(4)临床数据采集中存在数据类别不均衡的问题使得样本数量少的类别识别准确率难以提高。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种帕金森病手指敲击动作识别方法及系统、存储介质及终端，基于手部姿势估计算法和深度学习算法实现帕金森病手指敲击动作的识别，准确度高，实用性强。
为实现上述目的及其他相关目的，本发明提供一种帕金森病手指敲击动作识别方法，包括以下步骤：获取包含帕金森患者手部敲击动作的视频数据；基于OpenPose算法获取所述视频数据中的手部骨架序列数据；基于所述手部骨架序列数据构建骨架序列特征；基于所述骨架序列特征构建多流细粒度骨架序列动作识别的深度学习模型；根据所述深度学习模型对待识别手指敲击动作进行识别。
于本发明一实施例中，还包括对所述手部骨架序列数据进行滤波平滑处理，以根据滤波平滑处理后的手部骨架序列数据构建骨架序列特征。
于本发明一实施例中，所述骨架序列特征包括位置特征、运动特征和几何特征；所述位置特征表示手部各个关节点的位置信息，所述运动特征表示手部关节点的运动速度信息，所述几何特征表示手部关节点之间的相互关系。
于本发明一实施例中，基于所述骨架序列特征构建多流细粒度骨架序列动作识别的深度学习模型包括以下步骤：
基于第一卷积神经网络特征提取器提取所述位置特征的特征图，再基于时空注意力机制和共享权重的双线性运算获取位置特征信息；
基于第二卷积神经网络特征提取器提取所述运动特征的特征图，再基于时空注意力机制和共享权重的双线性运算获取运动特征信息；
基于第三卷积神经网络特征提取器提取所述几何特征的特征图，再基于共享权重的双线性运算获取几何特征信息；
基于马尔科夫链特征融合算法对所述位置特征信息、所述运动特征信息和所述几何特征信息进行融合以构建所述深度学习模型。
于本发明一实施例中，还包括基于深度学习批处理的数据类别均衡算法实现不同类别的样本数量均衡。
于本发明一实施例中，所述时空注意力机制包括空间注意力模块和时序注意力模块，所述位置特征信息和所述运动特征信息通过Hout＝SAM(Hin)+TAM(Hin)获取，其中，SAM(Hin)表示所述运动特征的特征图经过空间注意力模块处理得到的特征映射，TAM(Hin)表示所述位置特征的特征图经过时序注意力模块处理得到的特征映射。
于本发明一实施例中，所述共享权重的双线性运算中，将所述特征图或基于时空注意力机制得到的特征映射进行维度转换后与自身的转置做矩阵乘法。
对应地，本发明提供一种帕金森病手指敲击动作识别系统，包括数据搜集模块、骨架提取模块、特征构建模块、模型构建模块和识别模块；
所述数据搜集模块用于获取包含帕金森患者手部敲击动作的视频数据；
所述骨架提取模块用于基于OpenPose算法获取所述视频数据中的手部骨架序列数据；
所述特征构建模块用于基于所述手部骨架序列数据构建骨架序列特征；
所述模型构建模块用于基于所述骨架序列特征构建多流细粒度骨架序列动作识别的深度学习模型；
所述识别模块用于根据所述深度学习模型对待识别手指敲击动作进行识别。
本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的帕金森病手指敲击动作识别方法。
最后，本发明提供一种终端，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行上述的帕金森病手指敲击动作识别方法。
本发明的帕金森病手指敲击动作识别方法及系统、存储介质及终端，具有以下有益效果：
(1)构建了基于深度学习的多流手部动作细粒度分类模型，其中搭建了具有三个分支的深度学习骨架序列识别框架，并根据骨架序列数据的特点，设计了位置特征、运动特征、几何特征作为多流模型的输入，在多流框架的末端采用了基于马尔科夫链的顺序特征融合方式融合来自多个分支的特征输出，从而能够自适应地从手部骨架序列数据中学习关键特征，无需人工提取特征，从而具有更高的准确率和鲁棒性；
(2)利用时空注意力机制与双线性运算相结合的方式提高模型的细粒度分类能力，通过时空注意力模块，让深度学习模型自适应地学习重要的关节点信息和时序信息，增强网络对于关键信息的区分能力；通过共享权重的双线性运算模块丰富手部动作的特征表示，从而提升模型学习动作间细微差异的能力；
(3)通过基于深度学习批处理的数据类别均衡算法以类别均衡采样的方式保证每个批处理单元中的不同类别的样本数量均衡，让深度学习网络在学习的过程中公平地对待每一个类别，从而达到类别均衡的目的，缓解了数据不均衡问题带来的影响；
(4)能够显著地提高诊断的效率，允许患者更频繁地自助评估自身的症状，为临床医生提供更多的有用信息，从而可以让医生为患者制定更加适当的治疗计划；同时计算机化评估帕金森病患者的手部动作可以提供运动症状的客观衡量，避免由于患者和医生的在UPDRS测试中主观意识差异带来的影响；对于神经科的临床医生来说，手部动作智能评估系统也可以作为初步筛查工具，用以确定某人是否表现出帕金森病症状的迹象，从而有效地提高帕金森病的早期诊断率，减少医生的工作负担。
附图说明
图1显示为本发明的帕金森病手指敲击动作识别方法于一实施例中的流程图；
图2显示为本发明的帕金森病手指敲击动作识别方法于一实施例中的细化流程图；
图3显示为本发明的多流细粒度骨架序列动作识别的深度学习模型于一实施例中的结构示意图；
图4显示为本发明的时空注意力机制的示意图；
图5(a)显示为本发明的多流细粒度骨架序列动作识别的深度学习模型的分类准确率柱状图；
图5(b)显示为分类结果误差累积分布分析示意图；
图6(a)显示为本发明的分类结果的受试者工作特征曲线；
图6(b)显示为混淆矩阵的示意图；
图7显示为马尔科夫链特征融合算法于一实施例中的示意图；
图8显示为本发明的为基于深度学习批处理的数据均衡算法于一实施例中的示意图；
图9(a)显示为本发明的类别不均衡的混淆矩阵示意图；
图9(b)显示为本发明的类别均衡后的混淆矩阵示意图；
图9(c)显示为本发明的类别均衡前后的准确率比对示意图；
图10显示为本发明的帕金森病手指敲击动作识别系统于一实施例中的结构示意图；
图11显示为本发明的终端于一实施例中的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明的帕金森病手指敲击动作识别方法及系统、存储介质及终端基于手部姿势估计算法和深度学习算法实现帕金森病手指敲击动作的识别。其中，基于手部姿势估计算法OpenPose从视频数据中提取帕金森患者手部敲击动作的骨架序列数据；在深度学习的多流细粒度手部骨架动作分类框架的基础上，设计并融合了位置特征、运动特征和几何特征作为模型的输入，并采用了马尔科夫链特征融合算法进行多种特征信息的融合，同时采用时空注意力机制和双线性运算相结合的方式有效地提升了模型学习细微动作差异的能力；再基于深度学习批处理的类别均衡采样方法，缓解帕金森病视频数据中的类别不均衡问题带来的影响。
如图1和图2所示，于一实施例中，本发明的帕金森病手指敲击动作识别方法包括以下步骤：
步骤S1、获取包含帕金森患者手部敲击动作的视频数据。
具体地，获取帕金森患者在进行MDS-UPDRS手部敲击测试时拍摄的临床视频数据。在所述视频数据中，每位患者都被要求坐在椅子上且正对镜头，然后采用一个单目相机来对手部敲击动作进行录制。优选地，所述视频数据的帧速率为30帧/秒，清晰度为720P(1280*720)。其中，手部敲击实验需要将左右手分开进行MDS-UPDRS评分，左手的视频数据通过水平镜像翻转转化为右手。
步骤S2、基于OpenPose算法获取所述视频数据中的手部骨架序列数据。
具体地，在本发明中OpenPose算法被用来对手指敲击试验的视频数据进行手部姿势估计。OpenPose是世界上首个基于深度学习的实时多人二维姿态估计应用，具有极好的鲁棒性和识别精度。在手部姿势估计的过程中，OpenPose首先根据人体姿势识别结果初步确定手部的边界框，然后再对初步定位的局部区域进行手部姿势估计，得到包含21个关节点的手部骨架序列数据。每组骨架序列数据包含多个视频帧。
步骤S3、基于所述手部骨架序列数据构建骨架序列特征。
于本发明一实施例中，所述骨架序列特征包括位置特征、运动特征和几何特征。所述位置特征表示手部各个关节点的位置信息，即每个关节点的空间坐标值。所述运动特征表示手部关节点的运动速度信息，即两个连续帧间的骨架相对运动变化情况。所述几何特征表示手部关节点之间的相互关系，具有平移和视角不变性，因而可以有效地提高手部动作识别的准确性和鲁棒性。由于上述三种特征分别代表了骨架序列数据中的位置信息、速度信息以及关节点间的相互关系信息，三者相辅相成，起到了互相补充的作用，有助于提高手指敲击动作自动识别的准确率和鲁棒性。
假设每个手指敲击动作视频中包含的视频帧数为T，OpenPose算法会对每一帧都会产生V个手部关节点的位置预测，将第t时刻的位置特征记作
Figure GDA0004133496610000081
其中J代表手部关节点的空间坐标。第t时刻的运动特征Mt由下一时刻的位置特征减去该时刻的位置特征得到，即
Figure GDA0004133496610000082
本发明将位置特征和运动特征按照时间序列进行整合。同时，为了达到时序维度上的统一，将运动特征的最后一帧做了零填充。
具体地，位置特征XPose和运动特征XMotion的公式分别表示为：
Figure GDA0004133496610000083
Figure GDA0004133496610000084
其中，位置特征XPose和运动特征XMotion的维度均为T×V×C，其中T表示视频帧的长度，V表示手部关节点的个数，C表示关节点坐标维度。
对于几何特征XGeometry，所有关节点两两之间的欧式距离都被计算，其结果是一个V*V欧式距离矩阵，定义为E。由于该矩阵是实对称矩阵(即E＝ET)，其信息是冗余的。因此，本发明只取矩阵E的下三角部分(不包括对角线)，记为G。将视频时间序列中第t帧的矩阵E的下三角部分记作Gt,t∈[1,T]，公式表示为
Figure GDA0004133496610000085
则XGeometry＝{G1,G2...,GT}。
于本发明一实施例中，在构建骨架序列特征之前还包括对所述手部骨架序列数据进行滤波平滑处理，以根据滤波平滑处理后的手部骨架序列数据构建骨架序列特征。具体地，Savitzky-Golay滤波器被用来对手部骨架序列数据进行时间序列上的平滑，以消除手部姿势估计结果中的噪声影响。其中，Savitzky-Golay滤波器的公式为
Figure GDA0004133496610000086
xt表示t时刻手部姿势估计结果，
Figure GDA0004133496610000087
是经过Savitzky-Golay滤波器平滑之后的结果。然后，以手腕关节点为坐标原点建立坐标系，将其余的手部关节点坐标进行了归一化和标准化，以消除拍摄距离不同带来的影响。
步骤S4、基于所述骨架序列特征构建多流细粒度骨架序列动作识别的深度学习模型。
于本发明一实施例中，基于所述骨架序列特征构建多流细粒度骨架序列动作识别的深度学习模型包括以下步骤：
41)基于第一卷积神经网络特征提取器提取所述位置特征的特征图，再基于时空注意力机制和共享权重的双线性运算获取位置特征信息。
42)基于第二卷积神经网络特征提取器提取所述运动特征的特征图，再基于时空注意力机制和共享权重的双线性运算获取运动特征信息。
43)基于第三卷积神经网络特征提取器提取所述几何特征的特征图，再基于共享权重的双线性运算获取几何特征信息。
44)基于马尔科夫链特征融合算法对所述位置特征信息、所述运动特征信息和所述几何特征信息进行融合以构建所述深度学习模型。
具体地，所述多流细粒度骨架序列动作识别的深度学习模型如图3所示。位置特征XPose、运动特征XMotion、几何特征XGeometry分别输入到各自的卷积神经网络特征提取器中获取特征图。在网络的具体实现中，位置特征、运动特征流中采用了相同的卷积神经网络特征提取器结构，几何特征流的卷积神经网络特征提取器有所不同。其中，所述位置特征流和所述运动特征流的卷积神经网络特征提取器采用的是关节点转化模块结合卷积层的结构，关节点转化模块由一个全连接层来实现。几何特征流中的卷积神经网络特征提取器采用轻便型卷积神经网络，通过对深度卷积网络进行了合理的裁剪，减少了网络的深度和卷积核的数量，在保证分类准确率的情况下大幅缩减了网络参数总量。
对于手部骨架序列数据的位置特征和运动特征，尽管其数组组织格式与图像类似，但是其在横向和纵向上的表示含义是不同的。位置特征和运动特征在横向上表示的是不同手部关节点之间的空间关系，在纵向上表示的是手部动作在不同时刻的时序关系。本发明采用时空注意力机制和双线性运算模块来提升所述深度学习模型的细粒度分类能力。其中，所述时空注意力机制包括两个部分，即空间注意力模块(Spatial Attentionmodule，SAM)和时序注意力模块(temporal Attention module，TAM)，分别用于学习手部动作特征中的空间上下文依赖和时序上下文依赖，从而提升分类和分割的准确率。具体地，时空注意力机制的示意图如图4所示，所述位置特征和所述运动特征首先通过各自的卷积神经网络特征提取器获取到特征图Hin∈RC×T×V，然后被时序注意力模块和空间注意力模块分别处理得到各自的特征映射，最后通过加和的形式将来自两个模块的结果融合得到输出结果Hout∈RC×T×V，Hout＝SAM(Hin)+TAM(Hin)。
具体地，对于时序注意力模块，特征图Hin首先通过卷积层和维度变换操作得到两个新的特征图A,B∈RCV×T，然后采用矩阵乘法将B和A的转置相乘，再通过一个softmax激活函数得到时序注意力映射β∈RT×T。其中特征映射公式表示为
Figure GDA0004133496610000091
βji代表时序中第i帧对第j帧产生的影响，其数值越大就证明二者之间的相关性就越强。与此同时，将原有的特征图Hin输入另一个卷积层中得到特征图C，并将其维度转化为成RCV×T，然后通过矩阵乘法与注意力映射结果β相乘，再通过维度转化操作恢复原有维度后与Hin相加，得到时序注意力模块的输出结果
Figure GDA0004133496610000101
其中λ是注意力特征图的权重，可以通过网络自动学习得到。由于最终每个时刻的输出是所有时序注意力特征与原始特征的加权和，因此可以自适应地从时序上获取全局上下文的依赖关系，有助于提高模型的时序特征学习能力。
对于空间注意力机制，本发明采用上述类似的运算过程获取不同关节点之间的相互关系。与时序注意力模块的不同之处在于，本发明将卷积层的特征输出A、B、C的维度转化成了RCT×V。因此空间注意力特征映射β∈RV×V，
Figure GDA0004133496610000102
Figure GDA0004133496610000103
其中，βji代表第i个关节点对第j个关节点产生的影响，最终每个关节点的输出是所有关节点注意力特征与原始特征的加权和。
因此，通过时序注意力模块和空间注意力模块的有效结合，能够将二者的优势结合起来，共同提高多流手部动作识别模型的性能。时空注意力机制的加入将帕金森病手指敲击动作的识别结果提升了2％。将时空注意力模块与单独的时序注意力模块、空间注意力模块以及自注意力模块的作用进行对比，对比结果如表1所示。
Figure GDA0004133496610000104
Figure GDA0004133496610000111
从表1中可知，采用了时空注意力模块比采用其他的注意力模块的分类结果高出了约1个百分点，验证了时空注意力机制优越的性能。这些实验结果证明了时空注意力机制确实适合于骨架序列动作识别任务，且具有一定的普适性。
另外，本发明还采用了共享权重的双线性运算来丰富每个流的特征表达。给定卷积神经网络单元的特征输出为H属于RC×H×W，其中C，H，W分别为特征图的通道数，高度和宽度。首先H的维度转化为RC×H×W，然后将其与自己的转置作矩阵乘法，就得到了共享权重的双线性运算的输出。因此，本发明将通过时空注意力模块获取的特征Hout的维度转化为RC×VT，然后将其与自己的转置进行矩阵乘法，获得最终的特征输出。由于双线性运算的结构整体上是一个有向无环图，因此该模块是可以通过反向传播损失函数的梯度来更新参数的。故共享权重的双线性操作有助于丰富模型的特征表达，也在很大程度上提升了分类结果。双线性操作对于多流网络和双流网络的分类结果均有一定程度的提升，其中对于多流网络提升2.1％，对于双流网络提升4％。
因此，本发明将时空注意力模块和双线性运算模块连接了起来，最大限度地发挥两种方法的优势，以提高多流细粒度骨架序列动作识别的深度学习模型识别骨架序列数据中细微动作差异的能力。时间注意力模块和双线性运算模块没有增加过多的参数，但是有效地增强了特征表示，因此非常适合部署于多流细粒度骨架序列动作识别的深度学习模型中。
因此，本发明的多流细粒度骨架序列动作识别的深度学习模型能够自适应地从手部骨架序列数据中学习关键特征，无需人工提取特征，从而具有更高的准确率和鲁棒性。如图5(a)直观地展示了本发明中采用方法的有效性，可以看到多流模型、时空注意力机制以及双线性运算都起到了提高准确率的作用。如图5(b)所示，本发明对不同的方法进行了误差累积分布分析(Cumulative Distribution Function，CDF)，其中横坐标代表预测结果和标签的绝对值误差，纵坐标代表在不同的累计误差下的准确率分布。可以看出，在累计误差仅为1时，本发明提出的方法的准确率已经达到98％左右。另外，通过受试者工作特征曲线(Receiver Operating Characteristic curve，ROC curve)和混淆矩阵来对分类结果进行可视化，如图6(a)和图6(b)所示。可以看到，五个类别的ROC曲线都有着比较好的表现，曲线都很接近左上角((0,1)点)，混淆矩阵也更加直观地展示出了本发明的方法在可接受范围内具有很高的准确率。
如何有效的融合来自三个流的特征信息也会影响最终的分类效果。现有技术中的特征融合通常是通过加和、拼接等方式完成的。本发明中采用的是马尔科夫链特征融合算法。马尔科夫链特征融合算法是一种顺序特征融合的算法，这种顺序细化比独立训练更有益，且有助于抑制过拟合现象的发生。具体地，如图7所示，本发明采用(XGeometry,XPose,XMotion)的特征融合顺序，每组特征的预测输出都会受到马尔可夫链中前序元素输出的影响(第一组元素除外)，具体运算过程如下公式所示：P(Y|X)＝P(Yg|X)P(Yp|X,Yg)P(Ym|X,Yg,Yp)。其中Y(·)是模型的预测输出序列，X(·)是模型的实际输出序列，P(Y|X)是指预测正确的概率。本发明的目的是希望优化输出序列Y(·)使得正确概率P(Y|X)最大。Yg由几何特征决定，Yp由位置特征和Yg共同决定、Ym由运动特征以及Yg和Yp共同决定。其中，Xm Xp Xg分别为XMotion XPose,XGeometr的简写形式。Ym、Yp、Yg是马尔科夫链融合算法中的三个预测输出(即预测MDS-UPDRS评分)，这三个输出分别对应运动特征、位置特征和几何特征三个流的输出。
所述几何特征、所述位置特征以及所述运动特征各自的预测过程如下：
P(Yg|X)＝σ(fg(Xg))
P(Yp|X)＝σ(fp[Xp,fg(Xg),P(Yg|X)])
P(Ym|X)＝σ(fm[Xm,fg(Xg),fp(Xp),P(Yp|X)])
其中，f(·)代表特征提取器，σ代表激活函数。
相对比传统的特征拼接方法，马尔科夫链特征融合算法提升了实验中4折交叉验证的结果，在4个折中平均提升了1.2％，这验证了马尔科夫链特征融合算法的有效性。
当数据类别不均衡问题发生时，每个批处理单元中不可避免由样本数量多的类别主导，这让模型会过多地关注多数类样本而忽视少数类样本，从而导致分类效果不理想。因此，本发明提出了一种基于批处理数据的类别均衡采样算法，如图8所示。新的类别均衡算法采用均衡采样的方式保证每个批处理单元中的样本类别数量均衡，从而让深度学习模型在学习的过程中能公平地对待每种类别的样本，其中批处理单元大小为N。具体来说，首先将所有样本按照五个MDS-UPDRS评分类别分组，然后将每个组内样本随机打乱顺序。对于每次迭代学习中的批处理单元，本发明依次从每个类别中随机抽取等量的数据放入批处理单元，即每种类别的样本个数都是批处理单元大小的五分之一。为了减少批处理单元中出现重复样本的概率，本发明选取了无放回的随机采样方式，当某个类别中的样本总数被抽光时，会再被恢复到原有的总数,并再次打乱顺序。本发明提出的基于批处理数据的类别均衡算法没有传统的周期过程，而是通过不断生成带有类别均衡样本的批处理单元来进行网络的反向传播，直到模型参数收敛到理想状态。本发明提出的新的类别均衡算法采用均衡采样的方式保证每个批处理单元中的样本类别数量均衡，从而让深度学习模型在学习的过程中能公平地对待每种类别的样本，最终缓解数据不均衡问题带来的影响。对比多流网络框架下基于批处理的均衡采样方法和普通的批处理单元训练方法，如图9(a)-图9(c)所示，本发明在多流网络中进行了有关类别均衡算法的消融实验，分别绘制了采用类别均衡算法前后的混淆矩阵以及准确率的变化对比直方图。由图可知，采用了数据均衡算法之后的结果明显得到了提升，每一种类别的准确率都有所提高，说明该算法有效地抑制了过拟合现象的发生。本发明提出的类别均衡算法也可以避免其因为数据量过少而无法被识别的现象发生，对于4类这种数据量极其少的极端情况(14/744)，数据均衡算法也能发挥很好的作用，其准确率从原来的0％变成了35.7％。数据均衡算法对于其他类别的准确率也具有一定的提升作用，尤其对于2类的分类结果，数据均衡算法将准确率提升了23％。
另外，在完成构建帕金森病手指敲击动作识别模型后，对其进行了合理的性能评估和验证，以保证系统的准确率、稳定性和可靠性。优选地，可以通过以下几方面进行模型评估：
1)由专业临床医生进行MDS-UPDRS手部动作评分标注，并利用准确率，绘制混淆矩阵等方式验证智能手部动作识别模型的性能。
2)计算模型预测结果与医生标注结果之间的敏感度、特异度、ROC曲线下面积(AUC)以及ROC曲线等，从不同角度衡量模型的准确率和可靠性。
3)利用不同拍摄距离和不同光照环境下拍摄的视频数据来验证系统的鲁棒性和稳定性。在数据库中选取拍摄距离不同、光照环境不同的样本对手部动作智能识别模型进行测试，通过观察和对比测试结果来验证模型的稳定性。
4)进行多组4折交叉验证实验，每次均随机打乱样本的序列，以验证模型的可靠性。
步骤S5、根据所述深度学习模型对待识别手指敲击动作进行识别。
具体地，根据训练好的深度学习模型识别待识别手指敲击动作，从而能够更加精准地对帕金森病患者的手指敲击动作进行识别，获取对帕金森病人手指敲击动作的MDS-UPDRS评分。
如图10所示，本发明的帕金森病手指敲击动作识别系统包括数据搜集模块101、骨架提取模块102、特征构建模块103、模型构建模块104和识别模块105。
所述数据搜集模块101用于获取包含帕金森病患者手部敲击动作的视频数据。
所述骨架提取模块102与所述数据搜集模块101相连，用于基于OpenPose算法获取所述视频数据中的手部骨架序列数据。
所述特征构建模块103与所述骨架提取模块102相连，用于基于所述手部骨架序列数据构建骨架序列特征。
所述模型构建模块104与所述特征构建模块103相连，用于基于所述骨架序列特征构建多流细粒度骨架序列动作识别的深度学习模型。
所述识别模块105与所述模型构建模块104相连，用于根据所述深度学习模型对待识别手指敲击动作进行识别。
其中，数据搜集模块101、骨架提取模块102、特征构建模块103、模型构建模块104和识别模块105的结构和原理与上述帕金森病手指敲击动作识别方法中的步骤一一对应，故在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的帕金森病手指敲击动作识别方法。优选地，所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图11所示，于一实施例中，本发明的终端，包括处理器111及存储器112。
所述存储器112用于存储计算机程序。
所述存储器112包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器111与所述存储器112相连，用于执行所述存储器存储的计算机程序，以使所述终端执行上述的帕金森病手指敲击动作识别方法。
优选地，所述处理器111可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明的帕金森病手指敲击动作识别方法及系统、存储介质及终端构建了基于深度学习的多流手部动作细粒度分类模型，其中搭建了具有三个分支的深度学习骨架序列识别框架，并根据骨架序列数据的特点，设计了位置特征、运动特征、几何特征作为多流模型的输入，在多流框架的末端采用了基于马尔科夫链的顺序特征融合方式融合来自多个分支的特征输出，从而能够自适应地从手部骨架序列数据中学习关键特征，无需人工提取特征，从而具有更高的准确率和鲁棒性；利用时空注意力机制与双线性运算相结合的方式提高模型的细粒度分类能力，通过时空注意力模块，让深度学习模型自适应地学习重要的关节点信息和时序信息，增强网络对于关键信息的区分能力；通过共享权重的双线性运算模块丰富手部动作的特征表示，从而提升模型学习动作间细微差异的能力；通过基于深度学习批处理的数据类别均衡算法以类别均衡采样的方式保证每个批处理单元中的不同类别的样本数量均衡，让深度学习网络在学习的过程中公平地对待每一个类别，从而达到类别均衡的目的，缓解了数据不均衡问题带来的影响；能够显著地提高诊断的效率，允许患者更频繁地自助评估自身的症状，为临床医生提供更多的有用信息，从而可以让医生为患者制定更加适当的治疗计划；同时计算机化评估帕金森病患者的手部动作可以提供运动症状的客观衡量，避免由于患者和医生的在UPDRS测试中主观意识差异带来的影响；对于神经科的临床医生来说，手部动作智能评估系统也可以作为初步筛查工具，用以确定某人是否表现出帕金森病症状的迹象，从而有效地提高帕金森病的早期诊断率，减少医生的工作负担。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种帕金森病手指敲击动作识别方法，其特征在于：包括以下步骤：
获取包含帕金森患者手部敲击动作的视频数据；
基于OpenPose算法获取所述视频数据中的手部骨架序列数据；
基于所述手部骨架序列数据构建骨架序列特征；
基于所述骨架序列特征构建多流细粒度骨架序列动作识别的深度学习模型；
根据所述深度学习模型对待识别手指敲击动作进行识别；
所述骨架序列特征包括位置特征、运动特征和几何特征；所述位置特征表示手部各个关节点的位置信息，所述运动特征表示手部关节点的运动速度信息，所述几何特征表示手部关节点之间的相互关系；
基于所述骨架序列特征构建多流细粒度骨架序列动作识别的深度学习模型包括以下步骤：
基于第一卷积神经网络特征提取器提取所述位置特征的特征图，再基于时空注意力机制和共享权重的双线性运算获取位置特征信息；
基于第二卷积神经网络特征提取器提取所述运动特征的特征图，再基于时空注意力机制和共享权重的双线性运算获取运动特征信息；
基于第三卷积神经网络特征提取器提取所述几何特征的特征图，再基于共享权重的双线性运算获取几何特征信息；
基于马尔科夫链特征融合算法对所述位置特征信息、所述运动特征信息和所述几何特征信息进行融合以构建所述深度学习模型。
2.根据权利要求1所述的帕金森病手指敲击动作识别方法，其特征在于：还包括对所述手部骨架序列数据进行滤波平滑处理，以根据滤波平滑处理后的手部骨架序列数据构建骨架序列特征。
3.根据权利要求1所述的帕金森病手指敲击动作识别方法，其特征在于：还包括基于深度学习批处理的数据类别均衡算法实现不同类别的样本数量均衡。
4.根据权利要求1所述的帕金森病手指敲击动作识别方法，其特征在于：所述时空注意力机制包括空间注意力模块和时序注意力模块，所述位置特征信息和所述运动特征信息通过Hout＝SAM(Hin)+TAM(Hin)获取，其中，SAM(Hin)表示所述运动特征的特征图经过空间注意力模块处理得到的特征映射，TAM(Hin)表示所述位置特征的特征图经过时序注意力模块处理得到的特征映射。
5.根据权利要求1所述的帕金森病手指敲击动作识别方法，其特征在于：所述共享权重的双线性运算中，将所述特征图或基于时空注意力机制得到的特征映射进行维度转换后与自身的转置做矩阵乘法。
6.一种帕金森病手指敲击动作识别系统，其特征在于：包括数据搜集模块、骨架提取模块、特征构建模块、模型构建模块和识别模块；
所述数据搜集模块用于获取包含帕金森患者手部敲击动作的视频数据；
所述骨架提取模块用于基于OpenPose算法获取所述视频数据中的手部骨架序列数据；
所述特征构建模块用于基于所述手部骨架序列数据构建骨架序列特征；
所述模型构建模块用于基于所述骨架序列特征构建多流细粒度骨架序列动作识别的深度学习模型；
所述识别模块用于根据所述深度学习模型对待识别手指敲击动作进行识别；
所述骨架序列特征包括位置特征、运动特征和几何特征；所述位置特征表示手部各个关节点的位置信息，所述运动特征表示手部关节点的运动速度信息，所述几何特征表示手部关节点之间的相互关系；
基于所述骨架序列特征构建多流细粒度骨架序列动作识别的深度学习模型包括以下步骤：
基于第一卷积神经网络特征提取器提取所述位置特征的特征图，再基于时空注意力机制和共享权重的双线性运算获取位置特征信息；
基于第二卷积神经网络特征提取器提取所述运动特征的特征图，再基于时空注意力机制和共享权重的双线性运算获取运动特征信息；
基于第三卷积神经网络特征提取器提取所述几何特征的特征图，再基于共享权重的双线性运算获取几何特征信息；
基于马尔科夫链特征融合算法对所述位置特征信息、所述运动特征信息和所述几何特征信息进行融合以构建所述深度学习模型。
7.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任一项所述的帕金森病手指敲击动作识别方法。
8.一种终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行权利要求1至5中任一项所述的帕金森病手指敲击动作识别方法。
CN202010096791.8A 2020-02-17 2020-02-17 帕金森病手指敲击动作识别方法及系统、存储介质及终端 Active CN111274998B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010096791.8A CN111274998B (zh) 2020-02-17 2020-02-17 帕金森病手指敲击动作识别方法及系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010096791.8A CN111274998B (zh) 2020-02-17 2020-02-17 帕金森病手指敲击动作识别方法及系统、存储介质及终端

Publications (2)

Publication Number Publication Date
CN111274998A CN111274998A (zh) 2020-06-12
CN111274998B true CN111274998B (zh) 2023-04-28

Family

ID=71000303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010096791.8A Active CN111274998B (zh) 2020-02-17 2020-02-17 帕金森病手指敲击动作识别方法及系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN111274998B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111881838B (zh) * 2020-07-29 2023-09-26 清华大学 具有隐私保护功能的运动障碍评估录像分析方法及设备
CN112132430B (zh) * 2020-09-14 2022-09-27 国网山东省电力公司电力科学研究院 一种配电主设备分布式状态传感器可靠性评估方法及系统
CN112435730A (zh) * 2020-11-20 2021-03-02 北京荟健科技有限公司 用户运动障碍的识别方法、装置、计算机设备及存储介质
CN112489129A (zh) * 2020-12-18 2021-03-12 深圳市优必选科技股份有限公司 位姿识别模型训练方法、装置、位姿识别方法和终端设备
CN112998653A (zh) * 2021-02-23 2021-06-22 中国科学技术大学 骨密度与骨密度影响因素之间因果关系的确定方法及系统
RU2764568C1 (ru) * 2021-04-05 2022-01-18 Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий» Способ диагностики болезни паркинсона на основе анализа видеоданных с применением машинного обучения
CN113378772B (zh) * 2021-06-28 2024-03-29 西安理工大学 一种基于多特征融合的手指灵活检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460707A (zh) * 2018-10-08 2019-03-12 华南理工大学 一种基于深度神经网络的多模态动作识别方法
CN109829972A (zh) * 2019-01-19 2019-05-31 北京工业大学 一种面向连续帧点云的三维人体标准骨架提取方法
CN109858457A (zh) * 2019-02-18 2019-06-07 齐鲁工业大学 基于OpenPose的作弊动作辅助识别方法及系统
CN110222611A (zh) * 2019-05-27 2019-09-10 中国科学院自动化研究所 基于图卷积网络的人体骨架行为识别方法、系统、装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9687189B2 (en) * 2014-09-29 2017-06-27 Xerox Corporation Automatic visual remote assessment of movement symptoms in people with parkinson's disease for MDS-UPDRS finger tapping task

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460707A (zh) * 2018-10-08 2019-03-12 华南理工大学 一种基于深度神经网络的多模态动作识别方法
CN109829972A (zh) * 2019-01-19 2019-05-31 北京工业大学 一种面向连续帧点云的三维人体标准骨架提取方法
CN109858457A (zh) * 2019-02-18 2019-06-07 齐鲁工业大学 基于OpenPose的作弊动作辅助识别方法及系统
CN110222611A (zh) * 2019-05-27 2019-09-10 中国科学院自动化研究所 基于图卷积网络的人体骨架行为识别方法、系统、装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
R. Krupicka等.Motion Capture System for Finger Movement Measurement in Parkinson Disease.《Radioengineering》.2014,第23卷659-664. *
毕雪超.基于空间骨架时序图的舞蹈特定动作识别方法.信息技术.2019,第43卷(第43期),16-19、23. *

Also Published As

Publication number Publication date
CN111274998A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN111274998B (zh) 帕金森病手指敲击动作识别方法及系统、存储介质及终端
Quaid et al. Wearable sensors based human behavioral pattern recognition using statistical features and reweighted genetic algorithm
CN111382679B (zh) 帕金森病步态运动障碍严重程度的评估方法、系统及设备
Ahmed The impact of filter size and number of filters on classification accuracy in CNN
Ahmad et al. Human action recognition using deep multilevel multimodal (${M}^{2} $) fusion of depth and inertial sensors
CN114724241A (zh) 基于骨骼点距离的动作识别方法、装置、设备及存储介质
CN111539941B (zh) 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端
CN113901891A (zh) 帕金森病握拳任务的评估方法及系统、存储介质及终端
Alrubayi et al. A pattern recognition model for static gestures in malaysian sign language based on machine learning techniques
Singh et al. Human pose estimation using convolutional neural networks
Ahmad et al. Human action recognition using convolutional neural network and depth sensor data
CN111914643A (zh) 一种基于骨骼关键点检测的人体动作识别方法
Loureiro et al. Using a skeleton gait energy image for pathological gait classification
Kaur et al. A Vision-Based Framework for Predicting Multiple Sclerosis and Parkinson's Disease Gait Dysfunctions—A Deep Learning Approach
Muhamada et al. Review on recent computer vision methods for human action recognition
Hajjej et al. Deep human motion detection and multi-features analysis for smart healthcare learning tools
Vishwakarma et al. Three‐dimensional human activity recognition by forming a movement polygon using posture skeletal data from depth sensor
Sardari et al. View-invariant pose analysis for human movement assessment from rgb data
Shi et al. Sensor‐based activity recognition independent of device placement and orientation
Kumar et al. Human Activity Recognition (HAR) Using Deep Learning: Review, Methodologies, Progress and Future Research Directions
Uzzaman et al. LRCN based human activity recognition from video data
Almasi et al. Investigating the Application of Human Motion Recognition for Athletics Talent Identification using the Head-Mounted Camera
Yan et al. A Review of Basketball Shooting Analysis Based on Artificial Intelligence
Batool et al. Fundamental Recognition of ADL Assessments Using Machine Learning Engineering
CN114140816A (zh) 帕金森病起立任务的评估方法及系统、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant