CN113901891A - 帕金森病握拳任务的评估方法及系统、存储介质及终端 - Google Patents

帕金森病握拳任务的评估方法及系统、存储介质及终端 Download PDF

Info

Publication number
CN113901891A
CN113901891A CN202111108293.1A CN202111108293A CN113901891A CN 113901891 A CN113901891 A CN 113901891A CN 202111108293 A CN202111108293 A CN 202111108293A CN 113901891 A CN113901891 A CN 113901891A
Authority
CN
China
Prior art keywords
parkinson
disease
fist
fist making
hand
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111108293.1A
Other languages
English (en)
Inventor
钱晓华
郭睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202111108293.1A priority Critical patent/CN113901891A/zh
Publication of CN113901891A publication Critical patent/CN113901891A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种帕金森病握拳任务的评估方法及系统、存储介质及终端，包括以下步骤：获取包含帕金森病患者握拳动作的视频信息；从所述视频信息提取手部骨架序列数据，并对所述手部骨架序列数据进行预处理；基于预处理后的手部骨架序列提取手部关节点位置特征和手部骨骼向量特征；将所述手部关节点位置特征和所述手部骨骼向量特征输入双流自适应时空图卷积神经网络；将所述双流自适应时空图卷积神经网络输出的握拳动作特征输入分类器，获取帕金森病握拳任务的评估分值。本发明的帕金森病握拳任务的评估方法基于树池化模块和时空图卷积网络，实现了帕金森病握拳任务的可靠性评估。

Description

帕金森病握拳任务的评估方法及系统、存储介质及终端
技术领域
本发明涉及深度学习的技术领域，特别是涉及一种帕金森病握拳任务的评估方法及系统、存储介质及终端。
背景技术
帕金森病(Parkinson’s Disease，PD)是常见的神经退行性疾病之一，会对人体的运动系统产生影响。帕金森病通常发生在55岁以上的人群中，发病率约为1％。随着人口老龄化的加剧，帕金森病的患者将会逐渐增多，世界卫生组织专家预测，到2030年，中国的帕金森病患者将达到500万人。帕金森病给患者及其家庭带来了很大的困扰和负担，尽早的病情诊断、适当的治疗方案是缓解症状、延长生存周期的关键。
研究表明，较早地诊断出帕金森病症状能够有效延长患者的生存周期。因此，对帕金森病的早期筛查和准确诊断就显得至关重要。目前临床中还没有对帕金森病病运动障碍进行自动诊断的软件或仪器，临床医生主要依靠自身经验、患者的临床表现以及指定的统一评价量表进行打分。在多种评定量表中，统一帕金森病评定量表(UPDRS)是最常用于评估帕金森病的标准评定量表。它于20世纪80年代被提出，在2007年由运动障碍协会(MDS)进行了修订，以解决之前发现的问题，修改后的版本被称为MDS-UPDRS。MDS-UPDRS量表对于其中每一项试验都进行了清楚和详细的说明，它共包含四个部分，其中第三部分是对患者运动功能检查的方法。该任务的评分分为五类：0：正常；1：轻微；2：轻度；3：中度；4：重度。评价的主要指标是动作的幅度、速度、有无停顿和迟疑、有无幅度的逐渐减小等。在临床中，医生通常会结合评价量表和自身经验对帕金森病患者症状的严重程度进行打分，因此具有一定的主观性差异。然而，这种方式对评定人员的专业技能要求较高，而且存在以下挑战：
1)目前国内约有400万帕金森病患者，每位患者每年需要做多次的UPDRS检查，而完成一次人工检查需要花费大约30分钟，这样会消耗大量的人力和时间资源；
2)即使是专业的临床医生，不同医生的评分结果也会带有主观性的差异，不利于实现病情诊断的客观一致性。
因此，若能实现帕金森病症状的自动评估，将为患者和医生节约很多人力和时间资源，降低诊断成本，保证评分的客观一致性，实现病情的远程监控，从而可以进一步地提高帕金森病的早期诊断率，延长帕金森病患者的生存周期。
目前，人工智能技术已经在疾病诊断、医学影像的识别和分割、手术规划和导航等方面发挥了很大的辅助作用，能够大大提高医生诊断和治疗的效率。除去医学影像、脑电信号以及基因序列等专业的医学数据外，视频数据也是一种包含了丰富信息的载体，尤其适用于类似于帕金森病患者的动作评估等问题。随着智能移动手机的普及和5G时代的来临，视频的拍摄和数据传输将会变得更加便捷和快速，这更加有利于数据的采集。另外，智能医疗家庭化将是未来的趋势，基于视频的智能诊断技术的普及能够让患者在家就能够享受到及时、快捷、优质的医疗服务。
帕金森握拳试验的自动识别能够显著地提高诊断的效率，它允许患者更频繁地自助评估他们的症状，为临床医生提供更多的有用信息，从而可以让医生为患者制定更加适当的治疗计划。此外，计算机化评估帕金森病患者的握拳试验可以提供运动症状的客观衡量，避免由于患者和医生的在UPDRS测试中主观意识差异带来的影响。
在帕金森病运动障碍自动评估方案中，基于可穿戴设备的评估方案是主流方式之一，常见的可穿戴设备包括加速计、陀螺仪、磁力计等。例如，Parisi等人采用一种基于人体传感器网络的方法对UPDRS量表中的三个任务进行了自动评估，即腿部灵活性、坐立和步态。Manzanera等人采用一个具有九个自由度的方向传感器来获取运动的三维表示，最终用于评估UPDRS量表中的对指和脚趾拍地等动作。另外，Salarian等人将陀螺仪安装在帕金森患者的双前臂上，能够检测震颤并量化震颤和运动迟缓的严重程度。Giuffrida等人将一个独立的设备(三轴加速度计和陀螺仪)放在一个手指上，能够预测UPDRS对于休息、姿态和动态震颤的评分。Patel等人在UPDRS运动评估任务期间使用加速计来记录和分析一组全面的运动特征，并确定哪些运动任务最适合预测震颤、运动迟缓和运动障碍严重程度。
光学运动捕捉系统也是用于帕金森病动作评估的常用方式之一。基于光学运动捕捉系统的动作评估方式一般是指利用光学相机、深度摄像机、红外传感器等光学运动捕捉设备结合相应的图像处理算法来达到运动识别的目的。早期基于视觉的帕金森病步态分析的工作使用多色套装来辅助身体部位的分割。Cho等人使用背景减法逐帧检测受试PD患者的步态行为，然后使用得到的轮廓对PD患者和健康对照进行分类。Khan等人进行的对指动作研究要求参与者双手握住他们的头部，以便可以使用面部检测来近似他们的手部位置。Ajay等人借助于多视角摄像机和深度学习技术，提出了一个不需要借助传感器的端到端系统用于对帕金森病患者步态进行分析，在区分帕金森病患者和正常人的步态方面取得了很高的准确率。另外，多项研究使用Microsoft Kinect内置的骨骼跟踪来提取步态参数并识别帕金森病步态。Dror等人在对UPDRS手部运动(即对指试验、握拳试验和手部轮替试验)提取的运动特征的过程中，利用深度感应的方式进行手部分割，以区分PD患者和健康对照。然而，目前基于光学运动捕捉系统的帕金森病动作评估的研究的局限性还很多，其主要原因是其容易受到环境、光照、遮挡等问题的影响，且光学运动捕捉系统的设备比较昂贵，不太适合于远程医疗家庭化的推广使用。
基于深度学习的姿态估计方式是近年来刚刚兴起的动作识别方式，它利用深度学习算法可以从图像或者视频数据中预测身体或手部骨架关节点位置。在姿态估计算法的基础上，也有研究人员对帕金森病的动作识别任务开展了研究工作。Li等人利用卷积姿态估计模型(Convolutional Pose Machine，CPM)获取帕金森病人的运动轨迹，然后利用运动轨迹的特征来训练随机森林，实现了帕金森病人的交流、饮水任务和左旋多巴运动障碍患者的腿部灵活性、脚趾轻敲任务的自动评估。Li等人同样通过CPM姿态估计方法对左旋多巴运动障碍进行了定量分析，根据姿态估计得到的关节运动轨迹，提取运动特征，然后分析与临床医生评分结果的相关性。Liu等人提出了一种轻量级的人体姿态估计深度学习模型，提高了手部姿态识别的速度。在此基础上，Liu等人定义了四组特征，并利用支持向量机(Support Vector Machine，SVM)等监督学习分类器对对指、握拳、手掌旋前/旋后进行了评分。基于姿态估计的动作识别方式不需要借助于任何额外的信息采集设备，它只需要一台具有录像功能的普通光学摄像机或者智能手机即可，对于数据的采集和应用场景的切换非常方便，因此有助于帕金森病自动诊断系统的远程化、家庭化管理。虽然目前基于姿态估计的帕金森病自动评估方案的研究较少，但它无疑是未来研究的趋势。
无论是通过可穿戴设备、光学运动捕捉系统，还是人体姿态估计算法获取的人体运动信息，最终都需要一个分类器来根据提取到的特征或者骨架序列进行病情严重程度的分类。目前采用最多的分类器大致可以分为基于特征工程的传统机器学习算法和基于人体骨架序列识别的深度学习方法。
基于特征工程的传统机器学习算法是目前应用于帕金森病动作评估领域最多的分类器。具体来说，研究人员首先根据从可穿戴设备、光学运动捕捉系统、姿态估计系统等中采集到的数据提取可能与帕金森病动作评分相关的显著特征，然后采用特征选择以及机器学习算法对不同类别的特征进行学习，最终达到自动动作评分的目的。例如，Mohammad等人通过SVM对帕金森病人的步态信号进行分类。Nilashi等人利用增量支持向量机和非线性最小二乘法降维方式对PD患者的语音信号特征进行了分析。汪学明等人采用最小最大模块化支持向量机，将男女PD患者的语音信息和性别信息融入到分类器中，实现了UPDRS评定量表的分类。林钢等人采用迭代决策树的方式，融合了PD的年龄、性别等信息，有效地提高了UPDRS预测的准确率。沈天毓等人采用BP神经网络网络对利用可穿戴设备采集的运动特征来进行分类，提取了PD患者在六个动作中的加速度、角速度，得到了20个评估不同身体部位运动功能的定量指标，最终验证了利用可穿戴设备来对PD患者运动症状进行定量评估的可行性。
基于特征工程的传统机器学习算法具有算法成熟、操作方便、准确率高等特点，所以是目前在帕金森病动作评估领域最流行的自动分类方式。一般情况下，输入到分类器之中的特征(例如速度、幅度特征等)需要人为提取。然而，人体或者手部的运动过程是比较复杂的，帕金森病患者动作中真正具有区分度的关键信息可能难以通过人工提取简单特征的方式来描述和刻画。因此，如何自适应的学习人体或者手部动作中的关键特征是提高自动评估系统性能的关键。
随着姿态估计方法的兴起和准确率的提高，基于深度学习的骨架序列动作识别方法也展现出了极大的潜力，在很多动作分类任务中获得了不俗的成绩。借助于深度学习方法强大的学习能力，深度学习分类器可以从骨架序列数据中自动学习到有用的信息，而不需要像传统机器学习算法那样人工提取关键特征，从而可以挖掘到一些潜在的有用信息，进一步地提高UPDRS预测的准确率。另外，基于骨架序列进行动作预测的方式不容易受到环境、光照以及观察视角等因素的影响，从而可信程度更高。目前，有很多研究工作将深度学习骨架序列识别方法应用于体育运动、日常生活行为的分类中，均取得了不错的效果。Li等人提出了一种新的骨架序列的表示方法，并采用双流卷积神经网络的端到端深度学习框架进行网络的训练，最终在多个数据集上均验证了其有效性。Yan等人提出了时空图卷积网络(ST-GCN)，它可以从骨架序列数据中自动学习时间和空间信息。ST-GCN具有较强的泛化能力，在Kinects和NTU-RGBD数据集中都获得了不错的分类结果。Hu等人引入了同步局部非局部模块用于学习骨架序列的时空信息以及采用了频域注意力机制的方式，成功地提升了模型的性能。
目前，将深度学习骨架序列识别算法应用于PD动作识别领域的研究还很少，几乎属于一个空白领域。如果能够成功有效地将姿态估计和深度学习骨架序列分类算法应用于PD患者的动作识别中，就可以免除掉像可穿戴设备、光学运动捕捉设备等带来的额外成本，也不需要研究人员手动提取关键特征，这将有利于帕金森自动识别系统家庭化、移动化的推广。同时，深度学习骨架序列识别方法也可以提供更加准确、稳定、可信的预测结果，为帕金森病患者和医生提供更大的帮助。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种帕金森病握拳任务的评估方法及系统、存储介质及终端，基于树池化模块和时空图卷积网络，实现了帕金森病握拳任务的可靠性评估。
为实现上述目的及其他相关目的，本发明提供一种帕金森病握拳任务的评估方法，包括以下步骤：获取包含帕金森病患者握拳动作的视频信息，所述握拳动作为执行握拳任务评估所需的标准动作；从所述视频信息提取手部骨架序列数据，并对所述手部骨架序列数据进行预处理；基于预处理后的手部骨架序列提取手部关节点位置特征和手部骨骼向量特征；将所述手部关节点位置特征和所述手部骨骼向量特征输入双流自适应时空图卷积神经网络，所述双流自适应时空图卷积神经网络包括时空图卷积网络和树池化模块；所述时空图卷积网络包括图卷积网络和时序卷积网络；将所述双流自适应时空图卷积神经网络输出的握拳动作特征输入分类器，获取帕金森病握拳任务的评估分值。
于本发明一实施例中，从所述视频信息提取手部骨架序列包括以下步骤：
基于OpenCV视频抽帧单元将所述视频信息切分为连续视频帧；
基于OpenPose姿态估计单元对每一帧视频画面进行手部姿态估计，获取所述手部骨架序列数据。
于本发明一实施例中，对所述手部骨架序列进行预处理包括以下步骤：
利用时序上下文信息对所述手部骨架序列数据的缺失关节点进行填充；
利用巴特沃斯滤波器和Savitzky-Golay滤波器对所述手部骨架序列数据进行降噪；
对降噪后的手部骨架序列数据进行坐标归一化。
于本发明一实施例中，基于对比学习的自监督学习策略训练所述图卷积网络。
于本发明一实施例中，所述树池化模块采用边缘池化模块或邻近关节对池化模块。
于本发明一实施例中，所述分类器采用SVM分类器。
本发明提供一种帕金森病握拳任务的评估系统，包括获取模块、处理模块、提取模块、输入模块和评估模块；
所述获取模块用于获取包含帕金森病患者握拳动作的视频信息，所述握拳动作为执行握拳任务评估所需的标准动作；
所述处理模块用于从所述视频信息提取手部骨架序列数据，并对所述手部骨架序列数据进行预处理；
所述提取模块用于基于预处理后的手部骨架序列提取手部关节点位置特征和手部骨骼向量特征；
所述输入模块用于将所述手部关节点位置特征和所述手部骨骼向量特征输入双流自适应时空图卷积神经网络，所述双流自适应时空图卷积神经网络包括时空图卷积网络和树池化模块；所述时空图卷积网络包括图卷积网络和时序卷积网络；
所述评估模块用于将所述双流自适应时空图卷积神经网络输出的握拳动作特征输入分类器，获取帕金森病握拳任务的评估分值。
本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的帕金森病握拳任务的评估方法。
本发明提供一种帕金森病握拳任务的评估终端，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述帕金森病握拳任务的评估终端执行上述的帕金森病握拳任务的评估方法。
本发明提供一种帕金森病握拳任务的评估方法系统，包括上述的帕金森病握拳任务的评估终端和视频采集装置；
所述视频采集装置用于采集包含帕金森病患者握拳动作的视频信息并发送至所述帕金森病握拳任务的评估终端。
如上所述，本发明的帕金森病握拳任务的评估方法及系统、存储介质及终端，具有以下有益效果：
(1)引入了自适应图卷积和二阶骨骼信息，有效地提升了图卷积网络的建模灵活性；
(2)根据手部树状结构的特性，设计了四种树池化模块，在实现特征降维的同时提升了网络的感受野；
(3)采用对比学习自监督的训练方法增强了图卷积网络的特征表示能力；
(4)利用深度学习视频动作识别方法，实现了帕金森病患者握拳试验UPDRS评分的准确预测。
附图说明
图1显示为本发明的帕金森病握拳任务的评估方法于一实施例中的流程图；
图2显示为本发明的双流自适应时空图卷积神经网络于一实施例中的结构示意图；
图3显示为本发明的关节点位置特征和骨骼向量特征于一实施例中的示意图；
图4(a)显示为本发明的边缘池化过程于一实施例中的示意图；
图4(b)显示为本发明的邻近关节对池化过程于一实施例中的示意图；
图5显示为本发明的基于动量对比学习的图卷积神经网络于一实施例中的学习过程示意图；
图6(a)显示为本发明的帕金森病握拳任务的评估方法的握拳动作识别结果的混淆矩阵；
图6(b)显示为本发明的帕金森病握拳任务的评估方法的握拳动作识别结果的ROC曲线；
图7显示为本发明的帕金森病握拳任务的评估方法的十次交叉验证的稳定性分析示意图；
图8显示为不同树池化模块的表现示意图；图9显示为本发明的帕金森病握拳任务的评估系统于一实施例中的结构示意图；
图10显示为本发明的帕金森病握拳任务的评估终端于一实施例中的结构示意图；
图11显示为本发明的帕金森病握拳任务的评估系统于一实施例中的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明的帕金森病握拳任务的评估方法及系统、存储介质及终端基于树池化模块和时空图卷积网络，实现了帕金森病握拳任务的可靠性评估。其中，时空图卷积网络利用图卷积(Graph convolution Network，GCN)来获取空间结构信息，并利用时序卷积(TemporalConvolutional Network，TCN)来获取时序运动信息；树池化模块利用树结构的特性，对手部骨架序列数据进行下采样，在进行特征降维的同时可以有效的提升模型的感受野。同时，本发明引入了动量对比学习的自监督学习策略，进一步提高了图卷积网络的通用特征学习能力，并最终结合分类器和特征选择方法完成了帕金森病握拳动作的分类任务。
如图1所示，于一实施例中，本发明的帕金森病握拳任务的评估方法包括以下步骤：
步骤S1、获取包含帕金森病患者握拳动作的视频信息，所述握拳动作为执行握拳任务评估所需的标准动作。
具体地，利用视频采集装置如单目摄像头、照相机、智能手机等，录制病人执行握拳试验的过程视频，即可完成PD患者握拳任务的数据采集工作，并通过有线或无线的方式发送至本发明的帕金森病握拳任务的评估终端。
在采集过程中，病人需要曲肘紧握拳，手掌面对摄像头。之后，病人需要充分打开手掌并以最快的速度反复伸掌握拳10次，双手分别测试。在视频数据的采集过程中，每位病人都被要求坐在椅子上且正对镜头。录制得到的视频的帧速率为30帧/秒，清晰度为720P(1280×720)。对病人左手和右手的视频进行分别截取，然后通过水平镜像翻转将左手转化为右手以统一数据格式。
步骤S2、从所述视频信息提取手部骨架序列数据，并对所述手部骨架序列数据进行预处理。
具体地，利用OpenPose模型对所述视频信息中的每一帧画面进行手部姿态估计，以获取手部骨架序列数据。所述OpenPose模型由OpenCV视频抽帧单元、OpenPose姿态估计单元构成。首先，OpenCV视频抽帧单元将所述视频信息切分为连续视频帧。然后，OpenPose姿态估计模块对每一帧视频画面进行手部姿态估计。具体过程为：首先通过人体姿态估计模块获得的手腕、肘部、肩膀关节点位置对手部进行初步定位，然后利用手部姿态估计模块获得最终精确的手部骨架序列数据。
为了解决原始手部骨架序列数据中可能存在的数据缺失、噪声干扰、坐标系不统一等问题，需要对所述手部骨架序列数据进行预处理。于本发明一实施例中，对所述手部骨架序列进行预处理包括以下步骤：
21)利用时序上下文信息对所述手部骨架序列数据的缺失关节点进行填充。
22)利用巴特沃斯滤波器和Savitzky-Golay滤波器对所述手部骨架序列数据进行降噪。
23)对降噪后的手部骨架序列数据进行坐标归一化，从而得到最终的手部骨架序列数据。
步骤S3、基于预处理后的手部骨架序列提取手部关节点位置特征和手部骨骼向量特征。
具体地，如图2所示，根据所述预处理后的手部骨架序列，提取相应的手部关节点位置特征和手部骨骼向量特征。
步骤S4、将所述手部关节点位置特征和所述手部骨骼向量特征输入双流自适应时空图卷积神经网络，所述双流自适应时空图卷积神经网络包括时空图卷积网络和树池化模块；所述时空图卷积网络包括图卷积网络和时序卷积网络。
具体地，时空图卷积网络(Spatial Temporal-Graph Convolutional Networks，ST-GCN)在骨架序列动作识别任务中取得了非常优异的成绩。然而，在ST-GCN中，人体骨架序列数据通常被建模为固定拓扑的时空图结构，这种方式缺乏对多级语义信息进行建模的灵活性，可能忽略某些重要的隐含关节点连接。另外，ST-GCN只将骨架数据中的关节点位置特征作为特征输入，输入特征比较单一，可能造成模型学习所需要的信息不足，从而影响识别准确率的提升。因此，本发明采用如图3所示的双流自适应时空图卷积网络(2s-AGCN)来应对ST-GCN的局限性。所述双流自适应时空图卷积神经网络包括时空图卷积网络和树池化模块；所述时空图卷积网络包括图卷积网络和时序卷积网络。通过所述双流自适应时空图卷积网络能够基于所述手部关节点位置特征和所述手部骨骼向量特征，获取握拳动作特征。
所述双流自适应时空图卷积网络利用自适应图卷积解决了固定拓扑的图卷积的局限性，以端到端的学习方式，将图的拓扑结构随着网络的训练过程一起优化，因此有效地提高了网络建模的灵活性。具体来说，自适应图卷积的计算过程如下所示：
Figure BDA0003273302650000091
其中，Wk是通过1×1卷积运算实现的权重函数，Kv表示空间维度的核大小，Ak∈RN×N(N为关节点总数)为原始邻接矩阵，代表手部关节点的物理连接。Bk∈RN×N是与Ak同样大小的掩膜矩阵，其参数可以随着网络的训练同步更新，因此可以挖掘出手部骨架构造中的隐含连接。另外Bk矩阵中的元素不仅仅代表两个关节点之间是否存在连接，而且还代表着连接的强度，因此极大地提高了网络学习的灵活性。第三部分Ck是一个连接依赖矩阵，它根据每个样本的输入数据，计算出每两个关节点之间是否存在连接以及连接强度，其公式如下所示：
Figure BDA0003273302650000092
其中，θ和φ为两个嵌入函数。该公式通过这种归一化的高斯函数来计算两个顶点之间的相似性，其结果被作为邻接矩阵的软连接与Ak和Bk结合，构成最终的邻接矩阵。在具体的实现过程中，Ck可以由两个1×1卷积和softmax激活函数来实现。
另外，所述双流自适应时空图卷积网络在骨架关节点位置特征的基础上引入了骨骼特征的二阶信息，即骨骼向量特征。具体来说，每个骨骼都连接着两个相邻的手部关节点，将距离手腕关节点(原点)较近的关节点定义为源关节点，远离原点的关节点定义为目标关节点，则骨骼二阶特征即从源关节点到目标关节点的向量。骨骼向量特征可以表示关节点连接的长度和方向，对于动作识别任务来说，具有更高的信息辨识度。
在卷积神经网络中，池化层扮演着十分重要的角色，常见的池化层包括最大池化、平均池化等。池化层在卷积神经网络中的作用主要有两个：
1)特征降维。
在卷积神经网络的输入特征中可能存在大量的冗余信息，池化层的作用就是在保留主要特征的同时对特征进行降维，从而减少模型参数和计算量，防止过拟合问题的发生，提高模型的泛化能力。
2)提高模型的感受野。
在卷积运算的过程中，卷积核每次只能聚合相邻节点的信息，因此当网络层数较浅时，卷积核只能获取到范围较小的局部信息，感受野受限。加入池化层可以显著的提升感受野的大小，更大的感受野可以有效地提升模型学习全局特征的能力，从而提升分类效果。
然而，时空图卷积网络中却缺少池化模块，限制了识别效果的提升。在所述时空图卷积网络中，图卷积网络每次只能获取到相邻节点的信息，而人体或者手部的关节点数量是固定的，因此特征维度也是固定的，若缺少池化操作，当网络层数较浅时，模型的感受野较小，会限制分类结果的提高。
因此，根据握拳手部动作的特点，本发明提出了一种基于树结构的骨架数据池化模块，即树池化模块，能够有效地提升模型的感受野，进而提升了握拳动作评估的准确率。具体来说，手部骨架构造可以被看作是一种树结构，其根节点就是手腕关节点。树本身是一种特殊的无环图结构，结构相对简单，适合于进行池化操作。本发明提出的树池化模块可以利用树结构的特性，每次有规律地缩小子树的规模，从而达到池化的目的。
如图4(a)和图4(b)所示，本发明的树池化模块分为两种：
1)如图4(a)所示，由叶节点向根节点逐步推进的边缘池化模块(Edge pooling)；
2)如图4(b)所示，邻近关节对池化模块(Pair pooling)。
其中，在边缘池化模块中，每次的池化过程会把叶节点和它的父结点的特征进行融合，从而缩小树结构的规模；在邻近关节对池化模块中，每次的池化过程会将邻近的关节点特征进行融合，以缩小树结构的规模。每种池化模块又分为最大池化和平均池化，因此共有四种不同的组合。本发明利用丰富的实验验证了树池化模块的有效性，实验结果显示边缘最大池化模块对分类结果的提升效果最大。
于本发明一实施例中，本发明中基于对比学习的自监督学习策略训练所述图卷积网络。对比学习方法可以充分利用无标签数据提升网络通用特征的学习能力，从而可以有效地迁移到下游子任务中。与有监督的训练方法不同，对比学习不是根据输入数据和标签来对网络进行训练，而是通过比较不同样本进行表示学习。一般来说，对比学习的目的是训练一个字典编码器。给定一个编码查询q和一组编码样本的键值集合{k0，k1，k2，...}，假定集合中只有一个键值k+与q匹配，那么当q与正样本k+最相似而与其他键值(负样本)不同时，对比学习的损失函数的值是最低的。常见的用于对比学习的损失函数是InfoNCE，其公式如下：
Figure BDA0003273302650000101
其中，K是字典中的键值总数，τ是InfoNCE中一个重要的超参数，Lq的目的是尽量缩小q与k+的距离而拉大q与其他键值的距离。通常情况下，对比学习自监督训练的结果是一个能够提取通用特征的编码器f，给定待查询样本xq和待对比样本xk，编码器的作用是生成相应的特征表示q＝f(xq)和k＝f(xk)。在实际工作中，样本输入x可以是图片、文字、骨架序列等任意数据组织形式，而且编码器的结构也是不固定的。对比学习得到的特征提取器具有很强的泛化性，可以很容易地迁移到下游任务中，达到甚至超过有监督学习的识别效果。
因此，本发明采用了一种基于动量对比学习(MoCo)的图卷积神经网络用于握拳动作识别，有效地提高了网络的特征表示能力，进而提高了识别效果。图5所示即为基于动量对比学习的图卷积神经网络学习过程。在训练过程中，每个握拳骨架序列数据样本都会首先通过一个随机扩增器对样本进行随机变换(空间拉伸、旋转、时序采样等)。来自同一个样本的随机变换的结果互为正样本，与其他样本的随机变换结果互为负样本。本发明采用一个队列来维护负样本集的键值，从而实现字典和mini-batch的解耦，扩大字典的容量，从而让网络能够充分学到正负样本的区别。为了使得网络参数的更新过程更加平滑，本发明设计了两个结构相同但是不共享参数的自适应图卷积网络，分别用作查询编码器和键值动量编码器，利用反向传播来更新编码器的参数θq，而用动量更新的方法来更新键值编码器参数θk，更新过程为θk←mθk+(1-m)θq。其中，m∈[0，1)是动量参数。通过这种方式，θk的更新过程更加平滑，参数的缓慢更新是利用好字典队列的关键，因此m设置为往往更大值训练效果越好。
S5、将所述双流自适应时空图卷积神经网络输出的握拳动作特征输入分类器，获取帕金森病握拳任务的评估分值。
具体地，基于分类器对所述握拳动作特征进行分类，进而得到帕金森病握拳任务的评估分值。
于本发明一实施例中，所述分类器采用SVM分类器，用于预测握拳动作的UPDRS评分。
优选地，本发明基于用户界面接口(GUI)，实现视频录制、数据导入、任务选择、识别结果展示等任务。
下面通过具体实施例来验证本发明的帕金森病握拳任务的评估方法。
表1展示了本发明的帕金森病握拳任务的评估方法在MDS-UPDRS五类评分中各自的识别结果统计，包括每个类别可接受准确率、AUC值(ROC曲线下方的面积大小)、精确率(Precision)、召回率(Recall)以及F1分数。由表可知，0、1、2类的可接受准确率都在95％以上，其他各项指标的表现也比较理想，而3、4两类的数量偏少，造成其表现略差于前三个类别，但是也达到了65％以上的可接受准确率。最终的平均分类准确率为60.2％，可接受准确率为95.4％。图6(a)和图6(b)展示的是本发明的帕金森病握拳任务的评估方法的最终分类结果的混淆矩阵和ROC曲线，更加直观地反应了分类模型的有效性。5个MDS-UPDRS评分的混淆矩阵在可接受范围内都具有较高的准确性，而ROC曲线的AUC值均令人满意。
表1、五类MDS-UPDRS评分的分类结果
Figure BDA0003273302650000121
对本发明进行稳定性分析，即每次随机打乱样本顺序，再利用五折交叉实验测试分类效果，重复十次。图7展示了稳定性分析的结果，十次重复实验的准确率在59.08％和61.03％之间浮动，可接受准确率在94.20％和95.49％之间浮动，没有出现表现很差的极端情况。另外，准确率和可接受准确率的标准差分别为0.64％和0.39％，进一步验证了本发明所提出方法的稳定性和鲁棒性。
为了验证树池化模块的有效性，本发明分别对四种不同的树池化模块的效果进行了实验验证，并将没有加入树池化模块的双流时空图卷积神经网络作为对照组进行消融对比。如图8所示，四种不同的树池化模块分别为：邻近关节对平均池化(Pair-Avg Pooling)、边缘平均池化(Edge-Avg Pooling)、邻近关节对最大池化(Pair-Max Pooling)，以及边缘最大池化(Edge-Max Pooling)。由图可知，四种不同的树池化模块对分类结果都有一定的提升作用，采用最大池化的方式优于平均池化的，并且边缘池化方式略优于邻近关节对池化的方式。因此，本发明最终选用边缘最大池化模块作为整体实验的基准。基于树结构的池化模块可以有效地提高模型的感受野以及特征降维，可以在很大程度上提升分类效果。
动量对比学习图卷积网络可以通过自监督的方式学习数据中的通用特征，能够有效地提高网络特征表示的能力，因此也可以很好地迁移到下游任务中。本发明首先使用动量对比学习方法训练图卷积动作识别网络，然后将训练好的图卷积网络作为特征提取器来提取握拳动作数据中的通用特征。在此基础上，本发明尝试了两种策略将其迁移到最终的握拳手部动作识别任务中，两种策略为：1)利用迁移学习的方式微调双流时空图卷积神经网络分类器；2)将对比学习训练得到的图卷积网络作为特征生成器，然后利用特征选择和SVM分类器进行分类。
表2展示了两种对比学习训练策略的分类结果，并与不采用对比学习的双流自适应时空图卷积神经网络(2s-AGCN)进行了对比。由表可知，采用动量对比学习(MoCo-AGCN)+迁移学习微调权重的训练方式有效地提升了分类结果的准确率(57.8％)，而采用动量对比学习+SVM分类器的方式取得了最好的分类准确率60.2％。以上结果直观地反映出了动量对比学习自监督训练策略的有效性。
表2、不同模型训练策略的表现
Figure BDA0003273302650000131
将本发明的帕金森病握拳任务的评估方法与目前主流的骨架序列识别网络进行了对比，如表3所示。具体来说，将ST-GCN(空间时间图卷积网络)、Motif-GCNs(基于主题的空间时间图卷积网络)，双流CNN、2s-AGCN(双流自适应图卷积网络)应用到了握拳动作数据集中，获得的分类准确率分别为35.5％、39.9％、48.8％、49.8％、56.3％。相比之下，本发明提出的对比学习图卷积网络结合邻近关节对最大池化模块的方式将准确率提高到了59.2％，而结合边缘最大池化模块的准确率达到了60.2％，远远高于目前最先进的基于骨架的动作识别网络。
表3、本发明与主流的骨架序列识别方法的比对结果
Figure BDA0003273302650000132
本发明也将所应用的工作与基于传感器的动作识别方案进行了对比，如表4所示。可以看到，在157个受试者和931组握拳视频数据的基础上，本发明提出的方法最终取得60.2％的预测准确率以及95.4％的可接受准确。另外，本发明握拳动作识别的预测结果与人工标注的标签间Pearson相关系数为0.64，也已经达到了基于传感器设备的平均水平，验证了本发明提出的结合树池化模块和对比学习的图卷积握拳动作识别模型的有效性。
表4、与基于传感器设备的握拳动作评估方法比对结果
Figure BDA0003273302650000141
如图9所示，于一实施例中，本发明的帕金森病握拳任务的评估系统包括获取模块91、处理模块92、提取模块93、输入模块94和评估模块95。
所述获取模块91用于获取包含帕金森病患者握拳动作的视频信息，所述握拳动作为执行握拳任务评估所需的标准动作。
所述处理模块92与所述获取模块91相连，用于从所述视频信息提取手部骨架序列数据，并对所述手部骨架序列数据进行预处理。
所述提取模块93与所述处理模块92相连，用于基于预处理后的手部骨架序列提取手部关节点位置特征和手部骨骼向量特征。
所述输入模块94与所述提取模块93相连，用于将所述手部关节点位置特征和所述手部骨骼向量特征输入双流自适应时空图卷积神经网络，所述双流自适应时空图卷积神经网络包括时空图卷积网络和树池化模块；所述时空图卷积网络包括图卷积网络和时序卷积网络。
所述评估模块95与所述输入模块94相连，用于将所述双流自适应时空图卷积神经网络输出的握拳动作特征输入分类器，获取帕金森病握拳任务的评估分值。
其中，获取模块91、处理模块92、提取模块93、输入模块94和评估模块95的结构和原理与上述帕金森病握拳任务的评估方法中的步骤一一对应，故在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Signal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的帕金森病握拳任务的评估方法。优选地，所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图10所示，于一实施例中，本发明的帕金森病握拳任务的评估终端包括：处理器101和存储器102。
所述存储器102用于存储计算机程序。
所述存储器102包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器101与所述存储器102相连，用于执行所述存储器102存储的计算机程序，以使所述帕金森病握拳任务的评估终端执行上述的帕金森病握拳任务的评估方法。
优选地，所述处理器101可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图11所示，于一实施例中，本发明的帕金森病握拳任务的评估系统包括上述的帕金森病握拳任务的评估终端111和视频采集装置112。
所述视频采集装置112与所述帕金森病握拳任务的评估终端111相连，用于采集包含帕金森病患者脚趾拍地动作的视频信息并发送至所述帕金森病握拳任务的评估终端111。
综上所述，本发明的帕金森病握拳任务的评估方法及系统、存储介质及终端引入了自适应图卷积和二阶骨骼信息，有效地提升了图卷积网络的建模灵活性；根据手部树状结构的特性，设计了四种树池化模块，在实现特征降维的同时提升了网络的感受野；采用对比学习自监督的训练方法增强了图卷积网络的特征表示能力；利用深度学习视频动作识别方法，实现了帕金森病患者握拳试验UPDRS评分的准确预测。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种帕金森病握拳任务的评估方法，其特征在于：包括以下步骤：
获取包含帕金森病患者握拳动作的视频信息，所述握拳动作为执行握拳任务评估所需的标准动作；
从所述视频信息提取手部骨架序列数据，并对所述手部骨架序列数据进行预处理；
基于预处理后的手部骨架序列提取手部关节点位置特征和手部骨骼向量特征；
将所述手部关节点位置特征和所述手部骨骼向量特征输入双流自适应时空图卷积神经网络，所述双流自适应时空图卷积神经网络包括时空图卷积网络和树池化模块；所述时空图卷积网络包括图卷积网络和时序卷积网络；
将所述双流自适应时空图卷积神经网络输出的握拳动作特征输入分类器，获取帕金森病握拳任务的评估分值。
2.根据权利要求1所述的帕金森病握拳任务的评估方法，其特征在于：从所述视频信息提取手部骨架序列包括以下步骤：
基于OpenCV视频抽帧单元将所述视频信息切分为连续视频帧；
基于OpenPose姿态估计单元对每一帧视频画面进行手部姿态估计，获取所述手部骨架序列数据。
3.根据权利要求1所述的帕金森病握拳任务的评估方法，其特征在于：对所述手部骨架序列进行预处理包括以下步骤：
利用时序上下文信息对所述手部骨架序列数据的缺失关节点进行填充；
利用巴特沃斯滤波器和Savitzky-Golay滤波器对所述手部骨架序列数据进行降噪；
对降噪后的手部骨架序列数据进行坐标归一化。
4.根据权利要求1所述的帕金森病握拳任务的评估方法，其特征在于：基于对比学习的自监督学习策略训练所述图卷积网络。
5.根据权利要求1所述的帕金森病握拳任务的评估方法，其特征在于：所述树池化模块采用边缘池化模块或邻近关节对池化模块。
6.根据权利要求1所述的帕金森病握拳任务的评估方法，其特征在于：所述分类器采用SVM分类器。
7.一种帕金森病握拳任务的评估系统，其特征在于：包括获取模块、处理模块、提取模块、输入模块和评估模块；
所述获取模块用于获取包含帕金森病患者握拳动作的视频信息，所述握拳动作为执行握拳任务评估所需的标准动作；
所述处理模块用于从所述视频信息提取手部骨架序列数据，并对所述手部骨架序列数据进行预处理；
所述提取模块用于基于预处理后的手部骨架序列提取手部关节点位置特征和手部骨骼向量特征；
所述输入模块用于将所述手部关节点位置特征和所述手部骨骼向量特征输入双流自适应时空图卷积神经网络，所述双流自适应时空图卷积神经网络包括时空图卷积网络和树池化模块；所述时空图卷积网络包括图卷积网络和时序卷积网络；
所述评估模块用于将所述双流自适应时空图卷积神经网络输出的握拳动作特征输入分类器，获取帕金森病握拳任务的评估分值。
8.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6中任一项所述的帕金森病握拳任务的评估方法。
9.一种帕金森病握拳任务的评估终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述帕金森病握拳任务的评估终端执行权利要求1至6中任一项所述的帕金森病握拳任务的评估方法。
10.一种帕金森病握拳任务的评估方法系统，其特征在于：：包括权利要求9所述的帕金森病握拳任务的评估终端和视频采集装置；
所述视频采集装置用于采集包含帕金森病患者握拳动作的视频信息并发送至所述帕金森病握拳任务的评估终端。
CN202111108293.1A 2021-09-22 2021-09-22 帕金森病握拳任务的评估方法及系统、存储介质及终端 Pending CN113901891A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111108293.1A CN113901891A (zh) 2021-09-22 2021-09-22 帕金森病握拳任务的评估方法及系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111108293.1A CN113901891A (zh) 2021-09-22 2021-09-22 帕金森病握拳任务的评估方法及系统、存储介质及终端

Publications (1)

Publication Number Publication Date
CN113901891A true CN113901891A (zh) 2022-01-07

Family

ID=79029093

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111108293.1A Pending CN113901891A (zh) 2021-09-22 2021-09-22 帕金森病握拳任务的评估方法及系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN113901891A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115035606A (zh) * 2022-08-11 2022-09-09 天津大学 一种基于片段驱动对比学习的骨骼动作识别方法
CN116473514A (zh) * 2023-03-29 2023-07-25 西安电子科技大学广州研究院 基于足底压力的自适应有向时空图神经网络的帕金森疾病检测
TWI824650B (zh) * 2022-08-05 2023-12-01 大可特股份有限公司 體態檢測系統及體態檢測方法
CN117643456A (zh) * 2024-01-29 2024-03-05 北京航空航天大学 一种帕金森神经病变的辅助评估系统、方法和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI824650B (zh) * 2022-08-05 2023-12-01 大可特股份有限公司 體態檢測系統及體態檢測方法
CN115035606A (zh) * 2022-08-11 2022-09-09 天津大学 一种基于片段驱动对比学习的骨骼动作识别方法
CN115035606B (zh) * 2022-08-11 2022-10-21 天津大学 一种基于片段驱动对比学习的骨骼动作识别方法
CN116473514A (zh) * 2023-03-29 2023-07-25 西安电子科技大学广州研究院 基于足底压力的自适应有向时空图神经网络的帕金森疾病检测
CN116473514B (zh) * 2023-03-29 2024-02-23 西安电子科技大学广州研究院 基于足底压力的自适应有向时空图神经网络的帕金森疾病检测方法
CN117643456A (zh) * 2024-01-29 2024-03-05 北京航空航天大学 一种帕金森神经病变的辅助评估系统、方法和存储介质
CN117643456B (zh) * 2024-01-29 2024-05-24 北京航空航天大学 一种帕金森神经病变的辅助评估系统、方法和存储介质

Similar Documents

Publication Publication Date Title
Sheng et al. Multi-task learning for gait-based identity recognition and emotion recognition using attention enhanced temporal graph convolutional network
WO2021143353A1 (zh) 一种手势信息处理方法、装置、电子设备及存储介质
CN111382679B (zh) 帕金森病步态运动障碍严重程度的评估方法、系统及设备
CN111274998B (zh) 帕金森病手指敲击动作识别方法及系统、存储介质及终端
de Melo et al. Combining global and local convolutional 3d networks for detecting depression from facial expressions
Du et al. Representation learning of temporal dynamics for skeleton-based action recognition
CN113901891A (zh) 帕金森病握拳任务的评估方法及系统、存储介质及终端
Kour et al. Computer-vision based diagnosis of Parkinson’s disease via gait: A survey
Chaaraoui et al. Abnormal gait detection with RGB-D devices using joint motion history features
CN111539941B (zh) 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端
Guo et al. Sparse adaptive graph convolutional network for leg agility assessment in Parkinson’s disease
Luo et al. Retinal image classification by self-supervised fuzzy clustering network
Lin et al. Bradykinesia recognition in Parkinson’s disease via single RGB video
An et al. AdaptNet: Human activity recognition via bilateral domain adaptation using semi-supervised deep translation networks
Ashwini et al. Compressive sensing based recognition of human upper limb motions with kinect skeletal data
Tsai et al. Enhancing accuracy of human action Recognition System using Skeleton Point correction method
Guo et al. A tree-structure-guided graph convolutional network with contrastive learning for the assessment of parkinsonian hand movements
Wang et al. A deep learning approach using attention mechanism and transfer learning for electromyographic hand gesture estimation
Li et al. [Retracted] Human Motion Representation and Motion Pattern Recognition Based on Complex Fuzzy Theory
Zhang et al. Multi-STMT: multi-level network for human activity recognition based on wearable sensors
Du et al. Multivariate time series classification based on fusion features
Ma et al. Sports competition assistant system based on fuzzy big data and health exercise recognition algorithm
Peng Research on Emotion Recognition Based on Deep Learning for Mental Health
CN115393963A (zh) 运动动作纠正方法、系统、存储介质、计算机设备及终端
CN114140816A (zh) 帕金森病起立任务的评估方法及系统、存储介质及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination