CN114140816A - 帕金森病起立任务的评估方法及系统、存储介质及终端 - Google Patents

帕金森病起立任务的评估方法及系统、存储介质及终端 Download PDF

Info

Publication number
CN114140816A
CN114140816A CN202111106752.2A CN202111106752A CN114140816A CN 114140816 A CN114140816 A CN 114140816A CN 202111106752 A CN202111106752 A CN 202111106752A CN 114140816 A CN114140816 A CN 114140816A
Authority
CN
China
Prior art keywords
parkinson
flow network
joint
information
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111106752.2A
Other languages
English (en)
Inventor
钱晓华
郭睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202111106752.2A priority Critical patent/CN114140816A/zh
Publication of CN114140816A publication Critical patent/CN114140816A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种帕金森病起立任务的评估方法及系统、存储介质及终端，包括以下步骤：获取包含帕金森病患者起立动作的视频信息；从所述视频信息提取帕金森患者的骨架序列，基于所述骨架序列提取关节信息和骨骼信息；基于所述关节信息和所述骨骼信息训练自监督度量图卷积网络；基于训练好的自监督度量图卷积网络获取待评估的帕金森患者起立动作的针对各个类别的预测概率，选取预测概率最大的类别为所述待评估帕金森患者的评估类别。本发明的帕金森病起立任务的评估方法及系统、存储介质及终端采用自监督度量图卷积网络，实现基于视频的帕金森起立任务自动评估。

Description

帕金森病起立任务的评估方法及系统、存储介质及终端
技术领域
本发明涉及深度学习的技术领域，特别是涉及一种帕金森病起立任务的评估方法及系统、存储介质及终端。
背景技术
帕金森病(Parkinson’s Disease，PD)会导致患者运动功能的恶化，严重损害患者的生活质量。患病人数的日益增加也带来了极大的社会经济负担。临床中神经科医生最常使用世界运动障碍病学会新版帕金森病综合评价量表(MDS-UPDRS)来评估疾病的严重程度和进展。
然而，这种评估方式在临床试验中存在以下局限性：
1)需要熟练的神经科医生在患者间断性的临床访问中进行评估，这不利于症状的持续监测；
2)这种方式浪费医生的宝贵时间，且评分存在不同医生之间的变异性，缺乏客观性；
3)在评估运动子任务时需要同时考虑多个运动因素，如停顿、速度等，增大了简明分数结果的评估难度。
因此，迫切地需要MDS-UPDRS自动评估系统来提供客观、可靠的评估结果，从而实现 PD的有效诊断。起立任务是MDS-UPDRS的重要组成部分，由医生根据患者的完成情况进行0-4的评分。如图1所示，患者需将双臂交叉放在胸前然后站起来。该任务有助于医生通过运动表现来评估PD的严重程度。
可穿戴传感设备的出现允许通过分析所捕捉的运动信号来进行精确的运动测量，因此逐渐出现了基于传感器的方法来实现MDS-UPDRS的自动评估。这类方法的基本思想是：使用放置在PD患者指定部位的传感器来收集数据，然后在时域或频域中提取相关的运动学特征，最后借助机器学习算法进行某一项任务的评分分类或特征相关性分析。例如，Martinez-Manzanera等人分析了一个九自由度传感器记录的运动数据，使用支持向量机分类器实现了三个运动迟缓相关项目的自动评分。Jeon等人利用一种腕表式可穿戴设备测量了患者的震颤信号，然后使用提取的选定特征通过多种机器学习算法自动评估了震颤的严重性。Lin 等人使用了基于轴角表示法提取的显著特征训练了支持向量机算法，客观地评估了运动迟缓的严重程度。
目前已有的PD起立任务的自动评估工作都采用了基于传感器的方法。Giuberti等人使用放置在患者胸部的单个惯性节点构成的身体传感器网络(body sensor network)来收集运动学变量，然后使用k近邻(kNN)构成了起立任务的自动UPDRS评估系统，准确率为大约65％左右。Parisi等人同样使用胸部安装的传感器来分析执行任务期间身体运动的特征，最终使用 kNN实现了大约43％的准确率。尽管上述工作均实现了起立任务MDS-UPDRS分数的自动评估，但在数据获取方面依然存在三点局限性：
1)传感器与患者的身体有直接接触，可能会增加患者的不适感，略微影响运动；
2)传感器通常需要标定和定期校准以保持良好的精度，因此削弱了非临床环境中患者的依从性和主动性；
3)由于运动的协调性，患者可能需要同时佩戴多个传感器，不够便捷，且增加了开销。
此外，在分类算法方面，已有方法都采用了机器学习算法作为分类器，需要从运动轨迹中人工开发、定义特征，缺乏全面性，难以实现自动化。
基于深度学习的人体姿态估计算法的最新进展为实现MDS-UPDRS的自动评估开辟了新的思路。这类算法不需要患者穿戴任何设备来收集运动数据，可以直接从普通摄像头拍摄的视频数据中提取关节位置坐标来刻画运动轨迹，具有较低的成本，适合在各类环境中评估。已经有工作利用了人体姿态估计算法的优势，使用常规的机器学习算法或卷积神经网络作为分类模型，提出了基于视觉的系统来实现MDS-UPDRS的自动评估。然而，这些分类模型往往需要预定义运动特征或关节点序列的顺序，无法利用人体骨架数据天然的图结构来自动捕获和表达人体关节之间的运动依赖性，进而影响了人体运动特征建模和分类的性能。
为此，Yan等人提出的空间时间图卷积网络(ST-GCN)引入了图卷积神经网络(GCN)来模拟人体的空间结构关系，并结合时间卷积，从而直接从人体关节轨迹中学习动作的重要时空特征，无需从关节运动轨迹中设计并计算运动学特征。由此开始，基于GCN的动作识别算法已经被逐渐用于PD的运动功能评估。例如，Guo等人在GCN中嵌入了稀疏化和自适应的思想，同时设计了时间依赖性和通道显著性的建模机制，实现了腿部灵活性任务的有效建模和可靠评估。之后，结合了注意力机制和深度监督策略的ST-GCN被用于开发PD步态运动障碍的自动评估模型。此外，Hu等人基于GCN和弱监督学习策略开发了步态冻结(Freezing of Gait，FoG)的自动检测方法，还将FoG检测拓展为图序列建模任务，进而设计了图序列循环神经网络来处理时空数据。然而，使用基于视频的人体姿态估计和GCN分类的思路对 PD起立任务的自动MDS-UPDRS评分尚待探索，目前还没有任何一个类似工作。
动作识别中的自监督视频表征学习旨在设计各种前置任务，以训练模型能从未标记的数据集中学习良好的时空运动表示，然后将该模型直接应用于下游的动作识别任务进行特征提取或微调。
对于由一系列帧构成的动作视频，时间信息的有效学习是非常重要的。因此，一系列研究从时间域出发设计了时间依赖性相关的预测任务。例如，Fernando等人设计了从多个视频片段中预测帧顺序错误的视频片段的前置任务。Jenni等人将区分原始序列和经过视频时间变换的序列作为前置任务。由于动作视频中还包含了重要的人体空间动作信息，因此，也有研究从时空域整体出发来设计任务，以学习有效的时空表示。例如Wang等人在前置任务中预测了未标记视频的空间和时间域中提取的运动和外观统计。由于图像数据包含了丰富的特征信息，因此上述基于RGB视频的研究均取得了不错的效果。
除了上述RGB信息外，动作视频的另一重要的刻画形式是人体骨架。由于骨架数据仅由关节位置坐标构成，因此骨架序列在自监督视频表示学习中的探索更具挑战性。Si等人通过探索邻居关系来构建自监督策略，从而以邻域一致性为目标学习未标记样本的判别性运动特征。Lin等人集成了多个自监督任务，通过未来序列的运动预测、时间模式的拼图识别、特征空间的对比学习来学习骨架特征。
尽管上述动作识别相关的工作已经在自监督视频表征学习领域进行了丰富的探索，但基于骨架数据的模式还未得到充分研究。此外，大多数研究都主要考虑了时间表示的学习，如何进行空间表示的有效学习依然值得思考。
近年来，通过时空图卷积网络建模人体骨架的模式取得了卓越的性能，并在人体动作识别中得到了广泛应用。然而，先前的基于GCN的识别模型仍然存在着一些局限性，如感受野较小、细粒度信息建模能力不强、图拓扑缺乏足够的灵活性等。因此，很多研究针对各种问题进行了持续的探索与改进。例如，Cheng等人分别设计了空间和时间移位图卷积操作，并进一步提出了移位图卷积网络来降低计算成本、自适应地调整感受野。Cai等人利用了常规骨架数据的全局运动信息和使用关节对齐的光流补丁所捕捉的局部运动信息来构建双流网络，从而充分地表征人类运动。Peng等人构建了动态图生成模块，并引入了具有高阶连接的模块，最终使用神经架构搜索实现了GCN的自动设计，从而探索了更好的GCN架构。Zhang等人在GCN中补充了空间全局信息，并通过不同的方式来计算上下文信息，从而提升了GCN的上下文感知能力。Shi等人结合数据驱动的思想，设计了可以随输入数据以端到端的方式学习的图拓扑，增强了图结构的灵活性。
尽管这些研究有效地解决了基于GCN的模型的诸多问题，但常集中于对不同关节间连接关系的探索，而忽视了不同关节的特异性。此外，很多模型采用了双流框架，但往往没有考虑同一任务中双流特征表示之间的一致性。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种帕金森病起立任务的评估方法及系统、存储介质及终端，采用自监督度量图卷积网络，实现基于视频的帕金森起立任务自动评估。
为实现上述目的及其他相关目的，本发明提供一种帕金森病起立任务的评估方法，包括以下步骤：获取包含帕金森病患者起立动作的视频信息，所述起立动作为执行起立任务评估所需的标准动作；从所述视频信息提取帕金森患者的骨架序列，基于所述骨架序列提取关节信息和骨骼信息；基于所述关节信息和所述骨骼信息训练自监督度量图卷积网络；所述了自监督度量图卷积网络用于输出所述视频信息中的起立动作针对各个类别的预测概率，包括关节流网络和骨骼流网络；所述关节流网络和所述骨骼流网络均包括9个时空单元；每个时空单元均由空间图卷积和时间卷积构成；基于训练好的自监督度量图卷积网络获取待评估的帕金森患者起立动作的针对各个类别的预测概率，选取预测概率最大的类别为所述待评估帕金森患者的评估类别。
于本发明一实施例中，基于人体姿态估计模型OpenPose从所述视频信息提取所述骨架序列，基于所述骨架序列提取所述关节信息，基于两两自然连接的关节之间的坐标差提取所述骨骼信息。
于本发明一实施例中，基于所述关节信息和所述骨骼信息训练自监督度量图卷积网络包括以下步骤：
基于所述骨架序列对所述关节流网络和所述骨骼流网络进行自监督的视频内四元组学习，并在所述关节流网络和所述骨骼流网络的输出特征上施加图表示监督损失的约束；
将所述自监督的视频内四元组学习获取的参数作为所述关节流网络和所述骨骼流网络的初始参数，基于所述关节信息和所述骨骼信息训练所述所述关节流网络和所述骨骼流网络，并将所述关节流网络和所述骨骼流网络的输出拼接后输入全连接层和softmax。
于本发明一实施例中，对所述骨架序列进行自监督的视频内四元组学习包括以下步骤：
基于相似变换的数据增强算法，生成与所述骨架序列在时间和空间的全局上下文相似的正样本，并将所述骨架序列作为锚样本；
基于空间全局扰动算法，生成与所述骨架序列具有相同的时间上下文、具有差异性的空间上下文的空间负样本；
基于时间全局扰动算法，生成与所述骨架序列在时间上混乱、具有正常空间上下文的时间负样本；
将所述锚样本、所述正样本、所述空间负样本和所述时间负样本均输入所述关节流网络和所述骨骼流网络，使得所述关节流网络和所述骨骼流网络满足预设的损失函数目标。
于本发明一实施例中，所述损失函数目标为令锚样本、正样本对和锚样本、时间负样本对之间的相对距离最大化，令锚样本、正样本对和时间负样本、空间负样本对之间的相对距离最大化，令时间负样本、空间负样本对之间的最小距离大于锚样本、正样本对之间的最大距离。
于本发明一实施例中，基于所述关节信息和所述骨骼信息训练所述所述关节流网络和所述骨骼流网络时，成本函数由交叉熵项和图表示监督损失项共同构成。
于本发明一实施例中，所述时空单元中，输入和输出通道数相同的时空单元中采用顶点特异的空间图卷积。
本发明提供一种帕金森病起立任务的评估系统，包括获取模块、提取模块、训练模块和评估模块；
所述获取模块用于获取包含帕金森病患者起立动作的视频信息，所述起立动作为执行起立任务评估所需的标准动作；
所述提取模块用于从所述视频信息提取帕金森患者的骨架序列，基于所述骨架序列提取关节信息和骨骼信息；
所述训练模块用于基于所述关节信息和所述骨骼信息训练自监督度量图卷积网络；所述了自监督度量图卷积网络用于输出所述视频信息中的起立动作针对各个类别的预测概率，包括关节流网络和骨骼流网络；所述关节流网络和所述骨骼流网络均包括9个时空单元；每个时空单元均由空间图卷积和时间卷积构成；
所述评估模块用于基于训练好的自监督度量图卷积网络获取待评估的帕金森患者起立动作的针对各个类别的预测概率，选取预测概率最大的类别为所述待评估帕金森患者的评估类别。
本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的帕金森病起立任务的评估方法。
本发明提供一种帕金森病起立任务的评估终端，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述帕金森病起立任务的评估终端执行上述的帕金森病起立任务的评估方法。
如上所述，本发明的帕金森病起立任务的评估方法及系统、存储介质及终端，具有以下有益效果：
(1)仅使用普通的摄像头即可搜集患者的运动数据，这种模式易于迁移到所有场景中，进一步提升了远程评估的可行性；
(2)数据集来自于临床实践中搜集的患者的评估视频，数据集较大，评估性能出色；
(3)使用的自监督深度学习方案显著地增强了模型对起立视频的自动时空特征提取能力，并且融合了顶点特异的空间图卷积操作(Vertex-specific Graph ConvolutionOperation，VSGCO) 和图表示监督损失(Graph Representation Supervision Loss，GRSL)，准确率大大优于传统的特征工程方法；
(4)利用动作的空间和时间知识构建正负样本对，通过四元组的度量学习来同时提升模型学习对空间和时间的敏感性；通过为每个关节、每个关节的不同特征分配特异性的自适应权重参数，实现了关节特异的空间特征聚合；通过最大化双流特征表示之间的一致性，促进了分类任务中双流特征的相似性和判别性学习。
附图说明
图1显示为帕金森患者完成起立任务于一实施例中的示意图；
图2显示为本发明的帕金森病起立任务的评估方法于一实施例中的流程图；
图3显示为本发明的SSM-GCN模型于一实施例中的框架示意图；
图4显示为本发明的正负样本于一实施例中的构造示意图；
图5显示为本发明的图表示监督损失于一实施例中的计算流程图；
图6(a)显示为本发明的使用数据集的各类别的分类结果的ROC曲线示意图；
图6(b)显示为本发明的使用数据集的各类别的分类结果的混淆矩阵示意图；
图7显示为本发明的帕金森病起立任务的评估方法的十次重复实验的结果分布示意图；
图8显示为本发明的帕金森病起立任务的评估系统于一实施例中的结构示意图；
图9显示为本发明的帕金森病起立任务的评估终端于一实施例中的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明的帕金森病起立任务的评估方法及系统、存储介质及终端采用自监督度量图卷积网络(self-supervised metric learning scheme with a graph convolutionalnetwork，SSM-GCN)，实现基于视频的帕金森起立任务自动评估。其中，使用人体姿态估计算法从视频中提取关节数据，并由此计算骨骼数据，从而构建了双流框架；设计自监督的视频内四元组学习策略，将骨架序列的全局空间和时间关系视为视频表示学习的自监督信号，为每个视频的骨架序列构建一个正样本(数据增强)和两个负样本(空间/时间全局扰动)，通过度量学习将正样本拉近、负样本推远，同时区分空间负样本和时间负样本，极大地提升视频整体时空特征的表示能力；提出了顶点特异的空间图卷积操作，为每个顶点和每个属性分配特异性的可训练权重参数，通过学习不同顶点、同一顶点不同属性特征的重要性，实现了有效的空间特征聚合；提出了图表示监督损失，通过构建关节图和骨骼图之间的图表示关系，然后最大化关节和骨骼高级特征之间的一致性，从而最大程度上学习关节和骨骼数据相似、互补的信息。
如图2所示，于一实施例中，本发明的帕金森病起立任务的评估方法包括以下步骤：
步骤S1、获取包含帕金森病患者起立动作的视频信息，所述起立动作为执行起立任务评估所需的标准动作。
具体地，仅使用普通的摄像头即可搜集帕金森患者执行起立任务评估所需的标准动作，并通过有线或无线的方式发送至本发明的帕金森病起立任务的评估终端。其中，录制使用的设备可以是智能手机、平板、摄像机等多媒体设备，所录制视频的帧分辨率为720×1280或 1080×1920，帧速率为30帧/秒。在录制过程中，带有摄像头的多媒体设备需要放置在帕金森患者的正前方，并保持固定不动。让帕金森患者坐在一个直背带扶手的椅子上，双足放在地上身体向后坐，双手臂交叉放在胸前后站起来。如果帕金森患者没能成功，则最多再重复两次。如果仍不成功，请帕金森患者在椅子上往前坐，然后手臂交叉放于胸前站起，再尝试一次。如果还是没有成功，可允许帕金森患者双手扶在扶手上站起来，此动作最多可重复三次。如果仍不成功，需要协助帕金森患者站起来。
步骤S2、从所述视频信息提取帕金森患者的骨架序列，基于所述骨架序列提取关节信息和骨骼信息。
具体地，使用人体姿态估计模型OpenPose作为人体姿态估计器，对所有视频信息进行逐帧提取，以获取对应的骨架序列。每帧提取了人体的25个关节的位置坐标，都以(x,y)的形式表示。为了统一模型的输入序列长度，设置每个骨架序列的前50帧为输入的视频长度。若有视频长度不足50帧，则用0进行补齐。之后，为每个视频执行z-score标准化以统一量度。最后，基于从视频中提取出的骨架序列的2D关节信息，再由两两自然连接的关节之间的坐标差计算得到骨骼信息。
步骤S3、基于所述关节信息和所述骨骼信息训练自监督度量图卷积网络；所述了自监督度量图卷积网络用于输出所述视频信息中的起立动作针对各个类别的预测概率，包括关节流网络和骨骼流网络；所述关节流网络和所述骨骼流网络均包括9个时空单元；每个时空单元均由空间图卷积和时间卷积构成。
如图3所示，本发明的SSM-GCN模型集成了关节流网络和骨骼流网络。所述关节流网络和所述骨骼流网络均包含了9个时空单元。每个时空单元均由空间图卷积和时间卷积(经典的τ×1卷积)构成。输入输出通道数相同的时空单元中被嵌入了顶点特异的空间图卷积操作，以自适应地挖掘并表达不同顶点在当前任务中的重要性。其他的时空单元采用普通的空间图卷积。在预训练过程中，基于度量学习的模式，使用了所提出的自监督的视频内四元组学习以增强模型的时空敏感性，同时对双流输出的特征施加了图表示监督损失的约束，以增强双流特征的相似性。在微调阶段，使用经过良好优化的预训练的模型作为初始化，并在模型末尾添加全连接层和softmax，通过交叉熵损失来使分类错误最小化，同时也嵌入了图表示监督损失。
于本发明一实施例中，基于所述关节信息和所述骨骼信息训练自监督度量图卷积网络主要由两个阶段构成，即预训练阶段和微调阶段。
31)在预训练阶段，即自监督前置任务训练阶段，其主要目标是提升模型提取空间和时间细粒度特征的表示能力。具体地，基于所述骨架序列对所述关节流网络和所述骨骼流网络进行自监督的视频内四元组学习，并在所述关节流网络和所述骨骼流网络的输出特征上施加图表示监督损失的约束。
其中，自监督的视频内四元组学习(Self-supervised Intra-video QuadrupletLearning，SSIQL) 是在不使用类别标签的情况下，利用空间和时间的先验知识来设计合适的前置任务，通过自 监督学习对模型进行预训练，从而提升模型对骨架序列的空间和时间的表征能力。因此，基 于度量学习的模式，构建与原样本相似的正样本，和与原样本在空间和时间维度分别具有显 著差异的两个负样本，然后通过设计相似性度量目标，来训练模型的时空鉴别力。
现有技术中，图卷积操作通常采用以下形式：
Figure BDA0003272719470000081
其中，
Figure BDA0003272719470000091
是有V个节点和Cin个通道的输入特征矩阵，
Figure BDA0003272719470000092
是输出特征矩阵。
Figure BDA0003272719470000093
为图的邻接矩阵，维度为V×V，其中A代表不同节点之间的连接，I代表节点的自连接。
Figure BDA0003272719470000094
为
Figure BDA0003272719470000095
的度矩阵。
Figure BDA0003272719470000096
是可训练的滤波器参数矩阵，由所有顶点共享，用于在通道维度上将图中每个顶点的Cin维特征映射为Cout维特征。也就是说，每一个顶点的参数矩阵都是
Figure BDA0003272719470000097
因此每个顶点的特征都基于相同的可训练滤波器参数
Figure BDA0003272719470000098
进行变换。因此，
Figure BDA0003272719470000099
不具有顶点特异性，即无法对不同的顶点适应性地使用不同的参数进行特征变换。
故为了解决这个局限性，本发明提出了顶点特异的空间图卷积操作，可以公式化为：
Figure BDA00032727194700000910
其中，⊙是逐元素乘积运算。
Figure BDA00032727194700000911
是可训练的权重参数矩阵，具有与输入特征矩阵X相同的维度。因此，过程
Figure BDA00032727194700000912
可以为每个顶点的每个通道都分配特异性的权重，并且随模型的训练自适应地更新，进而在保持通道特异性的基础上，自适应地区分图中各个顶点的重要性。
根据人体骨架的自然连接，若关节i和j相连，则邻接矩阵中的元素Aij＝1，否则Aij＝0。因此，
Figure BDA00032727194700000913
实现了对人体空间结构关系的自然表征。然而，人在执行动作时，一些在人体骨架中没有连接的关节之间也存在潜在的联系，这些联系对动作的表征与识别也非常重要。因此，本发明引入了掩模
Figure BDA00032727194700000914
它对于网络的每个图卷积层是不同的，并且是可训练的模型参数，使图的邻接矩阵在人体自然连接的基础上，继续挖掘并添加与动作任务相关的关节连接。在这种情况下，公式(8)中常规的图卷积操作可表示为：
Figure BDA00032727194700000915
进一步地，公式(9)中所提出的顶点特异的空间图卷积操作可以表示为：
Figure BDA00032727194700000916
因此，如公式(11)所示的顶点特异的空间图卷积操作不仅可以随模型训练挖掘与当前任务相关的空间结构关系，还可以自适应地分配顶点特异、通道特异的可训练权重参数，进而有效地聚合人体骨架序列的空间特征。
于本发明一实施例中，如图4所示，对所述骨架序列进行自监督的视频内四元组学习包括以下步骤：
a)基于相似变换的数据增强算法(Data Augmentation Based on SimilarityTransformation， DABST)，生成与所述骨架序列在时间和空间的全局上下文相似的正样本，并将所述骨架序列作为锚样本。
具体地，构建正样本的基本思想是通过数据增强来保持原视频中所包含的运动语义基本不变。将图像中的随机相似变换应用于视频中的每一帧，来完成视频的数据增强。设每个视频提取出的骨架序列的帧长度为T，为第1帧和第T帧分别随机采样一个较小的旋转、x方向平移、y方向平移和缩放候选因子，表示为{a1，aT},{t_x1，t_xT},{t_y1，t_yT}和{s1，sT}。由于它们全为0时和原视频一样，因此这些因子限制不全为0。为了模拟视频中时间维度上运动变化的平滑性，依据帧序列的长度，对第1帧和第T帧之间的所有中间帧通过等间隔采样创建候选因子序列。因此，第t帧的旋转、x方向平移、y方向平移和缩放候选因子可以分别表示为：
Figure BDA0003272719470000101
Figure BDA0003272719470000102
Figure BDA0003272719470000103
Figure BDA0003272719470000104
最终，对于第t帧中每个关节的位置坐标{x，y}，共有如上四个自由度at,t_xt,t_yt和st，其相似变换结果{x’，y’}可以通过下式得到：
Figure BDA0003272719470000105
对每一帧都执行如上所述的坐标系的旋转、平移和缩放变换操作，即可得到视频的相似变换结果，完成数据增强。在这种方式下，空间和时间的全局上下文都得以保持。
b)基于空间全局扰动算法，生成与所述骨架序列具有相同的时间上下文、具有差异性的空间上下文的空间负样本。
具体地，使用空间全局扰动算法(Spatial Global Disorder，SGD)生成具有相同的时间上下文，但具有差异性的空间上下文的空间负样本。设人体骨架包含了S个关节点，关节点集合可表示为V＝{v1，v2，...，vS}。以每个视频为单位，关节点序列的索引{1，2，...，S}被随机打乱，然后依据新的索引将当前视频的关节重新排序，进而构造空间维度上随机排序的骨架序列。
c)基于时间全局扰动算法，生成与所述骨架序列在时间上混乱、具有正常空间上下文的时间负样本。
具体地，使用时间全局扰动算法(Temporal Global Disorder，TGD)生成时间上混乱、但具有正常空间上下文的时间负样本。设当前视频的帧集合为F＝{f1，f2，...，fT}，将帧序列的索引{1，2，...，T}进行随机排序，进而构造时间维度上随机混乱的帧序列。
d)将所述锚样本、所述正样本、所述空间负样本和所述时间负样本均输入所述关节流网络和所述骨骼流网络，使得所述关节流网络和所述骨骼流网络满足预设的损失函数目标。
具体地，采用基于度量学习的四元组损失函数作为目标函数来优化自监督学习过程。将原骨架序列视为锚样本，其经过数据增强之后得到了正样本，经过时间和空间全局扰动之后分别得到了时间负样本和空间负样本。将这四个样本分别经过双流网络，然后将来自同一个样本的双流表示z’Joint和z’Bone在通道维度上拼接得到z’，之后，通过下式进行基于欧几里得范数的归一化即可得到最终的特征表示z：
Figure BDA0003272719470000111
其中，z’和z分别代表归一化前后的特征表示，C是通道(即特征)数量。最后，四元组损失的计算过程可以表示如下：
Figure BDA0003272719470000112
其中，N表示批大小，d(·，·)代表两个样本所得表示之间的距离(即，相似性度量)，通过 d(x，y)＝||x-y||2进行计算。a,p,nt,ns分别代表锚、正、时间负和空间负样本。margin1和 margin2是两个间隔参数。该损失函数的目标是，将锚样本、正样本对和锚、时间负样本对之间的相对距离最大化，以增强时间敏感性，同时最大化锚样本、正样本对和时间、空间负样本对之间的相对距离，使时间负样本、空间负样本对之间的最小距离都需要大于锚和正样本对之间的最大距离，以强制区分时间负样本和空间负样本，同时增强时间和空间敏感性。
由于模型有关节和骨骼流这两个流构成，它们最终都是为了同一个目标服务。故本发明还设计并嵌入了关节图表示和骨骼图表示之间的监督信号。如图5所示，本发明利用图表示监督损失对两个流提取的高级特征进行约束，对它们之间的潜在一致性关系进行建模。具体地，对于样本i，首先求解了两个流输出的图表示z’Joint和z’Bone之间的一致性概率(注意在自监督学习的预训练中，仅考虑锚样本)：
Pi＝δ([z’Joint(i),z’Bone(i)]w) (12)
其中，z’Joint和z’Bone分别是双流框架输出的特征表示。[·，·]是拼接操作，用来将两个特征矩阵沿特征维度拼接。w是可训练的权重参数，用于融合双流图表示。δ(·)是sigmoid函数，用于将融合后双流图表示映射为一个在[0,1]之间的概率值Pi，可以代表关节图和骨骼图表示之间的一致性强弱。
理想情况下，Pi的值越大，即越靠近1，则双流图表示之间的一致性越强，反之则越弱。因此，图表示监督损失可以表示为：
Figure BDA0003272719470000121
其中，其中，N是批大小，
Figure BDA0003272719470000122
是根据公式(12)计算得到的双流图表示之间的一致性概率矩阵，每个样本产生一个最终概率值。
Figure BDA0003272719470000123
是全1矩阵，代表理想情况下的双流图表示之间的一致性。Dist是将J与P逐元素相减得到的结果，衡量了两者之间的距离。通过最小化公式(13)，可以缩小当前一致性概率矩阵与理想的完美一致性矩阵之间的距离，进而最大化网络所提取的关节图表示和骨骼图表示之间的一致性关系，促进双流特征下相似性学习。
自监督前置任务训练阶段是自监督的视频内四元组学习过程，主要目标是提升模型提取空间和时间细粒度特征的表示能力。模型的成本函数为：
Figure BDA0003272719470000124
其中，λ是平衡图表示监督损失项的超参数。
32)在微调阶段，即有监督的分类任务训练阶段，将所述自监督的视频内四元组学习获取的参数作为所述关节流网络和所述骨骼流网络的初始参数，基于所述关节信息和所述骨骼信息训练所述所述关节流网络和所述骨骼流网络，并将所述关节流网络和所述骨骼流网络的输出拼接后输入全连接层和softmax。在该阶段，成本函数由交叉熵项和图表示监督损失项共同构成，表示为：
Figure BDA0003272719470000125
其中，yi和
Figure BDA0003272719470000126
分别是第i个样本的的真实标签和预测标签，<·，·>为点积运算。
步骤S4、基于训练好的自监督度量图卷积网络获取待评估的帕金森患者起立动作的针对各个类别的预测概率，选取预测概率最大的类别为所述待评估帕金森患者的评估类别。
具体地，对于待评估的帕金森患者起立动作，输入训练好的自监督度量图卷积网络，可获取其针对各个类别的预测概率，并选取预测概率最大的类别为所述待评估帕金森患者的评估类别。
对于评估结果，可以报告每类和总体准确率(Acc，预测正确的样本数/总样本数)、可接受准确率(Acceptable Acc，预测错误不超过1的样本数/总样本数)、每类和五类平均的精确率、召回率、F1分数和受试者工作特征曲线(ROC)和曲线下的面积(AUC)。其中，可接受准确率反映了临床中的实际情况，即由于不同神经科医生评分的主观差异性和 MDS-UPDRS量表的自然属性[，被预测为相邻评分的评估结果往往被认为是可接受的。
下面通过具体实施例来验证本发明的帕金森病起立任务的评估方法。
表1展示了本发明的帕金森病起立任务的评估方法对各类别和总体预测性能的评估指标。各类别实现了很好的分类性能，准确率都高于50％。图6(a)展示了表2所示结果的ROC 曲线，各类别的曲线都比较接近左上角，曲线下的面积(即AUC)均大于0.80，具有较高的预测准确性。可知，本发明的帕金森病起立任务的评估方法实现了70.60％的总体准确率和 98.65％的总体可接受准确率。如图6(b)的混淆矩阵，预测结果与真实标签存在差异的样本大多被分到了相邻的类别，这与MDS-UPDRS的属性和不同医生的主观评分差异是一致的。
表1、本发明的性能参数
Figure BDA0003272719470000131
为了阐明本发明的SSM-GCN的各个组件的贡献，将从SSM-GCN中去掉SSIQL、VSGCO和GRSL之后的网络作为基线网络，报告了在基线网络上分别添加了三个组件的分类结果。消融比较结果如表2所示。显然，各个组件都带来了准确率的提升，这表明了这三个组件对提高模型的性能都做出了重要贡献。此外，本发明将各组消融比较都进行了十次重复试验，并且执行了单尾配对样本t检验，以验证各组件带来的性能提升的显著性，结果如图7所示。实验结果表明，本发明在准确率数值上波动很小，具有良好的稳定性和可靠性。相较于基线网络，SSM-GCN在准确率上的提升非常显著。
表2、本发明的消融实验结果
Figure BDA0003272719470000141
将本发明与先进的基于骨架的动作识别方法在起立评估任务上的表现进行了比较，分类结果报告如表3所示。与基于卷积神经网络(CNN)的方法比，基于GCN的方法都具有明显的优势，表明了GCN在建模人体骨架序列上的适应性和优越性。在基于GCN的对比方法中，本发明所提出的SSM-GCN达到了最先进的性能，分别在准确率上优于ST-GCN(空间时间图卷积网络)、Js-AGCN(双流自适应图卷积网络中的关节流)、Bs-AGCN(双流自适应图卷积网络中的骨骼流)、2s-AGCN(双流自适应图卷积网络)和Motif-STGCN(基于主题的空间时间图卷积网络)2.13％、3.87％、5.80％、3.10％和6.00％，并且在其他评估指标上也始终超越其他对比方法。
表3、本发明与其他先进的基于骨架的动作识别模型的对比结果
Figure BDA0003272719470000142
如表4所示，将本发明与先前的对帕金森患者起立任务的自动MDS-UPDRS评分的工作进行了比较。据调查，目前仅有的两个相关工作都是利用传感器来收集运动数据，然后使用kNN进行运动学特征的分类，最终分别取得了大约65％和43％的分类准确率，可接受准确率也都在90％以上。然而，可以从表4可知，与已有的基于传感器的方法相比，本发明在准确率和可接受准确率上都实现了有竞争力的结果。尽管数据集不同，但本发明使用的数据集中的样本数高出十倍以上，故在更大的数据集上获得了更准确、可靠的表现。
表4、本发明与起立任务的其他自动评估研究的对比结果
Figure BDA0003272719470000151
如图8所示，于一实施例中，本发明的帕金森病起立任务的评估系统包括获取模块81、提取模块82、训练模块83和评估模块84。
所述获取模块81用于获取包含帕金森病患者起立动作的视频信息，所述起立动作为执行起立任务评估所需的标准动作。
所述提取模块82与所述获取模块81相连，用于从所述视频信息提取帕金森患者的骨架序列，基于所述骨架序列提取关节信息和骨骼信息。
所述训练模块83与所述提取模块82相连，用于基于所述关节信息和所述骨骼信息训练自监督度量图卷积网络；所述了自监督度量图卷积网络用于输出所述视频信息中的起立动作针对各个类别的预测概率，包括关节流网络和骨骼流网络；所述关节流网络和所述骨骼流网络均包括9个时空单元；每个时空单元均由空间图卷积和时间卷积构成。
所述评估模块84与所述训练模块83相连，用于基于训练好的自监督度量图卷积网络获取待评估的帕金森患者起立动作的针对各个类别的预测概率，选取预测概率最大的类别为所述待评估帕金森患者的评估类别。
其中，获取模块81、提取模块82、训练模块83和评估模块84的结构和原理与上述帕金森病起立任务的评估方法中的步骤一一对应，故在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器 (Digital Signal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称 SOC)的形式实现。
本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的帕金森病起立任务的评估方法。优选地，所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图9所示，于一实施例中，本发明的帕金森病起立任务的评估终端包括：处理器81和存储器92。
所述存储器92用于存储计算机程序。
所述存储器92包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器91与所述存储器92相连，用于执行所述存储器92存储的计算机程序，以使所述帕金森病起立任务的评估终端执行上述的帕金森病起立任务的评估方法。
优选地，所述处理器91可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明的帕金森病起立任务的评估方法及系统、存储介质及终端仅使用普通的摄像头即可搜集患者的运动数据，这种模式易于迁移到所有场景中，进一步提升了远程评估的可行性；数据集来自于临床实践中搜集的患者的评估视频，数据集较大，评估性能出色；使用的自监督深度学习方案显著地增强了模型对起立视频的自动时空特征提取能力，并且融合了VSGCO和GRSL，准确率大大优于传统的特征工程方法；利用动作的空间和时间知识构建正负样本对，通过四元组的度量学习来同时提升模型学习对空间和时间的敏感性；通过为每个关节、每个关节的不同特征分配特异性的自适应权重参数，实现了关节特异的空间特征聚合；通过最大化双流特征表示之间的一致性，促进了分类任务中双流特征的相似性和判别性学习。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种帕金森病起立任务的评估方法，其特征在于：包括以下步骤：
获取包含帕金森病患者起立动作的视频信息，所述起立动作为执行起立任务评估所需的标准动作；
从所述视频信息提取帕金森患者的骨架序列，基于所述骨架序列提取关节信息和骨骼信息；
基于所述关节信息和所述骨骼信息训练自监督度量图卷积网络；所述了自监督度量图卷积网络用于输出所述视频信息中的起立动作针对各个类别的预测概率，包括关节流网络和骨骼流网络；所述关节流网络和所述骨骼流网络均包括9个时空单元；每个时空单元均由空间图卷积和时间卷积构成；
基于训练好的自监督度量图卷积网络获取待评估的帕金森患者起立动作的针对各个类别的预测概率，选取预测概率最大的类别为所述待评估帕金森患者的评估类别。
2.根据权利要求1所述的帕金森病起立任务的评估方法，其特征在于：基于人体姿态估计模型OpenPose从所述视频信息提取所述骨架序列，基于所述骨架序列提取所述关节信息，基于两两自然连接的关节之间的坐标差提取所述骨骼信息。
3.根据权利要求1所述的帕金森病起立任务的评估方法，其特征在于：基于所述关节信息和所述骨骼信息训练自监督度量图卷积网络包括以下步骤：
基于所述骨架序列对所述关节流网络和所述骨骼流网络进行自监督的视频内四元组学习，并在所述关节流网络和所述骨骼流网络的输出特征上施加图表示监督损失的约束；
将所述自监督的视频内四元组学习获取的参数作为所述关节流网络和所述骨骼流网络的初始参数，基于所述关节信息和所述骨骼信息训练所述所述关节流网络和所述骨骼流网络，并将所述关节流网络和所述骨骼流网络的输出拼接后输入全连接层和softmax。
4.根据权利要求3所述的帕金森病起立任务的评估方法，其特征在于：对所述骨架序列进行自监督的视频内四元组学习包括以下步骤：
基于相似变换的数据增强算法，生成与所述骨架序列在时间和空间的全局上下文相似的正样本，并将所述骨架序列作为锚样本；
基于空间全局扰动算法，生成与所述骨架序列具有相同的时间上下文、具有差异性的空间上下文的空间负样本；
基于时间全局扰动算法，生成与所述骨架序列在时间上混乱、具有正常空间上下文的时间负样本；
将所述锚样本、所述正样本、所述空间负样本和所述时间负样本均输入所述关节流网络和所述骨骼流网络，使得所述关节流网络和所述骨骼流网络满足预设的损失函数目标。
5.根据权利要求4所述的帕金森病起立任务的评估方法，其特征在于：所述损失函数目标为令锚样本、正样本对和锚样本、时间负样本对之间的相对距离最大化，令锚样本、正样本对和时间负样本、空间负样本对之间的相对距离最大化，令时间负样本、空间负样本对之间的最小距离大于锚样本、正样本对之间的最大距离。
6.根据权利要求3所述的帕金森病起立任务的评估方法，其特征在于：基于所述关节信息和所述骨骼信息训练所述所述关节流网络和所述骨骼流网络时，成本函数由交叉熵项和图表示监督损失项共同构成。
7.根据权利要求1所述的帕金森病起立任务的评估方法，其特征在于：所述时空单元中，输入和输出通道数相同的时空单元中采用顶点特异的空间图卷积。
8.一种帕金森病起立任务的评估系统，其特征在于：包括获取模块、提取模块、训练模块和评估模块；
所述获取模块用于获取包含帕金森病患者起立动作的视频信息，所述起立动作为执行起立任务评估所需的标准动作；
所述提取模块用于从所述视频信息提取帕金森患者的骨架序列，基于所述骨架序列提取关节信息和骨骼信息；
所述训练模块用于基于所述关节信息和所述骨骼信息训练自监督度量图卷积网络；所述了自监督度量图卷积网络用于输出所述视频信息中的起立动作针对各个类别的预测概率，包括关节流网络和骨骼流网络；所述关节流网络和所述骨骼流网络均包括9个时空单元；每个时空单元均由空间图卷积和时间卷积构成；
所述评估模块用于基于训练好的自监督度量图卷积网络获取待评估的帕金森患者起立动作的针对各个类别的预测概率，选取预测概率最大的类别为所述待评估帕金森患者的评估类别。
9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述的帕金森病起立任务的评估方法。
10.一种帕金森病起立任务的评估终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述帕金森病起立任务的评估终端执行权利要求1至7中任一项所述的帕金森病起立任务的评估方法。
CN202111106752.2A 2021-09-22 2021-09-22 帕金森病起立任务的评估方法及系统、存储介质及终端 Pending CN114140816A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111106752.2A CN114140816A (zh) 2021-09-22 2021-09-22 帕金森病起立任务的评估方法及系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111106752.2A CN114140816A (zh) 2021-09-22 2021-09-22 帕金森病起立任务的评估方法及系统、存储介质及终端

Publications (1)

Publication Number Publication Date
CN114140816A true CN114140816A (zh) 2022-03-04

Family

ID=80394928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111106752.2A Pending CN114140816A (zh) 2021-09-22 2021-09-22 帕金森病起立任务的评估方法及系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN114140816A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453648A (zh) * 2023-06-09 2023-07-18 华侨大学 基于对比学习的康复运动质量评估系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453648A (zh) * 2023-06-09 2023-07-18 华侨大学 基于对比学习的康复运动质量评估系统
CN116453648B (zh) * 2023-06-09 2023-09-05 华侨大学 基于对比学习的康复运动质量评估系统

Similar Documents

Publication Publication Date Title
Mahmud et al. Human activity recognition from wearable sensor data using self-attention
CN111382679B (zh) 帕金森病步态运动障碍严重程度的评估方法、系统及设备
CN112101176B (zh) 一种结合用户步态信息的用户身份识别方法及系统
CN111274998B (zh) 帕金森病手指敲击动作识别方法及系统、存储介质及终端
US20110282828A1 (en) Method of identification and devices thereof
Hsueh et al. Human behavior recognition from multiview videos
Guo et al. Sparse adaptive graph convolutional network for leg agility assessment in Parkinson’s disease
Nguyen-Thai et al. A spatio-temporal attention-based model for infant movement assessment from videos
CN111539941B (zh) 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端
CN110956139B (zh) 一种基于时间序列回归预测的人体运动动作分析方法
CN113901891A (zh) 帕金森病握拳任务的评估方法及系统、存储介质及终端
Hoelzemann et al. Data augmentation strategies for human activity data using generative adversarial neural networks
CN111680660B (zh) 基于多源异构数据流的人体行为检测方法
WO2022236175A1 (en) Infant 2d pose estimation and posture detection system
Martinez-del-Rincon et al. Generalized Laplacian eigenmaps for modeling and tracking human motions
Kumar et al. Human activity recognition (har) using deep learning: Review, methodologies, progress and future research directions
CN114140816A (zh) 帕金森病起立任务的评估方法及系统、存储介质及终端
Ma et al. Fine-grained unsupervised temporal action segmentation and distributed representation for skeleton-based human motion analysis
Kiciroglu et al. Long term motion prediction using keyposes
Sun et al. Higher order polynomial transformer for fine-grained freezing of gait detection
Ma et al. Multi-scale dynamic graph learning for brain disorder detection with functional MRI
Ishwarya et al. Performance-enhanced real-time lifestyle tracking model based on human activity recognition (PERT-HAR) model through smartphones
Xu et al. Skeleton-based tai chi action segmentation using trajectory primitives and content
Albuquerque et al. Remote Pathological Gait Classification System
Khessiba et al. Improving Knee Osteoarthritis Classification with Markerless Pose Estimation and STGCN Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination