CN111539941B - 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端 - Google Patents

帕金森病腿部灵活性任务评估方法及系统、存储介质及终端 Download PDF

Info

Publication number
CN111539941B
CN111539941B CN202010346120.2A CN202010346120A CN111539941B CN 111539941 B CN111539941 B CN 111539941B CN 202010346120 A CN202010346120 A CN 202010346120A CN 111539941 B CN111539941 B CN 111539941B
Authority
CN
China
Prior art keywords
joint
space
parkinson
time
disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010346120.2A
Other languages
English (en)
Other versions
CN111539941A (zh
Inventor
钱晓华
郭睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010346120.2A priority Critical patent/CN111539941B/zh
Publication of CN111539941A publication Critical patent/CN111539941A/zh
Application granted granted Critical
Publication of CN111539941B publication Critical patent/CN111539941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种帕金森病腿部灵活性任务评估方法及系统、存储介质及终端，包括以下步骤：获取包含帕金森病患者腿部灵活性动作的视频信息；基于视频信息获取帕金森病患者的骨架序列；基于骨架序列构建关节时空图和关节运动时空图；将关节时空图和关节运动时空图分别输入一个具有模型驱动的稀疏化元图卷积的时空残差注意力网络，分别获取关节流和关节运动流输出的各个评估分值下的概率值；针对各个评估分值，计算关节流和关节运动流的权重相加融合得到的概率值，选取概率值最高的评估分值为评估分值。本发明的帕金森病腿部灵活性任务评估方法及系统、存储介质及终端基于深度学习技术实现了帕金森病腿部灵活性任务的自动量化评估。

Description

帕金森病腿部灵活性任务评估方法及系统、存储介质及终端
技术领域
本发明涉及动作识别的技术领域，特别是涉及一种帕金森病腿部灵活性任务评估方法及系统、存储介质及终端。
背景技术
帕金森病(Parkinson’s Disease，PD)是全球第二大最常见的老年慢性神经退行性疾病。由于人口老龄化问题逐渐严重，预计帕金森病会带来巨大的社会和经济负担。PD会导致患者的运动能力逐渐下降，因此，对PD患者运动能力的评估是临床诊断和干预治疗的重要依据。神经病学家通常使用统一帕金森病评定量表(Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale，MDS-UPDRS)来评估PD患者的运动症状。腿部灵活性任务是MDS-UPDRS的重要组成部分之一，它在下肢运动障碍严重程度的评估中非常重要。先前的研究表明，客观的腿部灵活性任务的动作参数可以很好地预测PD 的严重程度，从而提供患者的健康状况信息。在该测试中，患者需要将每条腿分别以最大的幅度和最快的速度抬高踏地。神经病学家根据患者的动作速度、幅度、有无迟疑和停顿、有无幅度的逐渐缩小等因素来给出评估分数，分数范围为0-4。
然而，临床实践中的这种评估方式存在着多种局限性。首先，虽然量表中描述的动作评估特征非常直接、具体，但实践中的定量评估却通常依赖于神经病学家的经验。因此神经病学家之间的先验评分存在着不一致性，并且完成一次完整的评估需要花费半个小时。其次， PD常见于老年人群体中，它在运动功能上的症状会使患者的行动变得困难，因此患者难以实现经常性的随访以实现病情的定期监测。
PD运动症状的自动化评估为上述问题的解决提供了新的思路，不仅可以实现客观的评估，避免不同人员评分的不一致性，也有利于PD远程医疗的实现。尤其是在公共卫生紧急事件中，PD患者难以获得及时的诊断或随访。PD自动化运动评估系统的开发与应用变得非常迫切。
现有技术中，PD运动任务的自动评估的实现主要利用了运动学特征与症状严重程度之间存在的既定关联性。目前大部分研究主要是基于可穿戴传感器和光学设备来提取运动学参。例如，Patel等人使用了加速度计的数据特征，通过支持向量机分类器确定了评估震颤、运动迟缓和运动障碍的严重程度的最佳的时间窗口、合适的运动任务和特征类型的不同组合。 Ramsperger等人基于患者踝关节上单个惯性传感器在不同运动阶段测量的数据，开发了分类算法，从而根据UDysRS量表中“腿运动障碍”的临床评分，检测和评估患者腿部运动障碍的存在和严重程度。Bank等人利用光学手部跟踪技术提供手腕、手指关节和指尖的实时3D 坐标，并计算了运动学变量，然后使用组内相关系数进行了定量分析，显示了潜在地量化 PD中运动迟缓成分的潜力。Ferraris等人通过光学RGB深度设备的骨架跟踪功能跟踪了手和身体的运动，并计算了相关运动学参数，在特征选择之后使用五个支持向量机分类器分别对 3个上肢任务和2个下肢任务实现了量化评估。近年来，随着深度学习技术的迅速发展，已有学者开始探索将通过深度学习建立的姿态估计模型用于PD视频的评估中，以提取各个关节的2D关节点坐标，并通过运动轨迹计算运动学参数，然后再使用机器学习分类器进行量化评估。例如，Li等人针对四个不同的量表任务，使用卷积姿态机(Convolutional Pose Machines，CPM)算法从视频中提取了关节的运动轨迹，并计算了相关特征参数，最后通过随机森林进行了分类和回归分析，以检测病理运动和预测PD或左旋多巴诱发的运动障碍 (Levodopa-induced Dyskinesia，LID)严重程度的临床等级。Liu等人执行了手部姿态估计并提取了运动学特征，然后使用支持向量机作为分类器，生成了评分等级，实现了三个上肢运动迟缓相关任务的量化评估。
在PD腿部灵活性任务的自动评估中，已有的相关研究也集中在以上三类方法，即基于可穿戴传感器、光学设备、视频的方法。Giuberti等人使用穿戴式无线惯性节点组成的人体传感器网络(Body Sensor Network，BSN)，在时域和频域上提取了相关的运动学特征，然后使用K最近邻分类器(K-Nearest-Neighbor，kNN)分别获得了<40％(仅基于时域)和<50％ (基于时域和频域)的准确率。Parisi等人也基于类似的传感器技术，在时域和频域提取了运动学特征集合，然后用主成分分析减少特征冗余度，最后应用kNN实现了43％的准确率。 Ferraris等人通过光学RGB深度设备Microsoft Kinect SDK提供的髋关节、膝盖和脚踝的3D 关节坐标计算了角度、速度、时间等运动学参数并进行了特征选择，然后通过支持向量机 (Support Vector Machine，SVM)实现了60％的评估准确率。Li等人使用CPM从评估视频中提取了关节的2D坐标，然后为每个关节轨迹计算了32个特征(15个运动学特征、16个频谱特征、凸包)，最后通过随机森林进行回归分析以预测症状严重程度的临床等级，得到的皮尔森相关系数为0.618。
尽管上述方法在PD腿部灵活性任务中取得了可观的成果，但依然存在着诸多局限性。在基于传感器的方法中，尽管可穿戴式传感器可以通过无线的方式实现，但它们仍需与患者的身体进行物理接触，这种侵入性会对患者的运动产生干扰。此外，为保证测量的持续的准确性和统一性，传感器往往需要定期进行标定和校准，这会为行动不便的PD患者带来麻烦。与可穿戴式传感器相比，尽管光学设备具有较小的侵入性，但它需要较为专业的标定过程。这在远程医疗的实现中是不容易普及的，尤其是在突发的事件下(例如新冠肺炎疫情)。然而，基于视觉的评估仅需要带有普通摄像头的设备(如智能手机)即可捕获视频数据(如图1所示)，这种数据采集方式是非接触式的，并且易于在远程医疗的实现中进行普及。虽然已有相关研究基于视频数据进行了腿部灵活性任务的评估，但他们采取了人工定义特征的方式进行特征提取，这种方式难以获得全部的判别性信息。深度学习技术允许模型学习具有多个抽象级别的数据表示，能够提取数据集中复杂的判别性特征，为基于视觉的PD腿部灵活性任务的自动量化评估提供了新的解决思路。
一般而言，在诸如腿部灵活性任务这样的人类行为中，动态的人体骨架通常传达着重要的信息，并且可以屏蔽背景、光照等环境因素的干扰。视频中的骨架形态可以由每帧中人体关节点的2D坐标表示，然后通过对这一时间序列建模以识别动作信息。早期的建模方法大多依靠人工定义的部件或规则来分析动态骨架的空间模式，但骨架形态不是规则的2D或3D 网格，这种方式难以自动捕获嵌入在骨架空间拓扑图中的特征。Yan等人首次提出了将基于图的神经网络应用于人体骨架行为识别的方法，并将图神经网络扩展到了时空图卷积网络 (Spatial-Temporal Graph Convolutional Network，ST-GCN)，实现了基于图模型建模动态骨架的通用方法。
然而，使用基于图模型的深度学习技术实现腿部灵活性任务的量化评估依然面临着以下三个挑战：
1)常规的图卷积运算常被用于建模人体动态骨架序列的空间结构信息，但它只能定义单一的图结构，并聚合单一类型的关节点属性，因而难以考虑不同属性和结构的相互作用，并且图中关节点的属性和结构特征具有冗余性。然而，在腿部灵活性任务中，左下肢和右下肢之间的外在依赖关系非常重要，尤其是左脚踝和右脚踝的连接，这对自适应依赖性的建模和判别性特征的挖掘提出了更高的要求；
2)在腿部灵活性任务中，医生往往需要根据患者动作执行的前后变化来评分，即通过视频中时间点之间的远程依赖关系进行全局评估，但以往的动作识别研究中往往集中于对有判别意义的时间段的选择，很少研究时序关系的前后联系；
3)时空关系的建模是视频分析中的重要步骤，有助于捕捉判别性的时空特征；注意力机制常被用于时空关系的建模，但仅突出时空特征会丢失静态的空间结构信息，并且注意力权重映射通常是通过添加额外的空间或时间可学习层得到的，这不仅会割裂时空的共现性，还会带来更多的参数计算成本。
人体的动作执行过程可以通过深度传感器或姿态估计算法抽象出由关节坐标表示的动态骨架序列，然后通过分析该序列即可实现人体动作的识别。使用骨架进行动作识别的早期方法大多依赖于通过事先定义的规则来分析人体空间模式，如Du等人提出了一种端到端分层循环神经网络(Recurrent Neural Network，RNN)，根据人体的物理结构将其分为五个部件并分别馈入五个子网，从而进行分层融合以得到更高层的输入表示。Liu等人提出了一种基于树结构对人体骨骼进行遍历的方法，然后在长期短期记忆(Long Short TermMemory，LSTM) 网络中引入了新的门控机制，从而实现人体动作识别。由于人体骨架可以简化为一个由点 (即关节)和边(即骨骼)所构成的图，并不是一个规则的网格结构，上述方法难以动态建模人体骨架拓扑图的空间自然连通性，如不同关节之间的信息交流。为此，Yan等人首次利用了图模型强大的空间特征抽取能力，将人体骨架序列构建为时空图，利用图卷积的空间交互性来隐式地学习人体骨架的空间连通信息，并通过常规卷积来叠加时间动态信息，从而有效地学习更好的动作表示。Tang等人通过深度渐进强化学习方法提取了关键帧，然后通过图卷积学习关节之间的空间依赖性，不仅建模了每个关节的自连接和关节之间的物理连接，还通过预定义邻接矩阵的方式同时考虑了关节之间的断开关系。Thakkar等人将人体骨架划分为四个子图，并在它们之间共享关节，然后使用基于部件的图卷积网络实现动作识别，并引入关节的相对坐标和时间位移来提升性能。Shi等人设计了新的邻接矩阵策略，以自适应地学习不同网络层和骨架样本的图结构，通过这种数据驱动方法增加了图构建的灵活性，并通过双流网络同时对骨骼信息进行了建模。Shi等人将骨架表示为基于人体关节和骨骼之间运动依赖性的有向无环图，并通过一种新颖的有向图神经网络进行空间信息和运动信息的建模。Wen等人设计了一种基于motif的图卷积网络(GraphConvolutional Network，GCN)来编码分层空间结构，以同时建模关节的物理连接和断开连接。
尽管上述方法逐步拓展了图模型在骨架动作识别中的应用，并取得了很好的性能。但在建模关节之间的物理和断开依赖性时依然缺乏全局自适应性，并且图结构的特征也具有冗余性。故上述方法缺乏自适应的外在依赖关系建模和自动过滤非判别性特征的约束。
基于视频的人体动作识别是计算机视觉中的重要分支，提取判别性的时空特征以对时空关系有效地建模，在动作识别任务中起着关键作用。在基于RGB帧或光流的动作识别任务中，大多数方法会通过设计注意力模块来增强时空关系，例如，Du等人设计了新颖的时空注意模块以增强LSTM网络，在每个时间步都从所有视频帧中自适应地识别关键特征，以自动学习时空动作表示。Li等人设计了一个通用的注意力神经元，从而估计每个空间位置的注意力概率，以及时间序列中每个视频片段的注意力概率。Yu等人提出了一种空间注意力模块，以关注空间上的显著部分，并引入了一个基于LSTM的双向时间注意力模块，以关注关键的视频序列。在基于骨架的动作识别任务中，一部分研究提出使用注意力模块来改进原始的LSTM网络，以关注每一帧中的判别性关节；大多数研究使用ST-GCN作为基础框架，即使用图卷积建模空间特征，普通的卷积建模时间动态信息。在ST-GCN的基础上，Wu等人进一步提出了一个跨域空间残差层以有效地捕获时空信息，并引入了密集连接块以提高特征的健壮性。Wen等人提出了包含不同内核大小的可变时域密集块，以捕获不同范围内的时间特征。
尽管上述研究提出了多种建模视频序列的时空关系的方式，但它们往往分别提取了空间和时间的判别性特征，存在着时空割裂性，并且都需要添加额外的注意力机制，这带来了不必要的计算和存储开销。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种帕金森病腿部灵活性任务评估方法及系统、存储介质及终端，基于从视频中提取的人体关节点构成的骨架序列，使用深度学习技术实现PD腿部灵活性任务的自动量化评估。
为实现上述目的及其他相关目的，本发明提供一种帕金森病腿部灵活性任务评估方法，包括以下步骤：获取包含帕金森病患者腿部动作的视频信息，所述腿部动作为执行腿部灵活性任务评估所需的标准动作；基于所述视频信息获取所述帕金森病患者的骨架序列，所述骨架序列包含人体关节点坐标信息；基于所述骨架序列构建关节时空图和关节运动时空图；将所述关节时空图和所述关节运动时空图分别输入一个具有模型驱动的稀疏化元图卷积的时空残差注意力网络，分别获取关节流和关节运动流输出的各个评估分值下的概率值；所述具有模型驱动的稀疏化元图卷积的时空残差注意力网络包括预设数量个串联的跨域残差注意力学习模块，所述跨域残差注意力学习模块包括时空特征提取分支、空间特征建模分支和残差注意力自适应学习分支；针对各个评估分值，计算基于所述关节流和关节运动流的权重相加融合得到的概率值，选取概率值最高的评估分值为所述帕金森病患者的腿部灵活性任务的评估分值。
于本发明一实施例中，获取所述人体关节点坐标信息包括以下步骤：
基于人体姿态估计模型OpenPose获取人体关节点坐标；
对所述人体关节点坐标进行min-max标准化，将坐标值映射在[0,1]的区间内，从而得到所述人体关节点坐标信息。
于本发明一实施例中，基于所述骨架序列构建关节时空图和关节运动时空图包括以下步骤：
在所述视频信息的每一帧上将人体自然连接的关节点相连，并将相邻帧中相同关节点相连，以获取所述关节时空图；
对于当前帧上的关节点，将后一帧上对应的关节点坐标减去当前帧上的关节点坐标，以作为当前帧上的关节点坐标；将每一帧上人体自然连接的关节点的坐标相连，并将相邻帧中相同关节点的坐标相连，以获取所述关节运动时空图。
于本发明一实施例中，所述时空特征提取分支包括模型驱动的稀疏化元图卷积单元和自适应时间注意力模块，所述模型驱动的稀疏化元图卷积单元用于对时空图进行空间建模，所述自适应时间注意力模块用于对时空图进行时间建模；所述空间特征建模分支包括模型驱动的稀疏化元图卷积单元；所述残差注意力自适应学习分支用于将高层学习到的时空特征图作为低层输入的注意力掩模，以学习判别性的时空特征。
于本发明一实施例中，所述模型驱动的稀疏化元图卷积单元的权重函数进行L1正则化项的约束。
于本发明一实施例中，所述具有模型驱动的稀疏化元图卷积的时空残差注意力网络的成本函数包括交叉熵项、模型驱动的稀疏化元图卷积单元中的L1正则项和权重衰减项。
对应地，本发明提供一种帕金森病腿部灵活性任务评估系统，包括第一获取模块、第二获取模块、构建模块、预测模块和评估模块；
所述第一获取模块用于获取包含帕金森病患者腿部动作的视频信息，所述腿部动作为执行腿部灵活性任务评估所需的标准动作；
所述第二获取模块用于基于所述视频信息获取所述帕金森病患者的骨架序列，所述骨架序列包含人体关节点坐标信息；
所述构建模块用于基于所述骨架序列构建关节时空图和关节运动时空图；
所述预测模块用于将所述关节时空图和所述关节运动时空图分别输入一个具有模型驱动的稀疏化元图卷积的时空残差注意力网络，分别获取关节流和关节运动流输出的各个评估分值下的概率值；所述具有模型驱动的稀疏化元图卷积的时空残差注意力网络包括预设数量个串联的跨域残差注意力学习模块，所述跨域残差注意力学习模块包括时空特征提取分支、空间特征建模分支和残差注意力自适应学习分支；
所述评估模块用于针对各个评估分值，计算关节流和关节运动流的权重相加融合得到的概率值，选取概率值最高的评估分值为所述帕金森病患者的腿部灵活性任务的评估分值。
本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的帕金森病腿部灵活性任务评估方法。
本发明提供一种帕金森病腿部灵活性任务评估终端，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述帕金森病腿部灵活性任务评估终端执行上述的帕金森病腿部灵活性任务评估方法。
最后，本发明提供一种帕金森病腿部灵活性任务评估系统，包括上述的帕金森病腿部灵活性任务评估终端和视频采集设备；
所述视频采集设备用于采集包含帕金森病患者腿部动作的视频信息，并发送至所述帕金森病腿部灵活性任务评估终端。
本发明的帕金森病腿部灵活性任务评估方法及系统、存储介质及终端，具有以下有益效果：
(1)基于从视频中提取的人体关节点构成的骨架序列，使用深度学习技术实现PD腿部灵活性任务的自动量化评估；
(2)通过元图卷积运算来同时自适应建模关节的物理连接和断开连接，并通过模型驱动的稀疏化策略提取图结构中的判别性特征；
(3)通过跨域残差注意力学习模块，利用网络前向过程中提取的高级时空特征作为注意力映射，引导低级时空特征逐渐关注于判别性区域，不仅保持了时空共现性，也避免了额外的开销；
(4)实现了基于骨架序列的端到端的特征学习方式，在数据预处理时，使用先进的人体姿态估计模型从帕金森病患者的运动评估视频中提取患者的关节点坐标，使患者穿着、拍摄环境的背景和光照等外界条件对模型性能产生的影响较小；
(5)具体实现完全是无接触式的，仅需一个普通的摄像头即可完成数据采集，避免了传感器的侵入性、定期校准的需求和光学设备的专业标定过程，为帕金森病自动评估的实现与普及以及远程医疗的实现提供了方便；
(6)现有技术均采用了从运动轨迹中根据人工定义的规则进行特征提取的方式，并且忽略了人在运动时各关节之间的连通性，本发明所采用的深度学习方案能够以端到端的形式从骨架序列中自动提取特征，并且引入了多种时空建模策略，能够带来更加丰富的细粒度判别性特征。
附图说明
图1显示为帕金森病患者完成一次腿部灵活性动作的过程示意图；
图2显示为本发明的帕金森病腿部灵活性任务评估方法于一实施例中的流程图；
图3显示为本发明的帕金森病腿部灵活性任务评估方法于一实施例中的框架示意图；
图4(a)-4(d)显示为本发明的模型驱动的稀疏化元图卷积单元中表征人体关节物理依赖关系的分区策略于一实施例中的示意图；
图5显示为本发明的模型驱动的稀疏化元图卷积单元于一实施例中的结构示意图；
图6显示为本发明的自适应时间注意力模块于一实施例中的结构示意图；
图7(a)显示为本发明的各评估分值的受试者工作特征曲线；
图7(b)显示为本发明的各评估分值的混淆矩阵的示意图；
图8显示为本发明的帕金森病腿部灵活性任务评估系统于一实施例中的结构示意图；
图9显示为本发明的帕金森病腿部灵活性任务评估终端于一实施例中的结构示意图；
图10显示为本发明的帕金森病腿部灵活性任务评估系统于另一实施例中的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明的帕金森病腿部灵活性任务评估方法及系统、存储介质及终端基于从视频中提取的人体关节点构成的骨架序列，通过训练好的具有模型驱动的稀疏化元图卷积的时空残差注意力网络实现PD腿部灵活性任务的自动量化评估，既可实现无接触评估，又可保证评估的可靠性和有效性。
如图2和图3所示，于一实施例中，本发明的帕金森病腿部灵活性任务评估方法包括以下步骤：
步骤S1、获取包含帕金森病患者腿部动作的视频信息，所述腿部动作为执行腿部灵活性任务评估所需的标准动作。
具体地，通过视频采集设备如智能手机、摄像机等完成包含帕金森病患者腿部动作的视频信息的采集，并通过有线或无线的方式将包含帕金森病患者腿部动作的视频信息发送至帕金森病腿部灵活性任务评估终端。
于本发明一实施例中，使用的视频采集设备的视频录制帧速率为30帧/秒。将所述视频采集设备放置于帕金森病患者的正前方，保证帕金森病患者的全身都在镜头内，然后保持固定不动。在视频采集过程中，让被拍摄的帕金森病患者坐在一个直背带扶手的椅子上，双足放在地上舒适的位置上，双腿分别进行测试。同时，临床评估专家向帕金森病患者示范标准动作，即指导帕金森病患者将双足放在地板舒适的位置上，然后以最大的幅度和最快的速度将足抬高踏地。其中，双侧需要分别测试。临床评估专家在整个视频采集过程中全程陪同被拍摄的帕金森病患者，并根据MDS-UPDRS的细则对采集过程中的任何非标准动作进行纠正。
步骤S2、基于所述视频信息获取所述帕金森病患者的骨架序列，所述骨架序列包含人体关节点坐标信息。
具体地，在采集的视频信息中，若帕金森病患者为左腿执行，则将视频帧全部水平翻转；若帕金森病患者为右腿执行，则保持不变。
于本发明一实施例中，获取所述人体关节点坐标信息包括以下步骤：
21)基于人体姿态估计模型OpenPose获取人体关节点坐标。
具体地，将所述视频信息输入人体姿态估计模型OpenPose中，得到每一帧中人体25个关节点坐标形成的二维坐标序列。
22)对所述人体关节点坐标进行min-max标准化，将坐标值映射在[0,1]的区间内，从而得到所述人体关节点坐标信息。
具体地，对得到的所有坐标序列进行了min-max标准化操作，将所有坐标值映射到[0,1] 区间内，以获取标准化的人体关节点坐标信息。所述骨架序列即由上述人体关节点坐标信息构成。
步骤S3、基于所述骨架序列构建关节时空图和关节运动时空图。
于本发明一实施例中，基于所述骨架序列构建关节时空图包括以下步骤：首先在空间上，在所述视频信息的每一帧上将人体自然连接的关节点相连；其次在时间上，将相邻帧中相同关节点相连，从而获取所述关节时空图。
于本发明一实施例中，基于所述骨架序列构建关节运动时空图包括以下步骤：首先，对于当前帧上的关节点，将后一帧上对应的关节点坐标减去当前帧上的关节点坐标，以作为当前帧上的关节点坐标，用于标注该关节点的运动；其次，在空间上将每一帧上人体自然连接的关节点的坐标相连，在时间上将相邻帧中相同关节点的坐标相连，从而获取所述关节运动时空图。
步骤S4、将所述关节时空图和所述关节运动时空图分别输入一个具有模型驱动的稀疏化元图卷积的时空残差注意力网络，分别获取关节流和关节运动流输出的各个评估分值下的概率值；所述具有模型驱动的稀疏化元图卷积的时空残差注意力网络包括预设数量个串联的跨域残差注意力学习模块(Cross-domain Residual Attention LearningBlock，CRALB)，所述跨域残差注意力学习模块包括时空特征提取分支、空间特征建模分支和残差注意力自适应学习分支。
具体地，如图3所示，本发明的帕金森病腿部灵活性任务评估方法包括两个并行的具有模型驱动的稀疏化元图卷积的时空残差注意力网络，分别用于对所述关节时空图和所述关节运动时空图进行不同评估分值的概率预测。需要说明的是，所述具有模型驱动的稀疏化元图卷积的时空残差注意力网络是预先采用训练数据训练好的，并通过测试数据进行了预测和评估。在训练所述具有模型驱动的稀疏化元图卷积的时空残差注意力网络时，通过momentum 为0.9的随机梯度下降法来优化网络权重，并将批大小设置为8。学习率初始化为0.001。在网络的训练过程中，根据损失函数计算预测输出与输入的误差和损失函数中的其他项，利用反向传播算法调整优化网络的参数。
于本发明一实施例中，所述具有模型驱动的稀疏化元图卷积的时空残差注意力网络包括 10个串联的跨域残差注意力学习模块，其中后9个跨域残差注意力学习模块融入了残差的思想。所述跨域残差注意力学习模块作为时空单元，将网络前向过程中提取的高级时空特征作为注意力掩模来引导低层特征的学习，并添加空间图卷积分支以进一步学习空间静态特征，以突出时空共现的判别性特征。
具体地，所述跨域残差注意力学习模块包括三个分支，即时空特征提取分支、空间特征建模分支和残差注意力自适应学习分支。其中，所述时空特征提取分支包括模型驱动的稀疏化元图卷积单元(Model-driven sparse metagraph convolution unit，MDS-MetaGCU)和自适应时间注意力模块(Adaptive Temporal Attention Module，ATAM)，能够提取动态的时空特征。所述模型驱动的稀疏化元图卷积单元对关节点和关节点运动的时空图进行空间建模，定义多个元图和多种语义角色对关节的物理依赖关系和外在依赖关系进行自适应编码，以考虑不同属性和结构的相互作用，并通过稀疏项对图结构的约束以消除特征的冗余性。所述自适应时间注意力模块融入时间点之间的特征相关性，以建模视频序列的全局时间特征和上下文依赖关系。所述空间特征建模分支包括模型驱动的稀疏化元图卷积单元。所述残差注意力自适应学习分支用于将高层学习到的时空特征图作为低层输入的注意力掩模，以学习判别性的时空特征。其中，所述跨域残差注意力学习模块的输出为三个支路逐元素相加的结果。在所述残差注意力自适应学习分支中，将输入特征图经由模型驱动的稀疏化元图卷积单元和自适应时间注意力模块处理得到的时空特征归一化后与所述输入特征图再进行逐元素相乘，再将相乘结果与自适应因子α相乘，以作为输出结果。所述时空特征提取分支的输出结果为输入特征图经由模型驱动的稀疏化元图卷积单元和自适应时间注意力模块处理得到的时空特征。所述空间特征建模分支的输出结果为输入特征图经由模型驱动的稀疏化元图卷积单元处理得到的静态的空间特征。将三个支路的输出结果逐元素相加后输入后续的下一个跨域残差注意力学习模块，从而实现进一步的深度学习，以提高输出结果的准确性。最后，通过所述具有模型驱动的稀疏化元图卷积的时空残差注意力网络的全连接层输出在各个评估分值下的概率值。
下面详细介绍一下本发明的具有模型驱动的稀疏化元图卷积的时空残差注意力网络。
传统的图卷积操作通常用在同构网络中，以表示节点和关系的单一类型。但在很多应用场景中，属性异构网络能够对以各种语义关系互联的多种类型的节点进行建模，因而具有更加丰富的特征表示能力。具体地，属性异构网络可以被定义为一个图
Figure RE-GDA0002519945000000111
其中
Figure RE-GDA0002519945000000112
是N个节点的集合，ε是边的集合，节点类型映射为
Figure RE-GDA0002519945000000113
Figure RE-GDA0002519945000000114
为节点的类型集合，
Figure RE-GDA0002519945000000115
是N个节点的属性矩阵，即特征矩阵。在这种网络中，结合不同的语义来考虑结构和属性之间的相互作用是十分必要的。为了解决这个问题，元图卷积定义了语义高阶局部性和精确的语义角色，以聚合由元图结构指定的局部邻域的特征。
在本发明中，元图卷积中的图定义了两个元图结构，并通过节点类型映射
Figure RE-GDA0002519945000000116
实现不同元图结构的映射。第一个元图用于编码人体关节之间的物理依赖关系，如图4(a) -4(d)所示，对于人体全身的25个关节点(图4(a))它定义了关节点自身(图4(b))、上半身部件(图4(c))和下半身部件(图4(d))这三个语义角色，在形式上可用如下公式表示：
Figure RE-GDA0002519945000000117
其中，其中i代表第i个的语义角色，通过角色映射函数
Figure RE-GDA0002519945000000118
可实现节点语义角色的映射。第二个元图用于编码人体断开关节之间的外在依赖关系，它只定义了外在关系这一个语义角色，并通过加权邻接矩阵来建模。它在邻接矩阵中为空间距离较近的关节分配更大的权值，权值被定义为ai,j＝max{d}-di,j，其中d是两个节点在时间维度上的平均欧式距离，di,j表示节点i和节点j在时间维度上的平均欧式距离，ai,j表示节点i和节点j经过上述公式计算得到的邻接矩阵中的对应权值。最后对邻接矩阵进行了归一化操作，从而减少高连接节点引入的偏差。因此，该元图在形式上可由如下公式表示：
Figure RE-GDA0002519945000000121
一般而言，顶点vi上的图卷积运算用公式可为：
Figure RE-GDA0002519945000000122
其中i和j表示节点的索引，N表示节点的数量，x表示输入特征图，v表示图上的顶点，w是权重函数，Λii＝∑j(Aij+Iij)是用来实现归一化的对角度矩阵，A是用来定义节点之间连接关系的N×N邻接矩阵，I是用来定义节点自连接的单位矩阵，f(vi)是节点vi处的图卷积运算结果。将上述公式扩展到具有V个顶点、C个特征通道的输入特征
Figure RE-GDA0002519945000000123
上，目前大多数研究所采用的图卷积运算均为类似于Kipf等人提出的方法，图卷积运算可表示为：
Figure RE-GDA0002519945000000124
其中W 为权重函数，F为图卷积运算的结果。给定上述定义的两个元图G(1)和G(2)，上述公式中的图卷积运算显然已不适用于多元图、多语义的情况。因此，本发明提出了加入自适应掩模的元图卷积运算，在数学形式上可表示为
Figure RE-GDA0002519945000000125
其中，i和j表示节点的索引，N表示节点的数量，M∈{1,2}代表对应的元图，A是用来定义节点之间连接关系的N×N 邻接矩阵，Λii＝∑jAij是用来对A实现归一化的对角度矩阵，KM表示对应元图中语义角色的数量，k为对应元图中语义角色的索引，M为自适应掩模，用来自适应缩放各语义角色下不同节点之间连接的重要性。因此，用于元图M的元图卷积操作通过为不同语义角色分配不同的自适应权重来生成新的节点表示。进一步地，将上述扩展到具有V个节点的
Figure RE-GDA0002519945000000126
上，它可表示为
Figure RE-GDA0002519945000000127
其中M∈{1,2}代表对应的元图，W为权重函数，F为图卷积运算的结果。
在两个不同的元图中，节点之间连接的重要性也是不同的。如图5所示，本发明将第一个元图中的自适应掩模
Figure RE-GDA0002519945000000128
初始化为全1矩阵，第二个元图中的自适应掩模
Figure RE-GDA0002519945000000129
初始化为权值为1e-6的矩阵，使初始的图卷积运算更加关注关节基本的物理依赖关系，随着训练的深入，再自适应地逐步关注高级的关节外在依赖关系。最终，元图卷积单元MetaGCU的输出由下式计算得到
Figure RE-GDA00025199450000001210
此外，图结构中所有节点都具有对应的属性特征和节点之间的邻接矩阵，但并不是所有节点的特征和定义的连接都是有意义的。因此，本发明的所述模型驱动的稀疏化元图卷积单元的权重函数进行L1正则化项的约束，以实现对图卷积运算中的权重函数WM的约束，引导图结构只保留有意义的稀疏化特征，从而实现图模型判别性空间特征的挖掘。这一过程用公式可表示为
Figure RE-GDA0002519945000000131
其中，W为权重函数，i是M个元图的索引，K表示对应元图中语义角色的数量，k为对应元图中语义角色的索引，nk为对应语义角色下权重参数的数量，j为参数的数量nk的索引，w为具体的权重参数的数值。
为了在时间维度上建模丰富的远程上下文依赖关系，本发明的自适应时间注意力模块将远程上下文依赖关系编码为局部特征，增强了特征的表示能力。如图6所示，首先将MDS-MetaGCU的输出F馈入常规的1×τ时间卷积操作，得到局部特征
Figure RE-GDA0002519945000000132
然后将Γ分别重塑和转置为
Figure RE-GDA0002519945000000133
和
Figure RE-GDA0002519945000000134
之后通过执行矩阵乘法获得了时间维度上的上下文依赖关系，最后通过应用softmax操作计算得到了时间注意力图
Figure RE-GDA0002519945000000135
其中，aji表示第i个时间点与第j个时间点的相关性。然后，与原始局部特征Γ1执行矩阵相乘，并通过初始化为0的权重因子γ进行缩放，从而获得了具有时间注意力响应的特征图，最后通过和Γ的相加操作获得了最终的输出
Figure RE-GDA0002519945000000136
这一过程可用公式表示为：
Figure RE-GDA0002519945000000137
其中Zj表示j时间点处的特征在原有的输入特征Γj的基础上，根据上下文远程依赖关系融合了所有时间点的特征Γ1i而计算得到。因此，自适应时间注意力模块根据时间注意力图自适应地聚合了远程上下文依赖关系，使得最终输出的特征是原始特征与所有时间点的特征的加权和。
在本发明的残差注意力自适应学习模块中，首先将高层输出的时空特征图通过softmax进行了时空维度上的归一化，从而在每一个通道上都突出了判别性的时空特征，用公式可表示为
Figure RE-GDA0002519945000000138
其中i、j代表时空维度上的位置，c代表高层特征Z的通道索引。本发明将B作为注意力掩模，与原始特征X相乘获得了时空注意力图。之后与初始化为0的可学习的自适应因子α相乘，α可以在训练开始时避免不良注意力的影响，在训练过程中不断调整时空注意力图的贡献，以实现残差注意力分支与其他两个分支的权衡。
因此，本发明的跨域残差注意力学习模块的输出由三个分支的逐元素相加结果表示，公式表示为
Figure RE-GDA0002519945000000139
其中
Figure RE-GDA00025199450000001310
表示Meta-GCU的空间运算，
Figure RE-GDA00025199450000001311
表示ATAM的时间运算，X为输入特征图，M为Meta-GCU中元图的数量，F为Meta-GCU中第M个元图经过稀疏化图卷积运算后的输出。
因此，本发明的帕金森病腿部灵活性任务评估方法基于人体姿态提取出的骨架序列构建了关节时空图ΩJ＝(VJ,EJ)和关节运动时空图ΩJm＝(VJm,EJm)，其中VJ＝{v1,v2,...,vN}、 VJm＝{vt+1,1-vt,1,vt+1,2-vt,2,...,vt+1,N-vt,N|t＝1,2,...,T}为所有视频帧中的人体关节点，N为一帧中人体关节点的数量，EJ、EJm不仅包含空间上两个元图所定义的关节之间的连接关系，也包含了时间上相同关节的连接。然后，整个具有模型驱动的稀疏化元图卷积的时空残差注意力网络由关节流和关节运动流构成，每个流堆叠了预设数量(如10)个跨域残差注意力学习模块。训练有素的模型往往具有更强的特征提取能力，因此，具有模型驱动的稀疏化元图卷积的时空残差注意力网络中共引入了两个邻接矩阵的自适应掩模和两个注意力图的自适应因子，以在模型训练的不同阶段充分地引导模型的自适应学习。具有模型驱动的稀疏化元图卷积的时空残差注意力网络的成本函数由三个部分构成：Lce为分类任务中常见的交叉熵项，用以最小化网络的分类错误；Lsparse为模型驱动的稀疏化元图卷积运算中的L1正则项，以驱动图结构学习稀疏化的判别性特征；Lparam为模型权重衰减项，旨在防止网络出现过拟合现象。该成本函数可用公式表示为
Figure RE-GDA0002519945000000141
其中N为批大小，K为数据集的类别数量，y是真实标签，pi,k表示第i个样本被预测为第k个类别的概率，λ1、λ2表示Lsparse和Lparam项之间的权衡因子。
步骤S5、针对各个评估分值，计算关节流和关节运动流的权重相加融合得到的概率值，选取概率值最高的评估分值为所述帕金森病患者的腿部灵活性任务的评估分值。
具体地，基于所述关节时空图和所述关节运动时空图分别通过关节流和关节运动流获取各个评估分值(0,1,2,3,4)的概率值后，计算关节流和关节运动流的权重相加融合得到的概率值，选取概率值最高的评估分值为所述帕金森病患者的腿部灵活性任务的评估分值。优选地，可以采用等权重相加的方式。
此外，本发明的帕金森病腿部灵活性任务评估方法还可以根据具有模型驱动的稀疏化元图卷积的时空残差注意力网络测试时的输出概率值计算该次实验时模型实现的准确率、可接受准确率、精确率、召回率、F1分数和受试者工作特征曲线(Receiver OperatingCharacteristic curve，ROC)曲线下的面积(Area Under Curve，AUC)等评估指标，以对具有模型驱动的稀疏化元图卷积的时空残差注意力网络的性能进行评价。其中可接受准确率是指将预测分数与参考分数的绝对误差不大于1的样本也视为预测正确时所获得的准确率。最终获得的结果为五折交叉验证的平均值，结果如表1所示。图7(a)和7(b)分别展示了各分数类别的ROC曲线和混淆矩阵。结果显示模型实现的总体分类准确率为70.34％，可接受准确率为98.97％。各类别均具有0.84以上的AUC值，并在可接受误差范围内实现了良好的性能，其中有3个分数类别取得了100％的可接受准确率。
表1、具有模型驱动的稀疏化元图卷积的时空残差注意力网络的分类结果
Figure RE-GDA0002519945000000151
此外，本发明提出的具有模型驱动的稀疏化元图卷积的时空残差注意力网络与先进的基于骨骼的动作识别模型进行性能比较，可证明本发明提出的模型在腿部灵活性任务的细粒度评估中的优势。将ST-GCN、joint-stream adaptive graph convolutionalnetwork(Js-AGCN)、 bone-stream adaptive graph convolutional network(Bs-AGCN)、two-stream adaptive graph convolutional network(2s-AGCN)、motif-based graphconvolution network with variable temporal dense block architecture(Motif-STGCN)的开源代码应用在本发明的实验数据集上，分别获得了63.33％、64.94％、60.23％、66.44％、64.94％的准确率。如表2所示。相比之下，本发明提出的具有模型驱动的稀疏化元图卷积的时空残差注意力网络的准确率提高到了 70.34％，这比基于骨骼的最新的动作识别网络要高。
表2、与先进的动作识别模型的性能比较
Figure RE-GDA0002519945000000152
Figure RE-GDA0002519945000000161
为了证明各个策略的有效性，本发明在关节流上进行了充分的消融实验，实验结果如表3 所示。本发明使用ST-GCN作为基线方法(Uni-ST-GCN)，其中的分区策略中使用了Uni-labeling，它可以视为仅建模同构图中的一种语义角色。本发明提出的MDS-MetaGCU比基线方法中的基于Uni-labeling的图卷积单元在准确率和可接受准确率上分别带来了1.38％和 1.15％的提升，精确率、召回率和F1分数也获得了显著的提升。ATAM的引入在准确率、可接受准确率、精确率、召回率和F1分数上均带来了提升，其中，准确率提升了0.69％，可接受准确率提升了0.69％。然后，本发明对没有加入ATAM的CRALB进行了测试，结果显示准确率和可接受准确率分别获得了1.03％和1.26％的提升。最后，本发明在CRALB中引入了 ATAM，此时模型的准确率比基线网络提升了2.3％，AUC值、精确率、召回率和F1分数也得到明显提升。
表3、消融实验结果
Figure RE-GDA0002519945000000162
如图8所示，于一实施例中，本发明的帕金森病腿部灵活性任务评估系统包括第一获取模块81、第二获取模块82、构建模块83、预测模块84和评估模块85。
所述第一获取模块81用于获取包含帕金森病患者腿部动作的视频信息，所述腿部动作为执行腿部灵活性任务评估所需的标准动作。
所述第二获取模块82与所述第一获取模块81相连，用于基于所述视频信息获取所述帕金森病患者的骨架序列，所述骨架序列包含人体关节点坐标信息。
所述构建模块83与所述第二获取模块82相连，用于基于所述骨架序列构建关节时空图和关节运动时空图。
所述预测模块84与所述构建模块83相连，用于将所述关节时空图和所述关节运动时空图分别输入一个具有模型驱动的稀疏化元图卷积的时空残差注意力网络，分别获取关节流和关节运动流输出的各个评估分值下的概率值；所述具有模型驱动的稀疏化元图卷积的时空残差注意力网络包括预设数量个串联的跨域残差注意力学习模块，所述跨域残差注意力学习模块包括时空特征提取分支、空间特征建模分支和残差注意力自适应学习分支。
所述评估模块85与所述预测模块84相连，用于针对各个评估分值，计算关节流和关节运动流的权重相加融合得到的概率值，选取概率值最高的评估分值为所述帕金森病患者的腿部灵活性任务的评估分值。
其中，第一获取模块81、第二获取模块82、构建模块83、预测模块84和评估模块85的结构和原理与上述帕金森病腿部灵活性任务评估方法中的步骤一一对应，故在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器 (Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称 CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统 (System-on-a-chip，简称SOC)的形式实现。
本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的帕金森病腿部灵活性任务评估方法。优选地，所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图9所示，于一实施例中，本发明的帕金森病腿部灵活性任务评估终端，包括处理器 91及存储器92。
所述存储器92用于存储计算机程序。
所述存储器92包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器91与所述存储器92相连，用于执行所述存储器存储的计算机程序，以使所述帕金森病腿部灵活性任务评估终端执行上述的帕金森病腿部灵活性任务评估方法。
优选地，所述处理器91可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称 ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图10所示，于一实施例中，本发明的帕金森病腿部灵活性任务评估系统包括上述的帕金森病腿部灵活性任务评估终端101和视频采集设备102。
所述视频采集设备102与所述帕金森病腿部灵活性任务评估终端101相连，用于采集包含帕金森病患者腿部动作的视频信息，并发送至所述帕金森病腿部灵活性任务评估终端101。
优选地，所述视频采集设备102采用摄像机或智能手机。
综上所述，本发明的帕金森病腿部灵活性任务评估方法及系统、存储介质及终端基于从视频中提取的人体关节点构成的骨架序列，使用深度学习技术实现PD腿部灵活性任务的自动量化评估；通过元图卷积运算来同时自适应建模关节的物理连接和断开连接，并通过模型驱动的稀疏化策略提取图结构中的判别性特征；通过自适应注意力模块捕获了时间维度上的远程上下文依赖关系；通过跨域残差注意力学习模块实现时空关系的建模，利用网络前向过程中提取的高级时空特征作为注意力映射，引导低级时空特征逐渐关注于判别性区域，不仅保持了时空共现性，也避免了额外的开销；实现了基于骨架序列的端到端的特征学习方式，在数据预处理时，使用先进的人体姿态估计模型从帕金森病患者的运动评估视频中提取患者的关节点坐标，使患者穿着、拍摄环境的背景和光照等外界条件对模型性能产生的影响较小；具体实现完全是无接触式的，仅需一个普通的摄像头即可完成数据采集，避免了传感器的侵入性、定期校准的需求和光学设备的专业标定过程，为帕金森病自动评估的实现与普及以及远程医疗的实现提供了方便；现有技术均采用了从运动轨迹中根据人工定义的规则进行特征提取的方式，并且忽略了人在运动时各关节之间的连通性，本发明所采用的深度学习方案能够以端到端地形式从骨架序列中自动提取特征，并且引入了多种时空建模策略，能够带来更加丰富的细粒度判别性特征。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种帕金森病腿部灵活性任务评估方法，其特征在于：包括以下步骤：
获取包含帕金森病患者腿部动作的视频信息，所述腿部动作为执行腿部灵活性任务评估所需的标准动作；
基于所述视频信息获取所述帕金森病患者的骨架序列，所述骨架序列包含人体关节点坐标信息；
基于所述骨架序列构建关节时空图和关节运动时空图；
将所述关节时空图和所述关节运动时空图分别输入一个具有模型驱动的稀疏化元图卷积的时空残差注意力网络，分别获取关节流和关节运动流输出的各个评估分值下的概率值；所述具有模型驱动的稀疏化元图卷积的时空残差注意力网络包括预设数量个串联的跨域残差注意力学习模块，所述跨域残差注意力学习模块包括时空特征提取分支、空间特征建模分支和残差注意力自适应学习分支；
针对各个评估分值，计算基于所述关节流和关节运动流的权重相加融合得到的概率值，选取概率值最高的评估分值为所述帕金森病患者的腿部灵活性任务的评估分值；
基于所述骨架序列构建关节时空图和关节运动时空图包括以下步骤：
在所述视频信息的每一帧上将人体自然连接的关节点相连，并将相邻帧中相同关节点相连，以获取所述关节时空图；
对于当前帧上的关节点，将后一帧上对应的关节点坐标减去当前帧上的关节点坐标，以作为当前帧上的关节点坐标；将每一帧上人体自然连接的关节点的坐标相连，并将相邻帧中相同关节点的坐标相连，以获取所述关节运动时空图。
2.根据权利要求1所述的帕金森病腿部灵活性任务评估方法，其特征在于：获取所述人体关节点坐标信息包括以下步骤：
基于人体姿态估计模型OpenPose获取人体关节点坐标；
对所述人体关节点坐标进行min-max标准化，将坐标值映射在[0,1]的区间内，从而得到所述人体关节点坐标信息。
3.根据权利要求1所述的帕金森病腿部灵活性任务评估方法，其特征在于：所述时空特征提取分支包括模型驱动的稀疏化元图卷积单元和自适应时间注意力模块，所述模型驱动的稀疏化元图卷积单元用于对时空图进行空间建模，所述自适应时间注意力模块用于对时空图进行时间建模，所述空间特征建模分支包括模型驱动的稀疏化元图卷积单元，所述残差注意力自适应学习分支用于将高层学习到的时空特征图作为低层输入的注意力掩模，以学习判别性的时空特征。
4.根据权利要求3所述的帕金森病腿部灵活性任务评估方法，其特征在于：所述模型驱动的稀疏化元图卷积单元的权重函数进行L1正则化项的约束。
5.根据权利要求1所述的帕金森病腿部灵活性任务评估方法，其特征在于：所述具有模型驱动的稀疏化元图卷积的时空残差注意力网络的成本函数包括交叉熵项、模型驱动的稀疏化元图卷积单元中的L1正则项和权重衰减项。
6.一种帕金森病腿部灵活性任务评估系统，其特征在于：包括第一获取模块、第二获取模块、构建模块、预测模块和评估模块；
所述第一获取模块用于获取包含帕金森病患者腿部动作的视频信息，所述腿部动作为执行腿部灵活性任务评估所需的标准动作；
所述第二获取模块用于基于所述视频信息获取所述帕金森病患者的骨架序列，所述骨架序列包含人体关节点坐标信息；
所述构建模块用于基于所述骨架序列构建关节时空图和关节运动时空图；
所述预测模块用于将所述关节时空图和所述关节运动时空图分别输入一个具有模型驱动的稀疏化元图卷积的时空残差注意力网络，分别获取关节流和关节运动流在各个评估分值下的概率值；所述具有模型驱动的稀疏化元图卷积的时空残差注意力网络包括预设数量个串联的跨域残差注意力学习模块，所述跨域残差注意力学习模块包括时空特征提取分支、空间特征建模分支和残差注意力自适应学习分支；
所述评估模块用于针对各个评估分值，计算关节流和关节运动流的权重相加融合得到的概率值，选取概率值最高的评估分值为所述帕金森病患者的腿部灵活性任务的评估分值；
基于所述骨架序列构建关节时空图和关节运动时空图包括以下步骤：
在所述视频信息的每一帧上将人体自然连接的关节点相连，并将相邻帧中相同关节点相连，以获取所述关节时空图；
对于当前帧上的关节点，将后一帧上对应的关节点坐标减去当前帧上的关节点坐标，以作为当前帧上的关节点坐标；将每一帧上人体自然连接的关节点的坐标相连，并将相邻帧中相同关节点的坐标相连，以获取所述关节运动时空图。
7.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任一项所述的帕金森病腿部灵活性任务评估方法。
8.一种帕金森病腿部灵活性任务评估终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述帕金森病腿部灵活性任务评估终端执行权利要求1至5中任一项所述的帕金森病腿部灵活性任务评估方法。
9.一种帕金森病腿部灵活性任务评估系统，其特征在于：包括权利要求8所述的帕金森病腿部灵活性任务评估终端和视频采集设备；
所述视频采集设备用于采集包含帕金森病患者腿部动作的视频信息，并发送至所述帕金森病腿部灵活性任务评估终端。
CN202010346120.2A 2020-04-27 2020-04-27 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端 Active CN111539941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010346120.2A CN111539941B (zh) 2020-04-27 2020-04-27 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010346120.2A CN111539941B (zh) 2020-04-27 2020-04-27 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端

Publications (2)

Publication Number Publication Date
CN111539941A CN111539941A (zh) 2020-08-14
CN111539941B true CN111539941B (zh) 2022-08-16

Family

ID=71977280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010346120.2A Active CN111539941B (zh) 2020-04-27 2020-04-27 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端

Country Status (1)

Country Link
CN (1) CN111539941B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112582064A (zh) * 2020-11-05 2021-03-30 中国科学院深圳先进技术研究院 一种动作评估方法、装置、设备及存储介质
CN112489801A (zh) * 2020-12-04 2021-03-12 北京睿思昆宁科技有限公司 一种确定疾病风险的方法、装置和设备
CN112741620A (zh) * 2020-12-30 2021-05-04 华南理工大学 基于肢体动作的颈椎病评估装置
CN112686208B (zh) * 2021-01-22 2022-11-08 上海喵眼智能科技有限公司 基于机器视觉的运动识别特征参数算法
CN113837005A (zh) * 2021-08-20 2021-12-24 广州杰赛科技股份有限公司 一种人体跌倒的检测方法、装置、存储介质及终端设备
CN113974612B (zh) * 2021-12-02 2024-02-09 上海大学 一种卒中患者上肢运动功能自动化评估方法与系统
CN116473514B (zh) * 2023-03-29 2024-02-23 西安电子科技大学广州研究院 基于足底压力的自适应有向时空图神经网络的帕金森疾病检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059620A (zh) * 2019-04-17 2019-07-26 安徽艾睿思智能科技有限公司 基于时空注意力的骨骼行为识别方法
CN110096950A (zh) * 2019-03-20 2019-08-06 西北大学 一种基于关键帧的多特征融合行为识别方法
CN110119703A (zh) * 2019-05-07 2019-08-13 福州大学 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法
CN110222611A (zh) * 2019-05-27 2019-09-10 中国科学院自动化研究所 基于图卷积网络的人体骨架行为识别方法、系统、装置
CN110378213A (zh) * 2019-06-11 2019-10-25 中国科学院自动化研究所南京人工智能芯片创新研究院 行为识别方法、装置、计算机设备和存储介质
CN110490035A (zh) * 2019-05-17 2019-11-22 上海交通大学 人体骨架动作识别方法、系统及介质
CN110991268A (zh) * 2019-11-13 2020-04-10 华中科技大学 一种基于深度图像的帕金森手部运动量化分析方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096950A (zh) * 2019-03-20 2019-08-06 西北大学 一种基于关键帧的多特征融合行为识别方法
CN110059620A (zh) * 2019-04-17 2019-07-26 安徽艾睿思智能科技有限公司 基于时空注意力的骨骼行为识别方法
CN110119703A (zh) * 2019-05-07 2019-08-13 福州大学 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法
CN110490035A (zh) * 2019-05-17 2019-11-22 上海交通大学 人体骨架动作识别方法、系统及介质
CN110222611A (zh) * 2019-05-27 2019-09-10 中国科学院自动化研究所 基于图卷积网络的人体骨架行为识别方法、系统、装置
CN110378213A (zh) * 2019-06-11 2019-10-25 中国科学院自动化研究所南京人工智能芯片创新研究院 行为识别方法、装置、计算机设备和存储介质
CN110991268A (zh) * 2019-11-13 2020-04-10 华中科技大学 一种基于深度图像的帕金森手部运动量化分析方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition";Sijie Yan等;《arXiv》;20180125;1-10页 *
"基于残差时空图卷积网络的3D人体行为识别";管珊珊等;《计算机应用与软件》;20200331;第37卷(第3期);198-201页 *

Also Published As

Publication number Publication date
CN111539941A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN111539941B (zh) 帕金森病腿部灵活性任务评估方法及系统、存储介质及终端
CN111382679B (zh) 帕金森病步态运动障碍严重程度的评估方法、系统及设备
Wang et al. Image fusion incorporating parameter estimation optimized Gaussian mixture model and fuzzy weighted evaluation system: A case study in time-series plantar pressure data set
CN107492121B (zh) 一种单目深度视频的二维人体骨骼点定位方法
Buxton Learning and understanding dynamic scene activity: a review
CN111160294B (zh) 基于图卷积网络的步态识别方法
Sminchisescu 3d human motion analysis in monocular video: techniques and challenges
CN111199216B (zh) 面向人体骨架的运动预测方法及系统
Saini et al. A review on particle swarm optimization algorithm and its variants to human motion tracking
Natani et al. Sequential neural networks for multi-resident activity recognition in ambient sensing smart homes
WO2023226186A1 (zh) 神经网络训练方法、人体运动识别方法及设备、存储介质
Núñez et al. Multiview 3D human pose estimation using improved least-squares and LSTM networks
CN113901891A (zh) 帕金森病握拳任务的评估方法及系统、存储介质及终端
CN113158861A (zh) 一种基于原型对比学习的运动分析方法
CN116189306A (zh) 基于联合注意力机制的人体行为识别方法
Martinez-del-Rincon et al. Generalized Laplacian eigenmaps for modeling and tracking human motions
Cao et al. QMEDNet: A quaternion-based multi-order differential encoder–decoder model for 3D human motion prediction
CN113887501A (zh) 行为识别方法、装置、存储介质及电子设备
Adama et al. Adaptive segmentation and sequence learning of human activities from skeleton data
CN112668543A (zh) 一种手模型感知的孤立词手语识别方法
Fanuel et al. A survey on skeleton-based activity recognition using graph convolutional networks (GCN)
Wahla et al. Visual fall detection from activities of daily living for assistive living
Ron et al. Monocular depth estimation via deep structured models with ordinal constraints
Qian et al. Transfer learning model knowledge across multi-sensors locations over body sensor network
Bourached et al. Hierarchical Graph-Convolutional Variational AutoEncoding for Generative Modelling of Human Motion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant