CN114587385B - 一种基于脑肌网络图论特征的卒中后康复评估深度学习模型构建方法 - Google Patents

Abstract

本发明公开了一种基于脑肌网络图论特征的卒中后康复评估深度学习模型构建方法，涉及神经生理学与机器学习交叉领域。本发明通过脑肌闭环功能网络表征卒中后的病理拓扑结构，在此基础上，进一步基于图论特征建立深度学习模型评定脑卒中患者恢复程度及预测康复进程，重点考虑勾联小世界网络特征与神经网络在评定预测运动功能障碍中的一致特性、以及如何实现多目标学习和联合优化等。本发明利用脑肌电双模态神经电生理信息，构建了新型卒中后住院恢复期运动功能评定和回访期康复效果预测方法，有望提高临床康复评估效率，从而具有重要的应用价值。

Description

一种基于脑肌网络图论特征的卒中后康复评估深度学习模型 构建方法

技术领域

本发明涉及神经生理学与机器学习交叉领域，具体涉及一种基于脑肌闭环功能网络图论特征的卒中后康复评估深度学习模型构建方法。

背景技术

脑卒中是全球人口死亡和致残的首要原因。我国每年新发脑卒中患者约200万人，其中70％-80％遗留有功能障碍。卒中后长期伴随的运动功能障碍是制约患者回归正常生活的重要一环。

康复治疗是患者回归社会和家庭的主要诊疗手段，但前提是康复训练前精准评估卒中后的运动功能重塑进程，这对于临床医师制定治疗策略起着重要的指导意义。康复评估的原则要做到住院期全程评定和出院后定期回访评定。然而，国内外针对运动功能障碍的临床评估主要以量表评价为主，根据项目完成度打分判定患者的恢复状况，检测多是单一固定的动作，耗时较长且均存在依赖评定者主观经验判断的问题，目前缺乏客观有效且直接定量评估大脑与肌肉功能恢复的评价方法。

功能磁共振成像、脑磁图、功能性近红外光谱等医疗影像手段虽然可以精确定位脑病灶部位，一定程度上弥补了传统量表的局限，但评估费用高昂，后期图像分析处理速度慢、计算复杂等问题制约了应用的广泛性。生理电信号，如脑电(EEG)和肌电(EMG)，具有高精度、高时间分辨率的特点，能够快速表征患者受损大脑和肌肉功能的变化状况，且价格低廉，在卒中后的病理研究和阶段性康复状态评估上得以应用。但在临床上仍未成为常规的脑卒中康复评估方式，分析国内外相关研究，总结存在的主要问题如下：

一、单模态的评估精度不足，传统EEG或EMG信号分析仅考虑卒中后的单向通路(大脑皮层或外周系统)传递信息，缺乏大脑-肌肉双向通路的同步耦合分析。

卒中引发皮层和神经通路的损伤导致大脑局部神经功能缺失，无法向外周神经系统发出准确完整的神经冲动，进而引发运动功能障碍，其控制是一个“闭环”过程，需要促进大脑皮层的神经信息(运动意图)传递控制和外周的感觉反馈(肌肉收缩)双向通路恢复，该闭环过程耦合在一个复杂的反馈回路中，通常定义为脑肌功能耦合。大量研究已经证明同步EEG和EMG信息可以表征大脑与其支配肌肉之间功能耦合。现有脑肌耦合以单通道分析为主，未考虑脑损伤后病灶部位的局域性质，耦合量化特征不能充分代表双向通路的闭环演变过程。

二、基于图论特征的脑功能网络连通性分析提供新思路，尚未应用于脑-肌耦合双向通路闭环过程中。

近年来，脑功能网络连通性分析成为评估卒中后大脑功能的新工具，通过在宏观尺度上对各个脑区、神经元群构建网络节点和连接边，基于图论特征可实现患者的病理拓扑理解。借鉴脑网络的思路，以多通道EEG和EMG作为网络节点，将大脑-肌肉之间上行和下行通路耦合信息整合到统一的“闭环”网络中，可以解释与肌肉活动相关的脑卒中患者皮层网络的动态变化机制。在“闭环”网络基础上，基于深度学习模型，开展住院期脑卒中运动功能自动评估以及回访期康复效果预测，以图论特征为神经网络输入训练模型，将大大减轻临床康复医师的工作负担和患者的评估消耗时间，属于临床康复领域极具潜在价值的未探索前沿课题。

发明内容

本发明旨在联合EEG和EMG两种生理电信号，面向当前国内外卒中后上肢运动功能恢复评定和康复效果预测研究中的重点和难点问题，从深度神经网络模型构建角度出发，基于脑-肌闭环网络拓扑结构建立针对脑卒中患者动态运动的网络表征，以图论特征描述网络连接的密集性、耦合强度等，进一步以深度学习模型预测患者的运动功能，实现客观评定脑卒中患者运动功能的重塑进程。

本发明采用的技术方案具体如下：

一种基于脑肌网络图论特征的卒中后康复评估深度学习模型构建方法，包括以下步骤：

步骤1：采集脑卒中患者在不同恢复期进行的不同特定运动范式下的同步脑肌电信息，并利用同步脑肌电信息，建立对应不同恢复期、不同特定运动范式下的脑-肌闭环功能网络；根据脑-肌闭环功能网络，提取稳定的图拓扑特征和/或小世界网络特征建立训练样本。

步骤2：构建多个第一神经网络，每个第一神经网络以相同特定运动范式下脑-肌闭环功能网络提取的稳定的图拓扑特征和/或小世界网络特征为输入，运动功能预测评分为输出，范式任务成功或失败为标签进行训练，获得对应特定运动范式下卒中后恢复期评定模型；

步骤3：构建第二神经网络，所述第二神经网络以不同恢复期患者的所有特定运动范式下卒中后恢复期评定模型输出的特征作为输入，回访期康复预测评分为输出，全部恢复期进行的不同特定运动范式任务完成度为标签进行训练，获得回访期康复效果预测模型；

步骤4：将所有特定运动范式下卒中后恢复期评定模型与回访期康复效果预测模型连接，并进行联合训练，获得卒中后康复评估深度学习模型。

进一步地，小世界网络特征包含脑-肌闭环功能网络中每个顶点的加权聚类系数、加权最短路径和中介中心性中的一种或多种。

进一步地，所述特定运动范式基于患侧远端和近端运动能力，划分为远端和近端两类运动范式任务；

其中，远端运动范式任务包括抓握、前臂旋前旋后运动范式；

近端运动范式任务包括肘关节屈曲、肩关节屈曲和屈伸协同运动范式。

进一步地，所述恢复期采用Brunnstrom分期，包括III、IV、V和VI期。

进一步地，所述步骤3中，不同恢复期进行的不同运动范式任务完成度建立权重系数和归一化指标，与临床量表打分结果对标，所述第二神经网络以不同恢复期患者的所有特定运动范式下卒中后恢复期评定模型输出的特征分别加上对应权重系数后作为输入。

本发明的有益效果是：本发明旨在联合EEG和EMG两种生理电信号，面向当前国内外卒中后上肢运动功能恢复评定和康复效果预测研究中的重点和难点问题，从深度神经网络模型构建角度出发，基于脑-肌闭环网络拓扑结构建立针对脑卒中患者动态运动的网络表征，以图论特征描述网络连接的密集性、耦合强度等，进一步以深度学习模型预测患者的运动功能，实现客观评定脑卒中患者运动功能的重塑进程。

附图说明

图1是本发明的一个较佳实施例的总体方案及方案分解示意图；

图2是本发明的一个较佳实施例的特定运动范式下卒中后恢复期评定模型框架。

图3是本发明的一个较佳实施例的基于恢复期运动功能评定和康复效果预测统一的卒中后康复评估深度学习模型示意图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

本发明提供了基于脑肌网络图论特征的卒中后康复评估深度学习模型构建方法，按照如图1所示的方法步骤实现。本发明挖掘能表征患者当前恢复期的拓扑模式特征，在特定运动范式约束下，建立多层前馈神经网络模型，动态评估患者患侧肢体运动功能，以拓扑结构可视化联合评分预测模式对标临床康复量表评价结果。进一步地，考虑基于不同恢复期患者的评定特征，构建卒中后住院恢复期运动功能评定和回访期康复效果预测统一的卒中后康复评估深度学习模型，辅助临床医师制定一系列的干预治疗策略。本发明提出的面向卒中后恢复期评定的多层前馈神经网络模型构建步骤如下：

步骤1:建立训练样本：

参考临床常用的FugL-Meyer评估量表，本发明基于患侧近端和远端运动能力划分，设计多类运动范式任务，如抓握、肩关节屈曲、前臂旋前旋后和屈伸协同运动等；

进一步采集脑卒中患者在不同恢复期进行的不同运动范式下的同步脑肌电信息，并利用同步脑肌电信息，生成对应不同恢复期、不同运动范式下的脑-肌闭环功能网络，并提取图论特征(拓扑特征、小世界网络特征等)。

其中，恢复期是指临床上，将偏瘫肢体功能的恢复过程根据肌张力的变化和运动功能情况的分期，如Brunnstrom分期，包括III、IV、V和VI期。

拓扑特征包含脑-肌闭环功能网络的拓扑信息(表征卒中后的病理拓扑结构)，可以直接采用脑-肌闭环功能网络的相关矩阵。小世界网络特征包含脑-肌闭环功能网络中每个顶点的加权聚类系数、加权最短路径和中介中心性中的一种或多种，具体如下：

每个顶点的加权聚类系数C_x，表达式如下

其中，ω_xk、ω_xl、ω_kl分别表示脑-肌闭环功能网络中，顶点x和k,顶点x和l以及顶点k和l之间的边权重，量化网络的局部信息传输效率，对于没有任何连接的孤立顶点，权重将被忽略，聚类系数设置为C_x＝0。

加权最短路径长度L_w，表达式如下：

其中，N和L_xy分别表示脑-肌闭环功能网络顶点总个数以及顶点x和y之间边的长度，量化网络的并行信息传播能力，网络中两个顶点x和y之间的最短加权路径长度表示所有可能路径上的L_xy之和的最小值。

中介中心性BC_x(betweenness centrality)，即所有的顶点对之间通过该顶点x的最短路径条数，表达式如下：

分析闭环功能网络的区域特征，其中，ρ_uv(x)表示通过顶点x的任意一对顶点(u和v)之间的最短路径数；ρ_uv表示顶点u和顶点v之间最短路径的总数。

步骤2：构建多个第一神经网络，每个第一神经网络以相同特定运动范式下脑-肌闭环功能网络提取的稳定的图拓扑特征和/或小世界网络特征为输入，运动功能预测评分为输出，范式任务成功或失败为标签进行训练，获得对应特定运动范式下卒中后恢复期评定模型；

其中，第一神经网络可以为任意的神经网络结构，优选为多层前馈神经网络，其结构如图2所示，采用多实例学习进行训练，具体地：

将基于多实例学习的卒中后恢复期评定抽象定义为由正样本包和负样本包组成的训练样本，每次特定运动范式任务成功完成的所有样本放入一个正样本包(bag)，每个样本作为一个实例(instance)，范式任务失败的样本放入一个负样本包，建立损失函数，神经网络训练求解及恢复期运动功能评定步骤如下：

S1：基于损失函数可以实现对神经网络的反向更新，以数据样本的真实评定结果(量表打分，如范式任务失败为0分，成功为1分)为参考，更新以包为单位；

S2：当多范式任务训练包被神经网络正确分类时，则不用该包更新权重，当该范式任务训练包被错误分类时，则用包中相对实际输出错误最大的样本进行权重更新，直至损失函数收敛或达到设定的训练的次数；获得对应特定运动范式下卒中后恢复期评定模型。

S3：测试时，输入多个包，让包中每个样本前向计算神经网络，选择输出最大的样本来决定包的最终类别；

最后基于脑卒中患者不同恢复期进行的不同特定运动范式下的多样本包判定结果更新恢复期运动功能评定结果，建立权重系数和归一化指标，与临床量表打分结果对标。

步骤3：构建第二神经网络，所述第二神经网络以不同恢复期患者的所有特定运动范式下卒中后恢复期评定模型输出的特征分别加上对标建立的权重系数后作为输入(基于这一特征与康复特征存在共性特点，可以支持康复预测相关的信息)，回访期康复预测评分为输出，不同恢复期进行的不同特定运动范式任务完成度与临床量表打分结果对标后的结果为标签进行训练，获得回访期康复效果预测模型；

其中，康复效果预测是一个多标签分类问题，第二神经网络可以为任意的神经网络结构，网络的层数可以较少，与数据量相匹配。

步骤4：由于恢复期表征恢复程度的特征，基于这一特征与康复特征存在共性特点，可以支持康复预测相关的信息，将所有特定运动范式下卒中后恢复期评定模型与回访期康复效果预测模型连接，形成统一网络结构，获得卒中后康复评估深度学习模型，网络结构如图3所示，其中，所有特定运动范式下卒中后恢复期评定模型(左半部分示出为其中一个)最后一层隐含层直接与回访期康复效果预测模型(右半部分)的输入端连接。

临床上的卒中后康复一般指Brunnstrom达到VI期即可出院，但仍需患者定期回访以判断康复效果是否退步或需入院进一步治疗。本发明采用不同恢复期(如Brunnstrom分期III-VI)评定特征帮助学习康复特征，有望形成特征引导及互助的效果，患者不需进行各类量表测量即可预测康复效果。因此，最后基于步骤1获取的数据对卒中后康复评估深度学习模型进行联合训练，具体地，基于误差反向传播梯度下降(BP算法)，每次输入2个batch，一个是特定运动范式下的样本包，另一个是恢复期评定特征样本，所述恢复期评定特征样本是所有特定运动范式下卒中后恢复期评定模型输出特征加上依据对标建立的权重系数所得。首先通过前一个batch计算全网参数梯度并更新左半部分参数，然后按多目标分类的康复效果预测目标对右半部分参数计算梯度并更新参数，这其中包含两个梯度需考虑权重值，期望通过恢复期评定特征来引导康复效果预测的特征提取。本发明建立多目标神经网络模型学习评定患者运动功能的恢复水平。

以上所述仅是本发明的优选实施方式，应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思做出若干修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑推理或者实验可以得到的技术方案，皆应视为本发明的保护范围。

Claims (5)

1.一种基于脑肌网络图论特征的卒中后康复评估深度学习模型构建方法，其特征在于，包括以下步骤：

步骤1：采集脑卒中患者在不同恢复期进行的不同运动范式下的同步脑肌电信息，并利用同步脑肌电信息，建立对应不同恢复期、不同运动范式下的脑-肌闭环功能网络；根据脑-肌闭环功能网络，提取稳定的图拓扑特征获得训练数据；

步骤2：构建多个第一神经网络，每个第一神经网络以相同特定运动范式下脑-肌闭环功能网络提取的稳定的图拓扑特征为输入，运动功能预测评分为输出，范式任务成功或失败为标签进行训练，获得对应特定运动范式下卒中后恢复期评定模型；

步骤3：构建第二神经网络，所述第二神经网络以不同恢复期患者的所有特定运动范式下卒中后恢复期评定模型输出的特征作为输入，回访期康复预测评分为输出，不同恢复期进行的不同运动范式任务完成度为标签进行训练，获得回访期康复效果预测模型；

步骤4：将所有特定运动范式下卒中后恢复期评定模型与回访期康复效果预测模型连接，并进行联合训练，获得卒中后康复评估深度学习模型。

2.如权利要求1所述的构建方法，其特征在于，所述图拓扑特征为小世界网络特征，小世界网络特征包含脑-肌闭环功能网络中每个顶点的加权聚类系数、加权最短路径和中介中心性中的一种或多种。

3.如权利要求1所述的构建方法，其特征在于，所述特定运动范式基于患侧远端和近端运动能力，划分为远端和近端两类运动范式任务；

其中，远端运动范式任务包括抓握、前臂旋前旋后运动范式；

近端运动范式任务包括肘关节屈曲、肩关节屈曲和屈伸协同运动范式。

4.如权利要求1所述的构建方法，其特征在于，所述恢复期采用Brunnstrom分期，包括III、IV、V和VI期。

5.如权利要求1所述的构建方法，其特征在于，所述步骤3中，不同恢复期进行的不同运动范式任务完成度建立权重系数和归一化指标，与临床量表打分结果对标，所述第二神经网络以不同恢复期患者的所有特定运动范式下卒中后恢复期评定模型输出的特征分别加上对应权重系数后作为输入。

Images