CN118053591B - 基于时变图卷积网络和图相似度计算的智能康复评估方法和系统 - Google Patents

Abstract

本发明公开了一种基于时变图卷积网络和图相似度计算的智能康复评估方法和系统。该方法共四个步骤：数据采集，利用可穿戴设备或摄像头采集患者的运动数据；数据预处理：包括信号数据和视频数据的预处理；数据准备：将原始数据转化为时变图结构数据；智能评估：利用时变图卷积网络技术对图结构进行学习和特征提取，然后通过图相似度计算方法比较患者的数据与标准数据，从而实现对患者的康复动作的评估。本发明不仅能够全面获取患者行为特征，还能够有效地利用图结构信息，完成患者运动功能整体的评估和患者部分身体部位运动和协同运动的标准度评估，大大提高了评估的准确性和可靠性；本发明具有较高的临床应用价值和广泛的应用推广前景。

Description

基于时变图卷积网络和图相似度计算的智能康复评估方法和 系统

技术领域

本发明属于医疗或健康数据处理技术领域，特别是涉及一种基于可穿戴设备、摄像头等运动捕获设备和深度学习技术的智能康复评估方法和系统。

背景技术

神经系统疾病如脑卒中、多发性硬化症、帕金森病、脊髓损伤、外周神经损伤以及颅脑损伤等在发病后，常伴有运动功能的严重损伤。在康复过程中，对患者的运动功能进行准确的评估尤为关键。运动功能评估旨在了解患者的运动能力、肌肉功能、协调性以及平衡能力等方面的情况，以便制定个性化的康复计划和治疗方案。

然而，运动功能评估往往是一项繁琐且需要耗费大量时间的工作。评估人员需要与患者建立信任关系，详细了解患者的病史、症状和康复目标，以确保评估的全面性和准确性。在评估过程中，评估人员可能需要进行多次测试，以监测康复进展并调整治疗方案。此外，由于神经系统疾病的复杂性和患者个体差异的存在，运动功能评估还可能面临一些挑战，如患者情绪波动、认知障碍、运动障碍等。评估人员需要具备足够的专业知识和经验，以应对各种复杂情况，并确保评估过程的顺利进行和评估结果的准确性。

因此，迫切需要开发一套智能的评估系统，特别是针对运动功能的评估。这套系统应当集成先进的传感技术、机器学习算法以提供高效、准确和个性化的运动功能评估。

发明内容

本发明目的在于解决上述背景技术中提出的问题，旨在建立基于时变图卷积网络和图相似度计算的康复过程中运动功能智能评估方法，基于运动数据采集设备如运动传感器、摄像头等，实现运动功能精准评估；为运动功能障碍患者的康复评定和康复训练提供更高效和精准的辅助，推动康复医学和临床康复技术的进步。

为了实现本发明目的，本发明公开了一种基于时变图卷积网络和图相似度计算的智能康复评估方法，包括以下步骤：

步骤1、数据采集：采集多模态数据，包括但不限于使用可穿戴设备采集患者的运动信号数据，使用摄像头采集患者的运动视频图像数据；

步骤2、数据预处理：可穿戴设备采集的运动信号数据预处理包括缺失值处理、信号去噪、信号分割和信号重采样；摄像头采集的运动视频图像数据预处理包括目标检测、图像增强、帧插值；

步骤3、数据准备：将预处理后的运动信号数据或运动视频图像数据转化为时变图结构数据；预处理后的数据为时序数据，将每一个时间点的数据转化为一张图，最终形成时变图；时变图的图结构包含多个节点，各节点对应人体不同位置；

步骤4、动作智能评估：通过时变图结构数据，建立基于时变图相似度计算的网络对患者运动进行评估，包括对整体康复评估动作的评估和对特定身体部位标准度的评估。

进一步地，步骤1中，使用可穿戴设备采集患者的运动信号类数据的可穿戴设备包括5个康复臂环，1只康复手套；康复臂环中配备惯性传感器，用于采集加速度，角速度，角度信号；康复手套配备惯性传感器和弯曲传感器，用于采集手指和手腕弯曲的角度，具体数据采集过程如下：

步骤1-1-1、设备穿戴；可穿戴设备穿戴方式为，5个康复臂环分别安装在患者身体患侧的上肢小臂和大臂，下肢大腿和小腿，腰部肚脐位置；康复手套穿戴于患者手掌；

步骤1-1-2、数据采集；打开可穿戴设备，进行传感器校准，检查准确性并校正偏移；启动数据采集程序，患者穿戴可穿戴设备完成康复评估动作，系统记录患者康复训练过程中动作的运动数据；每个传感器以50Hz的采样率采集数据；康复臂环采集的信号包括欧拉角、校准后的X、Y、Z三个方向的加速度和角速度，其中康复臂环采集的欧拉角包括俯仰角pitch、偏航角yaw和翻滚角roll；康复手套采集的信号包括欧拉角、校准后的X、Y、Z三个方向的加速度和角速度、手指弯曲角度，其中康复手套采集的欧拉角包括俯仰角pitch、偏航角yaw和翻滚角roll；康复臂环采集的数据D_imu大小为传感器数量×信号类型数量×信号长度L，即D_imu∈R^5×9×L，康复手套采集的数据D_hand大小为传感器数量×信号类型数量×信号长度L，即D_hand∈R^1×14×L；

步骤1-1-3、数据存储和传输；采集到的数据存储在存储设备或云端数据库中。

进一步地，步骤1中，使用摄像头采集患者的运动视频数据，所述摄像头包括但不限于普通摄像头，红外摄像头，激光雷达，具体数据采集过程如下：

步骤1-2-1、摄像头配置安装；摄像头安装于患者正前方，保证位于该位置的摄像头能够捕捉到患者全身各个部位的运动；

步骤1-2-2、数据采集；打开摄像头，患者位于摄像头正前方完成康复评估动作；摄像头每秒采集至少30帧图像；图像大小为512×256，摄像头采集的数据D_cam大小表示为512×256×L，其中L为视频帧数，即D_cam∈R^512×256×L；

步骤1-2-3、数据存储和传输；采集到的数据存储在存储设备或云端数据库中。

进一步地，步骤2中，可穿戴设备采集的运动信号数据预处理具体步骤如下：

步骤2-1-1、信号缺失值处理；数据采集过程中，如果产生缺失值，利用已有信号进行补齐；若信号中某片段缺失，采用缺失片段前段信号和后段信号取均值补齐；若整个信号缺失，随机采用数据库中相同标签数据代替；

步骤2-1-2、信号滤波；去除原始信号包含的随机噪声，采用移动平均滤波器对原始信号进行去噪处理，移动平均滤波器输出的计算公式如下：

其中，y_k 表示滑动平均输出的结果，x_k 表示原始信号，N 表示滤波器的长度；

步骤2-1-3、信号分割；原始信号为周期信号；计算信号的一阶差分，检测波峰和波谷分别对应差分符号的变化点，从正变为负的点为波峰，从负变为正的点为波谷；通过检测的波峰波谷分割周期，采用第2至第3个周期信号作为输出信号，用于后续分析计算；

步骤2-1-4、信号重采样；将分割后的数据长度统一到100个采样点；采用分片线性插值法统一分段信号的周期，计算公式如下：

其中，(x₁,y₁)和(x₂,y₂)分别代表序列中相邻的两个点，f(x)是分段线性插值函数，自变量x的取值区间为[x₁,x₂]；

通过上述预处理方法，病人的每个动作的数据处理为：康复臂环数据大小为5×9×100，手套数据大小为1×14×100，即D_imu∈R^5×9×100，D_hand∈R^1×14×100。

进一步地，步骤2中，摄像头采集的运动视频图像数据预处理具体步骤如下：

步骤2-2-1、利用深度学习目标检测网络完成视频中每一帧的人体目标检测；检测到人体后将检测框内容分割出，重新调整每一帧图像的大小，将其统一为128×64；

步骤2-2-2、利用直方图均衡化法，对视频的每一帧图像进行增强，改善图像质量、增强图像细节；

步骤2-2-3、利用线性插值法，对视频进行插值或者采样，使得最终视频的帧数为100帧；

通过上述预处理方法，患者每个动作最终视频数据大小为128×64×100，即D_cam∈R^512×256×L更新为D_cam∈R^128×64×100；128×64为每一帧图像大小，100表示视频包含100帧。

进一步地，步骤3中，预处理后运动信号数据的数据准备具体步骤如下：

步骤3-1-1、传感器数据到骨架15个节点数据的映射；原始康复臂环传感器在待获取时变图中对应位置是：代表大臂的节点3，代表小臂的节点5，代表腰部肚脐的节点7，代表大腿的节点9，代表小腿的节点10，这些节点存在数据；剩余节点有：代表锁骨的节点1，代表肩膀的节点2，代表肘关节的节点4，代表髋关节的节点8，这些节点不存在数据，因此将已知的数据映射到1，2，4，8节点，构成躯干完整的节点特征信息；原始康复手套数据已经包含了手腕节点6，五指节点11-15的数据信息，因此不需要进行映射；

未知特征数据节点的信息的获取由编码解码系统实现，编码器将输入数据编码为低维表示，解码器则将该低维表示解码为输出数据，即将已知数据节点的数据作为输入，分别传递给编码器；编码器将这些数据编码成一个低维表示，然后解码器将这个低维表示解码成未知数据节点的数据；

编码解码系统的实现如下：编码器设计：对于已知节点数据，使用循环神经网络来设计编码器，具体采用的网络为长短时记忆网络LSTM，LSTM网络将传感器数据映射到一个低维的隐藏表示空间，即编码；解码器设计：解码器将编码后的低维表示解码为肘关节的IMU数据；使用与编码器相同的网络结构LSTM反向操作，即从低维表示重建为原始的IMU数据；训练网络：使用收集的数据对编码解码网络进行训练；使用均方误差生成的数据与实际数据之间的差异，并通过反向传播算法来优化网络参数；

编码解码系统操作过程中：节点3和节点5数据用于编码，解码的结果为节点4的数据；节点1和节点7的数据用于编码，解码的结果为节点1和节点2的数据；节点7和节点9的数据用于编码，解码的结果为节点8的数据；

步骤3-1-2、特征构建：完成数据映射后，得到骨架所有15个节点新构建的数据，节点1-10，每个节点的数据D_node∈R^9×100；节点11-15整体的数据D_hand∈R^1×14×100；通过上述数据，构建每个节点特征的方法如下：

节点1-10在一个时间点包含的特征为：俯仰角pitch，偏航角yaw，翻滚角roll，加速度Ax，Ay，Az，角速度Wx，Wy，Wz，构成长度为9的特征向量；节点11-15在一个时间点包含的特征为：节点弯曲角度F，俯仰角pitch，偏航角yaw，翻滚角roll，加速度Ax，Ay，Az，角速度Wx，Wy，Wz，构成长度为10的特征向量，其中除弯曲角度以外的其他特征均才采自其节点6，即该五个节点除弯曲角度以外的特征均与节点六相同；

步骤3-1-3、时变图构建：根据上述构建的特征，将样本构架为时变图数据；时变图表示为集合G={g₁-g₁₀₀}∈R¹⁰⁰，15个节点表示为集合V={v₁-v₁₅}∈R¹⁵，14条边表示为集合E={e₁-e₁₄}∈R¹⁴，邻接矩阵表示为矩阵A∈R^15×15；每个结点的特征向量x_i长度为10，即x_i∈R¹⁰；对于节点1-10，特征向量前9个位置为俯仰角pitch，偏航角yaw，翻滚角roll，加速度Ax，Ay，Az，角速度Wx，Wy，Wz，第10个位置均以0占位；对于节点11-15，该特征向量前9个为俯仰角pitch，偏航角yaw，翻滚角roll，加速度Ax，Ay，Az，角速度Wx，Wy，Wz，第十位位置为弯曲角度；按照上述方法，每个时刻特征矩阵表示为X_i={x₁-x₁₅}∈R^15×10；时变图整体表示为：

进一步地，步骤3中，预处理后运动视频数据的数据准备具体步骤如下：

步骤3-2-1、骨架节点提取；采用openpose算法提取视频中的骨架点，共提取出15个关键节点；每一帧图像都将提取出这15个节点，得到每个节点的位置信息(x，y)和可见信息vis，并使用两帧图像对应节点坐标差异计算的位移量(Ax,Ay)，总共得到5个参数，即预处理后的摄像头信息D_cam∈R^128×64×100通过openpose算法后，转化为D_cam∈R^15×5×100

步骤3-2-2、特征提取；每一帧图像的每个节点的特征为：位置信息：节点在图像中的坐标(x,y)；可见性信息：节点是否在图像中可见，即是否成功检测到，用vis表示；节点位移量Ax,Ay，即每个节点提取五个特征，构成节点特征向量x∈R⁵,为使得运动视频图像数据特征向量长度和可穿戴设备采集患者的运动信号数据特征长度统一，将该向量的设置为10，末尾五个元素为0，则节点特征向量x∈R¹⁰；

步骤3-2-3、时变图构建；根据上述构建的特征，将样本构建为时变图数据，时变图表示为集合G={g₁-g₁₀₀}∈R¹⁰⁰，图共15个节点表示为集合V={v₁-v₁₅}∈R¹⁵，14条边表示为集合E={e₁-e₁₄}∈R¹⁴，邻接矩阵A∈R^15×15；每个结点的特征向量x_i长度为10，即x_i∈R¹⁰；按照上述方法，每个时刻特征矩阵X_i={x₁-x₁₅}∈R^15×10；时变图整体表示为：

进一步地，步骤4中，基于时变图卷积和图相似度计算完成康复评估算法模型，所述康复评估算法模型包括时变图卷积模块、残差网络、注意力机制提取全局特征模块、神经张量网络、点相似度特征提取模块和相似度计算网络；

时变图卷积模块基于图卷积网络GCN和时间序列模型的结合；图卷积网络GCN用于从图数据中提取空间特征，通过邻接矩阵和节点特征来定义节点之间的关系，并利用这种关系进行信息传播和特征提取；时间序列模型使用循环神经网络RNN来处理时间序列数据，以捕捉序列之间的时间依赖关系；时间序列模型采用门控循环单元GRU；

时变图卷积模块输入为数据准备得到的时变图G={g₁-g₁₀₀}，包含图结构信息和每个时刻的特征信息X_i={x₁-x₁₅,x_i∈R¹⁰}；输入包括两张时变图，其中一张为标准动作的时变图G₁，G₁由多个正常人采集取均值，并经过预处理和数据准备流程得到，另外一张为患者动作的时变图G₂；

时变图卷积的流程如下：第一步，完成时变图每个子图的图卷积，即g₁-g₁₀₀，特征为X₁-X₁₀₀的图卷积，图卷积计算如下：

其中H^(l+1）是第1次卷积后特征的表示，维度为15×10，即H^(l+1）∈R^15×10，H^(0）是X，即输入特征矩阵；D^{^}是图的度矩阵，A^{^}=A+I是邻接矩阵A加上单位矩阵I的结构，W是权重矩阵，在训练模型时通过反向传播得到；σ()是激活函数，在这里采用Relu激活函数；将图卷积的操作定义为f()，则上面的计算公式表达为：

第二步，图卷积后的结果输入到门控循环单元，其计算过程如下：

其中h_t为t时刻的隐藏状态，h_t-1为t-1时刻的隐藏状态，r_t是复位门，用来控制忽略的程度前一刻的状态信息；u_t是更新门，它用来控制到哪个状态的程度前一时刻的信息被带入当前状态；C_t为时刻t存储的内存内容; X_t是t时刻的特征表示，W和b是GRU网络中的权重参数和偏置参数，在网络训练过程中通过反向传播自动获得；门控循环单元的计算将执行100次，即时变图的每一个子图在进行图卷积后重构的特征X_i={x₁-x₁₅}都会送入第i个门控循环单元进行时间特征的提取，输出隐藏状态h_i，并应用于下一个时刻；第100次计算输出的隐藏状态h₁₀₀将作为该次时变图卷积的最终输出F∈R^15×10；

输出：重复迭代时变图卷积流程的第一步和第二步，进行N次时变图卷积操作，从而得到N个最终输出F₁-F_N；

基于残差网络，设置一组可调节的参数，用于控制时变图卷积中每次迭代输出的比例，形成时变图的整体特征表示F_all，控制方法如下：

其中λ_i为每一次图卷积输出特征的权重，在模型的训练过程中，如果模型判定第k次图卷积的输出对性能提升不大，则会将λ_k自动调整为趋于0，所有的λ都是在模型训练反向传播过程中自动获得；通过该参数网络获得基于整个时变图的整体特征表示F_all∈R^{15 ×10}，其中，标准动作时变图的整体特征表示为F_all1，患者动作的整体特征表示为F_all2；

注意力机制提取全局特征模块将残差网络中获得的特征F_all转化为一个全局特征向量v，该部分采用注意力机制完成，全局特征向量的构建过程如下：

第一步，构建均值向量v’，计算公式如下：

其中x_i是F_all第i个特征向量；

第二步，将第一步构建的全局特征向量v’拼接到特征表示的F_all中，形成F_all’，其中concatenate是拼接操作，最终形成的F_all’∈R^16×10；

第三步，自注意力机制重构特征值，首先计算F_all’中各个向量的注意力分数AS，然后计算注意力权重AW，最后，根据注意力权重重构特征向量；

；

其中，W_q为询问矩阵，W_k为键矩阵，在网络训练反向传播过程中自动学习得到，D为重构后特征向量的维度，在此处保持维度不变，D=10；结合上面三个计算公式，重构v’的特征值，得到最终的全局特征向量v∈R¹⁰，其表达式如下：

标准动作时变图的全局特征向量为v₁，患者动作的全局特征向量为v₂；

神经张量网络用于提取标准动作时变图的全局特征向量v₁和患者动作的全局特征向量v₂的隐藏关系，提取过程如下：

第一步，提取v₁和v₂中隐式的相似度特征向量a，构建8个可学习的特征提取矩阵W₁—W₈，W∈R^10×10，一共提取8个隐式特征，这些矩阵的值将在网络训练反向传播中自动获取，隐式特征a_i的计算公式如下，通过公式提取出a₁-a₈，共8个隐式特征，计算出隐式特征后，将这8个特征拼接为长度为8的特征向量a∈R⁸

第二步，提取线性关系，得到v_new∈R⁸，将v₁和v₂拼接后∈R²⁰，构建一个可学习的矩阵V∈R^8×20和一组偏执参数b∈R⁸，其计算过程如下：

第三步，将第一部步和第二步的结果相加，得到最终的全局相似度特征向量F_{sim_all}∈R⁸，其计算公式如下：

标准动作时序特征图的时变图卷积后的特征表示为F_all1，患者时序特征图的时变图卷积后的特征表示为F_all2，点相似度特征提取模块计算标准动作时变图和患者动作时变图中点的相似度，得到局部相似度特征向量F_{sim_loc}，其计算过程如下：

第一步，构建点特征矩阵S∈R^15×15，其计算公式如下：

第二步，对矩阵S进行成分分析；构建点特征矩阵的过程是标准动作和患者动作时变图特征表示点级别的特征内积的过程，S（i，j）表示标准动作图第i个点和患者动作第j个点特征向量的内积，内积的绝对值越大，表示两个特征向量的相似度越大，反之，内积的绝对值越小，表示两个特征向量的相似度越小；在矩阵S中，大部分的元素值较大，说明大部分点的相似度高，反之则相似度低；考虑到S中不同位置重要性不同进行比例重设，设s=|i-j|，s越小，表示标准动作图和患者动作图对应计算内积的节点的距离在图结构中越近，该内积值的重要性越大，当s=0时，重要性最强；构建一组可学习的权重参数β={β₀，β₁...β_14，β₀>β₁>...>β₁₄, ∑β=1}∈R¹⁵，将S转化为长度225的向量Sv∈R²²⁵，对于Sv对应矩阵S中{S（i，j），|i-j|=s}的元素将其比例重构为β_s；Sv元素个数为15×15，重构后的新向量Sv’元素个数为：

利用直方图统计中Sv’元素的分布，将其分为8类，假设元素值的分布区间是[Q，P]，则划分八个区间，每个区间的宽度为（P-Q）/8，统计每个区间元素的比例p，得到比例p₁-p₈，将这八个比例拼接为一个向量，形成点级别相似度特征向量F_{sim_loc}∈R⁸；

相似度计算网络进行全局的相似度计算和局部的相似度计算；

全局的相似度计算：由全连接网络完成该任务，首先将神经张量网络和点相似度特征提取模块中提取的全局相似度特征向量F_{sim_all}和F_{sim_loc}拼接形成最终特征向量FF∈R^16；

然后，将最终特征向量作为全连接网络的输入，该全连接网络包含一个输入层，两个隐藏层，一个输出层，激活函数采用sigmoid，输出层宽度为1，代表输出只有一个值sim，sim代表标准动作和患者动作之间的相似度，范围为[0,1]；

局部的相似度计算：在模型的点相似度特征提取模块中，提取了患者动作和标准动作的点相似度矩阵S，该矩阵中主对角线上的元素S(i,i)，其中i=1-15，表示了标准动作和患者动作在对应节点特征向量上的内积；内积结果越大，表示两个向量的相似度越高，而越小则表示相似度越低，图中的节点1-15分别代表了身体的不同关键部位；将主对角线元素取出形成对角线向量v_d∈R¹⁵，构建可学习矩阵O∈R^15×15,和偏置参数向量t∈R¹⁵,并通过sigmoid激活函数，计算点相似度v_{sim_loc}∈R¹⁵

。

进一步地，步骤4中，基于时变图卷积网络和图相似度计算的康复评估算法模型，该模型最终输出一个图相似度sim和点相似度向量v_{sim_loc}；

对整体运动的评估：基于时变图卷积网络和图相似度计算的康复评估算法模型，该模型最终输出一个图相似度sim，用于衡量患者动作与标准动作之间的相似程度；sim值越大，表示患者动作与标准动作的相似度越高，反之则表示相似度越低；通过计算患者所有康复评估动作的相似度，综合这些结果完成对患者康复效果的评估；

对运动细节的评估：基于时变图卷积网络和图相似度计算的康复评估算法模型，该模型最终输出一个点相似度向量v_{sim_loc}，该向量一共15个元素,元素值分别代表了标准动作和患者动作对于节点的相似度；对于对应身体部位的评估，若 v_{sim_loc}(i)越大，则表示该节点所代表的身体部位运动标准，功能完善；反之，则表示运动不标准，功能不完善；对于多个身体部位的协同运动功能评估，计算协同部位节点v_{sim_loc}(i)的和，该和值越大，表示协同运动标准，协同功能完善；反之，则表示协同动作不标准，协同功能不完善。

为了实现本发明的目的，本发明还公开了一种基于时变图卷积网络和图相似度计算的智能康复评估系统，包括以下模块：

数据采集模块；采集多模态数据，包括使用可穿戴设备采集患者的运动信号数据，使用摄像头采集患者的运动视频图像数据；

数据预处理模块；可穿戴设备采集的运动信号数据预处理包括缺失值处理、信号去噪、信号分割和信号重采样；摄像头采集的运动视频图像数据预处理包括目标检测，图像增强，帧插值；

数据准备模块；将预处理后的运动信号数据或运动视频图像数据转化为时变图结构数据；预处理后的数据为时序数据，将每一个时间点的数据转化为一张图，最终形成时变图；时变图的图结构包含多个节点，各节点对应人体不同位置；

动作智能评估模块；通过时变图结构数据，建立基于时变图卷积相似度计算网络对患者运动进行评估，包括对整体康复评估动作的评估和对特定身体部位标准度的评估。

与现有技术相比，本发明的显著进步在于：1）提出了一种基于时变图卷积网络和图相似度计算的运动功能康复智能评估方法。该方法利用患者的康复行为数据构建相应的时变图模型，并运用时变图卷积网络技术对图结构进行学习和特征提取。通过利用图卷积的特征进行图相似度的计算，将患者的数据与已有的标准数据进行比较，实现对患者运动能力的整体评估；2）提出的评估方法不仅能够完成患者运动能力的整体评估，而且利用时变图节点的特征信息，能够实现对患者部分身体部位运动和协同运动的标准度评估。这意味着可以更加精细地了解患者在不同身体部位的运动表现，从而更准确地评估其康复进展和制定个性化的康复方案。

为更清楚说明本发明的功能特性以及结构参数，下面结合附图及具体实施方式进一步说明。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是基于时变图卷积网络和图相似度计算的智能康复评估方法和系统的流程框图；

图2是身体骨架和时变图结构示意图；

图3是基于时变图卷积网络和图相似度计算的康复评估原理图时变图卷积网络部分；

图4是基于时变图卷积网络和图相似度计算的康复评估原理图特征提取和相似度计算部分。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

1、系统整体框架

本发明整体框架如图1所示，其特征在于，包括如下步骤：

步骤1：数据采集；采集多模态数据，包括但不限于使用可穿戴设备采集患者的运动信号，使用摄像头采集患者的运动视频图像数据；

步骤2：数据预处理；信号类数据：包括但不限于缺失值处理、信号去噪、信号分割和信号重采样。图像类数据：包括但不限于目标检测，图像增强，帧插值；

步骤3：数据准备；将可穿戴设备数据或视频数据转化为时变图结构数据；

步骤4：动作智能评估；通过上述时变图数据，建立基于时变图卷积相似度计算的网络对患者运动进行评估。包括对整体康复评估动作的评估和对特定身体部位标准度的评估。

2、数据采集

针对运动功能受损患者，可根据实际情况采集以下两种模态数据，但不限于这两种模态数据。

使用可穿戴设备收集运动数据：

可穿戴设备包括但不限于5个康复臂环，1只康复手套。康复臂环中配备惯性传感器，可采集加速度，角速度，角度信号。康复手套配备惯性传感器和弯曲传感器，可采集手指和手腕弯曲的角度。数据采集过程如下：

（1）设备穿戴：可穿戴设备穿戴方式为，但不限于，5个康复臂环正确安装在患者身体患侧的关键部位，包括上肢小臂和大臂，下肢大腿和小腿，腰部肚脐位置；手套穿戴于患者手掌；

（2）数据采集：打开可穿戴设备，进行传感器校准，检查准确性并校正任何可能的偏移，以确保产生的数据可靠和准确。启动数据采集程序，患者穿戴可穿戴设备完成康复评估动作，系统记录患者康复训练过程中各种动作的运动数据。每个传感器以50Hz的采样率采集数据；

康复臂环采集的信号包括欧拉角（俯仰角:pitch; 偏航角:yaw; 翻滚角:roll）、加速度（校准后的X，Y，Z三个方向）、角速度（校准后的X，Y，Z三个方向）。康复手套采集的信号包括，欧拉角（俯仰角:pitch; 偏航角:yaw; 翻滚角:roll）、加速度（校准后的X，Y，Z三个方向）、角速度（校准后的X，Y，Z三个方向）、手指弯曲角度（F1，F2...F5）。4个康复臂环采集的数据（D_imu）大小为5×9×L，即D_imu∈R^5×9×L（传感器数量×信号类型数量×信号长度L），康复手套采集的数据（D_hand）大小为1×14×L，即D_hand∈R^1×14×L（传感器数量×信号类型数量×信号长度L）；

（3）数据存储和传输：采集到的数据存储在设备或云端数据库中，确保数据的安全性和可访问性。有时，数据可能需要实时传输到分析单元或其他处理设备。

建立智能评估模型的数据集同样按照以上流程采集，包含医生评估的动作标准度标签。医生标签包含整体动作的评分和每个身体关键点的评分。即数据大小为5×9×L的D_imu和大小为1×14×L的D_hand的每个样本都有医生标定的动作标准度标签和身体关键点评分0.00-1.00分（保留小数点后两位），0分完全不能完成动动作，1分可以和正常人一样完成标准的动作）。

使用摄像头收集运动数据：

系统使用摄像头，包括但不限于普通摄像头，红外摄像头，激光雷达，采集运动视频图像数据。数据采集流程如下：

（1）摄像头配置安装：摄像头安装于患者正前方，保证位于该位置的摄像头可以捕捉到患者全身各个部位的运动；

（2）数据采集：打开摄像头，患者位于摄像头正前方完成康复评估动作。摄像头每秒采集至少，但不限于，30帧图像；图像大小为，但不限于，512×256。摄像头采集的数据（D_cam）大小可表示为512×256×L，其中L为视频帧数，即D_cam∈R^512×256×L；

（3）数据存储和传输：采集到的数据存储在设备或云端数据库中，确保数据的安全性和可访问性。有时，数据可能需要实时传输到分析单元或其他处理设备；

建立智能评估模型的数据集同样按照以上流程采集，包含医生评估的动作标准度标签。医生标签包含整体动作的评分和每个身体关键点的评分。即大小为512×256×L的D_cam的每个样本都有医生标定的动作标准度标签和身体关键点评分（0.00-1.00分（保留小数点后两位），0分完全不能完成动动作，1分可以和正常人一样完成标准的动作）。

3、数据预处理

可穿戴设备数据预处理：

（1）信号缺失值处理：数据采集过程中，如果产生缺失值，利用已有信号进行补齐。具体但不限于以下两种情况：第一，信号中某片段缺失，可采用确实片段前段信号和后段信号取均值补齐。第二，整个信号缺失，随机采用数据库中相同标签数据代替；

（2）信号滤波：去除原始信号包含的随机噪声，采用移动平均滤波器对原的始信号进行去噪处理。移动平均滤波器输出的计算公式如下：

；

其中，y_k 表示滑动平均输出的结果，x_k 表示原始信号，N 表示滤波器的长度。

（3）信号分割：原始信号大约为2-4个运动周期。计算信号的一阶差分，检测波峰和波谷分别对应差分符号的变化点：从正变为负的点为波峰，从负变为正的点为波谷。通过检测的波峰波谷分割周期，采用第2至第3个周期信号作为输出信号，用于后续分析计算；

（4）信号重采样：将分割后的数据长度统一到100个采样点。采用分片线性插值法统一分段信号的周期，计算公式如下：

；

其中，(x₁,y₁) 和 (x₂,y₂) 分别代表序列中相邻的两个点，f(x) 是分段线性插值函数，自变量 x 的取值区间为 [x₁,x₂]。

通过上述预处理方法，病人的每个动作的数据：康复臂环数据大小为5×9×100，手套数据大小为1×14×100，即D_imu∈R^5×9×100，D_hand∈R^1×14×100。

视频数据预处理：

（1）目标检测：利用深度学习目标检测网络，例如，但不限于Fast—RCNN，Yolo等，完成视频中每一帧的人体目标检测。检测到人体后将检测框内容分割出，重新调整每一帧图像的大小，将其统一为128×64；

（2）图像增强：利用，但不限于，直方图均衡化等方法，对视频的每一帧图像进行增强，改善图像质量、增强图像细节；

（3）帧插值：利用，但不限于，线性插值等方法，对视频进行插值，或者采样，使得最终视频的帧数为100帧；

通过上述预处理方法，患者每个动作最终视频数据大小为128×64×100，即D_cam∈R^512×256×L更新为D_cam∈R^128×64×100。128×64为每一帧图像大小，100表示视频包含100帧。

4、数据准备

该部分作用是将上述可穿戴设备数据（D_imu，D_hand）和视频数据（D_cam）转化为图数据。具体而言，图数据包含：图结构信息（边，节点，由邻接矩阵A描述）；图特征信息（节点的特征，由特征矩阵X描述）。

数据准备的目的是将预处理后的数据，转化为图模态的数据。由于预处理后的数据为时序数据（信号或视频），因此需要将每一个时间点的转化为一张图（graph），最终形成时变图。该时变图的图结构不随时间变化，即每个时刻图的边，节点，邻接矩阵A都不会发生变化。该时变图的特征随时间变化，即节点的特征，特征矩阵X会随时间变化。该时变图的图结构如图2所示，包含15个节点，14条边。在预处理过程中，所有样本的L（序列长度或视频帧数）均被设置为100，因此该时变图包含100个随时间变化的子图（子图结构相同，但是特征不同）。

可穿戴设备数据准备：

（1）传感器数据到骨架数据的映射：

原始康复臂环传感器在待获取时变图中对应位置是：代表大臂的节点3，代表小臂的节点5，代表腰部肚脐的节点7，代表大腿的节点9，代表小腿的节点10，这些节点存在数据；剩余节点有：代表锁骨的节点1，代表肩膀的节点2，代表肘关节的节点4，代表髋关节的节点8，这些节点不存在数据，因此将已知的数据映射到1，2，4，8节点，构成躯干完整的节点特征信息；原始康复手套数据已经包含了手腕节点6，五指节点11-15的数据信息，因此不需要进行映射；

未知特征数据节点的信息的获取由编码解码系统实现。编码器将输入数据编码为低维表示，解码器则将该低维表示解码为输出数据。即将已知数据节点的数据作为输入，分别传递给编码器。编码器将这些数据编码成一个低维表示，然后解码器将这个低维表示解码成未知数据节点的数据。

编码解码系统的实现如下：编码器设计：对于已知节点数据，使用循环神经网络来设计编码器，具体采用的网络为长短时记忆网络（LSTM）。LSTM网络可以将传感器数据映射到一个低维的隐藏表示空间，即编码。解码器设计：解码器将编码后的低维表示解码为肘关节的IMU数据。可以使用与编码器相同的网络结构（LSTM），但反向操作。即从低维表示重建为原始的IMU数据。训练网络：使用收集的数据对编码解码网络进行训练。使用均方误差（Mean Squared Error）生成的数据与实际数据之间的差异，并通过反向传播算法来优化网络参数。

编码解码系统操作过程中：节点3和节点5数据用于编码，解码的结果为节点4的数据；节点1和节点7的数据用于编码，解码的结果为节点1和节点2的数据；节点7和节点9的数据用于编码，解码的结果为节点8的数据。

（2）特征构建：

完成数据映射后，得到骨架所有15个节点新构建的数据，节点1-10，每个节点的数据D_node∈R^9×100；节点11-15整体的数据D_hand∈R^1×14×100；通过上述数据，构建每个节点特征的方法如下：

节点1-10在一个时间点包含的特征为：俯仰角:pitch， 偏航角:yaw， 翻滚角:roll，加速度Ax，Ay，Az，角速度Wx，Wy，Wz，可构成长度为9的特征向量。节点11-15在一个时间点包含的特征为：节点弯曲角度F，俯仰角:pitch， 偏航角:yaw， 翻滚角:roll，加速度Ax，Ay，Az，角速度Wx，Wy，Wz，可构成长度为10的特征向量，其中除弯曲角度以外的其他特征均才采自其节点6，即该五个节点除弯曲角度以外的特征均与节点六相同。

（3）时变图构建：

根据上述构建的特征，将样本构架为时变图数据。时变图表示为集合G={g₁-g₁₀₀}∈R¹⁰⁰，15个节点表示为集合V={v₁-v₁₅}∈R¹⁵，14条边表示为集合E={e₁-e₁₄}∈R¹⁴，邻接矩阵表示为矩阵A∈R^15×15；每个结点的特征向量x_i长度为10，即x_i∈R¹⁰。对于节点1-10，该特征向量前9个位置为俯仰角pitch，偏航角yaw，翻滚角roll，加速度Ax，Ay，Az，角速度Wx，Wy，Wz，第10个位置均以0占位；对于节点11-15，该特征向量前9个为俯仰角pitch，偏航角yaw，翻滚角roll，加速度Ax，Ay，Az，角速度Wx，Wy，Wz，第十位位置为弯曲角度；按照上述方法，每个时刻特征矩阵表示为X_i={x₁-x₁₅}∈R^15×10。时变图整体表示为：

视频数据准备：

（1）骨架节点提取：

采用openpose算法提取视频中的骨架点，共提取出15个关键节点。每一帧图像都将提取出这15个节点，得到每个节点的位置信息（x，y）和可见信息vis，并使用两帧图像对应节点坐标差异计算的位移量（Ax,Ay），总共得到5个参数，即预处理后的摄像头信息D_cam∈R^128×64×100通过openpose算法后，转化为D_cam∈R^15×5×100；

（2）特征提取：

每一帧图像的每个节点的特征为：位置信息：节点在图像中的坐标(x,y)；可见性信息：节点是否在图像中可见，即是否成功检测到，用vis表示；节点位移量Ax,Ay。即每个节点提取五个特征，构成节点特征向量x∈R⁵,为使得运动视频图像数据特征向量长度和可穿戴设备采集患者的运动信号数据特征长度统一，将该向量的设置为10，末尾五个元素为0，则节点特征向量x∈R¹⁰；

（3）时变图构建：

根据上述构建的特征，将样本构建为时变图数据。时变图表示为集合G={g₁-g₁₀₀}∈R¹⁰⁰，图结构信息如图2所示（包含点，边信息，由邻接矩阵A描述），共15个节点表示为集合V={v₁-v₁₅}∈R¹⁵，14条边表示为集合E={e₁-e₁₄}∈R¹⁴，邻接矩阵A∈R^15×15。每个结点的特征向量xi长度为10，即x_i∈R¹⁰。按照上述方法，每个时刻特征矩阵X_i={x₁-x₁₅}∈R^15×10。时变图整体表示为：

5、康复评估

基于时变图卷积网络和图相似度计算的康复评估算法如图3和图4所示。

康复评估算法模型组成：

（1）时变图卷积

输入：该模块输入为数据准备得到的时变图G={g₁-g₁₀₀}，包含图结构信息（邻接矩阵A）和每个时刻的特征信息X_i={x₁-x₁₅,x_i∈R10}。输入为两张时变图，其中一张为标准动作的时变图G₁（由多个正常人采集取均值，并经过预处理和数据准备流程得到），另外一张为患者动作的时变图G₂。

结构：该模块基本原理基于图卷积网络（GCN）和时间序列模型的结合。它主要包括两个关键的组成部分：图卷积网络（GCN）：用于从图数据中提取空间特征。它通过邻接矩阵和节点特征来定义节点之间的关系，并利用这种关系进行信息传播和特征提取。时间序列模型：使用循环神经网络（RNN）来处理时间序列数据，以捕捉序列之间的时间依赖关系。此处，时间序列模型采用门控循环单元（Gated Recurrent Unit，GRU）。

时变图卷积的流程如下：

第一步：完成时变图每个子图的图卷积，即g₁-g₁₀₀（特征为X₁-X₁₀₀）的图卷积。图卷积计算如下：

其中H^(l+1）是第1次卷积后特征的表示，维度为15×10，即H^(l+1）∈R^15×10，H^(0）是X，即输入特征矩阵。D^{^}是图的度矩阵，A^{^}=A+I是邻接矩阵A加上单位矩阵I的结构，W是权重矩阵，在训练模型时通过反向传播得到。σ()是激活函数，在这里采用Relu激活函数。在此处我们将图卷积的操作定义为f()，则上面的计算公式可以表达为：

第二步：图卷积后的结果输入到门控循环单元，其计算过程如下：

其中h_t为t时刻的隐藏状态，h_t-1为t-1时刻的隐藏状态，r_t是复位门，用来控制忽略的程度前一刻的状态信息；u_t是更新门，它用来控制到哪个状态的程度前一时刻的信息被带入当前状态；C_t为时刻t存储的内存内容; X_t是t时刻的特征表示，W和b是GRU网络中的权重参数和偏置参数，在网络训练过程中通过反向传播自动获得；门控循环单元的计算将执行100次，即时变图的1每一个子图在进行图卷积后重构的特征X_i={x₁-x₁₅}都会送入第i个门控循环单元进行时间特征的提取，输出隐藏状态h_i，并应用于下一个时刻；第100次计算输出的隐藏状态h₁₀₀将作为该次时变图卷积的最终输出F∈R^15×10；

输出：重复迭代时变图卷积流程的步骤1和步骤2，进行N次（N的大小根据实际情况设置）时变图卷积操作（上一次迭代的输出的特征作为下一次迭代的输入），从而得到N个最终输出F₁-F_N；

（2）残差网络

随着图卷积的深度加深（上条中的重复迭代操作）会出现梯度消失或梯度爆炸的问题，导致训练变得困难。与此同时，有可能高深度图卷积（N过大）得到的特征并不适用于后续的相似度对比工作。因此在此处设置一组可调节的参数，用于控制（1）中每次迭代输出的比例，形成时变图的整体特征表示F_all。其控制方法如下：

其中λ_i为每一次图卷积输出特征的权重，在模型的训练过程中，如果模型判定第k次图卷积的输出对性能提升不大，则会将λ_k自动调整为趋于0，所有的λ都是在模型训练反向传播过程中自动获得；通过该参数网络获得基于整个时变图的整体特征表示F_all∈R^{15 ×10}，其中，标准动作时变图的整体特征表示为F_all1，患者动作的整体特征表示为F_all2；

（3）注意力机制提取全局特征

该模块的作用是将（2）中获得的特征F_all转化为一个全局特征向量v。该部分采用注意力机制完成。全局特征向量的构建过程如下：

第一步，构建均值向量v’，其计算公式如下，其中x_i是F_all第i个特征向量；

第二步，将第一步构建的全局特征向量v’拼接到特征表示的F_all中，形成F_all’，其中concatenate是拼接操作，最终形成的F_all’∈R^16×10；

第三步，自注意力机制重构特征值。首先计算F_all’中各个向量的注意力分数AS。然后计算注意力权重AW。最后，根据注意力权重重构特征向量；

其中，W_q为询问矩阵，W_k为键矩阵，在网络训练反向传播过程中自动学习得到，

D为重构后特征向量的维度，在此处保持维度不变，D=10。结合上面三个计算公式，可以重构v’的特征值，得到最终的全局特征向量v∈R¹⁰，其表达式如下。其中，标准动作时变图的全局特征向量为v₁，患者动作的全局特征向量为v_2；

（4）神经张量网络

神经张量网络（Neural Tensor Network）是一种神经网络结构，用于学习高维非线性函数。它引入了张量参数来建模输入数据之间的关系，从而具有更强的表达能力。神经张量网络用于提取标准动作时变图的全局特征向量v₁和患者动作的全局特征向量v₂的隐藏关系。提取过程如下：

第一步：提取v₁和v₂中隐式的相似度特征向量a。现构建8个可学习的特征提取矩阵W₁—W₈，W∈R^10×10，一共提取8个隐式特征，这些矩阵的值将在网络训练反向传播中自动获取。隐式特征a_i的计算公式如下。通过公式提取出a₁-a₈，共8个隐式特征。计算出隐式特征后，将这8个特征拼接为长度为8的特征向量a∈R^8；

第二步：提取线性关系，得到v_new∈R⁸。将v₁和v₂拼接后∈R²⁰，构建一个可学习的矩阵V∈R^8×20和一组偏执参数b∈R⁸。其计算过程如下：

第三步：将第一部步和第二步的结果相加，得到最终的全局相似度特征向量F_{sim_all}∈R⁸。其计算公式如下：

。

（5）点相似度特征提取

标准动作时序特征图的时变图卷积后的特征表示为F_all1，患者时序特征图的时变图卷积后的特征表示为F_all2。该部分的作用是计算标准动作时变图和患者动作时变图中点的相似度。得到局部相似度特征向量F_{sim_locc}，其计算过程如下：

第一步：构建点特征矩阵S∈R^15×15，其计算公式如下：

第二步：对矩阵S进行成分分析。构建点特征矩阵的过程是标准动作和患者动作时变图特征表示点级别的特征内积的过程。S（i，j）表示标准动作图第i个点和患者动作第j个点特征向量的内积。内积的绝对值越大，表示两个特征向量的相似度越大，反之，内积的绝对值越小，表示两个特征向量的相似度越小。在矩阵S中，大部分的元素值较大，说明大部分点的相似度高，反之则相似度低。考虑到S中不同位置重要性不同进行比例重设。设s=|i-j|，s越小，表示标准动作图和患者动作图对应计算内积的节点的距离在图结构中越近，该内积值的重要性越大，当s=0时，重要性最强。构建一组可学习的权重参数β={β₀，β₁...β_14，β₀>β₁>...>β₁₄, ∑β=1}∈R¹⁵，将S转化为长度225（15×15）的向量Sv∈R²²⁵，对于Sv对应矩阵S中{S（i，j），|i-j|=s}的元素将其比例重构为β_s。Sv元素个数为15×15，重构后的新向量Sv’元素个数为：

利用直方图统计中Sv’元素的分布，将其分为8类。假设元素值的分布区间是[Q，P]，则划分八个区间，每个区间的宽度为（P-Q）/8。统计每个区间元素的比例p，得到比例p₁-p₈，将这八个比例构建为一个向量，形成点级别相似度特征向量F_{sim_loc}∈R⁸。

（6）相似度计算网络

全局的相似度计算：

由全连接网络完成该任务。首先将（4）和（5）中提取的全局相似度特征向量F_simall和F_simloc拼接形成最终特征向量FF∈R^16；

然后，将最终特征向量作为全连接网络的输入。该全连接网络包含一个输入层(宽度16)，两个隐藏层(宽度16,8)，一个输出层(1)，激活函数采用sigmoid。输出层宽度为1，代表输出只有一个值sim，sim代表标准动作和患者动作之间的相似度，范围为[0,1]。

局部的相似度计算：

在模型的第（5）部分中，提取了患者动作和标准动作的点相似度矩阵 S。该矩阵中主对角线上的元素 S(i,i)，其中 i=1-15，表示了标准动作和患者动作在对应节点特征向量上的内积。内积结果越大，表示两个向量的相似度越高，而越小则表示相似度越低。图中的节点 1-15 分别代表了身体的不同关键部位。将主对角线元素取出形成对角线向量v_d∈R¹⁵。构建可学习矩阵O∈R^15×15,和偏置参数向量t∈R¹⁵,并通过sigmoid激活函数，计算点相似度v_{sim_loc}∈R¹⁵；

康复动作评估：

基于时变图卷积网络和图相似度计算的康复评估算法模型，该模型最终输出一个图相似度sim和点相似度向量v_{sim_loc}。

（1）对整体运动的评估： 基于时变图卷积网络和图相似度计算的康复评估算法模型，该模型最终输出一个图相似度sim，用于衡量患者动作与标准动作之间的相似程度。sim值越大，表示患者动作与标准动作的相似度越高，反之则表示相似度越低。通过计算患者所有康复评估动作的相似度，综合这些结果，可以完成对患者康复效果的评估。

（2）对运动细节的评估： 基于时变图卷积网络和图相似度计算的康复评估算法模型，该模型最终输出一个点相似度向量v_{sim_loc}，该向量一共15个元素,元素值分别代表了标准动作和患者动作对于节点的相似度。对于对应身体部位的评估，若 v_{sim_loc}(i) 较大，则表示该节点所代表的身体部位运动标准，功能完善；反之，则表示运动不标准，功能不完善。对于多个身体部位的协同运动功能评估，我们可以计算协同部位节点 v_{sim_loc}(i) 的和，该和值越大，表示协同运动标准，协同功能完善；反之，则表示协同动作不标准，协同功能不完善。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种基于时变图卷积网络和图相似度计算的智能康复评估方法，其特征在于，包括以下步骤：

步骤1、数据采集；采集多模态数据，包括但不限于使用可穿戴设备采集患者的运动信号数据，使用摄像头采集患者的运动视频图像数据；

步骤2、数据预处理；可穿戴设备采集的运动信号数据预处理包括缺失值处理、信号去噪、信号分割和信号重采样；摄像头采集的运动视频图像数据预处理包括目标检测，图像增强，帧插值；

步骤3、数据准备；将预处理后的运动信号数据或运动视频图像数据转化为时变图结构数据；预处理后的数据为时序数据，将每一个时间点的数据转化为一张图，最终形成时变图；时变图的图结构包含多个节点，各节点对应人体不同位置；

步骤4、动作智能评估；通过时变图结构数据，建立基于时变图相似度计算的网络对患者运动进行评估，包括对整体康复评估动作的评估和对特定身体部位标准度的评估；

步骤3中，预处理后运动信号数据的数据准备具体步骤如下：

步骤3-1-1、传感器数据到骨架15个节点数据的映射；原始康复臂环传感器在待获取时变图中对应位置是：代表大臂的节点3，代表小臂的节点5，代表腰部肚脐的节点7，代表大腿的节点9，代表小腿的节点10，这些节点存在数据；剩余节点有：代表锁骨的节点1，代表肩膀的节点2，代表肘关节的节点4，代表髋关节的节点8，这些节点不存在数据，因此将已知的数据映射到1，2，4，8节点，构成躯干完整的节点特征信息；原始康复手套数据已经包含了手腕节点6，五指节点11-15的数据信息，因此不需要进行映射；

未知特征数据节点的信息的获取由编码解码系统实现，编码器将输入数据编码为低维表示，解码器则将该低维表示解码为输出数据，即将已知数据节点的数据作为输入，分别传递给编码器；编码器将这些数据编码成一个低维表示，然后解码器将这个低维表示解码成未知数据节点的数据；

编码解码系统的实现如下：编码器设计：对于已知节点数据，使用循环神经网络来设计编码器，具体采用的网络为长短时记忆网络LSTM，LSTM网络将传感器数据映射到一个低维的隐藏表示空间，即编码；解码器设计：解码器将编码后的低维表示解码为肘关节的IMU数据；使用与编码器相同的网络结构LSTM反向操作，即从低维表示重建为原始的IMU数据；训练网络：使用收集的数据对编码解码网络进行训练；使用均方误差生成的数据与实际数据之间的差异，并通过反向传播算法来优化网络参数；

编码解码系统操作过程中：节点3和节点5数据用于编码，解码的结果为节点4的数据；节点1和节点7的数据用于编码，解码的结果为节点1和节点2的数据；节点7和节点9的数据用于编码，解码的结果为节点8的数据；

步骤3-1-2、特征构建：完成数据映射后，得到骨架所有15个节点新构建的数据，节点1-10，每个节点的数据D_node∈R^9×100；节点11-15整体的数据D_hand∈R^1×14×100；通过上述数据，构建每个节点特征的方法如下：

节点1-10在一个时间点包含的特征为：俯仰角pitch，偏航角yaw，翻滚角roll，加速度Ax，Ay，Az，角速度Wx，Wy，Wz，构成长度为9的特征向量；节点11-15在一个时间点包含的特征为：节点弯曲角度F，俯仰角pitch，偏航角yaw，翻滚角roll，加速度Ax，Ay，Az，角速度Wx，Wy，Wz，构成长度为10的特征向量，其中除弯曲角度以外的其他特征均才采自其节点6，即该五个节点除弯曲角度以外的特征均与节点六相同；

步骤3-1-3、时变图构建：根据上述构建的特征，将样本构架为时变图数据；时变图表示为集合G={g₁-g₁₀₀}∈R¹⁰⁰，15个节点表示为集合V={v₁-v₁₅}∈R¹⁵，14条边表示为集合E={e₁-e₁₄}∈R¹⁴，邻接矩阵表示为矩阵A∈R^15×15；每个结点的特征向量x_i长度为10，即x_i∈R¹⁰；对于节点1-10，特征向量前9个位置为俯仰角pitch，偏航角yaw，翻滚角roll，加速度Ax，Ay，Az，角速度Wx，Wy，Wz，第10个位置均以0占位；对于节点11-15，该特征向量前9个为俯仰角pitch，偏航角yaw，翻滚角roll，加速度Ax，Ay，Az，角速度Wx，Wy，Wz，第十位位置为弯曲角度；按照上述方法，每个时刻特征矩阵表示为X_i={x₁-x₁₅}∈R^15×10；时变图整体表示为：

。

2.根据权利要求1所述的一种基于时变图卷积网络和图相似度计算的智能康复评估方法，其特征在于，步骤1中，使用可穿戴设备采集患者的运动信号类数据的可穿戴设备包括5个康复臂环，1只康复手套；康复臂环中配备惯性传感器，用于采集加速度，角速度，角度信号；康复手套配备惯性传感器和弯曲传感器，用于采集手指和手腕弯曲的角度，具体数据采集过程如下：

步骤1-1-1、设备穿戴；可穿戴设备穿戴方式为，5个康复臂环分别安装在患者身体患侧的上肢小臂和大臂，下肢大腿和小腿，腰部肚脐位置；康复手套穿戴于患者手掌；

步骤1-1-2、数据采集；打开可穿戴设备，进行传感器校准，检查准确性并校正偏移；启动数据采集程序，患者穿戴可穿戴设备完成康复评估动作，系统记录患者康复训练过程中动作的运动数据；每个传感器以50Hz的采样率采集数据；康复臂环采集的信号包括欧拉角、校准后的X、Y、Z三个方向的加速度和角速度，其中康复臂环采集的欧拉角包括俯仰角pitch、偏航角yaw和翻滚角roll；康复手套采集的信号包括欧拉角、校准后的X、Y、Z三个方向的加速度和角速度、手指弯曲角度，其中康复手套采集的欧拉角包括俯仰角pitch、偏航角yaw和翻滚角roll；康复臂环采集的数据D_imu大小为传感器数量×信号类型数量×信号长度L，即D_imu∈R^5×9×L，康复手套采集的数据D_hand大小为传感器数量×信号类型数量×信号长度L，即D_hand∈R^1×14×L；

步骤1-1-3、数据存储和传输；采集到的数据存储在存储设备或云端数据库中。

3.根据权利要求1所述的一种基于时变图卷积网络和图相似度计算的智能康复评估方法，其特征在于，步骤1中，使用摄像头采集患者的运动视频数据，所述摄像头包括但不限于普通摄像头，红外摄像头，激光雷达，具体数据采集过程如下：

步骤1-2-1、摄像头配置安装；摄像头安装于患者正前方，保证位于该位置的摄像头能够捕捉到患者全身各个部位的运动；

步骤1-2-2、数据采集；打开摄像头，患者位于摄像头正前方完成康复评估动作；摄像头每秒采集至少30帧图像；图像大小为512×256，摄像头采集的数据D_cam大小表示为512×256×L，其中L为视频帧数，即D_cam∈R^512×256×L；

步骤1-2-3、数据存储和传输；采集到的数据存储在存储设备或云端数据库中。

4.根据权利要求1所述的一种基于时变图卷积网络和图相似度计算的智能康复评估方法，其特征在于，步骤2中，可穿戴设备采集的运动信号数据预处理具体步骤如下：

步骤2-1-1、信号缺失值处理；数据采集过程中，如果产生缺失值，利用已有信号进行补齐；若信号中某片段缺失，采用缺失片段前段信号和后段信号取均值补齐；若整个信号缺失，随机采用数据库中相同标签数据代替；

步骤2-1-2、信号滤波；去除原始信号包含的随机噪声，采用移动平均滤波器对原始信号进行去噪处理，移动平均滤波器输出的计算公式如下：

；

其中，y_k 表示滑动平均输出的结果，x_k 表示原始信号，N 表示滤波器的长度；

步骤2-1-3、信号分割；原始信号为周期信号；计算信号的一阶差分，检测波峰和波谷分别对应差分符号的变化点，从正变为负的点为波峰，从负变为正的点为波谷；通过检测的波峰波谷分割周期，采用第2至第3个周期信号作为输出信号，用于后续分析计算；

步骤2-1-4、信号重采样；将分割后的数据长度统一到100个采样点；采用分片线性插值法统一分段信号的周期，计算公式如下：

；

其中，(x₁,y₁)和(x₂,y₂)分别代表序列中相邻的两个点，f(x)是分段线性插值函数，自变量x的取值区间为[x₁,x₂]；

病人的每个动作的数据处理为：康复臂环数据大小为5×9×100，手套数据大小为1×14×100，即D_imu∈R^5×9×100，D_hand∈R^1×14×100。

5.根据权利要求1所述的一种基于时变图卷积网络和图相似度计算的智能康复评估方法，其特征在于，步骤2中，摄像头采集的运动视频图像数据预处理具体步骤如下：

步骤2-2-1、利用深度学习目标检测网络完成视频中每一帧的人体目标检测；检测到人体后将检测框内容分割出，重新调整每一帧图像的大小，将其统一为128×64；

步骤2-2-2、利用直方图均衡化法，对视频的每一帧图像进行增强，改善图像质量、增强图像细节；

步骤2-2-3、利用线性插值法，对视频进行插值或者采样，使得最终视频的帧数为100帧；

患者每个动作最终视频数据大小为128×64×100，即D_cam∈R^512×256×L更新为D_cam∈R^{128 ×64×100}；128×64为每一帧图像大小，100表示视频包含100帧。

6.根据权利要求1所述的一种基于时变图卷积网络和图相似度计算的智能康复评估方法，其特征在于，步骤3中，预处理后运动视频数据的数据准备具体步骤如下：

步骤3-2-1、骨架节点提取；采用openpose算法提取视频中的骨架点，共提取出15个关键节点；每一帧图像都将提取出这15个节点，得到每个节点的位置信息(x，y)和可见信息vis，并使用两帧图像对应节点坐标差异计算的位移量(Ax,Ay)，总共得到5个参数，即预处理后的摄像头信息D_cam∈R^128×64×100通过openpose算法后，转化为D_cam∈R^15×5×100

步骤3-2-2、特征提取；每一帧图像的每个节点的特征为：位置信息：节点在图像中的坐标(x,y)；可见性信息：节点是否在图像中可见，即是否成功检测到，用vis表示；节点位移量Ax,Ay，即每个节点提取五个特征，构成节点特征向量x∈R⁵,为使得运动视频图像数据特征向量长度和可穿戴设备采集患者的运动信号数据特征长度统一，将该向量的设置为10，末尾五个元素为0，则节点特征向量x∈R¹⁰；

步骤3-2-3、时变图构建；根据上述构建的特征，将样本构建为时变图数据，时变图表示为集合G={g₁-g₁₀₀}∈R¹⁰⁰，图共15个节点表示为集合V={v₁-v₁₅}∈R¹⁵，14条边表示为集合E={e₁-e₁₄}∈R¹⁴，邻接矩阵A∈R^15×15；每个结点的特征向量x_i长度为10，即x_i∈R¹⁰；按照上述方法，每个时刻特征矩阵X_i={x₁-x₁₅}∈R^15×10；时变图整体表示为：

。

7.根据权利要求1所述的一种基于时变图卷积网络和图相似度计算的智能康复评估方法，其特征在于，步骤4中，基于时变图卷积和图相似度计算完成康复评估算法模型，所述康复评估算法模型包括时变图卷积模块、残差网络、注意力机制提取全局特征模块、神经张量网络、点相似度特征提取模块和相似度计算网络；

时变图卷积模块基于图卷积网络GCN和时间序列模型的结合；图卷积网络GCN用于从图数据中提取空间特征，通过邻接矩阵和节点特征来定义节点之间的关系，并利用这种关系进行信息传播和特征提取；时间序列模型使用循环神经网络RNN来处理时间序列数据，以捕捉序列之间的时间依赖关系；时间序列模型采用门控循环单元GRU；

时变图卷积模块输入为数据准备得到的时变图G={g₁-g₁₀₀}，包含图结构信息和每个时刻的特征信息X_i={x₁-x₁₅,x_i∈R¹⁰}；输入包括两张时变图，其中一张为标准动作的时变图G₁，G₁由多个正常人采集取均值，并经过预处理和数据准备流程得到，另外一张为患者动作的时变图G₂；

时变图卷积的流程如下：第一步，完成时变图每个子图的图卷积，即g₁-g₁₀₀，特征为X₁-X₁₀₀的图卷积，图卷积计算如下：

；

其中H^(l+1）是第1次卷积后特征的表示，维度为15×10，即H^(l+1）∈R^15×10，H^(0）是X，即输入特征矩阵；D^{^}是图的度矩阵，A^{^}=A+I是邻接矩阵A加上单位矩阵I的结构，W是权重矩阵，在训练模型时通过反向传播得到；σ()是激活函数，在这里采用Relu激活函数；将图卷积的操作定义为f()，则上面的计算公式表达为：

；

第二步，图卷积后的结果输入到门控循环单元，其计算过程如下：

；

其中h_t为t时刻的隐藏状态，h_t-1为t-1时刻的隐藏状态，r_t是复位门，用来控制忽略的程度前一刻的状态信息；u_t是更新门，它用来控制到哪个状态的程度前一时刻的信息被带入当前状态；C_t为时刻t存储的内存内容; X_t是t时刻的特征表示，W和b是GRU网络中的权重参数和偏置参数，在网络训练过程中通过反向传播自动获得；门控循环单元的计算将执行100次，即时变图的1每一个子图在进行图卷积后重构的特征X_i={x₁-x₁₅}都会送入第i个门控循环单元进行时间特征的提取，输出隐藏状态h_i，并应用于下一个时刻；第100次计算输出的隐藏状态h₁₀₀将作为该次时变图卷积的最终输出F∈R^15×10；

输出：重复迭代时变图卷积流程的第一步和第二步，进行N次时变图卷积操作，从而得到N个最终输出F₁-F_N；

基于残差网络，设置一组可调节的参数，用于控制时变图卷积中每次迭代输出的比例，形成时变图的整体特征表示F_all，控制方法如下：

；

其中λ_i为每一次图卷积输出特征的权重，在模型的训练过程中，如果模型判定第k次图卷积的输出对性能提升不大，则会将λ_k自动调整为趋于0，所有的λ都是在模型训练反向传播过程中自动获得；通过该参数网络获得基于整个时变图的整体特征表示F_all∈R^15×10，其中，标准动作时变图的整体特征表示为F_all1，患者动作的整体特征表示为F_all2；

注意力机制提取全局特征模块将残差网络中获得的特征F_all转化为一个全局特征向量v，该部分采用注意力机制完成，全局特征向量的构建过程如下：

第一步，构建均值向量v’，计算公式如下：

；

其中x_i是F_all第i个特征向量；

第二步，将第一步构建的全局特征向量v’拼接到特征表示的F_all中，形成F_all’，其中concatenate是拼接操作，最终形成的F_all’∈R^16×10；

；

第三步，自注意力机制重构特征值，首先计算F_all’中各个向量的注意力分数AS，然后计算注意力权重AW，最后，根据注意力权重重构特征向量；

；

其中，W_q为询问矩阵，W_k为键矩阵，在网络训练反向传播过程中自动学习得到，D为重构后特征向量的维度，在此处保持维度不变，D=10；结合上面三个计算公式，重构v’的特征值，得到最终的全局特征向量v∈R¹⁰，其表达式如下：

；

标准动作时变图的全局特征向量为v₁，患者动作的全局特征向量为v₂；

神经张量网络用于提取标准动作时变图的全局特征向量v₁和患者动作的全局特征向量v₂的隐藏关系，提取过程如下：

第一步，提取v₁和v₂中隐式的相似度特征向量a，构建8个可学习的特征提取矩阵W₁—W₈，W∈R^10×10，一共提取8个隐式特征，这些矩阵的值将在网络训练反向传播中自动获取，隐式特征a_i的计算公式如下，通过公式提取出a₁-a₈，共8个隐式特征，计算出隐式特征后，将这8个特征拼接为长度为8的特征向量a∈R⁸

；

第二步，提取线性关系，得到v_new∈R⁸，将v₁和v₂拼接后∈R²⁰，构建一个可学习的矩阵V∈R^8×20和一组偏执参数b∈R⁸，其计算过程如下：

；

第三步，将第一部步和第二步的结果相加，得到最终的全局相似度特征向量F_{sim_all}∈R⁸，其计算公式如下：

；

标准动作时序特征图的时变图卷积后的特征表示为F_all1，患者时序特征图的时变图卷积后的特征表示为F_all2，点相似度特征提取模块计算标准动作时变图和患者动作时变图中点的相似度，得到局部相似度特征向量F_{sim_loc}，计算过程如下：

第一步，构建点特征矩阵S∈R^15×15，其计算公式如下：

；

第二步，对矩阵S进行成分分析；构建点特征矩阵的过程是标准动作和患者动作时变图特征表示点级别的特征内积的过程，S（i，j）表示标准动作图第i个点和患者动作第j个点特征向量的内积，内积的绝对值越大，表示两个特征向量的相似度越大，反之，内积的绝对值越小，表示两个特征向量的相似度越小；在矩阵S中，大部分的元素值较大，说明大部分点的相似度高，反之则相似度低；考虑到S中不同位置重要性不同进行比例重设，设s=|i-j|，s越小，表示标准动作图和患者动作图对应计算内积的节点的距离在图结构中越近，该内积值的重要性越大，当s=0时，重要性最强；构建一组可学习的权重参数β={β₀，β₁...β_14，β₀>β₁>...>β₁₄, ∑β=1}∈R¹⁵，将S转化为长度225的向量Sv∈R²²⁵，对于Sv对应矩阵S中{S（i，j），|i-j|=s}的元素将其比例重构为β_s；Sv元素个数为15×15，重构后的新向量Sv’元素个数为：

；

利用直方图统计中Sv’元素的分布，将其分为8类，假设元素值的分布区间是[Q，P]，则划分八个区间，每个区间的宽度为（P-Q）/8，统计每个区间元素的比例p，得到比例p₁-p₈，将这八个比例拼接为一个向量，形成点级别相似度特征向量F_{sim_loc}∈R⁸；

相似度计算网络进行全局的相似度计算和局部的相似度计算；

全局的相似度计算：由全连接网络完成该任务，首先将神经张量网络和点相似度特征提取模块中提取的全局相似度特征向量F_{sim_all}和F_{sim_loc}拼接形成最终特征向量FF∈R^16；

；

然后，将最终特征向量作为全连接网络的输入，该全连接网络包含一个输入层，两个隐藏层，一个输出层，激活函数采用sigmoid，输出层宽度为1，代表输出只有一个值sim，sim代表标准动作和患者动作之间的相似度，范围为[0,1]；

局部的相似度计算：在模型的点相似度特征提取模块中，提取了患者动作和标准动作的点相似度矩阵S，该矩阵中主对角线上的元素S(i,i)，其中i=1-15，表示了标准动作和患者动作在对应节点特征向量上的内积；内积结果越大，表示两个向量的相似度越高，而越小则表示相似度越低，图中的节点1-15分别代表了身体的不同关键部位；将主对角线元素取出形成对角线向量v_d∈R¹⁵，构建可学习矩阵O∈R^15×15,和偏置参数向量t∈R¹⁵,并通过sigmoid激活函数，计算点相似度v_{sim_loc}∈R¹⁵

。

8.根据权利要求1所述的一种基于时变图卷积网络和图相似度计算的智能康复评估方法，其特征在于，步骤4中，基于时变图卷积网络和图相似度计算的康复评估算法模型，该模型最终输出一个图相似度sim和点相似度向量v_{sim_loc}；

对整体运动的评估：基于时变图卷积网络和图相似度计算的康复评估算法模型，该模型最终输出一个图相似度sim，用于衡量患者动作与标准动作之间的相似程度；sim值越大，表示患者动作与标准动作的相似度越高，反之则表示相似度越低；通过计算患者所有康复评估动作的相似度，综合这些结果完成对患者康复效果的评估；

对运动细节的评估：基于时变图卷积网络和图相似度计算的康复评估算法模型，该模型最终输出一个点相似度向量v_{sim_loc}，该向量一共15个元素,元素值分别代表了标准动作和患者动作对于节点的相似度；对于对应身体部位的评估，若 v_{sim_loc}(i)越大，则表示该节点所代表的身体部位运动标准，功能完善；反之，则表示运动不标准，功能不完善；对于多个身体部位的协同运动功能评估，计算协同部位节点v_{sim_loc}(i)的和，该和值越大，表示协同运动标准，协同功能完善；反之，则表示协同动作不标准，协同功能不完善。

9.一种基于时变图卷积网络和图相似度计算的智能康复评估系统，所述系统基于权利要求1-8中任一项所述的一种基于时变图卷积网络和图相似度计算的智能康复评估方法，其特征在于，包括以下模块：

数据采集模块；采集多模态数据，包括使用可穿戴设备采集患者的运动信号数据，使用摄像头采集患者的运动视频图像数据；

数据预处理模块；可穿戴设备采集的运动信号数据预处理包括缺失值处理、信号去噪、信号分割和信号重采样；摄像头采集的运动视频图像数据预处理包括目标检测，图像增强，帧插值；

数据准备模块；将预处理后的运动信号数据或运动视频图像数据转化为时变图结构数据；预处理后的数据为时序数据，将每一个时间点的数据转化为一张图，最终形成时变图；时变图的图结构包含多个节点，各节点对应人体不同位置；

动作智能评估模块；通过时变图结构数据，建立基于时变图卷积相似度计算网络对患者运动进行评估，包括对整体康复评估动作的评估和对特定身体部位标准度的评估。