CN114783611A - 基于人工智能的神经康复动作检测系统 - Google Patents

Abstract

本发明涉及神经康复动作检测领域，具体涉及基于人工智能的神经康复动作检测系统。该系统包括处理器和存储器，处理器执行存储器存储的计算机程序以实现如下步骤：获取目标患者在当前康复训练过程中的视频图像，根据视频图像得到目标患者对应的当前适应训练效果因子、当前训练难度变易因子、当前最小准确率、当前最小动作执行时间和当前抖动程度，并构建目标患者的康复动作训练效果矩阵，将目标患者对应的历史康复动作训练效果可控指数序列输入到目标患者所属类别对应的神经网络模型，得到目标患者当前的康复动作训练效果可控指数预测值，并判断目标患者对康复动作的掌握程度是否超过预期。本发明对目标患者对康复动作的掌握程度的判断更准确。

Description

基于人工智能的神经康复动作检测系统

技术领域

本发明涉及神经康复动作检测领域，具体涉及基于人工智能的神经康复动作检测系统。

背景技术

神经康复主要是针对神经疾病所致运动、感觉等功能障碍的康复评定和康复治疗，重点是脑卒中的康复。为了保证训练动作训练的效果，需要在康复动作训练难度简单时进行替换，进而加强其它动作的掌握，加强神经康复的效果。目前没有较好的直接检测患者神经康复训练中动作的熟练程度、训练是否能够完成的方法，患者能否掌握神经康复动作的训练主要靠医师的评价和患者的临床自评来完成。但是，患者靠医师进行康复训练的完成度评价时会存在加大医师的工作量，也不容易保证评价的及时性的问题；而患者靠自己进行康复动作的掌握程度评价时很容易引入主观因素，存在评价结果不太准确的问题。

发明内容

为了解决上述问题，本发明的目的在于提供一种基于人工智能的神经康复动作检测系统。

本发明的一种基于人工智能的神经康复动作检测系统，包括处理器和存储器，所述处理器执行所述存储器存储的计算机程序以实现如下步骤：

获取目标患者在当前康复训练过程中的视频图像，根据所述视频图像计算目标患者对应的实际训练动作的当前最大准确率、当前最小准确率、当前最大动作执行时间、当前最小动作执行时间和当前抖动程度；

根据目标患者对应的实际训练动作的最大准确率、实际训练动作的最小准确率、最大动作执行时间、最小动作执行时间计算目标患者对应的当前适应训练效果因子，并计算所述当前适应训练效果因子与初始适应训练效果因子之比，将比值记为目标患者对应的当前训练难度变易因子；

根据目标患者对应的当前适应训练效果因子、当前训练难度变易因子、当前最小准确率、当前最小动作执行时间和当前抖动程度构建目标患者的康复动作训练效果矩阵，根据所述康复动作训练效果矩阵对目标患者进行分类，判断目标患者所属类别；将目标患者对应的历史康复动作训练效果可控指数序列输入到目标患者所属类别对应的神经网络模型，得到目标患者当前的康复动作训练效果可控指数预测值，将所述预测值与当前的康复动作训练效果可控指数进行比较，若当前与初始的康复动作训练效果可控指数的差异值大于所述预测值与初始的康复动作训练效果可控指数的差异值，则判定目标患者对康复动作的掌握程度超过预期；所述康复动作训练效果可控指数为对康复动作训练效果矩阵进行降维后得到的值。

进一步的，根据所述视频图像计算目标患者对应的实际训练动作的当前最大准确率的过程如下：

对任一实际训练动作包括的各帧图像进行3D骨骼点动作捕捉，并在捕捉后恢复为对应的归一化的MANO模型，计算各帧图像对应的归一化的MANO模型与对应的标准MANO模型的交并比，将各帧图像对应的交并比的最大值作为该实际训练动作的当前准确率；

比较目标患者包括的各实际训练动作对应的当前准确率的大小，得到目标患者对应的实际训练动作的当前最大准确率。

进一步的，计算目标患者对应的实际训练动作的当前最大动作执行时间的过程如下：

统计目标患者包括的各实际训练动作对应的动作执行时间，比较目标患者包括的各实际训练动作对应的动作执行时间的大小，将目标患者对应的最大动作执行时间记为当前最大动作执行时间。

进一步的，计算目标患者对应的实际训练动作的当前抖动程度的过程如下：

对于目标患者对应的当前任一实际训练动作，以某一特定手指关节为对象，计算该手指关节对应的角度序列的熵值，将该熵值作为患者对应于该实际训练动作的当前抖动程度；

比较目标患者包括的各实际训练动作对应的当前抖动程度的大小，将目标患者对应的实际训练动作的最小抖动程度记为当前抖动程度。

进一步的，利用如下公式计算目标患者对应的当前适应训练效果因子：

其中，

为目标患者对应的当前适应训练效果因子，

为求绝对值，a为目标患者对应的实际训练动作的当前最大准确率，b为目标患者对应的实际训练动作的当前最小准确率，c为目标患者对应的当前最大动作执行时间，d为目标患者对应的当前最小动作执行时间。

进一步的，所述康复动作训练效果可控指数为利用LDA算法对康复动作训练效果矩阵进行降维后得到的值。

进一步的，若当前与初始的康复动作训练效果可控指数的差异值小于所述预测值与初始的康复动作训练效果可控指数的差异值，则判定目标患者对康复动作的掌握程度没有达到预期。

有益效果：本发明根据患者当前进行康复训练过程中的视频图像实现了对患者对康复动作的掌握程度是否达到预期的判断；本发明的判断过程参考的指标较多，包括训练动作的准确率、动作执行时间和抖动程度，判断过程更为客观，提高了判断结果的准确性；且判断过程属于一种自动判断过程，能够及时给出判断结果，实时性较好。

附图说明

图1是本发明的基于人工智能的神经康复动作检测方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行介绍。

为了解决现有患者靠医师进行康复训练的完成度评价时会存在加大医师的工作量，也不容易保证评价的及时性的问题，以及患者靠自己进行康复动作的掌握程度评价时很容易引入主观因素，存在评价结果不太准确的问题，本实施例的基于人工智能的神经康复动作检测系统包括处理器和存储器，所述处理器执行所述存储器存储的计算机程序以实现基于人工智能的神经康复动作检测方法。如图1所示，本实施例的基于人工智能的神经康复动作检测方法包括以下步骤：

（1）获取目标患者在当前康复训练过程中的视频图像，根据所述视频图像计算目标患者对应的实际训练动作的当前最大准确率、当前最小准确率、当前最大动作执行时间、当前最小动作执行时间和当前抖动程度；

神经康复动作中，手功能障碍是脑卒中后的常见并发症之一，一般是最难康复的。因此本实施例以手部康复训练为例进行说明。为了实现对患者（将该患者记为目标患者）神经康复动作的评判，本实施例利用RGB相机采集了目标患者在康复训练过程中手部的视频图像（将该视频图像记为当前康复训练过程中的视频图像，当前康复训练过程即目标患者该次康复训练过程，目标患者在该当前康复训练过程之前可能针对同样的训练动作已经进行了多次康复训练过程，为了便于区分，后面将与当前康复训练视频对应的相关参数称之为当前参数），基于该视频图像实现对患者手部训练动作的捕捉。基于RGB相机的动作捕捉已经是一种常见的技术，能够实现从二维图像到三维归一化表示模型的转换。基于该技术，本实施例可以基于患者在康复训练过程中的每一帧二维图像得到患者在康复训练过程中对应的训练动作的三维网格模型。

患者在不同训练阶段进行的训练动作不同，患者在其现在所处的训练阶段会有对应的训练动作，且康复训练过程多为与患者所处训练阶段对应的训练动作的重复过程。将目标患者现在所处训练阶段对应的训练动作记为目标训练动作，那么上述目标患者在康复训练过程中的视频图像即为患者在做目标训练动作时的各实际训练动作对应的视频图像的集合，一个实际训练动作对应一个目标训练动作。对于两实际训练动作之间的动作断点检测的方法，可通过设定动作识别网络的方式或设定手指骨骼转角区间的方式来实现，比如，设定患者中指的角度检测区间，当目标患者的中指连续多次落在该区间后视为动作保持，判定动作保持对应的时刻为两实际训练动作之间的动作断点。

为了实现对目标患者掌握其对应的目标训练动作情况的判断，本实施例计算了目标患者在康复训练过程中的各实际训练动作对应的准确率、动作执行时间和抖动程度。接下来以目标患者对应的任一实际训练动作为例进行说明。

①计算目标患者对应的实际训练动作的当前最大准确率和当前最小准确率；

对于某一实际训练动作，其包括多帧图像，那么该实际训练动作的准确率的计算方法为：对该实际训练动作包括的各帧图像进行3D骨骼点动作捕捉，并在捕捉后恢复为对应的归一化的MANO模型，计算各帧图像对应的归一化的MANO模型与对应的标准MANO模型的交并比，将各帧图像对应的交并比的最大值作为该实际训练动作的当前准确率。

例如，当某一实际训练动作对应的某帧图像中患者的指头位置没有达到目标位置时，该帧图像对应的归一化的MANO模型与对应的标准MANO模型的交并比较低；当某一实际训练动作对应的某帧图像中患者的指头位置达到目标位置时，该帧图像对应的归一化的MANO模型与对应的标准MANO模型的交并比较高。

MANO是一种归一化表示的三维模型，能够忽略手部的尺寸差异，从而将捕捉的动作归一化为统一尺寸的手部模型。本实施例中在捕捉后恢复为对应的归一化的MANO模型，作为其它实施方式，也可以将上述各帧图像恢复为对应的其它三维归一化表示模型，如SMPL。

比较目标患者包括的各实际训练动作对应的当前准确率的大小，将目标患者对应的实际训练动作的当前最大准确率记为a，将目标患者对应的实际训练动作的当前最小准确率记为b。

②计算目标患者对应的当前最大动作执行时间和当前最小动作执行时间；

统计目标患者包括的各实际训练动作对应的动作执行时间，比较目标患者包括的各实际训练动作对应的动作执行时间的大小，将最大动作执行时间记为目标患者对应的当前最大动作执行时间c，将最小动作执行时间记为目标患者对应的当前最小动作执行时间d。

③计算目标患者对应的当前抖动程度。

对于目标患者，其控制手指的能力越差，其在做目标训练动作时越容易出现抖动情况，抖动幅度也越大。具体的，本实施例对于目标患者对应的当前任一实际训练动作，以某一特定手指关节为对象，比如以中指为例，计算该手指关节对应的角度序列的熵值，将该熵值作为患者对应于该实际训练动作的当前抖动程度。若抖动程度较大则判定患者在做目标训练动作的过程中对手指的控制能力仍显不足，还需再训练。检测手指关节对应的角度的过程为现有技术，此处不再赘述。上述角度序列即将各角度按照对应的时间顺序先后排列后得到的序列。计算序列对应的熵值的过程为现有技术，此处不再赘述。

比较目标患者包括的各实际训练动作对应的当前抖动程度的大小，将目标患者对应的实际训练动作的最小抖动程度记为当前抖动程度g。

（2）根据目标患者对应的实际训练动作的最大准确率、实际训练动作的最小准确率、最大动作执行时间、最小动作执行时间计算目标患者对应的当前适应训练效果因子，并计算所述当前适应训练效果因子与初始适应训练效果因子之比，将比值记为目标患者对应的当前训练难度变易因子；

目标患者训练前后训练动作的准确率和动作执行时间会发生改变，因此本实施例基于目标患者对应的实际训练动作的最大准确率、实际训练动作的最小准确率、最大动作执行时间、最小动作执行时间计算当前适应训练效果因子，公式如下：

其中，

为目标患者对应的当前适应训练效果因子，

越大，表示目标患者此次的训练效果越好；

为求绝对值。a的值越大，说明患者对目标训练动作不熟悉，训练难度越高，若同时

越大，说明训练准确率提升较大，那么训练效果越好；同理，c的值越大，说明患者做目标训练动作比较困难，训练难度越高，若同时

越大，说明训练动作提升较大，那么训练效果越好。

在得到了目标患者对应的当前适应训练效果因子之后，计算该当前训练效果因子与初始适应训练效果因子之比，公式如下：

其中，

为目标患者对应的当前训练难度变易因子，

为初始适应训练效果因子，即目标患者第一次做目标训练动作时的适应训练效果因子。初始适应训练效果因子的计算过程与上述计算当前适应训练效果因子的过程相同，区别仅在于计算初始适应训练效果因子时利用的是目标患者初次做目标训练动作时的视频图像，而计算当前适应训练效果因子时利用的是目标患者当前做目标训练动作时的视频图像。

（3）根据目标患者对应的当前适应训练效果因子、当前训练难度变易因子、当前最小准确率、当前最小动作执行时间和当前抖动程度构建目标患者的当前康复动作训练效果矩阵，根据所述当前康复动作训练效果矩阵对目标患者进行分类，判断目标患者所属类别；将目标患者对应的历史康复动作训练效果可控指数序列输入到目标患者所属类别对应的神经网络模型，得到目标患者当前的康复动作训练效果可控指数预测值，将所述预测值与当前的康复动作训练效果可控指数进行比较，若当前与初始的康复动作训练效果可控指数的差异值大于所述预测值与初始的康复动作训练效果可控指数的差异值，则判定目标患者对康复动作的掌握程度超过预期；所述康复动作训练效果可控指数为对康复动作训练效果矩阵进行降维后得到的值。

为了实现对目标患者康复训练动作的准确评判，本实施例结合多个数据综合对目标患者康复训练动作的准确性进行评判，具体的，根据目标患者对应的适应训练效果因子、训练难度变易因子、最小准确率、最小动作执行时间和抖动程度构建目标患者的康复动作训练效果矩阵，该目标患者的康复动作训练效果矩阵不仅包括目标患者当前康复训练过程的相关数据，还包括之前目标患者针对同样的目标训练动作进行训练时的相关数据。本实施例构建的目标患者的康复动作训练效果矩阵如下：

其中，

为目标患者的康复动作训练效果矩阵，

为目标患者第一次做目标训练动作时的适应训练效果因子，

为目标患者第二次做目标训练动作时的适应训练效果因子，

为目标患者对应的当前适应训练效果因子；

为目标患者第一次做目标训练动作时的训练难度变易因子，

为目标患者第二次做目标训练动作时的训练难度变易因子，

为目标患者对应的当前训练难度变易因子，

为目标患者第一次做目标训练动作时的最小准确率，

为目标患者第二次做目标训练动作时的最小准确率，

为目标患者对应的当前最小准确率；

为目标患者第一次做目标训练动作时的最小动作执行时间，

为目标患者第二次做目标训练动作时的最小动作执行时间，

为目标患者对应的当前最小动作执行时间；

为目标患者第一次做目标训练动作时的抖动程度，

为目标患者第二次做目标训练动作时的抖动程度，

为目标患者对应的当前抖动程度。例如，目标患者每天进行一次康复动作训练，那么

为目标患者第一天做目标训练动作时的训练难度变易因子，

为目标患者第二天做目标训练动作时的训练难度变易因子。

得到了目标患者的康复动作训练效果矩阵之后，判定目标患者所属类别。本实施例中预先设置有多个类别，每个类别对应多个预设的康复动作训练效果矩阵，同一类别中不同的预设的康复动作训练效果矩阵对应的是做同一康复训练动作的康复训练效果较相似的不同患者对应的康复动作训练效果矩阵，不同类别对应的康复训练动作相同，但是对应的康复训练效果不同。上述多个类别是基于K-medoids聚类算法对不同患者在进行康复训练动作时康复动作训练效果矩阵进行分类得到的，患者进行相同康复训练动作时的康复训练效果越不同，对应的康复动作训练效果矩阵差异越大，因此基于K-medoids聚类算法可以实现将做同一训练动作的相似的患者的康复动作训练效果矩阵划分到一类。本实施例通过明可夫斯基距离衡量不同康复动作训练效果矩阵之间的差异，明可夫斯基距离越小，说明两矩阵越相似。K-medoids聚类算法为现有技术，此处不再赘述。

计算目标患者的康复动作训练效果矩阵与每一个类别对应的预设的康复动作训练效果矩阵之间的明可夫斯基距离的均值；比较目标患者的康复动作训练效果矩阵与每一个类别对应的预设的康复动作训练效果矩阵之间的明可夫斯基距离的均值的大小关系，判定目标患者属于明可夫斯基距离均值最小的类别。每个类别对应的预设的康复动作训练效果矩阵与目标患者的康复动作训练效果矩阵的行数和列数相同，利用明可夫斯基距离计算两矩阵之间的距离为现有技术，此处不再赘述。

由于目标康复动作训练效果矩阵对应的维数较高，计算量较大，不便于对其进行预测和评价，因此，本实施例引入康复动作训练效果可控指数的概念，以通过康复动作训练效果可控指数来对目标患者的康复训练效果进行预测和评价。现有的降维算法主要分为三个类别，分别是监督类、非监督类、半监督类降维算法。LDA是一种监督类的经典的子空间判别算法，是众多降维算法中效果最好的一种，目前的LDA还有一些缺陷，比如降维对象中包含噪声，使得LDA的降维结果会受很大程度的影响；忽略局部几何信息，使数据在低维空间中失去原有特性，导致精度下降；在少量样本中会发生过拟合的问题，无法求解，效率下降。为了解决上述问题，本实施例使用了一种改进的LDA的降维算法，主要步骤如下： 1.计算类均值向量；2.分别计算类间和类内散度矩阵；3.使用广义瑞利商公式计算最优变化矩阵；4.确定降维数，本实施例中降维到一维，此一维数据即康复训练动作训练效果可控指数S。上述每个步骤的详细实现过程为现有技术，此处不再赘述。

上述每种类别对应一个神经网络模型，神经网络模型是基于同一类别中包括的康复动作训练效果矩阵对应的康复训练动作训练效果可控指数得到的，具体的，使用GRU-ELMAN混合神经网络建立模型，其中，GRU为门控循环单元神经网络，作为LSTM的变体，GRU简化了LSTM的模型参数，保持了相同的预测效果并有了更好的收敛速度。LSTM有遗忘门、记忆门和输出门，GRU简化为重置门和更新门。ELMAN神经网络与传统的BP神经网络结构基本相似，在BP的基础上增加了一个承接层。将GRU和ELMAN两种神经网络进行并行预测，能够提升预测模型的预测精确度和时效性、稳定性。

对于上述多种类别中的任一类别，其对应的神经网络模型的训练过程中，以该类别中包括的康复动作训练效果矩阵对应的康复训练动作训练效果可控指数的80%为训练集，以该类别中包括的康复动作训练效果矩阵对应的康复训练动作训练效果可控指数的20%为测试集，模型的评价标准选取均方根误差（RMSE），当模型的损失指数趋向于稳定时，模型即可输出。本实施例中神经网络模型的输入为由目标患者对应的历史康复训练动作训练效果可控指数构成的一维序列，神经网络模型的输出为目标患者当前的康复动作训练效果可控指数预测值。

计算当前与初始的康复动作训练效果可控指数的差异值（差值的绝对值），以及预测值与初始的康复动作训练效果可控指数的差异值（差值的绝对值），将两差异值进行比较，若当前与初始的康复动作训练效果可控指数的差异值大于所述预测值与初始的康复动作训练效果可控指数的差异值，则判定目标患者对康复动作的掌握程度超过预期，说明目标患者的康复训练效果较好；若当前与初始的康复动作训练效果可控指数的差异值小于所述预测值与初始的康复动作训练效果可控指数的差异值，则判定目标患者对康复动作的掌握程度没达到预期，说明目标患者的康复训练效果较差。上述初始的康复动作训练效果可控指数即对目标患者第一次做目标训练动作时对应的康复动作训练效果矩阵进行降维后得到的康复动作训练效果可控指数。

本实施例根据患者当前进行康复训练过程中的视频图像实现了对患者对康复动作的掌握程度是否达到预期的判断；本实施例的判断过程参考的指标较多，包括训练动作的准确率、动作执行时间和抖动程度，判断过程更为客观，提高了判断结果的准确性；且判断过程属于一种自动判断过程，能够及时给出判断结果，实时性较好。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种基于人工智能的神经康复动作检测系统，包括处理器和存储器，其特征在于，所述处理器执行所述存储器存储的计算机程序以实现如下步骤：

获取目标患者在当前康复训练过程中的视频图像，根据所述视频图像计算目标患者对应的实际训练动作的当前最大准确率、当前最小准确率、当前最大动作执行时间、当前最小动作执行时间和当前抖动程度；

根据目标患者对应的实际训练动作的最大准确率、实际训练动作的最小准确率、最大动作执行时间、最小动作执行时间计算目标患者对应的当前适应训练效果因子，并计算所述当前适应训练效果因子与初始适应训练效果因子之比，将比值记为目标患者对应的当前训练难度变易因子；

根据目标患者对应的当前适应训练效果因子、当前训练难度变易因子、当前最小准确率、当前最小动作执行时间和当前抖动程度构建目标患者的康复动作训练效果矩阵，根据所述康复动作训练效果矩阵对目标患者进行分类，判断目标患者所属类别；将目标患者对应的历史康复动作训练效果可控指数序列输入到目标患者所属类别对应的神经网络模型，得到目标患者当前的康复动作训练效果可控指数预测值，将所述预测值与当前的康复动作训练效果可控指数进行比较，若当前与初始的康复动作训练效果可控指数的差异值大于所述预测值与初始的康复动作训练效果可控指数的差异值，则判定目标患者对康复动作的掌握程度超过预期；所述康复动作训练效果可控指数为对康复动作训练效果矩阵进行降维后得到的值。

2.根据权利要求1所述的基于人工智能的神经康复动作检测系统，其特征在于，根据所述视频图像计算目标患者对应的实际训练动作的当前最大准确率的过程如下：

对任一实际训练动作包括的各帧图像进行3D骨骼点动作捕捉，并在捕捉后恢复为对应的归一化的MANO模型，计算各帧图像对应的归一化的MANO模型与对应的标准MANO模型的交并比，将各帧图像对应的交并比的最大值作为该实际训练动作的当前准确率；

比较目标患者包括的各实际训练动作对应的当前准确率的大小，得到目标患者对应的实际训练动作的当前最大准确率。

3.根据权利要求1所述的基于人工智能的神经康复动作检测系统，其特征在于，计算目标患者对应的实际训练动作的当前最大动作执行时间的过程如下：

统计目标患者包括的各实际训练动作对应的动作执行时间，比较目标患者包括的各实际训练动作对应的动作执行时间的大小，将目标患者对应的最大动作执行时间记为当前最大动作执行时间。

4.根据权利要求1所述的基于人工智能的神经康复动作检测系统，其特征在于，计算目标患者对应的实际训练动作的当前抖动程度的过程如下：

对于目标患者对应的当前任一实际训练动作，以某一特定手指关节为对象，计算该手指关节对应的角度序列的熵值，将该熵值作为患者对应于该实际训练动作的当前抖动程度；

比较目标患者包括的各实际训练动作对应的当前抖动程度的大小，将目标患者对应的实际训练动作的最小抖动程度记为当前抖动程度。

5.根据权利要求1所述的基于人工智能的神经康复动作检测系统，其特征在于，利用如下公式计算目标患者对应的当前适应训练效果因子：

其中，

为目标患者对应的当前适应训练效果因子，

为求绝对值，a为目标患者对应的实际训练动作的当前最大准确率，b为目标患者对应的实际训练动作的当前最小准确率，c为目标患者对应的当前最大动作执行时间，d为目标患者对应的当前最小动作执行时间。

6.根据权利要求1所述的基于人工智能的神经康复动作检测系统，其特征在于，所述康复动作训练效果可控指数为利用LDA算法对康复动作训练效果矩阵进行降维后得到的值。

7.根据权利要求1所述的基于人工智能的神经康复动作检测系统，其特征在于，若当前与初始的康复动作训练效果可控指数的差异值小于所述预测值与初始的康复动作训练效果可控指数的差异值，则判定目标患者对康复动作的掌握程度没有达到预期。

Images