CN110638455B - 用于评估用户康复状态的服务器、系统、设备及介质 - Google Patents

Abstract

本发明公开一种用于评估用户康复状态的服务器、系统、设备及介质。该服务器的一具体实施方式包括：该服务器被配置为：根据所述用户的足底压力图像帧序列得到足底压力分布数据和步态特征数据；将所述足底压力分布数据和步态特征数据作为第一输入和第二输入分别输入双流卷积神经网络的第一链路和第二链路，从而得到用户的康复状态等级。该实施方式可客观、快速、精确的获取用户的康复状态等级，有助于对用户的康复训练作出指导，有利于用户康复进度的保证。

Description

用于评估用户康复状态的服务器、系统、设备及介质

技术领域

本发明涉及康复训练领域。更具体地，涉及一种用于评估用户康复状态的服务器、系统、设备及介质。

背景技术

近年来，随着人们生活水平和国民综合素质的提高，人们对自身身体状况的关注度和认知度越来越高。对于瘫痪、骨科手术后的患者等需要进行康复训练的用户，尤其是对于在家里进行康复训练的用户，在其康复训练过程中，对于康复状态的检测和对于康复训练计划的指导及调整往往需要用户定期去医院进行检查及与医生交流。这样，一方面是便利性不足，另一方面，及时性和准确性方面难以得到保证，尤其是准确性严重依赖于医生的经验和水平，可能会出现由于用户对康复训练的力度及时机掌握不佳等原因，造成二次损伤、康复进度缓慢等后果，不利于用户的康复。

因此，需要提供一种用于评估用户康复状态的服务器、系统、设备及介质。

发明内容

本发明的目的在于提供一种用于评估用户康复状态的服务器、系统、设备及介质，以解决现有技术存在的问题中的至少一个。

为达到上述目的，本发明采用下述技术方案：

本发明第一方面提供了一种服务器，用于评估用户康复状态，所述服务器被配置为：

根据所述用户的足底压力图像帧序列得到足底压力分布数据和步态特征数据；

将所述足底压力分布数据和步态特征数据作为第一输入和第二输入分别输入双流卷积神经网络的第一链路和第二链路，从而得到用户的康复状态等级。

本发明第一方面提供的服务器，将用户行走时的足底压力图像帧序列得到的足底压力分布数据和步态特征数据分别输入双流卷积神经网络后利用双流卷积神经网络输出用户的康复状态等级，可客观、快速、精确的获取用户的康复状态等级，有助于对用户的康复训练作出指导，有助于医生或用户掌握用户在康复过程中的各康复阶段的康复状态是否达到预期，以便医生或用户及时有效地调整康复训练计划，有利于用户康复进度的保证。

可选地，

所述足底压力分布数据为所述足底压力图像帧序列中最大平均压力值对应的足底压力单帧图像数据或者为所述足底压力图像帧序列的平均压力值图像数据；

所述步态特征数据为光流序列数据。

此可选方式的足底压力分布数据和步态特征数据可分别准确地反映用户的足底压力分布和步态特征，可保证双流卷积神经网络输出的用户的康复状态等级的准确性。

可选地，所述服务器被配置为根据所述用户的足底压力图像帧序列得到足底压力分布数据和步态特征数据进一步包括所述服务器被配置为：

获取所述用户的足底压力图像帧序列中包含的各足底压力图像对应的足底压力矩阵；

筛除各足底压力矩阵中的全零行和全零列，得到各足底压力图像的最小外接矩形，并根据各足底压力图像的最小外接矩形得到各足底压力图像的中心；

根据各足底压力图像中最大的最小外接矩形以及各足底压力图像的中心，裁剪各足底压力图像，得到大小相同的各足底压力图像，从而构成处理后的足底压力图像帧序列，以使得根据所述处理后的足底压力图像帧序列得到所述足底压力分布数据和步态特征数据，其中，所述裁剪包括对空白位置的压力值补零。

采用此可选方式，可实现对足底压力图像帧序列中包含的各足底压力图像的快速准确的统一化预处理，可保证裁剪后的各足底压力图像能够保留有效的足底压力信息，进而可进一步保证双流卷积神经网络输出的用户的康复状态等级的准确性。

可选地，

所述服务器被配置为根据所述用户的足底压力图像帧序列得到光流序列数据进一步包括所述服务器被配置为：

通过如下计算得到所述光流序列数据：

u＝[1:w],v＝[1:h],k＝[1:L]

其中τ、k表示帧序号，I_τ表示第τ帧的光流序列数据，(u,v)表示第τ帧的任意点的坐标，d表示差分计算；(w,h)表示每帧图像的大小，L表示总帧数。

可选地，

所述服务器被配置为根据所述用户的足底压力图像帧序列得到所述足底压力图像帧序列中最大平均压力值对应的足底压力单帧图像数据进一步包括所述服务器被配置为：

通过如下计算得到所述最大平均压力值P_max对应的足底压力单帧图像数据：

；或者

所述服务器被配置为根据所述用户的足底压力图像帧序列得到所述足底压力图像帧序列的平均压力值图像数据进一步包括所述服务器被配置为：

通过如下计算得到所述足底压力图像帧序列的平均压力值图像数据：

其中，p_A(i,j)表示足底压力图像帧序列的平均压力值图像坐标(i,j)处的压力值，p_n(i,j)表示足底压力图像帧序列第n帧图像坐标(i,j)处的压力值，(w,h)表示每帧图像的大小，L表示总帧数。

可选地，所述服务器还被配置为：

构建训练数据集，所述训练数据集包括多组训练数据，一组训练数据包括一个标注了康复状态等级的样本用户的左脚和/或右脚的足底压力分布数据和步态特征数据；

根据所述训练数据集训练深度学习模型，得到所述双流卷积神经网络。

采用此可选方式，可建立有效的双流卷积神经网络，建立的双流卷积神经网络可根据分别输入的用户足底压力分布数据和步态特征数据，快速精确的输出用户的康复状态等级。

本发明第二方面提供了一种用于评估用户康复状态的系统，包括：

压力数据采集设备、用户终端设备和本发明第一方面提供的服务器，

其中，

所述压力数据采集设备用于采集用户的足底压力图像帧序列；

用户终端设备用于将所述足底压力图像帧序列和用户当前康复信息发送到所述服务器。

可选地，所述服务器还被配置为：

将得到的所述用户的康复状态等级与预先存储的该用户的预期状态等级进行比较；

若判断所得到的状态等级与所述预期状态等级相同，则向所述用户终端设备发送维持当前康复训练的提示。

可选地，该系统还包括医生终端设备；

所述服务器还被配置为：

若判断所得到的状态等级与所述预期状态等级不同，则向所述医生终端终端设备发送报告。

采用上述可选方式，更加有助于对用户的康复训练作出直观清晰的指导，更加有助于医生或用户全面掌握用户在康复过程中的各康复阶段的康复状态是否达到预期，以便医生或用户能够更加及时有效地调整康复训练计划，更加有利于用户康复进度的保证。

可选地，

所述压力数据采集设备为设置于地面上的压力传感器阵列或者设置于用户鞋垫上的压力传感器阵列。

本发明第三方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：

根据所述用户的足底压力图像帧序列得到足底压力分布数据和步态特征数据；

将所述足底压力分布数据和步态特征数据作为第一输入和第二输入分别输入双流卷积神经网络的第一链路和第二链路，从而得到用户的康复状态等级。

本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现：

根据所述用户的足底压力图像帧序列得到足底压力分布数据和步态特征数据；

将所述足底压力分布数据和步态特征数据作为第一输入和第二输入分别输入双流卷积神经网络的第一链路和第二链路，从而得到用户的康复状态等级。

本发明的有益效果如下：

本发明所述技术方案将用户行走时的足底压力图像帧序列得到的足底压力分布数据和步态特征数据分别输入双流卷积神经网络后利用双流卷积神经网络输出用户的康复状态等级，可客观、快速、精确的获取用户的康复状态等级，有助于对用户的康复训练作出指导，有助于医生或用户掌握用户在康复过程中的各康复阶段的康复状态是否达到预期，以便医生或用户及时有效地调整康复训练计划，有利于用户康复进度的保证。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明；

图1示出本发明实施例提供的用于评估用户康复状态的系统的示意图。

图2示出右脚的足底压力图像帧序列的示意图。

图3示出图2所示的足底压力图像帧序列中最大平均压力值对应的足底压力图像。

图4示出设置有压力传感器阵列的鞋垫的示意图。

图5示出双流卷积神经网络的网络结构示意图。

图6示出本发明实施例提供的用于评估用户康复状态的系统中的服务器的结构示意图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

如图1所示，本发明的一个实施例提供了一种用于评估用户康复状态的系统，包括：压力数据采集设备100、用户终端设备200和服务器300；

其中，

压力数据采集设备100用于采集用户的足底压力图像帧序列；

用户终端设备200用于将所述足底压力图像帧序列和用户当前康复信息发送到服务器300；

服务器300被配置为：

根据所述用户的足底压力图像帧序列得到足底压力分布数据和步态特征数据；

将所述足底压力分布数据和步态特征数据作为第一输入和第二输入分别输入双流卷积神经网络的第一链路和第二链路，即将所述足底压力分布数据作为第一输入而输入双流卷积神经网络的第一链路并将所述步态特征数据作为第二输入而输入双流卷积神经网络的第二链路，从而得到用户的康复状态等级。

人体的足底压力图像反映了有关脚的结构、功能及整个身体姿势控制等情况，而人体在行走中的步态特征更能综合反映用户生理、病理力学参数和机能参数，这对临床医学诊断、疾病程度测定、术后疗效评价、生物力学及康复救治的研究均具有重要意义。基于上述，本实施例提供的用于评估用户康复状态的系统综合考虑了用户的足底压力分布及步态特征，服务器300将用户行走时的足底压力图像帧序列得到的足底压力分布数据和步态特征数据分别输入双流卷积神经网络后利用双流卷积神经网络输出用户的康复状态等级，可客观、快速、精确的获取用户的康复状态等级，有助于对用户的康复训练作出指导，有助于医生或用户掌握用户在康复过程中的各康复阶段的康复状态是否达到预期，以便医生或用户及时有效地调整康复训练计划，有利于用户康复进度的保证。

在一个具体示例中，右脚的足底压力图像帧序列如图2所示，该足底压力图像帧序列中最大平均压力值对应的足底压力图像如图3所示。用户当前康复信息包括生理信息、康复状态等级的历史信息及康复训练信息中的至少一种；在一个具体示例中，生理信息包括：身高、体重、性别、年龄、病史等信息，可响应于用户的输入获取。服务器300可根据得到的用户的康复状态等级及用户当前康复信息生成康复状态报告，更加有助于对用户的康复训练作出直观清晰的指导，更加有助于医生或用户全面掌握用户在康复过程中的各康复阶段的康复状态是否达到预期，以便医生或用户能够更加及时有效地调整康复训练计划，更加有利于用户康复进度的保证。

在本实施例的一些可选的实现方式中，

压力数据采集设备100为设置于地面上的压力传感器阵列或者设置于用户鞋垫上的压力传感器阵列。在一个具体示例中，设置于用户鞋垫上的压力传感器阵列如图4所示，图4所示的鞋垫上蜂窝状的阵列排布有多个正呈六边形的压力传感器。

在本实施例的一些可选的实现方式中，

所述足底压力分布数据为所述足底压力图像帧序列中最大平均压力值对应的足底压力单帧图像数据或者为所述足底压力图像帧序列的平均压力值图像数据；

所述步态特征数据为光流序列数据。

此可选方式的足底压力分布数据和步态特征数据可分别准确地反映用户的足底压力分布和步态特征，可保证双流卷积神经网络输出的用户的康复状态等级的准确性。

如图5所示，本实施例中的双流卷积神经网络包括两个卷积神经网络，第一卷积神经网络输入足底压力分布数据(例如最大平均压力值对应的足底压力图像)并对其进行识别，第一卷积神经网络包括四个卷积层(每个卷积层包括一个卷积神经层和一个池化层)和两个全连接层；第二卷积神经网络输入步态特征数据(光流序列数据，即足底压力图像帧序列的光流信息)并对其进行识别，第二卷积神经网络也包括四个卷积层(每个卷积层包括一个卷积神经层和一个池化层)和两个全连接层。本实施例中的双流卷积神经网络中的两个卷积神经网络分别独立地对足底压力分布数据和步态特征数据进行识别，最后将两个卷积神经网络输出的Softmax值进行融合，得到双流卷积神经网络输出的用户的康复状态等级。

在本实施例的一些可选的实现方式中，服务器300被配置为根据所述用户的足底压力图像帧序列得到足底压力分布数据和步态特征数据进一步包括服务器300被配置为：

获取所述用户的足底压力图像帧序列中包含的各足底压力图像对应的足底压力矩阵；

筛除各足底压力矩阵中的全零行和全零列，得到各足底压力图像的最小外接矩形，并根据各足底压力图像的最小外接矩形得到各足底压力图像的中心；

根据各足底压力图像中最大的最小外接矩形以及各足底压力图像的中心，裁剪各足底压力图像，得到大小相同的各足底压力图像，从而构成处理后的足底压力图像帧序列，以使得根据所述处理后的足底压力图像帧序列得到所述足底压力分布数据和步态特征数据，其中，所述裁剪包括对空白位置的压力值补零。

采用此实现方式，可实现对足底压力图像帧序列中包含的各足底压力图像的快速准确的统一化预处理，可保证裁剪后的各足底压力图像能够保留有效的足底压力信息，进而可进一步保证双流卷积神经网络输出的用户的康复状态等级的准确性。

在本实施例的一些可选的实现方式中，

服务器300被配置为根据所述用户的足底压力图像帧序列得到光流序列数据进一步包括服务器300被配置为：

通过如下计算得到所述光流序列数据：

u＝[1:w],v＝[1:h],k＝[1:L]

其中τ、k表示帧序号，I_τ表示第τ帧的光流序列数据，(u,v)表示第τ帧的任意点的坐标，d表示差分计算；(w,h)表示每帧图像的大小，L表示总帧数。

在本实施例的一些可选的实现方式中，

服务器300被配置为根据所述用户的足底压力图像帧序列得到所述足底压力图像帧序列中最大平均压力值对应的足底压力单帧图像数据进一步包括服务器300被配置为：

通过如下计算得到所述最大平均压力值P_max对应的足底压力单帧图像数据：

；或者

服务器300被配置为根据所述用户的足底压力图像帧序列得到所述足底压力图像帧序列的平均压力值图像数据进一步包括服务器300被配置为：

通过如下计算得到所述足底压力图像帧序列的平均压力值图像数据：

其中，p_A(i,j)表示足底压力图像帧序列的平均压力值图像坐标(i,j)处的压力值，p_n(i,j)表示足底压力图像帧序列第n帧图像坐标(i,j)处的压力值，(w,h)表示每帧图像的大小，L表示总帧数。

在一个具体示例中，假如足底压力图像帧序列包括3帧足底压力图像，第1帧图像的图像数据为

第2帧图像的图像数据为

第3帧图像的图像数据为

则：

最大平均压力值P_max对应的足底压力单帧图像数据为第3帧图像的图像数据

因为第3帧图像的图像数据的平均压力值(5+7+6+8+9+3)/6＝6，大于第1帧图像的图像数据的平均压力值4及第2帧图像的图像数据的平均压力值5；

该足底压力图像帧序列的平均压力值图像数据为

在本实施例的一些可选的实现方式中，服务器300还被配置为：

构建训练数据集，所述训练数据集包括多组训练数据，一组训练数据包括一个标注了康复状态等级的样本用户的左脚和/或右脚的足底压力分布数据和步态特征数据；

根据所述训练数据集训练深度学习模型，得到所述双流卷积神经网络。

采用此实现方式，可建立有效的双流卷积神经网络，建立的双流卷积神经网络可根据分别输入的用户的足底压力分布数据和步态特征数据，快速精确的输出用户的康复状态等级。

可理解的是，仅训练一个适用于左脚和右脚的双流卷积神经网络即可，而无需为左脚和右脚分别训练一个双流卷积神经网络。训练深度学习模型而得到的双流卷积神经网络所根据的训练数据集，应包括每个康复状态等级分别包括的多个样本用户的左脚的足底压力分布数据和步态特征数据和多个样本用户的右脚的足底压力分布数据和步态特征数据。

在一个具体示例中，对训练数据所属的样本用户的康复状态等级的标注可由康复领域专进行，康复状态等级分为6级，每个康复状态等级对应1000个处于进行瘫痪康复训练过程的样本用户，取每个样本用户行走10秒的过程中，左脚500帧图像和右脚500帧图像(共1000帧图像)分别作为一个500帧的左脚足底压力图像帧序列和一个500帧的右脚足底压力图像帧序列，这样，对应每个康复状态等级的训练数据为2000个(1000个左脚的训练数据和1000个右脚的训练数据)，训练数据集共包括12000个训练数据。需要说明的是，基于本示例给出的训练数据，获取的用户(待实现康复状态分级的用户)的左脚和/或右脚的足底压力图像帧序列可不限定在包含500帧图像，即进行康复状态分级时输入双流卷积神经网络的步态特征数据(光流序列数据，即足底压力图像帧序列的光流信息)所对应的图像帧数可不与训练双流卷积神经网络时利用的训练数据中的足底压力图像帧序列所包含的图像帧数一致。

采用此实现方式，服务器300的功能可划分为两个阶段，第一个阶段是构建训练数据集并训练生成双流卷积神经网络，第二阶段是将根据用户(待实现康复状态分级的用户)的足底压力图像帧序列得到的足底压力分布数据和步态特征数据输入第一个阶段生成的双流卷积神经网络，以获得用户(待实现康复状态分级的用户)的康复状态等级。

在本实施例的一些可选的实现方式中，服务器300还被配置为：

将得到的所述用户的康复状态等级与预先存储的该用户的预期状态等级进行比较；

若判断所得到的状态等级与所述预期状态等级相同，则向用户终端设备200发送维持当前康复训练的提示。

在本实施例的一些可选的实现方式中，该系统还包括医生终端设备400；

服务器300还被配置为：

若判断所得到的状态等级与所述预期状态等级不同，则向医生终端设备400发送报告。

采用上述可选方式，更加有助于对用户的康复训练作出直观清晰的指导，更加有助于医生或用户全面掌握用户在康复过程中的各康复阶段的康复状态是否达到预期，以便医生或用户能够更加及时有效地调整康复训练计划，更加有利于用户康复进度的保证。

在一个具体示例中，用户终端设备200和医生终端设备400可以是各种电子设备，包括但不限于个人电脑、智能手机、智能手表、平板电脑、个人数字助理等等。压力数据采集设备100与用户终端设备200之间、用户终端设备200与服务器300之间、服务器300与医生终端设备400之间分别通过网络进行通信，该网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。可理解的是，服务器300可与多个用户终端设备200及多个医生终端设备400交互，以实现基于多个用户各自持有的用户终端设备200进行对多个用户的康复状态等级分别进行获取及向对应的用户终端设备200推送。

如图6所示，适于用来实现本实施例提供的用于评估用户康复状态的系统中的服务器300的计算机系统，包括中央处理模块(CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有计算机系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线被此相连。输入/输入(I/O)接口也连接至总线。

以下部件连接至I/O接口:包括键盘、鼠标等的输入部分；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。

特别地，根据本实施例，上文流程图描述的过程可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括有形地包含在计算机可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。

附图中的流程图和示意图，图示了本实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或示意图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，示意图和/或流程图中的每个方框、以及示意和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器，包括获取模块、计算模块和分级模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。例如，计算模块还可以被描述为“足底压力分布数据和步态特征数据生成模块”。

作为另一方面，本实施例还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质，也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时，使得上述设备：根据所述用户的足底压力图像帧序列得到足底压力分布数据和步态特征数据；将所述足底压力分布数据和步态特征数据作为第一输入和第二输入分别输入双流卷积神经网络的第一链路和第二链路，从而得到用户的康复状态等级。

需要说明的是，在本发明的描述中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (11)

1.一种服务器，用于评估用户康复状态，其特征在于，所述服务器被配置为：

根据所述用户的足底压力图像帧序列得到足底压力分布数据和步态特征数据；

将所述足底压力分布数据和步态特征数据作为第一输入和第二输入分别输入双流卷积神经网络的第一链路和第二链路，从而得到用户的康复状态等级；

其中，所述服务器被配置为根据所述用户的足底压力图像帧序列得到足底压力分布数据和步态特征数据进一步包括所述服务器被配置为：

获取所述用户的足底压力图像帧序列中包含的各足底压力图像对应的足底压力矩阵；

筛除各足底压力矩阵中的全零行和全零列，得到各足底压力图像的最小外接矩形，并根据各足底压力图像的最小外接矩形得到各足底压力图像的中心；

根据各足底压力图像中最大的最小外接矩形以及各足底压力图像的中心，裁剪各足底压力图像，得到大小相同的各足底压力图像，从而构成处理后的足底压力图像帧序列，以使得根据所述处理后的足底压力图像帧序列得到所述足底压力分布数据和步态特征数据，其中，所述裁剪包括对空白位置的压力值补零。

2.根据权利要求1所述的服务器，其特征在于，

所述足底压力分布数据为所述足底压力图像帧序列中最大平均压力值对应的足底压力单帧图像数据或者为所述足底压力图像帧序列的平均压力值图像数据；

所述步态特征数据为光流序列数据。

3.根据权利要求2所述的服务器，其特征在于，

所述服务器被配置为根据所述用户的足底压力图像帧序列得到光流序列数据进一步包括所述服务器被配置为：

通过如下计算得到所述光流序列数据：

其中τ、k表示帧序号，I_τ表示第τ帧的光流序列数据，(u,v)表示第τ帧的任意点的坐标，d表示差分计算；(w,h)表示每帧图像的大小，L表示总帧数。

4.根据权利要求2所述的服务器，其特征在于，

所述服务器被配置为根据所述用户的足底压力图像帧序列得到所述足底压力图像帧序列中最大平均压力值对应的足底压力单帧图像数据进一步包括所述服务器被配置为：

通过如下计算得到所述最大平均压力值P_max对应的足底压力单帧图像数据：

；或者

所述服务器被配置为根据所述用户的足底压力图像帧序列得到所述足底压力图像帧序列的平均压力值图像数据进一步包括所述服务器被配置为：

通过如下计算得到所述足底压力图像帧序列的平均压力值图像数据：

其中，p_A(i,j)表示足底压力图像帧序列的平均压力值图像坐标(i,j)处的压力值，p_n(i,j)表示足底压力图像帧序列中第n帧图像坐标(i,j)处的压力值，(w,h)表示每帧图像的大小，L表示总帧数。

5.根据权利要求1所述的服务器，其特征在于，所述服务器还被配置为：

构建训练数据集，所述训练数据集包括多组训练数据，一组训练数据包括一个标注了康复状态等级的样本用户的左脚和/或右脚的足底压力分布数据和步态特征数据；

根据所述训练数据集训练深度学习模型，得到所述双流卷积神经网络。

6.一种用于评估用户康复状态的系统，其特征在于，包括

压力数据采集设备、用户终端设备和如权利要求1-5中任一项所述的服务器，

其中，

所述压力数据采集设备用于采集用户的足底压力图像帧序列；

用户终端设备用于将所述足底压力图像帧序列和用户当前康复信息发送到所述服务器。

7.根据权利要求6所述的系统，其特征在于，所述服务器还被配置为：

将得到的所述用户的康复状态等级与预先存储的该用户的预期状态等级进行比较；

若判断所得到的状态等级与所述预期状态等级相同，则向所述用户终端设备发送维持当前康复训练的提示。

8.根据权利要求7所述的系统，其特征在于，该系统还包括医生终端设备；

所述服务器还被配置为：

若判断所得到的状态等级与所述预期状态等级不同，则向所述医生终端终端设备发送报告。

9.根据权利要求6所述的系统，其特征在于，

所述压力数据采集设备为设置于地面上的压力传感器阵列或者设置于用户鞋垫上的压力传感器阵列。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现：

根据用户的足底压力图像帧序列得到足底压力分布数据和步态特征数据；

将所述足底压力分布数据和步态特征数据作为第一输入和第二输入分别输入双流卷积神经网络的第一链路和第二链路，从而得到用户的康复状态等级；

其中，所述根据用户的足底压力图像帧序列得到足底压力分布数据和步态特征数据进一步包括：

获取所述用户的足底压力图像帧序列中包含的各足底压力图像对应的足底压力矩阵；

筛除各足底压力矩阵中的全零行和全零列，得到各足底压力图像的最小外接矩形，并根据各足底压力图像的最小外接矩形得到各足底压力图像的中心；

根据各足底压力图像中最大的最小外接矩形以及各足底压力图像的中心，裁剪各足底压力图像，得到大小相同的各足底压力图像，从而构成处理后的足底压力图像帧序列，以使得根据所述处理后的足底压力图像帧序列得到所述足底压力分布数据和步态特征数据，其中，所述裁剪包括对空白位置的压力值补零。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现：

根据用户的足底压力图像帧序列得到足底压力分布数据和步态特征数据；

将所述足底压力分布数据和步态特征数据作为第一输入和第二输入分别输入双流卷积神经网络的第一链路和第二链路，从而得到用户的康复状态等级；

其中，所述根据用户的足底压力图像帧序列得到足底压力分布数据和步态特征数据进一步包括：

获取所述用户的足底压力图像帧序列中包含的各足底压力图像对应的足底压力矩阵；

筛除各足底压力矩阵中的全零行和全零列，得到各足底压力图像的最小外接矩形，并根据各足底压力图像的最小外接矩形得到各足底压力图像的中心；

根据各足底压力图像中最大的最小外接矩形以及各足底压力图像的中心，裁剪各足底压力图像，得到大小相同的各足底压力图像，从而构成处理后的足底压力图像帧序列，以使得根据所述处理后的足底压力图像帧序列得到所述足底压力分布数据和步态特征数据，其中，所述裁剪包括对空白位置的压力值补零。

Images