CN110478860A - 基于手物自然交互的手部功能障碍虚拟康复系统 - Google Patents

Abstract

本发明涉及基于手物自然交互的手部功能障碍虚拟康复系统，属于虚拟现实服务技术领域。基于手物自然交互的手部功能障碍虚拟康复系统，包括用于建立和显示虚拟康复训练场景并完成骨架数据、图像信息和肌电信号的预处理、分析与识别的处理器模块、手部康复器械箱、信号采集装置、手物交互动作识别模块、虚拟康复训练场景显示和反馈模块以及评价模块。本发明的康复系统创新性的将患者日常性手部动作、康复器械和虚拟场景相结合，通过对骨架、图像和肌电信号进行多元特征提取和多规则学习，实现手‑物交互动作识别，判断作业训练任务完成情况，进而达到手功能精准康复的目的。

Description

基于手物自然交互的手部功能障碍虚拟康复系统

技术领域

本发明涉及基于手物自然交互的手部功能障碍虚拟康复系统，属于虚拟现实服务技术领域。

背景技术

手是人类日常生活完成信息沟通、情感交流的重要载体。研究表明，人的上肢功能占全身功能的60％，而手指功能则占上肢功能的90％。手部功能障碍会导致患者的生活在一定程度上不能自理，不仅给患者本人带来不便，而且给患者家属带来负担。研究表明，对于手指功能障碍患者，位置恰当、强度适合的康复训练是非常有效和重要的医疗手段，通过在患者手部全部失去运动功能之前进行一定的康复辅助训练可以避免手功能的完全丧失及手部的彻底残疾。因此用于帮助患者进行手功能恢复的康复治疗系统有巨大需求量。

目前手外伤、卒中等疾病导致手部功能障碍的发生率在不断上升。在针对手部功能障碍康复训练的方法中，中国专利申请号为CN201210430290.4的发明专利提出了一种穿戴式便携动力外骨骼手功能康复训练装置，设计用推杆电机驱动四指和大拇指进行训练。中国专利申请号为CN201320214790.4的发明专利提出了一种用于手功能康复训练与评估的数据手套，采集手部手指弯曲角度信息及手掌面压力信息，应用于康复训练。此类型方法的缺陷是穿戴过程非常繁琐，而且训练中可能产生不适感，还可能对患者手部造成二次伤害。此外还有些系统利用遥杆设备和手部贴片进行康复训练，遥杆设备训练项目单一，而手部贴片对贴片位置要求较高，不适合患者在家中进行康复训练，这些都给手部功能障碍患者的康复训练带来了不便。

发明内容

本发明的目的是提供一种基于手物自然交互的手部功能障碍虚拟康复系统，通过患者、手部康复器械和虚拟场景的自然交互技术，达到手部功能障碍患者手功能精准康复的目的。

为了实现上述目的，本发明采用的技术方案是：

一种基于手物自然交互的手部功能障碍虚拟康复系统，包括用于建立和显示虚拟康复训练场景并完成骨架数据、图像信息和肌电信号的预处理、分析与识别的处理器模块、手部康复器械箱、信号采集装置、手物交互动作识别模块、虚拟康复训练场景显示和反馈模块以及评价模块；

所述的处理器模块用来建立和显示虚拟康复训练场景，完成骨架数据、图像信息和肌电信号的预处理、分析与识别；

所述手部康复器械箱包括铰接为一体的上箱体和下箱体，上箱体内侧表面安装用于进行手部康复训练的若干小型康复设备；在下箱体中内放置手部康复器械、信号采集装置和评价模块；

所述信号采集装置包括用于获取肌电信号的可穿戴肌电传感器以及用于采集手部骨架数据和手康复辅助器械图像信息的传感器；信号采集装置通过USB连接线、蓝牙与处理器连接；虚拟康复训练场景通过自然交互的方式在处理器内实现数据交互；

所述的手物交互动作识别模块是对信号采集装置采集的数据提取多元特征，然后基于多规则学习算法进行学习，最终达到手-物交互动作的识别；

所述的虚拟康复训练场景显示和反馈模块，包括具体的虚拟训练任务和手功能参数反馈；三维虚拟康复训练场景用于和辅助康复器械及动作配合，完成手部康复训练并得到手功能反馈参数；

所述的评价模块是采用现有的科学的手功能检查方法对手部功能障碍患者进行手功能评价，了解患者手功能情况，根据手功能的障碍情况进行特定的康复训练，同时可以对比患者康复训练前后的手功能情况，检查康复训练效果和进度。

本发明技术方案的进一步改进在于：上箱体内侧表面安装的小型康复设备包括橡皮筋、旋钮、靶标、可折叠球筐和鞋板。

本发明技术方案的进一步改进在于：在下箱体中安装立式隔板将下箱体分为不同的功能区，功能区内分别放置手部康复器械、信号采集装置和评价模块。

本发明技术方案的进一步改进在于：下箱体内的手部康复器械包括分指握力球、指力练习器、康复木插板、锤子和飞镖；其中，康复木插板设置若干孔洞并且在孔洞内放置柔性薄膜式压力传感器。

本发明技术方案的进一步改进在于：信号采集装置包括可穿戴肌电、骨骼和图像信号采集装置以及多功能传感器支架。

本发明技术方案的进一步改进在于：评价模块包含的物体有大球、中球、小球、大木方、中木方、木圆板、小木方、金属圆片、人造革和金属棍。

本发明技术方案的进一步改进在于：手物交互动作识别模块的识别过程包括以下步骤，

1)、信号采集装置对采集的肌电信号进行特征提取；

2)、信号采集装置对采集的骨架数据进行特征提取；

3)、信号采集装置采集到的手拿物体进行康复训练的图像信息进行特征提取；

4)、将提取的肌电、骨架、图像特征使用多核学习算法进行融合。

本发明技术方案的进一步改进在于：步骤1的操作包括三个子步骤，具体内容为，

步骤1.1：对采集的肌电信号采用小波变换自动阈值去噪处理去除噪声和环境干扰；

步骤1.2：分割数据段，设置滑动窗口大小和窗口增量；

步骤1.3：对每个划分窗口的信号值利用小波变换提取时频特征，包括积分肌电值(Integrate EMG)、过零点数(ZC)、方差(Variance)、平均功率频率(MPF)和中值频率(MF)；特征定义如下：

积分肌电值计算公式如下：

其中，x_(i),(i＝0,1,2,...,n-1)为长度为N的时间序列；

过零点数计算公式如下：

其中，

方差：直接求取原始肌电信号的方差，计算公式如下：

平均功率频率计算公式如下：

其中，为信号的功率谱密度函数；

中指频率计算公式如下：

其中，f_mf为中指频率。

本发明技术方案的进一步改进在于：步骤2的操作包括三个子步骤，具体内容为，

步骤2.1：采集的手部25个关节的三维坐标信息，其中J＝25，每个关节点由三个方向位置组成，j_i＝(x_i,y_i,z_i)，i表示关节点的标号，i∈[1,25]；

步骤2.2：相邻两个关节点为一个骨骼段，共定义19个骨骼段，骨骼段的集合为P_i＝{p₁,p₂,...,p₁₉}；每一个骨骼段p_i由j_a，j_b两个关节点组成，j_a和j_b的空间三维坐标分别为：j_a＝(x_a,y_a,z_a),j_b＝(x_b,y_b,z_b)；

步骤2.3：提取特征，相邻骨骼段的夹角15个，即手指弯曲的角度A _i＝{a₁,a₂,...,a₁₅}、相邻手指间的距离4个，即F_i＝{f₁,f₂,f₃,f₄}、手部关节的移动距离25个，即D_i＝{d₁,d₂,d₃...d₂₅}；特征定义如下：

任意两个关节点i，j组成的骨骼段直线方程的方向向量为：

V_m(v_x,v_y,v_z)＝(x_b-x_a,y_b-y_a,z_b-z_a) (6)

则两骨骼段夹角a_i为：

相邻手指间的距离计算公式如下：

手部关节的移动速度计算公式如下：

其中，j₁＝(x₁,y₁,z₁)，j₂＝(x₂,y₂,z₂)，是同一个关节点的不同位置，t是关节移动时间。

本发明技术方案的进一步改进在于：步骤2的操作包括三个子步骤，具体内容为，

步骤3.1：结合手部骨架的三维坐标对康复训练的RGB-D图像进行处理，去掉手部信息；

步骤3.2：采用canny进行边缘提取,然后提取物体轮廓；

步骤3.3：对轮廓进行填充，然后提取轮廓的运动方向V_i＝{v₁,v₂,...v_n}、重心g、径向距离ρ_i,i∈n、面积γ_A、周长γ_p、凸性γ_c、椭圆变量d、链码M₈、形状上下文h_i(k)等特征；特征定义如下：

j₁＝(x₁,y₁,z₁)，j₂＝(x₂,y₂,z₂)，是同一个轮廓点的不同位置，则轮廓的运动方向为：

V(v_x,v_y,v_z)＝(x₂-x₁,y₂-y₁,z₂-z₁) (10)

重心计算公式如下：

径向距离计算公式如下：

ρ_i＝||p_i-g||₂ (12)

面积计算公式如下：

凸性计算公式如下：

椭圆变量计算公式如下：

链码M₈:按照水平、垂直和两条对角线方向，为相邻的两个像素点定义定义8个方向符：0、1、2、3、4、5、6、7。从轮廓曲线起点S开始，按顺时针方向观察每一线段走向，并用相应的指向符表示，就形成表示该轮廓的数序列：

形状上下文h_i(k):以其中任意一点p_i为参考点,在p_i为圆心、R为半径的局域内按对数距离间隔建立N个同心圆；将此区域沿圆周方向M等分，形成靶状模板。点p_i到其它各点的向量相对位置简化为模板上各扇区内的点分布数；这些点的统计分布直方图h_i(k),称为点p_i的形状上下文,其计算公式为

h_i(k)＝#{q≠p_i:(q-p_i)∈bin(k)} (17)

其中，k＝{1,2,……,K},K＝M*N。

由于采用了上述技术方案，本发明取得的技术效果有：

本发明的康复系统，手部功能障碍患者可以根据康复训练场景使用手部康复器械箱中康复器械和信号采集装置。信号采集装置采集训练过程中的手物交互动作、肌电和图像信息，并传送到处理器，手物交互动作识别模块将会对信息进行特征提取、分类学习及识别。通过手物自然交互识别判断患者是否完成任务和完成程度得到反馈参数，实现手部功能障碍患者的手功能康复效果。评价模块为患者提供测评机制，使患者了解自身的手功能情况和通过系统进行康复的康复效果。

本发明的康复系统创新性的将患者日常性手部动作、辅助康复器械和虚拟场景相结合，通过作业训练达到手部康复的目的。该系统中还提出了手物动作识别算法，基于多元特征融合，实现了手持物体交互过程中，手部动作的精准识别和手-辅助康复器械-虚拟环境的自然交互。

附图说明

图1是本发明手部康复器械箱示意图；

图2是本发明柔性薄膜压力传感器位置示意图；

图3是本发明压力模块部件位置示意图；

图4是本发明压力模块电路图；

图5是实施例工作图；

其中，1、上箱体，2、下箱体，3、中木方，4、立式隔板，5、分指握力球，6、指力练习器，7、锤子，8、康复木插板，9、木棍，10、评价模块，11、金属棍，12、木圆板，13、大木方，14、小球，15、人造革，16、多功能传感器支架，17、MYO腕带，18、LeapMotion体感控制器，19、小木方，20、中球，21、大球，22、橡皮筋，23、鞋板，24、靶标，25、旋钮，26、可折叠球框。

具体实施方式

下面结合附图及具体实施例对本发明做进一步详细说明：

本发明公开了一种基于手物自然交互的手部功能障碍虚拟康复系统，使用虚拟现实技术，来为手部功能障碍患者进行辅助康复训练。

本发明的基于手物自然交互的手部功能障碍虚拟康复系统，包括用处理器模块、手部康复器械箱、信号采集装置、手物交互动作识别模块、虚拟康复训练场景显示和反馈模块以及评价模块。其中，处理器模块用于建立和显示虚拟康复训练场景并完成骨架数据、图像信息和肌电信号的预处理、分析与识别。手部康复器械箱内设置有多种用于进行手部康复训练的若干不同的小型康复设备，还放置有评价模块、信号采集装置、手物交互动作识别模块、虚拟康复训练场景显示和反馈模块。

如图1所示，手部康复器械箱包括铰接为一体的上箱体1和下箱体2，在上箱体1内侧表面安装小型康复设备。小型康复设备包括橡皮筋22、旋钮25、靶标24、可折叠球筐26和鞋板23，能够辅助进行推、拉、捏、抓、举、握等康复动作。

在下箱体2中安装立式隔板4将下箱体分为不同的功能区，在不同的功能区内放置放置手部康复器械、信号采集装置和评价模块。如图1所示，立式隔板4将下箱体2分隔为了四个功能区。左上方的功能区放置分指握力球5、指力练习器6和锤子7等物体；右上方的功能区放置LeapMtion体感控制器18、MYO腕带17以及多功能传感器支架20等信号采集装置；左下方的功能区放置康复木插板8和木棍9；右下方的功能区放置评价模块，具体的，评价模块10包括金属棍11、木圆板12、大木方13、中木方3、小木方19、大球21、中球20、小球14和人造革15等物品。根据需要手部康复器械还可以包括神经感觉练习球和握力圈。

如图2所示，在康复木插板8上设置若干孔洞并且在孔洞内放置柔性薄膜式压力传感器，共放置5*4＝20个，20个压力传感器通过杜邦线分别连接单通道压阻式转换模块，转换模块的输出连接八通道并行输入，串行输出的拓展芯片74HC165，74HC165输出连接Arduino的模拟输入口，同时Arduino通过USB电缆连接处理器，电路元器件均放置在康复木插底部，由其罩住。如图3所示。

信号采集装置包括用于获取肌电信号的可穿戴肌电传感器以及用于采集手部骨架数据和手康复辅助器械图像信息的传感器。信号采集装置通过USB连接线、蓝牙与处理器连接；虚拟康复训练场景通过自然交互的方式在处理器内实现数据交互。信号采集装置还包括多功能传感器支架16。本具体的实施中，所述可穿戴多源信号采集装置采用MYO腕带17和Leap Motion体感控制器18，MYO腕带17通过蓝牙与处理器连接，Leap Motion体感控制器18通过USB连接线与处理器连接。

在具体的实施中，使用多功能传感器支架将信号采集装置固定在适宜的高度。压力传感器使用定制的量程为10kg的D2027压阻式柔性薄膜压力传感器，单通道压阻式转换模块将电阻信号转换成模拟电压信号，模拟电压信号并行输入到74HC165芯片，Ardunio接收各通道电压信号传送到处理器，电路图如图4所示。

该康复系统中设置了评价模块，通过采用现有的科学的手功能检查方法对手部功能障碍患者进行手功能评价，了解患者手功能情况，根据手功能的障碍情况进行特定的康复训练。同时可以对比患者康复训练前后的手功能情况，检查康复训练效果和进度。本实施例中所述的评价模块是根据日本金子翼先生的手功能检查方法的10项操作而设计，全套有10种规定动作，让患者以尽快的速度准确完成并记录完成时间。涉及到的物体：大球、中球、小球、大木方、中木方、木圆板、小木方、金属圆片、人造革和金属棍。前八种动作是将八种物体从一个位置拿起放到另一个位置；第九种动作是将人造革翻面；第十种动作是将金属棍插入圆孔中。在评价过程中，通过手物交互动作识别模块识别并记录每种动作所需的时间，并根据记录10种动作所用时间，在检查评价记录表上查看每项相应得分，计算总得分，并与各年龄组得分界限对比，评价手功能，并输出报表。

该康复系统中的手物交互动作识别模块是对信号采集装置采集的数据提取多元特征，然后基于多规则学习算法进行学习，最终达到手物交互动作的识别。在本实施例中，手物交互动作识别是指用康复木插板训练手部与打地鼠场景交互过程中的手物识别。识别的手势为按压，物体的形状为长条的圆柱形状，运动状态有上下左右前后。因康复木插板下有压力传感器，故训练过程中采集到的信息除肌电信号、手的骨架信息以及图像信息外，还存在压力信息。

手物交互动作识别模块的识别过程包括以下步骤，

1)、信号采集装置对采集的肌电信号进行特征提取。

该步骤又分为三个子步骤，具体内容为，

步骤1.1：对采集的肌电信号采用小波变换自动阈值去噪处理去除噪声和环境干扰；

步骤1.2：分割数据段，设置滑动窗口大小为160ms，窗口增量为40ms；

步骤1.3：对每个划分窗口的信号值利用小波变换提取时频特征：积分肌电值(Integrate EMG)、过零点数(ZC)、方差(Variance)、平均功率频率(MPF)和中指频率(MF)；特征定义如下：

积分肌电值计算公式如下：

其中，x_(i),(i＝0,1,2,...,n-1)为长度为N的时间序列；

过零点数计算公式如下：

其中，

方差：直接求取原始肌电信号的方差，计算公式如下：

平均功率频率计算公式如下：

其中，为信号的功率谱密度函数；

中指频率计算公式如下：

其中，f_mf为中指频率。

2)、信号采集装置对采集的骨架数据进行特征提取。

该步骤又分为三个子步骤，具体内容为，

步骤2.1：采集的手部25个关节的三维坐标信息，其中J＝25，每个关节点由三个方向位置组成，j_i＝(x_i,y_i,z_i)，i表示关节点的标号，i∈[1,25]；

步骤2.2：相邻两个关节点为一个骨骼段，共定义19个骨骼段，骨骼段的集合为P_i＝{p₁,p₂,...,p₁₉}；每一个骨骼段p_i由j_a，j_b两个关节点组成，j_a和j_b的空间三维坐标分别为：j_a＝(x_a,y_a,z_a),j_b＝(x_b,y_b,z_b)；

步骤2.3：提取特征，相邻骨骼段的夹角15个，即手指弯曲的角度A_i＝{a₁,a₂,...,a₁₅}、相邻手指间的距离4个，即F_i＝{f₁,f₂,f₃,f₄}、手部关节的移动距离25个，即D_i＝{d₁,d₂,d₃...d₂₅}；特征定义如下：

任意两个关节点i，j组成的骨骼段直线方程的方向向量为：

V_m(v_x,v_y,v_z)＝(x_b-x_a,y_b-y_a,z_b-z_a) (6)

则两骨骼段夹角a_i为：

相邻手指间的距离计算公式如下：

手部关节的移动速度计算公式如下：

其中，j₁＝(x₁,y₁,z₁)，j₂＝(x₂,y₂,z₂)，是同一个关节点的不同位置，t是关节移动时间。

3)、信号采集装置采集到的手拿物体进行康复训练的图像信息进行特征提取。该步骤又分为三个子步骤，具体的内容为，

步骤3.1：结合手部骨架的三维坐标对康复训练的RGB-D图像进行处理，去掉手部信息；

步骤3.2：采用canny进行边缘提取,然后再提取物体轮廓，最后画出轮廓；

步骤3.3：对轮廓进行填充，然后提取轮廓的运动方向V_i＝{v₁,v₂,...v_n}、重心g、径向距离ρ_i,i∈n、面积γ_A、周长γ_p、凸性γ_c、椭圆变量d、链码M₈、形状上下文h_i(k)等特征；特征定义如下：

j₁＝(x₁,y₁,z₁)，j₂＝(x₂,y₂,z₂)，是同一个轮廓点的不同位置，则轮廓的运动方向为：

V(v_x,v_y,v_z)＝(x₂-x₁,y₂-y₁,z₂-z₁) (10)

重心计算公式如下：

径向距离计算公式如下：

ρ_i＝||p_i-g||₂ (12)

面积计算公式如下：

凸性计算公式如下：

椭圆变量计算公式如下：

链码M₈:按照水平、垂直和两条对角线方向，为相邻的两个像素点定义定义8个方向符：0、1、2、3、4、5、6、7。从轮廓曲线起点S开始，按顺时针方向观察每一线段走向，并用相应的指向符表示，就形成表示该轮廓的数序列：

形状上下文h_i(k):以其中任意一点p_i为参考点,在p_i为圆心、R为半径的局域内按对数距离间隔建立N个同心圆；将此区域沿圆周方向M等分，形成靶状模板。点p_i到其它各点的向量相对位置简化为模板上各扇区内的点分布数；这些点的统计分布直方图h_i(k),称为点p_i的形状上下文,其计算公式为

h_i(k)＝#{q≠p_i:(q-p_i)∈bin(k)} (17)

其中，k＝{1,2,……,K},K＝M*N。

4)、将提取的肌电、骨架、图像特征使用多核学习算法进行融合，降维处理得到特征得到特征E_i＝{x_iemg,ZC,VAR,N,f_mean,f_mf}、S_i＝{A_i,F_i,D_i}和I_i＝{V_i,g,ρ_i,γ_A,γ_p,γ_c,d,M_N,h_i(k)}，设置特征权重β、γ和δ，得到特征然后用KNN分类算法进行训练。

该系统的虚拟康复训练场景显示和反馈模块，包括具体的虚拟训练任务和手功能参数反馈。三维虚拟康复训练场景用于和辅助康复器械及动作配合，完成手部康复训练并得到手功能反馈参数。常用的动作有力性抓握、精确抓握、球形指尖握、柱状抓握、球形掌握、二指捏、侧捏、多指尖捏、推、拉和举。配合动作设计的三维虚拟康复训练场景包括打地鼠场景、捏泡泡场景、系领带场景、用镊子拾取弹珠、飞镖游戏、桌上篮球、拧旋钮、高处放置物体场景。三维虚拟康复训练场景中设置得分模式，通过游戏场景的得分情况以及从传感器中得到的压力信息，得到手功能反馈参数-指肌力和灵活度。设置的游戏场景可适用于康复训练的初中后期全过程；同时场景中还设置了不同难度的训练任务，适应程度不同的手部功能障碍患者以及检测手部功能障碍患者的康复进度和康复成果。如图5所示，本实施例中所述的虚拟康复训练场景选择打地鼠场景。打地鼠场景中环境以及地鼠模型均由3D MAX软件建模构造，然后导入Unity软件中。打地鼠训练场景的任务是操控锤子打出现的地鼠，游戏开始之前将木棍插入到康复木插板中。手部功能障碍患者首先通过场景中地鼠出现的位置，判断锤子的落点位置；然后用手按压相应位置的木棍，模拟打地鼠。

该系统的使用情形如下：

在计算机上利用Unity开发虚拟康复训练场景，以患者选择打地鼠场景进行康复训练为例进行说明。如图5所示，选用多功能康复器械箱中康复木插板作为辅助器械，手腕上穿戴MYO腕带，将Leap motion用多功能支架支在康复木插板左侧，方便采集手物交互信息。MYO腕带和Leap motion将采集的肌电信号、图像信息和骨骼信息传送到计算机，手物交互动作识别模块对信息进行特征提取和识别，判断患者的完成程度。最后可用评价模块评价康复效果。

Claims (10)

1.一种基于手物自然交互的手部功能障碍虚拟康复系统，其特征在于：包括用于建立和显示虚拟康复训练场景并完成骨架数据、图像信息和肌电信号的预处理、分析与识别的处理器模块、手部康复器械箱、信号采集装置、手物交互动作识别模块、虚拟康复训练场景显示和反馈模块以及评价模块；

所述处理器模块包括用于建立和显示虚拟康复训练场景并完成骨架数据、图像信息和肌电信号的预处理、分析与识别；

所述手部康复器械箱包括铰接为一体的上箱体和下箱体，上箱体内侧表面安装用于进行手部康复训练的若干小型康复设备；在下箱体中内放置手部康复器械、信号采集装置和评价模块；

所述信号采集装置包括用于获取肌电信号的可穿戴肌电传感器以及用于采集手部骨架数据和手康复辅助器械图像信息的传感器；信号采集装置通过USB连接线、蓝牙与处理器连接；虚拟康复训练场景通过自然交互的方式在处理器内实现数据交互；

所述的手物交互动作识别模块是对信号采集装置采集的数据提取多元特征，然后基于多规则学习算法进行学习，最终达到手-物交互动作的识别；

所述的虚拟康复训练场景显示和反馈模块，包括具体的虚拟训练任务和手功能参数反馈；三维虚拟康复训练场景用于和辅助康复器械及动作配合，完成手部康复训练并得到手功能反馈参数；

所述的评价模块是采用现有的科学的手功能检查方法对手部功能障碍患者进行手功能评价，了解患者手功能情况，根据手功能的障碍情况进行特定的康复训练，同时可以对比患者康复训练前后的手功能情况，检查康复训练效果和进度。

2.根据权利要求1所述的基于手物自然交互的手部功能障碍虚拟康复系统，其特征在于：上箱体内侧表面安装的小型康复设备包括橡皮筋、旋钮、靶标、可折叠球筐和鞋板。

3.根据权利要求1所述的基于手物自然交互的手部功能障碍虚拟康复系统，其特征在于：在下箱体中安装立式隔板将下箱体分为不同的功能区，功能区内分别放置手部康复器械、信号采集装置和评价模块。

4.根据权利要求3所述的基于手物自然交互的手部功能障碍虚拟康复系统，其特征在于：下箱体内的手部康复器械包括分指握力球、指力练习器康复木插板、锤子和飞镖；其中，康复木插板设置若干孔洞并且在孔洞内放置柔性薄膜式压力传感器。

5.根据权利要求1所述的基于手物自然交互的手部功能障碍虚拟康复系统，其特征在于：信号采集装置包括可穿戴肌电、骨骼和图像信号部功能障碍采集装置以及多功能传感器支架。

6.根据权利要求1所述的基于手物自然交互的手部功能障碍虚拟康复系统，其特征在于：评价模块包含的物体有大球、中球、小球、大木方、中木方、木圆板、小木方、金属圆片、人造革和金属棍。

7.根据权利要求1所述的基于手物自然交互的手部功能障碍虚拟康复系统，其特征在于：手物交互动作识别模块的识别过程包括以下步骤，

1)、信号采集装置对采集的肌电信号进行特征提取；

2)、信号采集装置对采集的骨架数据进行特征提取；

3)、信号采集装置采集到的手拿物体进行康复训练的图像信息进行手部轮廓特征提取；

4)、将提取的肌电、骨架、图像特征使用多核学习算法进行融合，得到融合的特征，然后用机器学习分类算法进行训练并识别。

8.根据权利要求7所述的基于手物自然交互的手部功能障碍虚拟康复系统，其特征在于：步骤1的操作包括三个子步骤，具体内容为，

步骤1.1：对采集的肌电信号采用小波变换自动阈值去噪处理去除噪声和环境干扰；

步骤1.2：分割数据段，设置滑动窗口大小和窗口增量；

步骤1.3：对每个划分窗口的信号值利用小波变换提取时频特征：积分肌电值(Integrate EMG)、过零点数(ZC)、方差(Variance)、平均功率频率(MPF)和中值频率(MF)。

9.根据权利要求7所述的基于手物自然交互的手部功能障碍虚拟康复系统，其特征在于：步骤2的操作包括三个子步骤，具体内容为，

步骤2.1：采集的手部25个关节的三维坐标信息，其中J＝25，每个关节点由三个方向位置组成，j_i＝(x_i,y_i,z_i)，i表示关节点的标号，i∈[1,25]；

步骤2.2：相邻两个关节点为一个骨骼段，共定义19个骨骼段，骨骼段的集合为P_i＝{p₁,p₂,...,p₁₉}；每一个骨骼段p_i由j_a，j_b两个关节点组成，j_a和j_b的空间三维坐标分别为：j_a＝(x_a,y_a,z_a),j_b＝(x_b,y_b,z_b)；

步骤2.3：提取特征，包括相邻骨骼段的夹角15个，即手指弯曲的角度A_i＝{a₁,a₂,...,a₁₅}、相邻手指间的距离4个，即F_i＝{f₁,f₂,f₃,f₄}、手部关节的移动距离25个，即D_i＝{d₁,d₂,d₃...d₂₅}。

10.根据权利要求7所述的基于手物自然交互的手部功能障碍虚拟康复系统，其特征在于：步骤2的操作包括三个子步骤，具体内容为，

步骤3.1：结合手部骨架的三维坐标对康复训练的RGB-D图像进行处理，去掉手部信息；

步骤3.2：采用canny进行边缘提取,然后提取物体轮廓；

步骤3.3：对轮廓进行填充，然后提取轮廓的运动方向V_i＝{v₁,v₂,...v_n}、重心g、径向距离ρ_i,i∈n、面积γ_A、周长γ_p、凸性γ_c、椭圆变量d、链码M₈、形状上下文h_i(k)特征。