CN104287747A - 基于情绪感知的运动康复机器人交互控制方法 - Google Patents

Abstract

本发明提供一种非侵入式的基于情绪感知的运动康复机器人交互控制方法，该方法以机器人辅助康复训练过程中患者“挫败”、“兴奋”及“厌烦”三类情绪为目标情绪状态，其具体实现包括如下步骤：获取康复训练过程中患者目标情绪反应的生理响应信号；从生理响应信号中分析出反应目标情绪变化的生理信号重要特征及其组合；根据分析得到的目标情绪生理响应特征及其组合，设计分类器识别目标情绪状态；以及根据识别到的患者目标情绪状态，设计与患者目标情绪变化相一致的闭环自适应人机交互控制方法。利用本发明的方法，可克服现有的机器人辅助康复人机交互协作训练方法主要以感知患者主动“运动”参与为主的局限。

Description

基于情绪感知的运动康复机器人交互控制方法

 

技术领域

本发明涉及康复机器人传感与治疗控制领域，尤其是关于一种基于情绪感知的运动康复机器人交互控制方法。

背景技术

现代社会随着世界各国相继进入老龄化，在老龄化过程中会产生大量的脑卒中或中风病患者，此类患者通常由于脑血管血栓或脑血管破裂出血而导致脑供血中断，从而使相应的运动、感觉和认知等功能遭到丧失或受到损害。现代神经康复医学及其临床研究结果表明中枢神经系统具有高度的可塑性，对因脑卒中等疾病引起的肢体功能障碍，通过科学合理的康复治疗训练可以在一定程度上恢复其受损的肢体功能。

康复机器人技术是近年来发展起来的一种新的运动神经康复治疗技术，在机器人辅助患者运动康复治疗过程中，患者的主动参与对提高康复训练效果具有至关重要的作用。基于患者主动参与意识的机器人辅助康复治疗研究，目前主要集中在“基于生物力学的主动运动交互控制”和“基于生物电的主动运动交互控制”两个方面，患者与康复机器人之间的交互协作主要是以感知患者主动“运动”参与为主。在传统康复治疗方法中，康复医师除了能感受到患者主动“运动”参与外，还能够观察到患者对不同难度训练任务所表现出来的高兴、厌烦和挫败等情绪变化，并根据情绪变化及时调整自己的训练行为。由情绪心理学可知，训练过程中患者表现出来的情绪反应是一种以患者主观参与感受的变化为特征的心理活动过程。为使患者与康复机器人之间的交互控制更加和谐自然，研究人员自然地期望机器人能像康复医师那样，实时感知训练过程中患者情绪的变化，并根据情绪变化实时调整机器人辅助训练行为。由此可见，从患者主动“心理”参与角度，研究一种基于情绪感知的运动康复机器人交互控制方法，将进一步完善和提高人机协作康复训练技术水平，具有重要的学术意义和实际应用价值。

发明内容

本发明目的在于提供一种基于情绪感知的运动康复机器人交互控制方法，以机器人辅助康复训练过程中患者“挫败”、“兴奋”及“厌烦”三类情绪为目标情绪状态，其具体实现包括如下步骤：

步骤1、获取康复训练过程中患者目标情绪反应的生理响应信号；

步骤2、情绪生理响应特征分析：从生理响应信号中分析出反应目标情绪变化的生理信号重要特征及其组合；

步骤3、患者目标情绪状态识别：根据分析得到的目标情绪生理响应特征及其组合，设计分类器识别目标情绪状态；

步骤4、基于目标情绪的人机交互控制：根据识别到的患者目标情绪状态，设计与患者目标情绪变化相一致的闭环自适应人机交互控制方法。

进一步的实施例中，前述的步骤1中，通过采用心理生理测量方法设计情绪生理测量实验，以获取训练过程中患者目标情绪反应的生理响应信号。

进一步的实施例中，前述步骤2中，情绪生理响应特征分析包括以下步骤：

（1）分别从患者心电、皮电、体温等生理响应信号中提取各自均值、方差作为目标情绪生理响应特征；

（2）采用“两因素混合设计及其方差分析”方法，从统计意义上分析出能反应目标情绪变化的生理信号重要特征及其组合。

进一步的实施例中，前述步骤3中，采用支持向量机方法设计目标情绪分类器。

进一步的实施例中，前述步骤4中，采用QV强化学习方法设计与患者目标情绪变化相一致的闭环自适应人机交互控制器。

由以上本发明的技术方案可知，本发明的有益效果在于：

（1）相对于现有“基于生物力学的主动运动交互控制方法”和“基于生物电的主动运动交互控制方法”，“基于情绪感知的运动康复机器人交互控制方法”的最大优点在于该方法是从“心理”层次感知患者主动参与意愿，克服了现有的机器人辅助康复人机交互协作训练方法主要以感知患者主动“运动”参与为主的局限。

（2）采用“心理生理测量方法”感知患者情绪变化，相较目前常用的“面部表情”、“语音信号分析”和“身体姿态”等情绪识别方法，对伴有面部表情呆滞、发音不清以及肢体障碍等常见临床特征的中风患者群体，它受主/被试主观因素影响较小，是一种非侵入式、检测手段方便且易于被患者接受的客观量化情绪状态的研究方法。

附图说明

图1是本发明提出的基于情绪感知的运动康复机器人交互控制方法的框图。

图2是虚拟康复训练任务在情绪二维空间描述示意图。

图3是情绪生理测量实验过程示意图。

图4是基于“两因素混合设计及其方差分析”方法的情绪生理响应特征分析流程图。

图5是目标情绪分类结果。

图6是基于目标情绪识别的机器人辅助康复人机交互控制结果。

具体实施方式

为了更好地了解本发明的技术内容，特举具体实施例并配合附图说明如下。

如图1所示，根据本发明的较优实施例，一种基于情绪感知的运动康复机器人交互控制方法，以机器人辅助康复训练过程中患者“挫败”、“兴奋”及“厌烦”三类情绪为目标情绪状态，其具体实现包括如下步骤：

步骤1、获取康复训练过程中患者目标情绪反应的生理响应信号；

步骤2、情绪生理响应特征分析：从生理响应信号中分析出反应目标情绪变化的生理信号重要特征及其组合；

步骤3、患者目标情绪状态识别：根据分析得到的目标情绪生理响应特征及其组合，设计分类器识别目标情绪状态；

步骤4、基于目标情绪的人机交互控制：根据识别到的患者目标情绪状态，设计与患者目标情绪变化相一致的闭环自适应人机交互控制方法。

进一步的实施例中，前述的步骤1中，通过采用心理生理测量方法设计情绪生理测量实验，以获取训练过程中患者目标情绪反应的生理响应信号。

进一步的实施例中，前述步骤2中，情绪生理响应特征分析包括以下步骤：

（1）分别从患者心电、皮电、体温等生理响应信号中提取各自均值、方差作为目标情绪生理响应特征；

（2）采用“两因素混合设计及其方差分析”方法，从统计意义上分析出能反应目标情绪变化的生理信号重要特征及其组合。

进一步的实施例中，前述步骤3中，采用支持向量机方法设计目标情绪分类器。

进一步的实施例中，前述步骤4中，采用QV强化学习方法设计与患者目标情绪变化相一致的闭环自适应人机交互控制器。

下面结合附图2-6所示，详细说明上述各步骤的具体实施示例。

前述的步骤1中，优先地，通过采用心理生理测量方法设计情绪生理测量实验，以获取训练过程中患者目标情绪反应的生理响应信号。

具体实现包括以下过程：

（1）实验任务设计：以现有的飞思卡尔比赛电磁组“两轮自平衡车模”为原型，基于虚拟现实技术构建“两轮平衡车直立行走”虚拟训练环境，并通过改变车体倾倒速度设计“过挑战（Overchallenge, OC）”、“欠挑战（Underchallenge, UC）”和“挑战（（Challenge, CH））”三类难度不同的康复训练任务，如图2所示为虚拟康复训练任务在情绪二维空间描述示意图；

（2）实验问卷设计：设计两类问卷①一定数量用李克特5 级量表表示且能反应三种目标情绪的问卷；②运用“自测人体模型图”在情绪的两个维度Valence（评价值）和Arousal（唤醒度）上，对三类目标情绪分别进行1-9 级评分；训练结束后，对被试、心理和康复医师的问卷结果进行非参数统计，以具有统计意义的结果作为最终实验问卷结果。

（3）实验数据获取：分别对来自患者自主神经系统的心电、皮电、体温生理数据进行监测和记录；

（4）实验过程设计：首先，根据前述设计的虚拟实验任务确定适合被试的CH、OC及UC任务；其次，确定被试不同训练模式下生理参数测量基准；最后，训练结束，被试、心理和康复医师分别根据各自情况接受实验问卷调查。

前述步骤2中，情绪生理响应特征分析包括以下步骤：

（1）分别从患者心电、皮电、体温等生理响应信号中提取各自均值、方差作为目标情绪生理响应特征；

（2）采用“两因素混合设计及其方差分析”方法，从统计意义上分析出能反应目标情绪变化的生理信号重要特征及其组合。

如图4所示为基于“两因素混合设计及其方差分析”方法的情绪生理响应特征分析流程，其中被试间变量A表示实验/对照区分因素，被试内变量B表示不同难度训练任务，因变量表示问卷调查结果、生理响应特征。

如图4所示，本实施例中，基于“两因素混合设计及其方差分析”方法的情绪生理响应特征分析的实现包括：

1）定义被试间变量A、被试内变量B以及因变量；

2）对A、B两个因素进行混合设计方差分析；

3）判断B因素主效应是否明显，如果是，则对B因素进行事后非正交多重检验，从而确定生理特征差异显著的两组难度训练任务，然后进入下述步骤4），如果否，则直接进入步骤4）

4）判断A因素主效应是否明显，如果是，则对A因素进行事后非正交多重检验，从而确定生理特征差异显著的实验与对照组被试，然后进入下述步骤5），否则直接进入步骤5）

步骤5）判断因素A与B的交互效应是否明显，如果是，则将A与B进行交互简单主效应检验，从而确定生理特征差异显著的被试与相应难度任务组合，否则，结束分析流程。

前述步骤3中，优先采用支持向量机方法设计目标情绪分类器。

具体地，采用软间隔支持向量机方法设计目标情绪分类器，且包括如下步骤：

（1）构建分类器实验数据训练集和验证集：以情绪生理响应特征分析阶段得到的能反应目标情绪变化的生理信号重要特征及其组合作为输入，以归一化处理后的被试、心理和康复医师的问卷调查结果作为输出；

（2）定义分类器非线性变换函数：选择径向基函数作为软间隔支持向量机核函数，以实现输入空间到高维特征空间的非线性变换；

（3）情绪分类器训练：运用每个受试者的实验数据训练集，针对“挫败”、“兴奋”及“厌烦”三类目标情绪状态分别进行训练；

（4）情绪分类器交叉验证分析：采用“Leave-one-out”方法对训练得到的目标情绪分类器分别进行交叉验证分析，识别率以分类器分类结果与目标情绪问卷调查统计结果之间的匹配次数来界定。

前述步骤4中，采用QV强化学习方法设计与患者目标情绪变化相一致的闭环自适应人机交互控制器。

根据情绪分类器识别得到的目标情绪状态，采用QV强化学习方法设计与患者目标情绪变化相一致的闭环自适应人机交互控制器，具体包括如下步骤：

（1）  定义强化学习过程中“状态”、“动作”和“奖惩函数”：分别将训练过程中OC、UC和CH三类难度不同的康复训练任务定义为强化学习过程“状态”，当情绪发生变化时分别转向三类难度不同训练任务的机器人行为定义为“动作”，如果目标情绪状态预测为兴奋且机器人动作转向CH状态，定义奖惩函数为1，否则奖惩函数为-1；

（2）  根据定义的强化学习过程“状态”、“动作”和“奖惩函数”，除Q按照下述方法更新外，其它均按照标准Q学习步骤进行机器人行为学习。

其中，和分别表示时刻的状态与动作，为时刻在状态执行动作时获得的回报值，为折扣因子且。

下面结合附图和实施例，对本发明的具体实施方式进行详细的描述：

在某大学附属南京同仁医院康复医学中心选取10例（实验组5例，对照组5例）生命体征稳定的门诊和住院病例为实验对象，以实验室Barrett公司生产的4自由度WAM触觉机器人为临床康复实验平台，结合附图2所示的“两轮平衡车直立行走”虚拟环境进行主动运动训练，并运用自行研制的基于无线传感网的多生理参数监测系统对被试心电、皮电和体温参数进行实时测量。在训练过程中，康复医师通过改变车体倾倒速度分别为被试提供难度等级为1-9级的训练任务，被试操作WAM触觉机械臂左右移动两轮车模并控制其平衡。在训练开始之前，被试需熟悉各种难度等级的训练任务并在医师指导下找到适合自己水平的难度等级。

图3给出了由10节训练组成的患者情绪生理测量实验过程，每节训练具体分为3个步骤：①为保证生理参数测量基准，每节训练开始之前被试需休息2分钟直至被试心情平静；②被试接受训练任务的难度由医师随机分配；③训练任务结束被试接受两类问卷调查。

在情绪生理响应特征分析阶段，首先对实验过程中获取的被试心电、皮电和体温三类生理响应参数进行离线分析，分别提取心电参数中心率的平均值（平均心率）和标准差（心率变异性）、皮肤电阻和体温数据的均值和标准差作为初始特征；其次，采用图4所示的 “两因素混合设计及其方差分析”方法, 从统计意义上分析出能反应目标情绪变化的生理信号重要特征及其组合。根据分析结果，心率变异性和皮肤电阻均值对目标情绪变化具有较为明显的统计意义。进一步地，以上述得到的具有统计意义的心率变异性和皮肤电阻均值作为输入、实验问卷调查统计结果作为输出，基于支持向量机设计目标情绪分类器，并进行分类器训练和交叉验证。图5给出了实验组5例患者的“厌烦”情绪识别结果，由图可以看出5例患者（R1-R5）的厌烦情绪识别率分别达到85%、88%、78%、75%和82%。

以实验组R2在连续10节训练周期内的主动训练情况为例，图6给出了基于目标情绪识别的机器人辅助康复人机交互控制结果。由图可以看出，患者起始接受难度等级为3的康复训练任务，在第1节训练过程中，患者表现出“厌烦”情绪，表明初始施加给患者的训练难度偏低，应增加训练任务难度；从第2节训练开始，任务难度等级增加到5级，由图可以看出，在第2节至第5节训练期间内，难度等级为5的康复训练任务能诱发患者兴奋情绪，说明患者接受的训练任务难度匹配于其当前主动活动能力；在第6节训练周期内，患者仍接受5级难度的训练任务，但是表现出了厌烦情绪，说明患者经过4个周期的连续训练后其主动活动能力有所提高，可以在5级难度训练任务的基础上继续加大难度，但当难度等级增加到7级后，患者表现出了“抑郁”情绪，说明难度增加过多且超出了其当前的主动活动能力；进一步地，由后续周期的训练过程可以看出，5级难度的训练任务仍是符合患者主动活动水平的最佳难度等级。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (5)

1.一种基于情绪感知的运动康复机器人交互控制方法，其特征在于，该方法以机器人辅助康复训练过程中患者“挫败”、“兴奋”及“厌烦”三类情绪为目标情绪状态，其具体实现包括如下步骤：

步骤1、获取康复训练过程中患者目标情绪反应的生理响应信号；

步骤2、情绪生理响应特征分析：从生理响应信号中分析出反应目标情绪变化的生理信号重要特征及其组合；

步骤3、患者目标情绪状态识别：根据分析得到的目标情绪生理响应特征及其组合，设计分类器识别目标情绪状态；以及

步骤4、基于目标情绪的人机交互控制：根据识别到的患者目标情绪状态，设计与患者目标情绪变化相一致的闭环自适应人机交互控制方法。

2.根据权利要求1所述的基于情绪感知的运动康复机器人交互控制方法，其特征在于，前述的步骤1中，通过采用心理生理测量方法设计情绪生理测量实验，以获取训练过程中患者目标情绪反应的生理响应信号。

3.根据权利要求1所述的基于情绪感知的运动康复机器人交互控制方法，其特征在于，前述步骤2中，情绪生理响应特征分析包括以下步骤：

（1）分别从患者心电、皮电、体温等生理响应信号中提取各自均值、方差作为目标情绪生理响应特征；

（2）采用“两因素混合设计及其方差分析”方法，从统计意义上分析出能反应目标情绪变化的生理信号重要特征及其组合。

4.根据权利要求1所述的基于情绪感知的运动康复机器人交互控制方法，其特征在于，前述步骤3中，采用支持向量机方法设计目标情绪分类器。

5.根据权利要求1所述的基于情绪感知的运动康复机器人交互控制方法，其特征在于，前述步骤4中，采用QV强化学习方法设计与患者目标情绪变化相一致的闭环自适应人机交互控制器。