CN110362201B - 基于环境理解的脑机交互结构化环境控制方法、系统及介质 - Google Patents

Abstract

本发明公开了一种基于环境理解的脑机交互结构化环境控制方法、系统及介质，方法包括通过基于运动想象MI的脑机接口检测操作者的控制意图，如果检测到操作者的控制意图，则分析视频画面并检测操作者当前视野中潜在的可操作对象，如果检测到可操作对象，则确定可操作对象的类型，根据可操作对象的类型向受控对象输出控制指令（通过脑机接口基于运动想象MI检测到的操作者的控制命令）向受控对象输出控制指令。本发明能够服务运动功能损伤患者的日常生活，提高其生活自主性，可用于在脑机接口技术的基础上充分发挥人工智能技术在环境感知和理解方面的优势，面向现实环境实现构建高效的智能人机交互。

Description

基于环境理解的脑机交互结构化环境控制方法、系统及介质

技术领域

本发明涉及脑机接口技术领域，具体涉及一种基于环境理解的脑机交互结构化环境控制方法、系统及介质，可用于在脑机接口技术的基础上充分发挥人工智能技术在环境感知和理解方面的优势、构建高效的智能人机交互系统。

背景技术

脑机接口（BCI）技术是一种人脑与外部世界直接交流的通讯系统，通过提取脑电信号中的特征，从而将识别出的大脑指令或者信息传递给被控制的外部设备，最终完成大脑对外部设备的直接控制，在控制、服务、康复助残等领域有重要的应用价值。BCI发端于辅助医疗，其初衷是为失去或部分失去运动能力的人群提供一个与外部世界进行交互的替代操控手段，随着研究的不断深入，BCI技术的研究逐渐从最初的实现基本的信息通讯功能向实现复杂的人机协同控制发展，其应用范围也从实现通讯功能的字符拼写器设计到实现更为复杂、更加实用的脑机协同控制系统发展。

然而，当控制对象逐渐复杂化时，如果完全依赖脑机接口控制，则系统的运行会受到脑电信号分析准确率和信息传输率的双重限制，同时频繁的认知任务也会增加使用者的疲劳程度。引入共享控制能够很好的解决这一问题，将控制任务划分为不同层级，适当层级的控制交由机器智能自主完成，可大幅降低操作者的认知负荷，提高人脑智能的控制层次。例如自主导航、机器视觉等技术已经在智能轮椅、机器人、机械臂、脑控车等脑机协同控制系统中广泛应用，为有需要的人群提供更多的帮助。

人工智能技术的应用日渐广泛，在计算机视觉领域，丰富的数据以及并行计算能力的显著提升为深度学习算法提供了巨大的发展空间，这使得计算机视觉在感知和理解周边环境方面取得了长足发展，尤其是语义感知和3D目标感知与重建方面的成就更是为各领域的研究应用提供了前沿技术支撑。语义感知的目的是建立影像信息与语言描述之间的映射，包括图像分类、目标检测、语义分割、对象关系识别等，其中目标检测是环境感知和理解的至关重要的一部分，是当下视觉领域热门应用重要的技术支持，也为本发明的应用展现了极具价值的前景。基于深度学习的目标检测主要分为两类，其中一类是候选框+深度学习方法，通过提取候选区域，对相应的区域进行以深度学习方法为主的检测，代表性方法包括R-CNN系列算法等。另一类是基于回归方法的端到端的深度学习目标检测算法，主要算法有YOLO、SSD等。这类算法直接在输出层回归边界框的位置和所属的类别，把目标检测的问题转化为回归问题，相对来说更为直接。上述两类方法在检测精度和速度上不断取得突破，为本发明提供了必要的技术支撑。

总的来说，环境感知和理解技术的发展和应用为脑机接口系统建立指令与语义之间的映射，将周围环境纳入脑机接口系统可以触及的范围，使得脑机接口技术逐渐由使用者直接控制被控对象，转变为系统通过理解使用者的意图，合理缩小控制指令范围，辅助使用者的控制决策。这一转变进一步提升了人类智能在脑机接口协同控制中的控制层次。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于环境理解的脑机交互结构化环境控制方法、系统及介质，本发明面向现实环境应用场景引入人工智能环境理解，构建高效和实用化的脑机接口环境控制方式，能够服务运动功能损伤患者的日常生活，提高其生活自主性，可用于在脑机接口技术的基础上充分发挥人工智能技术在环境感知和理解方面的优势，实现构建高效的智能人机交互。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于环境理解的脑机交互结构化环境控制方法，实施步骤包括：

1）通过基于运动想象MI的脑机接口检测操作者的控制意图，如果检测到操作者的控制意图，则跳转执行下一步；

2）分析摄像实时采集的视频画面并检测操作者当前视野中潜在的可操作对象，如果检测到可操作对象，则跳转执行步骤3）；否则跳转执行步骤1）；

3）确定可操作对象的类型；

4）根据可操作对象的类型向受控对象输出控制指令或者根据可操作对象的类型以及通过基于运动想象MI的脑机接口检测到的操作者的控制命令向受控对象输出控制指令。

优选地，步骤1）中检测操作者的控制意图是通过异步脑机接口实现的，所述脑机接口模块包括异步和同步两种交互模式，所述脑机接口模块在常态下保持在空闲状态；步骤1）中检测操作者的控制意图具体是指通过脑机接口模块的异步模式检测操作者的控制意图、且在检测到操作者的控制意图后从空闲状态切换至控制状态；步骤2）中跳转执行步骤1）之前包括将脑机接口模块的控制状态置为空闲状态；步骤4）中操作者的控制命令具体是指通过脑机接口模块的同步模式检测操作者的控制命令，且在向受控对象输出控制指令后将脑机接口模块的控制状态置为空闲状态。

优选地，步骤1）中所述异步脑机接口基于运动想象MI来实现异步模式检测操作者的控制意图、同步模式检测操作者的控制命令，异步模式下通过想象左手或右手运动以体现操作者的控制意图；同步模式下通过想象左手或右手运动表示选择当前操作或选项、空闲状态表示不选择。

优选地，步骤1）中检测操作者的控制意图的详细步骤包括：

1.1）通过脑机接口采集操作者的EEG信号数据；

1.2）将操作者的EEG信号数据经过共同空间模式方法CSP提取分类特征；

1.3）采用分类器对分类特征进行分类，得到操作者的控制意图的分类结果。

优选地，步骤1.3）之后还包括对操作者的控制意图的分类结果进行优化的步骤：首先针对分类结果进行“dwell time”方法检测，如果分类结果对应的任务在第一持续时间阈值DT1高于预设的第一比例阈值P1时记为中层结果，然后针对中层结果进行“dwelltime”方法检测，如果中层结果在第二持续时间阈值DT2内高于预设的第二比例阈值P2则认为操作者有效执行了运动想象MI的动作，并判定检测到操作者的控制意图。

优选地，步骤2）之前还包括延时指定时间的步骤。

优选地，步骤2）中检测操作者当前视野中潜在的可操作对象具体是指采用基于深度学习的目标检测算法进行检测操作者当前视野中潜在的可操作对象。

优选地，步骤4）中可操作对象的类型包括医疗呼叫、服务呼叫、餐饮订制、电器控制四种类型。

优选地，步骤4）的详细步骤包括：

4.1）判断可操作对象的类型，如果类型为医疗呼叫则跳转执行步骤4.2）；如果类型为服务呼叫则跳转执行步骤4.3）；如果类型为餐饮订制则跳转执行步骤4.4）；如果类型为电器控制则跳转执行步骤4.5）；

4.2）输出向受控对象输出医疗呼叫的控制指令，本次控制结束；

4.3）输出向受控对象输出服务呼叫的控制指令，本次控制结束；

4.4）动态生成操作者当前可选的餐饮订制优化指令集并通过语音提示输出，并检测操作者的控制命令进行选择，直至操作者选定完成选择不再进行修改后输出餐饮订制的控制指令，本次控制结束；

4.5）动态生成操作者当前可选的电器控制优化指令集并通过语音提示输出，并循环检测操作者的控制命令并输出，直至操作者选定完成操控后退出循环过程，本次控制结束。

本发明还提供一种基于环境理解的脑机交互结构化环境控制系统，包括计算机设备，该计算机设备被编程或配置以执行前述基于环境理解的脑机交互结构化环境控制方法的步骤，或该计算机设备的存储介质上存储有被编程或配置以执行前述基于环境理解的脑机交互结构化环境控制方法的计算机程序。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行前述基于环境理解的脑机交互结构化环境控制方法的计算机程序。

和现有技术相比，本发明具有下述优点：

1、本发明面向现实环境应用场景引入人工智能环境理解，构建高效和实用化的脑机接口环境控制方式，能够服务运动功能损伤患者的日常生活，提高其生活自主性，可用于在脑机接口技术的基础上充分发挥人工智能技术在环境感知和理解方面的优势，构建高效的智能人机交互。

2、大脑运动皮层损伤患者通过不断地重复运动想象MI任务可以促进大脑可塑性变化，重新构建新的运动功能回路，恢复所丧失的运动功能，本发明采用基于MI-BCI（运动想象MI+脑机接口BCI），有助于部分运动功能损伤患者的运动功能恢复。

3、本发明能够辅助操作者进行决策，优化解决方案的能力，融合人脑智能和机器智能，提高人脑在系统决策中的控制层级，实现高效的环境控制应用。

附图说明

图1为本发明实施例方法的基本流程图。

图2为本发明实施例中的系统控制流程图。

图3为本发明实施例中的目标检测具体对象及其所属控制类型。

图4为本发明实施例中的电视控制FSA状态转换图。

图5为本发明实施例中的空调控制FSA状态转换图。

图6为本发明实施例中的系统框架示意图。

具体实施方式

下文将以康复病房应用场景作为实例，对本发明基于环境理解的脑机交互结构化环境控制方法、系统及介质进行进一步的详细说明。毫无疑问，本发明基于环境理解的脑机交互结构化环境控制方法、系统及介质的应用场景并不局限于特定的康复病房应用场景，可以不同的场景实现不同可操作对象的类型的划分，以及可操作对象的识别训练等。

如图1所示，本实施例基于环境理解的脑机交互结构化环境控制方法的实施步骤包括：

1）通过基于运动想象MI的脑机接口检测操作者的控制意图，如果检测到操作者的控制意图，则跳转执行下一步；

2）分析摄像实时采集的视频画面并检测操作者当前视野中潜在的可操作对象，如果检测到可操作对象，则跳转执行步骤3）；否则跳转执行步骤1）；

3）确定可操作对象的类型；

4）根据可操作对象的类型向受控对象输出控制指令或者根据可操作对象的类型以及通过脑机接口基于运动想象MI检测到的操作者的控制命令向受控对象输出控制指令。

本实施例中，步骤1）中检测操作者的控制意图是通过异步脑机接口实现的，所述脑机接口模块包括异步和同步两种交互模式，所述脑机接口模块在常态下保持在空闲状态；步骤1）中检测操作者的控制意图具体是指通过脑机接口模块的异步模式检测操作者的控制意图、且在检测到操作者的控制意图后从空闲状态切换至控制状态；步骤2）中跳转执行步骤1）之前包括将脑机接口模块的控制状态置为空闲状态；步骤4）中操作者的控制命令具体是指通过脑机接口模块的同步模式检测操作者的控制命令，且在向受控对象输出控制指令后将脑机接口模块的控制状态置为空闲状态。本实施例中采用自发式脑机接口，具有天然的异步优势，使系统具有快速响应的能力，这在医院这一应用环境具有重要的实际意义。并且系统包括异步和同步两种模式，提供多层级多自由度的交互渠道，允许使用者在不同控制层级切换，实现高效友好的环境控制；

本实施例中，步骤1）中所述异步脑机接口基于运动想象MI来实现异步模式检测操作者的控制意图、同步模式检测操作者的控制命令，异步模式下通过想象左手或右手运动以体现操作者的控制意图；同步模式下通过想象左手或右手运动表示选择当前操作或选项、空闲状态表示不选择。

本实施例中，步骤1）中检测操作者的控制意图的详细步骤包括：

1.1）通过脑机接口采集操作者的EEG信号数据；

本实施例中，EEG信号采集电极采用国际10-20标准，安放在F3，Fz，F4，FC5，FC1，FC2，FC6，C3，C4，CPS，CP1，CP2，CP6，P3，Pz和P4位置，接地和参考电极分别为Fpz和TP10，详情可参见国际10-20标准。

1.2）将操作者的EEG信号数据经过共同空间模式方法CSP提取分类特征；分类特征可以采用现有的事件相关去同步ERD特征或事件相关同步ERS特征。共同空间模式方法CSP适用于二分类问题，而本实施例对左/右手运动想象MI和空闲状态进行区分，因此分别设计左手MI-空闲和右手MI-空闲两个空域滤波器提取特征，空域滤波器事先通过离线数据训练得到。

1.3）采用分类器对分类特征进行分类，得到操作者的控制意图的分类结果。分类器可以根据需要采用线性判别分析（LDA）、支持向量机（SVM）、神经网络等分类器；分类器事先通过离线数据训练建立了分类特征、操作者的控制意图之间的映射关系。

本实施例中，步骤1.3）之后还包括对操作者的控制意图的分类结果进行优化的步骤：首先针对分类结果进行“dwell time”方法检测，如果在第一持续时间阈值DT1内，分类结果中MI任务所占比例高于预设的第一比例阈值P1时记为中层结果，然后针对中层结果再次进行“dwell time”方法检测，如果中层结果在第二持续时间阈值DT2内高于预设的第二比例阈值P2则认为操作者有效执行了运动想象MI的动作，并判定检测到操作者的控制意图。

上述优化方法（两步“dwell time”方法，简称“two-step dwell time”方法）能够有效提高分类结果的可靠性，其实际上是对“dwell time”方法的进一步改进，“dwelltime” 方法指操作者执行某一特定MI任务的最短时间阈值，如果执行时间高于该阈值，则认为操作者执行了运动想象MI动作，给出一次有效的运动想象MI检测结果，否则判定操作者仍处于空闲状态。本实施例中采用前述方法（“two-step dwell time”方法）进一步优化，即当MI任务持续时间高于dwell time的第一持续时间阈值DT1时记为中层结果，对中层结果再次采用dwell time检测，当中层结果持续时间高于第二持续时间阈值DT2时认为操作者有效执行了运动想象MI动作。经过验证，“two-step dwell time”方法相较于单纯“dwelltime”方法对MI任务检测准确率有显著提升。其中，第一持续时间阈值DT1、第二持续时间阈值DT2、第一比例阈值P1、第二比例阈值P2的设置通过离线分析数据的受试者工作特征曲线ROC获得，达到真阳率(TPR)和假阳率(FPR)之间的平衡。具体地，设置DT1取值范围为500ms~3000ms，步长为100ms，DT2取值范围为100ms~2000ms，步长为100ms，P1、P2取值范围分别为0.7~1.0，步长为0.1，遍历 (DT1，P1，DT2，P2) 参数空间，计算不同参数取值情况下的真阳率TPR和假阳率FPR，并选择FPR不高于5%的限制条件下TPR最大时对应的参数设置。

第一持续时间阈值DT1、第二持续时间阈值DT2均“dwell time”方法中的持续时间阈值DT。“dwell time”方法中的持续时间阈值DT的取值需要通过分析离线数据确定最优值，两步“dwell time”方法的两次检测本质上是相同的，最优时间阈值都是通过分析离线数据，以真阳率和假阳率为指标寻找最优值。对动作想象MI 任务的检测是每50ms进行一次，一段时间内得到的检测结果是离散的，（检测结果包括执行动作想象MI 任务和空闲状态两类），因此设置比例阈值，检测结果中检测到动作想象MI 的次数所占比例超过该比例阈值则表示这段时间内有效进行了运动想象。两步方法相当于对第一次结果的再确认，相比单次方法对检测结果的检验更细化。

本实施例中，步骤2）之前还包括延时指定时间的步骤，本实施例中具体延时3s。经过3s时间间隔后再检测当前环境，原因在于脑机接口模块可能产生误检测，在误检测产生时，用户可以在3秒内转移视线，使当前视野内没有可操作对象，避免产生误操作指令。

本实施例中，步骤2）中检测操作者当前视野中潜在的可操作对象具体是指采用基于深度学习的目标检测算法进行检测操作者当前视野中潜在的可操作对象，从而实现了智能环境理解。本实施例中，在切换至控制状态后通过与操作者视线同轴的摄像头采集视频画面实时检测当前视野中可操作对象，采用基于深度学习的目标检测算法检测操作者当前视野中潜在的可操作对象，从而可实现建立环境与系统的语义映射，初步推测操作者控制意图。需要说明的是，基于深度学习的目标检测算法为现有图像识别方法，本实施例中仅仅是对现有基于深度学习的目标检测算法的使用，其并不涉及对基于深度学习的目标检测算法本身的改进。基于深度学习的目标检测算法在应用之前，需要针对可操作对象建立数据集训练目标检测神经网络，实现可靠的目标识别能力。本实施例中使用的摄像头型号为罗技C930e，尺寸为94×43.3×71（mm），可通过电极帽固定在患者头顶，调整其俯仰角使其可以获取患者的当前视野。采用的深度学习目标检测神经网络为YOLOv2，检测当前环境信息后输出检测到目标边界框、置信度以及所属类别的可能性等信息。

如图2和图3所示，步骤4）中可操作对象的类型包括医疗呼叫（呼叫医生）、服务呼叫（呼叫饮水机、马桶、轮椅、病床、运动球等护士的配套服务）、餐饮订制（餐食类、水果类、饮品类目标等）、电器控制（电视、挂式空调、柜式空调等）四种类型。本实施例中，针对康复医院应用环境收集、筛选目标检测数据集来训练神经网络，训练环境为ubuntu 16.04操作系统，通过Nvidia GTX 1080 GPU加速。目标数据集涵盖医疗呼叫，电器控制，服务呼叫和餐饮订制等四个方面的目标，共计19类，具体对象及其所属控制类型如图3所示，包括：医生，属于医疗呼叫，表示呼叫医生；电视、挂式空调、柜式空调，属于电器控制；饮水机、马桶、轮椅、病床和运动球类目标，属于服务呼叫，分别代表饮水需求、去洗手间、从床移动至轮椅或相反以及去活动室，这些活动均需要护工或护士协助完成；三明治、蛋糕、披萨、热狗、坚果（食物类）、苹果、香蕉、橙子（水果类）和水杯、水瓶（饮品类），属于餐饮订制，这些目标为常见食物类对象，但具体点餐需要从医院可提供的餐食中选择。19类目标中，电视、马桶、轮椅、病床、运动球类、三明治、蛋糕、披萨、热狗、坚果、苹果、香蕉、橙子、水杯和水瓶这15类训练图集和标注信息集可以从标准目标检测数据集COCO中筛选，而医生、挂式空调、柜式空调和饮水机则需要自建数据集。考虑到部分目标如医生、食物等并不随时出现在病房，本实施例采用贴纸代替这些目标，包括医生、马桶、运动球类、三明治和苹果，贴纸尺寸为297×420（mm）。

如图2所示，步骤4）的详细步骤包括：

4.1）判断可操作对象的类型，如果类型为医疗呼叫则跳转执行步骤4.2）；如果类型为服务呼叫则跳转执行步骤4.3）；如果类型为餐饮订制则跳转执行步骤4.4）；如果类型为电器控制则跳转执行步骤4.5）；

4.2）输出向受控对象输出医疗呼叫的控制指令，本次控制结束；

4.3）输出向受控对象输出服务呼叫的控制指令，本次控制结束；

4.4）动态生成操作者当前可选的餐饮订制优化指令集并通过语音提示输出，并检测操作者的控制命令进行选择，直至操作者选定完成选择不再进行修改后输出餐饮订制的控制指令，本次控制结束；控制指令集通过语音播报反馈给操作者，整个交互过程不占用视觉通道，避免视觉通道既作为刺激输入通道又作为反馈输入通道所带来的疲劳和低效率；

4.5）动态生成操作者当前可选的电器控制优化指令集并通过语音提示输出，并循环检测操作者的控制命令并输出，直至操作者选定完成操控后退出循环过程，本次控制结束。

本实施例中针对四类控制和服务的特点，建立不同的响应机制，具体地：医疗呼叫和服务呼叫属于单步操作，医疗呼叫为呼叫医生，服务呼叫则是呼叫护工协助完成相应活动，例如去洗手间等；电器控制和餐饮订制则需要患者继续选择具体操作或选项，电器控制具体操作包括电器开、关、空调温度控制、电视换台和调整音量等，餐饮订制则包括医院可提供的餐食、水果等。这些操作或选项作为同步选择的选项依次通过语音提示给患者进行选择，每个选项持续一定时间，在该时间内没有检测到运动想象MI活动则认为该选项没有被选择。另外，智能决策模块设计错误修正机制，允许用户修改错误指令，并在同步选择过程中动态优化指令集以及指令时序，结合人的选择、历史行为以及当前控制状态进行更新。

本实施例中根据智能环境理解模块检测结果判断当前用户希望操作的目标，针对该目标建立相关操控指令集。针对四类控制和服务的特点，建立不同的响应机制，具体地：医疗呼叫和服务呼叫属于单步操作；电器控制和餐饮订制则需要患者继续选择具体操作或选项，这些操作或选项作为同步选择的选项依次通过语音提示给患者进行选择，每个选项4s，在该时间内没有检测到运动想象MI活动则认为该选项没有被选择。餐饮订制的同步选择选项包括医院可提供的餐食、水果等，依次顺序地提示给用户进行选择并在一轮选择后设计修改环节以允许用户修改错误指令，如果用户选择了修改选项，则系统继续同步选择过程，否则输出最后选择结果。电器控制包括电视控制和空调控制，不同于餐饮订制，电器控制的同步操作选项之间不是简单的并列关系，而是相互之间具有一定的逻辑关系，因此在本实施例中，电器控制同步选项的时序关系以及同步选择过程中的指令集动态优化采用自动有限状态机（FSA）方法结合用户指令和控制状态进行决策。

如图4所示的电视控制FSA状态转换图，有限状态集包括“开机”、“关机”、“频道+”、“频道-”、“音量+”、“音量-”以及“初始化”和“停止”。当前的功能状态表示同步控制的选项，确定是否执行该操作，状态转换则表示同步控制中的选项更新。状态之间的转换由脑机接口模块指令“MI”和“Rest”辅以历史行为决定。系统每次由空闲状态切换至控制状态时FSA从“初始化”状态开始，从“初始化”到“停止”为一个控制周期。电视功能状态“开机”和“关机”与前一控制周期的行为有关，而其他功能状态则仅受当前控制周期内行为的影响。“初始化”状态向其他状态的转换由电视开机时间确定，在实际生活中，开机时间较长的情况下关机的可能性比刚开机时更大，因此在本实施例中设置开机时间超过2小时则“初始化”状态转移至“关机”状态，以适当提高交互效率。另外，根据实际生活经验，频道切换、音量调整很多情况下不能一次调整到位，因此在本实施例中设计这两类选项需要持续选择，直到用户不选择为止。由于“频道+”和“频道-”，“音量+”和“音量-”为两组互斥关系，可以相互修正，因此在电视控制中不设置修正选项，错误指令可通过其他选项进行修正。

如图5所示空调控制的FSA状态转换图，有限状态集包括“开机”、“关机”、“模式选择”、“温度+”、“温度-”以及“初始化”和“停止”，其状态转移条件设置与电视控制类似，不同之处在于按照实际经验，空调工作模式在短期内不会有频繁变化，因此切换至“模式选择”状态出现的频率也较低。

此外，本实施例还提供一种基于环境理解的脑机交互结构化环境控制系统，包括计算机设备，该计算机设备被编程或配置以执行本实施例前述基于环境理解的脑机交互结构化环境控制方法的步骤，或该计算机设备的存储介质上存储有被编程或配置以执行本实施例前述基于环境理解的脑机交互结构化环境控制方法的计算机程序。

如图6所示，本实施例中基于环境理解的脑机交互机结构化环境控制系统包括脑机接口模块，环境理解模块和智能决策模块，系统整体框架整合以及各模块之间通信基于ROS完成。基于ROS实现系统整体框架整合以及各模块之间通信，因此具有良好可扩展性，可以根据具体需要添加其他控制或辅助服务。

脑机接口模块包括异步和同步两种交互模式，脑机接口模块在常态下保持在空闲状态；

环境理解模块采用基于深度学习的目标检测算法，系统检测到ERD特征后切换至控制状态，通过与操作者视线同轴的摄像头采集视频画面实时检测当前视野中可控对象，建立环境与系统的语义映射，初步推测操作者控制意图。

智能决策模块智能决策模块根据智能环境理解模块检测结果判断当前用户希望操作的目标，针对该目标建立相关操控指令集。针对四类控制和服务的特点，建立不同的响应机制，具体地：医疗呼叫和服务呼叫属于单步操作；电器控制和餐饮订制则需要患者继续选择具体操作或选项，这些操作或选项作为同步选择的选项依次通过语音提示给患者进行选择，每个选项4s，在该时间内没有检测到MI活动则认为该选项没有被选择。

本实施例面向康复病房应用场景的基于环境理解的脑机交互结构化环境控制方法及系统具有下述优点：

1、本实施例集成了四个类型的控制与服务，满足康复医院日常生活多方面的需求，为运动功能损伤患者提供了便利，提高其自主性和生活质量，减轻照顾患者的负担；

2、系统引入深度学习目标检测技术，具有自主理解环境语义信息的能力，可实时提取当前环境的潜在可操作目标，进而缩小操作者面临的信息带宽，提高系统信息通量；

3、本系统及方法具有辅助操作者进行决策，优化解决方案的能力，融合人脑智能和机器智能，提高人脑在系统决策中的控制层级，实现高效的康复病房环境控制应用；

4、系统采用自发式脑机接口，具有天然的异步优势，使系统具有快速响应的能力，这在医院这一应用环境具有重要的实际意义。并且系统包括异步和同步两种模式，提供多层级多自由度的交互渠道，允许使用者在不同控制层级切换，实现高效友好的环境控制；

5、有研究表明，大脑运动皮层损伤患者通过不断地重复MI任务可以促进大脑可塑性变化，重新构建新的运动功能回路，恢复所丧失的运动功能，系统采用基于MI-BCI，有助于部分运动功能损伤患者的运动功能恢复；

6、控制指令集通过语音播报反馈给操作者，整个交互过程不占用视觉通道，避免视觉通道既作为刺激输入通道又作为反馈输入通道所带来的疲劳和低效率；

7、本实施例基于ROS实现系统整体框架整合以及各模块之间通信，因此具有良好可扩展性，可以根据具体需要添加其他控制或辅助服务。

此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行本实施例前述基于环境理解的脑机交互结构化环境控制方法的计算机程序。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于环境理解的脑机交互结构化环境控制方法，其特征在于实施步骤包括：

1）通过基于运动想象MI的脑机接口检测操作者的控制意图，如果检测到操作者的控制意图，则跳转执行下一步；

2）分析摄像实时采集的视频画面并检测操作者当前视野中潜在的可操作对象，如果检测到可操作对象，则跳转执行步骤3）；否则跳转执行步骤1）；

3）确定可操作对象的类型；

4）根据可操作对象的类型向受控对象输出控制指令或者根据可操作对象的类型以及通过脑机接口基于运动想象MI检测到的操作者的控制命令向受控对象输出控制指令；

步骤1）中检测操作者的控制意图的详细步骤包括：

1.1）通过脑机接口采集操作者的EEG信号数据；

1.2）将操作者的EEG信号数据经过共同空间模式方法CSP提取分类特征；

1.3）采用分类器对分类特征进行分类，得到操作者的控制意图的分类结果；

1.4）对操作者的控制意图的分类结果进行优化：首先针对分类结果进行“dwell time”方法检测，如果分类结果对应的任务在第一持续时间阈值DT1高于预设的第一比例阈值P1时记为中层结果，然后针对中层结果进行“dwell time”方法检测，如果中层结果在第二持续时间阈值DT2内高于预设的第二比例阈值P2则认为操作者有效执行了运动想象MI的动作，并判定检测到操作者的控制意图。

2.根据权利要求1所述的基于环境理解的脑机交互结构化环境控制方法，其特征在于，步骤1）中检测操作者的控制意图是通过异步脑机接口实现的，所述脑机接口模块包括异步和同步两种交互模式，所述脑机接口模块在常态下保持在空闲状态；步骤1）中检测操作者的控制意图具体是指通过脑机接口模块的异步模式检测操作者的控制意图、且在检测到操作者的控制意图后从空闲状态切换至控制状态；步骤2）中跳转执行步骤1）之前包括将脑机接口模块的控制状态置为空闲状态；步骤4）中操作者的控制命令具体是指通过脑机接口模块的同步模式检测操作者的控制命令，且在向受控对象输出控制指令后将脑机接口模块的控制状态置为空闲状态；步骤1）中所述异步脑机接口基于运动想象MI来实现异步模式检测操作者的控制意图、同步模式检测操作者的控制命令，异步模式下通过想象左手或右手运动以体现操作者的控制意图；同步模式下通过想象左手或右手运动表示选择当前操作或选项、空闲状态表示不选择。

3.根据权利要求1所述的基于环境理解的脑机交互结构化环境控制方法，其特征在于，步骤2）之前还包括延时指定时间的步骤。

4.根据权利要求1所述的基于环境理解的脑机交互结构化环境控制方法，其特征在于，步骤2）中检测操作者当前视野中潜在的可操作对象具体是指采用基于深度学习的目标检测算法进行检测操作者当前视野中潜在的可操作对象。

5.根据权利要求2所述的基于环境理解的脑机交互结构化环境控制方法，其特征在于，步骤4）中可操作对象的类型包括医疗呼叫、服务呼叫、餐饮订制、电器控制四种类型。

6.根据权利要求5所述的基于环境理解的脑机交互结构化环境控制方法，其特征在于，步骤4）的详细步骤包括：

4.1）判断可操作对象的类型，如果类型为医疗呼叫则跳转执行步骤4.2）；如果类型为服务呼叫则跳转执行步骤4.3）；如果类型为餐饮订制则跳转执行步骤4.4）；如果类型为电器控制则跳转执行步骤4.5）；

4.2）输出向受控对象输出医疗呼叫的控制指令，本次控制结束；

4.3）输出向受控对象输出服务呼叫的控制指令，本次控制结束；

4.4）动态生成操作者当前可选的餐饮订制优化指令集并通过语音提示输出，并检测操作者的控制命令进行选择，直至操作者选定完成选择不再进行修改后输出餐饮订制的控制指令，本次控制结束；

4.5）动态生成操作者当前可选的电器控制优化指令集并通过语音提示输出，并循环检测操作者的控制命令并输出，直至操作者选定完成操控后退出循环过程，本次控制结束。

7.一种基于环境理解的脑机交互结构化环境控制系统，包括计算机设备，其特征在于，该计算机设备被编程或配置以执行权利要求1～6中任意一项所述基于环境理解的脑机交互结构化环境控制方法的步骤，或该计算机设备的存储介质上存储有被编程或配置以执行权利要求1～6中任意一项所述基于环境理解的脑机交互结构化环境控制方法的计算机程序。

8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有被编程或配置以执行权利要求1～6中任意一项所述基于环境理解的脑机交互结构化环境控制方法的计算机程序。

Images