CN107608524B - 一种基于肌电的多目标控制指令生成装置 - Google Patents

Abstract

本发明公开了一种基于表面肌电的多目标控制指令生成装置，支持用户自定义发出指令的身体动作以及对应的具体指令内容，从机模块包含肌电信号采集系统，可以单独佩戴在身体某一位置，亦可以多枚组合使用；主机模块包含多通道管理系统、动作识别系统、用户交互系统、控制指令管理系统和电源管理系统；该装置原理上是把不同动作下的表面肌电信号转化成对应电子设备的控制指令；本发明主机模块的多通道管理系统自适应搭载的任意数量的从机模块，每个独立的从机模块都可以完成肌电数据的采集，因而用户(特别是部分运动功能障碍人士)可以根据自身情况以及控制目标选取需要使用的从机模块数量和佩戴位置，使用单独动作或者组合动作去产生控制命令。

Description

一种基于肌电的多目标控制指令生成装置

技术领域

本发明属于计算机应用领域，具体涉及一种采集身体动作意图产生的表面肌电信号并把信号转换成为电子设备的控制指令的智能系统。

背景技术

根据第二次全国残疾人抽样调查数据推算，中国目前各类残疾人总数为8296万人，其中肢体残疾人患者为2414万人。肢体的残缺造成许多残疾人在生活、工作上的不便利。对于他们来说由于失去了人类最基本的行动能力，能如同正常人一般去控制、操作物品是一件梦寐以求的事情。

目前表面肌电信号的研究和应用主要集中在假肢控制、功能性神经电刺激和生物反馈研究、运动医学、康复医学和临床诊断等方面。在计算机人机交互领域，也又不少研究学者应用表面肌电信号于手势识别，通过对手臂肌电信号的分析识别手部的活动，并且取得了良好的效果。这些设备大多是针对手部动作设计成环状佩戴在手臂或者手腕，无法适应残疾人肢体不完整，无法根据自己的特殊情况和要求进行自定义地进行穿戴，并且只能控制特定的设别，如遥控飞机或者假肢。本发明采用了一主机多从机的方法，每个从机为一个单独的肌电采集通道，用户可以将从机通过黏贴的方式放置在需要的位置(比如说对于下肢残疾的残疾人士，可以将信号检测模块粘贴在其上肢小臂或者大臂的位置，采集上肢的肌电信号，通过上肢的动作用于轮椅的行动控制；对于上半肢残疾的残疾人士可以将电极粘贴在检测其下半肢大腿采集下半肢体肌电信号)，采集肌电信号。同时用户交互系统允许用户根据使用场景配置控制指令，比如在家的时候可以把控制命令映射到空调、电视等家用设备终端，外出时则可以把控制命令映射到轮椅等设备终端上。

发明内容

本发明的技术解决问题是：现在肌电动作识别装置佩戴方法无法根据用户的需求进行自定义，功能过于单一的问题。本发明提供一种基于表面肌电的多目标控制指令生成装置，用户可以根据自身需求进行配置采集任意身体部位的肌电信号，并且在不同的应用场景下控制多种终端设备。

本发明技术解决方案：一种基于肌电的多目标控制指令生成装置，如图1所示，包括：多个从机模块和一个主机模块，其中每个从机模块包含佩戴式肌电信号采集、调理与发送系统，主机模块包含多通道管理系统、动作识别系统、用户交互系统、控制指令管理系统和电源管理系统；每个从机模块负责采集特定部位的表面肌电信号，将采集的模拟信号转换为数字信号并通过蓝牙接口发送到多通道管理系统；多通道管理系统对接多个肌电信号采集系统，将肌电信号同步后发送到动作识别系统；动作识别系统识别用户动作，将动作生成动作指令发送给控制指令管理系统；控制指令管理系统根据用户交互系统中用户设定的用户场景设置生成控制指令，并将控制指令发送给受控终端完成控制；电源管理系统负责整个生成装置的电源管理。

所述肌电信号采集系统配备使用织物电极，并配可替换的有粘性吸附绑带，能够单独使用在身体任意部位。

所述多通道管理系统对接多个肌电信号采集系统的具体过程如下：

(1)多个从机模块与主机模块建立多对一的蓝牙连接，连接成功后主机模块接收每个从机的自检信息，如果有从机模块出现异常，则将异常情况发送给用户交互系统，通知用户；无异常情况主机模块上的多通道管理系统将采集频率，同步时钟等用户的个人配置信息发送给所有从机，然后开始接收从机的肌电信号数据；

(2)多通道管理系统对每个从机模块的信号数据进行预处理和信号异常判断，根据信号幅度，波动频率等信号特征判断从机是否被正常佩戴(没有佩戴或者出现粘贴松动)以及是否佩戴在合适的位置，如果出现信号异常的从机模块，则关闭数据连接以减小功耗并通知用户；

(3)建立查询机制，每间隔一定时间再从信号异常的从机模块读取部分数据进行检测，如果检测到信号恢复正常则重新启用该从机模块。

用户交互系统引导用户输入目前身体状态与偏好(特别是部分运动功能障碍人士，比如拒绝使用左手)，结合当下环境中需要控制的目标，系统生成推荐的从机模块数量和佩戴位置，并显示出来反馈用户，以供参考；用户参考推荐方案结合根据自身偏好调整从机模块数量和佩戴位置的信息，自主选择生成控制命令的动作。

所述控制指令管理系统根据用户交互管理系统中用户设定的用户场景设置生成控制指令的具体步骤如下：

(1)用户预先在控制指令管理系统设置保存所有受控终端的控制指令库，针对每一个使用场景和受控终端，完成控制动作与控制指令的一一映射，生成映射集合；

(2)进入新的使用场景时，通过用户交互系统切换受控设备，控制指令管理系统完成与受控的终端设备建立连接工作(双向蓝牙连接或者单向红外连接)并切换动作指令与控制指令的关系映射。

本发明与现有技术相比的优点在于：

(1)本发明采用一主机多从机的方式，实现了多通道肌电信号采集位置和通道数量的用户自定义功能，用户可以根据自己的需求采集身体任何位置的肌电信号作为控制命令的信号来源；

(2)本发明提供了用户交互系统，能根据用户的使用情况推荐更合理的佩戴方法和控制动作，帮助用户获得更好的使用体验；

(3)本发明提供了控制指令管理系统，用户可以仅使用简单的几个动作就可以完成不同场景下的不同终端设备的控制。

附图说明

图1为发明结构组成示意图；

图2为主机模块结构示意图；

图3为从机模块结构示意图。

具体实施方式

本发明一种主从式表面肌电采集、分析、处理、指令映射系统装置。表面肌电采集系统由独立、模块化的从机模块及肌电信号采集系统构成。从机模块使用织物电极，可以佩戴在身体任意部位，集成肌电采集、数据传输、供电系统于一体。同时其可以单独佩戴在身体某一位置，亦可以多枚从机模块组合使用；主机模块包含多通道管理系统、动作识别系统、用户交互系统、控制指令管理系统和电源管理系统；该装置原理上是把不同动作下的表面肌电信号转化成对应电子设备的控制指令；本发明特点在于主机模块的多通道管理系统自适应搭载的任意数量的从机模块，每个独立的从机模块都可以完成肌电数据的采集，因而用户(特别是部分运动功能障碍人士)可以根据自身情况以及控制目标选取需要使用的从机模块数量和佩戴位置，使用单独动作或者组合动作去产生控制命令。

该装置支持用户根据自身肢体便利性情况进行设定。用户主动选择控制目标之后，该装置自动根据当前控制目标生成主流控制指令。当然，不同的控制目标所需的控制指令数量亦存在差异，而大部分用户只需要使用一些简单指令来控制这些设备的基础功能，因而，该装置支持用户在选定控制目标之后再次选择所需要的功能，以减少用户操作复杂度。装置根据用户自身设定的肢体情况、控制目标、使用场景、控制指令数量这些情况，生成合适的数种佩戴推荐，这些佩戴推荐分别侧重于：较高的动作识别率、尽量少的从机模块数量等用户偏好方面，以便于用户参考。

该装置包括多个从机模块和一个主机模块。其中从机模块包含肌电信号采集系统，负责肌电信号的采样、模数转换、信号预处理、连接管理等工作；主机模块包含多通道管理系统、动作识别系统、用户交互系统、控制指令管理系统和电源管理系统。多通道管理系统负责管理多个从机模块的同步连接和信号接收工作；动作识别系统负责在各个场景(包含轮椅控制、电视遥控、智能家居开关控制等)下用户的动作训练和识别，产生动作数据，将动作映射为用户控制意图；控制指令管理系统负责管理不同控制场景下与不同的设备进行连接，将动作识别系统的指令通过连接通道发送到待控制的设备上；用户交互系统提供交互场景切换和设置功能，使用户可以使用简单的几个动作就可以在不同场景下控制不同的设备；电源管理系统负责主机和从机模块的电量管理和电量提示。

该装置的整体工作流程为从机模块采集动作产生的肌电信号，将模拟信号转换为数字信号通过蓝牙送给主机模块。主机模块通过蓝牙接收到多个信号检测模块的通道的肌电信号进行分析处理，并将生成用户定义的指令通过指令输出接口组件将控制指令发送到待控制的电子设备，完成控制过程。

从机模块设计为干电极可粘贴形态，使用极其方便。使用时，只需把模块粘贴在控制动作的骨骼肌群表面的皮肤附近，使电极与皮肤接触即可。针对不同残疾人的不同需求，用户可以自定义信号检测模块的数量和放置位置，也就是说可以根据不同的情况改变采集肌电信号的通道数以及采集肌电的位置。比如说对于下肢残疾的残疾人士，可以将信号检测模块粘贴在其上肢小臂或者大臂的位置，采集上肢的肌电信号，通过上肢的动作用于轮椅的行动控制；对于上半肢残疾的残疾人士可以将电极粘贴在检测其下半肢大腿采集下半肢体肌电信号，通过腿部动作来控制电视、空调等。当然，也可以同时将信号检测模块同时安置在手臂和小腿，甚至背部、脖子等位置用于单独动作控制或者组合动作控制。

如图3所示，从机模块主要包括：

(1)从机模块使用织物电极，保障身体各部位佩戴舒适性与适应性，侧翼使用粘性可替换胶带，保障佩戴贴合性。

(2)从机模块将采集肌电信号、针对肌电信号特性进行信号调理、数模转换、并用微处理器进行数据预处理。

(3)蓝牙组件：将信号肌电信号数据发送到主机模块，进行数据处理。

(4)电池组件：为信号检测模块提供初始电压。

如图2所示，主机模块主要包括：

(1)主机模块主要功能是肌电数据的处理与现实场景下用户交互，硬件组成包含蓝牙数据接收模块、多功能控制指令发送模块、用户交互屏幕，并加载动作识别算法。

(2)用户交互系统包括：当前用户身体状态交互界面、指令选择交互界面、推荐佩戴生成界面。用户在身体状态交互界面中输入自身目前状态，可以根据自身情况做出选择(如偏好使用某一部分肢体以作锻炼或避免使用某些特定部位)，该部分数据将作为“佩戴推荐”中“从机数量”以及“佩戴位置”数据的重要参考。大部分用户在操控某些目标时大多情况下只需要某几项简单功能，因而，指令选择交互界面中用户可以在生成对应控制指令中二次选择，确认需要的核心功能，以减轻操作复杂度。推荐佩戴生成界面，装置根据用户自身设定的肢体情况、控制目标、使用场景、控制指令数量这些情况，生成合适的佩戴推荐，这些佩戴推荐分别侧重于：较高的动作识别率、尽量少的从机模块数量等用户偏好方面，以便于用户参考。

(3)多通道管理系统：作为从机模块和主机模块的接口，使多个从机模块与主机模块建立多对一的蓝牙连接。连接成功后主机模块首先接收每个从机模块的自检信息。如果有从机模块出现异常，则将异常情况发送给用户交互系统，通知用户；然后主机上的多通道管理系统将采集频率，同步时钟等用户的个人配置信息发送给所有从机，然后开始接收从机的肌电信号数据。并针对出现信号异常的从机模块建立查询机制，每间隔一定时间再从信号异常的从机模块读取部分数据进行检测，如果检测到信号恢复正常则重新启用该从机模块。

(4)动作识别系统：动作识别系统分为训练过程和识别过程。在训练过程中，用户设置好操作动作、佩戴位置、从机数量之后，在交互界面激活训练状态，使用户进行一轮预设动作训练，训练数据将作为动作识别系统中的关键参数；在使用过程中，只需要在交互界面激活识别状态，根据动作识别结果，发出控制指令。

(5)控制指令管理系统：控制指令管理系统用户设置保存所有受控终端的控制指令库，并针对每一个使用场景和受控终端，完成控制动作与控制指令的一一映射，生成映射集合；当用户从一个使用场景切换到另一个使用场景时，控制指令管理系统断开与原受控终端设备的连接，建立与受控终端设备连接工作并切换动作指令与控制指令的关系映射。比如使用手势控制轮椅切换为使用手势控制电视机。

(6)电源管理系统：为系统中的各模块提供电力保障，为从机模块提供充电接口。

使用场景：一位双腿残疾的残疾人士使用本发明的产品。首先，他挑选自己的小臂作为肌电信号的采集肌群。因为，小臂直径比大臂要短，所以只需要4个模块进行信号收集。将模块水平围绕着小臂和大臂关节前处粘贴。通过刚开始的预热和动作设定，进行系统的深度学习，可以将不同动作对应到相应的手势。举例，握拳可以代表向前，手势的向左向右代表着轮椅的向左向右。随后，用户可以用自己定义的手势对轮椅进行操控。

左腿和左臂残疾的人士，也可以通过本产品进行对轮椅的控制。首先，将肌电信号采集模块安放在右臂或者右腿大腿处进行信号的采集和控制。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (4)

1.一种基于肌电的多目标控制指令生成装置，其特征在：包括多个从机模块和一个主机模块，其中每个从机模块包含佩戴式肌电信号采集系统，负责肌电信号采集、调理与发送系统，主机模块包含多通道管理系统、动作识别系统、用户交互系统、控制指令管理系统和电源管理系统；每个肌电信号采集系统负责特定部位的表面肌电采集，将采集的模拟信号转换为数字信号并通过蓝牙接口发送到多通道管理系统；多通道管理系统对接多个肌电信号采集系统，将肌电信号同步后发送到动作识别系统；用户交互系统负责引导用户使用、用户偏好设置、信息显示灯功能；动作识别系统识别用户动作，生成动作指令发送给控制指令管理系统；控制指令管理系统根据用户交互系统中用户设定的用户场景设置生成控制指令，并将控制指令发送给受控终端设备完成控制；电源管理系统负责整个生成装置的电源管理；

所述多通道管理系统对接多个肌电信号采集系统的具体过程如下：

(1)多个从机模块与主机模块建立多对一的蓝牙连接，连接成功后主机模块接收每个从机模块的自检信息，如果有从机模块出现异常，则将异常情况发送给用户交互系统，通知用户；无异常情况主机模块上的多通道管理系统将采集频率、同步时钟和用户个人配置信息发送给所有从机，然后开始接收从机的肌电信号数据；

(2)多通道管理系统对每个从机模块的信号数据进行预处理和信号异常判断，根据信号幅度，波动频率信号特征判断从机是否被正常佩戴或者是否佩戴在合适的位置，如果出现信号异常的从机模块，则关闭数据连接以减小功耗并通知用户；

(3)建立查询机制，每间隔一定时间再从信号异常的从机模块读取部分数据进行检测，如果检测到信号恢复正常则重新启用该从机模块。

2.根据权利要求1所述的基于肌电的多目标控制指令生成装置，其特征在：所述肌电信号采集系统配备使用织物电极，并配可替换的有粘性吸附绑带，能够单独使用在身体任意部位。

3.根据权利要求1所述的基于肌电的多目标控制指令生成装置，其特征在：用户交互系统引导用户输入目前身体状态与偏好，结合当下环境中需要控制的目标，系统生成推荐的从机模块数量和佩戴位置，并显示出来反馈用户，以供参考；用户参考推荐方案结合根据自身偏好调整从机模块数量和佩戴位置的信息，自主选择生成控制命令的动作。

4.根据权利要求1所述的基于肌电的多目标控制指令生成装置，其特征在：所述控制指令管理系统根据用户交互系统中用户设定的用户场景设置生成控制指令的具体步骤如下：

(1)用户预先在控制指令管理系统设置保存所有受控终端的控制指令库，针对每一个使用场景和受控终端，完成控制动作与控制指令的一一映射，生成映射集合；

(2)进入新的使用场景时，通过用户交互系统切换受控设备，控制指令管理系统与受控终端设备建立连接并切换动作指令与控制指令的关系映射。

Images