CN104267808A

CN104267808A - 动作识别方法和设备

Info

Publication number: CN104267808A
Application number: CN201410479976.1A
Authority: CN
Inventors: 周海燕; 郭家梁; 杜琳
Original assignee: Beijing Zhigu Ruituo Technology Services Co Ltd
Current assignee: Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date: 2014-09-18
Filing date: 2014-09-18
Publication date: 2015-01-07

Abstract

本申请提供了一种动作识别方法和设备，涉及脑电领域。所述方法包括：响应于用户身体的第一部位对第二部位执行一接触动作，获取所述用户的脑电信息；至少根据所述脑电信息识别所述接触动作。所述方法和设备中使用的脑电信息基于所述接触动作对应的触觉而产生，从而比依靠运动想象产生的脑电信息更加客观、稳定，有利于根据识别结果实现对目标对象更加准确的控制。

Description

动作识别方法和设备

技术领域

本申请涉及脑电技术领域，尤其涉及一种动作识别方法和设备。

背景技术

随着电子设备的普及，人们几乎每天都要控制电子设备辅助自己完成工作、学习，以及进行娱乐。能够使用户更加方便、快捷的控制电子设备是电子设备制造商一直的追求。

脑电是在人脑头皮采集到的人脑自发的放电活动，是一种相对稳定、客观的生理活动指标。基于脑电而产生的人机交互的一个主要应用是意念控制，即：在用户进行运动想象的同时，对用户的脑电信号进行分析，识别出用户的意图，然后根据这种意图实现对目标对象的控制。

这种交互方式的缺点在于，一般用户往往缺乏对意念的控制能力，导致对用户意图的识别准确率较低，进而导致对目标对象的控制准确度较低。

发明内容

本申请的目的是：提供一种动作识别方法和设备。

根据本申请至少一个实施例的一个方面，提供了一种动作识别方法，所述方法包括：

响应于用户身体的第一部位对第二部位执行一接触动作，获取所述用户的脑电信息；

至少根据所述脑电信息识别所述接触动作。

根据本申请至少一个实施例的另一个方面，提供一种动作识别设备，所述设备包括：

一获取模块，用于响应于用户身体的第一部位对第二部位执行一接触动作，获取所述用户的脑电信息；

一识别模块，用于至少根据所述脑电信息识别所述接触动作。

本申请实施例所述识别方法和设备，响应于用户身体的第一部位对第二部位执行一接触动作，获取所述用户的脑电信息，至少根据所述脑电信息识别所述接触动作，所述脑电信息基于所述接触动作对应的触觉而产生，从而比依靠运动想象产生的脑电信息更加客观、稳定，有利于根据识别结果实现对目标对象更加准确的控制。

附图说明

图1是本发明实施例所述动作识别方法的流程图；

图2示出了用户的右手接触用户的左手心和左手臂时的脑电信息对比示意图；

图3示出了用户的右手以不同的接触方式接触左肢时的总体脑电信息对比示意图；

图4示出了用户的右手以不同的接触方式分别接触左肢的不同位置的脑电信息对比示意图；

图5a～5d依次示出了用户的右手在左手手心向左滑、向右滑、向上滑、向下滑时的示意图；

图6是本发明一个实施方式中所述动作识别方法的流程图；

图7是本发明另一个实施方式中所述动作识别方法的流程图；

图8是本发明实施例所述动作识别设备的模块结构示意图；

图9是本发明一个实施方式中所述动作识别设备的模块结构示意图；

图10是本发明另一个实施方式中所述动作识别设备的模块结构示意图；

图11是本发明实施例所述动作识别设备的硬件结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

本领域技术人员理解，在本发明的实施例中，下述各步骤的序号的大小并不意味着执行顺序的先后，各步骤的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

另外，本发明中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

图1是本申请一个实施例所述动作识别方法的流程图，所述方法可以在例如一动作识别设备上实现。如图1所示，所述方法可以包括：

S120：响应于用户身体的第一部位对第二部位执行一接触动作，获取所述用户的脑电信息；

S140：至少根据所述脑电信息识别所述接触动作。

本申请实施例所述识别方法，响应于用户身体的第一部位对第二部位执行一接触动作，获取所述用户的脑电信息，至少根据所述脑电信息识别所述接触动作，所述脑电信息基于所述接触动作对应的触觉而产生，从而比依靠运动想象产生的脑电信息更加客观、稳定，有利于根据识别结果实现对目标对象更加准确的控制。

以下将结合具体实施方式详细说明所述步骤S120和S140的功能。

S120：响应于用户身体的第一部位对第二部位执行一接触动作，获取所述用户的脑电信息。

所述第一部位可以比如是所述用户的一只手，所述第二部位可以比如是所述用户的另一只手、另一手臂、所述用户的面部、颈部等。以上对所述第一部位和第二部位的举例是一些可能经常用到的组合，但是本领域技术人员理解，所述第一部位和所述第二部位其实可以是所述用户的任意可以互相接触的两个部位。

所述接触动作可以对应所述第二部位上的不同的接触位置，比如所述第二部位可以是用户的一个上肢，其可以包括手心和手臂两个不同的接触位置。发明人在研究过程中发现，当用户的一个部位，比如用户的右手，接触用户的其他部位的不同位置时，会对应触发不同的脑电信息。

图2示出了用户的右手接触用户的左手心和左手臂时的脑电信息对比示意图，其中，纵轴表示相应脑区处脑电信息对应的电压值，这里的接触包括向左滑、向右滑、向上滑、向下滑和点击五种接触方式，图2中的电压值是该五种接触方式分别对应的电压值的平均值。可以看到，在CP1脑区，用户的右手接触左手心和左手臂时，电压值表现为一正一负，右手接触左手心时是正值，右手接触左手臂时是负值；在F3脑区，两个电压值均为正值，用户的右手接触左手心时的电压值明显大于其右手接触左手臂时的电压值；在P3脑区，两个电压值均为负值，用户的右手接触左手心时的电压值大于其右手接触左手臂时的电压值。总体而言，在图2所示F3、CP1和P3三个脑区，用户的右手接触左手心时的脑电信息对应的电压值明显大于其右手接触左手臂时的脑电信息对应的电压值。

其中，所述F3、CP1和P3三个脑区的脑电信息在测试样本较少的情况下即表现出对应不同的接触位置具有统计性的显著差异，如果增加测试样本，不排除还有其他的脑区的脑电信息对应不同的接触位置具有统计性的显著差异。

所述接触动作还可以对应所述第一部位与所述第二部位的不同的接触方式，比如用户的一只手可以在另一只手上点击或者滑动。发明人在研究过程中还发现，当用户的一个部位，比如用户的右手，以不同的接触方式接触用户的其他部位，比如用户的左手时，也会对应触发不同的脑电信息。

图3示出了用户的右手以不同的接触方式接触左肢时的脑电信息对比示意图，其纵轴表示在F3脑区处相应接触方式分别对应的脑电信息对应的电压值，这里的接触位置包括左手心和左手臂，图3中的电压值是该两个接触位置对应的电压值的平均值。从图3中可以看到，在F3脑区，用户的右手在左肢上执行向上或向左滑动时触发的脑电信息对应的电压值较高，而其右手在左肢上执行向右滑、向下滑以及点击时的脑电信息对应的电压值较低。

其中，所述F3脑区的脑电信息在测试样本较少的情况下即表现出对应不同的接触方式具有统计性的显著差异，如果增加测试样本，不排除还有其他的脑区的脑电信息对应不同的接触方式具有统计性的显著差异。

另外，图4还示出了用户的右手以不同的接触方式分别接触左肢的不同位置的脑电信息对比示意图，其纵轴表示在Fz脑区处对应相应接触位置和相应接触方式时的脑电信息对应的电压值。从图4中可以看到，对于向上滑和向下滑，右手接触左手心和左手臂时的电压值差异性不大，对于向左滑、向右滑和点击，右手接触左手心和左手臂时的电压值差异性较大。

其中，所述Fz脑区的脑电信息在测试样本较少的情况下即表现出对应不同的接触位置和接触方式具有统计性的显著差异，如果增加测试样本，不排除还有其他的脑区的脑电信息对应不同的接触位置和接触方式具有统计性的显著差异。

其中，所述脑区F3、CP1、P3和Fz是按照10-20系统对大脑分区后对应的相应区域。

另外，图5a～5d依次示出了用户的右手在左手手心向左滑、向右滑、向上滑、向下滑时的示意图。以图5a为例，用户的右手食指在左手掌心沿图5a所示箭头方向滑动，即是在左手心向左滑。用户右手在左手臂向左滑、向右滑、向上滑、向下滑的情况与之相类似，不再结合附图说明。

因此，基于上述原理，可以定义所述接触动作对应的接触位置和/或接触方式对应不同的控制指令，进而通过脑电信息识别所述接触动作对应的控制指令。如表1所示，可以定义表1中四种动作对应对电视机的四种控制指令，比如当用户右手点击左手心时，对应对电视的开机指令。

表1

接触动作	参考脑电信息	控制指令
			点击手心	A	开机
点击手臂	B	确认
			手臂左滑	C	前一项
手臂右滑	D	后一项

其中，所述步骤S120中的脑电信息可以是所述用户的预定脑区的脑电信息。发明人在研究过程中发现以下几个脑区与本申请所述方法具有较高的相关性：F3和Fz脑区，其是大脑的信息整合区域；P3脑区，其是大脑的注意区域；CP1脑区，其是大脑的感觉运动区域。因此，所述预定脑区可以包括CP1、F3、P3、Fz中至少一个。

为了提高识别准确度，所述脑电信息可以包括多个预定脑区的脑电信息。比如，所述脑电信息可以同时包括CP1、F3、P3、Fz共4个脑区的脑电信息，从而可以根据CP1和P3的脑电信息识别接触位置，同时根据F3和Fz的脑电信息识别接触形式，最终识别所述接触动作，确定对应的控制指令。

S140：至少根据所述脑电信息识别所述接触动作。

如前文所述，所述接触动作可以对应不同的接触位置。因此，在一种实施方式中，可以至少根据所述脑电信息识别所述第一部位在所述第二部位上的接触位置。比如，识别得到用户的右手接触其左手心还是左手臂。

另外，所述接触动作还可以对应不同的接触方式。因此，在另一种实施方式中，可以至少根据所述脑电信息识别所述第一部位与所述第二部位的接触方式。比如，识别得到用户的右手在其左手心是点击接触还是向上滑动。

当然，本领域技术人员理解，还可以同时识别得到第一部位在所述第二部位上的接触位置，以及所述第一部位与所述第二部位的接触方式。

其中，上述识别过程可以基于一参考脑电信息，即根据所述电脑信息和一参考脑电信息识别所述接触动作。所述参考脑电信息可以经过预先训练获得，比如在训练阶段，用户的右手分别以不同的接触方式接触左手的不同位置，并分别记录相应的脑电信息作为参考脑电信息，最终可以得到如表1所示的对应关系表，然后在应用阶段可以基于该对应关系表识别用户的接触动作。比如可以将所述步骤S120获取的脑电信息与表1中的参考脑电信息进行对比，根据匹配度确定一个参考脑电信息作为目标脑电信息，并将该目标脑电信息对应的接触动作作为识别得到的接触动作。

如前文所述，可以预先定义所述接触动作对应相应的控制指令，从而在识别所述接触动作后，可以确定相应的控制指令。参见图6，在一种实施方式中，所述方法还可以包括：

S150：根据识别结果确定所述接触动作对应的一控制指令。

所述方法可以预先建立如表1所示接触动作与控制指令之间的对应关系，从而在实际应用中可以根据识别结果和该对应关系确定该控制指令，该控制指令代表了用户的控制意图。

进一步的，参见图7，所述方法还可以包括：

S160：执行所述控制指令对应的操作。

比如对应表1，假设识别结果显示用户的接触动作为点击手臂，可以确定用户的控制意图是确认，则可以执行该操作，比如执行当前被选中的控制命令。

此外，本申请实施例还提供一种计算机可读介质，包括在被执行时进行以下操作的计算机可读指令：执行上述图1所示实施方式中的方法的步骤S120和S140的操作。

综上，本申请实施例所述方法，可以基于脑电信息识别用户身体的不同部位之间的接触动作，进而确定用户的控制意图并可以执行相应的控制操作，有利于提高控制的准确度。另外，本申请所述方法的一个优势还在于，用户在输出自己的控制意图过程中，无需借助键盘、控制板或者任何其他控制工具，也就是说，与通过运动想象实现脑电控制相比，所述方法无需增加任何硬件成本，从而在保证便利性的同时提高了控制的准确度。

图8是本申请一个实施例所述动作识别设备的模块结构示意图，所述识别设备可以是比如头盔、头戴式耳机等可穿戴式设备。如图8所示，所述设备800可以包括：

一获取模块810，用于响应于用户身体的第一部位对第二部位执行一接触动作，获取所述用户的脑电信息；

一识别模块820，用于至少根据所述脑电信息识别所述接触动作。

本申请实施例所述识别设备，响应于用户身体的第一部位对第二部位执行一接触动作，获取所述用户的脑电信息，至少根据所述脑电信息识别所述接触动作，所述脑电信息基于所述接触动作对应的触觉产生，从而比依靠运动想象产生的脑电信息更加客观、稳定，有利于根据识别结果实现对目标对象更加准确的控制。

以下将结合具体实施方式详细说明所述获取模块810和所述识别模块820的功能。

所述获取模块810，用于响应于用户身体的第一部位对第二部位执行一接触动作，获取所述用户的脑电信息。

所述接触动作可以对应所述第二部位上的不同的接触位置，比如所述第二部位可以是用户的一个上肢，其可以包括手心和手臂两个不同的接触位置。

所述接触动作还可以对应所述第一部位与所述第二部位的不同的接触方式，比如用户的一只手可以在另一只手上点击或者滑动。

其中，所述脑电信息可以是所述用户的预定脑区的脑电信息，即所述获取模块可以从所述用户的预定脑区获取所述脑电信息。所述预定脑区可以包括CP1、F3、P3、Fz中至少一个。

所述识别模块820，用于至少根据所述脑电信息识别所述接触动作。

在一种实施方式中，所述识别模块820，用于至少根据所述脑电信息识别所述第一部位在所述第二部位上的接触位置。比如，识别得到用户的右手接触其左手心还是左手臂。

在另一种实施方式中，所述识别模块820，用于至少根据所述脑电信息识别所述第一部位与所述第二部位的接触方式。比如，识别得到用户的右手在其左手心是点击接触还是向上滑动。

当然，本领域技术人员理解，所述识别模块820还可以同时识别得到第一部位在所述第二部位上的接触位置，以及所述第一部位与所述第二部位的接触方式。

其中，上述识别过程可以基于一参考脑电信息，即所述识别模块820，可以根据所述电脑信息和一参考脑电信息识别所述接触动作。所述参考脑电信息可以经过预先训练获得，比如在训练阶段，用户的右手分别以不同的接触方式接触左手的不同位置，并分别记录相应的脑电信息作为参考脑电信息，最终可以得到如表1所示的对应关系表，然后在应用阶段所述识别模块820可以基于该对应关系表识别用户的接触动作。比如所述识别模块820可以将所述获取模块810获取的脑电信息与表1中的参考脑电信息进行对比，根据匹配度确定一个参考脑电信息作为目标脑电信息，并将该目标脑电信息对应的接触动作作为识别得到的接触动作。

参见图9，在一种实施方式中，所述设备800还可以包括：

一确定模块830，用于根据识别结果确定所述接触动作对应的一控制指令。

所述确定模块830可以预先存储如表1所示接触动作与控制指令之间的对应关系，从而在实际应用中可以根据识别结果和该对应关系确定该控制指令，该控制指令代表了用户的控制意图。

参见图10，在一种实施方式中，所述设备800还可以包括：

一执行模块840，用于执行所述控制指令对应的操作。

比如对应表1，假设识别结果显示显示用户的接触动作为点击手臂，可以确定用户的控制意图是切换菜单，则可以执行该操作，比如所述执行模块840控制电视由声音调节界面切换至亮度调节界面。

本发明实施例所述动作识别设备的硬件结构如图11所示。本发明具体实施例并不对所述动作识别设备的具体实现做限定，参见图11，所述控制设备1100可以包括：

处理器(processor)1110、通信接口(CommunicationsInterface)1120、存储器(memory)1130，以及通信总线1140。其中：

处理器1110、通信接口1120，以及存储器1130通过通信总线1140完成相互间的通信。

通信接口1120，用于与其他网元通信。

处理器1110，用于执行程序1132，具体可以执行上述图1所示的方法实施例中的相关步骤。

具体地，程序1132可以包括程序代码，所述程序代码包括计算机操作指令。

处理器1110可能是一个中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器1130，用于存放程序1132。存储器1130可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。程序1132具体可以执行以下步骤：

至少根据所述脑电信息识别所述接触动作。

程序1132中各步骤的具体实现可以参见上述实施例中的相应步骤或模块，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

综上，本发明实施例所述动作识别设备，可以基于脑电信息识别用户身体的不同部位之间的接触动作，进而确定用户的控制意图并可以执行相应的控制操作，有利于提高控制的准确度。另外，本申请所述设备的一个优势还在于，用户在输出自己的控制意图过程中，无需借助键盘、控制板或者任何其他控制工具，也就是说，与通过运动想象实现脑电控制相比，所述方法无需增加任何硬件成本，从而在保证便利性的同时提高了控制的准确度。

本申请实施例所述动作识别方法和设备的一个应用场景可以如下：用户在家中头戴一个具有脑电识别能力的头盔，并通过该头盔对多个家电进行无线控制，比如当用户想要打开电视机时，在手臂上左滑或右滑，头盔识别为对电视、冰箱、空调、音响等多个控制对象进行切换，并控制用户的虚拟显示界面切块不同的控制对象；当切换至电视时，用户点击手臂，头盔识别为确认，并控制虚拟显示界面显示可以对电视执行的控制命令；用户再次在手臂上左滑或右滑，头盔识别为对当前多个可执行命令进行切换，并通过虚拟显示界面高亮显示当前选中的可执行命令；当切换至“开机”命令时，用户点击手臂，头盔识别为确认，并发送开机信号给电视，电视接收到开机信号后进入开机状态。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，控制器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。

Claims

1.一种动作识别方法，其特征在于，所述方法包括：

至少根据所述脑电信息识别所述接触动作。

2.如权利要求1所述的方法，其特征在于，所述第一部位是所述用户的一只手，所述第二部位是所述用户的另一只手、另一手臂、面部、颈部中至少一项。

3.如权利要求1或2所述的方法，其特征在于，所述脑电信息是所述用户的预定脑区的脑电信息。

4.如权利要求3所述的方法，其特征在于，所述预定脑区包括CP1、F3、P3、Fz中至少一个。

5.如权利要求1至4任一项所述的方法，其特征在于，所述至少根据所述脑电信息识别所述接触动作包括：

至少根据所述脑电信息识别所述第一部位在所述第二部位上的接触位置。

6.如权利要求1至4任一项所述的方法，其特征在于，所述至少根据所述脑电信息识别所述接触动作包括：

至少根据所述脑电信息识别所述第一部位与所述第二部位的接触方式。

7.如权利要求1至4任一项所述的方法，其特征在于，所述至少根据所述脑电信息识别所述接触动作包括：

根据所述电脑信息和一参考脑电信息识别所述接触动作。

8.如权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

根据识别结果确定所述接触动作对应的一控制指令。

9.如权利要求8所述的方法，其特征在于，所述方法还包括：

执行所述控制指令对应的操作。

10.一种动作识别设备，其特征在于，所述设备包括：

11.如权利要求10所述的设备，其特征在于，所述获取模块从所述用户的预定脑区获取所述脑电信息。

12.如权利要求10或11所述的设备，其特征在于，所述识别模块，用于至少根据所述脑电信息识别所述第一部位在所述第二部位上的接触位置。

13.如权利要求10或11所述的设备，其特征在于，所述识别模块，用于至少根据所述脑电信息识别所述第一部位与所述第二部位的接触方式。

14.如权利要求10或11任一项所述的设备，其特征在于，所述识别模块，用于根据所述电脑信息和一参考脑电信息识别所述接触动作。

15.如权利要求10至14任一项所述的设备，其特征在于，所述设备还包括：

一确定模块，用于根据识别结果确定所述接触动作对应的一控制指令。

16.如权利要求15所述的设备，其特征在于，所述设备还包括：

一执行模块，用于执行所述控制指令对应的操作。

17.如权利要求10至16任一项所述的设备，其特征在于，所述设备是一可穿戴式设备。