CN111050266A - 一种基于耳机检测动作进行功能控制的方法及系统 - Google Patents

Abstract

本发明公开了一种基于耳机检测动作进行功能控制的方法，包括：所述耳机通过传感器采集佩戴者动作信息；基于所述动作信息，采用神经网络算法和先验规则识别目标动作；所述目标动作识别结果用于控制与所述耳机相应的终端功能。本发明的基于耳机检测动作进行功能控制的方法及系统，将人工智能人类先验知识进行结合，大大提高动作识别的准确性，同时减少对人工标定数据的大量需求。

Description

一种基于耳机检测动作进行功能控制的方法及系统

技术领域

本发明属于媒体播放设备技术领域，特别涉及一种基于耳机检测动作进行功能控制的方法及系统。

背景技术

耳机作为一种便携式媒体播放设备给人们的工作和生活带来了极大方便。在佩戴耳机使用电子设备进行工作和娱乐的过程中，经常会需要对设备执行一些功能控制，如音乐播放、暂停、上一曲、下一曲等。传统的功能控制通过设备上的实体按键或者是触摸屏上的虚拟按键与设备交互。

为了更加便利的控制耳机相关的功能操作，简化按键或消除按键成为改进耳机控制的方向。现有技术中多采用光学识别人体运动来进行相应的功能控制，如微软的Kinect，是Xbox外接的3D体感设备，可通过光学方式，感知用户体态。但这种设备价格较高，同时携带不便，进而也不便利用到耳机控制中。

现有技术中也存在使用运动传感器感知佩戴者动作的技术。但一般通过有限的预设动作进行简单的识别匹配，而人体运动的方式复杂繁多，因此，很难做到智能的识别与控制，错误动作率高。

因此，如何实现智能地基于耳机检测动作进行功能控制，是亟待解决的问题。

发明内容

针对上述问题，本发明提供一种基于耳机检测动作进行功能控制的方法，包括：

所述耳机通过传感器采集佩戴者动作信息；

基于所述动作信息，采用神经网络算法和先验规则识别目标动作；

所述目标动作识别结果用于控制与所述耳机相应的终端功能。

进一步地，

所述动作信息为原始动作序列；

所述采用神经网络算法和先验规则识别目标动作包括：

对所述原始动作序列采用第一神经网络模型进行深度特征提取，得到子动作识别结果；

基于所述原始动作序列，根据先验规则识别，得到姿态计算结果；

根据所述子动作识别结果、所述姿态计算结果和所述原始动作系列，采用第二神经网络模型进行识别，得到所述目标动作识别结果。

进一步地，

在采用第一神经网络模型进行深度特征提取前，根据人工标注数据，训练所述第一神经网络模型进行监督性学习。

进一步地，

所述根据先验规则识别，得到姿态计算结果包括：判断所述原始动作序列中的动作幅度和持续时间是否满足相应的动作阈值。

进一步地，

所述第二神经网络模型为LSTM模型，所述LSTM模型预先经过设定权重的训练，用于根据多个相关子动作序列识别表示佩戴者意图的目标动作。

进一步地，

所述目标动作识别结果用于控制与所述耳机相应的终端功能包括：

根据与所述耳机信号连接的终端应用确定工作模式；

在媒体播放模式下，根据所述目标动作识别结果控制媒体播放动作；

在非播放模式下，将所述目标动作识别结果转换为系统操作动作映射发送到所述终端应用，控制终端应用功能。

本发明还一种基于耳机检测动作进行功能控制的系统，包括：

传感单元，用于设置在耳机中，采集佩戴者动作信息；

动作识别单元，用于基于所述动作信息，采用神经网络算法和先验规则识别目标动作；

输出单元，用于将目标动作识别结果输出到与所述耳机相应的被控制终端能。

进一步地，

所述动作信息为原始动作序列；

所述动作识别单元包括：

第一识别单元，所述第一识别单元用于对所述原始动作序列采用第一神经网络模型进行深度特征提取，得到子动作识别结果；

第二识别单元，所述第二识别单元用于基于所述原始动作序列，根据先验规则识别，得到姿态计算结果；

第三识别单元，所述第三识别单元用于根据所述子动作识别结果、所述姿态计算结果和所述原始动作系列，采用第二神经网络模型进行识别，得到所述目标动作识别结果。

进一步地，

所述第一识别单元在采用第一神经网络模型进行深度特征提取前，根据人工标注数据，训练所述第一神经网络模型进行监督性学习。

进一步地，

所述第二识别单元根据先验规则识别，得到姿态计算结果包括：判断所述原始动作序列中的动作幅度和持续时间是否满足相应的动作阈值。

本发明的基于耳机检测动作进行功能控制的方法及系统，将人工智能人类先验知识进行结合，大大提高动作识别的准确性，同时减少对人工标定数据的大量需求。对用户而言不增加新的高成本的专用设备即可获得较大的体验提升；方便根据需要和用户使用数据更新数据处理程序，持续提升识别的准确度和扩展产品的丰富性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明实施例的一种耳机系统架构示意图；

图2示出了根据本发明实施例的点头动作的子动作构成与IMU的输出值示意图；

图3示出了根据本发明实施例的基于耳机检测动作进行功能控制的方法步骤示意图；

图4示出了根据本发明实施例的基于耳机检测动作进行功能控制的方法流程示意图；

图5示出了根据本发明实施例的基于耳机检测动作进行功能控制的系统结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在佩戴耳机使用电子设备进行工作和娱乐的过程中，经常会需要对设备执行一些功能控制。一种常用的情景时，使用耳机接听音频播放，功能控制包括：播放、暂停、上一曲、下一曲、音量调节等。常规操作方式是通过设备上的实体按键或者是触摸屏上的虚拟按键与设备交互。

本发明实施例提供一种基于耳机检测动作进行功能控制的方法，利用耳机中的传感器，通过融合算法获取用户头部动作，绑定到对应的控制功能上，从而给用户带来更好的使用体验。在媒体播放模式下能够对媒体播放功能进行控制，示例性地，通过左右甩头来控制上一曲/下一曲切换，通过点头来控制播放/暂停。并在另外的非媒体播放模式下，根据相应的连接应用，通过耳机控制应用操作，如控制娱乐游戏的动作操作，示例性地，通过左右探头来控制游戏中的人物进行探头射击。

如图1所示，是根据本发明实施例的一种耳机系统架构示意图，耳机包括处理器(CPU)、传感器设备、音频输入单元、音频输出单元和通信适配单元。音频输入单元与处理器相连，用于从连接的终端，如手机获取音频数据；音频输出单元与处理器相连，用于将音频数据输出为耳机端的声音；传感器与处理器相连，用于采集佩戴者的动作信息，本发明实施例中，通过IMU(惯性测量单元，包括加速度计，陀螺仪等)对头部的动作序列进行识别，在常规耳机中内置传感器设备识别耳机(即佩戴者)的运动动作，包括加速度、角速率等。本发明对嵌入耳机的传感器不做限制，只要能识别耳机物理运动即可。系统还包括通信适配设备，用来将处理器与终端连接，示例性地，可以选择蓝牙、有线等连接方式。处理器用于控制音频输入输出、传感器数据采集、终端应用连接控制等，进一步地，处理器在本发明实施例中还可以用于处理传感器采集的动作信息，进行姿态计算、子动作识别、动作识别等。

动作序列是一个连续的过程，从人类语言角度，由一系列不同的子动作组成。例如，点头的动作序列由以下三个子动作(sub action)构成：

(1)头部保持基本水平状态(零位)；

(2)头部向前倾斜一定角度(约10deg～90deg)；

(3)短时间内头部回到原位；

示例性地，图2曲线示出了IMU识别到的点头过程中加速度变化。

向右方甩头的动作序列由以下4个子动作构成：

(1)头部保持水平(零位)；

(2)头部向左侧倾斜(约10deg～80deg)；

(3)头部向右侧快速摆动(30deg～80deg，角速度足够快)；

(4)头部回到零位。

上述动作分解是根据人类先验规则进行的粗略的子动作分解，实际上子动作之间的衔接、持续时间等细微而多变，要将传感器采集的连续的物理参量准确识别为与用户意图一致的目标动作，仅仅通过准确的语言规则描述是无法实现的。

如图3所示，本发明实施例的基于耳机检测动作进行功能控制的方法包括：

1)耳机通过传感器采集佩戴者动作信息；

2)基于所述动作信息，采用神经网络算法和先验规则识别目标动作；

3)目标动作识别结果用于控制与所述耳机相应的终端功能。

具体地，耳机与终端应用建立连接后，启动采集过程，实时采集IMU的传感数据，即动作信息；

在2)中，本发明实施例中采用神经网络算法和先验规则相结合的方式，识别目标动作，目标动作为预设的佩戴者有意识的控制动作，如向左甩头动作，用于控制切换到上一曲。本发明采用上述两种处理相结合方式识别目标动作，相对于传统的物理特征提取，基于先验人工规则筛选目标动作的方式，准确性高，更符合动作的连续变化规律。同时，相对于单纯采用深度学习方法识别动作，可以大大缩小训练数据的需求，简化难以理解的网络识别模型，提高动作序列识别的准确度。下面对本发明的动作识别过程及优势做进一步说明。

如图4所示，本发明实施例中，将上述动作信息为原始动作序列输入；原始动作序列为包括一系列具有先后时序的瞬时动作，IMU采集数据的间隔很小，在一次点头动作中，佩戴者的头部连续运动，IMU示例性地，可以采集到头部经过10度-15度-20度-25度等多个瞬时状态。

采用神经网络算法和先验规则识别目标动作包括：

1)对所述原始动作序列采用第一神经网络模型进行深度特征提取，得到子动作识别结果；第一神经网络模型为LSTM模型，LSTM(Long-Short Term Memory，长短期记忆网络)是一种循环神经网络(RNN，即Recurrent Neural Network)，用于学习有效的特征并且对时域的动态过程建模，实现端到端(End-to-End)的行为识别及检测。第一神经网络模型LSTM1用于识别子动作，如点头、低头、平视、头左偏、右偏等；

在采用第一神经网络模型进行深度特征提取前，根据人工标注数据，训练第一神经网络模型进行监督性学习。人工标注数据可以根据多种用户运动场景，多种幅度、速度的运动方式进行动作序列标注，如子动作拆分，目标动作定义等。本发明实施例中，采用基于人工标注数据进行监督性学习，可以大大提供训练的效率和针对性，在人工标注数据过程中，可以应用专业的先验知识，对于满足指定的一个或多个阈值的数据标定为有效动作，从而在模型训练期就将部分先验规则应用到模型中，提高模型识别的准确性。

2)另一方面，基于原始动作序列，根据先验规则识别，得到姿态计算结果，包括：判断所述原始动作序列中的动作幅度和持续时间是否满足相应的动作阈值。姿态计算模块负责计算姿态角度，如点头动作的最终点头角度；同时根据人工规则，预判低头、偏头的角度是否超过阈值，某路传感器输出是否大于阈值，持续时间是否足够等。具体实施中，人工规则即先验规则通过传统的嵌入程序逻辑控制即可。本发明实施例中，阈值判断包括但不限于动作幅度和持续时间，对一个子动作的阈值限定可以包括多个。示例性地，对于一个偏头动作，如果头部向左或向右的旋转角速度(或加速度)小于指定阈值，即动作缓慢，且从旋转到最大角度到回正之间的间隔超过阈值，则认为该动作为仅仅为佩戴者转头普通动作，不具有控制功能的意图；再例如，当识别到点头动作最大幅度小于5度时，直接将该系列动作判断为用户非意图活动。上述姿态计算的结果，即对系列动作信息的判断，输出到后续的LSTM2模型，以提高模型识别的效率和准确性。

姿态计算采用传统算法计算耳机的姿态；LSTM1模型侧重于根据动作序列的连续性，提取相关特征，对动作进行分类识别。本发明实施例，将两种方式相结合，大大降低了错误识别和控制的几率，作为后续目标动作识别模型LSTM2的输入，提供了最终目标动作识别的效率，简化了识别模型逻辑。

3)根据子动作识别结果、姿态计算结果和原始动作系列，采用第二神经网络模型进行识别，得到所述目标动作识别结果。

第二神经网络模型LSTM模型，第二神经网络模型LSTM2预先经过设定权重的训练，用于根据多个相关子动作序列识别表示佩戴者意图的目标动作。示例性地，权重训练包括空域注意力权重和时域注意力，对用户动作的关键时点和加速度关键值进行权重设置，从而在一系列连续原始序列中，提权关键动作，加强关键动作时点的在子动作识别中的作用，提高识别效率和准确性。

本发明实施例中，LSTM2基于连续动作序列进行模式(动作)识别，是一个迭代循环的计算过程，在迭代过程中，根据子动作识别结果和姿态计算结果作为限定或影响迭代方向的条件，从而可以更快更准确地完成目标动作识别。相比于对原始动作直接进行迭代计算识别，本发明的方法将动作完整动作识别拆分为子动作识别和连贯目标动作识别两个模型，简化了识别逻辑，提高了准确性，通过先验规则的限定，降低了错误率。

目标动作识别结果用于控制与所述耳机相应的终端功能，具体地，根据与耳机信号连接的终端应用确定工作模式，本发明实施例中，工作模式包括媒体播放模式和非播放模式，耳机与终端信号连接后，在媒体播放模式下，根据目标动作识别结果控制媒体播放动作；在非播放模式下，将所述目标动作识别结果转换为系统操作动作映射发送到所述终端应用，控制终端应用功能。示例性地，在播放音乐的过程中，通过点头进行暂停/播放控制，在用户进行指定的射击游戏界面时，通过左右探头动作转换为系统操作映射，如手机系统的向左滑屏、向右滑屏等系统操作，即通过操作映射的输出激发终端底层执行与向左向右滑屏相应的处理程序，来控制游戏中的人物进行探头射击。

基于相同的发明构思，本发明实施例还提供一种基于耳机检测动作进行功能控制的系统，如图5所示，系统包括：

传感单元，用于设置在耳机中，采集佩戴者动作信息；

动作识别单元，用于基于所述动作信息，采用神经网络算法和先验规则识别目标动作；

输出单元，用于将目标动作识别结果输出到与所述耳机相应的被控制终端能。

其中，动作信息为原始动作序列；

动作识别单元包括：

第一识别单元，所述第一识别单元用于对所述原始动作序列采用第一神经网络模型进行深度特征提取，得到子动作识别结果；第一识别单元在采用第一神经网络模型进行深度特征提取前，根据人工标注数据，训练所述第一神经网络模型进行监督性学习。本发明实施例中，第一识别单元为LSTM模型,其具体工作方式可根据上述方法实施例中LSTM1得出，不再赘述。

第二识别单元，所述第二识别单元用于基于所述原始动作序列，根据先验规则识别，得到姿态计算结果；第二识别单元根据先验规则识别，得到姿态计算结果包括：判断所述原始动作序列中的动作幅度和持续时间是否满足相应的动作阈值。

第三识别单元，所述第三识别单元用于根据所述子动作识别结果、所述姿态计算结果和所述原始动作系列，采用第二神经网络模型进行识别，得到所述目标动作识别结果。本发明实施例中，第三识别单元为LSTM模型,其具体工作方式可根据上述方法实施例中LSTM2得出，不再赘述。

本发明实施例中，传感单元和输出单元设置在耳机中，耳机与终端通过有线或无线方式连接。对于动作识别单元设置的位置不做限制。在一个实施例中，可以将动作识别单元设置在耳机中，在这种情况下，只需要通过耳机就可以完全实现系统功能，即通过头部动作控制连接的终端应用。并且降低了与终端通信的频率。同时，支持动作识别单元程序升级，以便优化识别效率和效果。在另外的实施例中，将动作识别单元各子单元(第一识别单元、第二识别单元、第三识别单元)部分或全部地设置在用于与耳机连接的终端上，以便充分利用终端CPU进行快速高效的识别。

本发明实施例中的系统同样可以根据识别结果控制终端应用的音视频播放或非播放模式下的终端操作映射。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于耳机检测动作进行功能控制的方法，其特征在于，包括：

所述耳机通过传感器采集佩戴者动作信息；

基于所述动作信息，采用神经网络算法和先验规则识别目标动作；

所述目标动作识别结果用于控制与所述耳机相应的终端功能。

2.根据权利要求1所述的基于耳机检测动作进行功能控制的方法，其特征在于，

所述动作信息为原始动作序列；

所述采用神经网络算法和先验规则识别目标动作包括：

对所述原始动作序列采用第一神经网络模型进行深度特征提取，得到子动作识别结果；

基于所述原始动作序列，根据先验规则识别，得到姿态计算结果；

根据所述子动作识别结果、所述姿态计算结果和所述原始动作系列，采用第二神经网络模型进行识别，得到所述目标动作识别结果。

3.根据权利要求2所述的基于耳机检测动作进行功能控制的方法，其特征在于，

在采用第一神经网络模型进行深度特征提取前，根据人工标注数据，训练所述第一神经网络模型进行监督性学习。

4.根据权利要求2所述的基于耳机检测动作进行功能控制的方法，其特征在于，

所述根据先验规则识别，得到姿态计算结果包括：判断所述原始动作序列中的动作幅度和持续时间是否满足相应的动作阈值。

5.根据权利要求2所述的基于耳机检测动作进行功能控制的方法，其特征在于，

所述第二神经网络模型为LSTM模型，所述LSTM模型预先经过设定权重的训练，用于根据多个相关子动作序列识别表示佩戴者意图的目标动作。

6.根据权利要求1-5中任一项所述的基于耳机检测动作进行功能控制的方法，其特征在于，所述目标动作识别结果用于控制与所述耳机相应的终端功能包括：

根据与所述耳机信号连接的终端应用确定工作模式；

在媒体播放模式下，根据所述目标动作识别结果控制媒体播放动作；

在非播放模式下，将所述目标动作识别结果转换为系统操作动作映射发送到所述终端应用，控制终端应用功能。

7.一种基于耳机检测动作进行功能控制的系统，其特征在于，包括：

传感单元，用于设置在耳机中，采集佩戴者动作信息；

动作识别单元，用于基于所述动作信息，采用神经网络算法和先验规则识别目标动作；

输出单元，用于将目标动作识别结果输出到与所述耳机相应的被控制终端能。

8.根据权利要求7所述的基于耳机检测动作进行功能控制的系统，其特征在于，

所述动作信息为原始动作序列；

所述动作识别单元包括：

第一识别单元，所述第一识别单元用于对所述原始动作序列采用第一神经网络模型进行深度特征提取，得到子动作识别结果；

第二识别单元，所述第二识别单元用于基于所述原始动作序列，根据先验规则识别，得到姿态计算结果；

第三识别单元，所述第三识别单元用于根据所述子动作识别结果、

所述姿态计算结果和所述原始动作系列，采用第二神经网络模型进行识别，得到所述目标动作识别结果。

9.根据权利要求8所述的基于耳机检测动作进行功能控制的系统，其特征在于，

所述第一识别单元在采用第一神经网络模型进行深度特征提取前，根据人工标注数据，训练所述第一神经网络模型进行监督性学习。

10.根据权利要求8所述的基于耳机检测动作进行功能控制的系统，其特征在于，

所述第二识别单元根据先验规则识别，得到姿态计算结果包括：判断所述原始动作序列中的动作幅度和持续时间是否满足相应的动作阈值。

Images