CN108509048A - 一种智能设备的操控装置及其操控方法 - Google Patents

Abstract

本发明揭示了一种智能设备的操控装置和方法，装置包括感应使用者面部动作的感应模块、获取感应模块信号的控制器，以及连接控制器并将使用者指令发送至智能设备的通信模块，所述感应模块包括用于感应使用者面部局部位移信息的运动检测单元，以及用于感应使用者叩齿振动信号的振动检测单元。本发明的方法是一种利用面部动作对智能设备发出指令的人机交互方法，通过至少两个类型的传感器，在至少一个位置上采集面部动作产生的下颌骨运动变化，识别判定用户指令，并结合语音助手、屏幕助手等，能够让智能设备感受到更多维度的指令，用户操控更加简便、迅速、准确、隐秘。方法遵照人类最自然的交互形态，减轻人的认知负荷，增强人类的感觉通道和动作通道的能力。

Description

一种智能设备的操控装置及其操控方法

技术领域

本发明涉及电子设备领域，尤其涉及能够操控智能设备的外设装置。

背景技术

为了方便地操控众多种类和数量的“人工智能设备”，或者说“智能的物品”，让它们为人类服务。涌现了各种智能设备入口终端，用人类最自然的交互方式去操控集中到“入口”中的各种智能设备。

例如以智能音箱为代表的音控入口终端，用自然语音的交互方式，与语音操作系统(DUEROS等)或语音助手(Siri，Bixby等)进行互动，并操控智能电视、智能空调、智能灯、扫地机器人等。但是开启语音服务时需要物理按键激活(如Bixby)；或者用手触控耳机屏幕或壳体(双击AirPods壳体激活Siri)；或者插入耳机(百度语音)；或者释放双手只需说出一个唤醒词。中文一般是四个字，进入语音交互环节前都需要说“小爱同学”或“天猫精灵”，然后才能说出指令，这些方法不人性化，不方便。

现有技术中也有通过叩齿动作来实现操控智能设备的方法，如CN201110050659-《耳道控制装置》，CN02159261-《一种输入控制信号的方法及装置》、CN201110050659《耳道控制装置》等公开文献，上述公开文献大多采用一种或两种类型的传感器(如振动或压力)侦测叩齿动作产生的振动或压力大小；传感器仅仅被配置在人体的单一部位(如外耳道)，准确性差，设备难以判断当前叩齿是使用者咀嚼，还是使用者发出的指令，因此会存在误判断的情况。

发明内容

本发明所要解决的技术问题是实现一种能够精准获取使用者面部动作指令，并向智能设备发出操控信号的装置。

为了实现上述目的，本发明采用的技术方案为：一种智能设备的操控装置，装置包括感应使用者面部动作的感应模块、获取感应模块信号的控制器，以及连接控制器并将使用者指令发送至智能设备的通信模块，所述感应模块包括用于感应使用者面部局部位移信息的运动检测单元，以及用于感应使用者叩齿振动信号的振动检测单元。

所述运动检测单元设有至少一个接触使用者面部颞下颌关节处皮肤的压力传感器件或位移传感器件，所述振动检测单元为接触使用者头部并用于感受使用者牙齿叩击信号的振动传感器件。

所述运动检测单元包括植入或紧贴在接触使用者面部颞下颌关节处皮肤处的小磁体，以及固定在小磁铁外感应其位置变化的霍尔元件，所述振动检测单元为接触使用者头部并用于感受使用者牙齿叩击信号的振动传感器件。

所述运动检测单元还包括置于外耳道前壁的耳塞，以及固定在耳塞上的压力传感器件。

所述振动检测单元固定在使用者面部颞下颌关节处皮肤附近，或者通过耳塞固定在使用者的外耳道前壁内。

所述运动检测单元和振动检测单元通过固定装置固定在使用者头部，所述固定装置包括耳机、头盔、帽子、眼镜框、发箍，或者以植入方式固定在面部信号采集位置的植入元件。

所述智能设备为信号转接器、智能耳机、智能眼镜、智能手机、智能音箱、车载设备、智能穿戴、智能家居系统或智能家居系统中部分单元、智能医疗器材、智能玩具、电脑、智能运动器材、智能机器人或智能武器。

基于所述智能设备的操控装置的操控方法：

1)初始状态，感应模块中部分传感器实时获取使用者面部动作信息；

2)当获取的使用者面部动作信息与预存启动信息匹配成功，则唤醒智能设备的操控装置，感应模块的全部传感器开始实时获取使用者面部动作信息；

3)当获取的使用者面部动作信息与预存指令信息匹配成功，则控制装置将相应指令发送至智能设备；

4)若在设定时间内未获取到与预存指令信息匹配成功的使用者面部动作信息，或者与获取使用者面部动作信息匹配成功的预存指令信息为初始状态，则返回初始状态。

所述的面部动作信息包括运动检测单元所采集的下颌骨的皮肤运动方向、运动距离、运动次数、间隔时间、停留时间信息，以及振动检测单元所采集的牙齿叩击振动力度、振动频率和振动次数。

基于所述操控方法的安全保护方法，当运动检测单元和振动检测单元获取的使用者面部动作信息与预存的隐藏或限制部分APP指令信息匹配成功,则控制器通过通信模块向智能设备发送隐藏或限制预设APP信号，智能设备接收到信号后，将预先设定需要隐藏的APP在桌面隐藏，或/和限制APP的部分权限和功能。

本发明是一种利用面部动作对智能设备发出指令的人机交互装置和方法，通过至少两个类型的传感器，在至少一个位置上采集面部动作产生的下颌骨运动变化，识别判定用户指令，并结合语音助手、屏幕助手等，能够让智能设备感受到更多维度的指令(语音、动作、触摸)，方法遵照人类最自然的交互形态，减轻人的认知负荷，增强人类的感觉通道和动作通道的能力，该装置更加适应于人，使得智能设备的操控更加简便、迅速、准确、隐秘，极大地改善了用户体验。

附图说明

下面对本发明说明书中每幅附图表达的内容作简要说明：

图1为智能设备的操控装置原理图；

图2为智能设备的操控装置工作原理图；

图3为智能设备的操控装置控制方法流程图；

图4为实施例1智能设备的操控装置示意图；

图5为实施例2智能设备的操控装置示意图；

图6为霍尔元件工作原理。

具体实施方式

本发明通过运动检测单元和振动检测单元检测人体面部动作引起的颞下颌关节(耳屏外侧)周围的各种运动变化，或/和外耳道受下颌骨运动的挤压形变，以及头骨的不同方式的振动，识别其面部动作的预定义的行为动作，来替代其他人机互动方式输出预定义的控制信号，通过运动检测单元和振动检测单元相互配合，能够精确识别使用者的面部预定义的行为动作。

关于运动检测单元的固定位置选择，原理是人体面部动作产生的下颌骨运动变化，是通过人体头部的咀嚼肌群、韧带、颞下颌关节等相互协调而形成的。

其中颞下颌关节主要由颞骨关节面、下颌骨髁状突、居于二者之间的关节盘、关节周围的关节囊和关节韧带(颞下颌韧带、蝶下颌韧带、茎突下颌韧带)组成。是人体唯一具有转动和滑动的左右联动关节，是人体中最复杂的关节之一，即颞下颌关节位于耳屏的前方。

其中咀嚼肌包括咬肌、颞肌、翼内肌、翼外肌。上提下颌骨的是咬肌、颞肌、翼内肌；拉下颌骨向后的是颞肌；拉下颌骨向前的是翼内肌、翼外肌和咬肌。使下颌骨左右侧动的是颞肌、翼内肌和翼外肌。

在耳屏外侧可以明显地检测到下颌骨中的下颌头的运动，以及大部分咀嚼肌群的运动。也可以检测到头骨振动。在外耳道的前壁也可检测到下颌头的后部的运动。例如叩齿时下颌骨上提，下颌头后部向上挤压外耳道，外耳道的前壁产生不同的形变。

例如叩击右齿两次的动作，骨骼运动可以分解为：下颌骨的下拉→下颌骨右向运动→下颌骨的上提→上下牙齿的撞击→下颌骨的下拉→下颌骨的上提→上下牙齿的撞击。

肌肉运动可分解为：降颌肌群运动→颞肌、翼内肌和翼外肌运动→咬肌、颞肌、翼内肌运动→降颌肌群运动→颞肌、翼内肌和翼外肌运动。

在耳屏外侧引起：下颌骨下降→右侧皮肤凸起和左侧皮肤轻微凹陷→下颌骨上升→头骨振动→下颌骨下降→下颌骨上升→头骨振动。

在外耳道引起：外耳道前壁的下端向下微降→右侧外耳道的前壁向右方微移，同时左侧外耳道的前壁向右方微移→前壁的下端受下颌头挤压上升→头骨振动→外耳道前壁的下端向下微降→前壁的下端受下颌头挤压上升→头骨振动。

本发明通过在使用者耳屏外侧和/或外耳道的前壁固定运动检测单元，并在使用者面部固定用于感应牙齿叩击声音的振动检测单元，并将所采集的信号输送至控制器，控制器根据这些数据进行计算，与预存的指令表格比对，即综合识别出使用者面部动作产生的下颌骨运动变化，解析出预定义的人体面部动作所对应的预定义指令，并输出指令；输出的指令通过通讯模块发送至智能设备。通过运动检测单元和振动检测单元双重识别，解决了现有技术中单一位置采集，单一类型传感器识别的识别不准确和错误率高的问题。

针对运动检测单元和振动检测单元的固定位置，具有以下两种实施例：

实施例1、如图4所示接触型智能设备的操控装置，感应模块接触或紧贴人体面部颞下颌关节(耳屏外侧)皮肤，一般单侧设置一组即可，包含运动检测单元，其中有至少一个位移或/和压力传感器的传感构件或/和传感器；振动检测单元，其中有一个振动传感器的传感构件或/和传感器；

工作时，使用者连续重叩齿2次，引起的颞下颌关节(耳屏外侧)周围皮肤不同方向和距离的运动，不同大小的压力，以及头骨的不同方式的振动；振动检测单元中的振动传感器接收到用户牙齿振动；运动检测单元中的一个或多个压力传感器检测到下颌骨运动的挤压力变化；运动检测单元中的一个或多个位移传感器检测到下颌骨运动的位移情况。

控制器根据这些数据计算出使用者的下颌骨做了2次上下运动，同时产生了2次力度较大的振动。综合识别出使用者的动作是：连续重叩齿2次。解析出该预定义的动作所对应的指令，输出该指令；通讯模块传输该指令给智能设备。智能设备接收到指令后执行相应指令。

实施例2、如图5所示非接触型智能设备的操控装置，感应模块中的运动检测单元设有植入或紧贴人体面部颞下颌关节(耳屏外侧)皮肤的至少一个小磁体(永磁铁)，小磁铁的磁场强度与霍尔元件相匹配。该永磁体体积很小，可以像贴花一样美观方便地粘贴或植入皮肤上，在皮肤外的小磁体上设置有霍尔元件，用于测量霍尔元件与小磁铁之间的相对位移变化，此外，运动检测单元还设有安置于耳机入耳端位置的至少一个压力传感器或/和压力检测单元，入耳端由弹性材料制作，以便将下颌骨运动的挤压力传导至压力传感器；振动检测单元是安置于入耳端或耳机体中的振动传感器。

使用者向左边较大幅度移动并叩齿一次，引起的颞下颌关节(耳屏外侧)周围皮肤不同方向和距离的运动，不同大小的压力，以及头骨的不同方式的振动；

皮肤上的小磁体随下颌骨向左边较大幅度地移动，霍尔元件产生的霍尔电动势发生变化。当小磁体运动到最近点，外加霍尔元件处的磁场强度B达到最高值，所产生的霍尔电动势U_H也达到最高值。从而测量出左向运动的幅度大小。运动检测单元中置于耳朵内的一个或多个压力传感器用于检测外耳道受下颌骨运动的挤压力变化；振动检测单元中的振动传感器监测到用户牙齿振动。

控制器根据这些数据计算出使用者的下颌骨做了1次最大幅度的左向运动，1次上下运动，同时发出了1次振动。综合识别出使用者的动作是：向左边较大幅度移动并叩齿一次。解析出该预定义的动作所对应的指令，并输出该指令；通讯模块传输该指令给智能设备，执行命令。

上述压力传感器包括但不限于：电阻应变片压力传感器、半导体应变片压力传感器、压阻式压力传感器、电感式压力传感器、电容式压力传感器、光纤压力传感器、扩散硅压力传感器、压电式压力传感器、应变片压力传感器、蓝宝石压力传感器、陶瓷压力传感器等。

上述振动传感器包括但不限于：加速度计、力传感器、阻抗头、敲击力锤、转速探头、振动校准器等。

上述位移传感器包括但不限于：电感式位移传感器，电容式位移传感器，光电式位移传感器，超声波式位移传感器，霍尔式位移传感器，霍尔开关，磁阻式位移传感器、光纤位移传感器、光学三角位置传感器、数字式位移传感器等。

上述智能设备包括但不限于：信号转接器、智能耳机、智能眼镜、智能手机、智能音箱、车载设备、智能穿戴、智能家居系统或智能家居系统中部分单元、智能医疗器材、智能玩具、电脑、智能运动器材、智能机器人或智能武器；其中信号转接器为信号转换器，类似USB形式的外置无线网卡，USB形式的外置无线蓝牙设备，(连接形式不限于USB)用于与智能设备连接，建立与操控装置的无线通信关系。

上述通讯模块的连接方式包括但不限于：蓝牙、WiFi、nfc、lineout、Nb-iot、LoRa、ZigBee、红外通讯技术。

上述运动检测单元和振动检测单元通过固定装置固定在使用者头部，固定装置包括但不限于：耳机、头盔、帽子、眼镜框或发箍，或者以植入方式固定在面部信号采集位置的植入元件。

如图3所示，操控智能设备方法：

A)装置开启后处于初始状态，装置感应模块中的部分传感器开启，其他处于关闭状态，这样能够减少装置的计算力，降低能耗；

B)处于初始状态下，当前已开启的部分传感器实时获取用户面部动作信息；

C)装置预设有开启感应模块中全部传感器的面部动作信息(命名为动作X)，当已开启的部分传感器采集到的用户面部动作信息与动作X匹配成功，则开启感应模块的全部传感器，例如此时开启所有传感器，提供“面部动作操控”的所有功能；解决了现有技术中传感器全部开启所造成的高计算量和高能耗问题，同时剔除了其他动作的干扰，极大地降低了错误率；

D)此时，感应模块能够感应到更加准确和细致的面部动作信息，并将获取的面部动作信息与预存的动作指令逐一比对(匹配)，若存在预存动作指令与获取的面部动作信息相匹配，则将该预存动作指令所对应的操作指令发送至智能设备或/和软件；

E)智能设备执行操作指令对应的操作并反馈用户；

F)若在设定时间内未获取到与预存指令信息匹配成功的使用者面部动作信息，或者与获取使用者面部动作信息匹配成功的预存指令信息为初始状态，则返回A)，这样能够在合理条件下，返回A)，持续保持低电耗状态，也不会影响用户使用。

实施例1、其中“检测识别人体面部动作产生的下颌骨运动的动作”的方法，可以是是通过运动检测单元，振动检测单元，两个单元感知、侦测下颌骨运动的动作特征。如下颌骨运动产生的运动方向、运动距离、运动次数、间隔时间、停留时间，以及头骨传导的牙齿受迫振动后发生的振动力度、振动间隔时间和振动次数。通过相同位置的两个不同传感器进行冗余处理，解决了现有技术中单一类型传感器检测的识别不准确和错误率高的问题。

实施例2、其中“检测识别人体面部动作产生的下颌骨运动的动作”的方法，也可以是通过运动检测单元，一个单元感知、侦测下颌骨运动的动作特征。如下颌骨运动产生的运动方向、运动距离、运动次数、间隔时间、停留时间，以及头骨传导的牙齿受迫振动后发生的振动力度、振动间隔时间和振动次数，同时通过另一个振动检测单元，将其放置在人体的耳屏外侧或/和外耳道的前壁，获取挤压信号。通过两个不同位置的传感器获取信号，解决了现有技术中单一位置采集的识别不准确和错误率高的问题。

现有技术中大多是在外耳道侦测，通过以上分解和实验证明，由于使用者在佩戴和使用耳机的过程中，很难保证耳机与外耳道内壁的位置不发生移动，因而传感器的数据会产生很多变量。所以在外耳道一个位置侦测时，对传感器的精度和安装位置有很高要求，并且增加了计算量，从而极大地影响了下颌骨动作识别的准确率，尤其是左右方向的识别。

上述控制方法还包括，能够与其他软件程序结合或配置使用的控制方法。如用面部动作简便开启(唤醒)关闭、限制各类智能设备中的软件(程序)的运行。如用叩齿动作替代唤醒词，唤醒手机、智能音箱中的语音助手，解决目前技术中需要不停说“小爱同学”唤醒词的问题。

关于使用者面部动作(预存的动作指令)的定义，可根据相配合使用的智能设备需要而自行定义，每个动作指令均有一个相应的智能设备执行信号。

如图2所示，使用者面部动作可以通过传感器采集的人体面部动作产生的下颌骨运动状态，包括运动检测单元监测下颌骨动作所引起的颞下颌关节周围的各种运动变化，或/和外耳道的挤压形变；振动检测单元监测头骨的不同方式的振动，获取到的数据包括下颌骨的运动方向、运动距离、运动次数、间隔时间、停留时间、振动力度、振动间隔时间和振动次数等数据。

针对上述操控方法，至少设定一个预定义动作为智能设备或软件的安全保护方法(如命名为“安保开关”)。可以在遇到紧急情况时，隐秘地开启智能设备或软件的各级别“安保开关”。

以手机为例，例如被坏人绑架，要求将所有钱通过手机银行转账到同伙的卡上，用户生命受到威胁，肯定不能采取苹果公司的应对方案(在交出手机前，同时按住电源和音量键，让FaceID禁用)。只能乖乖的配合用人脸解锁手机，交出手机和APP的全部控制权，否则性命堪忧。而本系统能够隐蔽地控制智能设备或软件启动安全功能。如做预定义动作“叩齿一次停顿后再叩齿三次”，即打开手机安保开关，所连接的智能手机按照设定，进入“安全模式”，自动操作例如隐藏部分APP，限制支付宝消费额度等，同时发送位置和报警，交出的只是部分控制权，在让犯罪分子尝到点甜头的同时，为警方解救自己赢得了时间。从而既避免了大量财物损失和隐私的泄露。解决了现有技术中对此类安全保护方法的缺失。

由于用户的人脸、声音、指纹等是智能设备的解锁钥匙，因此当用户被犯罪分子挟持时，会受迫解锁或操作智能设备，而造成财产损失，利用本装置，用户可以通过极其隐蔽和简单的叩齿动作开启安保开关，犯罪分子无法阻止甚至难以发现，所以犯罪分子用绑架手段谋财只能是惹祸上身，从而彻底打消了他们的歪念，消除了威胁用户生命的安全隐患。

上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (10)

1.一种智能设备的操控装置，装置包括感应使用者面部动作的感应模块、获取感应模块信号的控制器，以及连接控制器并将使用者指令发送至智能设备的通信模块，其特征在于：所述感应模块包括用于感应使用者面部局部位移信息的运动检测单元，以及用于感应使用者叩齿振动信号的振动检测单元。

2.根据权利要求1所述的智能设备的操控装置，其特征在于：所述运动检测单元设有至少一个接触使用者面部颞下颌关节处皮肤的压力传感器件或位移传感器件，所述振动检测单元为接触使用者头部并用于感受使用者牙齿叩击信号的振动传感器件。

3.根据权利要求1所述的智能设备的操控装置，其特征在于：所述运动检测单元包括植入或紧贴在接触使用者面部颞下颌关节处皮肤处的小磁体，以及固定在小磁铁外感应其位置变化的霍尔元件，所述振动检测单元为接触使用者头部并用于感受使用者牙齿叩击信号的振动传感器件。

4.根据权利要求3所述的智能设备的操控装置，其特征在于：所述运动检测单元还包括置于外耳道前壁的耳塞，以及固定在耳塞上的压力传感器件。

5.根据权利要求1、2、3或4所述的智能设备的操控装置，其特征在于：所述振动检测单元固定在使用者面部颞下颌关节处皮肤附近，或者通过耳塞固定在使用者的外耳道前壁内。

6.根据权利要求5所述的智能设备的操控装置，其特征在于：所述运动检测单元和振动检测单元通过固定装置固定在使用者头部，所述固定装置包括耳机、头盔、帽子、眼镜框、发箍，或者以植入方式固定在面部信号采集位置的植入元件。

7.根据权利要求1或6所述的智能设备的操控装置，其特征在于：所述智能设备为信号转接器、智能耳机、智能眼镜、智能手机、智能音箱、车载设备、智能穿戴、智能家居系统或智能家居系统中部分单元、智能医疗器材、智能玩具、电脑、智能运动器材、智能机器人或智能武器。

8.基于权利要求1-7所述智能设备的操控装置的操控方法，其特征在于：

1)初始状态，感应模块中部分传感器实时获取使用者面部动作信息；

2)当获取的使用者面部动作信息与预存启动信息匹配成功，则唤醒智能设备的操控装置，感应模块的全部传感器开始实时获取使用者面部动作信息；

3)当获取的使用者面部动作信息与预存指令信息匹配成功，则控制装置将相应指令发送至智能设备；

4)若在设定时间内未获取到与预存指令信息匹配成功的使用者面部动作信息，或者与获取使用者面部动作信息匹配成功的预存指令信息为初始状态，则返回初始状态。

9.根据权利要求8所述的操控方法，其特征在于：所述的面部动作信息包括运动检测单元所采集的下颌骨的皮肤运动方向、运动距离、运动次数、间隔时间、停留时间信息，以及振动检测单元所采集的牙齿叩击振动力度、振动频率和振动次数。

10.基于权利要求8和9所述操控方法的安全保护方法，其特征在于：当运动检测单元和振动检测单元获取的使用者面部动作信息与预存的隐藏或限制部分APP指令信息匹配成功,则控制器通过通信模块向智能设备发送隐藏或限制预设APP信号，智能设备接收到信号后，将预先设定需要隐藏的APP在桌面隐藏，或/和限制APP的部分权限和功能。