CN111374677A - 用于识别头部动作的设备及方法 - Google Patents

Abstract

本发明提供了一种用于识别头部动作的设备，所述设备包括用于识别眼部动作的摄像装置、用于识别头部动作的姿态传感器、用于接受和处理所述摄像装置的电信号和所述姿态传感器的电信号的控制装置、用于佩戴于头部的佩戴装置，所述姿态传感器安装于所述佩戴装置上。本发明所提供的用于识别头部动作的设备能够实现将使用者的头部动作作为指令信息。

Description

用于识别头部动作的设备及方法

技术领域

本发明涉及一种用于识别头部动作的设备。本发明还涉及一种用于识别头部动作的方法。

背景技术

康复辅助机器人近年来已经成为独立的机器人大类，包括穿戴式外骨骼、智能假肢、智能轮椅等。在这些康复辅助机器人中，穿戴式外骨骼机器人可穿戴于患者身上，对人体运动能力有一定的补偿，但存在体积大，重量大，佩戴不舒服等缺陷。具有代表性的穿戴式外骨骼机器人是BLLEEX助力型外骨骼机器人。智能假肢主要是通过安装假肢完成丧失的功能，但大都是基于残余肢体肌电信号进行控制。智能假肢包括德国Reiter研制的假手以及德国OttoBock公司和Viennatone合作研发的肌电假肢系统等。智能假肢要求使用者肌肉功能良好，而老年人一般肌肉功能下降，因此不适合老年人使用。智能轮椅目前已有大量研究，但其自由度少，功能有限。智能轮椅包括匹兹堡大学Cooper等人制作的手动激活助力轮椅以及日本Keigo Shiral等人开发的Glimmer全方位轮椅等。将轮椅和机械臂结合起来使用可增加其通用性。

现有轮椅机械臂大致分为以下两种，一种需要人对外部设备进行手动操作，不适用于手部不能行动的残疾人。如荷兰Exact Dynamics公司生产的轮椅机械臂系统iRAM，但是这一系统的机械臂控制方式为16键的软键盘配合一个2D操作杆，用户需要切换各关节的控制来实现机械臂的运动。加拿大Kinova公司发布的产品JACO控制方式以操作杆操作为主。另一种则是由机器去料理人的生活，鲜有人机交互，不能照顾到使用者的感受，如定时电动轮椅机械臂。由于脑控系统有很好的自动化程度以及人机交互性，故近年来脑控系统成为研究热点。但是，传统的脑控系统需采集脑电信号来控制外部设备。由于脑电信号在实际运动过程中会随时间发生变化，目前对大脑进行运动控制的原理尚未完全破解，以及感觉反馈通路的缺失，所以单靠大脑一个控制器是远远不够的。

为了适用于手部不能行动的残疾人，需要开发新的识别残疾人指令信息的方法，用于控制包括各种康复辅助机器人在内的智能设备。

发明内容

有鉴于现有技术的上述缺陷，本发明提供了一种用于识别头部动作的设备，要解决的技术问题是实现将使用者的头部动作作为指令信息。

为解决上述技术问题，本发明所提供的用于识别头部动作的设备包括用于识别眼部动作的摄像装置、用于识别头部动作的姿态传感器、用于接受和处理所述摄像装置的电信号和所述姿态传感器的电信号的控制装置、用于佩戴于头部的佩戴装置，所述姿态度传感器安装于所述佩戴装置上。

优选地，所述控制装置包括眼部动作识别模块和头部动作识别模块，所述眼部动作识别模块和所述头部动作识别模块被配置成：当所述眼部动作识别模块识别到预定眼部动作信息后，所述头部动作识别模块开始识别头部动作信息。

优选地，所述预定眼部动作信息为：单眼眨眼或者双眼在预定眨眼间隔时间内眨眼两次以上。

优选地，所述预定眨眼间隔时间为0.2～2秒。

优选地，所述头部动作识别模块被配置成：当头部动作为以下其中之一时，所述头部动作识别模块判定为使用者的指令信息：

1)头部向前转动并到达向前预定角度，或者，头部向后转动并到达向后预定角度；

2)头部向左转动并到达向左预定角度，或者，头部向右转动并到达向右预定角度；

3)从头顶方向看，头部顺时针转动并到达顺时针预定角度，或者，头部逆时针转动并到达逆时针预定角度；

4)以上三种头部动作中任意两种的组合；

5)以上头部动作以及回归原位动作的顺序排列；

所述向前预定角度、向后预定角度、向左预定角度、向右预定角度基于所述头部动作识别模块开始识别头部动作信息时头部的位置来判定，所述回归原位动作指的是回到所述头部动作识别模块开始识别头部动作信息时头部的位置。

优选地，所述向前预定角度、向后预定角度、向左预定角度、向右预定角为5～45度。

优选地，所述姿态传感器包括加速度传感器、和/或角速度传感器、和/或地磁传感器。

优选地，所述佩戴装置为眼镜或眼镜框，所述摄像装置包括一个或多个摄像头，所述摄像头以固定的方式或可脱卸的方式安装于所述眼镜或眼镜框的前部和/或侧部。

本发明还提供了一种用于识别头部动作的方法，所述方法包括如下步骤：

1)提供摄像装置、姿态传感器、控制装置，所述控制装置具有眼部动作识别模块和头部动作识别模块；

2)通过所述摄像装置监测眼部动作，并将图像信息传递给所述眼部动作识别模块；

3)当所述眼部动作识别模块识别到预定眼部动作信息后，所述头部动作识别模块开始接受或停止接受所述姿态传感器监测的头部动作信息；

4)当所述头部动作识别模块识别到预定头部动作信息后，将该预定头部动作信息转化为指令信息进行传递；

5)当所述头部动作识别模块未在头部动作预定时间内识别到预定头部动作，所述控制装置停止接受所述姿态传感器检测的头部动作信息。

优选地，所述头部动作预定时间为0.5～5秒。

本发明的有益效果为：通过眼部动作的监控以及头部运动的监控，无需复杂的脑控系统就能完成指令的生成，特别适用于手部不能行动的残疾人，而且使用简单。

具体实施方式

除非另作定义，在本说明书和权利要求书中使用的技术术语或者科学术语应当为本发明所属技术领域内具有一般技能的人士所理解的通常意义。

以下将描述本发明的具体实施方式，需要指出的是，在这些实施方式的具体描述过程中，为了进行简明扼要的描述，本说明书不可能对实际的实施方式的所有特征均作详尽的描述。在不偏离本发明的精神和范围的情况下，本领域技术人员可以对本发明的实施方式进行修改和替换，所得实施方式也在本发明的保护范围之内。

传统的康复辅助机器人，一般采用手动控制或者脑电信号控制，前者对于手部残疾或行动不便的患者来说，控制困难；而后者结构复杂，且控制存在较大的不确定性和不稳定性。因此本发明提供一种用于识别头部动作的设备，然后去实现包括康复辅助机器人在内的智能设备的控制。

本发明所提供的用于识别头部动作的设备包括摄像装置、姿态传感器、控制装置。其中，摄像装置的作用是识别眼部动作；姿态传感器的作用是识别头部动作；摄像装置和姿态传感器与控制装置进行有线或无线连接，主要作用是接受和处理摄像装置和姿态传感器的电信号。控制装置可以与包括各种康复辅助机器人在内的智能设备连接，以控制相应的执行机构。例如，控制电动轮椅，或者，控制智能抓取装置。控制装置控制智能设备的技术细节可以在各种现有专利文献或其它文献中找到，在此不再详述。

本发明所提供的设备所要解决的主要技术问题是，识别使用者的头部动作，并将其作为指令信息。

为了解决该技术问题，控制装置包括眼部动作识别模块和头部动作识别模块，眼部动作识别模块和头部动作识别模块被配置成：当眼部动作识别模块接受到预定眼部动作信息后，头部动作识别模块开始接受头部动作信息。本发明所提供的设备主要分成两个功能模块，一个用于判定使用者是否有使用该设备的意图，即眼部动作识别模块接受来自于摄像装置的信号，分析眼部动作，若眼部动作满足设定条件，才开始后续动作，这样可以避免设备发出不当信号，使智能设备进行不当活动，对使用者造成伤害。当眼部动作识别模块分析使用者确实有使用需求时，头部动作识别模块才开始工作，并接受来自于姿态传感器的信号，根据使用者头部运动情况，控制对应的智能设备运行。

作为一种优选的具体实施方式，预定眼部动作信息可以为：单眼眨眼或双眼在预定眨眼间隔时间内眨眼两次以上。单眼眨眼、双眼眨眼动作具有一定的特异性，即只有在使用者有意识的控制之下才会做这些动作。通过特异性眼部动作，给出使用者想要使用智能设备意愿的信号。另外，不同的特异性眼部动作，可以表示不同的指令，例如，单眼眨眼表示开启，双眼在预定眨眼间隔时间内眨眼两次以上代表关闭。本申请发明人通过试验发现，使用者在通过连续眨眼两次表示指令信息时，通常都会在0.2～2秒内完成两次眨眼，也就是说，预定眨眼间隔时间设置为0.2～2秒。另外，大多数使用者表示，在2秒内完成两次眨眼可以被视为连续的两次眨眼，时间再长通常不能接受。对眼部动作的监测通过摄像头来实现，摄像头获取的眼部图像信息实时传递给控制装置的眼部动作识别模块，眼部动作识别模块通过图像识别技术判断眼部动作是否为预定眼部动作信息。摄像头的配置、眼部动作识别模块的硬件、以及图像识别技术的软件都为本领域所熟知的技术，在此不再详述。

作为一种优选的具体实施方式，头部动作识别模块可以被配置成：当头部动作为以下其中之一时，头部动作识别模块判定为使用者的指令信息：

1)头部向前转动并到达向前预定角度，或者，头部向后转动并到达向后预定角度；

2)头部向左转动并到达向左预定角度，或者，头部向右转动并到达向右预定角度；

3)从头顶方向看，头部顺时针转动并到达顺时针预定角度，或者，头部逆时针转动并到达逆时针预定角度；

4)以上三种头部动作中任意两种的组合；

5)以上头部动作以及回归原位动作的顺序排列；

上述向前预定角度、向后预定角度、向左预定角度、向右预定角度基于所述头部动作识别模块开始识别头部动作信息时头部的位置来判定，所述回归原位动作指的是回到所述头部动作识别模块开始识别头部动作信息时头部的位置。

人的头部的动作由颈椎控制，人的颈椎是一个自由度比较高的结构。在颈椎极其相关肌肉的控制下，人的头部的运动的轴线为：前后轴(轴向为前后)、左右轴(轴向为左右)、上下轴(轴向为上下)。这样，人的头部的单轴运动可以分为：头部向前转动并到达向前预定角度，或者，头部向后转动并到达向后预定角度(围绕左右轴)；头部向左转动并到达向左预定角度，或者，头部向右转动并到达向右预定角度(围绕前后轴)；从头顶方向看，头部顺时针转动并到达顺时针预定角度，或者，头部逆时针转动并到达逆时针预定角度(围绕上下轴)。

很显然，使用者在通过转头动作进行指令时，通常与正前方、正后方、正左方向、正右方向存在一定的偏差角度。因此，可以将“头部向前转动”定义为正前方向左偏45度到正前方向右偏45度的范围内；同理，可以将“头部向后转动”定义为正后方向左偏45度到正后方向右偏45度的范围内；可以将“头部向左转动”定义为正左方向左偏45度到正左方向右偏45度的范围内；可以将“头部向右转动”定义为正右方向左偏45度到正右方向右偏45度的范围内。

另外，使用者在通过转头动作进行指令时，需要使用者向某个方向转动角度达到预定角度时，才能判定为明确的指令信息。本申请发明人通过对多名使用者进行试验后发现，头部向前转动并到达大约5～45度左右比较合适，这里所说的5～45度度指的是以水平面为基准头部向下转动的角度，也就是说，向前预定角度为5～45度左右。在这个角度下，既可以防止将轻微的并没有携带明确指令信息的转头动作误判为指令信息，也不至于令使用者在通过转头动作发出指令信息时觉得不适。同样地，向后预定角度、向左预定角度、向右预定角度也优选为5～45度左右。

以上描述了头部动作中三种最基本的单轴转动。很显然，人的头部动作可以更复杂，一种典型的更复杂的头部动作是组合两种单轴转动。例如，可以组合向前转动和顺时针转动。实现该种组合的过程可以是，头部先向前转动达到向前预定角度(组合一)，然后逆时针转动达到逆时针预定角度；实现该种组合的过程也可以是，头部先逆时针转动达到逆时针预定角度，然后向前转动达到向前预定角度；实现该种组合的过程还可以是，头部向前转动达到向前预定角度的同时，头部逆时针转动达到逆时针预定角度。再例如，可以组合向前转动和向左转动(组合二)。组合二和组合一的区别在于：在组合一中，整个头部向正前方倾斜，脸部偏向左方；在组合二中，整个头部向正左前方倾斜，脸部依旧朝向前方或下方。很显然，向前转动也可以和向右转动组合，还可以和顺时针转动组合；向左转动/向右转动也可以和顺时针转动/逆时针转动组合。

另一种更复杂的头部动作是以上头部动作的顺序排列，这里所说的“顺序排列”指的是，在时间上的串联。例如，向前转动和向左转动的顺序排列：先向前转动到达向前预定角度，然后回归原位(也就是头部动作识别模块开始识别头部动作信息时头部的位置)，然后向左转动达到向左预定角度。这里所说的“顺序排列”和上面所说的“组合”的主要区别就在于，是否存在“回归原位”的步骤：存在“回归原位”的步骤代表“顺序排列”，不存在“回归原位”的步骤则代表“组合”。很显然，在上面所描述的六种单轴运动以及多种组合运动来说，任意两种都可以进行顺序排列，例如，向前转动和向后转动的顺序排列，向前转动-向左转动组合和向后转动的顺序排列，向后转动-向右转动组合和向前转动-向左转动组合的顺序排列。而且，顺序排列还可以是相同动作的顺序排列，例如，向前转动和向前转动的顺序排列。

头部动作通过姿态传感器来识别。姿态传感器可以包括加速度传感器、和/或角速度传感器、和/或地磁传感器。可以采用单个姿态传感器测量头部动作，例如，利用角速度传感器测量头部向前转动的角度，也可以结合不同姿态传感器测量，例如，同时利用加速度传感器和角速度传感器测量头部顺时针转动的角度。本发明中采用的姿态传感器的硬件和软件设置，均为本领域所熟知的现有技术，在此不再详述。

当使用者完成指令信息的输出后，可以通过各种方式关闭头部动作的检测状态。例如，可以通过眼部动作关闭头部动作的检测状态，就像上面所述的开启头部动作的检测状态，眼部动作识别模块可以被配置成：当眼部动作识别模块接受到预定眼部动作信息后，头部动作识别模块停止接受头部动作信息，如单眼眨眼或双眼在预定时间内眨眼两次以上。还可以将头部动作中的一种或几种作为关闭头部动作的检测状态的指令信息，例如，头部向右后转动并到达向右后预定角度。还可以设置：当头部动作识别模块未在头部动作预定时间(例如，0.5～5秒)内识别到预定头部动作，控制装置停止接受姿态传感器检测的头部动作信息。

作为一种优选的具体实施方式，摄像装置、姿态传感器、控制装置可以安装于佩戴装置上，特别是佩戴于头部的装置，例如眼镜或眼镜框。安装可以是固定的方式，也可以是可脱卸的方式。当然，作为该具体实施方式的变形，摄像装置和控制装置也可以安装于其它部位，例如，轮椅的某个支架上，控制装置也可以佩戴于人身的其它部位，例如，腰部。姿态传感器必须佩戴于头部，除眼镜和眼镜框外，姿态传感器也可以通过其它方式佩戴于头部。

摄像装置可以包括一个摄像头，也可以包括多个摄像头，甚至是更多个摄像头。摄像头可以安装于眼镜或眼镜框的前部(例如上部、或底部)，也可以安装于眼镜或眼镜框的侧部，也可以同时安装于眼镜或眼镜框的前部和侧部。当使用者佩戴好眼镜或眼镜框后，摄像头对准双眼或者一侧眼镜。根据摄像头检测范围的大小，可以选择摄像头的安装数量或安装位置，如摄像头的检测范围较大，和/或摄像头安装在眼镜或眼镜框的中央(即鼻托)，则安装一个摄像头即可。若摄像头的检测范围较小，和/或摄像头安装在眼镜或眼镜框的侧部，则安装两个摄像头，分别及用于监控一个眼睛的动作。本申请发明人在对摄像头的安装方式进行试验时，意外地发现，在眼镜或眼镜框的一侧安装一个摄像头，就可以实现同时监控两个眼睛的眨眼动作。通常，对于图像自动识别，需要获取的图像信息有足够的清晰度。但在本发明的应用场合下，只需要判断是否眨眼，在这样情况下，可以适当减低图像质量的要求。本申请发明人发现，如果将摄像头设置在眼镜或眼镜框的左侧时，摄像头镜头中心与右眼中心的连线与两眼中心的连线的夹角在10度以上时，就可以满足对双眼眨眼动作的图像识别要求；同样地，如果将摄像头设置在眼镜或眼镜框的右侧时，摄像头镜头中心与左眼中心的连线与两眼中心的连线的夹角在10度以上时，就可以满足对双眼眨眼动作的图像识别要求。也就是说，当摄像头设置在眼镜或眼镜框的一侧时，摄像头镜头中心与另一侧眼中心的连线与两眼中心的连线的夹角需要在10度以上。

除了上面所述的摄像装置、姿态传感器、控制装置、佩戴装置外，本发明所提供的用于识别头部动作的设备还可以包括提示音装置，例如扬声器或蜂鸣器。提示音装置与控制装置有线或无线连接，当控制装置成功地识别到某种眼部动作或头部动作时，可以设置扬声器或蜂鸣器发出声音或播放语音。例如，当控制装置成功地识别到预定眼部动作信息并开始识别头部动作信息时，蜂鸣器发出嘀的一声，告知使用者开始进行识别头部动作状态。同样地，关闭识别头部动作状态时也可以这样设置。

本发明所提供的用于识别头部动作的设备还可以包括照明装置，用于眼部的照明。这样，在光线昏暗的情况下，摄像头也可以获得理想的眼部图像信息。照明装置优选红外照明装置。

控制装置的眼部动作识别模块和头部动作识别模块可以通过有线的方式与摄像装置和姿态传感器连接，也可以通过无线的方式与摄像装置和姿态度传感器连接。有线传递方式的优点是成本低、信号稳定、供电方便等，连接时直接将各装置与控制装置进行电信号连接即可。无线传递方式的优点是可以远程控制。适合本发明的无线传递方式包括蓝牙、WiFi或其他无线通讯方式。其他无线通讯方式如FSK(频移键控调制)、GFSK(高斯频移键控)、MSK(最小移位键控)、GMSK(高斯最小移位键控)、ASK或OOK等。如果采用无线连接方式，摄像装置和姿态传感器还需要配备相应的无线模块。当然，本发明所提供的用于识别头部动作的设备还需要考虑供电。当采用上述的有线连接方式时，电源直接通过控制装置的供电模块给各装置供电即可。当采用上述的无线传递方式时，各装置还需要独立电池供电。无线模块和独立电池的配置为本领域所熟知的技术，在此不再详述。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种用于识别头部动作的设备，其特征在于，所述设备包括用于识别眼部动作的摄像装置、用于识别头部动作的姿态传感器、用于接受和处理所述摄像装置的电信号和所述姿态传感器的电信号的控制装置、用于佩戴于头部的佩戴装置，所述姿态传感器安装于所述佩戴装置上。

2.如权利要求1所述的设备，其特征在于，所述控制装置包括眼部动作识别模块和头部动作识别模块，所述眼部动作识别模块和所述头部动作识别模块被配置成：当所述眼部动作识别模块识别到预定眼部动作信息后，所述头部动作识别模块开始识别头部动作信息。

3.如权利要求2所述的设备，其特征在于，所述预定眼部动作信息为：单眼眨眼或者双眼在预定眨眼间隔时间内眨眼两次以上。

4.如权利要求3所述的设备，其特征在于，所述预定眨眼间隔时间为0.2～2秒。

5.如权利要求2所述的设备，其特征在于，所述头部动作识别模块被配置成：当头部动作为以下其中之一时，所述头部动作识别模块判定为使用者的指令信息：

1)头部向前转动并到达向前预定角度，或者，头部向后转动并到达向后预定角度；

2)头部向左转动并到达向左预定角度，或者，头部向右转动并到达向右预定角度；

3)从头顶方向看，头部顺时针转动并到达顺时针预定角度，或者，头部逆时针转动并到达逆时针预定角度；

4)以上三种头部动作中任意两种的组合；

5)以上头部动作以及回归原位动作的顺序排列；

所述向前预定角度、向后预定角度、向左预定角度、向右预定角度基于所述头部动作识别模块开始识别头部动作信息时头部的位置来判定，所述回归原位指的是回到所述头部动作识别模块开始识别头部动作信息时头部的位置。

6.如权利要求5所述的设备，其特征在于，

所述向前预定角度、向后预定角度、向左预定角度、向右预定角度为5～45度。

7.如权利要求1所述的设备，其特征在于，所述姿态传感器包括加速度传感器、和/或角速度传感器、和/或地磁传感器。

8.如权利要求1所述的设备，其特征在于，所述佩戴装置为眼镜或眼镜框，所述摄像装置包括一个或多个摄像头，所述摄像头以固定的方式或可脱卸的方式安装于所述眼镜或眼镜框的上部、和/或底部、和/或侧部。

9.一种用于识别头部动作的方法，其特征在于，所述方法包括如下步骤：

1)提供摄像装置、姿态传感器、控制装置，所述控制装置具有眼部动作识别模块和头部动作识别模块；

2)通过所述摄像装置监测眼部动作，并将图像信息传递给所述眼部动作识别模块；

3)当所述眼部动作识别模块识别到预定眼部动作信息后，所述头部动作识别模块开始接受或停止接受所述姿态传感器监测的头部动作信息；

4)当所述头部动作识别模块识别到预定头部动作信息后，将该预定头部动作信息转化为指令信息进行传递；

5)当所述头部动作识别模块未在头部动作预定时间内识别到预定头部动作，所述控制装置停止接受所述姿态传感器检测的头部动作信息。

10.如权利要求9所述的方法，其特征在于，所述头部动作预定时间为0.5～5秒。