CN109582139A - 一种机器交互启动触发方法及系统 - Google Patents

Abstract

本发明公开了一种机器交互启动触发方法及系统，所述方法包括如下步骤：步骤S1，获取多张用户图像；步骤S2，基于人脸识别技术，获取所述多张用户图像中眼睛处于注视状态且嘴巴说话的用户图像作为目标图像；步骤S3，根据所述目标图像触发启动所述机器交互逻辑，本发明可基于眼睛和嘴巴变化实现自动触发机器交互的目的，使人机交互效果更满足用户需求。

Description

一种机器交互启动触发方法及系统

技术领域

本发明涉及图象识别处理技术领域，特别是涉及一种机器交互启动触发方法及系统。

背景技术

随着社会经济和计算机技术的不断发展，人类生活水平不断提高。为了提高生活娱乐性以及满足人类需求，各种智能产品应运而生。

智能产品，利用计算机、网络通信、自动控制、感知识别等技术，把相关各种应用子系统有机结合，通过综合管理，提供全方位的信息交换，实现人机自然交互，优化人类生活，如：智能手机、智能音箱、智能家居等。目前，这些智能产品较为普遍的触发方式有震动、光感、声音、手势，而声音触发基于自身便利性，受到普遍大众青睐。

然而，根据调查研究，市面流行的声音触发智能产品，普遍存在以下不足：1)实现人机交互的前提是接收特定的语音唤醒词指令，即：没有特定的唤醒词指令，交互无法启动进行；2)不同产品的语音唤醒词指令不同，约束产品通用性，用户需要提前获悉并记忆唤醒词，使用门槛高；3)部分产品具有休眠状态，需要通过触摸等物理方式唤醒语音接收功能，用户需要具备专业知识。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种机器交互启动触发方法及系统，以基于眼睛和嘴巴变化实现自动触发机器交互的目的，使人机交互效果更满足用户需求。

为达上述及其它目的，本发明提出一种机器交互启动触发方法，包括如下步骤：

步骤S1，获取多张用户图像；

步骤S2，基于人脸识别技术，获取所述多张用户图像中眼睛处于注视状态且嘴巴说话的用户图像作为目标图像；

步骤S3，根据所述目标图像触发启动所述机器交互逻辑。

优选地，于步骤S1中，利用摄像头实时抓拍现场用户视频，并利用视频处理技术提取视频，从中提取多张静态图像，并基于抽取的多张静态图像，从中选取图像中头部面积与整体图像面积占比大于一预设阈值的图像，作为用户图像。

优选地，于步骤S1中，所述预设阈值大于或等于十分之一。

优选地，步骤S2进一步包括：

步骤S200，对获得的用户图像，基于人脸识别技术，获得图像中人脸区域以及对应的人脸特征图；

步骤S201，根据人脸特征图及其对应的双眼位置不同、嘴巴关键点是否发生位移获得所述目标图像。

优选地，步骤S201进一步包括：

步骤S201a，基于人脸识别技术，分别获得用户图像中包括左/右眼关键点的矩形框宽度；

步骤S201b，根据左右眼关键点的矩形框宽度确定该用户图像的头部转向，获得处于注视状态的用户图像；

步骤S201c，基于眼睛处于注视状态的用户图像，跟踪连续视频帧的图像中嘴巴的关键点，确定嘴巴关键点是否发生位移；

步骤S201d，将眼睛处于注视状态且嘴巴关键点发生位移的用户图像作为目标图像。

优选地，于步骤S201b中，若当前图像的包括左/右眼关键点的矩形框宽度的差值小于预设阈值，则判定当前图像处于注视状态。

优选地，于步骤S201b中，若当前图像的包括左眼关键点的矩形框宽度小于右眼关键点的矩形框宽度，且差值超过预设阈值时，则判定当前图像中用户头部转向左边。

优选地，于步骤S201b中，若当前图像的包括右眼关键点的矩形框宽度小于包括左眼关键点的矩形框宽度，且差值超过预设阈值时，则判定当前图像中用户头部转向右边。

为达到上述目的，本发明还提供一种机器交互启动触发系统，包括：

用户图像获取单元，用于获取多张用户图像；

目标图像获取单元，用于基于人脸识别技术，获取眼睛处于注视状态且嘴巴说话的用户图像作为目标图像；

机器交互触发单元，用于根据获得的目标图像触发启动所述机器交互逻辑。

优选地，所述目标图像获取单元包括：

人脸识别单元，用于对获得的用户图像，并基于人脸识别技术，获得用户图像中人脸区域以及对应的人脸特征图；

目标图像筛选单元，用于根据人脸特征图及其对应的双眼位置不同、嘴巴关键点是否发生位移获得目标图像。

与现有技术相比，本发明一种机器交互启动触发方法及系统通过利用人脸识别技术识别图像中人脸的左右眼位置，并通过对比以及追踪连续视频帧图像嘴巴的关键点是否发生相对位移，获得眼睛处于注视且嘴巴处于说话状态的目标图像，并根据其自动触发机器与用户进行交互，从而达到自动触发机器交互逻辑的目的，提高了智能产品通用性，降低了用户使用门槛，使人机交互效果更满足用户需求。

附图说明

图1为本发明一种机器交互启动触发方法的步骤流程图；

图2为本发明一种机器交互启动触发系统的系统架构图；

图3为本发明具体实施例中机器交互启动触发流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种机器交互启动触发方法的步骤流程图。如图1所示，本发明一种机器交互启动触发方法，包括如下步骤：

步骤S1，获取多张用户图像。在本发明具体实施例中，可利用机器(以智能手机为例)自身包含的摄像头，实时抓拍现场用户视频，并利用视频处理技术提取视频，以抽帧形式，例如抽取30帧，从中提取多张静态图像，并基于抽取的多张静态图像，从中选取图像中头部面积与整体图像面积占比大于一预设阈值的图像，作为用户图像，在本发明具体实施例中，该预设阈值最好大于或等于1/10，例如，提取图像中头部面积至少大于整体图像面积1/10的图像，作为用户图像。

步骤S2，基于人脸识别技术，获取眼睛处于注视状态且嘴巴说话的用户图像作为目标图像。

本发明中采用的人脸识别技术，是基于人的脸部特征信息进行身份识别的一种生物识别技术，其一般包括四个部分，分别是：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及人脸图像匹配与识别。由于人脸识别技术已为现有的成熟技术，在此不予赘述。

具体地说，步骤S2进一步包括：

步骤S200，对获得的用户图像，基于人脸识别技术，获得图像中人脸区域以及对应的人脸特征图。所述人脸特征图，是基于人脸识别技术，对人的脸部特征信息，如：眼睛、鼻子、嘴巴等，用若干(一般采用68个)特征关键点组成的图像。

步骤S201，根据人脸特征图及其对应的双眼位置不同、嘴巴关键点是否发生位移获得目标图像。

具体地说，步骤S201进一步包括：

步骤S201a，基于人脸识别技术，分别得出包括左右眼关键点的矩形框宽度；

步骤S201b，根据左右眼关键点的矩形框宽度确定相应的用户图像的头部转向。具体地说，若包括左眼关键点的矩形框宽度大于右眼关键点的矩形框宽度且差值超过一预设阈值时，则代表用户图像中用户的头部正转向右边，判定此时用户图像中用户头部转向右边；若包括左眼关键点的矩形框宽度小于右眼关键点的矩形框宽度，且差值超过一预设阈值时，则代表用户图像中用户的头部正转向左边，判定用户图像中用户头部转向左边；若发现分别包括左右眼关键点的矩形框宽度接近，例如其差值绝对值小于一预设阈值，则代表用户图像头部正对机器摄像头，则判定该用户图像中用户处于注视状态；

步骤S201c，基于眼睛处于注视状态的用户图像，跟踪连续视频帧的图像中嘴巴的关键点，确定嘴巴关键点是否发生位移；

步骤S201d，将眼睛处于注视状态且嘴巴关键点发生位移的用户图像作为目标图像。

举例来说，当对某一张用户图像进行人脸识别处理后，可获得该图像中的人脸区域以及该图像中包括左右眼关键点的矩形框宽度，根据该矩形框宽度确定该图像中用户是否处于注视机器状态，若判断当前用户图像中的用户不处于注视状态，即左右眼关键点的矩形框宽度差值绝对值大于预设阈值时，则继续下一张用户图像进行上述判断；若判断当前用户图像中的用户正处于注视状态(即左右眼关键点的矩形框宽度差值绝对值小于预设阈值)，则跟踪该图像的连续帧的图像中的嘴巴的关键点，根据连续帧图像中的嘴巴关键点的位置确定嘴巴关键点是否发生位移，若发生了位移，则说明该用户图像中的用户既注视机器又处于说话状态，则将其作为目标图像，而若嘴巴关键点未发生位移，则继续下一张用户图像以进行上述流程。

步骤S3，根据获得的目标图像触发启动机器交互逻辑。也就是说，当获得用户的目标图像时，说明用户当前已处于注视机器且嘴巴说话的状态，则触发机器交互逻辑，允许用户与机器进行交互。

图2为本发明一种机器交互启动触发系统的系统架构图。如图2所示，本发明一种机器交互启动触发系统，包括：

用户图像获取单元201，用于获取多张用户图像。在本发明具体实施例中，用户图像获取单元201可利用机器自身包含的摄像头，实时抓拍现场用户视频，并利用视频处理技术提取视频，以抽帧形式，例如抽取30帧，从中提取多张静态图像，并基于抽取的多张静态图像，从中选取图像中头部面积与整体图像面积占比大于一预设阈值的图像，作为用户图像，例如，提取图像中头部面积大于整体图像面积1/10的图像，作为用户图像。

目标图像获取单元202，基于人脸识别技术，获取眼睛处于注视状态且嘴巴说话的用户图像作为目标图像。

具体地说，目标图像获取单元202进一步包括：

人脸识别单元，用于对获得的用户图像，基于人脸识别技术，获得图像中人脸区域以及对应的人脸特征图。所述人脸特征图，是基于人脸识别技术，对人的脸部特征信息，如：眼睛、鼻子、嘴巴等，用若干(一般采用68个)特征关键点组成的图像。

目标图像筛选单元，根据人脸特征图及其对应的双眼位置不同、嘴巴关键点是否发生位移获得目标图像。

在本发明具体实施例中，目标图像筛选单元具体用于：

基于人脸识别技术，分别获得包括左右眼关键点的矩形框宽度；

根据左右眼关键点的矩形框宽度确定相应的用户图像的头部转向。具体地说，若包括左眼关键点的矩形框宽度大于右眼关键点的矩形框宽度且差值超过一预设阈值时，则代表用户图像中用户的头部正转向右边，判定此时用户图像中用户头部转向右边；若包括左眼关键点的矩形框宽度小于右眼关键点的矩形框宽度，且差值超过一预设阈值时，则代表用户图像中用户的头部正转向左边，判定用户图像中用户头部转向左边；若发现分别包括左右眼关键点的矩形框宽度接近，例如其差值绝对值小于一预设阈值，则代表用户图像头部正对机器摄像头，则判定该用户图像中用户处于注视状态；

基于眼睛处于注视状态的用户图像，跟踪连续视频帧的图像中嘴巴的关键点，确定嘴巴关键点是否发生位移；

将眼睛处于注视状态且嘴巴关键点发生位移的用户图像作为目标图像。

机器交互触发单元203，用于根据获得的目标图像触发机器交互逻辑。也就是说，当获得用户的目标图像时，说明用户当前已处于注视机器且嘴巴说话的状态，则由机器交互触发单元203触发机器交互逻辑，即允许用户与机器进行交互。

图3为本发明具体实施例之机器交互启动触发流程图。在本发明具体实施例中，机器以智能手机为例，其机器交互启动触发流程如下：

步骤1，通过智能手机的摄像头实时抓怕用户视频，以抽帧形式提取多张静态图像，在本实施例中，通过机器摄像头实时抓怕用户视频，以抽帧形式提取多张静态图像；

步骤2，基于抽取的多张静态图像，从中提取出用户头部面积大于整体图像1/10的图像作为用户图像；

步骤3，对获得的用户图像基于人脸识别技术，得出各图像中分别包括左右眼关键点的矩形框宽度；

步骤4，对某一用户图像，判断左右眼矩形框宽度接近；

步骤5，若是，则判断当前用户处于注视状态，并跟踪当前图像连续视频帧的图像中嘴巴的关键点；若不是，用户处于非注视状态，则返回步骤3，继续下一用户图像的判断；

步骤6，判断当前图像的嘴巴关键点是否产生相对位移；

步骤7，若是，则当前图像作为目标图像，并触发机器交互逻辑，启动机器交互；若不是，则触发机器交互逻辑失败，返回步骤3，继续下一用户图像的判断。

综上所述，本发明一种机器交互启动触发方法及系统通过利用人脸识别技术识别图像中人脸的左右眼位置，并通过对比以及追踪连续视频帧图像嘴巴的关键点是否发生相对位移，获得眼睛处于注视且嘴巴处于说话状态的目标图像，并根据其自动触发机器与用户进行交互，从而达到自动触发机器交互逻辑的目的，提高了智能产品通用性，降低了用户使用门槛，使人机交互效果更满足用户需求。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种机器交互启动触发方法，包括如下步骤：

步骤S1，获取多张用户图像；

步骤S2，基于人脸识别技术，获取所述多张用户图像中眼睛处于注视状态且嘴巴说话的用户图像作为目标图像；

步骤S3，根据所述目标图像触发启动所述机器交互逻辑。

2.如权利要求1所述的一种机器交互启动触发方法，其特征在于：于步骤S1中，利用摄像头实时抓拍现场用户视频，并利用视频处理技术提取视频，从中提取多张静态图像，并基于抽取的多张静态图像，从中选取图像中头部面积与整体图像面积占比大于一预设阈值的图像，作为用户图像。

3.如权利要求2所述的一种机器交互启动触发方法，其特征在于：于步骤S1中，所述预设阈值大于或等于十分之一。

4.如权利要求1所述的一种机器交互启动触发方法，其特征在于，步骤S2进一步包括：

步骤S200，对获得的用户图像，基于人脸识别技术，获得图像中人脸区域以及对应的人脸特征图；

步骤S201，根据人脸特征图及其对应的双眼位置不同、嘴巴关键点是否发生位移获得所述目标图像。

5.如权利要求4所述的一种机器交互启动触发方法，其特征在于，步骤S201进一步包括：

步骤S201a，基于人脸识别技术，分别获得用户图像中包括左/右眼关键点的矩形框宽度；

步骤S201b，根据左右眼关键点的矩形框宽度确定该用户图像的头部转向，获得处于注视状态的用户图像；

步骤S201c，基于眼睛处于注视状态的用户图像，跟踪连续视频帧的图像中嘴巴的关键点，确定嘴巴关键点是否发生位移；

步骤S201d，将眼睛处于注视状态且嘴巴关键点发生位移的用户图像作为目标图像。

6.如权利要求5所述的一种机器交互启动触发方法，其特征在于：于步骤S201b中，若当前图像的包括左/右眼关键点的矩形框宽度的差值小于预设阈值，则判定当前图像处于注视状态。

7.如权利要求5所述的一种机器交互启动触发方法，其特征在于：于步骤S201b中，若当前图像的包括左眼关键点的矩形框宽度小于右眼关键点的矩形框宽度，且差值超过预设阈值时，则判定当前图像中用户头部转向左边。

8.如权利要求5所述的一种机器交互启动触发方法，其特征在于：于步骤S201b中，若当前图像的包括右眼关键点的矩形框宽度小于包括左眼关键点的矩形框宽度，且差值超过预设阈值时，则判定当前图像中用户头部转向右边。

9.一种机器交互启动触发系统，包括：

用户图像获取单元，用于获取多张用户图像；

目标图像获取单元，用于基于人脸识别技术，获取眼睛处于注视状态且嘴巴说话的用户图像作为目标图像；

机器交互触发单元，用于根据获得的目标图像触发启动所述机器交互逻辑。

10.如权利要求9所述的机器交互启动触发系统，其特征在于，所述目标图像获取单元包括：

人脸识别单元，用于对获得的用户图像，并基于人脸识别技术，获得用户图像中人脸区域以及对应的人脸特征图；

目标图像筛选单元，用于根据人脸特征图及其对应的双眼位置不同、嘴巴关键点是否发生位移获得目标图像。