CN103902192A - 人机交互操作的触发控制方法和装置 - Google Patents

Abstract

本申请公开了一种人机交互操作的触发控制方法和装置，包括：第一模块获取摄像装置拍摄的摄像画面，在显示屏上以虚化方式显示所述摄像画面；第二模块检测所述摄像画面的帧间差，根据所述帧间差识别指定轮廓，并计算所识别出的指定轮廓在显示屏上的位置；第三模块实时判断该指定轮廓在显示屏上的位置与显示屏上所显示的指定区域是否相交，如果相交，则触发该指定区域对应的操作。利用本发明，可以进一步方便残障人士通过非接触的方式触发机器操作。

Description

人机交互操作的触发控制方法和装置

技术领域

本申请涉及计算机人机交互技术领域，尤其涉及一种人机交互操作的触发控制方法和装置。

背景技术

人机交互技术（Human-Computer Interaction Techniques）是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。该技术包括：机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息、提示请示及操作指令等，人通过输入设备给机器输入有关信息，回答问题等。人机交互技术是计算机用户界面设计中的重要内容之一。

目前的人机交互技术中，当人通过输入设备向计算机输入有关信息时，通常需要用手来操作。例如所述输入设备可以是键盘、鼠标或触摸屏等，人使用键盘输入相关的指令信息，则计算机可以响应该指令信息并做出对应的操作，人也可以使用鼠标点击计算机界面上的相关按钮来完成对应指令的输入，计算机则可以响应该指令并做出对应的操作。例如人用鼠标点击“关闭”按钮，则计算机会关闭该“关闭”按钮对应的窗口等。

上述人机交互方式虽然目前已经被广泛接受，但是，对于手指有残疾的残障人士来讲，现有的这种用手来操作向计算机输入信息和指令的技术显然是不适合的，不能实现非接触的人机交互操作。虽然目前也出现了直接用手势手型等进行非接触式人机交互输入的技术方案，但是这种技术方案还是需要用手来做出相应的动作，对残障人士来讲还是不方便的。

发明内容

有鉴于此，本发明的主要目的在于提供一种人机交互操作的触发控制方法和装置，以方便残障人士通过非接触的方式触发机器操作。

本发明的技术方案是这样实现的：

一种人机交互操作的触发控制方法，包括：

获取摄像装置拍摄的摄像画面，在显示屏上以虚化方式显示所述摄像画面；

检测所述摄像画面的帧间差，根据所述帧间差识别指定轮廓，并计算所识别出的指定轮廓在显示屏上的位置；

实时判断该指定轮廓在显示屏上的位置与显示屏上所显示的指定区域是否相交，如果相交，则触发该指定区域对应的操作。

一种人机交互操作的触发控制装置，该装置包括：

第一模块，用于获取摄像装置拍摄的摄像画面，在显示屏上以虚化方式显示所述摄像画面；

第二模块，用于检测所述摄像画面的帧间差，根据所述帧间差识别指定轮廓，并计算所识别出的指定轮廓在显示屏上的位置；

第三模块，用于实时判断该指定轮廓在显示屏上的位置与显示屏上所显示的指定区域是否相交，如果相交，则触发该指定区域对应的操作。

与现有技术相比，本发明通过获取摄像装置拍摄的摄像画面，并在显示屏上以虚化方式，例如半透明方式，显示所述摄像画面，从而使摄像画面和显示屏上显示的其它界面相重叠，并且可以检测出摄像画面上的指定轮廓（例如人的眼睛、人的嘴巴等），用户可以移动身体来控制所述摄像画面中指定轮廓的移动，当该指定轮廓与显示屏上所显示的指定区域（例如可以是一种媒介信息的显示区域，或者是指定指令区如按钮、链接等）相交时，则触发该指定区域对应的操作。因此本发明可以实现不必用手来触发人机之间的交互操作，方便残障人士通过非接触的方式触发机器操作。

附图说明

图1为本发明所述人机交互操作的触发控制方法的一种执行流程图；

图2a为在显示屏上所显示的指定区域为指定媒介信息的第一种机器界面示意图；

图2b为在显示屏上所显示的指定区域为指定媒介信息的第二种机器界面示意图；

图3a为在显示屏上所显示的指定区域为指定指令区的第一种机器界面示意图；

图3b为在显示屏上所显示的指定区域为指定指令区的第二种机器界面示意图；

图4为本发明所述人机交互操作的触发控制装置的一种组成示意图。

具体实施方式

下面结合附图及具体实施例对本发明再作进一步详细的说明

图1为本发明所述人机交互操作的触发控制方法的一种执行流程图。参见图1所示，该方法主要包括：

101、获取摄像装置拍摄的摄像画面，在显示屏上以虚化方式显示所述摄像画面。

所述虚化方式可以是指定的具体显示方式，例如在显示屏上以半透明方式显示所述摄像画面；或者可以将所述摄像画面转化为动画轮廓画面（例如简单线条轮廓的动画画面），该动画轮廓画面可以叠加到显示屏原有界面之上，用户既可以看到显示屏原有界面又可以看到该动画轮廓画面，从而方便用户移动摄像画面以进行后续操作。下面实施例中，以在显示屏上以半透明方式显示所述摄像画面为例进行说明。

102、检测所述摄像画面的帧间差，根据所述帧间差识别指定轮廓，并计算所识别出的指定轮廓在显示屏上的位置；

103、实时判断该指定轮廓在显示屏上的位置与显示屏上所显示的指定区域是否相交，如果相交，则触发该指定区域对应的操作；否则，返回步骤102。

本发明中，所述检测摄像画面上的指定轮廓，可以是检测人体某一器官的轮廓，也可以是其它的图形轮廓。通常情况下，安装在计算机等设备上的摄像装置（具体如摄像头）通常是对用户的头部进行拍摄，例如用户在利用视频聊天工具进行视频聊天通信时，摄像装置通常都是拍摄用户的头部尤其是面部图像。因此，为了方便用户尤其是残障人士操作，在本发明的一种较佳实施例中，所述检测摄像画面上的指定轮廓可以是人的眼睛轮廓，这是因为人眼的轮廓较为标准，而且可以进一步通过检测眨眼等运动形态向机器发出进一步的操作指令。

当然，所述检测摄像画面上的指定轮廓也可以是人的嘴巴等器官，甚至还可以是某一指定的标准图形。例如可以给用户提供预先画好的画有指定图形的白板，用户可以将该白板举在摄像头前让摄像头拍摄该白板上的指定图形（例如一个轮廓鲜明的椭圆形等），该指定图形就是本发明所要检测的指定轮廓。当用户移动所述白板，将显示屏上所显示的该指定图形的位置与指定的区域（例如可以是一种媒介信息的显示区域，或者是指定指令区如按钮、链接等）相交时，则触发该指定区域对应的操作，因此这样也可以实现不必用手来触发人机之间的交互操作，方便残障人士通过非接触的方式触发机器操作的目的。

下面以所述指令轮廓为眼睛轮廓为例对本发明进行说明。

在上述步骤102中，所述检测所述摄像画面的帧间差，根据所述帧间差识别指定轮廓，并计算所识别出的指定轮廓在显示屏上的位置，可以利用现有成熟的编程工具来实现。例如可以采用现有的开源计算机视觉库（openCV，Open SourceComputer Vision Library）中的针对性的接口函数来实现。

OpenCV是一个基于开源发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS等计算机操作系统上。Open CV轻量级而且高效，是由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的调用接口，实现了图像处理和计算机视觉方面的很多通用的计算方法。

例如在一种具体实施方式中，可以采用OpenCV中的cvSub接口函数和cvThreshold接口函数来检测摄像画面的帧间差。例如具体的实现代码指令如下：

cvSub(gray,prev,diff,NULL);

cvThreshold(diff,diff,5,255,CV_THRESH_BINARY);

其中，所述gray是摄像画面的当前帧，所述prev是当前帧的前一帧，所述diff为帧间差。

例如在一种具体实施方式中，可以采用OpenCV中的cvFind Contours接口函数来根据所述帧间差识别指定轮廓例如识别眼睛轮廓。例如具体的实现代码指令如下：

其中，所述diff为上述计算出的帧间差，所述comp为所识别出的眼睛轮廓，该眼睛轮廓由cvFind Contours接口函数输出。

例如在一种具体实施方式中，可以采用OpenCV中的cvSet ImageROI接口函数来计算所识别出的指定轮廓在显示屏上的位置，例如具体的实现代码指令如下：

cvSetImageROI(gray,rect_eye);

其中rect_eye为该接口函数cvSetImageROI所输出的眼睛轮廓的在当前帧gray中的位置，再根据当前帧在显示屏中所占据的位置，就可以计算出眼睛轮廓在当前显示屏上的位置。

本发明中所述在显示屏上所显示的指定区域可以有各种形态，例如可以为电子媒介信息（本文中简称媒介信息），也可以为指定的指令区例如指定的按钮、指定的文字链接、指定的图片区等等。

例如图2a为在显示屏上所显示的指定区域为指定媒介信息的第一种机器界面示意图。参见图2a，在该机器界面200上显示有媒介信息201以及媒介信息202，本发明将摄像装置所拍摄的用户的头像在该机器界面200中以半透明方式显示，这样该用户头像就可以与该机器界面200中的信息重叠，使得用户既可以看清界面200中的各种信息，又可以看到本人的头像，从而一边移动自己的头部一边观察眼睛轮廓的移动使得眼睛轮廓移动到指定区域。图2b为在显示屏上所显示的指定区域为指定媒介信息的第二种机器界面示意图。参见图2b，当用户的眼睛轮廓203移动到指定的媒介信息201的显示区域，与该媒介信息201的显示区域相交时，则触发的该指定媒介信息201显示区域对应的操作。

在一种实施例中，所述指定轮廓如眼睛轮廓203在显示屏上的位置与显示屏上所显示的指定区域如媒介信息201的显示区域相交时，触发的该指定媒介信息显示区域对应的操作包括：记录所述眼睛轮廓203与该指定媒介信息201的显示区域的相交时间，并继续判断所述眼睛轮廓203在显示屏上的位置是否移出该指定媒介信息201的显示区域，如果是则停止记录所述相交时间，否则继续记录所述相交时间。这样可以计算出用户对该媒介信息201的关注程度，根据这个关注程度可以进一步进行其它的相关操作，例如计费操作，即：根据所记录的所述指定轮廓（眼睛轮廓203）与所述指定媒介信息201显示区域的相交时间，计算该指定媒介信息201对应的计费信息。

现有技术中，对于网络上展示的媒介信息（如网络广告就是一种媒介信息），都是基于用户对该媒介信息的点击和曝光次数进行计费，没有以被浏览者观察多久时间来计费。而同步本发明的上述处理步骤，可以计算出用户眼睛对指定媒介信息的相交时间，就相当于该用户对该媒介信息的关注程度，并以此为数据基础实现新的计费方式，例如：当浏览者移动自己的头像使屏幕上成像的眼睛轮廓与所述指定媒介信息201重叠后开始计时，错开后就停止计时，如果所述相交时间大于某一定的秒数，则开始计费，从而实现以用户对媒介信息的关注程度进行计费，计费方式更加细化和精确。

在另一种实施例中，所述指定轮廓在显示屏上的位置与显示屏上所显示的指定区域相交时，触发的该指定媒介信息显示区域对应的操作包括：检测所述指定轮廓是否发生指定的运动形态，如果是则触发该指定区域所绑定的指令操作。例如检测所述眼睛轮廓是否发生眨眼动作，如果是则触发该指定区域所绑定的指令操作。例如所述指定的媒介信息201绑定的指令动作为点击动作，那么当用户眨眼之后，就可以触发对所述媒介信息201的点击动作，从而打开该媒介信息201所指向的网络页面。

图3a为在显示屏上所显示的指定区域为指定指令区的第一种机器界面示意图。参见图3a，在该机器界面200上显示有媒介信息201以及媒介信息202，所述媒介信息201上还有指定指令区，如所述“换一个”按钮301和“关闭”按钮302都是指定指令区，所述“换一个”按钮301绑定的指令操作为切换到下一条媒介信息，所述“关闭”按钮302所绑定的指令操作为关闭当前的媒介信息201。本发明将摄像装置所拍摄的用户的头像在该机器界面200中以半透明方式显示，这样该用户头像就可以与该机器界面200中的信息重叠，使得用户既可以看清界面200中的各种信息，又可以看到本人的头像，从而一边移动自己的头部一边观察眼睛轮廓的移动使得眼睛轮廓移动到指定指令区。

例如图3b为在显示屏上所显示的指定区域为指定指令区的第二种机器界面示意图，当用户的眼睛轮廓203移动与“换一个”按钮301相交时，则可以检测所述眼睛轮廓是否发生指定的运动形态（如眨眼动作），如果是则触发该“换一个”按钮301所绑定的指令操作，即将当前显示区域切换显示为下一条媒介信息。当用户的眼睛轮廓203移动与“关闭”按钮302相交时，则可以检测所述眼睛轮廓是否发生指定的运动形态（如眨眼动作），如果是则触发该“关闭”按钮302所绑定的指令操作，即关闭当前的媒介信息201。

当然在其它实施例中，所述指定轮廓是其它的图像轮廓时，所述指定的运动形态可以是该图像轮廓对应的动作。例如所述指定轮廓为人的嘴巴的轮廓时，为嘴巴的张开和闭合动作。

在一种具体的实施例中，所述检测所述指定轮廓是否发生指定的运动形态，具体包括：

首先，创建所述指定轮廓的模板；例如在一种具体实施方式中，可以采用OpenCV中的cvResetImageROI(gray)接口函数来创建眼睛模板。

然后，检测所述指定轮廓的模版（如眼睛模板）内的帧图像，判断所述帧图像的变化是否符合指定的运动形态；如果符合则触发所述指定区域所绑定的指令操作。

例如，当所述指定轮廓为眼睛轮廓时；所述检测指定轮廓是否发生指定的运动形态具体为：检测所述眼睛轮廓是否发生眨眼动作。

所述检测所述眼睛轮廓是否发生眨眼动作的具体方法包括：检测眼睛轮廓的边界值；检测所述边界值的最大值和最小值；检测所述边界值的最大值和最小值之间的距离是否发生由大到小再由小到大的变化过程，如果是则判定发生眨眼动作。

例如在一种具体实施方式中，可以采用OpenCV中的相关接口参数来判断眼睛轮廓是否发生眨眼动作。具体方法包括如下步骤411~413：

步骤411、根据cvMatchTemplate接口函数检测眼睛轮廓的边界。具体的代码指令例如如下：

cvMatchTemplate(img,tpl,tm,CV_TM_CCOEFF_NORMED);

其中tpl为所述cvResetImageROI(gray)接口函数来创建的眼睛模板。

步骤412、cvMinMaxLoc接口函数检测所述眼睛轮廓的边界值的最大值和最小值。具体的代码指令例如如下：

cvMinMaxLoc(tm,&minval,&maxval,&minloc,&maxloc,0);

步骤413、检测所述眼睛轮廓的边界值的最大值和最小值之间的距离是否发生由大到小再由小到大的变化过程，即判断是否发生眼睛的闭合动作，如果是则判定发生眨眼动作。具体的代码指令例如如下：

return2;//闭眼，即眼睛轮廓边界值的最大值和最小值之间的距离由大到小的变化过程的检测代码指令。

if(maxval>OE_THRESHOLD)

return1;//睁眼，即眼睛轮廓边界值的最大值和最小值之间的巨头力由小到大的变化过程的检测代码指令。

例如在一种具体应用场景中，当用户利用网络视频即时通信工具进行聊天时，本发明可以将摄像头拍摄的画面虚化显示，并在视频聊天画面中展示一个网络广告（即媒介信息），该网络广告中可以显示广告内容，并可以显示“换一个”按钮和“关闭”按钮，当用户移动头部，将眼睛轮廓移动到“换一个”按钮上时，则可以将该网络广告切换为下一个网络广告，当眼睛轮廓移动到“关闭”按钮上时，则可以将该网络广告关闭。并可以按照眼睛轮廓与该网络广告的相交时间进行计费。

与上述方法对应，本发明还公开了一种人机交互操作的触发控制装置，以执行上述方法。图4为本发明所述人机交互操作的触发控制装置的一种组成示意图。参见图4，该装置包括：

第一模块401，用于获取摄像装置拍摄的摄像画面，在显示屏上以半透明方式显示所述摄像画面；

第二模块402，用于检测所述摄像画面的帧间差，根据所述帧间差识别指定轮廓，并计算所识别出的指定轮廓在显示屏上的位置；

第三模块403，用于实时判断该指定轮廓在显示屏上的位置与显示屏上所显示的指定区域是否相交，如果相交，则触发该指定区域对应的操作。

在一种实施例中，所述第三模块具体用于：实时判断所述指定轮廓在显示屏上的位置与显示屏上所显示的指定区域是否相交，如果相交，则触发记录所述指定轮廓与该指定区域的相交时间，并继续判断所述指定轮廓在显示屏上的位置是否移出该指定区域，如果是则停止记录所述相交时间，否则继续记录所述相交时间。还可以进一步根据所述相交时间对所述指定区域进行计费操作。

在另一种实施例中，所述第三模块具体用于：实时判断所述指定轮廓在显示屏上的位置与显示屏上所显示的指定区域是否相交，如果相交，则触发检测所述指定轮廓是否发生指定的运动形态，如果是则触发该指定区域所绑定的指令操作。

在再一种实施例中，所述指定轮廓为眼睛轮廓；所述第三模块检测指定轮廓是否发生指定的运动形态，具体为：检测所述眼睛轮廓是否发生眨眼动作。

当然所述指定轮廓也可以是其它的图像轮廓，例如人的嘴巴的轮廓，所述指定的运动形态可以为嘴巴的张开和闭合动作。

在又一具体实施例中，所述显示屏上所显示的指定区域为指定媒介信息的显示区域，或者所述显示屏上所显示的指定区域为指定指令区，或者为其它的指定显示形式区域。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (13)

1.一种人机交互操作的触发控制方法，其特征在于，包括：

获取摄像装置拍摄的摄像画面，在显示屏上以虚化方式显示所述摄像画面；

检测所述摄像画面的帧间差，根据所述帧间差识别指定轮廓，并计算所识别出的指定轮廓在显示屏上的位置；

实时判断该指定轮廓在显示屏上的位置与显示屏上所显示的指定区域是否相交，如果相交，则触发该指定区域对应的操作。

2.根据权利要求1所述的方法，其特征在于，

所述指定轮廓在显示屏上的位置与显示屏上所显示的指定区域相交时，触发的该指定区域对应的操作包括：记录所述指定轮廓与该指定区域的相交时间，并继续判断所述指定轮廓在显示屏上的位置是否移出该指定区域，如果是则停止记录所述相交时间，否则继续记录所述相交时间。

3.根据权利要求2所述的方法，其特征在于，该方法进一步包括：

根据所记录的所述指定轮廓与所述指定区域的相交时间，计算该指定区域对应的计费信息。

4.根据权利要求1所述的方法，其特征在于，

所述指定轮廓在显示屏上的位置与显示屏上所显示的指定区域相交时，触发的该指定媒介信息显示区域对应的操作包括：检测所述指定轮廓是否发生指定的运动形态，如果是则触发该指定区域所绑定的指令操作。

5.根据权利要求4所述的方法，其特征在于，所述检测所述指定轮廓是否发生指定的运动形态，具体包括：

创建所述指定轮廓的模板；

检测所述指定轮廓的模版内的帧图像，判断所述帧图像的变化是否符合指定的运动形态；如果符合则触发所述指定区域所绑定的指令操作。

6.根据权利要求4或5所述的方法，其特征在于，

所述指定轮廓为眼睛轮廓；

所述检测指定轮廓是否发生指定的运动形态，具体为：检测所述眼睛轮廓是否发生眨眼动作。

7.根据权利要求6所述的方法，其特征在于，所述检测眼睛轮廓是否发生眨眼动作的具体方法包括：

检测眼睛轮廓的边界值；

检测所述边界值的最大值和最小值；

检测所述边界值的最大值和最小值之间的距离是否发生由大到小再由小到大的变化过程，如果是则判定发生眨眼动作。

8.根据权利要求1~5任一项所述的方法，其特征在于，

所述显示屏上所显示的指定区域为指定媒介信息的显示区域，或者所述显示屏上所显示的指定区域为指定指令区。

9.一种人机交互操作的触发控制装置，其特征在于，该装置包括：

第一模块，用于获取摄像装置拍摄的摄像画面，在显示屏上以虚化方式显示所述摄像画面；

第二模块，用于检测所述摄像画面的帧间差，根据所述帧间差识别指定轮廓，并计算所识别出的指定轮廓在显示屏上的位置；

第三模块，用于实时判断该指定轮廓在显示屏上的位置与显示屏上所显示的指定区域是否相交，如果相交，则触发该指定区域对应的操作。

10.根据权利要求9所述的装置，其特征在于，

所述第三模块具体用于：实时判断所述指定轮廓在显示屏上的位置与显示屏上所显示的指定区域是否相交，如果相交，则触发记录所述指定轮廓与该指定区域的相交时间，并继续判断所述指定轮廓在显示屏上的位置是否移出该指定区域，如果是则停止记录所述相交时间，否则继续记录所述相交时间。

11.根据权利要求9所述的装置，其特征在于，

所述第三模块具体用于：实时判断所述指定轮廓在显示屏上的位置与显示屏上所显示的指定区域是否相交，如果相交，则触发检测所述指定轮廓是否发生指定的运动形态，如果是则触发该指定区域所绑定的指令操作。

12.根据权利要求11所述的装置，其特征在于，

所述指定轮廓为眼睛轮廓；

所述第三模块检测指定轮廓是否发生指定的运动形态，具体为：检测所述眼睛轮廓是否发生眨眼动作。

13.根据权利要求9~12任一项所述的装置，其特征在于，

所述显示屏上所显示的指定区域为指定媒介信息的显示区域，或者所述显示屏上所显示的指定区域为指定指令区。

Images