CN102193621A - 基于视觉的交互式电子设备控制系统及其控制方法 - Google Patents

Abstract

提供了一种基于视觉的交互式电子设备控制系统及其控制方法。所述系统包括：目标检测与识别模块，用于对用户的人脸进行检测与识别，并定位人眼；状态监测与识别模块，用于对定位的人眼的状态进行检测，产生人眼状态指令，并将产生的人眼状态指令发送到指令识别与设置模块；指令识别与设置模块，用于判断所述人眼状态指令的有效性，并根据所述人眼状态指令对电子设备进行相应的控制。

Description

基于视觉的交互式电子设备控制系统及其控制方法

技术领域

本发明涉及一种交互式电子设备控制系统及其控制方法，更具体地，涉及一种基于视觉的交互式电子设备控制系统及其控制方法。

背景技术

现有的对电子设备的操作控制大致分为遥控器控制、声音控制和手势控制，其中大部分通过遥控器对电子设备进行操作，少数可通过声控、手势等进行简单操作。因此，在易用性和准确性方面的欠缺大大削减了产品的普及性。例如，当用户在看电视的过程中找不到遥控器，或在电视过程中睡着了，电视机一夜开到天亮的情况下不在少数，手动操作麻烦，缺乏人性化，尤其是对于老人来说，更不能得到较好的满足。

就新型的人体感应识别来说，只能单纯通过识别人体靠近和离开感应装置上的摄像头而达到自动开关的目的，这并不完全符合室内用户的操作习惯。同时，是否用户靠近就是对屏幕的开启这样的操作，并且如何精确的识别用户的离开是否是真的需要关闭或开启也是需要继续研讨的部分。此外，摄像头识别范围局限，必须在一定范围内接受到人体感应才能完成。

现有的人眼识别的应用领域狭窄，目前大部分限于对内容的控制和操作，给残疾人的服务较多，其操作专注于对人眼的注视以及眼球的运动识别上，并需要附加的语音或者手势控制设备，或者需要添加一些硬件设备来完成操作控制。

另外，以现有的感应器为基础的交互式系统虽然说明了使用多种传感器设备技术结合的方法实现的交互系统，但并未设计出详细的通过感应器技术的控制指令运算方法。

发明内容

本发明公开了一种通过摄像头识别用户睁眼/闭眼行为并组成控制指令，从而实现对电子设备进行交互式控制的方法及其控制系统。

根据本发明的一方面，提供了一种基于视觉的交互式电子设备控制系统，其特征在于包括：目标检测与识别模块，用于对用户的人脸进行检测与识别，并定位人眼；状态监测与识别模块，用于对定位的人眼的状态进行检测，产生人眼状态指令，并将产生的人眼状态指令发送到指令识别与设置模块；指令识别与设置模块，用于判断所述人眼状态指令的有效性，并根据所述人眼状态指令对电子设备进行相应的控制。

所述目标检测与识别模块可包括：运动检测模块，用于检测运动的用户；人脸识别模块，用于对检测到的用户进行图像分割和处理，并识别和定位人脸位置；人脸跟踪模块，用于跟踪所述人脸；人眼定位模块，用于定位用户人脸的眼部区域。

所述状态监测与识别模块可包括：人眼状态监测模块，用于判断人眼状态而产生人眼状态码，并将所述人眼状态码发送到人眼状态识别模块；计时器，用于对所述人眼状态的保持时间进行计时，并将计时结果发送到人眼状态识别模块；人眼状态识别模块，用于产生由所述人眼状态码和计时结果形成的人眼状态指令，并发送所述人眼状态指令。

所述人眼状态码可包括(0，0)、(0，1)、(1，0)和(1，1)，其中，“0”表示闭眼，“1”表示睁眼。

所述指令识别与设置模块可包括：指令分析和识别模块，用于通过将由所述状态监测与识别模块发送的人眼状态指令所构成的指令队列与指令集中的预定指令进行比较来判断所述指令队列是否有效，如果所述指令队列有效，则将指令队列中的有效指令发送到指令输出模块，并清空指令队列，如果所述指令队列无效，则对指令队列进行纠错；如果纠错成功，则返回再次判断纠错成功的指令队列是否有效，如果纠错超时或失败，则继续从状态监测与识别模块接收人眼状态指令；指令输出模块，用于根据所述有效指令对电子设备进行相应的控制；指令集，用于存储预定指令；指令设置模块，用于对指令集中的预定指令进行设置。

所述对指令队列进行纠错的步骤包括对干扰指令进行过滤。

根据本发明的另一方面，提供了一种基于视觉的交互式电子设备控制方法，其特征在于包括：对用户的人脸进行检测与识别，定位人眼；对定位的人眼的状态进行检测，产生人眼状态指令，并将产生的人眼状态指令发送到指令识别与设置模块；判断所述人眼状态指令的有效性，并根据所述人眼状态指令对电子设备进行相应的控制。

所述对用户的人脸进行检测与识别而定位人眼的步骤可包括：检测运动的用户；对检测到的用户进行图像分割和处理，识别和定位人脸位置；跟踪所述人脸；定位用户人脸的眼部区域。

所述对定位的人眼的状态进行检测而产生人眼状态指令、并将产生的人眼状态指令发送到指令识别与设置模块的步骤可包括：判断人眼状态，产生人眼状态码，并将所述人眼状态码发送到人眼状态识别模块；对所述人眼状态的保持时间进行计时，并将计时结果发送到人眼状态识别模块；产生由所述人眼状态码和计时结果形成的人眼状态指令，并发送所述人眼状态指令。

所述人眼状态码可包括(0，0)、(0，1)、(1，0)和(1，1)，其中，“0”表示闭眼，“1”表示睁眼。

所述判断所述人眼状态指令的有效性并根据人眼状态指令对电子设备进行相应的控制的步骤可包括：通过将由所述人眼状态识别模块发送的人眼状态指令所构成的指令队列与指令集中的预定指令进行比较来判断所述指令队列是否有效，如果所述指令队列有效，则将指令队列中的有效指令发送到指令输出模块，并清空指令队列，如果所述指令队列无效，则对指令队列进行纠错；如果纠错成功，则返回再次判断纠错成功的指令队列是否有效，如果纠错超时或失败，则继续从状态监测与识别模块接收指令；根据所述有效指令对电子设备进行相应的控制；存储预定指令；对指令集中的指令进行设置。

所述对指令队列进行纠错的步骤可包括对干扰指令进行过滤。

通过本发明公开的基于视觉的交互式电子设备控制方法及其控制系统，用户无需其它的肢体动作即可在一定距离内实现用人眼对电子设备进行非接触性的遥控，从而提供了一种新颖基于视觉的人机交互模式。此外，通过用户设置后，本发明还可以避免因特殊情况(诸如，用户睡着、忘记或暂时离开电子设备)导致电子设备长时间处于工作状况而造成的设备损耗，并实现了节约能源的效果。

将在接下来的描述中部分阐述本发明另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本发明的实施而得知。

附图说明

通过下面结合附图进行的描述，本发明的示例性实施例的上述和其它方面、特点和优点将会变得更加清楚，其中：

图1是示出根据本发明示例性实施例的交互式控制系统的框图；

图2是示出根据本发明示例性实施例的人眼状态的示图；

图3是示出根据本发明示例性实施例的交互式控制系统的指令分析和识别模块的工作模式的示图；

图4是示出根据本发明示例性实施例的交互式控制方法的流程图。

具体实施方式

以下，参照附图来详细说明本发明的示例性实施例，其中，附图中相同的标号始终表示相同的部件。本发明不限于上述示例性实施例，在不脱离本发明范围的情况下，可以进行各种变形和修改。

图1是示出根据本发明示例性实施例的交互式控制系统100的框图。

如图1所示，根据本发明示例性实施例的交互式控制系统100包括目标检测与识别模块110、状态监测与识别模块120和指令识别与设置模块130；其中，目标检测与识别模块110包括运动检测模块111、人脸识别模块113、人脸跟踪模块115和人眼定位模块117；状态监测与识别模块120包括人眼状态监测模块121、人眼状态识别模块123和计时器125；指令识别与设置模块130包括指令分析和识别模块131、指令输出模块133和指令设置模块135。目标检测与识别模块110的输入信号由安装在被控设备上的摄像头收集。交互式控制系统100安装在被控设备上，用户无需携带任何额外的附加设备来进行辅助操作。

当电子设备开启后，各个模块即进入工作状态。

一旦用户进入被控设备的摄像头捕捉范围后，运动检测模块111检测运动的用户，人脸识别模块113对检测到的用户进行图像分割和处理，识别和定位人脸位置。摄像头只能锁定单个用户，当出现第二个用户时，人脸识别模块113将不再进行识别，除非用户设定重新识别新用户。随后，人脸跟踪模块115对所述人脸目标进行跟踪，以减少每次重新检测人脸所需要的时间，提高系统的性能。应该理解，通常用于运动检测的算法有光流法、差分图像法等，图像分割和处理可采用的基本技术有罗伯特交叉算子、拉普拉斯算子、哈夫变换等，人脸识别和定位的基本方法有参考模板法、人脸规则法、样品学习法、肤色模型法以及特征子脸法等，对人脸目标进行跟踪的基本方法有卡尔曼滤波、Mean Shift算法，和粒子滤波法等，为了不使本发明的主题模糊，在此省略对以上公知方法的描述。同时，应该理解，根据本发明示例性实施例的运动检测模块111、人脸识别模块113和人脸跟踪模块115所采用的方法不限于此。在对人脸进行定位后，由于人的眼睛在面部的位置相对固定，特征明显，因此人眼定位模块117可利用颜色和相对位置等人体工程学信息定位到用户眼部的区域，并由状态监测与识别模块120对此区域的人眼状态进行判断。当长时间无法定位人眼时，结合电子设备的具体情况，可将电子设备设置为进入休眠状态或者屏幕自动关闭等。

当上述人脸识别、人脸跟踪或人眼定位操作失败时，可重新进行运动检测、人脸识别、人脸跟踪和人眼定位。

在对人眼状态进行识别时，人眼状态监测模块121将根据用户眼部的区域的颜色比例来判断双眼当前的状态是“睁眼”还是“闭眼”，并将所述状态输出到人眼状态识别模块123。例如，“睁眼”可表示输入为“1”，“闭眼”可表示输入为“0”，并因此得到双眼的四种不同状态组合，即，“00”、“01”、“10”和“11”，如图2所示。所述每种状态均可对应不同的指令状态。应该理解，本发明不限于此，例如，还可使用“0”表示“睁眼”，使用“1”表示“闭眼”。

人眼状态识别模块123在运行时，还需要使用计时器125对人眼状态进行计时，以生成由人眼状态和时间共同组合成的指令，例如用户保持“睁左眼、闭右眼”状态2秒钟，则可将此人眼状态形式化为(0，1，2)，其中“0”表示右眼闭合状态，“1”表示左眼睁开状态，“2”表示此状态维持的时间为2秒。当系统检测到2秒后用户的双眼状态改变后，结束对前一状态的计时，将(0，1，2)作为一条指令发送到后续模块，并清空计时器以及当前指令。应该注意，本发明涉及以双眼不同状态及其维持时间作为指令的解决方案，并不限于以上的状态分配及组合，例如，可将(0，1，2)看作是连续两个指令(0，1，1)(0，1，1)的序列，或者二维指令(0，1)，均被认为包括在本发明的范围内。此外，如果长时间没有发生状态改变，本模块仍然会定时把当前的状态发送到后续模块，从而保证在用户睡着之后，能够及时通知后续模块执行相应的操作。例如，当前状态维持的时间超过一定阈值(诸如，120秒)，则同样也须后向后续模块发送当前状态，并清空计时器以及当前指令，此处的阈值可根据不同电子设备进行设定。

图3是示出根据本发明示例性实施例的交互式控制系统的指令分析和识别模块131的工作模式的示图。指令识别与设置模块130的指令分析和识别模块131按照有限状态机的原理进行工作。参照图3，在初始状态，指令分析和识别模块131处于空闲，一旦接收到前一模块输入的指令后，则进入接受指令状态，并将该指令保存到指令队列。如果接受指令超时或失败，则指令分析和识别模块131返回空闲状态。通常情况下，指令分析和识别模块131会接收到三种不同的指令，第一种是因用户双眼长时间保持同一状态而导致的多个同样状态指令，此时需将它们合并；第二种是由于用户进行操作而产生的状态变化，此时需将新状态加入队列；第三种是因误判或用户的正常眨眼行为导致的干扰。每当接收到新的指令时，指令分析和识别模块131首先对整条指令队列进行有效性判断，如果指令队列中存在能够匹配到指令集137中的特定指令的指令时，则指令队列有效，指令分析和识别模块131会将所述有效指令发送到指令输出模块133，根据所述有效指令对电子设备进行相应的控制，同时清空当前的指令队列，返回空闲状态；如果指令队列中的指令不能够匹配到指令集137中的特定指令，则指令队列无效，指令分析和识别模块131进入纠错状态，对指令队列进行纠错处理，诸如，对干扰指令进行过滤：假设当用户正常眨眼的动作产生如下指令序列(1，1，1000)(0，1，0.2)，其中0.2秒的闭眼时间小于正常指令的最小阈值，则将所述指令序列判断为干扰信号，并将其过滤。应该理解，上述的纠错处理仅是示例，指令分析和识别模块131可使用任何适用的纠错处理对指令队列进行纠错。如果指令分析和识别模块131的纠错处理成功，则返回接受指令状态，后续可以再对纠错成功的指令队列进行有效性判断；如果纠错超时或失败，则返回空闲状态。

对于指令集的查询，可采用严格匹配和模糊匹配等多种模式，具体需要根据被控设备的不同属性进行定制。例如，在对电视机的控制中，可存在指令模式“(0，0，[600，+∞])＝‘休眠’”，表示当用户闭上双眼超过10分钟后，电视自动进入休眠状态；在对手机的控制中，可存在指令“(1，1，[2，+∞])(0，1，[0.4，0.6])(1，1，[0.6，1])(0，1，[0.4，0.6])＝‘打开通讯录’”，表示当用户在保持睁眼状态两秒以上时，以特定频率和间隔连眨两下右眼，则打开手机设备上的通讯录。此外，用户还可以设置用于消除误操作的清除指令，例如“(1，1，[10，+∞])＝‘清除指令队列’”，表示当用户维持10秒无操作时，则自动清除当前的指令队列。应该注意，本发明的指令不限于此。

此外，除了使用系统提供的缺省指令集外，用户也可通过指令设置模块135提供的用户界面来对指令集137进行设置，这样用户可以根据自己的个人习惯来定制多个指令，甚至是整套指令集。

图4是示出根据本发明示例性实施例的交互式控制方法的流程图。

如图4所示，在操作S401，检测运动的用户。

在操作S403，对检测到的用户进行图像分割和处理，识别和定位人脸位置。

在操作S405，对人脸目标进行跟踪。

在操作S407，定位到用户的眼部区域。

在操作S409，判断人眼状态，并输出所述人眼状态。

在操作S411，产生由人眼状态和时间共同组合成的指令，并输出所述指令。

在操作S413，判断由指令组成的指令队列是否有效，如果所述指令队列有效，则进行操作S415，输出所述有效指令，根据所述有效指令对电子设备进行相应的控制；如果所述指令队列无效，则进行操作S417，对指令队列进行纠错，随后返回操作S413。

本发明通过摄像头识别用户睁眼/闭眼行为并组成控制指令，从而实现对电子设备进行控制。用户无需其他的肢体动作即可在一定距离内实现用人眼对电子设备进行非接触性的遥控。同时，本发明的基于视觉的交互式电子设备控制方法及其控制系统能够精确识别用户在识别区域内是否需要执行操作，解决用户需求的精准问题；无需用户携带任何附加设备进行控制辅助；以及通过详细的指令运算方法实现人与设备之间的交互，用最自然的交互方式控制电子设备，面向普通人群，节省能源。

虽然已经参照示例性实施例示出和描述了本发明，但是本领域的技术人员应该理解：在不脱离由权利要求定义的本发明的精神和范围的情况下，可以进行形式和细节上的各种改变。

Claims (12)

1.一种基于视觉的交互式电子设备控制系统，其特征在于包括：

目标检测与识别模块，用于对用户的人脸进行检测与识别，并定位人眼；

状态监测与识别模块，用于对定位的人眼的状态进行检测，产生人眼状态指令，并将产生的人眼状态指令发送到指令识别与设置模块；和

指令识别与设置模块，用于判断所述人眼状态指令的有效性，并根据所述人眼状态指令对电子设备进行相应的控制。

2.如权利要求1所述的交互式电子设备控制系统，其特征在于，所述目标检测与识别模块包括：

运动检测模块，用于检测运动的用户；

人脸识别模块，用于对检测到的用户进行图像分割和处理，并识别和定位人脸位置；

人脸跟踪模块，用于跟踪所述人脸；和

人眼定位模块，用于定位用户人脸的眼部区域。

3.根据权利要求1所述的交互式电子设备控制系统，其特征在于，所述状态监测与识别模块包括：

人眼状态监测模块，用于判断人眼状态而产生人眼状态码，并将所述人眼状态码发送到人眼状态识别模块；

计时器，用于对所述人眼状态的保持时间进行计时，并将计时结果发送到人眼状态识别模块；和

人眼状态识别模块，用于产生由所述人眼状态码和计时结果形成的人眼状态指令，并发送所述人眼状态指令。

4.根据权利要求3所述的交互式电子设备控制系统，其特征在于，所述人眼状态码包括(0，0)、(0，1)、(1，0)和(1，1)，其中，“0”表示闭眼，“1”表示睁眼。

5.根据权利要求1所述的交互式电子设备控制系统，其特征在于，所述指令识别与设置模块包括：

指令分析和识别模块，用于通过将由所述状态监测与识别模块发送的人眼状态指令所构成的指令队列与指令集中的预定指令进行比较来判断所述指令队列是否有效，如果所述指令队列有效，则将指令队列中的有效指令发送到指令输出模块，并清空指令队列，如果所述指令队列无效，则对指令队列进行纠错；如果纠错成功，则返回再次判断纠错成功的指令队列是否有效，如果纠错超时或失败，则继续从状态监测与识别模块接收人眼状态指令；

指令输出模块，用于根据所述有效指令对电子设备进行相应的控制；

指令集，用于存储预定指令；和

指令设置模块，用于对指令集中的预定指令进行设置。

6.根据权利要求5所述的交互式电子设备控制系统，其特征在于，所述对指令队列进行纠错的步骤包括对干扰指令进行过滤。

7.一种基于视觉的交互式电子设备控制方法，其特征在于包括：

对用户的人脸进行检测与识别，定位人眼；

对定位的人眼的状态进行检测，产生人眼状态指令，并将产生的人眼状态指令发送到指令识别与设置模块；和

判断所述人眼状态指令的有效性，并根据所述人眼状态指令对电子设备进行相应的控制。

8.如权利要求7所述的交互式电子设备控制方法，其特征在于，所述对用户的人脸进行检测与识别而定位人眼的步骤包括：

检测运动的用户；

对检测到的用户进行图像分割和处理，识别和定位人脸位置；

跟踪所述人脸；和

定位用户人脸的眼部区域。

9.根据权利要求7所述的交互式电子设备控制方法，其特征在于，所述对定位的人眼的状态进行检测而产生人眼状态指令、并将产生的人眼状态指令发送到指令识别与设置模块的步骤包括：

判断人眼状态，产生人眼状态码，并将所述人眼状态码发送到人眼状态识别模块；

对所述人眼状态的保持时间进行计时，并将计时结果发送到人眼状态识别模块；和

产生由所述人眼状态码和计时结果形成的人眼状态指令，并发送所述人眼状态指令。

10.根据权利要求9所述的交互式电子设备控制方法，其特征在于，所述人眼状态码包括(0，0)、(0，1)、(1，0)和(1，1)，其中，“0”表示闭眼，“1”表示睁眼。

11.根据权利要求7所述的交互式电子设备控制方法，其特征在于，所述判断所述人眼状态指令的有效性并根据人眼状态指令对电子设备进行相应的控制的步骤包括：

通过将由所述人眼状态识别模块发送的人眼状态指令所构成的指令队列与指令集中的预定指令进行比较来判断所述指令队列是否有效，如果所述指令队列有效，则将指令队列中的有效指令发送到指令输出模块，并清空指令队列，如果所述指令队列无效，则对指令队列进行纠错；如果纠错成功，则返回再次判断纠错成功的指令队列是否有效，如果纠错超时或失败，则继续从状态监测与识别模块接收指令；

根据所述有效指令对电子设备进行相应的控制；

存储预定指令；和

对指令集中的指令进行设置。

12.根据权利要求11所述的交互式电子设备控制方法，其特征在于，所述对指令队列进行纠错的步骤包括对干扰指令进行过滤。

Images