CN104333793A

CN104333793A - 一种手势遥控系统

Info

Publication number: CN104333793A
Application number: CN201410555330.7A
Authority: CN
Inventors: 胡晓晔
Original assignee: Baoji University of Arts and Sciences
Current assignee: Baoji University of Arts and Sciences
Priority date: 2014-10-17
Filing date: 2014-10-17
Publication date: 2015-02-04
Anticipated expiration: 2034-10-17
Also published as: CN104333793B

Abstract

本发明公开了一种手势遥控系统，应用于一电子设备，该手势遥控系统包括：摄像部(21)、图像识别部(22)、控制部(23)和影像处理部(24)，其中，在图像识别部(22)检测到第一用户(2)做出一特定动作，使得所述手势遥控系统开启手势遥控功能之后，当检测到第二用户(5)做出所述特定动作时，控制部(23)判断第一用户(2)的遥控操作是否已经结束，根据判断结果询问第一用户(2)是否同意放弃对电子设备的控制权，并进行相应的控制权转移。由此，在遥控操作过程中实现不同用户之间控制权的转移，减少用户等待时间和操作环节，从而提高用户使用体验度。

Description

一种手势遥控系统

技术领域

本发明涉及一种电子设备的人机交互技术，具体涉及一种手势遥控系统。

背景技术

电子设备(包括电视机)已被使用以用户的手势来控制虚拟光标和其他对象的技术，但这些方法在实际使用过程中还存在诸多不便。其中，面临的一个挑战就是如何区分和管理多个用户的手势操作。对于电视机这类家庭电子设备而言，其使用环境有别于手机、平板电脑等个人消费电子产品。如图1所示，电视机通常由多个用户同时观看，在观看过程中，如何处理同时或接连来自不同用户的手势命令成为一个棘手的问题。

中国专利申请(CN103105928A)提出一种手势遥控系统，旨在实现所谓“多目标分离”，其中，多个用户的手指需要分别佩戴发出不同颜色的发光元件，因此，它实际上仍然未摆脱传统遥控器的束缚，这表现在：一方面增加了整个系统的元件以及由此产生的成本；另一方面也有违手势遥控技术起源的本意，即解决遥控器容易放错地方、需要更换电池等缺陷。

另外，目前广泛采用的不附加其他辅助手段、徒手操作的手势遥控技术中，用户可以通过做出一个特定手势动作(例如挥手)来启动手势遥控功能。理论上，当检测到一个用户的有效启动手势动作时，可以通过跟踪该用户的手同时屏蔽对其他手的检测来赋予该用户对于电子设备的独占控制权，从而解决多用户的控制冲突问题。然而，这种做法对于其他用户而言是不公平的，也会降低用户体验的整体满意度。例如，当第一用户启动手势功能，打开了电子节目指南(EPG)界面，这时，如果第二用户想要接管电视机的控制权，按照自己的意愿对EPG进行相应的操作(例如，翻页、打开下一级菜单，等等)，那么，即便此时第一用户主观上愿意放弃控制权，第二用户也需要等待第一用户完成全部操作或者等待分配给第一用户的控制时间耗尽后，再通过做出启动手势动作来获得对电视机的控制。这就带来了操作上的不便和用户体验的降低。

发明内容

针对现有技术的不足，本发明提出一种手势遥控系统，旨在解决多用户环境的手势遥控系统，在遥控操作过程中实现不同用户之间转移控制权时，存在操作不便的问题，从而提高用户使用体验度。

本发明的目的通过以下技术方案来实现：

一种手势遥控系统，应用于一电子设备，该手势遥控系统包括：摄像部、图像识别部、控制部和影像处理部，摄像部拍摄作为电子设备使用者的用户的图像；图像识别部接收由摄像部拍摄的图像，由接收的图像检测和识别用户的动作；控制部根据图像识别部的识别结果，生成与用户的动作相应的控制命令；影像处理部根据控制部的控制命令，控制用户图形接口的界面元素作出相应的响应，

其中，在图像识别部检测到第一用户做出一特定动作，使得所述手势遥控系统开启手势遥控功能之后，当检测到第二用户做出所述特定动作时，控制部判断第一用户的遥控操作是否已经结束，如果控制部判断第一用户的遥控操作已经结束，或者，分配给第一用户的控制时间已经超过上限，则控制部指示图像识别部跟踪第二用户的手势动作，使得第二用户开始遥控操作；如果控制部判断第一用户的遥控操作尚未结束，并且，分配给第一用户的控制时间未超时，则控制部通知影像处理部在电子设备的显示画面上显示交互信息，询问第一用户是否同意放弃对电子设备的控制权，

如果第一用户发出同意放弃控制权的命令，则控制部指示图像识别部跟踪第二用户的手势动作，从第二用户接收后续操作命令；如果第一用户发出不同意放弃控制权的命令，则控制部指示图像识别部继续跟踪第一用户的手势动作，从第一用户接收后续操作命令。

本发明提出的技术方案的有益效果将通过以下实施例的阐述而得到详尽的体现。

附图说明

图1是多用户手势遥控系统的使用环境示意图；

图2是本发明提出的手势遥控系统的功能框图；

图3是本发明提出的手势遥控系统的工作流程图。

具体实施方式

下面结合附图对本发明的实施例进行说明。

图1是本发明应用于电视机时的动作环境示意图。1为电视机，4为显示画面，3为摄像部，2和5为要操作电视机1的不同用户。显示画面4为电视机1的显示部，例如，由液晶显示器或等离子体显示器等显示装置构成。显示画面4由显示面板、面板控制电路和面板控制驱动器构成。摄像部3为用于向电视机1输入拍摄图像的摄像机等设备。此外，摄像部3也可以内置于电视机1或者通过线缆或无线等其他方法连接。用户2和5为对于电视机1进行操作的用户。

参见图2，本发明的手势遥控系统包括：摄像部21、图像识别部22、控制部23和影像处理部24。图像识别部22接收由摄像部21拍摄的图像，由接收的图像检测用户的动作，识别脸部和手等。控制部23例如由微型处理器构成，根据由图像识别部22识别的结果，控制影像处理部24的动作。影像处理部24例如由ASIC、FPGA、MPU等处理装置构成。影像处理部24根据控制部23的命令，控制用户图形接口的界面元素(例如，光标、菜单、页面等)进行相应的动作。

下面，参照图3具体阐述本发明手势遥控系统的工作原理和流程。摄像部21对电视机1的前方进行摄像，用户2做出一特定动作，开始操作。该特定动作可以是各种姿体动作，例如在规定时间内挥手、手掌面向摄像部在规定时间内保持静止、做出特定手形并在规定时间内保持静止或者招手的动作，或者眨眼等使用脸部的动作等。通过做特定的动作，用户2对电视机1指示开始进行手势遥控操作，接收该指示的电视机1移行至接受用户2的操作的状态。摄像部21持续拍摄，图像识别部22从摄像部21拍摄的图像中检测用户的动作，识别脸部和手等。控制部23根据图像识别部22的识别结果，生成与用户的手势动作相应的控制命令，控制影像处理部24的动作。影像处理部24根据控制部23的命令，控制用户图形接口的界面元素进行相应的动作，例如移动光标、退出EPG界面、打开音量调节或频道切换功能组件等。

在图像识别部22检测到用户2做出的用以指示开始手势遥控操作的特定动作之后，当再次检测到其他用户5做出的同样的特定动作时，图像识别部22将这一事件通知控制部23。控制部23此时判断用户2的遥控操作是否已经结束。该判断过程可以通过设置一个控制权标志CTRL来实现：当用户2正在进行遥控操作时，用户图形接口的界面元素当前处于活动状态，此时控制权标志CTRL＝“OCCUPIED”，表明当前电视机的控制权被占用；当用户2已经完成遥控操作，退出了相应的控制界面时，用户图形接口的所有界面元素处于非活动状态，此时控制权标志CTRL＝“AVAILABLE”，表明当前控制权未被占用。需要注意，在某些极端情况下，例如用户2打开一个EPG界面后未退出，也未进行任何其他操作，或者，长时间进行不断的手势操作(比如，持续移动光标)，此时控制权标志CTRL的取值将保持为“OCCUPIED”，也即电视机的控制权将一直被用户2占用。为了避免这种情况，需要引入适当的超时机制，也即给当前具有控制权的用户分配一个控制权时间上限。当分配给一个用户的操作时间超过该上限时，手势遥控系统将自动收回控制权，使得该用户无法继续进行遥控操作，除非重新做出指示开始手势遥控操作的特定动作。

如果控制部23判断用户2的遥控操作已经结束，或者，分配给用户2的控制时间已经超过上限，则控制部23收回用户2对电视机的控制权，并将其转交给用户5，使得用户5可以开始遥控操作。如果控制部23判断用户2的遥控操作尚未结束，并且，分配给用户2的控制时间并未超时，则控制部23通知影像处理部24在电视机1的显示画面4上显示交互信息，询问用户2是否同意放弃对电视机1的控制权。在此特定实施例中，上述交互信息可以是文字信息。在其他实施例中，交互信息也可以是语音、图标等其他信息。

作为回应，用户2发出表示同意或不同意的动作。该动作可以是预先定义的手势动作，例如“OK”形手势表示同意，握拳表示不同意等。在其他实施例中，该动作还可以是脸部或头部的动作，例如点头表示同意，摇头表示不同意等。对于人脸和手的检测和识别属于本领域现有技术，此处不再赘述。此外，在变形实施例中，用户2可以直接发出同意或不同意的语音命令，此时手势遥控系统应当具备音频拾取设备和语音识别软件，用来捕获和识别用户的语音命令，这同样属于现有技术，不再赘述。

控制部23根据图像识别部22的识别结果进行相应的控制。如果用户2同意放弃控制权，则控制部23将电视机1的控制权移交给用户5，指示图像识别部22跟踪用户5的手势动作，从用户5接收后续操作命令。如果用户2不同意放弃控制权，则控制部23指示图像识别部22继续跟踪用户2的手势动作，从用户2接收后续操作命令。

由此，在多个用户同时使用电视机等电子设备时，本发明的手势遥控系统可以在某一用户进行遥控操作的过程中，实现不同用户之间控制权的转移，有利于提高用户使用体验度。

以上利用具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种手势遥控系统，应用于一电子设备，该手势遥控系统包括：摄像部(21)、图像识别部(22)、控制部(23)和影像处理部(24)，摄像部(21)拍摄作为电子设备使用者的用户的图像；图像识别部(22)接收由摄像部(21)拍摄的图像，由接收的图像检测和识别用户的动作；控制部(23)根据图像识别部(22)的识别结果，生成与用户的动作相应的控制命令；影像处理部(24)根据控制部(23)的控制命令，控制用户图形接口的界面元素作出相应的响应，

其中，在图像识别部(22)检测到第一用户(2)做出一特定动作，使得所述手势遥控系统开启手势遥控功能之后，当检测到第二用户(5)做出所述特定动作时，控制部(23)判断第一用户(2)的遥控操作是否已经结束，如果控制部(23)判断第一用户(2)的遥控操作已经结束，或者，分配给第一用户(2)的控制时间已经超过上限，则控制部(23)指示图像识别部(22)跟踪第二用户(5)的手势动作，使得第二用户(5)开始遥控操作；如果控制部(23)判断第一用户(2)的遥控操作尚未结束，并且，分配给第一用户(2)的控制时间未超时，则控制部(23)通知影像处理部(24)在电子设备的显示画面上显示交互信息，询问第一用户(2)是否同意放弃对电子设备的控制权，

如果第一用户(2)发出同意放弃控制权的命令，则控制部(23)指示图像识别部(22)跟踪第二用户(5)的手势动作，从第二用户(5)接收后续操作命令；如果第一用户(2)发出不同意放弃控制权的命令，则控制部(23)指示图像识别部(22)继续跟踪第一用户(2)的手势动作，从第一用户(2)接收后续操作命令。

2.根据权利要求1所述的手势遥控方法，其中，优选的，所述特定动作是手势动作或者脸部的动作。

3.根据权利要求1所述的手势遥控系统，其中，当用户图形接口的界面元素当前处于活动状态时，控制部(23)判断第一用户(2)正在进行遥控操作；当用户图形接口的所有界面元素处于非活动状态时，控制部(23)判断第一用户(2)的遥控操作已经结束。

4.根据权利要求1所述的手势遥控方法，其中，所述交互信息为文字信息或图标。

5.根据权利要求1所述的手势遥控系统，其中，所述表示同意或不同意放弃控制权的命令是以下之一：预先定义的手势动作、脸部或头部的动作、语音命令。