CN104333793A - 一种手势遥控系统 - Google Patents

一种手势遥控系统 Download PDF

Info

Publication number
CN104333793A
CN104333793A CN201410555330.7A CN201410555330A CN104333793A CN 104333793 A CN104333793 A CN 104333793A CN 201410555330 A CN201410555330 A CN 201410555330A CN 104333793 A CN104333793 A CN 104333793A
Authority
CN
China
Prior art keywords
user
control
remote control
gesture
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410555330.7A
Other languages
English (en)
Other versions
CN104333793B (zh
Inventor
胡晓晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baoji University of Arts and Sciences
Original Assignee
Baoji University of Arts and Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baoji University of Arts and Sciences filed Critical Baoji University of Arts and Sciences
Priority to CN201410555330.7A priority Critical patent/CN104333793B/zh
Publication of CN104333793A publication Critical patent/CN104333793A/zh
Application granted granted Critical
Publication of CN104333793B publication Critical patent/CN104333793B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种手势遥控系统，应用于一电子设备，该手势遥控系统包括：摄像部(21)、图像识别部(22)、控制部(23)和影像处理部(24)，其中，在图像识别部(22)检测到第一用户(2)做出一特定动作，使得所述手势遥控系统开启手势遥控功能之后，当检测到第二用户(5)做出所述特定动作时，控制部(23)判断第一用户(2)的遥控操作是否已经结束，根据判断结果询问第一用户(2)是否同意放弃对电子设备的控制权，并进行相应的控制权转移。由此，在遥控操作过程中实现不同用户之间控制权的转移，减少用户等待时间和操作环节，从而提高用户使用体验度。

Description

一种手势遥控系统
技术领域
本发明涉及一种电子设备的人机交互技术，具体涉及一种手势遥控系统。
背景技术
电子设备(包括电视机)已被使用以用户的手势来控制虚拟光标和其他对象的技术，但这些方法在实际使用过程中还存在诸多不便。其中，面临的一个挑战就是如何区分和管理多个用户的手势操作。对于电视机这类家庭电子设备而言，其使用环境有别于手机、平板电脑等个人消费电子产品。如图1所示，电视机通常由多个用户同时观看，在观看过程中，如何处理同时或接连来自不同用户的手势命令成为一个棘手的问题。
中国专利申请(CN103105928A)提出一种手势遥控系统，旨在实现所谓“多目标分离”，其中，多个用户的手指需要分别佩戴发出不同颜色的发光元件，因此，它实际上仍然未摆脱传统遥控器的束缚，这表现在：一方面增加了整个系统的元件以及由此产生的成本；另一方面也有违手势遥控技术起源的本意，即解决遥控器容易放错地方、需要更换电池等缺陷。
另外，目前广泛采用的不附加其他辅助手段、徒手操作的手势遥控技术中，用户可以通过做出一个特定手势动作(例如挥手)来启动手势遥控功能。理论上，当检测到一个用户的有效启动手势动作时，可以通过跟踪该用户的手同时屏蔽对其他手的检测来赋予该用户对于电子设备的独占控制权，从而解决多用户的控制冲突问题。然而，这种做法对于其他用户而言是不公平的，也会降低用户体验的整体满意度。例如，当第一用户启动手势功能，打开了电子节目指南(EPG)界面，这时，如果第二用户想要接管电视机的控制权，按照自己的意愿对EPG进行相应的操作(例如，翻页、打开下一级菜单，等等)，那么，即便此时第一用户主观上愿意放弃控制权，第二用户也需要等待第一用户完成全部操作或者等待分配给第一用户的控制时间耗尽后，再通过做出启动手势动作来获得对电视机的控制。这就带来了操作上的不便和用户体验的降低。
发明内容
针对现有技术的不足，本发明提出一种手势遥控系统，旨在解决多用户环境的手势遥控系统，在遥控操作过程中实现不同用户之间转移控制权时，存在操作不便的问题，从而提高用户使用体验度。
本发明的目的通过以下技术方案来实现：
一种手势遥控系统，应用于一电子设备，该手势遥控系统包括：摄像部、图像识别部、控制部和影像处理部，摄像部拍摄作为电子设备使用者的用户的图像；图像识别部接收由摄像部拍摄的图像，由接收的图像检测和识别用户的动作；控制部根据图像识别部的识别结果，生成与用户的动作相应的控制命令；影像处理部根据控制部的控制命令，控制用户图形接口的界面元素作出相应的响应，
其中，在图像识别部检测到第一用户做出一特定动作，使得所述手势遥控系统开启手势遥控功能之后，当检测到第二用户做出所述特定动作时，控制部判断第一用户的遥控操作是否已经结束，如果控制部判断第一用户的遥控操作已经结束，或者，分配给第一用户的控制时间已经超过上限，则控制部指示图像识别部跟踪第二用户的手势动作，使得第二用户开始遥控操作；如果控制部判断第一用户的遥控操作尚未结束，并且，分配给第一用户的控制时间未超时，则控制部通知影像处理部在电子设备的显示画面上显示交互信息，询问第一用户是否同意放弃对电子设备的控制权，
如果第一用户发出同意放弃控制权的命令，则控制部指示图像识别部跟踪第二用户的手势动作，从第二用户接收后续操作命令；如果第一用户发出不同意放弃控制权的命令，则控制部指示图像识别部继续跟踪第一用户的手势动作，从第一用户接收后续操作命令。
本发明提出的技术方案的有益效果将通过以下实施例的阐述而得到详尽的体现。
附图说明
图1是多用户手势遥控系统的使用环境示意图；
图2是本发明提出的手势遥控系统的功能框图；
图3是本发明提出的手势遥控系统的工作流程图。
具体实施方式
下面结合附图对本发明的实施例进行说明。
图1是本发明应用于电视机时的动作环境示意图。1为电视机，4为显示画面，3为摄像部，2和5为要操作电视机1的不同用户。显示画面4为电视机1的显示部，例如，由液晶显示器或等离子体显示器等显示装置构成。显示画面4由显示面板、面板控制电路和面板控制驱动器构成。摄像部3为用于向电视机1输入拍摄图像的摄像机等设备。此外，摄像部3也可以内置于电视机1或者通过线缆或无线等其他方法连接。用户2和5为对于电视机1进行操作的用户。
参见图2，本发明的手势遥控系统包括：摄像部21、图像识别部22、控制部23和影像处理部24。图像识别部22接收由摄像部21拍摄的图像，由接收的图像检测用户的动作，识别脸部和手等。控制部23例如由微型处理器构成，根据由图像识别部22识别的结果，控制影像处理部24的动作。影像处理部24例如由ASIC、FPGA、MPU等处理装置构成。影像处理部24根据控制部23的命令，控制用户图形接口的界面元素(例如，光标、菜单、页面等)进行相应的动作。
下面，参照图3具体阐述本发明手势遥控系统的工作原理和流程。摄像部21对电视机1的前方进行摄像，用户2做出一特定动作，开始操作。该特定动作可以是各种姿体动作，例如在规定时间内挥手、手掌面向摄像部在规定时间内保持静止、做出特定手形并在规定时间内保持静止或者招手的动作，或者眨眼等使用脸部的动作等。通过做特定的动作，用户2对电视机1指示开始进行手势遥控操作，接收该指示的电视机1移行至接受用户2的操作的状态。摄像部21持续拍摄，图像识别部22从摄像部21拍摄的图像中检测用户的动作，识别脸部和手等。控制部23根据图像识别部22的识别结果，生成与用户的手势动作相应的控制命令，控制影像处理部24的动作。影像处理部24根据控制部23的命令，控制用户图形接口的界面元素进行相应的动作，例如移动光标、退出EPG界面、打开音量调节或频道切换功能组件等。
在图像识别部22检测到用户2做出的用以指示开始手势遥控操作的特定动作之后，当再次检测到其他用户5做出的同样的特定动作时，图像识别部22将这一事件通知控制部23。控制部23此时判断用户2的遥控操作是否已经结束。该判断过程可以通过设置一个控制权标志CTRL来实现：当用户2正在进行遥控操作时，用户图形接口的界面元素当前处于活动状态，此时控制权标志CTRL＝“OCCUPIED”，表明当前电视机的控制权被占用；当用户2已经完成遥控操作，退出了相应的控制界面时，用户图形接口的所有界面元素处于非活动状态，此时控制权标志CTRL＝“AVAILABLE”，表明当前控制权未被占用。需要注意，在某些极端情况下，例如用户2打开一个EPG界面后未退出，也未进行任何其他操作，或者，长时间进行不断的手势操作(比如，持续移动光标)，此时控制权标志CTRL的取值将保持为“OCCUPIED”，也即电视机的控制权将一直被用户2占用。为了避免这种情况，需要引入适当的超时机制，也即给当前具有控制权的用户分配一个控制权时间上限。当分配给一个用户的操作时间超过该上限时，手势遥控系统将自动收回控制权，使得该用户无法继续进行遥控操作，除非重新做出指示开始手势遥控操作的特定动作。
如果控制部23判断用户2的遥控操作已经结束，或者，分配给用户2的控制时间已经超过上限，则控制部23收回用户2对电视机的控制权，并将其转交给用户5，使得用户5可以开始遥控操作。如果控制部23判断用户2的遥控操作尚未结束，并且，分配给用户2的控制时间并未超时，则控制部23通知影像处理部24在电视机1的显示画面4上显示交互信息，询问用户2是否同意放弃对电视机1的控制权。在此特定实施例中，上述交互信息可以是文字信息。在其他实施例中，交互信息也可以是语音、图标等其他信息。
作为回应，用户2发出表示同意或不同意的动作。该动作可以是预先定义的手势动作，例如“OK”形手势表示同意，握拳表示不同意等。在其他实施例中，该动作还可以是脸部或头部的动作，例如点头表示同意，摇头表示不同意等。对于人脸和手的检测和识别属于本领域现有技术，此处不再赘述。此外，在变形实施例中，用户2可以直接发出同意或不同意的语音命令，此时手势遥控系统应当具备音频拾取设备和语音识别软件，用来捕获和识别用户的语音命令，这同样属于现有技术，不再赘述。
控制部23根据图像识别部22的识别结果进行相应的控制。如果用户2同意放弃控制权，则控制部23将电视机1的控制权移交给用户5，指示图像识别部22跟踪用户5的手势动作，从用户5接收后续操作命令。如果用户2不同意放弃控制权，则控制部23指示图像识别部22继续跟踪用户2的手势动作，从用户2接收后续操作命令。
由此，在多个用户同时使用电视机等电子设备时，本发明的手势遥控系统可以在某一用户进行遥控操作的过程中，实现不同用户之间控制权的转移，有利于提高用户使用体验度。
以上利用具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种手势遥控系统，应用于一电子设备，该手势遥控系统包括：摄像部(21)、图像识别部(22)、控制部(23)和影像处理部(24)，摄像部(21)拍摄作为电子设备使用者的用户的图像；图像识别部(22)接收由摄像部(21)拍摄的图像，由接收的图像检测和识别用户的动作；控制部(23)根据图像识别部(22)的识别结果，生成与用户的动作相应的控制命令；影像处理部(24)根据控制部(23)的控制命令，控制用户图形接口的界面元素作出相应的响应，
其中，在图像识别部(22)检测到第一用户(2)做出一特定动作，使得所述手势遥控系统开启手势遥控功能之后，当检测到第二用户(5)做出所述特定动作时，控制部(23)判断第一用户(2)的遥控操作是否已经结束，如果控制部(23)判断第一用户(2)的遥控操作已经结束，或者，分配给第一用户(2)的控制时间已经超过上限，则控制部(23)指示图像识别部(22)跟踪第二用户(5)的手势动作，使得第二用户(5)开始遥控操作；如果控制部(23)判断第一用户(2)的遥控操作尚未结束，并且，分配给第一用户(2)的控制时间未超时，则控制部(23)通知影像处理部(24)在电子设备的显示画面上显示交互信息，询问第一用户(2)是否同意放弃对电子设备的控制权，
如果第一用户(2)发出同意放弃控制权的命令，则控制部(23)指示图像识别部(22)跟踪第二用户(5)的手势动作，从第二用户(5)接收后续操作命令；如果第一用户(2)发出不同意放弃控制权的命令，则控制部(23)指示图像识别部(22)继续跟踪第一用户(2)的手势动作，从第一用户(2)接收后续操作命令。
2.根据权利要求1所述的手势遥控方法，其中，优选的，所述特定动作是手势动作或者脸部的动作。
3.根据权利要求1所述的手势遥控系统，其中，当用户图形接口的界面元素当前处于活动状态时，控制部(23)判断第一用户(2)正在进行遥控操作；当用户图形接口的所有界面元素处于非活动状态时，控制部(23)判断第一用户(2)的遥控操作已经结束。
4.根据权利要求1所述的手势遥控方法，其中，所述交互信息为文字信息或图标。
5.根据权利要求1所述的手势遥控系统，其中，所述表示同意或不同意放弃控制权的命令是以下之一：预先定义的手势动作、脸部或头部的动作、语音命令。
CN201410555330.7A 2014-10-17 2014-10-17 一种手势遥控系统 Expired - Fee Related CN104333793B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410555330.7A CN104333793B (zh) 2014-10-17 2014-10-17 一种手势遥控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410555330.7A CN104333793B (zh) 2014-10-17 2014-10-17 一种手势遥控系统

Publications (2)

Publication Number Publication Date
CN104333793A true CN104333793A (zh) 2015-02-04
CN104333793B CN104333793B (zh) 2015-08-19

Family

ID=52408430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410555330.7A Expired - Fee Related CN104333793B (zh) 2014-10-17 2014-10-17 一种手势遥控系统

Country Status (1)

Country Link
CN (1) CN104333793B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105072250A (zh) * 2015-07-06 2015-11-18 广东欧珀移动通信有限公司 一种终端与播放设备的连接方法及装置
CN105912098A (zh) * 2015-12-10 2016-08-31 乐视致新电子科技（天津）有限公司 一种基于体感的操作组件控制方法和系统
WO2018027633A1 (zh) * 2016-08-10 2018-02-15 董访问 根据动作输入电视指令的方法和电视机
WO2018027631A1 (zh) * 2016-08-10 2018-02-15 董访问 根据动作输入电视指令技术的数据采集方法和电视机
WO2018027632A1 (zh) * 2016-08-10 2018-02-15 董访问 动感输入电视指令时的信息推送方法和电视机
CN111983984A (zh) * 2020-08-19 2020-11-24 安徽鸿程光电有限公司 控制权分配方法、装置、设备和介质
CN112596607A (zh) * 2020-12-18 2021-04-02 珠海格力电器股份有限公司 一种手势识别方法、装置及电子设备
CN113949936A (zh) * 2020-07-17 2022-01-18 华为技术有限公司 一种电子设备的屏幕交互方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591446A (zh) * 2011-01-10 2012-07-18 海尔集团公司 手势控制显示系统及其控制方法
US20130201105A1 (en) * 2012-02-02 2013-08-08 Raymond William Ptucha Method for controlling interactive display system
CN103890696A (zh) * 2011-10-12 2014-06-25 高通股份有限公司 经认证的手势辨识
CN104025614A (zh) * 2011-10-07 2014-09-03 诺基亚通信公司 对多个用户访问个人电视功能进行冲突处理
CN104025004A (zh) * 2012-01-13 2014-09-03 索尼公司 信息处理设备、信息处理方法和计算机程序

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591446A (zh) * 2011-01-10 2012-07-18 海尔集团公司 手势控制显示系统及其控制方法
CN104025614A (zh) * 2011-10-07 2014-09-03 诺基亚通信公司 对多个用户访问个人电视功能进行冲突处理
CN103890696A (zh) * 2011-10-12 2014-06-25 高通股份有限公司 经认证的手势辨识
CN104025004A (zh) * 2012-01-13 2014-09-03 索尼公司 信息处理设备、信息处理方法和计算机程序
US20130201105A1 (en) * 2012-02-02 2013-08-08 Raymond William Ptucha Method for controlling interactive display system

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105072250A (zh) * 2015-07-06 2015-11-18 广东欧珀移动通信有限公司 一种终端与播放设备的连接方法及装置
CN105072250B (zh) * 2015-07-06 2018-03-27 广东欧珀移动通信有限公司 一种终端与播放设备的连接方法及装置
CN105912098A (zh) * 2015-12-10 2016-08-31 乐视致新电子科技（天津）有限公司 一种基于体感的操作组件控制方法和系统
WO2018027633A1 (zh) * 2016-08-10 2018-02-15 董访问 根据动作输入电视指令的方法和电视机
WO2018027631A1 (zh) * 2016-08-10 2018-02-15 董访问 根据动作输入电视指令技术的数据采集方法和电视机
WO2018027632A1 (zh) * 2016-08-10 2018-02-15 董访问 动感输入电视指令时的信息推送方法和电视机
CN113949936A (zh) * 2020-07-17 2022-01-18 华为技术有限公司 一种电子设备的屏幕交互方法及装置
WO2022012602A1 (zh) * 2020-07-17 2022-01-20 华为技术有限公司 一种电子设备的屏幕交互方法及装置
CN111983984A (zh) * 2020-08-19 2020-11-24 安徽鸿程光电有限公司 控制权分配方法、装置、设备和介质
WO2022036966A1 (zh) * 2020-08-19 2022-02-24 安徽鸿程光电有限公司 控制权分配方法、装置、设备和介质
CN111983984B (zh) * 2020-08-19 2022-05-17 安徽鸿程光电有限公司 控制权分配方法、装置、设备和介质
CN112596607A (zh) * 2020-12-18 2021-04-02 珠海格力电器股份有限公司 一种手势识别方法、装置及电子设备

Also Published As

Publication number Publication date
CN104333793B (zh) 2015-08-19

Similar Documents

Publication Publication Date Title
CN104333793B (zh) 一种手势遥控系统
US9507417B2 (en) Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US10372326B2 (en) Mobile terminal device, operation method, program, and storage medium
US9298266B2 (en) Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
CN105765518B (zh) 用于共享内容的装置和方法
KR20110093541A (ko) 멀티태스킹 수행 장치 및 방법
EP3103020B1 (en) User terminal and control method thereof
CN104572322A (zh) 一种终端屏幕操作的方法
CN112099707A (zh) 显示方法、装置和电子设备
CN103561308A (zh) 一种智能手机遥控智能电视的交互方法
EP3101995A1 (en) Terminal equipment processing method and terminal equipment
CN112825013A (zh) 终端设备的控制方法和装置
CN105446607A (zh) 相机触控拍摄方法及其触控终端
CN104572071A (zh) 一种终端
CN112269505B (zh) 音视频控制方法、装置及电子设备
CN108052258B (zh) 一种终端任务的处理方法、任务处理装置及移动终端
JP6700775B2 (ja) 電子機器及びその制御方法
WO2020248527A1 (zh) 视频文件播放方法、装置、存储介质及终端
CN104571814A (zh) 一种投影方法及电子设备
CN103092389A (zh) 一种实现虚拟鼠标操作的触摸屏装置和方法
CN108491128A (zh) 一种应用程序管理方法及终端
CN102685314B (zh) 移动装置和移动装置控制方法
CN104516566A (zh) 一种手写输入方法及装置
WO2019210877A1 (zh) 具有多操作模式切换的装置以及操作模式切换方法
CN114780010A (zh) 一种显示设备及其控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150819

Termination date: 20171017