CN103376891A - 多媒体系统,显示装置的控制方法及控制器 - Google Patents

多媒体系统,显示装置的控制方法及控制器 Download PDF

Info

Publication number
CN103376891A
CN103376891A CN201210122177XA CN201210122177A CN103376891A CN 103376891 A CN103376891 A CN 103376891A CN 201210122177X A CN201210122177X A CN 201210122177XA CN 201210122177 A CN201210122177 A CN 201210122177A CN 103376891 A CN103376891 A CN 103376891A
Authority
CN
China
Prior art keywords
signal
eyeball
sound
identification
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210122177XA
Other languages
English (en)
Inventor
杜珣弤
左晶晶
何成霞
朱琪
华志彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
O2Micro China Co Ltd
Original Assignee
O2Micro China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by O2Micro China Co Ltd filed Critical O2Micro China Co Ltd
Priority to CN201210122177XA priority Critical patent/CN103376891A/zh
Priority to TW102109690A priority patent/TW201344597A/zh
Priority to US13/865,567 priority patent/US20130278837A1/en
Publication of CN103376891A publication Critical patent/CN103376891A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

本发明公开了一种多媒体系统、显示装置的控制方法和控制器。所述多媒体系统包括显示装置和控制器。所述显示装置接收表示图像内容的输入信号,并根据所述输入信号显示所述图像内容。所述控制器根据表示用户的监测信号识别用户的体感状态,并根据所述体感状态产生控制信号,以控制所述显示装置的工作方式,其中,所述监测信号包括表示用户的人像的人像监测信号,且所述体感状态包括眼球动作。本发明的多媒体系统可以根据用户相对简单的眼球的运动来控制显示装置的工作方式。与现有技术中的遥控器相比,此种体感控制的方式方便了用户的操作。

Description

多媒体系统,显示装置的控制方法及控制器
技术领域
本发明涉及一种多媒体系统,特别是涉及一种控制电视机的多媒体系统。
背景技术
目前,多媒体设备如电视机、收音机和光碟机(例如:DVD)都是使用遥控器进行控制。因此,在一个家庭的客厅中,会有多个不同的遥控器。此外,每个遥控器具有多个不同的按钮以实现不同的控制功能。用于控制电视机的遥控器一般具有超过20个的按钮进行各种控制,例如:调台、调音量、调色彩等。因此,这种通过使用遥控器控制多媒体设备的方式相对复杂,不便于用户操作。
发明内容
本发明要解决的技术问题在于提供一种多媒体系统,以简化用户控制显示装置的操作。
为解决上述技术问题,本发明提供了一种多媒体系统。所述多媒体系统包括显示装置和控制器。所述显示装置接收表示图像内容的输入信号,并根据所述输入信号显示所述图像内容。所述控制器根据表示用户的监测信号识别用户的体感状态,并根据所述体感状态产生控制信号,以控制所述显示装置的工作方式,其中,所述监测信号包括表示用户的人像的人像监测信号,且所述体感状态包括眼球动作。
本发明还提供了一种显示装置的控制方法。所述方法包括:接收表示用户的监测信号,其中,所述监测信号包括表示用户的人像的人像监测信号;根据所述监测信号识别用户的体感状态,其中,所述体感状态包括眼球动作;及根据所述体感状态产生控制信号,以控制所述显示装置的工作方式。
本发明还提供了一种用于控制显示装置的控制器。所述控制器包括传感器和处理器。所述传感器用于产生表示用户的监测信号。所述处理器耦合于所述传感器,根据所述监测信号识别用户的体感状态,并根据所述体感状态产生控制信号,以控制所述显示装置的工作方式,其中,所述体感状态包括眼球动作。
与现有技术相比,本发明的多媒体系统可以根据用户相对简单的眼球的运动来控制显示装置的工作方式。因此,方便了用户的操作。
以下结合附图和具体实施例对本发明的技术方案进行详细的说明,以使本发明的特性和优点更为明显。
附图说明
图1A所示为根据本发明的实施例的多媒体系统的结构图;
图1B和图1C所示为根据本发明的实施例的控制器的前视图和后视图;
图2所示为根据本发明的实施例的多媒体系统的结构图;
图3所示为根据本发明的实施例的控制器的结构图;
图4所示为根据本发明的实施例的处理器的示意图;
图5所示为根据本发明的实施例的眼球位置的示意图;
图6所示为根据本发明的实施例的手势位置的示意图;
图7所示为根据本发明的实施例的声音信号的示意图;
图8所示为根据本发明的实施例的表格;以及
图9所示为根据本发明的实施例的多媒体系统的方法流程图。
具体实施方式
以下将对本发明的实施例给出详细的说明。尽管本发明将结合一些具体实施方式进行阐述和说明,但需要注意的是本发明并不仅仅只局限于这些实施方式。相反,对本发明进行的修改或者等同替换,均应涵盖在本发明的权利要求范围当中。
另外,为了更好的说明本发明,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员将理解,没有这些具体细节,本发明同样可以实施。在另外一些实例中,对于大家熟知的方法、流程、元件和电路未作详细描述,以便于凸显本发明的主旨。
图1A所示为根据本发明的实施例的多媒体系统100的结构图。多媒体系统100包括显示装置102和控制器104。显示装置102具有多媒体的播放功能。显示装置102接收表示图像内容的输入信号,并根据该输入信号显示静态的图片或动态的图像。此外,显示装置102可以播放声音。在一个实施例中,显示装置102包括(且不局限于)电视机、电脑显示器、手机和投影仪。
控制器104用于监测显示装置102附近的用户,根据表示用户的监测信号识别用户的体感状态,并根据所述体感状态控制显示装置102。其中,监测信号包括表示用户的人像的人像监测信号和表示用户的声音的声音监测信号,体感状态包括用户的眼球动作、手势动作和声音特征。在图1所示的实施例中,显示装置102是电视机,并且,控制器104放置于电视机102之上。在电视机102和控制器104所在的房间中,用户106正在使用和观看电视机102。
优点在于,控制器104接收表示用户106的监测信号,并根据监测信号识别用户106的体感状态,例如:眼球动作、手势动作及声音特征。在一个实施例中,基于该用户106的眼球动作,控制器104产生控制信号,以控制电视机102的工作方式。在另一个实施例中,基于用户106的眼球动作和手势动作,控制器104产生控制信号。在又一个实施例中,基于用户106的眼球动作和声音特征,控制器104产生控制信号。在一个实施例中,电视机102的工作方式包括(且不局限于)频道的选择、音量的调节和电视屏幕目标点的选择。在一个实施例中,该电视屏幕目标点的选择包括根据用户106的眼球的动作,在电视屏幕上显示光标对应的移动,并选择电视屏幕上对应的目标点。此外,在一个实施例中,控制器104发出红外控制信号110。该红外控制信号110经过墙壁反射送入电视机102。由此,电视机102根据红外控制信号110改变电视机102的工作方式。控制器104还可以通过其他的无线连接方式或通过有线接口传递控制信号给电视机102。因此,用户106可以通过相对简单的眼球的运动来控制电视机的工作方式。与现有技术中的遥控器相比,此种体感控制方式方便了用户的操作。
图1B和图1C所示为根据本发明的实施例的控制器104的前视图和后视图。图1B和图1C将结合图1A进行描述。
如图1B所示,控制器104包括传感器,用于产生表示用户的监测信号。所述传感器包括两个摄像头112和114,以及声音传感器116。其中,摄像头112为灰度图像传感器,用于采集灰阶图像。摄像头114为红外图像传感器,用于采集红外图像。优点在于,使用两种不同工作原理的摄像头,可以提高图像采集的精度和可靠性,降低了对环境的依赖。例如,在光线较强的情况下,灰度摄像头112采集相对清晰的图像;在光线较弱的情况下,灰度摄像头112采集的图像相对模糊,但红外摄像头114采集的红外图像作为灰度摄像头112的备份,从而保证采集的图像的精度。控制器104可包括其他数目的摄像头,且不局限于图1B的实施例。此外,声音传感器116,用于感应用户的声音。
控制器104还配有红外线发射器118,用于发射出红外控制信号110。在一个实施例中,控制器104根据用户106的体感状态来产生控制指令,并通过红外控制信号110将指令传送给电视机102,以控制电视机的工作方式。
如图1C所示,控制器104还配有连接电视机102和网络的多个接口。控制器104的接口包括(且不局限于)高清晰度多媒体接口(HDMI)122、音视频输入接口(AV INPUT)124以及局域网接口(LAN)126。局域网接口126通过网线连接互联网,并接收互联网中的音视频内容。高清晰度多媒体接口122和音视频输入接口124传送音视频内容给电视机102,供电视机102播放。在一个实施例中,控制器104通过高清晰度多媒体接口122或者音视频输入接口124提供显示内容,例如:电视机102显示的目标点或特定图像。因此,根据用户106的眼球、手势和声音的变化,控制器104可以控制使得电视机102的目标点的位置或大小发生变化。控制器104还可包括其他的接口,且不局限于图1C所示的实施例。
图2所示为根据本发明的实施例的多媒体系统200的结构图。图2中与图1A、图1B和图1C标号相同的元素具有类似的功能。图2将结合图1A、图1B和图1C进行描述。多媒体系统200包括电视机102和控制器104。在图2的实施例中,电视机102的接口222与有线电视接口220相连,用于接收有线电视信号250。电视机102的接口224与控制器104的端口(例如:HDMI 122或者AV INPUT 124)相连,用于接收来自控制器104的播放信号252。
在一个实施例中,电视机102包括远程控制接收器202、处理器204、调谐器208、开关210、声音处理电路212、扬声器214、图像处理电路216和显示器218。处理器204产生控制信号控制电视机内部的其他模块。在一个实施例中,远程控制接收器202接收红外控制信号110,且将红外控制信号110转换为数字控制信号254,传送给处理器204。处理器204识别数字控制信号254,并根据数字控制信号254产生控制指令,以控制电视机内部的其他模块,例如:调谐器208、开关210、声音处理电路212和图像处理电路216。
在一个实施例中,处理器204根据数字控制信号254判断用户需要的电视机播放的频道、电视机声音的大小以及电视机的图像属性,并产生对应的控制指令。更具体地说,处理器204产生表示电视频道的控制指令260。调谐器208接收有线电视信号250,并根据控制指令260选择需要播放的频道。例如,调谐器208使用所需频道的特定频率解调出该频道的视频内容和音频内容。因此,如果数字控制信号254表示用户106需要切换频道,处理器204通过控制指令260,调节使得调谐器208提取所需频道的视频内容和音频内容。
并且,处理器204还产生开关控制信号262,以控制开关210。更具体的说,如果数字控制信号254表示用户106需要收看有线电视,开关控制信号262控制开关210接通调谐器208,并断开与接口224的连接。此时,开关210传送调谐器208产生的音频内容和视频内容给声音处理电路212和图像处理电路216。如果数字控制信号254表示用户106需要收看来自控制器104的音频内容和视频内容,开关控制信号262控制开关210接通接口224,并断开与调谐器208的连接。此时,开关210将来自控制器104的音频内容和视频内容传送给声音处理电路212和图像处理电路216。
在一个实施例中,声音处理电路212与扬声器214相连,用于对开关210传送过来的声音信号进行处理,例如:去噪声和放大处理。声音处理电路212将处理过的声音信号传送至扬声器214,由此,扬声器214发出对应的声音。在一个实施例中,处理器204根据数字控制信号254产生控制指令264。基于控制指令264,声音处理电路212调节扬声器214发出的声音的属性,例如:声音的大小、音色和响度。
在一个实施例中,图像处理电路216与显示器218相连,用于对开关210传送过来的图像内容进行处理,例如:去噪声和放大处理。图像处理电路216将处理过的图像信号传送至显示器218,由此,显示器218显示对应的图像内容。在一个实施例中,处理器204根据数字控制信号254产生控制指令266。基于控制指令266,图像处理电路216调节显示器218的图像的属性,例如:图像的颜色、对比度和亮度。
图3所示为根据本发明的实施例的控制器104的结构图。图3中与图1A和图1B标号相同的元素具有类似的功能。图3将结合图1A至图2进行描述。
在一个实施例中,控制器104包括传感器312、处理器302和红外线发射器118。其中,所述传感器312包括声音传感器116、灰度图像传感器112和红外图像传感器114,用于产生表示用户的监测信号。声音传感器116用于感应用户106的声音,并产生声音监测信号304。灰度图像传感器112和红外图像传感器114用于产生表示用户106的人像的人像监测信号,其中,灰度图像传感器112用于产生表示第一人像监测信号306,红外图像传感器114用于产生第二人像监测信号308。处理器302耦合于所述传感器312,即耦合于所述声音传感器116、灰度图像传感器112和红外图像传感器114,用于根据所述监测信号识别用户106的体感状态,并产生控制电视机的控制信号310。红外线发射器118根据控制信号310产生红外控制信号110,并向外发射红外控制信号110。
图4所示为根据本发明的实施例的处理器302的示意图。图4中与图3标号相同的元素具有类似的功能。图4将结合图3进行描述。
处理器302包括声音信号处理模块402和图像信号处理模块404。声音信号处理模块402接收声音监测信号304,并进行声音信号处理,例如:声音信号处理模块402可以对声音信号进行滤波处理,过滤噪声。由此,声音信号处理模块402产生声音处理信号418。图像信号处理模块404接收第一人像监测信号306和第二人像监测信号308,并对该第一人像监测信号306和第二人像监测信号308进行数字图像处理,例如:图像信号处理模块404过滤第一人像监测信号306和第二人像监测信号308的噪声,并对其进行放大处理。由此,图像信号处理模块404产生图像处理信号420。
在一个实施例中,处理器302还包括声音识别模块408、人脸识别模块410、眼球识别模块412和手势识别模块414。其中,声音识别模块408根据声音处理信号418可以识别出声音的频率、音色和响度,并产生表示用户身份和声音内容的声音识别信号424。人脸识别模块410接收图像处理信号420,并从中提取出用户106的脸部特征信息。在一个实施例中,人脸识别模块410根据用户106的脸部特征信息判断用户106是否是授权的用户,并据此产生人脸识别信号426。眼球识别模块412从图像处理信号420中提取眼球的位置信息,并根据该位置信息识别出眼球的运动方向、运动距离和关注点,从而产生表示所述运动方向、运动距离和关注点的眼球识别信号428。手势识别模块414从图像处理信号420中提取手指的位置信息,并根据该位置信息识别出手指的运动方向和状态,从而产生表示所述运动方向和状态的手势识别信号430。处理器302还包括特征存储模块406和指令生成模块416。特征存储模块406用于存储表示预设声音识别信号、预设人脸识别信号、预设眼球识别信号和预设手势识别信号的状态数据,以及表示指令的指令数据。指令生成模块416根据接收到的声音识别信号424、人脸识别信号426、眼球识别信号428和手势识别信号430,在特征存储模块406中查找相应的指令数据,从而产生控制信号310,以控制电视机102。例如,在特征存储模块406中存储表示被授权的用户的声音特征的特征数据,当声音识别信号424与所述特征数据不匹配时,则指令生成模块416产生控制信号310以关闭电视机102。例如,在特征存储模块406中存储表示被授权的用户的人脸特征的特征数据,当人脸识别信号426与所述特征数据不匹配时,则指令生成模块416产生控制信号310以关闭电视机102。
图5所示为根据本发明的实施例的眼球位置的示意图。图5将根据图4进行描述。如图5所示,眼球识别模块412分别在时刻t1和时刻t2采集两帧眼球的位置图像。位置图像502表示在时刻t1眼球的位置图像。位置图像504,506,508和510表示在时刻t2眼球的位置图像的几种可能的情形。如果在时刻t2,眼球的位置从图像502变化到位置图像504,506,508或510,分别表示眼球向上、向下、向左或向右转动。如果在时刻t2的眼球的位置和在时刻t1的眼球的位置没有变化,表示用户106的眼球注视着一个关注点。
图6所示为根据本发明的实施例的手势位置的示意图。图6将根据图4进行描述。如图6所示,手势识别模块414分别在先后6个时刻提取出6帧手指的图像。由此,手势识别模块414识别出手指是在向右划动。类似的,手势识别模块414还能够识别出手指其他的运动方向和运动距离。
图7所示为根据本发明的实施例的声音信号的示意图。图7将根据图4进行描述。在一个实施例中,声音识别模块408根据声音处理信号418可以识别出声音的频率、音色和响度。由此,声音识别模块408可以判断出发出声音的用户的身份,并可以识别出用户发出声音的具体的语言。
图8所示为根据本发明的实施例的表格800。表格800描述了存储在特征存储模块406的数据形式。在图8的实施例中,特征存储模块406存储了数据集801、802和803。每个数据集包括表示用户体感状态的状态数据和表示指令的指令数据。如果用户的体感状态与一个数据集的状态数据相匹配,所述处理器根据对应的指令数据产生相应的控制信号。例如,根据数据集801,如果识别数据表示用户106做出了“向左”的手势,且眼球“向左”转动,指令生成模块416则产生控制信号310,用以调低电视机102的音量。根据数据集802,如果识别数据表示用户106发出“调台”的声音,且眼球“向上”运动,指令生成模块416则产生控制信号310,用以调节电视机102的频道。根据数据集803,如果用户106的眼球“向左”或“向右”运动,但是没有任何手势,也没有发出声音,指令生成模块416则产生控制信号310,用以控制电视机102显示的光标跟随眼球的运动而改变位置。在一个实施例中,用户106可以自定义存储于特征存储模块406的数据。也就是说,特征存储模块406可以包括其他形式和功能的控制指令。
图9所示为根据本发明的实施例的多媒体系统的方法流程图900。图9将结合图1至图8进行描述。图9所涵盖的具体步骤仅仅作为示例。也就是说,本发明适用于其他合理的流程或对图9进行改进的步骤。
在步骤902中,接收表示用户的监测信号,其中所述监测信号包括表示用户的人像的人像监测信号。在一个实施例中,驱动灰度图像传感器和红外图像传感器,以感应所述用户的人像,并产生所述人像监测信号。
在步骤904中,根据所述监测信号识别用户的体感状态,其中所述体感状态包括眼球动作。
在一个实施例中,所述步骤904进一步包括:根据所述人像监测信号识别眼球的运动方向和关注点;产生表示所述运动方向和所述关注点的眼球识别信号,其中,所述控制信号是根据所述眼球识别信号产生的。
在另一个实施例中,所述体感状态还包括手势动作。在该实施例中,所述步骤904进一步包括:根据所述人像监测信号识别眼球的运动方向和关注点,以及手指的运动方向和状态;产生表示所述眼球的运动方向和关注点的眼球识别信号,以及表示所述手指的运动方向和状态的手势识别信号,其中,所述控制信号是根据所述眼球识别信号和所述手势识别信号产生的。
在另一个实施例中,所述监测信号还包括表示用户的声音的声音监测信号,且所述体感状态还包括声音特征。在该实施例中,驱动声音传感器,以感应所述用户的声音,并产生所述声音监测信号。所述步骤904进一步包括:根据所述人像监测信号识别眼球的运动方向和关注点,并根据所述声音监测信号识别用户身份和声音内容;产生表示所述眼球的运动方向和关注点的眼球识别信号,并产生表示所述用户身份和声音内容的声音识别信号,其中,所述控制信号是根据所述眼球识别信号和所述声音识别信号产生的。
在步骤906中,根据所述体感状态产生控制信号,以控制所述显示装置的工作方式。
在一个实施例中,显示装置是电视机,且所述工作方式至少包括频道的选择、音量的调节以及电视屏幕的目标点的选择。在一个实施例中,访问表示被授权的用户的声音特征的特征数据。当所述声音识别信号与所述特征数据不匹配时,则指令生成模块产生控制信号以关闭所述显示装置。在一个实施例中,访问多个数据集,每个数据集包括表示用户体感状态的状态数据和表示指令的指令数据;如果所述用户的体感状态与一个数据集的状态数据相匹配,则处理器根据对应的指令数据产生相应的控制信号。在一个实施例中,通过红外线载波经过墙面反射传输所述控制信号到所述显示装置。
上文具体实施方式和附图仅为本发明之常用实施例。显然,在不脱离权利要求书所界定的本发明精神和发明范围的前提下可以有各种增补、修改和替换。本领域技术人员应该理解,本发明在实际应用中可根据具体的环境和工作要求在不背离发明准则的前提下在形式、结构、布局、比例、材料、元素、组件及其它方面有所变化。因此,在此披露之实施例仅用于说明而非限制,本发明之范围由后附权利要求及其合法等同物界定,而不限于此前之描述。

Claims (29)

1.一种多媒体系统,其特征在于,所述多媒体系统包括:
显示装置,用于接收表示图像内容的输入信号,并根据所述输入信号显示所述图像内容;及
控制器,用于根据表示用户的监测信号识别用户的体感状态,并根据所述体感状态产生控制信号,以控制所述显示装置的工作方式,其中,所述监测信号包括表示用户的人像的人像监测信号,且所述体感状态包括眼球动作。
2.根据权利要求1所述的多媒体系统,其特征在于,所述显示装置包括电视机,且所述显示装置的所述工作方式包括频道的选择、音量的调节以及电视屏幕的目标点的选择。
3.根据权利要求1所述的多媒体系统,其特征在于,所述控制信号通过红外线载波经过墙面反射传输到所述显示装置。
4.根据权利要求1所述的多媒体系统,其特征在于,所述控制器包括:
图像传感器,用于感应所述用户的人像,并产生所述人像监测信号;及
耦合于所述图像传感器的处理器,用于根据所述人像监测信号识别用户的眼球动作,并产生所述控制信号。
5.根据权利要求4所述的多媒体系统,其特征在于,所述处理器包括:
眼球识别模块,用于根据所述人像监测信号识别眼球的运动方向和关注点,并产生表示所述运动方向和所述关注点的眼球识别信号;及
指令生成模块,用于根据所述眼球识别信号产生所述控制信号,以控制所述显示装置的工作方式。
6.根据权利要求5所述的多媒体系统,其特征在于,所述处理器还包括:
特征存储模块,用于存储表示预设眼球识别信号的状态数据和表示指令的指令数据,如果所述眼球识别信号与所述状态数据相匹配,则所述指令生成模块根据对应的指令数据产生所述控制信号。
7.根据权利要求4所述的多媒体系统,其特征在于,所述图像传感器包括灰度图像传感器和红外图像传感器。
8.根据权利要求1所述的多媒体系统,其特征在于,所述体感状态还包括手势动作,且所述控制器包括:
图像传感器,用于感应所述用户的人像,并产生所述人像监测信号;及
耦合于所述图像传感器的处理器,用于根据所述人像监测信号识别用户的眼球动作和手势动作,并产生所述控制信号。
9.根据权利要求8所述的多媒体系统,其特征在于,所述处理器包括:
眼球识别模块,用于根据所述人像监测信号识别眼球的运动方向和关注点,并产生表示所述运动方向和所述关注点的眼球识别信号;
手势识别模块,用于根据所述人像监测信号识别手指的运动方向和状态,并产生表示所述运动方向和所述状态的手势识别信号;及
指令生成模块,用于根据所述眼球识别信号和所述手势识别信号产生所述控制信号,以控制所述显示装置的工作方式。
10.根据权利要求9所述的多媒体系统,其特征在于,所述处理器还包括:
特征存储模块,用于存储表示预设眼球识别信号和预设手势识别信号的状态数据以及表示指令的指令数据,如果所述眼球识别信号和所述手势识别信号与所述状态数据相匹配,则所述指令生成模块根据对应的指令数据产生所述控制信号。
11.根据权利要求1所述的多媒体系统,其特征在于,所述监测信号还包括表示用户的声音的声音监测信号,所述体感状态还包括声音特征,且所述控制器包括:
图像传感器,所述图像传感器感应所述用户的人像,并产生所述人像监测信号;
声音传感器,所述声音传感器感应所述用户的声音,并产生所述声音监测信号;及
耦合于所述图像传感器和所述声音传感器的处理器,所述处理器根据所述人像监测信号和所述声音监测信号识别用户的眼球动作和声音特征,并产生所述控制信号。
12.根据权利要求11所述的多媒体系统,其特征在于,所述处理器包括:
眼球识别模块,用于根据所述人像监测信号识别眼球的运动方向和关注点,并产生表示所述运动方向和所述关注点的眼球识别信号;
声音识别模块,用于根据所述声音监测信号识别用户身份和声音内容,并产生表示所述用户身份和所述声音内容的声音识别信号;及
指令生成模块,用于根据所述眼球识别信号和所述声音识别信号产生所述控制信号,以控制所述显示装置的工作方式。
13.根据权利要求12所述的多媒体系统,其特征在于,所述处理器还包括:
特征存储模块,用于存储表示被授权的用户的声音特征的特征数据,其中,当所述声音识别信号与所述特征数据不匹配时,所述指令生成模块关闭所述显示装置。
14.根据权利要求12所述的多媒体系统,其特征在于,所述处理器还包括:
特征存储模块,用于存储表示预设眼球识别信号和预设声音识别信号的状态数据以及表示指令的指令数据,如果所述眼球识别信号、所述声音识别信号与所述状态数据相匹配,则所述指令生成模块根据对应的指令数据产生所述控制信号。
15.一种显示装置的控制方法,其特征在于,所述控制方法包括以下步骤:
接收表示用户的监测信号,其中,所述监测信号包括表示用户的人像的人像监测信号;
根据所述监测信号识别用户的体感状态,其中,所述体感状态包括眼球动作;及
根据所述体感状态产生控制信号,以控制所述显示装置的工作方式。
16.根据权利要求15所述的控制方法,其特征在于,所述控制方法还包括:
驱动灰度图像传感器和红外图像传感器,以感应所述用户的人像,并产生所述人像监测信号。
17.根据权利要求15所述的控制方法,其特征在于,所述根据所述监测信号识别用户的体感状态的步骤进一步包括:
根据所述人像监测信号识别眼球的运动方向和关注点;及
产生表示所述运动方向和所述关注点的眼球识别信号,其中,所述控制信号是根据所述眼球识别信号产生的。
18.根据权利要求15所述的控制方法,其特征在于,所述体感状态还包括手势动作,且所述根据所述监测信号识别用户的体感状态的步骤进一步包括:
根据所述人像监测信号识别眼球的运动方向和关注点,以及手指的运动方向和状态;及
产生表示所述眼球的运动方向和关注点的眼球识别信号,以及表示所述手指的运动方向和状态的手势识别信号,其中,所述控制信号是根据所述眼球识别信号和所述手势识别信号产生的。
19.根据权利要求15所述的控制方法,其特征在于,所述监测信号还包括表示用户的声音的声音监测信号,所述体感状态还包括声音特征,且所述根据所述监测信号识别用户的体感状态的步骤进一步包括:
根据所述人像监测信号识别眼球的运动方向和关注点,并根据所述声音监测信号识别用户身份和声音内容;
产生表示所述眼球的运动方向和关注点的眼球识别信号,并产生表示所述用户身份和声音内容的声音识别信号,其中,所述控制信号是根据所述眼球识别信号和所述声音识别信号产生的。
20.根据权利要求19所述的控制方法,其特征在于,所述控制方法还包括:
驱动灰度图像传感器和红外图像传感器,以感应所述用户的人像,并产生所述人像监测信号;
驱动声音传感器,以感应所述用户的声音,并产生所述声音监测信号。
21.一种用于控制显示装置的控制器,其特征在于,所述控制器包括:
传感器,用于产生表示用户的监测信号,其中,所述监测信号包括表示用户的人像的人像监测信号;及
耦合于所述传感器的处理器,所述处理器根据所述监测信号识别用户的体感状态,并根据所述体感状态产生控制信号,以控制所述显示装置的工作方式,其中,所述体感状态包括眼球动作。
22.根据权利要求21所述的控制器,其特征在于,所述传感器包括图像传感器,用于感应所述用户的人像,并产生所述人像监测信号;且所述处理器包括:
眼球识别模块,用于根据所述人像监测信号识别眼球的运动方向和关注点,并产生表示所述运动方向和所述关注点的眼球识别信号;及
指令生成模块,用于根据所述眼球识别信号产生所述控制信号,以控制所述显示装置的工作方式。
23.根据权利要求22所述的控制器,其特征在于,所述处理器还包括:
特征存储模块,用于存储表示预设眼球识别信号的状态数据和表示指令的指令数据,如果所述眼球识别信号与所述状态数据相匹配,则所述指令生成模块根据对应的指令数据产生所述控制信号。
24.根据权利要求21所述的控制器,其特征在于,所述体感状态还包括手势动作;所述传感器包括图像传感器,用于感应所述用户的人像,并产生所述人像监测信号;且所述处理器包括:
眼球识别模块,用于根据所述人像监测信号识别眼球的运动方向和关注点,并产生表示所述运动方向和所述关注点的眼球识别信号;
手势识别模块,用于根据所述人像监测信号识别手指的运动方向和状态,并产生表示所述运动方向和所述状态的手势识别信号;及
指令生成模块,用于根据所述眼球识别信号和所述手势识别信号产生所述控制信号,以控制所述显示装置的工作方式。
25.根据权利要求24所述的控制器,其特征在于,所述处理器还包括:
特征存储模块,用于存储表示预设眼球识别信号和预设手势识别信号的状态数据以及表示指令的指令数据,如果所述眼球识别信号、所述手势识别信号与所述状态数据相匹配,则所述指令生成模块根据对应的指令数据产生所述控制信号。
26.根据权利要求21所述的控制器,其特征在于,所述监测信号还包括表示用户的声音的声音监测信号,所述体感状态还包括声音特征,且所述传感器包括:
图像传感器,所述图像传感器感应所述用户的人像,并产生所述人像监测信号;
声音传感器,所述声音传感器感应所述用户的声音,并产生所述声音监测信号。
27.根据权利要求26所述的控制器,其特征在于,所述处理器包括:
眼球识别模块,用于根据所述人像监测信号识别眼球的运动方向和关注点,并产生表示所述运动方向和所述关注点的眼球识别信号;
声音识别模块,用于根据所述声音监测信号识别用户身份和声音内容,并产生表示所述用户身份和所述声音内容的声音识别信号;及
指令生成模块,用于根据所述眼球识别信号和所述声音识别信号产生所述控制信号,以控制所述显示装置的工作方式。
28.根据权利要求27所述的控制器,其特征在于,所述处理器还包括:
特征存储模块,用于存储表示被授权的用户的声音特征的特征数据,其中,当所述声音识别信号与所述特征数据不匹配时,所述指令生成模块关闭所述显示装置。
29.根据权利要求27所述的控制器,其特征在于,所述处理器还包括:
特征存储模块,用于存储表示预设眼球识别信号和预设声音识别信号的状态数据以及表示指令的指令数据,
如果所述眼球识别信号、所述声音识别信号与所述状态数据相匹配,则所述指令生成模块根据对应的指令数据产生所述控制信号。
CN201210122177XA 2012-04-23 2012-04-23 多媒体系统,显示装置的控制方法及控制器 Pending CN103376891A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201210122177XA CN103376891A (zh) 2012-04-23 2012-04-23 多媒体系统,显示装置的控制方法及控制器
TW102109690A TW201344597A (zh) 2012-04-23 2013-03-19 顯示裝置控制方法、控制器及多媒體系統
US13/865,567 US20130278837A1 (en) 2012-04-23 2013-04-18 Multi-Media Systems, Controllers and Methods for Controlling Display Devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210122177XA CN103376891A (zh) 2012-04-23 2012-04-23 多媒体系统,显示装置的控制方法及控制器

Publications (1)

Publication Number Publication Date
CN103376891A true CN103376891A (zh) 2013-10-30

Family

ID=49379796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210122177XA Pending CN103376891A (zh) 2012-04-23 2012-04-23 多媒体系统,显示装置的控制方法及控制器

Country Status (3)

Country Link
US (1) US20130278837A1 (zh)
CN (1) CN103376891A (zh)
TW (1) TW201344597A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605426A (zh) * 2013-12-04 2014-02-26 深圳中兴网信科技有限公司 基于手势识别的信息显示系统及其信息显示方法
CN103731711A (zh) * 2013-12-27 2014-04-16 乐视网信息技术(北京)股份有限公司 智能电视对于操作的执行方法和系统
CN103986903A (zh) * 2013-12-24 2014-08-13 三亚中兴软件有限责任公司 一种控制视频源的方法和视频会议终端
CN105245416A (zh) * 2015-09-30 2016-01-13 宇龙计算机通信科技(深圳)有限公司 一种家电设备控制方法和装置
CN105425950A (zh) * 2015-11-04 2016-03-23 惠州Tcl移动通信有限公司 一种通过检测眼球状态实现终端调节的方法、系统及终端
CN105491411A (zh) * 2014-09-16 2016-04-13 洪永川 具有信号转换功能的电视系统
CN105788596A (zh) * 2014-12-16 2016-07-20 上海天脉聚源文化传媒有限公司 一种语音识别电视控制方法及系统
CN105934732A (zh) * 2014-12-26 2016-09-07 株式会社尼康 控制装置、电子设备、控制方法及程序
CN106062683A (zh) * 2014-12-26 2016-10-26 株式会社尼康 检测装置、电子设备、检测方法以及程序
WO2017035768A1 (zh) * 2015-09-01 2017-03-09 涂悦 一种基于视觉唤醒的语音控制方法
CN106527705A (zh) * 2016-10-28 2017-03-22 努比亚技术有限公司 一种实现操作的方法和装置
CN107111356A (zh) * 2014-11-27 2017-08-29 尔吉斯科技公司 用于基于手势控制装置的方法和系统
CN107357409A (zh) * 2017-06-30 2017-11-17 联想(北京)有限公司 一种信息处理方法及电子设备
CN107390876A (zh) * 2017-07-31 2017-11-24 合肥上量机械科技有限公司 一种计算机光标眼球控制系统
CN110297540A (zh) * 2019-06-12 2019-10-01 浩博泰德(北京)科技有限公司 一种人机交互装置及人机交互方法
CN111459285A (zh) * 2020-04-10 2020-07-28 康佳集团股份有限公司 基于眼控技术的显示设备控制方法、显示设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI520007B (zh) 2014-05-30 2016-02-01 由田新技股份有限公司 眼控密碼輸入設備、方法、電腦可讀取紀錄媒體及電腦程式產品
WO2018217910A1 (en) * 2017-05-25 2018-11-29 Spot You More, Inc. Task monitoring
WO2019104260A1 (en) 2017-11-27 2019-05-31 Spot You More, Inc. Smart shelf sensor
TWI697810B (zh) * 2018-05-10 2020-07-01 宏碁股份有限公司 具備手勢感測功能之三維顯示器
US10817246B2 (en) * 2018-12-28 2020-10-27 Baidu Usa Llc Deactivating a display of a smart display device based on a sound-based mechanism

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008069519A1 (en) * 2006-12-04 2008-06-12 Electronics And Telecommunications Research Institute Gesture/speech integrated recognition system and method
US20090245572A1 (en) * 2008-01-04 2009-10-01 Compal Communications, Inc. Control apparatus and method
CN101998081A (zh) * 2010-10-18 2011-03-30 冠捷显示科技(厦门)有限公司 利用眼睛进行电视屏幕菜单选择的实现方法
CN102117117A (zh) * 2010-01-06 2011-07-06 致伸科技股份有限公司 利用图像提取装置辨识使用者姿势进行控制的系统及方法
CN102200830A (zh) * 2010-03-25 2011-09-28 夏普株式会社 基于静态手势识别的非接触控制系统和控制方法
US20120030637A1 (en) * 2009-06-19 2012-02-02 Prasenjit Dey Qualified command

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008069519A1 (en) * 2006-12-04 2008-06-12 Electronics And Telecommunications Research Institute Gesture/speech integrated recognition system and method
US20090245572A1 (en) * 2008-01-04 2009-10-01 Compal Communications, Inc. Control apparatus and method
US20120030637A1 (en) * 2009-06-19 2012-02-02 Prasenjit Dey Qualified command
CN102117117A (zh) * 2010-01-06 2011-07-06 致伸科技股份有限公司 利用图像提取装置辨识使用者姿势进行控制的系统及方法
CN102200830A (zh) * 2010-03-25 2011-09-28 夏普株式会社 基于静态手势识别的非接触控制系统和控制方法
CN101998081A (zh) * 2010-10-18 2011-03-30 冠捷显示科技(厦门)有限公司 利用眼睛进行电视屏幕菜单选择的实现方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605426A (zh) * 2013-12-04 2014-02-26 深圳中兴网信科技有限公司 基于手势识别的信息显示系统及其信息显示方法
CN103986903A (zh) * 2013-12-24 2014-08-13 三亚中兴软件有限责任公司 一种控制视频源的方法和视频会议终端
CN103731711A (zh) * 2013-12-27 2014-04-16 乐视网信息技术(北京)股份有限公司 智能电视对于操作的执行方法和系统
CN105491411B (zh) * 2014-09-16 2018-11-02 深圳市冠凯科技有限公司 具有信号转换功能的电视系统
CN105491411A (zh) * 2014-09-16 2016-04-13 洪永川 具有信号转换功能的电视系统
CN107111356A (zh) * 2014-11-27 2017-08-29 尔吉斯科技公司 用于基于手势控制装置的方法和系统
CN107111356B (zh) * 2014-11-27 2020-10-20 尔吉斯科技公司 用于基于手势控制装置的方法和系统
CN105788596A (zh) * 2014-12-16 2016-07-20 上海天脉聚源文化传媒有限公司 一种语音识别电视控制方法及系统
US10860139B2 (en) 2014-12-26 2020-12-08 Nikon Corporation Detection device, electronic apparatus, detection method and program
US10748509B2 (en) 2014-12-26 2020-08-18 Nikon Corporation Control device, electronic apparatus, control method and program
CN106062683A (zh) * 2014-12-26 2016-10-26 株式会社尼康 检测装置、电子设备、检测方法以及程序
CN105934732A (zh) * 2014-12-26 2016-09-07 株式会社尼康 控制装置、电子设备、控制方法及程序
WO2017035768A1 (zh) * 2015-09-01 2017-03-09 涂悦 一种基于视觉唤醒的语音控制方法
CN105245416B (zh) * 2015-09-30 2018-11-06 宇龙计算机通信科技(深圳)有限公司 一种家电设备控制方法和装置
CN105245416A (zh) * 2015-09-30 2016-01-13 宇龙计算机通信科技(深圳)有限公司 一种家电设备控制方法和装置
CN105425950A (zh) * 2015-11-04 2016-03-23 惠州Tcl移动通信有限公司 一种通过检测眼球状态实现终端调节的方法、系统及终端
CN106527705A (zh) * 2016-10-28 2017-03-22 努比亚技术有限公司 一种实现操作的方法和装置
CN107357409A (zh) * 2017-06-30 2017-11-17 联想(北京)有限公司 一种信息处理方法及电子设备
CN107357409B (zh) * 2017-06-30 2021-01-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN107390876A (zh) * 2017-07-31 2017-11-24 合肥上量机械科技有限公司 一种计算机光标眼球控制系统
CN110297540A (zh) * 2019-06-12 2019-10-01 浩博泰德(北京)科技有限公司 一种人机交互装置及人机交互方法
CN111459285A (zh) * 2020-04-10 2020-07-28 康佳集团股份有限公司 基于眼控技术的显示设备控制方法、显示设备及存储介质
CN111459285B (zh) * 2020-04-10 2023-12-12 康佳集团股份有限公司 基于眼控技术的显示设备控制方法、显示设备及存储介质

Also Published As

Publication number Publication date
US20130278837A1 (en) 2013-10-24
TW201344597A (zh) 2013-11-01

Similar Documents

Publication Publication Date Title
CN103376891A (zh) 多媒体系统,显示装置的控制方法及控制器
US9250707B2 (en) Image display apparatus and method for operating the same
JP4796209B1 (ja) 表示装置、制御装置、テレビジョン受像機、表示装置の制御方法、プログラム及び記録媒体
KR102147329B1 (ko) 영상 표시 기기 및 그의 동작 방법
CN112073797B (zh) 一种音量调节方法及显示设备
US20130176205A1 (en) Electronic apparatus and controlling method for electronic apparatus
US20130176204A1 (en) Electronic device, portable terminal, computer program product, and device operation control method
US20160054805A1 (en) Mobile input device and command input method using the same
US11917329B2 (en) Display device and video communication data processing method
CN112073865A (zh) 蓝牙耳机的音量设置方法及装置、电子设备
CN112333499A (zh) 寻找目标设备的方法和显示设备
CN108513152A (zh) 图像显示设备及其操作方法
CN112073955B (zh) 显示设备及蓝牙设备扫描方法
US20160191841A1 (en) Display device and display method
CN113287332A (zh) 显示设备及扫描外部蓝牙设备的方法
KR20150008769A (ko) 영상표시장치 및 그 동작방법
US20100171634A1 (en) Function Configuration Method and Related Device for a Remote Control Device
CN112068741B (zh) 显示设备及显示设备蓝牙开关状态的显示方法
CN112073954B (zh) 显示设备及扫描外部蓝牙设备的方法
CN110602540B (zh) 显示设备音量控制方法及显示设备
KR20150139376A (ko) 영상 표시 기기 및 그의 동작 방법
CN111385631A (zh) 一种显示设备、通信方法及存储介质
CN112783380A (zh) 显示设备和方法
CN112995733A (zh) 一种显示设备、设备发现方法及存储介质
KR102267194B1 (ko) 단말기 및 그의 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20131030