CN103201790A - 多媒体设备中使用语音和姿势的控制方法及其多媒体设备 - Google Patents

多媒体设备中使用语音和姿势的控制方法及其多媒体设备 Download PDF

Info

Publication number
CN103201790A
CN103201790A CN2011800524976A CN201180052497A CN103201790A CN 103201790 A CN103201790 A CN 103201790A CN 2011800524976 A CN2011800524976 A CN 2011800524976A CN 201180052497 A CN201180052497 A CN 201180052497A CN 103201790 A CN103201790 A CN 103201790A
Authority
CN
China
Prior art keywords
multimedia equipment
voice
telepilot
posture
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800524976A
Other languages
English (en)
Inventor
金慧兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN103201790A publication Critical patent/CN103201790A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/24Speech recognition using non-acoustical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/32Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Details Of Television Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Selective Calling Equipment (AREA)

Abstract

公开了一种多媒体设备和用于控制该多媒体设备的方法,其中,通过多媒体设备识别用户的语音和姿势以允许用户执行所期望的操作。该方法包括,启动姿势和语音的遥控器输入的输入;通过遥控器接收用户姿势和语音;识别与接收到的姿势相关联的第一命令;识别与接收到的语音相关联的第二命令;相互比较第一命令和第二命令;以及当比较步骤指示第一命令对应于第二命令时执行与第一或者第二命令相关联的功能。多媒体设备执行用户所期望的操作。

Description

多媒体设备中使用语音和姿势的控制方法及其多媒体设备
技术领域
本发明的实施例涉及一种多媒体设备和用于控制该多媒体设备的方法,并且更加具体地,涉及一种多媒体设备和用于控制该多媒体设备的方法,其中,通过多媒体设备识别用户的语音和姿势以允许用户执行所期望的操作,从而能够提高用户的便利。
背景技术
多媒体设备是具有用于接收和处理例如用户能够观看的广播视频的功能的装置。多媒体设备显示由用户从广播站传输的广播信号中选择的广播。当前全世界趋势是多媒体设备从模拟广播朝向数字广播的转变。
数字广播指的是用于传输数字图像和音频信号的广播。因为数字广播与模拟广播相比对外部噪声更具有鲁棒性,其很少引起数据丢失,更有利于错误校正,具有高分辨率,并且提供更清晰的画面图像。而且,不同于模拟广播,数字广播能够进行够双向服务。
而且,为了使用数字广播,与现有的多媒体设备相比较,多媒体设备最近已经被装备有高性能和多功能。而且,多媒体设备可提供诸如因特网服务、视频点播(VOD)服务、以及电子相册服务的各种服务。
然而,由于各种功能和服务在多媒体设备中可用,所以用户在用户应执行数个步骤的操纵以使用所期望的功能方面存在不便。因此,已经要求应改进用户接口装置。作为结果,已经开发用于通过用户的姿势控制多媒体设备的方法。然而,该问题具有不识别用户的精确姿势或者不精确地搜索与所识别的姿势相对应的命令的问题。
发明内容
技术问题
另外,本发明是针对一种多媒体设备和用于控制该多媒体设备的方法,其大体上消除了由于现有技术的限制和缺点而导致的一个或多个问题。
本发明的目的是提供一种多媒体设备和用于控制该多媒体设备的方法,其中,通过用户的语音和姿势控制多媒体设备以提高用户的便利。
本发明的另一目的是提供一种多媒体设备和用于该控制多媒体设备的方法,其中,提高识别用户的姿势的精确度以提高用户的便利。
本发明的其它目的是提供一种多媒体设备和用于该控制多媒体设备的方法,其中,能够提供用于识别用户的姿势的精确度的各种用户接口。
问题解决方案
为了实现这些目的和其它优点并且根据本发明的目的,如在此广泛地实施和描述的,一种用于控制多媒体设备的方法包括下述步骤,即,启动姿势和语音的遥控器输入的输入;通过遥控器接收用户姿势和语音;识别与接收到的姿势相关联的第一命令;识别与接收到的语音相关联的第二命令;相互比较第一命令和第二命令;以及当比较步骤指示第一命令对应于第二命令时执行与第一或者第二命令相关联的功能。
在本发明的另一方面中,能够通过遥控器控制的多媒体设备包括:用户接口模块,该用户接口模块被配置成接收姿势和语音;存储器模块,该存储器模块被配置成存储第一命令和第二命令;以及控制模块,该控制模块被配置成识别与接收到的姿势相关联的第一命令,识别与接收到的语音相关联的第二命令,相互比较第一命令和第二命令,并且当比较步骤指示第一命令对应于第二命令时执行与第一或者第二命令相关联的功能。
在本发明的其它方面中,能够控制多媒体设备的遥控器包括:无线通信模块,该无线通信模块被配置成将数据传输到多媒体设备并且从多媒体设备接收数据;感测模块,该感测模块被配置成接收姿势和语音;存储器模块,该存储器模块被配置成存储第一命令和第二命令;以及控制模块,该控制模块被配置成识别与接收到的姿势相关联的第一命令,识别与接收到的语音相关联的第二命令,相互比较第一命令和第二命令,并且当比较步骤指示第一命令对应于第二命令时执行与第一或者第二命令相关联的功能。
本发明的有益效果
根据本发明的一个实施例,多媒体设备通过精确地识别用户的姿势和语音执行用户所期望的操作,从而用户能够快速地和精确地操纵多媒体设备。
根据本发明的另一实施例,因为多媒体设备能够提供识别用户的姿势和语音的各种用户接口,能够提高用户的便利。
要理解的是,本发明的前述一般描述和下面的详细描述是示例性的和说明性的,并且旨在提供对所要求保护的本发明的进一步解释。
附图说明
被包括以提供本发明的进一步理解并且被并入到本申请中且组成本申请的一部分的附图图示了本发明的实施例并且连同说明书一起用以解释本发明的原理。
在附图中:
图1是图示根据本发明的一个实施例的包括多媒体设备的广播系统的示例的图;
图2是图示在图1中图示的多媒体设备的示例的详细图;
图3是图示能够控制多媒体设备的各种用户接口装置的图;
图4是图示用于通过图3的用户接口装置中的任意一个控制多媒体设备的方法的图;
图5是图示根据本发明的实施例的能够被附接到用户的手指的遥控器的图;
图6是图示根据本发明的实施例的控制多媒体设备的遥控器的内部的框图;
图7是图示根据本发明的实施例的通过用户的姿势和语音控制多媒体设备的方法的流程图;
图8是图示启动图7中的遥控器的输入的步骤的详细图;
图9是图示根据本发明的实施例的包括与姿势和语音输入相对应的操作的列表的菜单的显示屏幕的图;
图10是图示根据本发明的实施例的包括警告消息的显示屏幕的图;
图11是图示根据本发明的实施例的包括要执行特定操作的姿势和语音的输入菜单的显示屏幕的图;以及
图12是图示根据本发明的实施例的存储要执行特定操作的姿势和语音的映射数据的数据库的图。
具体实施方式
现在将会详细地参考本发明的优选实施例,在附图中图示其示例。如有可能,在整个附图中将会使用相同的附图标记以指代相同或者相似的部件。在下面的描述中使用的元件的后缀模块和单元仅考虑便于撰写本公开而公共地给出或者使用,而不具有相互区分的意义或者作用。因此,可以一起使用后缀模块和单元。
在本说明书中描述的多媒体设备对应于智能多媒体设备,该多媒体设备另外提供除了广播接收功能之外的计算机支持功能。因此,多媒体设备可以被提供诸如手动输入单元、触摸屏或者空间遥控器的更加方便的接口。而且,多媒体设备能够根据有线或者无线因特网功能的支持,通过接入因特网或者计算机进行使用电子邮件、网络浏览、银行业务或者玩游戏。对于这些不同的功能,可以使用标准化的通用操作系统(OS)。
因此,因为多媒体设备能够被自由地提供有或者不提供通用OS内核上的各种应用,所以其可以执行用户友好的各种功能。多媒体设备的更加详细的示例可以包括网络TV、宽带混合TV(HbbTV)、以及智能TV。根据情况,多媒体设备可以被应用于智能电话。
此外,现在将会参考附图和在附图中图示的全部内容详细地描述本发明的实施例。然而,要理解的是,本发明不限于下述实施例或者受到下述实施例的限制。
虽然考虑到本发明中的它们的功能,从通常已知并且使用的术语中选择本发明中使用的术语,但是取决于本领域中的技术人员的意图、实践、或者新技术的出现,能够修改术语。而且,在特殊情况下,申请人可以根据他或者她的决定选择在本发明的描述中所提及的术语,在此在描述的相关部分中描述其详细意义。因此,必须理解不是简单地通过实际使用的术语而是通过在此公开的上下文的意义和说明来理解在此使用的术语。
图1是图示根据本发明的一个实施例的包括多媒体设备的广播系统的示例的图。
如在图1中所图示,根据本发明的一个实施例的包括多媒体设备的广播系统包括:内容提供商(CP)10、服务提供商(SP)20、网络提供商(NP)30、以及家庭网络端用户(HNED)40。HNED40对应于例如客户端100,客户端100是根据本发明的实施例的多媒体设备。客户端100对应于根据本发明的一个实施例的多媒体设备,并且多媒体设备的示例包括网络TV、智能TV、以及IPTV。
内容提供商10制造或生成各种内容并且提供它们。内容提供商10的示例包括陆地广播器、有线系统运营商(SO)、多系统运营商(MSO)、卫星广播器、以及因特网广播器,如图1中图示。
而且,内容提供商10可以提供除了广播内容之外的各种应用。稍后将会更加详细地描述。
服务提供商20可以通过对它们进行分组的服务提供由内容提供商10提供的内容。例如,图1的服务提供商20可以分组第一陆地广播、第二陆地广播、有线MSO、卫星广播、各种因特网广播、应用等,并且将被分组的内容提供给用户。
服务提供商20可以通过使用单播或者多播模式将服务提供给客户端100。单播模式是在单个传输机和单个接收机1:1(一比一)之间传输数据。在单播模式的情况下,例如,如果接收机请求服务器传输数据,则服务器可以根据请求将数据传输到接收机。多播模式是将数据传输到特定组的多个接收机。例如,服务器可以一次将数据传输到先前注册的多个接收机。对于此多播注册,可以使用IGMP(因特网组管理协议)。
网络提供商30可以提供用于将服务提供给客户端100的网络。客户端100可以构造家庭网络端用户(HNED)以接收服务。
条件访问或者内容保护可以被用于保护被从前述多媒体设备的系统中传输的内容。对于条件访问或者内容保护,可以使用有线卡或可下载的条件访问系统(DCAS)。
客户端100可以通过网络提供内容。在这样的情况下,客户端100可以是与上述相反的内容提供商。内容提供商10可以从客户端100接收内容。在这样的情况下,有利的是,双向内容服务或者数据服务是可用的。
图2是图示在图1中图示的多媒体设备的示例的详图。
参考图2,根据本发明的一个实施例的多媒体设备100包括:广播接收模块105、外部设备接口模块135、存储器模块140、用户接口模块150、控制模块170、显示模块180、音频输出模块185、电源模块190、以及相机模块。广播接收模块105包括调谐器110、解调模块120以及网络接口模块(或者外部设备接口模块)130。如有必要,广播接收模块105可以被设计为包括调谐器110和解调模块120而不包括网络接口模块130。另一方面,广播接收模块105可以以被设计为仅包括网络接口模块130而不包括调谐器110和解调模块120。
调谐器110选择通过天线接收到的射频(RF)广播信号中的一个,其对应于用户选择的频道或者所有的先前存储的频道。而且,调谐器110将所选择的RF广播信号变换成中频信号或者基带视频或者音频信号。
而且,调谐器110可以接收基于高级电视系统委员会(ATSC)模式的单载波的RF广播信号或基于数字视频广播(DVB)模式的多载波的RF广播信号。
解调模块120可以在执行解调和频道解码之后输出流信号(TS)。
可以将从解调模块120输出的流信号输入到控制模块170。控制模块170执行解复用、视频/音频信号处理等,并且然后将视频输出到显示模块180并且将音频输出到音频输出模块185。
外部设备接口模块135可以将外部设备与多媒体设备100相连接。
通过有线/无线电缆将外部设备接口模块135连接至诸如数字多用盘(DVD)、蓝光、游戏设备、相机、便携式摄像机、计算机(例如,笔记本计算机)等的外部设备。外部设备接口模块135将通过被连接到其的外部设备外部地输入的视频、音频、或者数据信号传输到多媒体设备100的控制模块170。而且,外部设备接口模块135可以将由控制模块170处理的视频、音频或者数据信号输出到外部设备。为此,外部设备接口模块135可以包括A/V输入/输出模块或者无线通信模块。
A/V输入/输出模块可以包括USB端子、复合视频消隐同步(CVBS)端子、分量端子、S视频终端(模拟)、数字可视接口(DVI)端子、高清多媒体接口(HDMI)端子、RGB端子、D-SUB端子等,以将外部设备的视频和音频信号输入到多媒体设备100。
无线通信模块可以执行与其它电子设备的短程无线通信。例如,诸如蓝牙、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂(ZigBee)、数字生活网络联盟(DLNA)等的通信标准可以被用于短程无线通信,从而可以执行在多媒体设备100和其它电子设备之间的网络连接。
另外,可以通过上述各种终端中的至少一个将外部设备接口模块135连接到各种机顶盒,以执行与机顶盒的输入/输出操作。
网络接口模块130提供用于将多媒体设备100与包括因特网网络的有线/无线网络连接的接口。例如,网络接口模块130可以包括用于有线网络连接的以太网终端。例如,无线LAN(WLAN)(Wi-Fi)、无线宽带(Wibro)、全球微波接入互操作性(WiMax)、高速下行链路分组接入(HSDPA)可以被用于无线网络连接。
网络接口模块130通过被连接到其的网络或者被链接在被连接的网络上的另一网络将数据传输到其他用户或者其他电子设备或者从其他用户或者其他电子设备接收数据。
存储器模块140能够存储用于处理和控制控制模块170的每个信号的程序,或者可以存储被处理的视频、音频或者数据信号。
而且,存储器模块140可以临时存储从外部设备接口模块135或者网络接口模块130输入的视频、音频或者数据信号。存储器模块140可以通过频道存储器功能来存储关于预定的广播频道的信息。
而且,存储器模块140可以通过数据库存储关于被映射到能够在多媒体设备中执行的特定命令的姿势和语音的特征信息,并且可以允许用户通过姿势和语音执行特定命令。将会参考图12更加详细地描述该数据库。
例如,存储器模块140可以包括闪存型、硬盘型、多媒体卡微型、卡型存储器(例如,SD或者XD存储器)、RAM和ROM(EEPROM等)中的至少一种类型的存储介质。多媒体设备100能够播放被存储在存储器模块140中的内容文件(运动图片文件、静止图像文件、音乐文件、应用文件等),以将被播放的内容文件提供给用户。
虽然图2图示分离地提供存储器模块140和控制模块170,但是本发明的范围不限于图2的实施例。存储器模块140可以被包括在控制模块170中。
用户输入接口模块150将用户输入的信号传输到控制模块170或者将来自于控制模块170的信号传输给用户。
例如,根据诸如RF通信模式和IR通信模式的各种通信模式,用户接口模块150可以从遥控器200接收和处理诸如电源接通/切断、频道选择以及屏幕设置和关于姿势和语音的信息的控制信号,或者可以将控制信号从控制模块170传输到遥控器200。
而且,例如,用户接口模块150可以将通过诸如电源键、频道键、音量键和设置键的本地键输入的控制信号传输到控制模块170。
而且,例如,用户接口模块150可以将通过感测用户的姿势的感测模块输入的控制信号传输到控制模块170,或者可以将来自控制模块170的信号传输到感测模块。在这样的情况下,感测模块可以包括触摸传感器、音频传感器、位置传感器、动作传感器等。
控制模块170通过调谐器110、解调模块120或外部设备接口模块130解复用输入流或者处理被解复用的信号,以生成和输出用于视频和音频输出的信号。
通过控制模块170处理的视频信号可以被输入到显示模块180,使得视频信号可以被显示为与视频信号相对应的图像。而且,可以通过外部设备接口模块135将通过控制模块170处理的视频信号输入到外部输出设备。
通过控制模块170处理的视频信号可以被输出到音频输出模块185。而且,可以通过外部设备接口模块135将通过控制模块170处理的视频信号输入到外部输出设备。
而且,如果根据本发明的实施例的通过用户接口模块150从遥控器200接收姿势信息,则控制模块170从存储器模块140的数据库中搜索与接收到的姿势信息匹配的特定命令。如果搜索到的结果存在,则控制模块170可以基于通过用户接口模块150接收到的语音信息控制存储器模块140的数据库以识别被映射到搜索到的特定命令的语音信息是否与输入语音的特征信息匹配。如果被映射到搜索到的特定命令的语音信息与输入语音的特征信息匹配,则控制模块170可以执行控制操作以执行特定命令。
而且,关于控制模块170的搜索操作和识别操作,控制模块170可以提取通过用户接口模块150输入的姿势的方向信息,通过存储器模块140的数据库搜索与被提取的方向信息匹配的特定命令,提取通过用户接口模块150输入的语音的波形信息,并且识别被提取的波形信息是否与被映射到搜索到的特定命令的语音的波形信息匹配。
而且,如果通过用户接口模块150从遥控器200接收到用于启动遥控器200的输入的特定数据,则当接收到特定数据时控制模块170确定运行时间。如果运行时间超过特定时间,则控制模块170可以使能遥控器200的输入。将会参考图8更加详细地进行描述。
而且,在多媒体设备100通过预定的输入执行特定命令之后,如果在通过多媒体设备100当前执行的操作中出现任何丢失,则控制模块170可以将报警消息输出到显示模块180。仅当接收到关于报警消息的确认命令时,控制模块170可以执行特定命令,从而可以防止在进行中的操作中出现丢失。
显示模块180将通过控制模块170处理的视频、数据以及OSD信号或者从外部设备接口模块135接收到的视频和数据信号分别转换成R、G、B信号,以生成驱动信号。
音频输出模块185接收通过控制模块170音频处理的信号,例如,立体声信号、3.1声道信号或者5.1声道信号,并且将接收到的信号作为声音输出。各种类型的扬声器可以被用作音频输出模块185。
为了感测用户的姿势,多媒体设备100可以进一步包括感测模块,该感测模块包括如上所述的触摸传感器、音频传感器、位置传感器、以及动作传感器中的至少一个。由感测模块感测的信号可以通过用户接口模块150传输到控制模块170。感测模块可以是多媒体设备或者遥控器的一部分。
多媒体设备100可以进一步包括相机模块,该相机模块拍摄用户。可以将通过相机模块拍摄的图像信息输入到控制模块170。
控制模块170可以通过使用从相机模块拍摄的图像和从感测模块感测的信号分别地或者组合地感测用户的姿势。
电源模块190将对应的电力供应给多媒体设备100的整个部分。
遥控器200将用户输入传输到用户接口模块150。为此,遥控器200可以使用蓝牙、射频(RF)通信、红外(IR)通信、超宽带(UWB)、紫蜂等。
而且,遥控器200可以从用户接口模块150接收视频、音频或者数据信号以显示接收到的信号或者输出音频或者振动。
前述的多媒体设备100可以是能够接收ATSC模式(8-VSB模式)数字广播、DVB-T模式(COFDM模式)的数字广播、以及ISDB-T模式(BST-OFDM模式)的数字广播中的至少一个的固定型的数字广播接收机。
在图2中图示的多媒体设备100的框图是用于本发明的一个实施例。取决于被实际实现的多媒体设备100的选项,框图的各个元件可以被合并,添加或者省略。换言之,根据情况需要,两个或者更多个元件可以被合并在一个元件中,或者一个元件可以被划分为两个或者更多个元件。而且,通过每个块执行的功能旨在描述本发明的实施例,并且其详细动作或者设备没有限制本发明的权利要求。
不同于在图2中图示的实施例,在没有在图2中图示的调谐器110和解调模块120的情况下多媒体设备100可以通过网络接口模块130或者外部设备接口模块135接收和播放视频内容。
多媒体设备100是执行被存储在其中的视频和输入视频的信号处理的视频处理器的示例。视频信号处理器的其他示例包括机顶盒,该机顶盒不包括在图2中图示的显示模块180和音频输出模块185、前述的DVD播放器、蓝光播放器、游戏设备、以及计算机等。
图3是图示能够控制多媒体设备的各种用户接口装置的图。
根据本发明的实施例,能够与多媒体设备100进行有线/无线通信的各种用户接口设备可以被用于实现用于执行本发明的各种操作。
诸如蓝牙、射频识别(RFID)、红外数据协议(IrDA)、超宽带(UWB)、紫蜂、数字生活网络联盟(DLNA)等等的各种通信标准可以被用于通信。
而且,用户接口设备可以包括除了传统的遥控器200之外设有键盘和触摸板的遥控器400和遥控器300。
传统的遥控器200意指被提供有预定的键按钮和数字键盘的遥控器。
而且,遥控器400在其中被提供有陀螺仪传感器以感测紧握遥控器400的手的晃动或者旋转。如果用户上下移动遥控器400,指示器移动,从而用户可以使用指示器容易地选择所期望的广播频道或者菜单列表。
而且,被提供有键盘和触摸板的遥控器300可以通过键盘容易地执行到多媒体设备的文本输入,并且可以通过触摸板容易地输入用于照片或者运动图片的放大和缩小或者指示器的运动的信号。
而且,根据本发明的实施例,遥控器可以包括陀螺仪传感器和麦克风以感测音频以及手的晃动或者转向,从而用户可以提高在通过遥控器控制多媒体设备的精确度。
图4是用于通过图3的用户接口装置中的任意一个控制多媒体设备的方法的图。
如在图4的(a)中所示,与遥控器200相对应的指示器205被显示在显示模块180中。
用户可以在上下方向、左右方向(图4的(b))和前后方向(图4的c)中移动或者旋转遥控器200。在多媒体设备100的显示模块180中显示的指示器205对应于遥控器200的运动。因为遥控器200根据如所示的3D空间上的运动而移动相对应的指示器205,所以可以被称为空间遥控器。
图4的(b)图示,如果用户向左移动遥控器200,则在显示模块180中显示的指示器205相应地向左移动。
关于通过遥控器200的传感器感测到的遥控器200的运动的信息,被传输到多媒体设备100。多媒体设备100可以从关于遥控器200的运动的信息中获得指示器205的坐标。多媒体设备100可以显示指示器205以对应于上述坐标。
图4的(c)图示在用户按下遥控器200的特定按钮的状态下用户移动遥控器200以远离显示模块180。在本示例中,通过缩小显示在与指示器205相对应的显示模块180中所选择的区域。相反地,如果用户移动遥控器200以靠近显示模块180,通过放大显示在与指示器205相对应的显示模块180中选择的区域。如果遥控器200变得远离显示模块180,则所选择的区域可以经历放大。如果遥控器200变得靠近显示模块180,则所选择的区域可以经历缩小。
在按下遥控器200的特定按钮的状态下,不能识别上下运动和左右运动。换言之,如果遥控器200移动以远离或者靠近显示模块180,则仅可以识别前后运动而不识别上下运动和左右运动。在没有按下遥控器200的特定按钮的状态下,仅根据遥控器200的上下和左右运动移动指示器205。
指示器205的移动速度或者运动方向可以对应于遥控器200的移动速度或者运动方向。
在本说明书中,指示器指的是在显示模块180中显示的对象,以对应于遥控器200的操作。因此,除了通过指示器205图示的箭头形状之外,可以提供各种形状的对象。例如,指示器的示例可以包括点、光标、提示、以及粗轮廓线。指示器可以被显示为对应于显示模块180中的横轴和纵轴的任意一个点,或者可以被显示为对应于诸如线和表面的多个点。
图5是图示根据本发明的实施例的能够被附接到用户的手指的遥控器的图。
根据本发明的实施例,遥控器可以包括能够被附接到用户的手的遥控器。
特别地,如在图5中所示,遥控器可以被附接到用户的手指500以精确地接收用户的姿势和语音。
换言之,遥控器401可以被附接到用户的手指500,并且可以包括无线通信模块403、电源键404、以及麦克风420。
无线通信模块403可以通过遥控器401将数据传输到多媒体设备并且从多媒体设备接收数据。
诸如蓝牙、射频识别(RFID)、红外数据协议(IrDA)、超宽带(UWB)、紫蜂、数字生活网络联盟(DLNA)等的各种通信标准可以被用于数据传输和接收。
电源键404可以接通或者切断遥控器401的电力。而且,根据本发明的实施例,遥控器401可以通过按下电源键404通过无线通信模块403将用于能够进行操作遥控器的特定信号传输到多媒体设备。当在特定的时间或者更多的时间内按下电源键404时,如果在特定的时间或者更多的时间连续地输入特定信号,则多媒体设备可以通过遥控器401能够进行输入。将会参考图8更加详细地描述。
麦克风402可以接收用户的语音。如果语音被输入,则遥控器401可以通过无线通信模块403将关于输入语音的信息传输到多媒体设备,通过关于输入语音的信息从数据库中搜索特定命令,并且通过无线通信模块403将用于执行特定命令的信号传输到多媒体设备。
而且,遥控器401在其中可以进一步包括传感器单元、存储器单元以及控制单元以控制多媒体设备。将会参考图6和图7更加详细地描述遥控器401的内部结构和详细操作。
通过如所示的遥控器,用户可以没有任何问题地输入他的/她的姿势和语音,并且如果当错误地按下遥控器的键按钮时用户执行所期望的操作可以减少错误操作。
图6是图示根据本发明的实施例的控制多媒体设备的遥控器的内部的框图。
参考图6,遥控器200可以包括无线通信模块220、感测模块240、存储器模块230、以及控制模块210。
无线通信模块220将数据传输到根据本发明的前述实施例的多媒体设备并且从根据本发明的前述实施例的多媒体设备接收数据。将会示例性地描述根据本发明的实施例的多媒体设备当中的一个多媒体设备100。
在本实施例中,遥控器200可以包括射频(RF)模块222,RF模块222能够根据RF通信标准将数据传输到多媒体设备100并且从多媒体设备100接收数据。遥控器200可以进一步包括IR模块223,IR模块223能够根据IR通信标准将数据传输到多媒体设备100和从多媒体设备100接收数据。而且,遥控器200可以进一步包括无线因特网模块221,该无线因特网模块221能够根据无线因特网通信标准(wi-fi)将数据传输到多媒体设备100或者从多媒体设备100接收数据。而且,遥控器200可以包括根据诸如蓝牙、UWB(超宽带)、紫蜂、以及DLNA(数字生活网络联盟)的各种通信标准将数据传输到多媒体设备100并且从多媒体设备100接收数据的模块。
在本实施例中,遥控器200通过无线通信模块220将包括关于其运动和语音的信息的数据传输到多媒体设备100。
而且,遥控器200可以通过无线通信模块220接收从多媒体设备100传输的信号。而且,遥控器200可以通过无线通信模块220将关于电源接通/切断、频道改变以及音量改变的命令传输到多媒体设备100以允许多媒体设备100执行特定操作。
感测模块240可以包括动作识别模块241和麦克风242。
动作识别模块241可以包括陀螺仪传感器和加速度传感器。
陀螺仪传感器可以感测关于遥控器200的运动的信息。例如,陀螺仪传感器可以基于x、y以及z轴感测关于遥控器200的运动的信息。
加速度传感器可以感测关于遥控器200的移动速度或者移动速度的改变的信息。感测模块240可以进一步包括距离传感器,该距离传感器感测在显示模块180和遥控器200之间的距离。换言之,遥控器200可以通过动作识别模块241获取姿势的方向信息和加速度信息。
麦克风242可以接收用户的语音。如果语音被输入,则遥控器200可以通过无线通信模块将关于输入语音的信息传输到多媒体设备100,通过关于输入语音的信息从数据库231中搜索特定命令并且通过无线通信模块220将用于执行特定命令的信号传输到多媒体设备100。
用户输入模块250可以包括键盘、按钮、触摸板、或者触摸屏。用户可以通过操纵用户输入模块250将与多媒体设备100有关的命令输入到遥控器200。如果用户输入模块250包括硬键按钮,则用户可以通过硬键按钮的按压动作将与多媒体设备100有关的命令输入到遥控器200。如果用户输入模块250包括触摸屏,则用户可以通过触摸触摸屏的软键将与多媒体设备100有关的命令输入到遥控器200。而且,用户输入模块250可以包括在不限制本发明的范围的范围内的诸如滚动键和拨动键(jog key)的用户能够操纵的各种输入装置。
而且,根据本发明的实施例,用户输入模块250可以包括用于通过多媒体设备100中的遥控器200启动输入的按钮。遥控器200可以通过按压按钮通过无线通信模块403将用于启动遥控器200的特定信号传输到多媒体设备100。当在特定的时间或者更多的时间内按压按钮时,如果在特定的时间或者更多的时间内也连续地输入特定信号,则多媒体设备100可以启动通过遥控器200的输入。将会参考图8更加详细地描述。
存储器模块230可以存储用于控制或者操作遥控器200所要求的各种程序和应用数据。如果通过RF模块222遥控器200将信号传输到多媒体设备100并且从多媒体设备100接收信号,则遥控器200和多媒体设备100通过预定的频带相互传输和接收信号。遥控器200的控制模块210可以将关于频带的信息存储在存储器模块230中,通过该频带信号能够被传输到与遥控器200配对的多媒体设备100并且从与遥控器200配对的多媒体设备100接收信号,并且可以参考被存储的信息。
而且,根据本发明的实施例,存储器模块230可以在其中存储数据库231,其中,数据库231存储用于与通过感测模块240输入的姿势和语音相对应的特定命令的映射数据。
换言之,数据库231存储姿势和语音中的每一个的特征信息,并且也存储在多媒体设备中能够执行的命令列表以对应于每个特征信息。因此,如果通过感测模块240输入用户的姿势视频并且从输入姿势和语音中提取特征信息,则遥控器200可以从被存储在存储器模块230中的数据库231中搜索与特征信息相对应的特定命令。而且,遥控器200可以通过无线通信模块220将用于执行搜索到的特定命令的信号传输到多媒体设备100。
控制模块210控制与遥控器200的控制有关的所有事件。控制模块210可以通过无线通信模块225将与用户输入模块250的预定的键操纵相对应的信号、与通过感测模块240感测到的与通过遥控器200的姿势或者语音相对应的信号、或者用于执行从数据库231中搜索到的特定命令的信号传输到多媒体设备100。
而且,根据本发明的实施例,基于通过感测模块240输入的姿势的特征信息,控制模块210可以从存储器模块230的数据库231中搜索与特征信息匹配的特定命令。如果搜索到的特定命令存在,则控制模块210识别被映射到搜索的特定命令的语音信息是否与输入语音的特征信息匹配。如果被映射到被搜索的特定命令的语音信息与输入语音的特征信息匹配,则控制模块210可以通过无线通信模块220将用于执行特定命令的信号传输到多媒体设备。
而且,根据本发明的实施例,遥控器200可以被附接到如在图5中所示的用户的手以没有任何问题地接收用户的姿势和语音。遥控器200可以通过感测模块240将用户的手的运动的方向信息和加速度信息识别为姿势。
图7是图示根据本发明的实施例的用于通过用户的姿势和语音控制多媒体设备的方法的流程图。
根据本发明的实施例,多媒体设备能够进行遥控器的输入(S101)。
遥控器是一种能够通过无线通信将预定数据传输到多媒体设备并且从多媒体设备接收预定数据的设备,并且其示例可以包括诸如空间遥控器和无线键盘的各种类型的设备。
特别地,根据本发明的实施例,遥控器的示例可以包括能够被附接到用户的手的遥控器。当遥控器被附接到用户的手时,其可以获取关于其运动的加速度信息和方向信息。
而且,为了防止出现错误操作,只要能够通过遥控器进行输入,多媒体设备就可以从遥控器接收数据,或者姿势和语音。
而且,为了能够通过遥控器进行输入,如果在特定的时间或者更多的时间遥控器或者多媒体设备的特定键被接通或者特定键的选择信号被输入,或者如果遥控器位于特定位置特定的时间或者更多的时间,则多媒体设备可以被设置为能够通过遥控器进行输入。因此,能够进行姿势和语音的输入。将会参考图8更加详细地描述。
接下来,通过遥控器输入姿势和语音(S102)。因此,接收到姿势和语音。在本发明的实施例中,姿势和/或语音的感测或者检测也被称为接收。
可以通过如在图6中所示的动作识别模块和麦克风将姿势和语音从用户输入到遥控器,其中,动作识别模块可以包括陀螺仪传感器。
然后,基于输入姿势的特征信息通过数据库将输入姿势与被映射到能够在多媒体设备中执行的命令的姿势(S103)进行比较,从而确定输入姿势是否与被存储在数据库中的姿势匹配(S104)。从而,识别与输入或者接收到的姿势相关联的命令。
如在图12中所示的多媒体设备能够按照在其中执行的命令将特定姿势映射到特定语音,并且可以存储被映射的数据。
因此,多媒体设备可以提取作为特征信息的输入姿势的方向信息和加速度信息并且基于被提取的方向信息和加速度信息搜索数据库以确定输入姿势是否与被存储在数据库中的特定命令的姿势信息匹配。
接下来,如果输入姿势与被存储的姿势匹配,则将被映射到搜索到的特定命令的语音信息与输入语音的特征信息进行比较(S105)以确定它们是否相互匹配(S106)。从而,识别与输入或者接收到的声音相关联的命令。
多媒体设备可以通过遥控器提取输入语音的波形信息并且通过数据库搜索被映射到搜索到的特定命令的语音的波形信息和被提取的波形信息以确定输入语音是否与被存储的语音匹配。
换言之,不仅将输入姿势与被存储的姿势进行比较以搜索能够在多媒体设备中执行的特定命令,而且识别输入语音以防止用户不期望的命令被执行。
然后,比较与姿势相关联的命令和与声音相关联的命令(S107)。
接下来,当比较指示第一命令对应于第二命令时执行与第一或者第二命令相关联的特定命令或者功能(S108)。
换言之,由通过遥控器通过姿势输入的搜索步骤和通过遥控器通过语音输入的识别步骤来确定特定命令,并且然后通过多媒体设备执行,从而可以通过遥控器控制多媒体设备。
而且,根据本发明的实施例,在执行被确定的特定命令或者功能之后,如果在通过多媒体设备当前执行的操作中出现丢失,则输出报警消息。只有当关于报警消息的确认命令被接收时,执行被确定的特定命令,从而可以通过多媒体设备没有任何问题地执行操作。将会参考图10更加详细地描述。
根据前面的描述,多媒体设备仅从遥控器接收与姿势和语音相对应的信号并且搜索和确定特定命令。然而,如果在如在图6中所示的遥控器中提供数据库和感测模块并且姿势和语音被输入到遥控器,则遥控器的控制模块可以通过数据库执行通过输入姿势的特定命令的搜索步骤和通过输入语音的特定命令的识别步骤,并且如果特定命令被确定,则遥控器的控制模块可以将用于执行被确定的特定命令的信号仅传输到多媒体设备。在其它的实施例中,替代遥控器,多媒体设备可以执行图7的方法。
图8是图示能够进行图7的遥控器的输入的步骤的详图。
根据本发明的实施例,多媒体设备可以包括通过遥控器能够进行输入以防止错误操作出现的步骤。
而且,遥控器可以通过红外线数据协议(IrDA)通过将特定信号传输到多媒体设备并且从多媒体设备接收特定信号输入使能信号。因为用于IrDA的模块通常可以被设置在遥控器中并且可以具有紧凑的尺寸,所以其可以被用作使能信号的输入装置。
因此,如果遥控器的特定键被输入(例如,被按下)或者遥控器位于用于与多媒体设备的IrDA的特定位置处,则遥控器通过将特定数据传输到多媒体设备执行IrDA(S1011)。
接下来,多媒体设备确定IrDA的运行时间并且如果IrDA的运行时间大于特定时间,则通过遥控器进行输入(S1014)。
换言之,即使遥控器的特定键被输入或者遥控器位于用于与多媒体设备的IrDA的特定位置处,特定键或者特定位置可以是用户不想要的遥控器的输入或者运动。因此,多媒体设备就可以识别仅当IrDA的运行时间大于特定时间的使能信号。
而且,可以根据用户的设置改变运行时间。
另一方面,如果运行时间小于特定时间,则多媒体设备忽视通过遥控器输入的姿势和语音(S1013)。
图9是图示根据本发明的实施例的包括与姿势和语音输入相对应的操作列表的菜单的显示屏幕的图。
根据本发明的实施例,多媒体设备可以通过操纵列表菜单801提供关于被映射到被存储在多媒体设备中的姿势和语音的特定命令的映射信息。
换言之,多媒体设备可以映射每姿势和语音能够在多媒体设备中执行的特定命令,并且可以存储被映射的数据。如果通过多媒体设备的用户接口模块从遥控器接收姿势和语音信息,则多媒体设备可以提取接收到的姿势的特征信息并且搜索被存储的映射数据以搜索特定命令。如果搜索到特定命令,则多媒体设备可以确定被映射到搜索到的特定命令的语音信息是否与输入语音的特征信息匹配,从而确定搜索到的特定命令是否是用户想要执行的特定命令。
操纵列表菜单801可以包括作为关于图像802、803、804以及805的被映射的姿势的信息,并且可以包括关于作为用于播放语音或者声音的图标806、807、808以及809的被映射的语音的信息。
因此,参考图9,可以识别用于手指从上到下的运动的姿势802被映射到用于多媒体设备的电源切断的命令,用于使用手指绘制曲线的姿势803被映射到用于从多媒体设备分页优选的频道列表的命令,使用手指绘制小圆圈的姿势804被映射到用于编辑多媒体设备中的频道列表的命令,并且用于手指的上下递归运动的姿势805被映射到返回多媒体设备的先前频道的命令。
而且,用户的姿势可以包括通过诸如手臂、腿以及头和手或者手指的用户身体的各种部位的各种姿势。
而且,用户可以输入图标806至809中的每一个的选择信号,从而多媒体设备可以播放被映射到各个特定命令的语音数据。
而且,操纵列表菜单801可以包括用于将新的姿势和语音映射到特定命令的菜单810。因此,如果从用户接收菜单810的选择信号,则多媒体设备可以通过显示下面图11的菜单屏幕执行用于姿势和语音的映射步骤。
图10是图示根据本发明的实施例的包括报警消息的显示屏幕900的图。
根据本发明的实施例,在从用户输入预定的姿势和语音之后,如果多媒体设备执行与输入姿势和语音相对应的特定命令,则其可以显示关于是否将执行特定命令的确认消息901。
特别地,如果特定命令对应于可能带来关于通过多媒体设备当前使用的内容或者服务的数据的丢失的动作,则多媒体设备可以输出确认消息901以防止出现数据丢失。
例如,如果与输入姿势相对应的特定命令是多媒体设备的电源切断动作,因为通过多媒体设备当前执行的操作结束,所以多媒体设备可以显示确认消息901以请求用户确认是否用户将会关闭多媒体设备。
而且,确认消息901可以包括关于特定操作的信息、关于用户输入的姿势的信息902、以及用于取消姿势的输入的取消菜单903。
换言之,如果用户通过识别输入姿势902和特定操作想要取消特定操作,则他/她可以选择取消菜单903以取消特定操作。
而且,确认消息901可以以不透明的颜色被显示在没有显示内容或者服务的预定区域中,以不扰乱通过多媒体设备当前使用的内容或者服务的显示屏幕。
作为结果,如果错误地识别被输入到多媒体设备的姿势和语音或者如果用户错误地输入姿势或者语音,则可以防止执行不想要的操作。
图11是图示根据本发明的实施例的包括要执行特定操作的姿势和语音的输入菜单的显示屏幕的图。
根据本发明的实施例,用户可以设置随机姿势和语音作为用于执行多媒体设备中的预定服务或者接收服务的输入装置。
如果在多媒体设备中显示能够执行命令的列表的状态下从用户输入用于设置随机的姿势和语音的菜单的热键输入信号或者选择信号,或者如果在通过多媒体设备当前使用预定的服务或者内容的状态下从用户输入用于设置随机的姿势和语音的菜单的热键输入信号或者选择信号,则多媒体设备可以显示姿势注册菜单1001。
姿势注册菜单1001可以包括通过用户输入以设置输入装置的姿势图像1002,和用于输入姿势的确认菜单1003。换言之,在输入随机的姿势之后,用户确定在姿势图像1002中是否出现任何错误操作(或者捕捉到不想要的姿势)。如果在姿势图像1002中出现错误操作,则用户可以通过选择确认菜单1003显示语音注册菜单1004。
如果显示语音注册菜单1004,则用户可以通过多媒体设备的遥控器或者感测模块输入随机的语音。而且,多媒体设备可以通过语音确认窗口1005在输入随机的语音时给用户提供关于输入语音的波形的信息。
而且,在语音被输入之后,如果从用户输入语音确认窗口1005的选择信号,则多媒体设备可以播放输入语音。
而且,语音注册菜单1004可以包括用于输入语音的确认菜单1005。换言之,在输入随机的语音之后,用户通过语音确认窗口1005确定在输入语音中是否出现任何错误操作。如果错误操作没有发生,则用户可以将输入姿势和语音映射到多媒体设备的预定功能或者服务并且通过选择确认菜单1006将被映射的数据存储在数据库中。
而且,姿势注册菜单1001和语音注册菜单1004可以包括将会被映射到输入姿势或者语音的多媒体设备的功能列表,并且可以从用户接收选择信号。
如上所述,用户可以在所期望的功能或者服务中指定所期望的姿势和语音,从而在多媒体设备的操作中可以提高用户便利。
图12是图示根据本发明的实施例的存储要执行特定操作的姿势和语音的映射数据的数据库1101的图。
根据本发明的实施例,数据库1101可以按照在多媒体设备能够执行的命令存储姿势1102和语音1004的映射数据。
参考图12,数据库1101可以存储指示应通过遥控器输入旋转遥控器90度的姿势和与待机释放相对应的语音以释放多媒体设备的待机状态的数据、指示应通过遥控器输入旋转遥控器180度的姿势和与电源切断相对应的语音以切断多媒体设备的电源的数据、以及指示通过遥控器应输入上下移动遥控器和与频道上/下相对应的语音以改变多媒体设备当前使用的频道的数据。
换言之,因为数据库可以存储用于在多媒体设备中能够执行的特定命令的姿势和语音的映射数据,如果从遥控器接收姿势和语音信息,则多媒体设备可以通过使用接收到的姿势的特征信息搜索特定命令,并且可以通过使用输入语音的特征信息识别搜索到的特定命令是否为用户期望执行的命令。因此,通过遥控器能够在操作中提高精确度和可靠性。
而且,数据库1101可以被存储在根据本发明的一个实施例的多媒体设备的存储器模块中,或者可以被存储在根据本发明的另一实施例的遥控器的存储器模块中。
根据本发明的一个实施例,如果数据库1101被存储在多媒体设备的存储器模块中,则多媒体设备从遥控器接收关于姿势和语音的信息并且多媒体设备的控制模块通过搜索和识别特定命令来执行该特定命令。
另一方面,根据本发明的另一实施例,如果数据库1101被存储在遥控器的存储器模块中,则遥控器的控制模块搜索和识别特定命令并且通过将用于执行搜索到的特定命令的信号传输到多媒体设备来执行被搜索到的特定命令。
可以在没有限制实施例的应用的情况下通过所有的或者一些前述实施例的选择性组合配置根据本发明的多媒体设备及其操作方式,从而能够在实施例中进行各种修改。
根据本发明的多媒体设备的操作方法可以在通过被设置在多媒体设备中的处理器能够读取的记录介质中被实现,作为处理器能够读取的代码。由处理器能够读取的记录介质包括其中存储处理器能够读取的数据的所有种类的记录介质。记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘和光数据存储器。而且,记录介质的另一示例可以被以载波的类型实现,诸如通过因特网传输。而且,能够由处理器能够读取的记录介质可以分布在通过网络连接到其的计算机系统中,从而能够以分布模式存储和实现能够由处理器读取的代码。
对于本领域内的技术人员来说显而易见的是,在不偏离本发明的精神和实质特性的情况下,可以以其他特定形式来实现本发明。因此,上述实施例在所有方面被看作说明性和非限定性的。应当通过所附的权利要求的合理解释来确定本发明的范围,并且在本发明的等同范围内进行的所有改变被包括在本发明的范围中。
本发明的模式
以用于执行本发明的最佳实施方式已经描述了各种实施例。
对于本领域内的技术人员来说显而易见的是,在不偏离本发明的精神和范围的情况下,能够进行各种修改和变化。因此,意指本发明覆盖落入随附的权利要求和它们的等效物的范围内的本发明的修改和变化。
工业实用性
本发明涉及一种在多媒体设备中使用语音和姿势的控制方法及其多媒体设备。因此,本发明具有工业实用性。

Claims (20)

1.一种用于控制多媒体设备的方法,所述方法包括:
启动姿势和语音的输入;
接收姿势和语音;
识别与接收到的姿势相关联的第一命令;
识别与接收到的语音相关联的第二命令;
相互比较所述第一命令和所述第二命令;以及
当比较步骤指示所述第一命令对应于所述第二命令时执行与所述第一或者第二命令相关联的功能。
2.根据权利要求1所述的方法,其中,所述第一命令的识别包括,基于所述姿势的特征信息从数据库中搜索在所述多媒体设备中能够执行的功能,并且确定姿势信息是否匹配所述姿势的特征信息;以及
所述第二命令的识别包括,基于所述语音的特征信息从所述数据库中搜索在所述多媒体设备中能够执行的功能,以及确定语音信息是否匹配所述语音的特征信息。
3.根据权利要求1所述的方法,其中,所述多媒体设备在接收所述姿势和语音之后执行所述第一和第二命令的识别和比较步骤。
4.根据权利要求1所述的方法,进一步包括与所述多媒体设备相关联的遥控器,其中,所述遥控器在接收所述姿势和所述语音之后执行所述第一和第二命令的识别和比较步骤。
5.根据权利要求4所述的方法,其中,启动姿势和语音的输入包括:
通过无线通信在所述多媒体设备和所述遥控器之间对启动姿势和语音的输入的特定数据进行通信;以及
如果在特定的时间或者更多的时间内对所述特定数据进行通信,则使能所述遥控器。
6.根据权利要求4所述的方法,其中,所述姿势和所述语音的接收包括:
通过所述遥控器的陀螺仪传感器接收姿势信息;和
通过所述遥控器的麦克风接收语音信息。
7.根据权利要求3所述的方法,其中,所述姿势和所述语音的接收包括:
通过所述多媒体设备的相机接收姿势信息;和
通过所述多媒体设备的麦克风接收语音信息。
8.根据权利要求4所述的方法,其中,所述遥控器是能够被附接到用户的手的遥控器,并且所述姿势信息包括基于所述手的运动的方向信息和加速度信息。
9.根据权利要求2所述的方法,其中,确定姿势信息是否匹配所述姿势的特征信息包括:
提取所述姿势的方向信息;和
从所述数据库中确定所述功能与被提取的方向信息相关联,以及
确定所述语音信息是否匹配所述语音的特征信息包括:
提取所述语音的波形信息;和
确定所述功能与被提取的波形信息相关联。
10.根据权利要求1所述的方法,其中,所述功能的执行包括:
如果在所述功能被执行之后在通过所述多媒体设备执行的操作中出现任何丢失则输出报警消息;以及如果接收到对于所述报警消息的确认命令则执行所述功能。
11.一种多媒体设备,所述多媒体设备能够通过遥控器来控制,所述多媒体设备包括:
用户接口模块,所述用户接口模块被配置成接收姿势和语音;
存储器模块,所述存储器模块被配置成存储第一命令和第二命令;以及
控制模块,所述控制模块被配置成识别与接收到的姿势相关联的所述第一命令,识别与接收到的语音相关联的所述第二命令,相互比较所述第一命令和所述第二命令,并且当比较指示所述第一命令对应于所述第二命令时执行与所述第一或者第二命令相关联的功能。
12.根据权利要求11所述的多媒体设备,其中,所述控制模块基于所述姿势的特征信息通过搜索能够在所述多媒体设备中执行的功能识别所述第一命令,并且确定姿势信息是否匹配所述姿势的特征信息;并且
其中,所述控制模块基于所述语音的特征信息通过搜索在所述多媒体设备中能够执行的功能识别所述第二命令,并且确定语音信息是否匹配所述语音的特征信息。
13.根据权利要求11所述的多媒体设备,其中,所述控制模块在接收所述姿势和所述语音之后执行所述第一和第二命令的识别和比较。
14.根据权利要求11所述的多媒体设备,进一步包括与所述多媒体设备相关联的遥控器,其中,所述遥控器接收所述姿势和所述语音的输入。
15.根据权利要求14所述的多媒体设备,其中,在特定的时间或者更多的时间内,通过无线通信在所述多媒体设备和所述遥控器之间通过对启动所述姿势和所述语音的输入的特定数据的通信使所述遥控器能够进行所述姿势和所述语音的输入。
16.根据权利要求14所述的多媒体设备,其中,所述遥控器通过由所述遥控器的陀螺仪传感器接收姿势信息来接收所述姿势的输入,并且通过由所述遥控器的麦克风接收语音信息来接收所述语音的输入。
17.根据权利要求16所述的多媒体设备,其中,所述遥控器是能够被附接到用户的手的遥控器,并且所述姿势信息包括基于所述手的运动的方向信息和加速度信息。
18.根据权利要求13所述的多媒体设备,其中,所述多媒体设备通过所述多媒体设备的相机接收所述姿势,并且通过所述多媒体设备的麦克风接收所述语音信息。
19.根据权利要求12所述的方法,其中,确定所述姿势信息是否匹配所述姿势的特征信息包括:
提取所述姿势的方向信息;和
确定所述功能与被提取的方向信息相关联,并且
确定所述语音信息是否匹配所述语音的特征信息包括:
提取所述语音的波形信息;和
确定所述功能与被提取的波形信息相关联。
20.一种遥控器,所述遥控器能够控制多媒体设备,所述遥控器包括:
无线通信模块,所述无线通信模块被配置成将数据传输到所述多媒体设备并且从所述多媒体设备接收数据;
感测模块,所述感测模块被配置成接收姿势和语音;
存储器模块,所述存储器模块被配置成存储第一命令和第二命令;以及
控制模块,所述控制模块被配置成识别与接收到的姿势相关联的所述第一命令,识别与接收到的语音相关联的所述第二命令,相互比较所述第一命令和所述第二命令,并且当比较指示所述第一命令对应于所述第二命令时执行与所述第一或者第二命令相关联的功能。
CN2011800524976A 2010-11-22 2011-11-21 多媒体设备中使用语音和姿势的控制方法及其多媒体设备 Pending CN103201790A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2010-0116009 2010-11-22
KR1020100116009A KR101789619B1 (ko) 2010-11-22 2010-11-22 멀티미디어 장치에서 음성과 제스쳐를 이용한 제어 방법 및 그에 따른 멀티미디어 장치
PCT/KR2011/008865 WO2012070812A2 (en) 2010-11-22 2011-11-21 Control method using voice and gesture in multimedia device and multimedia device thereof

Publications (1)

Publication Number Publication Date
CN103201790A true CN103201790A (zh) 2013-07-10

Family

ID=46063888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800524976A Pending CN103201790A (zh) 2010-11-22 2011-11-21 多媒体设备中使用语音和姿势的控制方法及其多媒体设备

Country Status (5)

Country Link
US (1) US9390714B2 (zh)
EP (1) EP2643968A4 (zh)
KR (1) KR101789619B1 (zh)
CN (1) CN103201790A (zh)
WO (1) WO2012070812A2 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216351A (zh) * 2014-02-10 2014-12-17 美的集团股份有限公司 家用电器语音控制方法及系统
CN104681023A (zh) * 2015-02-15 2015-06-03 联想(北京)有限公司 一种信息处理方法及电子设备
CN106030700A (zh) * 2014-02-19 2016-10-12 诺基亚技术有限公司 至少部分地基于空间音频属性来确定操作指令
CN106488286A (zh) * 2015-08-28 2017-03-08 上海欢众信息科技有限公司 云端信息收集系统
CN109074819A (zh) * 2016-04-29 2018-12-21 维塔驰有限公司 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备
CN109124580A (zh) * 2018-07-31 2019-01-04 佛山市苔藓云链科技有限公司 一种共享遥控医疗装置
CN109493962A (zh) * 2017-09-11 2019-03-19 巴科股份有限公司 用于装备的高效姿势控制的方法和系统
CN110111481A (zh) * 2013-07-24 2019-08-09 捷德货币技术有限责任公司 用于有价文件处理的方法和装置
CN113539250A (zh) * 2020-04-15 2021-10-22 阿里巴巴集团控股有限公司 交互方法、装置、系统、语音交互设备、操控设备及介质

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358978B2 (en) * 2008-11-04 2013-01-22 Broadcom Corporation Multiservice communication device with cognitive radio transceiver
US8963847B2 (en) * 2010-12-06 2015-02-24 Netflix, Inc. User interface for a remote control device
WO2013022222A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same
ES2958183T3 (es) 2011-08-05 2024-02-05 Samsung Electronics Co Ltd Procedimiento de control de aparatos electrónicos basado en el reconocimiento de voz y de movimiento, y aparato electrónico que aplica el mismo
US8959082B2 (en) 2011-10-31 2015-02-17 Elwha Llc Context-sensitive query enrichment
US20130106682A1 (en) * 2011-10-31 2013-05-02 Elwha LLC, a limited liability company of the State of Delaware Context-sensitive query enrichment
US8886546B2 (en) * 2011-12-19 2014-11-11 Verizon Patent And Licensing Inc. Voice application access
US10223710B2 (en) 2013-01-04 2019-03-05 Visa International Service Association Wearable intelligent vision device apparatuses, methods and systems
US20150012426A1 (en) * 2013-01-04 2015-01-08 Visa International Service Association Multi disparate gesture actions and transactions apparatuses, methods and systems
KR101944414B1 (ko) * 2012-06-04 2019-01-31 삼성전자주식회사 음성 인식 서비스를 제공하기 위한 방법 및 그 전자 장치
RU2643443C2 (ru) * 2012-08-06 2018-02-01 Конинклейке Филипс Н.В. Активированный аудиосигналом и/или активация аудиосигналом режима и/или инструмента выполняющейся прикладной программы
KR101330671B1 (ko) 2012-09-28 2013-11-15 삼성전자주식회사 전자장치, 서버 및 그 제어방법
CN102945672B (zh) 2012-09-29 2013-10-16 深圳市国华识别科技开发有限公司 一种多媒体设备语音控制系统及方法
KR101621524B1 (ko) 2012-11-02 2016-05-31 삼성전자 주식회사 디스플레이장치 및 그 제어방법
JP2016502137A (ja) * 2012-11-16 2016-01-21 エーテル シングス、 インコーポレイテッド デバイス設定、対話および制御のための統一フレームワーク、および関連する方法、デバイスおよびシステム
KR102030114B1 (ko) 2013-01-07 2019-10-08 삼성전자주식회사 서버 및 그의 제어 방법
US9928652B2 (en) * 2013-03-01 2018-03-27 Apple Inc. Registration between actual mobile device position and environmental model
US11393461B2 (en) 2013-03-12 2022-07-19 Cerence Operating Company Methods and apparatus for detecting a voice command
US9112984B2 (en) 2013-03-12 2015-08-18 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
WO2014149700A1 (en) * 2013-03-15 2014-09-25 Intel Corporation System and method for assigning voice and gesture command areas
US20140282273A1 (en) * 2013-03-15 2014-09-18 Glen J. Anderson System and method for assigning voice and gesture command areas
KR102057862B1 (ko) * 2013-05-02 2020-01-22 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
CN105308537A (zh) 2013-05-02 2016-02-03 (株)未来百乐 匹配多个装置的方法、以及使所述匹配成为可能的装置及服务器系统
CN104239328A (zh) * 2013-06-18 2014-12-24 联想(北京)有限公司 多媒体处理方法及多媒体系统
KR102053820B1 (ko) * 2013-07-02 2019-12-09 삼성전자주식회사 서버 및 그 제어방법과, 영상처리장치 및 그 제어방법
KR102060661B1 (ko) * 2013-07-19 2020-02-11 삼성전자주식회사 통신 방법 및 이를 위한 디바이스
JP6329833B2 (ja) * 2013-10-04 2018-05-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America ウェアラブル端末及びウェアラブル端末の制御方法
US20150139483A1 (en) * 2013-11-15 2015-05-21 David Shen Interactive Controls For Operating Devices and Systems
WO2015102467A1 (ko) * 2014-01-06 2015-07-09 삼성전자 주식회사 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
KR102277752B1 (ko) 2014-01-06 2021-07-16 삼성전자주식회사 웨어러블 기기를 이용한 홈 디바이스 제어 장치 및 제어 방법
KR102236228B1 (ko) * 2014-10-15 2021-04-06 현대모비스 주식회사 차량용 avn 시스템의 음성 제어방법 및 그 장치
KR102334860B1 (ko) * 2014-11-21 2021-12-03 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
US10057619B2 (en) * 2015-03-27 2018-08-21 Panasonic Intellectual Property Management Co., Ltd. Remote control system and electronic device
KR101595090B1 (ko) * 2015-04-30 2016-02-17 주식회사 아마다스 음성 인식을 이용한 정보 검색 방법 및 장치
KR102459935B1 (ko) * 2015-07-10 2022-10-27 주식회사 엘지유플러스 영상표시기기, 그 제어 방법, 프로그램 및 기록 매체와 원격 제어 장치 및 그 제어 방법
US9939908B2 (en) 2015-09-28 2018-04-10 Paypal, Inc. Multi-device authentication
WO2017138934A1 (en) 2016-02-10 2017-08-17 Nuance Communications, Inc. Techniques for spatially selective wake-up word recognition and related systems and methods
US10431218B2 (en) * 2016-02-15 2019-10-01 EVA Automation, Inc. Integration and probabilistic control of electronic devices
WO2017217978A1 (en) 2016-06-15 2017-12-21 Nuance Communications, Inc. Techniques for wake-up word recognition and related systems and methods
WO2018027843A1 (zh) * 2016-08-11 2018-02-15 张焰焰 电视指令输入技术的数据采集方法和电视机
US11545146B2 (en) 2016-11-10 2023-01-03 Cerence Operating Company Techniques for language independent wake-up word detection
KR20180098079A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 비전 기반의 사물 인식 장치 및 그 제어 방법
KR102630662B1 (ko) 2018-04-02 2024-01-30 삼성전자주식회사 어플리케이션 실행 방법 및 이를 지원하는 전자 장치
US11522619B2 (en) 2019-03-08 2022-12-06 Rovi Guides, Inc. Frequency pairing for device synchronization
US11011169B2 (en) 2019-03-08 2021-05-18 ROVl GUIDES, INC. Inaudible frequency transmission in interactive content
US10956123B2 (en) * 2019-05-08 2021-03-23 Rovi Guides, Inc. Device and query management system
CN111343473B (zh) * 2020-02-25 2022-07-01 北京达佳互联信息技术有限公司 直播应用的数据处理方法、装置、电子设备及存储介质
KR20210116838A (ko) * 2020-03-17 2021-09-28 삼성전자주식회사 제스처에 기초하여, 음성 입력을 처리하는 전자 장치 및 그 동작 방법
KR102265406B1 (ko) * 2020-05-27 2021-06-16 삼성전자주식회사 서버 및 그의 제어 방법
KR102418798B1 (ko) * 2020-10-29 2022-07-08 삼성전자 주식회사 서버 및 그 제어방법과, 영상처리장치 및 그 제어방법
KR20220125566A (ko) * 2021-03-05 2022-09-14 삼성전자주식회사 전자 장치 및 전자 장치의 기기 연결 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020070490A (ko) * 2000-11-22 2002-09-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 사용자의 현재 무드에 기초한 추천들을 발생시키기 위한방법 및 장치
CN2627634Y (zh) * 2003-05-30 2004-07-21 玴荣科技股份有限公司 防误触式开关装置
JP2004526374A (ja) * 2001-03-29 2004-08-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ユーザ行動に基づきメディアプレーヤーを制御する方法及び装置
US20060077174A1 (en) * 2004-09-24 2006-04-13 Samsung Electronics Co., Ltd. Integrated remote control device receiving multimodal input and method of the same
KR20070090645A (ko) * 2006-03-03 2007-09-06 엘지전자 주식회사 동작인식 장치를 이용한 사용자별 맞춤형 스마트 텔레비젼장치 및 방법
KR100918094B1 (ko) * 2006-12-05 2009-09-22 한국전자통신연구원 이동식 영상 카메라를 구비한 제스처 인식 시스템
KR20100032699A (ko) * 2008-09-18 2010-03-26 동명대학교산학협력단 사용자의 제스춰 정보 인식을 기반으로 하여 디스플레이장치의 동작을 제어하는 시스템
US20100207875A1 (en) * 2009-02-19 2010-08-19 Shih-Ping Yeh Command control system and method thereof

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06131437A (ja) * 1992-10-20 1994-05-13 Hitachi Ltd 複合形態による操作指示方法
US6747632B2 (en) * 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
US7519268B2 (en) * 1998-04-14 2009-04-14 Nikon Corporation Image recording apparatus, dynamic image processing apparatus, dynamic image reproduction apparatus, dynamic image recording apparatus, information recording / reproduction apparatus and methods employed therein, recording medium with computer program stored therein
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
TW200928892A (en) * 2007-12-28 2009-07-01 Wistron Corp Electronic apparatus and operation method thereof
US8413075B2 (en) * 2008-01-04 2013-04-02 Apple Inc. Gesture movies
US8289548B2 (en) * 2008-02-21 2012-10-16 Brother Kogyo Kabushiki Kaisha Printer having first and second memory regions and non-transitory computer-readable recording medium storing control program of printer
EP2427812A4 (en) * 2009-05-08 2016-06-08 Kopin Corp REMOTE CONTROL OF A HOST APPLICATION THROUGH MOTION AND LANGUAGE COMMANDS
US8881061B2 (en) * 2010-04-07 2014-11-04 Apple Inc. Device, method, and graphical user interface for managing folders

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020070490A (ko) * 2000-11-22 2002-09-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 사용자의 현재 무드에 기초한 추천들을 발생시키기 위한방법 및 장치
JP2004526374A (ja) * 2001-03-29 2004-08-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ユーザ行動に基づきメディアプレーヤーを制御する方法及び装置
CN2627634Y (zh) * 2003-05-30 2004-07-21 玴荣科技股份有限公司 防误触式开关装置
US20060077174A1 (en) * 2004-09-24 2006-04-13 Samsung Electronics Co., Ltd. Integrated remote control device receiving multimodal input and method of the same
KR20070090645A (ko) * 2006-03-03 2007-09-06 엘지전자 주식회사 동작인식 장치를 이용한 사용자별 맞춤형 스마트 텔레비젼장치 및 방법
KR100918094B1 (ko) * 2006-12-05 2009-09-22 한국전자통신연구원 이동식 영상 카메라를 구비한 제스처 인식 시스템
KR20100032699A (ko) * 2008-09-18 2010-03-26 동명대학교산학협력단 사용자의 제스춰 정보 인식을 기반으로 하여 디스플레이장치의 동작을 제어하는 시스템
US20100207875A1 (en) * 2009-02-19 2010-08-19 Shih-Ping Yeh Command control system and method thereof

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111481A (zh) * 2013-07-24 2019-08-09 捷德货币技术有限责任公司 用于有价文件处理的方法和装置
CN104216351A (zh) * 2014-02-10 2014-12-17 美的集团股份有限公司 家用电器语音控制方法及系统
CN106030700A (zh) * 2014-02-19 2016-10-12 诺基亚技术有限公司 至少部分地基于空间音频属性来确定操作指令
CN106030700B (zh) * 2014-02-19 2019-12-06 诺基亚技术有限公司 至少部分地基于空间音频属性来确定操作指令
CN104681023A (zh) * 2015-02-15 2015-06-03 联想(北京)有限公司 一种信息处理方法及电子设备
CN106488286A (zh) * 2015-08-28 2017-03-08 上海欢众信息科技有限公司 云端信息收集系统
CN109074819A (zh) * 2016-04-29 2018-12-21 维塔驰有限公司 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备
CN109074819B (zh) * 2016-04-29 2023-05-16 维塔驰有限公司 基于操作-声音的多模式命令的优选控制方法及应用其的电子设备
CN109493962A (zh) * 2017-09-11 2019-03-19 巴科股份有限公司 用于装备的高效姿势控制的方法和系统
CN109124580A (zh) * 2018-07-31 2019-01-04 佛山市苔藓云链科技有限公司 一种共享遥控医疗装置
CN113539250A (zh) * 2020-04-15 2021-10-22 阿里巴巴集团控股有限公司 交互方法、装置、系统、语音交互设备、操控设备及介质

Also Published As

Publication number Publication date
US20120127072A1 (en) 2012-05-24
EP2643968A4 (en) 2015-07-08
KR101789619B1 (ko) 2017-10-25
EP2643968A2 (en) 2013-10-02
US9390714B2 (en) 2016-07-12
WO2012070812A2 (en) 2012-05-31
KR20120054743A (ko) 2012-05-31
WO2012070812A3 (en) 2012-07-19

Similar Documents

Publication Publication Date Title
CN103201790A (zh) 多媒体设备中使用语音和姿势的控制方法及其多媒体设备
US10057623B2 (en) Display apparatus and control method thereof
US9749575B1 (en) Display device and operating method thereof
CN102685582B (zh) 控制电子设备的方法及其便携式终端
EP2521372A1 (en) Electronic device and method for operating the same
US9271027B2 (en) Image display apparatus and method for operating the same
CN102164254B (zh) 图像显示装置和方法
KR101790429B1 (ko) 디스플레이 장치 및 그의 동작 방법
EP2262229A1 (en) Image display device and operation method thereof
CN102375538A (zh) 显示设备及其控制方法
US20150373412A1 (en) Display device and operating method thereof
US10448107B2 (en) Display device
KR20170121640A (ko) 디스플레이 장치 및 그의 동작 방법
US11397513B2 (en) Content transmission device and mobile terminal for performing transmission of content
KR102167289B1 (ko) 영상 표시 기기 및 그의 동작 방법
KR20170035167A (ko) 디스플레이 장치 및 그의 동작 방법
KR20150008769A (ko) 영상표시장치 및 그 동작방법
KR20170123184A (ko) 스크랩 기능을 제공하는 디스플레이 장치 및 그의 동작 방법
KR101799271B1 (ko) 원격제어장치를 이용한 멀티미디어 장치의 조작방법 및 그에 따른 멀티미디어 장치
KR102220198B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR102646584B1 (ko) 디스플레이 장치
KR20160133176A (ko) 디스플레이 장치 및 그의 동작 방법
KR20160004739A (ko) 디스플레이 장치 및 그의 동작 방법
KR102319680B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR102105459B1 (ko) 영상표시장치 및 영상표시장치 동작방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20130710