CN104486679A - 控制电子设备的方法和应用该方法的电子设备 - Google Patents

控制电子设备的方法和应用该方法的电子设备 Download PDF

Info

Publication number
CN104486679A
CN104486679A CN201410806882.0A CN201410806882A CN104486679A CN 104486679 A CN104486679 A CN 104486679A CN 201410806882 A CN201410806882 A CN 201410806882A CN 104486679 A CN104486679 A CN 104486679A
Authority
CN
China
Prior art keywords
action
electronic equipment
control unit
voice
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410806882.0A
Other languages
English (en)
Inventor
金正根
金裕泰
俞升东
韩尚珍
柳熙涉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120040995A external-priority patent/KR101311972B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104486679A publication Critical patent/CN104486679A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Neurosurgery (AREA)
  • Chemical & Material Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Television Systems (AREA)
  • Position Input By Displaying (AREA)
  • Manipulator (AREA)
  • Control Of Amplification And Gain Control (AREA)
  • Selective Calling Equipment (AREA)

Abstract

提供了电子设备及其控制方法。电子设备包括：显示单元，其显示图像；动作输入单元，其使用电子设备的相机获得用户动作；存储单元，其存储动作数据库，其中根据图像的类型不同地映射与预定的用户动作相对应的动作任务；以及控制单元，其识别通过动作输入单元输入的用户动作，根据当前显示在显示单元上的图像的类型来执行与识别到的用户动作相对应的动作任务，并且控制显示单元根据当前显示在显示单元上的图像的类型来显示动作辅助信息。

Description

控制电子设备的方法和应用该方法的电子设备
本申请是申请日为2012年08月06日、申请号为201210276986.6、发明名称为“控制电子设备的方法和应用该方法的电子设备”的发明专利申请的分案申请。
相关申请的交叉引用
本申请要求2011年8月5日向美国专利商标局提交的第61/515,459号美国专利申请、以及2012年4月19日向韩国知识产权局提交的第10-2012-0040995号韩国专利申请的权益，其公开通过引用并入本文。
技术领域
与示范性实施例一致的方法和设备涉及控制电子设备的方法以及应用该方法的电子设备，更具体地，涉及对使用动作识别模块来识别用户动作的电子设备进行控制的方法，以及应用该方法的电子设备。
背景技术
随着电子技术的发展，已经开发并销售了各种电子设备。具体地，包括电视在内的各种电子设备正被广泛用于一般家庭。
这些电子设备配备有各种功能，以满足用户的期望。因此，需要各种输入方法以便有效地使用电子设备的这些功能。例如，使用遥控器、鼠标和触摸板的输入方法已经应用于电子设备。
然而，这些简单的输入方法对有效地使用电子设备的各种功能造成了限制。例如，如果电子设备的所有功能只通过遥控器控制，则必然要增加遥控器上的按钮的数量。
此外，如果所有菜单都显示在屏幕上，则用户应该逐一搜查复杂的菜单树以选择期望的菜单，这可能给用户造成不便。
因此，需要更方便且更有效地控制电子设备的方法。
发明内容
一个或多个示范性实施例可以克服上述缺点和上面未描述的其他缺点。然而，应理解，一个或多个示范性实施例不需要克服上述缺点，而且可以不克服上述任何问题。
一个或多个示范性实施例提供了用于控制电子设备的方法，该方法识别用户动作并有效执行电子设备的任务，以及提供了应用该方法的电子设备。
根据示范性实施例的一个方面，提供了一种用于控制电子设备的方法，该方法包括：响应于识别到的用户动作而选择多个广播信号之一；提供已选择的广播信号；停止提供已选择的广播信号并提供已存储的内容；重新识别具有与识别到的用户动作相同形式的用户动作；以及响应于重新识别的用户动作而改变显示已提供的内容的屏幕的至少一部分。
根据示范性实施例的一个方面，提供了一种用于控制电子设备的方法，该方法包括：提供多个广播信号当中的一个广播信号和已存储的内容之一；通过动作识别模块识别用户动作；以及如果提供了广播信号，则响应于识别到的用户动作而控制已提供的广播信号的音量等级或提供多个广播信号当中的另一个广播信号，以及如果提供了内容，则响应于识别到的用户动作而改变显示已提供的内容的屏幕的至少一部分。
广播信号可以是从广播接收单元接收到的广播信号，而且内容可以是存储在存储单元中的内容、或者从外部终端输入单元或网络接口接收的内容。
内容可以包括多个页面，而且改变显示已提供的内容的屏幕的至少一部分可以包括将显示多个页面当中的一个页面的屏幕改变为显示多个页面当中的另一个页面的屏幕。
改变显示已提供的内容的屏幕的至少一部分可以包括响应于识别到的用户动作的方向，将显示多个页面当中的一个页面的屏幕改变为显示多个页面当中的、位于该页面的上部、下部、左部或右部区域的另一个页面的屏幕。
内容可以包括单一页面，而且改变显示已提供的内容的屏幕的至少一部分可以包括将显示单一页面的一部分的屏幕改变为显示单一页面的另一部分的屏幕。
改变显示已提供的内容的屏幕的至少一部分可以包括将显示已提供的内容的屏幕改变为显示不同于该内容的内容的屏幕。
该方法还可以包括通过语音识别模块识别用户语音，并且根据识别到的用户语音，提供多个广播信号当中的再一个广播信号。
根据示范性实施例的一个方面，提供了控制电子设备的方法，该方法包括提供第一视频数据和第一视频数据的音频数据；响应于识别到的用户动作而控制音频数据的音量等级；停止提供第一视频数据和音频数据并提供第二视频数据；重新识别具有与识别到的用户动作基本相同形式的用户动作；并且响应于重新识别的用户动作而改变显示第二视频数据的屏幕的至少一部分。
根据示范性实施例的一个方面，提供了控制电子设备的方法，该方法包括提供分别由多个源提供的视频数据当中的第一视频数据以及从单一源提供的多个视频数据当中的第二视频数据之一；通过动作识别模块识别用户动作；而且如果提供了第一视频数据，则响应于识别到的用户动作而提供与由提供第一视频数据的源不同的源提供的视频数据，如果提供了第二视频数据，则响应于识别到的用户动作而提供由单一源提供的多个视频数据当中的与该第二视频数据不同的视频数据。
根据示范性实施例的一个方面，提供了控制电子设备的方法，该方法包括：提供第一视频数据和第二视频数据之一，第一视频图像在向电子设备供电之后重现，第二视频数据在向电子设备供电之后、在电子设备通过用户进入一个模式之后重现；通过动作识别模块识别用户动作；如果提供第一视频数据，则响应于识别到的用户动作而提供与在向电子设备供电之后重现的第一视频数据不同的视频数据，而且如果提供第二视频数据，则响应于识别到的用户动作而提供与在通过用户进入模式之后重现的第二视频数据不同的视频数据。
根据示范性实施例的一个方面，提供了控制电子设备的方法，该方法包括：提供多个运动图像中的一个运动图像或多个图像中的一个图像之一；通过动作识别模块识别用户动作；如果提供运动图像，则响应于识别到的用户动作而提供多个运动图像中与已提供的运动图像不同的运动图像，而且如果提供图像，则响应于识别到的用户动作而提供多个图像中与已提供的图像不同的图像。
根据示范性实施例的一个方面，提供了电子设备，该电子识别包括：显示单元，其显示多个广播信号当中的一个广播信号和已存储的内容之一；动作输入单元，其接收用户动作的输入；以及控制器，如果提供广播信号，则控制器响应于用户动作而控制已提供的广播信号的音量等级或者提供多个广播信号中的另一个广播信号，而且如果提供内容，则控制器响应于用户动作而改变显示已提供的内容的屏幕的至少一部分。
内容可以包括多个页面，而且如果改变显示已提供的内容的屏幕的至少一部分，则控制器可以将显示多个页面当中的一个页面的屏幕改变为显示多个页面当中的另一个页面的屏幕。
如果改变显示已提供的内容的屏幕的至少一部分，则控制器可以将显示多个页面当中的一个页面的屏幕改变为显示多个页面当中的、位于该页面的上部、下部、左部或右部区域的另一个页面的屏幕。
内容可以包括单一页面，而且如果改变显示已提供的内容的屏幕的至少一部分，则控制器可以将显示单一页面的一部分的屏幕改变为显示单一页面的另一部分的屏幕。
电子设备还可以包括语音输入单元，其接收用户语音的输入，而且控制器可以根据用户语音提供多个广播信号当中的另一个广播信号。
根据示范性实施例的一个方面，提供了电子设备，该电子设备包括显示单元，其显示第一视频数据或第二视频数据；音频输出单元，其提供第一视频数据的音频数据；动作输入单元，其接收用户动作的输入；以及控制器，如果提供第一视频数据，则控制器响应于用户动作而控制第一视频数据的音频数据的音量等级，而且如果提供第二视频数据，则控制器响应于用户动作而改变在显示第二视频数据的屏幕的至少一部分。
根据示范性实施例的一个方面，提供了电子设备，该电子设备包括显示单元，其显示多个运动图像中的一个运动图像或多个图像中的一个图像之一；动作输入单元，其接收用户动作的输入；以及控制器，如果提供运动图像，则控制器响应于用户动作而提供多个运动图像中与已提供的运动图像不同的运动图像，而且如果提供图像，则控制器响应于用户动作而提供多个图像中与已提供的图像不同的图像。
根据示范性实施例的一个方面，提供了电子设备，该电子设备包括显示单元，其显示分别由多个源提供的视频数据当中的第一视频数据以及从单一源提供的多个视频数据当中的第二视频数据之一；动作输入单元，其接收用户动作的输入；以及控制器，如果提供第一视频数据，则控制器响应于用户动作而提供与由提供第一视频数据的源不同的源提供的视频数据，如果提供第二视频数据，则控制器响应于用户动作而提供由单一源提供的多个视频数据当中与第二视频数据不同的视频数据。
附图说明
通过参照附图详细描述示范性实施例，上述和/或其他方面将更加清楚，附图中：
图1至图3是根据各种示范性实施例的、解释根据电子设备的配置的框图；
图4和图5是示出对应于语音任务和动作任务的遥控器的按钮的视图；
图6至图32是解释用于执行语音任务的方法的各种示例的视图；
图33至图58是解释用于执行动作任务的方法的各种示例的视图；
图59和图60是根据各种示范性实施例的、解释电子设备的控制方法的流程图，该电子设备通过将任务划分为动作任务和语音任务来控制任务；
图61和图62是示出根据示范性实施例的、关于电子设备的语音任务的语音UI的视图；
图63是示出根据示范性实施例的、关于电子设备的动作任务的动作UI的视图；
图64至图66是示出根据示范性实施例的、语音识别或动作识别的视觉反馈的视图；
图67至图69是根据各种示范性实施例的、解释电子设备的控制方法的流程图，该电子设备提供语音UI和动作UI；
图70至图78是根据各种示范性实施例的、解释显示用于解释语音应用的可运行图标的、电子设备的UI的方法的视图；
图79是示出根据示范性实施例的、解释显示电子设备的UI的方法的流程图；
图80至图91是示出根据各种示范性实施例的、按照沿着向上、向下、向左和向右方向的用户动作而改变的屏幕的视图；
图92和图93是示出根据各种示范性实施例的、解释其屏幕按照用户动作改变的电子设备的控制方法的流程图；
图94至图97是根据各种示范性实施例的、解释用于执行遥控模式、动作任务模式和语音任务模式的方法的视图和流程图；
图98是根据示范性实施例的、解释使用移动设备进行语音识别的流程图；
图99至图104是根据示范性实施例的、解释指向模式的视图和流程图；
图105至图108是根据示范性实施例的、解释在指向模式中输入动作的情况下的显示方法的视图和流程图；
图109至图111是根据示范性实施例的、解释用于在语音任务模式中显示项目的方法的视图和流程图；
图112至图115是根据示范性实施例的、解释具有彼此不同的色度的UI的视图和流程图；
图116至图118是根据示范性实施例的、解释执行与除了显示语音项目以外的命令相对应的任务的视图和流程图；
图119至图121是根据示范性实施例的、解释使用双手将当前模式改变为动作任务模式的动作启动命令的视图和流程图；
图122是根据示范性实施例的、解释在多个用户输入动作启动命令的情况下执行动作任务模式的方法的流程图；
图123至图126是根据示范性实施例的、解释使用语音识别分阶段执行任务的方法的视图和流程图；
图127至图129是根据示范性实施例的、解释其名称被部分显示的可运行图标的运行的视图和流程图；
图130至图134是根据示范性实施例的、解释按照特殊姿势执行任务的视图和流程图；
图135至图137是根据示范性实施例的、解释根据语音输入方法而不同地显示的图标的视图和流程图；
图138至图142是根据示范性实施例的、解释显示文本输入菜单的方法的视图和流程图；
图143是根据示范性实施例的、解释使用外部设备来执行语音任务的方法的流程图；
图144至图146是根据示范性实施例的、解释在显示屏幕上显示可说出的命令的情况下执行语音任务的方法的视图和流程图；
图147是根据示范性实施例的、解释自动识别语音的方法的流程图；
图148是根据示范性实施例的、解释显示候选列表的方法的流程图；以及
图149是根据示范性实施例的、解释指导语音识别错误的UI的流程图。
具体实施方式
下文中，将参照附图更加详细地描述示范性实施例。
在以下描述中，当相同的参考标记和相同的元素在不同的附图中绘出时，相同的参考标记用于相同的元素。说明书中定义的内容，诸如详细的结构和元素，被提供以帮助理解示范性实施例。因此，明显的是，示范性实施例能够在没有这些具体定义的内容的情况下执行。另外，由于相关技术中已知的功能或元件将由于不必要的细节而模糊示范性实施例，因此将不对其进行详细描述。
图1是示出根据示范性实施例的电子设备100的示意性框图。
参照图1，电子设备100包括语音输入单元110、动作输入单元120、存储单元130和控制单元140。电子设备100可以由智能电视(TV)、机顶盒、个人计算机(PC)或数字电视实现，但不限于智能电视(TV)、机顶盒、个人计算机(PC)或数字电视，其能够连接到外部网络。
语音输入单元110接收由用户说出(utter)的语音输入。语音输入单元110将输入的语音信号转换成电信号，并且将电信号输出到控制单元140。例如，语音输入单元110可以由麦克风实现。此外，语音输入单元110可以由电子设备100中的内部组件或外部设备实现。外部设备语音输入单元110可以通过有线或无线连接或通过网络连接到电子设备100。
动作(motion)输入单元120接收通过拍摄用户动作获得的图像信号(例如，连续帧)，并将图像信号提供给控制单元140。例如，动作输入单元120可以由包括镜头和图像传感器的单元实现。动作输入单元120可以由电子设备100中的内部组件或外部设备实现。外部设备动作输入单元120可以通过有线或无线连接，或通过网络连接到电子设备100。
存储单元130存储用于驱动和控制电子设备100的各种数据和程序。存储单元130存储语音识别模块和动作识别模块，语音识别模块识别通过语音输入单元110输入的语音，动作识别模块识别通过动作输入单元120输入的动作。
存储单元130可以包括语音数据库和动作数据库。语音数据库是指预定的语音以及与预定的语音匹配的语音任务(voice task)记录在其上的数据库。动作数据库是指预定的动作以及与预定的动作匹配的动作任务(motion task)记录在其上的数据库。
控制单元140控制语音输入单元110、动作输入单元120和存储单元130。控制单元140可以包括诸如中央处理单元(CPU)的硬件处理器、以及存储用于控制电子设备100的模块和数据的只读存储器(ROM)和随机存取存储器(RAM)。
如果语音通过语音输入单元110输入，则控制单元140使用语音识别模块和语音数据库来识别语音。语音识别可以被划分为孤立词识别(isolatedword recognition)、连续语音识别(continuous speech recognition)和关键词检出(keyword spotting)，孤立词识别通过根据输入的语音的形式而区分词来识别发出的语音，连续语音识别识别连续的词、连续的句子，以及对话语音(dialogicvoice)，关键词检出是介于孤立词识别和连续语音识别之间的中间类型并且通过检测预定义的关键词来识别语音。如果输入了用户语音，则控制单元140通过从输入的语音信号中检测出用户发出的语音的开始和结束来确定语音段(voice section)。控制单元140计算输入的语音信号的能量、按照计算出的能量对语音信号的能量水平进行分类、并通过动态编程来检测语音段。控制单元140通过检测来自检测到的语音段内的语音信号的音素(phoneme)(这是最小的语音单位)、基于声学模型来生成音素数据。控制单元140通过将隐马尔可夫模型(HMM)应用到已生成的音素数据来生成文本信息。然而，上述语音识别方法仅仅是示例，而且可以使用其他语音识别方法。在上述方法中，控制单元140识别包括在语音信号中的用户语音。
如果通过动作输入单元120输入了动作，则控制单元140使用动作识别模块和动作数据库来识别动作。动作识别将与通过动作输入单元120输入的用户动作相对应的图像(例如，连续帧)划分为背景和手区域(例如，张开手指或曲手握拳)，并识别连续的手部动作。如果输入了用户动作，则控制单元140以帧为基础存储接收到的图像，并且使用已存储的帧来感测用户动作的对象(例如，用户的手)。控制单元140通过感测帧中所包括的对象的形状、颜色和动作中的至少一个来检测对象。控制单元140可以使用多个帧中所包括的对象的位置来追踪对象的动作。
控制单元140按照所追踪的对象的形状和动作来确定该动作。例如，控制单元140使用对象的形状、速度、位置和方向的变化中的至少一个来确定用户动作。用户动作包括握一只手的抓动作(grab motion)、利用一只手移动显示的光标的指向移动动作(pointing move motion)、在一个方向上以预定的速度或更快的速度移动一只手的拍动作(slap motion)、水平或垂直摇动一只手的摇动动作(shake motion)、以及旋转一只手的旋转动作。本公开的技术想法可以应用于其他动作。例如，用户动作还可以包括张开一只手的张开动作(spreadmotion)。
控制单元140确定对象是否在预定时间(例如，800毫秒)内离开预定区域(例如，40厘米×40厘米的正方形)，以便确定用户动作是指向(pointing)移动动作还是拍动作。如果对象在预定时间内没有离开预定区域，则控制单元140可以确定该用户动作是指向移动动作。如果对象在预定时间内离开预定区域，则控制单元140可以确定该用户动作是拍动作。另一个示例是，如果对象的速度低于预定速度(例如，30厘米/秒)，则控制单元140可以确定该用户动作是指向移动动作。如果对象的速度超过预定速度，则控制单元140确定该用户动作是拍动作。
如上所述，控制单元140使用识别出的语音和动作来执行电子设备100的任务。电子设备的任务包括由电子设备100执行的至少一个功能，诸如频道切换、音量控制、内容回放(例如，运动图像、音乐或照片)、或互联网浏览。
下面将解释通过控制单元140控制电子设备100的具体方法。
图2是示出根据示范性实施例的电子设备100的框图。参照图2，电子设备100包括语音输入单元110、动作输入单元120、存储单元130和控制单元140、广播接收单元150、外部端子输入单元160、遥控信号接收单元170、网络接口单元180和图像输出单元190。如图2所示，电子设备100可以由机顶盒、个人计算机等实现。
图2的语音输入单元110、动作输入单元120、存储单元130和控制单元140与图1的语音输入单元110、动作输入单元120、存储单元130和控制单元140相同，因此省略其详细描述。
广播接收单元150以有线或无线方式从外部源接收广播信号。广播信号包括视频、音频和附加数据(例如，电子节目指南(EPG))。广播接收单元150可以从诸如地面波广播、有线广播、卫星广播、互联网广播等的各种源接收广播信号。
外部端子输入单元160从外部源接收视频数据(例如，运动图像或照片)和音频数据(例如，音乐)。外部端子输入单元160可以包括高清晰度多媒体接口(HDMI)输入端子、分量输入端子、PC输入端子、USB输入端子等中的至少一个。遥控信号接收单元170从外部遥控器接收控制信号。遥控信号接收单元170可以以电子设备100的语音任务模式或动作任务模式接收遥控信号。网络接口单元180可以在控制单元140的控制下将电子设备100连接到外部设备(例如，服务器)。控制单元140可以从通过网络接口单元180连接的外部设备下载应用，或者可以执行网页(web)浏览。网络接口单元180可以提供以太网、无线局域网182、蓝牙等中的至少一个。
图像输出单元190向外部显示设备(例如，监视器或TV)输出通过广播接收单元150接收到的外部广播信号、从外部端子输入单元160输入的视频数据、或存储在存储单元130中的视频数据。图像输出单元190可以包括输出端子，诸如HDMI、分量、复合、视频图形阵列(VGA)、数字视频接口(DVI)、S-视频等。
图3是示出根据又一示范性实施例的电子设备100的框图。如图3所示，电子设备100包括语音输入单元110、动作输入单元120、存储单元130和控制单元140、广播接收单元150、外部端子输入单元160、遥控信号接收单元170、网络接口单元180、显示单元193和音频输出单元196。电子设备100可以是，但不限于，数字TV。
图3的语音输入单元110、动作输入单元120、存储单元130和控制单元140、广播接收单元150、外部端子输入单元160、遥控信号接收单元170和网络接口单元180与图1和图2中具有相同参考标记的那些单元相同，因此省略其详细描述。
显示单元193显示与通过广播接收单元150接收到的广播信号相对应的图像。显示单元193可以显示通过外部端子输入单元160输入的图像数据(例如，运动图像)或存储在存储单元中的视频。显示单元193可以在控制单元140的控制下显示用于执行语音任务的语音辅助(assistance)信息和用于执行动作任务的动作辅助信息。
音频输出单元196在控制单元140的控制下输出与广播信号相对应的音频。音频输出单元196可以包括扬声器196a、耳机输出端子196b和S/PDIF输出端子163c中的至少一个。存储单元130包括电源控制模块130a、频道控制模块130b、音量控制模块130c、外部输入控制模块130d、屏幕控制模块130e、音频控制模块130f、互联网控制模块130g、应用模块130h、搜索控制模块130i、用户接口(UI)处理模块130j、语音识别模块130k、动作识别模块130l、语音数据库130m和动作数据库130n。这些模块130a至130n可以通过软件实现，以便执行电源控制功能、频道控制功能、音量控制功能、外部输入控制功能、屏幕控制功能、音频控制功能、互联网控制功能、应用运行功能、搜索控制功能和UI处理功能。控制单元140通过运行存储在存储单元130中的软件执行相应功能。
以下将参照附图解释各种示范性实施例。
如果通过语音识别模块130k识别到用户语音，则控制单元140执行可由遥控器控制的任务当中与识别到的用户语音相对应的语音任务。如果通过动作识别模块130l识别到用户动作，则控制单元140执行可由遥控器控制的任务当中与识别到的用户动作相对应的动作任务。语音任务和动作任务可以通过利用遥控器上的按钮进行分类来被映射。
语音任务是指可按照通过语音识别模块识别到的语音进行控制的任务。例如，语音任务可以包括关闭电子设备100、频道快捷切换(channel shortcut)、静音、改变外部端子、设置音量等级、输入文本以及重现/停止图像的功能中的至少一个。也就是说，具有能够由用户语音发出的名称或标识符的各种任务或者需要输入文本的任务可以被设置为语音任务。
动作任务是指可按照通过动作识别模块识别到的动作进行控制的任务。例如，动作任务可以包括频道改变、音量等级控制、屏幕导航、滑动条控制和光标指向(cursor pointing)。也就是说，能够在各阶段按照用户动作的类型和方向进行控制的各种任务以及使用光标的任务可以被设置为动作任务。
如果通过语音识别模块识别到用户语音，则控制单元140执行直接对应于用户语音中所包括的言语(utterance)的语音任务。
例如，控制单元140从用户发出的语音中识别频道标识符。频道标识符用于识别频道，并且可以包括频道名称、频道号码和节目名称中的至少一个。
如果频道标识符如上所述被存储在存储单元130中的语音数据库中，则控制单元140使用语音数据库执行到与识别到的频道标识符相对应的频道的快捷切换。也就是说，如果用户说“11”，则控制单元140确认与“11”相对应的语音任务是否记录在语音数据库中。如果与“11”相对应的语音任务是选择频道11的频道快捷切换功能，则控制单元140执行到频道11的快捷切换。
如果通过动作识别模块识别到用户动作，则控制单元140按照用户动作的方向执行与用户动作相对应的动作任务。
例如，如果通过动作识别模块识别到向上方向的拍动作，则控制单元140可以从动作数据库中确认与向上方向的拍动作相对应的动作任务，并且可以执行频道改变以便将当前频道改变为频道号码增加预定数量(例如，1)的频道。如果通过动作识别模块识别到向下方向的拍动作，则控制单元140可以从动作数据库中确认与向下方向的拍动作相对应的动作任务，并且可以执行频道改变以便将当前频道改变为频道号码减少预定数量(例如，1)的频道。
语音任务和动作任务可以通过利用图4和图5中所示的遥控器上的按钮进行分类来被映射。
图4示出了与执行至少一个语音任务的命令相对应的遥控器上的按钮。也就是说，在语音输入被识别出的情况下执行的任务可以对应于通过遥控器上的按钮之一执行的任务。例如，由遥控器上的电源按钮401执行的任务对应于在语音“呼叫词(call word)”(例如，“Ginny”)或“电源”被识别出的情况下执行的任务。因此，外部输入按钮402对应于语音“外部输入”。此外，数字按钮403对应于所说出的号码。此外，上一个频道(previous channel)按钮404对应于语音“上一个频道”。静音按钮405对应于语音“静音”或“取消静音”。另外，频道列表按钮406对应于语音“频道列表”。智能中心(smart hub)/菜单/搜索/快速菜单/信息显示按钮407、返回按钮408、退出按钮409、社交网络/3D图像提供按钮410、帮助按钮411以及回放/暂停/停止/录制按钮412对应于与它们各自名称相对应的语音。
图5示出了与执行至少一个动作任务的动作相对应的遥控器上的按钮。也就是说，在动作输入被识别到的情况下执行的任务可以对应于按照遥控器上的按钮之一执行的任务。例如，如图5所示，按照音量向上/向下按钮和频道向上/向下按钮421执行的任务对应于向上、向下、向右和向左方向上的拍动作被识别到的情况下执行的任务。因此，向上、向下、向左和向右方向按钮422对应于向上、向下、向左和向右方向的拍动作。选择按钮423可以对应于抓动作。如果屏上显示(on screen display,OSD)包括键指导(key guide)，则功能按钮425可以对应于相应键的指向动作(pointing motion)。
语音任务和动作任务可以在不相互结合的情况下独立改变电子设备100的设置。也就是说，语音任务可以使用由语音识别模块130k识别到的用户语音来改变电子设备100的设置，而且动作任务可以使用由动作识别模块130l识别到的用户动作来改变电子设备100的设置。
控制单元140通过语音识别模块130k和动作识别模块130l之一来识别用户语音和用户动作之一。如果通过语音识别模块130k识别到用户语音，则控制单元140分别运行具有内容标识符的多个内容当中的、具有与识别到的用户语音相对应的内容标识符的内容。如果通过动作识别模块130l识别到用户动作，则控制单元140按照用户动作的方向改变多个内容。
这里所记载的内容可以是广播内容。具体地，如果通过语音识别模块130k识别到用户语音，则控制单元140分别将当前广播频道改变为具有广播频道标识符的多个广播频道当中的、具有与识别到的用户语音相对应的广播频道标识符的广播频道。频道标识符可以包括频道号码、频道名称和节目名称中的至少一个。
如果通过动作识别模块130l识别到用户动作，则控制单元140按照用户动作的方向分阶段地(in phase)改变多个广播频道。用户动作可以包括拍动作。例如，如果识别到的用户动作是向上方向上的拍动作，则控制单元140执行频道改变，从而将当前广播频道改变为频道号码增加预定数量的广播频道。如果识别到的用户动作是向下方向上的拍动作，则控制单元140执行频道改变，从而将当前广播频道改变为频道号码减少预定数量的广播频道。
内容可以是图像内容、音乐内容和照片内容之一。如果内容是图像内容、音乐内容和照片内容之一，则内容标识符可以是内容的名称。
如果内容是图像内容、音乐内容和照片内容之一，则用户动作可以包括拍动作。例如，如果识别到的用户动作是向右方向上的拍动作，则控制单元140可以将当前内容改变为包括多个将被重现的内容的内容列表上的下一个内容，而且如果识别到的用户动作是向左方向上的拍动作，则控制单元140可以将当前内容改变为内容列表上的前一个内容。
如果通过语音识别模块130k识别到语音启动命令，则控制单元140将电子设备100的模式改变为语音任务模式，在该语音任务模式中，按照通过语音识别模块130k识别到的用户语音来控制电子设备100。如果通过动作识别模块130l识别到动作启动命令，则控制单元140将电子设备100的模式改变为动作任务模式，在该动作任务模式中，按照通过动作识别模块130l识别到的用户动作来控制电子设备100。
具体来说，控制单元140可以以遥控模式、语音任务模式和动作任务模式之一操作，在遥控模式中电子设备100由遥控设备(例如，遥控器)控制，在语音任务模式中电子设备100根据语音来控制，在动作任务模式中电子设备100根据动作来控制。如果输入启动另一种模式的命令，则控制单元140可以将当前模式改变为相应模式。
如果在电子设备100处于遥控模式或动作任务模式时通过语音识别模块130k识别到语音启动命令(触发语音)，则控制单元140将电子设备100的模式改变为语音任务模式。语音启动命令是包括与进入语音任务模式的操作相匹配的词的命令。例如，如果词“Ginny”被设置为语音启动命令，则当识别到词“Ginny”时，控制单元140将电子设备100的模式改变为语音任务模式。关于语音启动命令的词可以在电子设备100的配置模式中由用户直接改变，或者可以是在制造电子设备100时默认定义的固定命令。
在语音任务模式中，控制单元140使用语音数据库来执行与用户发出的语音中所包括的词相对应的语音任务。
控制单元140可以保持语音任务模式直至识别到返回遥控模式的启动命令、模式取消命令、或者改变为动作任务模式的动作启动命令。如果在模式已经改变为语音任务模式之后的预定时间(例如5分钟)内没有识别到语音，则控制单元140可以自动返回到遥控模式。
如果在处于遥控模式或语音任务模式时通过动作识别模块130l识别到动作启动命令(触发动作)，则控制单元140将当前模式改变为动作任务模式。动作启动命令是进入动作任务模式的预先设定的动作。例如，如果水平地摇动(shake)一只手3至4次的动作被设置为动作启动命令，则当识别到这种动作时控制单元140将模式改变为动作任务模式。关于动作启动命令的动作可以在电子设备100的配置模式中由用户直接改变，或者可以是在制造电子设备100时默认定义的固定动作。
在动作任务模式中，控制单元140使用动作数据库来执行与用户动作相对应的动作任务。控制单元140可以保持动作任务模式直至识别到返回遥控模式的启动命令、模式取消命令、或者改变为语音任务模式的语音启动命令。如果在模式已经改变为动作任务模式之后的预定时间(例如5分钟)内没有识别到动作，则控制单元140可以自动返回遥控模式。
控制单元140显示包括指导语音识别的语音项目(item)的语音辅助信息以及包括指导动作识别的动作项目的动作辅助信息之一。如果识别到与语音辅助信息中所包括的语音项目相对应的命令之一，则控制单元140执行与识别到的命令相对应的语音任务。如果识别到与动作辅助信息中所包括的动作项目相对应的动作之一，则控制单元140执行与识别到的动作相对应的动作任务。
具体来说，如果通过语音识别模块130k识别到语音启动命令，则控制单元140可以控制以显示关于可由用户语音控制的语音任务的语音项目。语音项目可以显示与各种语音任务相对应的命令。因此，如果用户说出某一命令，则用户可以很容易地识别出哪个语音任务将被执行，从而可以更容易地执行该语音任务。
如果通过动作识别模块130l识别到动作启动命令，则控制单元140可以控制以显示关于可由用户动作控制的动作任务的动作项目。语音项目可以显示与各种动作任务相对应的动作。因此，如果用户执行某一动作，则用户可以很容易地识别哪个动作任务将被执行，从而可以更容易地执行该动作任务。
语音项目或动作项目可以显示在显示屏幕的同一区域(例如，屏幕的下部)上。显示语音项目或动作项目的区域可以与所显示的图像重叠。然而，这仅仅是示例，而且语音项目和动作项目可以在其他位置显示或者以其他方法显示。例如，语音项目或动作项目可以显示在显示屏幕的右部或左部。
电子设备100的任务可以被划分为如下的由用户语音控制的语音任务和由用户动作控制的动作任务：
[表1]
表1中所示的语音任务可以在语音启动命令运行的语音任务模式中执行，而且表1中所示的动作任务可以在由动作启动命令运行的动作任务模式中执行。
下文中，将参照图6至图32解释按照用户语音进行控制的语音任务，并且将参照图33至图58解释按照用户动作进行控制的动作任务。
图6和图7是根据示范性实施例的、解释使用语音识别接通电源的视图。如图6所示，在图像不被输出但电源被提供给语音输入单元110和控制单元140的待机模式中，如果通过语音识别模块130k识别到“接通电源”，则电子设备100如图7所示被开启。
图8至图10是根据示范性实施例的、解释使用语音识别关闭电源的视图。如图8所示，如果电子设备100进入语音任务模式并在显示屏幕的下部显示语音辅助信息，而且通过语音识别模块130k识别到与语音项目811相对应的“关闭电源”，则电子设备100显示指导区域920以通过语音指导信息再次确认是否关闭电子设备100，如图9所示。如果通过语音识别模块130k识别到与语音项目922相对应的“是”，则电子设备100如图10所示被关闭。
图11和图12是根据示范性实施例的、解释使用语音识别智能接通电源(smart power on)的视图。智能接通电源是开启电子设备100并且同时将当前频道改变为用户期望的频道的功能。如图11所示，在图像不被输出但电源被提供给语音输入单元110和控制单元140的待机模式中，如果通过语音识别模块130k连续识别到“Ginny”和“频道6”，则电子设备100被开启并显示频道6，如图12所示。
图13至图16是根据示范性实施例的、解释使用包括频道号码的语音识别进行频道快捷切换的视图。如图13所示，如果电子设备100进入语音任务模式并在显示屏幕的下部显示语音辅助信息，而且通过语音识别模块130k识别到与语音项目812相对应的“频道”，则如图14所示，电子设备100显示指导区域830以通过在显示屏幕下端的语音辅助信息来指导频道号码和频道名称。如果显示指导区域830而且通过语音识别模块130k识别到语音“七”，则电子设备100改变频道以调谐到频道7。
如果存在包括通过语音识别模块130k识别到的“七”的频道或者存在类似“七”的候选组，则电子设备100显示语音候选组1100的列表和候选组选择指导1510，以便指导输入语音候选组的方法，如图15所示。
如果显示了语音候选组1100的列表并且通过语音识别模块130k识别到与语音候选组列表上的一个项目1101的号码相对应的“号码1”，则电子设备100调谐到频道7，如图16所示。
图17至图20是根据示范性实施例的、解释使用包括频道名称的语音识别进行频道快捷切换的视图。如图17所示，如果电子设备100进入语音任务模式并在显示屏幕的下部显示语音辅助信息，而且通过语音识别模块130k识别到与语音项目812相对应的“频道”，则如图18所示，电子设备100显示指导区域830以便通过语音辅助信息来指导频道号码和频道名称。如果显示指导区域830而且通过语音识别模块130k识别到语音“MBC”，则电子设备100调谐到具有频道名称“MBC”的频道11，如图20所示。
如果存在包括通过语音识别模块130k识别的语音“MBC”的频道或者存在类似“MBC”的候选组，则电子设备100显示语音候选组1900的列表和候选组选择指导1910，以便指导输入语音候选组的方法，如图19所示。如果显示了语音候选组1900的列表并且通过语音识别模块130k识别到与语音候选组1900的列表上的一个项目1901的号码相对应的语音“号码11”，则电子设备100调谐到具有频道名称“MBC”的频道11，如图20所示。
图21至图23是根据示范性实施例的解释使用语音识别来静音的视图。如图21所示，如果在显示屏幕的下部显示语音辅助信息而且通过语音识别模块130k识别到与语音项目813相对应的“静音”，则电子设备100控制音频输出单元196不输出音频。此外，如图22所示，电子设备100在显示屏幕上显示静音图标2200。在这个时候，指导区域2210显示取消静音2213命令，而不是静音813命令。
如果通过语音识别模块130k识别到“取消静音”，则电子设备100控制音频输出单元196按照在静音之前有效的先前等级输出音频。此外，如图23所示，电子设备100删除显示屏幕上的静音图标2200。
图24至图26是根据示范性实施例的解释使用语音识别进行外部输入变化的视图。如图24所示，如果电子设备100进入语音任务模式并在显示屏幕的下部显示语音辅助信息，而且通过语音识别模块130k识别到与语音项目814相对应的“外部输入”，则如图25所示，电子设备100显示外部输入列表2500和指导2510以便指导如何选择外部输入。外部输入列表2500清晰地显示连接到外部端子输入单元160的USB外部端子、AV1外部端子、PC机外部端子，而且模糊地显示没有连接到外部端子输入单元160的HDMI 1和HDMI 2。如果显示了外部输入列表2500并且通过语音识别模块130k识别到语音“PC”，则电子设备100在显示屏幕上显示与外部输入“PC”的连接状态。
图27和图29是示出根据示范性实施例的具有将被说出的明确名称的功能运行任务的视图。如图27所示，如果输入了显示执行智能功能(例如，访问互联网的功能、运行应用的功能、重现运动图像的功能和听音乐的功能)的内容列表的用户命令，则显示智能中心2700。智能中心2700是用作由电子设备100支持的功能的中心的UI，而且是显示与由电子设备100支持的多个功能(例如，观看视频的功能、听音乐的功能、和访问互联网的功能)相对应的可运行图标的UI。此外，智能中心2700是显示与电子设备100的存储单元130中所存储的内容(例如，照片、音乐和视频)相对应的可运行图标、与从外部源接收到的内容(例如，照片、音乐和视频)相对应的可运行图标、以及与可连接到外部的应用(例如，互联网浏览器)相对应的可运行图标的UI。
如果通过语音识别模块130k识别到“Ginny”以进入语音任务模式，则电子设备100在显示屏幕的下部显示语音GUI而且进入语音任务模式，如图28所示。当进入语音任务模式时，电子设备100将智能中心2700的可运行图标的名称加下划线(underline)，从而智能中心2700显示可通过用户语音选择的可运行图标。
如图28所示，如果显示语音辅助信息而且通过语音识别模块130k识别到语音“您的视频”，则电子设备100运行智能中心2700的“您的视频”中所包括的运动图像，如图29所示。如果在“您的视频”中包括一个运动图像，则该运动图像被立即运行，如果在“您的视频”中包括多个运动图像，则显示“您的视频”中所包括的运动图像的列表。
图30至图32是根据示范性实施例的、解释使用语音识别进行图像重现功能和图像停止功能的视图。如图30所示，如果重现图像(例如，存储在存储单元130中的运动图像)而且通过语音识别模块130k识别到“Ginny”以进入语音任务模式，则电子设备100进入语音任务模式并且在显示屏幕的下部显示语音辅助信息，如图31所示。
在这种状态下，如果通过语音识别模块130k识别到“暂停”，则电子设备100暂时停止重现当前图像，并在显示屏幕上显示暂停图标，如图32所示。通过语音识别模块130k识别到“回放”，则电子设备100重现已暂停的图像，如图31所示。
当图像被重现时暂停/停止命令可以被显示在语音辅助信息上，当图像被暂停时重现命令可以被显示。
如上所述，因为按照通过语音识别模块130k识别到的用户语音进行控制的语音任务是具有可说出的标识符的任务或者需要文本输入的任务，所以用户可以通过他/她的语音来更容易和更方便地控制语音任务。
图33和图34是根据示范性实施例的、解释使用动作识别进行频道改变的视图。如图33所示，如果电子设备100进入动作任务模式并在显示屏幕的下部显示动作辅助信息，而且通过动作识别模块130l识别到与动作项目3313相对应的向右移动用户的手的拍动作，则电子设备100调谐到当前频道的下一个频道，即，从当前频道6增加1的频道7，如图34所示。另一方面，如果如图34所示显示频道7而且识别到与动作项目3313相对应的向左移动用户的手的拍动作，则电子设备100调谐到前一个频道，即，该频道从当前频道7减少1的频道6，如图33所示。
图35至图37是根据示范性实施例的、解释使用动作识别进行音量等级控制的视图。如图35所示，如果电子设备100进入动作任务模式并在显示屏幕的下部显示动作辅助信息，而且通过动作识别模块130l识别到与动作项目3312相对应的向上移动用户的手的拍动作，则电子设备100显示音量等级控制条3600(其显示音量等级)并且输出具有从当前音量等级9增加一个等级的下一个等级10的音量，如图36所示。如果在音量等级控制条3600已经显示之后的预定时间(例如5秒)内没有识别到用户动作，则控制单元140可以从显示屏幕上移除音量等级控制条3600，并且按照控制后的音量等级输出音频。
图38至图41是根据示范性实施例的、解释使用用户的指向动作进行频道改变的视图。如果用户输入生成频道列表3800的命令(例如，遥控器上的频道列表按钮)以选择频道而且频道列表3800如图38所示显示在显示屏幕上，而且通过动作识别模块130l识别到进入动作任务模式的动作(例如，摇动用户的手3到4次)，则电子设备100生成光标3910并且在显示屏幕的下部显示动作辅助信息，如图39所示。
如果显示了动作辅助信息而且通过动作识别模块130l识别到从当前位置向左下方向移动手的动作以移动光标3910的动作，则电子设备100按照该动作将光标2010移动到“11-1MBC”，如图40所示。
如果通过动作识别模块130l识别到与动作项目3314相对应的抓动作，则电子设备100调谐到“11-1MBC”并显示频道“11-1MBC”，如图41所示。
图42至图45是根据示范性实施例的、解释使用用户的指向动作进行应用运行的视图。如果如图42所示在显示屏幕上显示智能中心，而且通过动作识别模块130l识别到进入动作任务模式的动作(例如，摇动用户的手3到4次)，则电子设备100生成并显示光标4305并且在显示屏幕的下部显示动作辅助信息4310，如图43所示。
如果通过动作识别模块130l识别到从当前位置向左下方向移动手的动作，则电子设备100按照该动作将光标4305移动到“APP 2”，如图44所示。
如果通过动作识别模块130l识别到与动作项目4311相对应的抓动作，则电子设备100运行“应用2(APP 2)”，如图45所示。在这个时候，电子设备100可以显示指示运行所选择的应用的屏幕，而显示智能中心的屏幕，如图45所示。然而，这仅仅是示例，电子设备100可以在智能中心上的、比智能中心小的屏幕上显示该应用的运行。
图46至图48是根据示范性实施例的、解释使用用户动作进行在智能中心的应用显示区域上进行导航的视图。如果如图46所示在显示屏幕上显示智能中心，而且通过动作识别模块130l识别到进入动作任务模式的摇动手3到4次的动作，则电子设备100生成光标4710并且在显示屏幕的下部显示动作辅助信息，如图47所示。
如果光标4710位于可导航的区域(例如，显示向左和向右移动方向键4713和4716的区域)，而且通过动作识别模块130l识别到从当前位置向右移动手的拍动作，则电子设备100移动应用显示区域4720，在该区域中，光标4710位于向左的方向，如图48所示。
图49至图52是根据示范性实施例的、解释使用动作识别运行具有不明确的(indefinite)名称的图标的视图。如果如图49所示在显示屏幕上显示网页屏幕，而且通过动作识别模块130l识别到进入动作任务模式的摇动手3到4次的动作，则电子设备100生成光标5005并且在显示屏幕的下部显示动作辅助信息5010，如图50所示。
如果通过动作识别模块130l识别到从当前位置在左上方向移动手以移动光标5005的动作，则电子设备100按照该动作将光标5005移动到图标“书签”，如图51所示。
如果通过动作识别模块130l识别到抓动作，则电子设备100显示书签的运行5220，其指示当前显示在显示屏幕上的网页的书签，如图52所示。
图53至图55是根据示范性实施例的、解释使用动作识别进行重现控制任务的视图。如果如图53所示在显示屏幕上显示内容图像(例如，存储在存储单元130中的运动图像或从外部源接收到的运动图像)，而且通过动作识别模块130l识别到进入动作任务模式的摇动手3到4次的动作，则电子设备100生成重现控制条5410并且在显示屏幕的下部显示动作辅助信息，如图54所示。在这个时候，如果识别到动作启动命令，则重现控制条5410显示在显示屏幕上。如果接收到额外的用户输入(例如，遥控器按钮)，则重现控制条5410可以显示在显示屏幕上。
如果通过动作识别模块130l识别到向左方向的拍动作，则电子设备100从当前图像100向后跳过预定时间(例如，10分钟)并重现图像。预定时间可以通过配置来改变。
图56至图58是根据示范性实施例的、解释使用另一个动作识别进行重现控制任务的视图。如果如图56所示在显示屏幕上显示图像(例如，存储在存储单元130中的运动图像或从外部源接收到的运动图像)，而且通过动作识别模块130l识别到进入动作任务模式的摇动手3到4次的动作，则电子设备100生成重现控制条5710并且在显示屏幕的下部显示动作辅助信息，如图57所示。在这个时候，如果识别到动作启动命令，则重现控制条5710显示在显示屏幕上。如果接收到额外的用户输入(例如，遥控器按钮)，则重现控制条5710可以显示在显示屏幕上。
如果通过动作识别模块130l识别到抓动作，则电子设备100选择指示当前重现位置的图标5715，而且如果后来通过动作识别模块130l识别到向左方向的移动动作，则电子设备100返回到与该向左方向的移动动作所对应的预定时间一样多的位置。图标5715也向后移动与该向左方向的移动动作一样多的距离。如果通过动作识别模块130l识别到释放抓的动作(例如，张开手的动作)，则电子设备100从图标5715移动回到的位置重现图像，如图58所示。然而，这仅仅是示例。如果在抓之后识别到向右方向的移动动作，则电子设备100前进与该向右方向的移动动作所对应的预定时间。图标5715也向前移动与该向右方向的移动动作一样多的距离。
如上所述，因为按照通过动作识别模块130l识别到的用户动作进行控制的动作任务是其设置值被分阶段改变的任务或使用光标的任务，所以用户可以更容易和更方便地控制动作任务。
图59和图60是示出根据各种示范性实施例的、用于控制电子设备的方法的流程图，该电子设备通过将整个任务划分为动作任何和语音任务来控制整个任务。
图59是根据示范性实施例的、解释用于控制电子设备100的方法的流程图。
电子设备100识别用户语音或用户动作(S5910)。用户语音通过麦克风输入并且由语音识别模块识别，用户动作由照相机拍摄并由动作识别模块识别。
如果通过语音识别模块或动作识别模块之一识别到用户输入，则电子设备100按照用户输入执行语音任务或动作任务之一(S5920)。语音任务是控制电子设备100的任务当中的、包括对应于用户语音的标识符的任务，而且动作任务是控制电子设备100的任务当中的、按照用户动作分阶段执行的任务。
如上所述，用户可以使用语音和动作来更高效地控制电子设备100。
图60是根据示范性实施例的、解释用于控制电子设备的方法的流程图。
电子设备100通过语音识别模块和动作识别模块之一识别启动命令(S6005)。启动命令可以是通过语音识别模块识别到的语音启动命令，或者是通过动作识别模块识别到的动作启动命令。
如果识别到的启动命令是语音启动命令(S6010-是)，则电子设备100将电子设备100的模式改变为语音任务模式(S6015)。语音任务模式是按照通过语音识别模块识别到的用户语音执行任务的模式。
如果将模式改变为语音任务模式，则电子设备100生成包括语音项目的语音辅助信息(S6020)。例如，如图61所示，显示了包括用于执行语音任务的语音项目的语音辅助信息。
在语音任务模式中，电子设备100确定是否识别到用户语音(S6030)。如果确定识别到用户语音(S6030-是)，则电子设备执行与识别到的用户语音相对应的语音任务(S6035)。例如，按照以上参照图6至图32所解释的方式来执行语音任务。
语音任务可以包括电子设备的电源控制、频道快捷切换、音量等级设置、静音、外部端子改变、文本输入以及回放/停止功能中的至少一个。
在语音任务模式中确定是否识别到动作启动命令(S6040)。如果识别到动作启动命令(S6040-是)，则电子设备100将电子设备100的模式改变为动作任务模式(S6045)。例如，如果在语音任务模式中识别到动作启动命令，则电子设备100将模式改变为动作任务模式，并显示包括动作项目的动作辅助信息，如图62所示。
如果没有识别到动作启动命令(S6040-否)，则电子设备100保持当前任务模式，即，语音任务模式(S6070)。如果最初识别到的启动命令是动作启动命令而不是语音启动命令(S6010-否)，则电子设备100将电子设备100的模式改变为动作任务模式(S6045)。动作任务模式是仅由通过动作识别模块130l识别到的用户动作来控制任务的模式。
如果电子设备100的模式改变为动作任务模式，则电子设备100生成包括动作项目的动作辅助信息(S6050)。例如，如图62所示，显示了包括用于控制动作任务的动作项目的动作辅助信息。
电子设备100确定是否识别到用户动作(S6055)。如果确定识别到用户动作(S6055-是)，则电子设备100执行与识别到的用户动作相对应的动作任务(S6060)。例如，按照以上参照图33至图58所解释的方式来执行动作任务。
动作任务可以包括频道改变、音量等级控制、屏幕导航、滑动条控制和光标指向中的至少一个。
在动作任务模式中确定是否识别到语音启动命令(S6065)，而且如果识别到语音启动命令(S6065-是)，则电子设备100将模式改变为语音任务模式(S6010)。例如，如果在动作任务模式中确定识别到语音启动命令，则电子设备100将模式改变为语音任务模式，并显示包括语音项目的语音辅助信息，如图60所示。
如果没有识别到语音启动命令(S6040-否)，则电子设备100保持当前任务模式，即，动作任务模式(S6070)。
如上所述，电子设备100能够按照用户动作或用户语音来执行各种任务，因此能够提高用户便利性。
在按照识别到的语音执行语音任务中的至少一个的语音任务模式中，控制单元140可以进行控制以显示用于执行语音任务的语音辅助信息。例如，如果通过语音识别模块识别到语音启动命令，则控制单元140可以控制以显示用于执行可按照用户语音控制的语音任务语音辅助信息。与各种语音任务相对应的至少一个语音项目可以显示为语音辅助信息。至少一个语音项目可以是可说出得命令。因此，用户可以在语音任务模式中容易地辨认出(identify)可识别的命令。另外，如果说出了相应命令，则用户可以容易地识别哪个语音任务将被执行。
在语音任务模式中，控制单元140可以识别出与显示为语音辅助信息的至少一个语音项目当中的第一语音项目相对应的第一语音。控制单元140确定关于与识别到的第一语音相对应的第一语音项目的附加项目信息是否存在。如果附加项目信息不存在，则控制单元140可以执行与第一语音项目相对应的任务。如果需要改变语音辅助信息，则控制单元140可以控制显示单元(未示出)显示改变的语音辅助信息。如果附加项目信息存在，则控制单元140可以进行控制以显示关于与识别到的第一语音相对应的第一语音项目的附加项目信息。控制单元140可以识别出与附加项目信息相对应的第二语音。控制单元140可以执行语音任务当中与第一语音项目和第二语音相对应的任务。
在按照识别到的动作执行动作任务中的至少一个的动作任务模式中，控制单元140可以进行控制以显示用于执行动作任务的动作辅助信息。例如，如果通过动作识别模块识别到动作启动命令，则控制单元140可以进行控制以显示用于执行可按照用户动作控制的动作任务的动作辅助信息。与各种动作任务相对应的至少一个动作项目可以显示为动作辅助信息。至少一个动作项目可以包括指示在动作任务模式中可识别的动作以及与该可识别的动作相对应的任务的动作图像。因此，用户能够在动作任务模式中容易地辨认出可识别的动作，并且能够容易地识别出根据用户执行的动作将执行哪个动作任务。因此，用户能够容易地执行动作任务。
在动作任务模式中，控制单元140可以识别与显示为动作辅助信息的至少一个动作项目当中的第一动作项目相对应的第一动作。控制单元140可以确定关于与识别到的第一动作相对应的第一动作项目的附加项目信息是否存在。如果附加项目信息不存在，则控制单元140可以执行与第一动作项目相对应的任务。另外，如果需要改变动作辅助信息，则控制单元140可以控制显示单元(未示出)显示改变的动作辅助信息。如果附加项目信息存在，则控制单元140可以进行控制以显示关于与识别到的第一动作相对应的第一动作项目的附加项目信息。控制单元140可以识别出与附加项目信息相对应的第二动作。控制单元140可以执行动作任务当中与第一动作项目和识别出的第二动作相对应的任务。语音辅助信息、动作辅助信息、关于语音项目的附加项目信息或关于动作项目的附加项目信息可以显示在显示屏幕的相同区域(下部)上。上述信息可以显示在预先设定的区域或可动态变化的区域上。例如，语音辅助信息或动作辅助信息可以显示在显示屏幕的上部、下部、右部或左部，并且可以根据屏幕上显示的图像动态地变化。
语音辅助信息、动作辅助信息、关于语音项目的附加项目信息或关于动作项目的附加项目信息可以与所显示或重现的图像、应用、OSD、或识别候选(recognition candidate)一起显示，或者可以单独地显示。显示上述信息的区域可以与显示图像、应用、OSD、或识别候选的区域重叠。语音辅助信息或动作辅助信息的至少一部分可以透明或半透明地显示。透明度可以根据用户选择进行调整。
上述语音辅助信息和动作辅助信息可以以各种形式提供给用户。下文中，将参照图61至63详细解释语音辅助信息、关于语音项目的附加项目信息和动作辅助信息。
图61是示出根据示范性实施例的、在语音任务模式中在显示单元193上显示的语音辅助信息的视图。
如图61所示，显示单元193可以在语音任务模式中显示至少一个语音项目811、812、813、814、815、816、817和818作为语音辅助信息。每个语音项目都可以是可说出的命令。此外，指导辅助信息可以包括指示语音任务模式的模式图像或文本。语音辅助信息可以包括指导区域810或模式显示区域820，指导区域810包括至少一个语音项目，模式显示区域820显示电子设备100的所指定的模式(例如，语音任务模式或动作任务模式)。模式显示区域820可以包括指示语音任务模式和动作任务模式中的所指定的模式的模式图像或文本中的至少一个。另外，指导区域810和模式显示区域820可以如图61所示区别地显示，或者可以不绘制在两个区域之间的边界的情况下显示。模式显示区域820可以省略。指导区域810和模式显示区域820中每一个的位置可以在制造电子设备100时设置或者可以由用户任意设置，或者指导区域810和模式显示区域820可以根据与UI一起显示的图像动态地放置。例如，如果显示OSD，则指导区域810和模式显示区域820中每一个的位置可以改变为显示OSD的区域以外的某一位置，从而突出显示OSD。指导区域810可以在显示屏幕的下部显示，而且模式显示区域820可以在显示屏幕的下部中心处显示。此外，模式显示区域820的位置可以根据配置改变到独立于指导区域810的另一个位置，诸如右下部。
在语音任务模式中，指导区域810可以包括至少一个语音项目811、812、813、814、815、816、817和818。例如，至少一个语音项目中的每一个可以是执行语音任务的命令。指导区域810中包括的至少一个命令可以包括关闭电源811、频道812、静音813、外部输入814、智能中心815、应用816、搜索817或全部818。关闭电源811是关闭电子设备100的命令。频道812是执行频道快捷切换的命令。静音813是执行静音的命令。外部输入814是改变外部输入的命令。智能中心815是执行进入智能功能的任务的命令，智能功能例如是电子设备100的互联网功能、应用提供功能和多媒体(例如，运动图像、音乐和照片)提供功能。应用816是执行搜索电子设备100的应用的任务的命令。搜索817是执行由电子设备100提供的搜索内容、应用和网络的命令。全部818是显示所有命令的命令。指导区域810可以包括“更多”命令来代替全部818。也就是说，全部818和“更多”可以是用于显示与语音任务相对应的语音项目当中的、除了至少一个语音项目811、812、813、814、815、816、817和818以外的其他项目的语音项目。此外，如果电子设备100显示其他项目，则电子设备100可以配置为不使用预先设定的计时器。预先设定的计时器是在预先设定的时间内没有识别到所显示的语音项目811、812、813、814、815、816、817和818中的至少一个的情况下停止语音任务模式的计时器。如果停止语音任务模式，则语音辅助信息可以消失，而且模式可以改变为电子设备100由通用遥控器控制的模式。另外，如果停止语音任务模式，则语音任务的执行可能受到限制，直至电子设备100根据语音启动命令重新进入语音任务模式为止。此外，如果在屏幕上与语音辅助信息、动作辅助信息和附加项目信息一起显示OSD或识别候选，则与所指定的模式无关，用于停止所指定的模式的预先设定的计时器可能无法被驱动。此外，指导区域810可以包括除了上述命令以外的其他命令。
显示为语音辅助信息的至少一个语音项目811、812、813、814、815、816、817和818可以根据当前执行的功能来不同地配置。也就是说，指导区域810上显示的至少一个命令可以根据当前执行的功能来不同地配置。具体来说，与语音任务相对应的语音项目中的至少一个可以根据与语音辅助信息一起显示的应用、OSD和候选中的至少一个来选择性地配置。例如，如果电子设备100当前执行智能功能，则可以显示包括用于返回广播接收功能的命令“返回”的语音辅助信息。识别候选可以包括具有与识别到的语音相似的号码或文本中的至少一个的名称、与识别到的语音相似的命令、与相似命令相对应的任务、与识别到的动作相似的动作、以及与相似动作相对应的任务中的至少一个。例如，与识别到的语音相似的候选可以在弹出窗口中显示与识别到的语音相似的频道标识符的列表。OSD可以包括电子设备100的当前设置信息、以及除了识别候选以外的电子设备100的设置菜单。例如，可以显示当前频道的标识符(频道号码或频道名称)作为OSD，或者可以显示外部输入列表或频道列表作为OSD。
控制单元140可以识别出与显示为语音辅助信息的至少一个语音项目811、812、813、814、815、816、817和818当中的第一语音项目相对应的第一语音。控制单元140可以进行控制以显示关于与识别到的第一语音相对应的第一语音项目的附加项目信息。关于第一语音项目的附加项目信息可以包括关于第一语音项目的附加命令、指导消息或话语示例(utterance example)。例如，如果通过语音识别模块130k识别到作为与指导区域810上显示的语音项目812相对应的语音“频道”，而且与语音项目812相对应的任务是频道快捷切换，则显示单元193可以显示包括指导消息、话语示例或附加命令(例如，“上一个”)的附加项目信息，以用于频道名称、节目名称和频道号码中的至少一个标识符的说出(utterance)，如图62所示。这里，“上一个”可以是再次显示包括图61的指导区域810的UI的命令。附加项目信息可以包括指导区域830和模式显示区域820，指导区域830包括附加命令、指导消息或话语示例。例如，指导消息可以显示在指导区域830的左部，指导消息或话语示例可以显示在指导区域830的右部。
控制单元140可以识别与附加项目信息相对应的第二语音。控制单元140可以执行语音任务当中与第一语音项目和第二语音相对应的任务。例如，如果第一语音项目是语音项目812，而且识别到作为与图60的附加项目信息相对应的第二语音的“MBC”，则控制单元140可以执行频道快捷切换，以便将当前频道改变为与包括“MBC”的频道标识符相对应的频道。也就是说，关于第一语音项目的附加项目信息可以是用于指导第二语音的发出以询问是否执行与第一语音项目相对应的任务或者额外获取执行该任务所需的信息的信息。
图63是示出根据示范性实施例的、在动作任务模式中在电子设备100的显示单元193上显示的动作辅助信息的视图。
如图63所示，显示单元193可以显示至少一个动作项目3311、3312、3313和3314作为动作任务模式中的动作辅助信息。至少一个动作项目中的每一个都可以包括指示在动作任务模式中可识别的动作的动作图像，或指示与可识别的动作(或动作图像)相对应的任务的文本。动作辅助信息可以包括指示动作任务模式的模式图像或文本。动作辅助信息可以包括指导区域3310或模式显示区域3320，指导区域3310包括至少一个动作项目，模式显示区域3320显示电子设备100的模式。模式显示区域3320可以包括指示语音任务模式和动作任务模式中的所指定的模式的模式图像或文本中的至少一个。指导区域3310和模式显示区域3320可以如图63所示区别地显示，或者可以在两个区域之间不绘制边界地显示。另外，模式显示区域3320可以省略。例如，指导区域3310可以在显示屏幕的下部显示，而且模式显示区域3320可以在显示屏幕的下部的中心显示。模式显示区域3320的位置可以根据配置进行改变(例如，右下部)。
在动作任务模式中，指导区域3310包括至少一个动作项目3311、3312、3313和3314。例如，至少一个动作项目中的每一个可以包括动作图像以及指示与该动作图像相对应的任务的文本。指导区域3310中包括的至少一个动作项目可以包括动作项目3311、动作项目3312、动作项目3313和动作项目3314，动作项目3311指示沿逆时针方向的旋转动作对应于返回到先前设置的“后退”，动作项目3312指示沿向上/向下方向的拍动作对应于控制音量等级的“音量向上/向下”，动作项目3313指示沿向左/向右方向的拍动作对应于执行频道改变的“频道向上/向下”，而且动作项目3314指示抓动作对应于重现图像的“回放”。指导区域3310可以显示除了上述动作项目以外的其他动作项目。上述至少一个动作项目的每一个中所包括的动作图像以及与该动作图像相对应的文本可以根据可识别的动作与对应于该可识别动作的任务之间的映射设置来改变。例如，指导区域3310可以包括指示沿向上/向下方向的拍动作对应于执行频道改变的频道向上/向下的动作项目、以及指示沿向左/向右方向的拍动作对应于控制音量等级的音量向上/向下的动作项目。
显示为动作辅助信息的至少一个动作项目3311、3312、3313和3314可以根据当前执行的功能来不同地配置。也就是说，指导区域3310上显示的至少一个动作项目3311、3312、3313和3314可以根据电子设备100的当前功能来不同地配置。例如，与动作任务相对应的动作项目中的至少一个可以根据与动作辅助信息一起显示的应用、OSD和识别候选中的至少一个来选择性地配置。
控制单元140可以识别与显示为动作辅助信息的至少一个动作项目3311、3312、3313和3314当中的第一动作项目相对应的第一动作。如果附加项目信息存在，则控制单元140可以进行控制以显示关于与识别到的第一动作相对应的第一动作项目的附加项目信息。例如，如果识别到与动作项目3314相对应的抓动作，则可以显示附加项目信息，该附加项目信息包括询问是否重现选定的项目或图像文件的指导消息、或指示沿向左/向右方向的拍动作对应于回答是/否的动作项目。
控制单元140可以识别与附加项目信息相对应的第二动作。控制单元140可以执行动作任务当中与第一动作项目和识别到的第二动作相对应的任务。例如，如果第一动作项目是动作项目3314，而且沿向左方向的拍动作被识别为与附加项目信息(该附加项目信息包括询问是否重现指定的图像文件的指导消息和指示沿向左/向右方向的拍动作对应于回答是/否的动作项目)相对应的第二动作，则重现指定的图像文件。如上所述，关于第一动作项目的附加项目信息可以是用于指导第二动作以询问是否执行与第一动作项目相对应的任务或者额外获取执行任务所需的信息的信息。
如果在动作识别时出现错误，则可以显示指示错误的动作辅助信息。例如，动作辅助信息可以包括指导信息“姿势未被识别。请重新输入。”、或者与指示重新输入的文本相映射的手掌图像。此外，动作辅助信息可以包括指导消息“现在无法识别双手。”、或者指导消息“只在‘Web浏览器’、‘查看照片(View Photo)’、‘谷歌地图应用’中可用”。可以执行识别双手，以响应于使双手彼此远离或将双手彼此拉近的动作，来执行放大屏幕或缩小屏幕的任务。此外，指示错误的图像或文本可以作为动作辅助信息的一部分显示在模式显示区域上。
下文中，将参照图64至图66解释用于按照电子设备100的语音识别或动作识别提供反馈的用户接口(UI)。
如图64所示，在语音任务模式中，可以显示包括指导区域810和模式显示区域820的语音辅助信息。指导区域810和模式显示区域820可以以使指导区域810和模式显示区域820看起来像它们从屏幕下端升起一样的视觉效果显示。例如，指导区域810和模式显示区域820可以以动画形式显示预定时间(例如，3秒)。例如，指导区域810和模式显示区域820的一部分从下端迅速上升，然后缓慢上升。当指导区域810和模式显示区域820如图64所示完全显示时，上升的动画结束。当电子设备100进入动作任务模式时，动作辅助信息可以以上述动画形式显示。如果所显示的特定模式的UI消失或者如果模式改变为特定模式，则可以输出除了上述视觉效果以外的各种视觉或听觉效果。
如果电子设备100识别到与第一语音项目相对应的第一语音，则电子设备100可以按照第一语音的识别精度提供与识别精度的等级相对应的视觉反馈和听觉反馈中的至少一个。如果电子设备100识别到与第一动作项目相对应的第一动作，则电子设备100可以按照第一动作的识别精度提供与识别精度的等级相对应的视觉反馈和听觉反馈中的至少一个。在这里，识别精度可以指示这样的等级，基于该等级确定第一语音(或第一动作)是否是电子设备100可识别的语音(或动作)，或者可以指示这样的等级，基于该等级辨别识别到的语音(或动作)是否对应于预先设置的命令(或者预先设置的动作)之一。识别精度可以是根据辨别出与识别到的语音或动作相对应的任务所花费的时间而变化的指标(index)。
例如，如果识别到作为对应于语音项目815的语音的“智能中心”，则电子设备100可以通过推测地(stochastically)计算将该语音辨别为指导区域810中所包括的至少一个语音命令811、812、813、814、815、816、817和818之一的能力来确定识别精度。电子设备100可以将识别精度与预先设置的阈值相比较，并且可以根据识别精度是高于还是低于预先设置的阈值来不同地显示视觉效果。例如，如图65所示，根据语音识别的精度，可以在指示语音识别模式的模式显示区域6520中的图像的背景部分上显示沿顺时针方向旋转的动画。如果识别精度低于阈值，则动画的图像的旋转速度慢，如果识别精度高于阈值，则图像的旋转速度快。当根据识别精度提供上述视觉反馈时，也可以提供听觉反馈。
在模式显示区域820上作为视觉反馈显示的动画将显示一段时间，直到识别到与语音项目相对应的语音之后驱动并显示图66的智能中心6600为止，而且动画可以与识别精度无关。
如果电子设备100识别到与第一语音项目相对应的第一语音，则电子设备100可以提供指示第一语音项目以及与第一语音项目相对应的任务中的至少一个的视觉反馈或听觉反馈。如果电子设备100识别到与第一动作项目相对应的第一动作，则电子设备100可以提供指示第一动作项目以及与第一动作项目相对应的任务中的至少一个的视觉反馈或听觉反馈。
例如，如果识别到作为与语音项目815对应的语音的“智能中心”，则“智能中心”可以显示在指示语音项目815或者对应于语音项目815的任务的反馈区域6530中，如图65所示。视觉反馈可以在屏幕的预定位置上显示，而不限制为反馈区域6530。另外，听觉反馈“您说的是智能中心。”可以与显示在反馈区域6530中的视觉反馈一起被输出。
如果识别到作为与项目813对应的动作的向右方向的拍动作，则电子设备100可以在反馈区域6530上显示视觉反馈(例如，“您的操作为频道向上”)，其指示与动作项目之一相对应的任务，或者可以进行控制以使用电子设备100的文本到语音(text to speech,TTS)模块(未示出)来输出听觉反馈。
图67至图69是示出根据各种示范性实施例的、解释电子设备的控制方法的流程图，该电子设备提供语音辅助信息和动作辅助信息。
图67是根据示范性实施例的、解释电子设备100的控制方法的流程图。
电子设备100可以使用语音识别模块或动作识别模块之一识别用户输入(语音或动作)(S6710)。用户语音可以通过麦克风输入并且可以由语音识别模块识别输入的语音，而且用户动作可以由照相机拍摄，而且拍摄的动作可以由动作识别模块识别。
电子设备100按照接收到的用户输入来执行语音任务或动作任务之一(S6720)。也就是说，电子设备100可以按照语音任务模式和动作任务模式中的所指定的模式进行操作。例如，如果识别到语音启动命令或动作启动命令，则与识别到的启动命令相对应的模式被指定。
语音任务模式是按照识别到的语音执行第一任务(即，语音任务)中的至少一个的模式，而且动作任务模式是按照识别到的动作执行第二任务(即，动作任务)中的至少一个的模式。语音任务指示按照识别到的语音执行的任务，而且动作任务指示按照识别到的动作执行的任务。语音任务和动作任务可以彼此不同。
图68和图69是示出根据示范性实施例的电子设备100的控制方法的流程图。
电子设备100可以辨别出语音任务模式和动作任务模式中的哪一个被指定(S6805)。虽然在本示范性实施例中只显示语音任务模式或动作任务模式，但是可辨别的模式还可以包括电子设备100由遥控器控制的模式。如果动作任务模式被指定，则电子设备100进入图69的操作S6910，并根据本示范性实施例继续电子设备100的控制操作。
如果语音任务模式被指定，则电子设备100可以在语音任务模式中显示用于执行第一任务的语音辅助信息(S6810)，在语音任务模式中，按照识别到的语音执行第一任务中的至少一个。
电子设备100可以识别与显示为语音辅助信息的至少一个语音项目当中的第一语音项目相对应的第一语音(S6815)。
电子设备100可以确定关于与识别到的第一语音相对应的第一语音项目的附加项目信息是否存在(S6820)。如果关于第一语音项目的附加项目信息不存在，则电子设备100可以执行与第一语音项目相对应的任务(S6825)。此外，如果需要改变语音辅助信息，则电子设备100可以显示改变的语音辅助信息。例如，如果识别到作为与语音项目813的语音相对应的“静音”，则电子设备100可以执行静音，将语音项目813改变为语音项目2213并显示改变的语音辅助信息，如图22所示。
如果关于第一语音项目的附加项目信息存在，则电子设备100可以显示关于与识别到的第一语音相对应的第一语音项目的附加项目信息(S6830)。例如，如果识别到作为与该语音项目相对应的语音的“频道”，则可以显示包括指导消息或话语示例的附加项目信息。
电子设备100可以识别与附加项目信息相对应的第二语音(S6835)。
电子设备100可以执行第一任务当中与第一语音项目和识别到的第二语音相对应的任务(S6840)。例如，如果第一语音项目是语音项目812而且第二语音是“七”，则电子设备100可以执行频道快捷切换，以便将当前频道改变为具有频道标识符7的频道。
如果动作任务模式被指定，则电子设备100可以在动作任务模式中显示用于执行第二任务的动作辅助信息(图69的S6910)，在动作任务模式中，按照识别到的动作执行第二任务中的至少一个。
电子设备100可以识别与显示为动作辅助信息的至少一个动作项目当中的第一动作项目相对应的第一动作(S6915)。
电子设备100可以确定关于与识别到的第一动作相对应的第一动作项目的附加项目信息是否存在(S6920)。如果关于第一动作项目的附加项目信息不存在，则电子设备100可以执行与第一动作项目相对应的任务(S6925)。例如，如果识别到作为与图33中的动作项目3313相对应的动作的向右方向的拍动作，则电子设备100可以根据频道向上(channel-up)将当前频道(频道6)改变为下一个频道(频道7)，根据预先设置的顺序下一个频道位于当前频道(频道6)之后。此外，如果需要改变动作辅助信息，则电子设备100可以显示改变的动作辅助信息。
如果关于第一动作项目的附加项目信息存在，则电子设备100可以显示关于与识别到的第一动作相对应的第一动作项目的附加项目信息(S6930)。例如，如果识别到与动作项目相对应的抓动作，则可以显示附加项目信息，该附加项目信息包括询问是否重现选定的项目或图像文件的指导消息、或指示沿向左/向右方向的拍动作对应于回答是/否的动作项目。
电子设备100可以识别与附加项目信息相对应的第二动作(S6935)。
电子设备100可以执行第二任务当中与第一动作项目和识别到的第二动作相对应的任务(S6940)。例如，如果第一动作项目是用于重现图像的动作项目，而且第二动作是沿向左方向的拍动作，则电子设备100可以重现指定的图像文件。
控制单元140可以使用UI处理模块130j来区别地显示可通过语音识别控制的内容的可运行图标以及不可通过语音识别控制的内容的可运行图标。
控制单元140可以使用存储在电子设备100中的内容的首标(未示出)或者内容中包括的单独配置文件(未示出)来确定语音识别是否支持该内容。
如果确定内容可通过语音识别控制，则控制单元140使用UI处理模块130j来将存储在存储单元中的附加图标与内容的原始可运行图标相结合，并显示结合的图标。基于显示屏幕上显示的附加图标的存在，用户可以知道内容可通过语音识别控制。
多个附加图标可以存储在存储单元130中。用户可以通过配置将附加图标改变为与原始可运行图标相结合。
此外，控制单元140可以使用UI处理模块130j来区别地显示可通过语音识别控制的内容的名称以及不可通过语音识别控制的内容的名称，例如，通过加下划线并以粗体显示名称。基于加下划线并以粗体显示的可运行图标的名称，用户可以知道内容可通过语音识别控制。
控制单元140可以使用UI处理模块130j、与不可通过语音识别控制的内容的可运行图标和该可运行图标的名称不同地显示可通过语音识别控制的内容的可运行图标和该可运行图标的名称。
控制单元140或内容可以区别地显示在运行的内容的UI上显示的工具条的菜单(例如，菜单“下一个”“前一个”或“打开”)当中的、可通过语音识别控制的菜单和不可通过语音识别控制的菜单。
下文中，将参照图70至图79解释根据各种示范性实施例的、与不可通过语音识别控制的应用的可运行图标和该可运行图标的名称不同地显示可通过语音识别控制的应用的可运行图标和该可运行图标的名称的方法。
参照图70，电子设备100的控制单元140向音频输出单元196和显示单元193的显示屏幕7000输出与从广播接收单元150接收到的广播信号相对应的视频、音频和控制数据(例如，电子节目指南(EPG))。
控制单元140使用语音输入单元110、语音识别模块130k和语音数据库130m来识别由用户说出的语音启动命令(触发语音)。控制单元140按照识别到的语音启动命令(例如，“Ginny”)改变为语音任务模式，在语音任务模式中，电子设备100可通过语音识别控制。控制单元140将通过语音输入单元110和语音识别模块130k识别到的语音启动命令与预存在语音数据库130m中的语音启动命令相比较。如果根据比较的结果该语音被识别为语音启动命令，则电子设备100在控制单元140的控制下改变为语音任务模式。语音数据库130m可以存储与可通过语音输入单元110和语音识别模块130k识别的语音相对应的第一命令(例如，与“改变为语音任务模式”相对应的命令或者与“频道改变”相对应的命令)。控制单元140可以执行与第一命令相对应的电子设备100的语音任务。语音启动命令或预存在语音数据库130m中的命令可以通过配置来改变(例如，可以添加、改变或删除)。输入语音启动命令的识别可以很容易地被本领域普通技术人员理解。
参照图71，控制单元140在显示图像的显示屏幕400上显示用于执行语音任务模式的语音辅助信息7110。控制单元140可以与显示的图像重叠地显示语音辅助信息7110。控制单元140可以在显示屏幕400的下部显示语音辅助信息7110。语音辅助信息7110可以包括命令/指导显示区域7111、模式显示区域7120和7120a、以及第一反馈显示区域7230(参见图72)。参照图72，第一反馈显示区域7230可以在模式显示区域7120的一侧显示。第一反馈显示区域7230可以包括第一视觉反馈7230a(参见图72)。控制单元140向电子设备100的扬声器161输出识别到的第一命令，从而为用户提供第一听觉反馈(未示出)。电子设备100可以提供视觉反馈和听觉反馈之一或者提供视觉反馈和听觉反馈二者。
参照图73，如果识别到第一命令，则控制单元140显示与第一命令相对应的内容列表(下文中，称为智能中心7300)。智能中心7300是用作由电子设备100支持的各种功能的中心的UI。智能中心7300是显示与由电子设备100支持的各种功能(例如，观看运动图像的功能、听音乐的功能、访问互联网的功能)相对应的可运行图标的UI。此外，智能中心7300是显示电子设备100的存储单元130中所存储的内容(例如，照片、音乐和运动图像)的可运行图标、与从外部源接收到的内容(例如，照片、音乐和运动图像)相对应的可运行图标、以及与可运行的应用(例如，web浏览器)的可运行图标的UI。
智能中心7300可以包括搜索区域7310、广播区域7320、您的视频区域7330、信息显示区域7340、应用区域7350、推荐区域7360和应用列表区域7370当中的多个区域，搜索区域7310使用语音(例如，语音任务模式)或动作(例如，动作任务模式)搜索各种内容、应用或互联网信息，广播区域7320位于搜索区域7310的一侧并显示缩小的(down-sized)广播图像，您的视频区域7330位于搜索区域7310的下方并显示与存储在存储单元130中的运动图像相对应的可运行图标，信息显示区域7340位于搜索区域7310的下方并显示来自从电子设备100的制造商的通知或广告，应用区域7350位于搜索区域7310的下方并显示与由电子设备100的制造商提供的各种免费或付费服务相对应的应用的可运行图标，推荐区域7360位于搜索区域7310的下方并显示电子设备100的制造商所推荐的服务，应用列表区域7370位于搜索区域7310的下方并显示与可在电子设备100中运行的应用相对应的可运行图标。本领域普通技术人员应该理解的是，智能中心7300上显示的多个区域7310至7370可以根据电子设备的性能和功能进行添加或删除。
智能中心7300可以显示与语音任务模式相对应的语音辅助信息7110。此外，智能中心7300可以显示与动作任务模式相对应的动作辅助信息7720。语音辅助信息7110或动作辅助信息7720(见图77)可以重叠在智能中心7300上。参照图73，智能中心7300显示与语音任务模式相对应的语音辅助信息7110。
在语音任务模式中，智能中心7300与不可通过语音识别控制的内容相对应的可运行图标(例如，7372)不同地显示与可通过语音识别控制的内容(例如，应用和运动图像)相对应的可运行图标(例如，7371)。与可通过语音识别控制的内容相对应的可运行图标7371可以是与可通过语音识别控制的内容相对应的原始可运行图标7371a和位于原始可运行图标7371a一侧的附加图标7371b(静止图像、运动图像和文本之一)的结合。附加图标7371b可以与原始可运行图标7371a重叠地显示，或者与原始可运行图标7371a分开地显示。根据语音是否是可识别的，将附加图标添加到与内容相对应的可运行图标的一侧。然而，这仅仅是示例。本领域普通技术人员应该理解，根据语音是否是可识别的，与内容相对应的可运行图标可以以各种方式区别地显示，例如，通过改变附加图标7371b的位置或大小。
与可通过语音识别控制的内容相对应的可运行图标的名称7371c和与不可通过语音识别控制的内容相对应的可运行图标的名称7372a可以被不同地显示(例如，加下划线以及粗体)。然而，根据语音是否可识别通过为名称加下划线并插入粗体字体来区分与内容相对应的可运行图标的名称仅仅是示例。本领域普通技术人员应该理解，根据语音是否是可识别的，可以以各种方式区别地显示与内容相对应的可运行图标的名称，例如，通过改变字体或颜色。
如果可运行图标的名称的字母的数量大于智能中心7300中定义的字母的数量(例如，15个英文本母和8个韩文本母)(例如，名称7373c)，则只可以显示可运行图标的名称的一部分。例如，无法显示的可运行图标的名称的其余部分可以显示为省略号。
智能中心7300的语音辅助信息7110上显示的命令可以改变。如果响应于第一命令语音而显示智能中心7300，则显示返回到在显示智能中心7300之前显示的前一个图像的命令(返回7111i)。返回命令可以添加到语音辅助信息7110(例如，共显示9个命令)，或可以代替已显示的命令之一(例如，“全部”命令)(例如，共显示8个命令))。
控制单元140使用语音输入单元110、语音识别模块130k和语音数据库130m识别到由用户说出的第二命令语音(例如，应用7371c的名称，“令人兴奋的电子书”)。控制单元140将通过语音输入单元110和语音识别模块130k识别到的第二命令语音与预存在语音数据库130m中的第二命令语音相比较。如果根据比较的结果将该语音识别为第二命令，则控制单元140在第一反馈显示区域7230上显示与识别到的第二命令相对应的第三视觉反馈(例如，“您说的是令人兴奋的电子书”(未示出))。第三视觉反馈(未示出)可以被提供预定时间(例如，500毫秒)。该预定时间可以通过配置来改变。
控制单元140向电子设备100的扬声器161输出识别到的第二命令，从而为用户提供第三听觉反馈(未示出)。
如果根据比较的结果未将语音识别为第二命令，则控制单元140在第一反馈显示区域7230上显示第四视觉反馈(例如，“请重说”(未示出))。控制单元140可以提供第四听觉反馈(例如，“请重说”(未示出))以识别第二命令语音。
如果多个应用的名称对应于识别到的第二命令，则控制单元140可以在智能中心7300上显示候选弹出窗口7314，候选弹出窗口7314显示多个应用的名称。
参照图74，如果通过语音输入单元110、语音识别模块130k和语音数据库130m识别到第二命令(例如，包括应用的名称的一部分，“令人兴奋的”)，则控制单元140可以在候选弹出窗口7414上显示与第二命令相对应的多个应用的列表。例如，候选弹出窗口7414显示①令人兴奋的电子书7414a②令人兴奋的鼓乐节7414b。如果在智能中心7300上显示候选弹出窗口7414，则在智能中心7300的下部显示的命令/指导显示区域7111的命令被改变。例如，命令/指导显示区域7111在模式显示区域7112的左部显示“说出您希望选择的项目的号码”7111j，并且在右部显示“示例>1，27111k和返回7111i”。如果通过语音输入单元110、语音识别模块130k和语音数据库130m识别到与号码(例如，“1”)相对应的语音，则控制单元140在候选弹出窗口7414上选择①令人兴奋的电子书7414a。控制单元140可以在候选弹出窗口7414上区别地显示选中的应用的名称与未选中的应用的名称。
此外，如果识别到与候选弹出窗口7414上显示的应用的完整名称相对应的语音，则控制单元140可以在候选弹出窗口7414上区别地显示①令人兴奋的电子书。
参照图75，控制单元140运行与通过语音输入单元110、语音识别模块130k和语音数据库130m识别到的第二命令(例如，“令人兴奋的电子书”)相对应的应用：令人兴奋的电子书。控制单元140显示正在运行的令人兴奋的电子书的UI 7500。控制单元140与智能中心7300重叠地显示令人兴奋的电子书的UI 7500。控制单元140可以通过利用UI 7500代替智能中心7300来以全屏大小显示令人兴奋的电子书的UI 7500。
令人兴奋的电子书的UI 7500显示与存储在电子设备100的存储单元中的多个电子书相对应的可运行图标7501至7504、以及可运行图标的名称7501a至7504a。根据语音是否是可识别的，控制单元140可以彼此不同地显示与多个电子书相对应的可运行图标的名称7501a至7504a。例如，控制单元140与不可通过语音识别控制的电子书相对应的可运行图标的名称7502a不同地显示可通过语音识别控制的电子书相对应的热点图标(hot icon)的名称7501a。此外，控制单元140或应用(令人兴奋的电子书)可以区别地显示令人兴奋的电子书的工具区域(未示出)上的菜单(例如，菜单“下一个”“前一个”或“打开”(未示出))当中的、可通过语音识别控制的菜单和不可通过语音识别控制的菜单。通过为名称加下划线并插入粗体字体来区分与可通过语音识别控制的电子书相对应的可运行图标的名称7501a仅仅是示例。本领域普通技术人员应该理解，根据语音是否是可识别的，与电子书相对应的可运行图标的名称可以以各种方式区别地显示，例如，通过改变字体或颜色。控制单元140可以通过网络接口单元180从外部服务器下载可通过语音识别的电子书。
如果通过语音输入单元110、语音识别模块130k和语音数据库130m识别到与可通过语音识别控制的电子书相对应的可运行图标的名称7501a，则控制单元140运行并显示电子书7501。用户可以控制通过语音识别控制正在显示的电子书(例如，改变页)。
控制单元140使用动作输入单元120、动作识别模块130l和动作数据库130n识别到动作启动命令7600。参照图76，动作启动命令7600是在动作输入单元120的对面水平摇动用户张开的手指3到4次的动作。控制单元140根据识别到的动作启动命令将电子设备100的模式改变为动作任务模式，在动作任务模式中，电子设备100可通过动作识别控制。控制单元140将通过动作输入单元120和动作识别模块130l识别到的动作启动命令与预存在动作数据库130n中的动作启动命令相比较。如果根据比较的结果将该动作识别为动作启动命令，则电子设备100被控制单元140从语音任务模式改变为动作任务模式。动作数据库130n可以存储与可通过动作输入单元120和动作识别模块130l识别的动作相对应的第二命令(例如，与“前一个”相对应的命令或者与“回放”相对应的命令)。控制单元140可以执行与第二命令相对应的电子设备100的动作任务。预存在动作数据库130n中的动作启动命令可以通过配置来改变(例如，可以添加、修改或删除)。
智能中心显示动作辅助信息，而且相同地显示可通过语音识别控制的应用的可运行图标和不可通过语音识别控制的应用的可运行图标。
参照图77，控制单元140在智能中心7300上显示与动作任务模式相对应的动作辅助信息7720和光标7725。控制单元140使动作辅助信息7720重叠在智能中心7300上。控制单元140在智能中心7300的下部显示动作辅助信息7720。动作辅助信息7720可以包括动作/指导显示区域7721、模式显示区域7722和第二反馈显示区域(未示出)。
控制单元140在智能中心7300上显示动作辅助信息7720，而且相同地显示可通过语音识别控制的应用的可运行图标和不可通过语音识别控制的应用的可运行图标。
参照图74，控制单元140使用语音输入单元110、语音识别模块130k和语音数据库130m识别到由用户说出的第三命令语音(例如，应用的完整名称“令人兴奋的鼓节”、或该名称的一部分)。控制单元140将通过语音输入单元110和语音识别模块130k识别到的第三命令与预存在语音数据库130m中的第三命令相比较。如果根据比较的结果将该语音识别为第三命令，则控制单元140在第一反馈显示区域7413上显示与识别到的第三命令相对应的第六视觉反馈(例如，“您说的是‘令人兴奋的鼓节’”(未示出))。第六视觉反馈(未示出)可以被提供预定时间(例如，500毫秒)。
如果未识别到第三命令，则控制单元140在第一反馈显示区域7413上显示第七视觉反馈(例如，“请重说”(未示出))。控制单元140可以提供第六听觉反馈(例如，“请重说”(未示出))以识别第三命令语音。
参照图74，如果多个应用的名称对应于第三命令(例如，包括将被选择的应用的名称的一部分，“令人兴奋的”)，则控制单元140可以在智能中心7400上显示候选弹出窗口7414，候选弹出窗口7414显示多个应用的名称。如果通过语音输入单元110、语音识别模块130k和语音数据库130m识别到与号码(例如，“2”)相对应的语音，则控制单元140在候选弹出窗口7414上选择②令人兴奋的鼓节7414b。
参照图78，控制单元140可以运行与通过语音输入单元110、语音识别模块130k和语音数据库130m识别到的第三命令(例如，“令人兴奋的鼓节”)相对应的应用：令人兴奋的鼓节。控制单元140显示正在运行令人兴奋的鼓节的UI 7800。控制单元140在智能中心7300上重叠地显示令人兴奋的鼓节的UI 7800。控制单元140可以通过利用UI 7800代替智能中心7300来以全屏大小显示令人兴奋的鼓节的UI 7800。
通过用户语音的识别或遥控器，可以播放令人兴奋的鼓节的UI 7800上显示的鼓7801至7809。令人兴奋的鼓节上的鼓7801至7809可以通过动作任务模式中的动作识别(例如，抓动作)来播放。
图79是示出根据示范性实施例的、显示电子设备的UI的方法的流程图。
打开电子设备100(S7901)。例如，如果按下位于电子设备100上的电源按钮(未示出)、如果选择位于遥控器上的电子设备100的电源键(未示出)(例如，按下该键)、或者如果通过电子设备100的语音输入单元110、语音识别模块130k和语音数据库130m识别到用户语音(例如，“接通电源”)，则可以打开电子设备100。
输出广播(S7902)。例如，电子设备100输出与从广播接收单元150接收到的广播信号相对应的图像，如图70所示。
识别语音启动命令(S7903)。也就是说，电子设备100使用语音输入单元110、语音识别模块130k和语音数据库130m识别由用户说出的语音启动命令。电子设备100根据识别到的语音启动命令将电子设备100的模式改变为语音任务模式，在语音任务模式中，电子设备100可通过语音识别控制。
显示一组命令(S7904)。例如，电子设备100在显示图像的显示屏幕7000上显示与语音任务模式相对应的一组命令7110，如图71所示。
识别第一命令语音(S7905)。具体来说，电子设备100使用语音输入单元110、语音识别模块130k和语音数据库130m识别由用户说出的第一命令语音(例如，“智能中心)。如果将该语音识别为第一命令，则电子设备100在第一反馈显示区域7230上显示与识别到的第一命令相对应的第一视觉反馈，如图72所示。
显示UI(S7906)。例如，如果识别到第一命令，则电子设备100显示与第一命令相对应的智能中心7300，如图73所示。
识别第二命令语音(S7907)。具体来说，电子设备100使用语音输入单元110、语音识别模块130k和语音数据库130m识别由用户说出的第二命令语音(例如，应用7371c的名称，“令人兴奋的电子书”)。如果多个应用的名称对应于识别到的第二命令，则电子设备100可以显示候选弹出窗口7414，候选弹出窗口7414显示多个应用的名称，如图74所示。
运行第一应用(S7908)。例如，电子设备100运行与第二命令相对应的应用，令人兴奋的电子书，如图75所示。
识别动作启动命令(触发动作)(S7909)。具体来说，电子设备100使用动作输入单元120、动作识别模块130l和动作数据库130n识别用户的动作启动命令7600。例如，动作启动命令7600是在动作输入单元120的对面水平摇动用户张开的手指3到4次的动作，如图76所示。
在智能中心上显示动作项目，而且相同地显示可通过语音识别控制的应用的可运行图标和不可通过语音识别控制的应用的可运行图标(S7910)。例如，电子设备100在智能中心7300上显示与动作任务模式相对应的动作辅助信息7720和光标7725，如图77所示。
如果在操作S7907中没有识别到第二命令，则执行操作S7911。
识别第三命令(S7911)。控制单元140使用语音输入单元110、语音识别模块130k和语音数据库130m识别由用户说出的第三命令语音。如果多个应用的名称对应于第三命令，则控制单元140可以在智能中心7400上显示候选弹出窗口7414，候选弹出窗口7414显示多个应用的名称，如图74所示。
运行第三应用(S7912)。例如，电子设备100运行与通过语音输入单元110、语音识别模块130k和语音数据库130m识别到的第三命令相对应的应用：令人兴奋的鼓节，如图78所示。
如果在操作S7911中没有识别到第三命令，则操作结束。
控制单元140可以向图像输出单元190或显示单元193提供通过广播接收单元150接收到的多个广播信号之一和存储的内容之一。显示单元193可以显示接收到一个广播信号或存储的内容。存储的内容包括永久、暂时(momentarily)或临时(temporarily)存储在电子设备100中的所有内容。例如，内容可以永久存储在电子设备100的存储单元130中，直到接收到用户的删除请求为止。此外，如果电子设备100的存储单元130的一部分用作缓冲区，则内容可以暂时或临时存储在存储单元130。具体来说，如果在实时的基础上将从外部端子输入单元160或网络接口单元180输入的内容提供给图像输出单元190或显示单元193，则控制单元140可以将内容暂时或临时存储在存储单元130的一部分中，从而内容的输入速度与内容的输出速度基本相等。
控制单元140可以使用动作识别模块130l识别用户动作，并且可以响应于识别到的用户动作而改变所提供的广播信号或内容的状态。如果控制单元140提供广播信号，则控制单元140可以响应于识别到的用户动作来控制广播信号的音量等级或者可以提供多个广播信号当中的另一个广播信号。如果控制单元140提供内容，则控制单元140可以响应于识别到的用户动作而改变显示内容的屏幕的至少一部分。
例如，如果内容(例如，包括多个页面的图像或包括多个页面的文档)包括多个页面而且多个页面之一显示在屏幕上，则控制单元140可以将显示多个页面之一的屏幕改变为显示另一个页面的屏幕。具体来说，响应于识别到的用户动作，控制单元140可以将显示多个页面之一的屏幕改变为显示所述多个页面当中的位于该页面的上部、下部、左部或右部的页面中一个页面的屏幕。
作为另一个示例，如果内容(例如，网页)包括一个页面，则控制单元140可以将显示页面的一部分的屏幕改变为显示页面的另一部分的屏幕。
此外，控制单元140可以将显示所提供的内容(例如，图像或运动图像)的屏幕改变为显示不同于该内容的内容的屏幕。
控制单元140可以使用语音识别模块130k识别用户语音，并且可以按照识别到的用户语音提供多个广播信号之一。例如，如果通过语音识别模块130k识别到频道标识符，则控制单元140可以使用频道控制模块130b提供多个广播信号当中具有识别到的频道标识符的广播信号。
在另一个示范性实施例中，控制单元140可以响应于使用识别模块130l识别到的用户动作而从多个广播信号当中选择一个广播信号。控制单元140可以向图像输出单元190或显示单元193提供所选择的广播信号。显示单元193可以显示所提供的广播信号。接下来，控制单元140可以停止向图像输出单元190或显示单元193提供广播信号。例如，控制单元140可以响应于通过动作识别模块130l、语音识别模块130k或遥控器接收到的用户输入而停止提供广播信号。控制单元140可以提供存储在电子设备100中的内容。
当控制单元140向显示单元193提供存储的内容时，控制单元140可以重新识别与选择多个广播信号之一时的用户动作具有相同形式的用户动作。相同形式的用户动作包括具有基本相同形式的用户动作。例如，如果多个用户动作的对象的形式是相同的、该形式的对象沿相同方向移动、而且该形式的对象的移动速度高于预定速度，则控制单元140可以将该多个用户动作识别为相同形式的用户动作。例如，如果选择一个广播信号的用户动作和重新识别的用户动作都是拍动作而且拍动作沿相同方向移动，则控制单元140可以将选择一个广播信号的用户动作和重新识别的用户动作识别为相同形式的用户动作。此外，如果选择一个广播信号的用户动作是沿向上方向的拍动作而且改变显示已提供的内容的屏幕的至少一部分的用户动作也是沿向上方向的拍动作，则控制单元140可以将这两个动作识别为相同形式的用户动作。
接下来，控制单元140可以响应于重新识别的用户动作而改变显示已提供的内容的屏幕的至少一部分。
在另一个示范性实施例中，控制单元140可以向图像输出单元190或显示单元193提供第一图像数据。控制单元140可以向音频输出单元196提供第一图像数据的音频数据。例如，第一图像数据可以是广播信号的图像数据，而且第一图像数据的音频数据可以是广播信号的音频数据。控制单元140可以响应于识别到的用户动作而控制音频数据的音量等级。例如，控制单元140可以控制第一图像数据的音频数据的音量等级。接下来，控制单元140可以停止提供第一图像数据和第一图像数据的音频数据，而且可以提供第二图像数据。例如，第二图像数据可以是存储在电子设备100中的内容的图像数据。接下来，控制单元140可以重新识别与已识别的用于控制音频数据的音量等级的用户动作具有基本相同的形式的用户动作。控制单元140可以响应于重新识别的用户动作而改变显示第二图像数据的屏幕的至少一部分。
在另一个示范性实施例中，控制单元140可以向图像输出单元190或显示单元193提供分别从多个源提供的图像数据当中的第一图像数据和从单一源提供的多个图像数据当中的第二图像数据之一。显示单元193显示第一图像数据或第二图像数据。例如，分别从多个源提供的图像数据当中的第一图像数据可以是通过多个频道接收到的多个广播信号的图像数据当中的、通过广播接收单元210中包括的调谐器选定的频道接收到的广播信号的图像数据。例如，从单一源提供的多个图像数据当中的第二图像数据可以是从电子设备100的存储单元130、连接到外部端子输入单元200的外部设备、或连接到网络接口单元180的服务器提供的多个内容当中的一个内容的图像数据。接下来，控制单元140可以通过动作识别模块130l识别用户动作。如果控制单元140提供第一图像数据，则控制单元140可以响应于识别到的用户动作而提供从与第一图像数据的源不同的源提供的图像数据。如果控制单元140提供第二图像数据，则控制单元140可以提供不同于从单一源提供的多个图像数据当中的第二图像数据的图像数据。
在另一个示范性实施例中，控制单元140可以向图像输出单元190或显示单元193提供第一图像数据和第二图像数据之一，该第一图像数据是在向电子设备100供电时立即重现的图像数据，该第二图像数据在向电子设备100供电之后电子设备100进入一个模式之后重现的图像数据。显示单元193可以显示第一图像数据或第二图像数据。例如，如果电子设备100是TV，则在向电子设备100供电时立即重现的第一数据图像可以是在TV打开时立即重现的广播信号。例如，如果电子设备100是TV，则在向电子设备100供电之后电子设备100进入一个模式之后重现的第二图像数据可以是在TV打开之后TV按照通过语音输入单元110、动作输入单元120或遥控器的用户输入进入一个模式之后重现的内容。接下来，如果提供第一图像数据，则控制单元140可以响应于通过动作识别模块130l识别到的用户动作而提供在供电时立即重现的不同的图像数据(例如，不同频道的广播信号的图像数据)。如果提供第二图像数据，则控制单元140可以响应于通过动作识别模块130l识别到的用户动作而提供在电子设备100进入一个模式之后重现的不同的图像数据(例如，存储在存储单元130中的内容的图像数据、或者从外部端子输入单元160或网络接口单元180接收到的内容的图像数据)。
在另一个示范性实施例中，控制单元140可以向图像输出单元190或显示单元193提供多个运动图像之一或多个图像之一。显示单元193可以显示该运动图像或该图像。例如，所述多个运动图像之一可以指示随时间变化的图像作为多个广播信号之一。此外，所述多个图像之一可以是多个存储的图像之一。接下来，如果提供运动图像，则控制单元140可以响应于通过动作识别模块130l识别到的用户动作而提供多个运动图像当中的、不同于已提供的运动图像的运动图像(例如，不同频道的广播信号的广播信号)。如果提供图像，则控制单元140可以响应于通过动作识别模块130l识别到的用户动作而提供多个图像当中的、不同于已提供的图像的图像。
下文中，将参照图80至图91解释响应于用户动作而改变的屏幕。
图80和图81是示出根据各种示范性实施例的、响应于向上方向的用户动作而改变的屏幕的视图。
在图80中，控制单元140可以识别作为用户动作的向上方向的拍动作。参照图80的8010和8020，如果控制单元140提供广播信号，则响应于向上方向的拍动作，控制单元140可以停止向屏幕上提供广播信号并可以提供这样的广播信号，该广播信号的频道号码从停止的广播信号的频道号码增加。例如，频道号码为“7”的广播信号改变为频道号码为“8”的广播信号。参照图80的8030和8040，如果控制单元140提供包括多个页面的内容，则响应于向上方向的拍动作，控制单元140可以将显示多个页面之一的屏幕改变为显示多个页面当中的、位于该显示页面下方的页面的屏幕。例如，8030中显示第二页面的屏幕可以改变为8040中显示第三页面的屏幕。
在图81中，控制单元140可以识别作为用户动作的向上方向的拍动作。参照图81的8110和8120，如果控制单元140提供广播信号，则响应于向上方向的拍动作，控制单元140可以停止向屏幕上提供广播信号并可以提供这样的广播信号，该广播信号的频道号码从停止的广播信号的频道号码增加。参照图81的8130和8140，如果控制单元140提供包括一个页面的内容，则响应于向上方向的拍动作，控制单元140可以将屏幕上的所述一个页面的一部分改变为位于所述一个页面的该部分下方的另一部分。
图82和图83是示出根据各种示范性实施例的、响应于向下方向的用户动作而改变的屏幕的示图。
在图82中，控制单元140可以识别作为用户动作的向下方向的拍动作。参照图82的8210到8220，如果控制单元140提供广播信号，则响应于向下方向的拍动作，控制单元140停止向屏幕上提供广播信号并可以提供这样的广播信号，该广播信号的频道号码从停止的广播信号的频道号码减小。例如，频道号码为“8”的广播信号改变为频道号码为“7”的广播信号。参照图82的8230和8240，如果控制单元140提供包括多个页面的内容，则响应于向下方向的拍动作，控制单元140可以将显示多个页面之一的屏幕改变为显示所述多个页面当中的、位于该显示页面上方的页面的屏幕。例如，8230中显示第二页面的屏幕可以改变为8240中显示第一页面的屏幕。
在图83中，控制单元140可以识别作为用户动作的向下方向的拍动作。参照图83的8310和8320，如果控制单元140提供广播信号，则响应于向下方向的拍动作，控制单元140停止向屏幕上提供广播信号并可以提供广播信号，该广播信号的频道号码从停止的广播信号的频道号码减小。参照图83的8330和8340，如果控制单元140提供包括一个页面的内容，则响应于向下方向的拍动作，控制单元140可以将屏幕上的所述一个页面的一部分改变为位于所述一个页面的该部分上方的另一部分。
图84至图87是示出根据各种示范性实施例的、响应于向左方向的用户动作而改变的屏幕的示图。
在图84中，控制单元140可以识别作为用户动作的向左方向的拍动作。参照8410和8420，如果控制单元140提供广播信号，则响应于向左方向的拍动作，控制单元140可以降低正在提供的广播信号的音量等级。例如，广播信号的音量等级可以从“14”降低为“13”。参照8430和8440，如果控制单元140提供包括多个页面的内容，则响应于向左方向的拍动作，控制单元140可以将显示多个页面之一的屏幕改变为显示多个页面当中的、位于所述一个页面右部的页面的屏幕。例如，8430中显示第二页面的屏幕可以改变为8440中显示第三页面的屏幕。
在图85中，控制单元140可以识别作为用户动作的向左方向的拍动作。参照图85中的8510和8520，如果控制单元140提供广播信号，则响应于向左方向的拍动作，控制单元140可以降低正在提供的广播信号的音量等级。参照图85的8530和8540，如果控制单元140提供包括一个页面的内容，则响应于向左方向的拍动作，控制单元140可以将显示所述一个页面的一部分的屏幕改变为显示位于该部分右部的另一部分的屏幕。
在图86中，控制单元140可以识别作为用户动作的向左方向的拍动作。参照图86中的8610和8620，如果控制单元140提供广播信号，则响应于向左方向的拍动作，控制单元140可以降低正在提供的广播信号的音量等级。参照图86中的8630和8640，响应于向左方向的拍动作，控制单元140可以将显示第二内容的屏幕改变为显示位于第二内容之后的第三内容的屏幕。
在图87中，控制单元140可以识别作为用户动作的向左方向的拍动作。参照图87中的8710和8720，如果控制单元140提供广播信号，则响应于向左方向的拍动作，控制单元140可以降低正在提供的广播信号的音量等级。参照图87中的8730和8740，如果控制单元140分别在屏幕上的第一区域8731和第二区域8735上提供至少一个内容，则响应于向左方向的拍动作，控制单元140可以将内容8751从第二区域8735移除，而且代替地可以在第二区域8735上显示不同的内容8752。
在图88中，控制单元140可以识别作为用户动作的向右方向的拍动作。参照图88的8810和8820，如果控制单元140提供广播信号，则响应于向右方向的拍动作，控制单元140可以增加正在提供的广播信号的音量等级。例如，广播信号的音量等级可以从“14”增加为“15”。参照图88的8830到8840，如果控制单元140提供包括多个页面的内容，则响应于向右方向的拍动作，控制单元140可以将显示多个页面之一的屏幕改变为显示多个页面当中的、位于该显示页面左部的页面的屏幕。例如，8830中显示第二页面的屏幕可以改变为8840中显示第一页面的屏幕。
在图89中，控制单元140可以识别作为用户动作的向右方向的拍动作。参照图89的8910和8920，如果控制单元140提供广播信号，则响应于向右方向的拍动作，控制单元140可以增加正在提供的广播信号的音量等级。参照图89的8930和8940，如果控制单元140提供包括一个页面的内容，则响应于向右方向的拍动作，控制单元140可以将显示所述一个页面的一部分的屏幕改变为显示位于该部分左部的另一部分的屏幕。
在图90中，控制单元140可以识别作为用户动作的向右方向的拍动作。参照图90中的9010和9020，如果控制单元140提供广播信号，则响应于向右方向的拍动作，控制单元140可以增加正在提供的广播信号的音量等级。参照图90中的9030和9040，如果控制单元140提供第二内容，则响应于向右方向的拍动作，控制单元140可以将显示第二内容的屏幕改变为显示位于第二内容之前的第一内容的屏幕。
在图91中，控制单元140可以识别作为用户动作的向右方向的拍动作。参照图91中的9110和9120，如果控制单元140提供广播信号，则响应于向右方向的拍动作，控制单元140可以增加正在提供的广播信号的音量等级。参照图91中的9130和9140，如果控制单元140分别在屏幕上的第一区域9131和第二区域9135上提供至少一个内容，则响应于向右方向的拍动作，控制单元140可以将内容9151从第二区域9135移除，而且代替地可以在第二区域9135上显示不同的内容9152。
图92和图93是示出根据示范性实施例的、响应于用户动作而改变屏幕的电子设备的控制方法的流程图。
参照图92，电子设备100响应于识别到的用户动作而从多个广播信号当中选择一个广播信号(S9212)。识别到的用户动作可以是通过动作输入单元120输入的，而且可以由动作识别模块130l识别。电子设备100提供所选择的广播信号(S9214)。广播信号可以提供给图像输出单元190或显示单元193。然后，在电子设备100停止提供选定的广播信号并提供存储的内容(S9216)的情况下，电子设备100可以重新识别与识别到的用户动作具有基本相同的形式的用户动作(S9218)。存储的内容可以是存储在存储单元130中的内容、或者是从外部端子输入单元160或网络接口180接收到的内容。重新识别的用户动作可以通过动作输入单元120输入，而且可以通过动作识别模块130l识别。响应于重新识别的用户动作，电子设备100可以改变显示已提供的内容的屏幕的至少一部分(S9220)。
参照图93，电子设备100提供多个广播信号当中的一个广播信号以及存储的内容之一(S9312)。电子设备100通过动作识别模块130l识别用户动作(S9314)。电子设备100可以响应于该用户动作确定所提供的信号是广播信号还是内容(S9316)。如果提供的是广播信号，则电子设备100可以控制广播信号的音量等级或者提供多个广播信号当中的另一个广播信号(S9318)。如果提供的是内容，则电子设备100改变显示已提供的内容的屏幕的至少一部分(S9320)。
如上所述，用户可以使用用户动作来更有效且更直观地控制电子设备100。
控制单元140按照从遥控信号接收单元170接收到的遥控信号、通过语音输入单元110输入的用户语音、和通过动作输入单元120输入的用户动作来控制电子设备100。此处记载的遥控器可以是通用遥控器，但是这不应该被视为限制。遥控器可以是包括触摸板的遥控器。
具体来说，如果在遥控模式(在遥控模式中，按照在遥控信号接收单元170处接收到的遥控信号来控制电子设备100)中识别到通过语音输入单元110输入的语音启动命令，则控制单元140将模式改变为语音任务模式，以便执行由通过语音输入单元110输入的用户语音控制的语音任务。
如果模式改变为语音任务模式，则控制单元140可以控制显示单元193显示指示电子设备100的模式是语音任务模式的图标、以及包括用于指导语音任务的语音项目的语音辅助信息。
如果在语音任务模式中在遥控器上的按钮当中选择第一按钮以改变为遥控模式，则遥控信号接收单元170接收与第一按钮相对应的第一遥控信号。控制单元140响应于第一遥控信号而将电子设备100的模式改变为遥控模式，在遥控模式中，电子设备100通过遥控器来控制。第一按钮可以是将模式改变为遥控模式的遥控模式改变按钮。然而，这仅仅是示例，而且第一按钮可以是遥控器上的按钮中的特定按钮(certain button)。如果第一按钮是特定按钮，则当接收到与第一按钮相对应的第一遥控信号时，控制单元140将模式改变为遥控模式，然后执行与第一按钮相对应的任务。例如，如果第一按钮是静音按钮，则控制单元140将模式从语音任务模式改变为遥控模式，然后执行静音。
如果在语音任务模式中通过动作输入单元120输入动作启动命令，则控制单元140使用动作识别模块130l识别动作启动命令。如果识别到动作启动命令，则控制单元140将电子设备100的模式改变为动作任务模式，在动作任务模式中，电子设备100由通过动作输入单元120输入的用户动作来控制。
如果在遥控模式(在遥控模式中，电子设备100按照在遥控信号接收单元170处接收到的遥控信号来控制)中识别到通过动作输入单元120输入的动作启动命令，则控制单元140将模式改变为动作任务模式，以便执行由通过动作输入单元120输入的用户动作控制的动作任务。
如果模式改变为动作任务模式，则控制单元140可以控制显示单元193显示指示电子设备100的模式是动作任务模式的图标、以及包括用于指导动作任务的动作项目的动作辅助信息。
如果在动作任务模式中在遥控器上的按钮当中选择第一按钮以改变为遥控模式，则遥控信号接收单元170接收与第一按钮相对应的第一遥控信号。控制单元140响应于第一遥控信号而将电子设备100的模式改变为遥控模式，在遥控模式中，电子设备100通过遥控器控制。第一按钮可以是将模式改变为遥控模式的遥控模式改变按钮。然而，这仅仅是示例，而且第一按钮可以是遥控器上的按钮当中的特定按钮。如果第一按钮是特定按钮，则控制单元140当接收到与第一按钮相对应的第一遥控信号时将模式改变为遥控模式，然后执行与第一按钮相对应的任务。例如，如果第一按钮是静音按钮，则控制单元140将电子设备100的模式从动作任务模式改变为遥控模式，然后执行静音。
如果在动作任务模式中通过语音输入单元110输入语音启动命令，则控制单元140使用语音识别模块130k识别语音启动命令。如果识别到语音启动命令，则控制单元140可以将电子设备100的模式改变为语音任务模式，在语音任务模式中，电子设备100由通过语音输入单元110输入的用户语音来控制。
下文中，将参照图94至图97解释根据示范性实施例的、改变为遥控模式、动作任务模式和语音任务模式的方法。
具体来说，电子设备100打开之后，控制单元140一般在遥控模式下操作，在遥控模式中，电子设备100由遥控信号控制。在遥控模式中，不显示单独的UI，如图94所示。然而，这仅仅是示例，而且控制单元140可以在遥控模式中显示指示遥控模式的UI。
如果在遥控模式中通过语音输入单元110输入了语音启动命令，则控制单元140识别语音启动命令并将电子设备100的模式改变为语音任务模式，在语音任务模式中，电子设备100按照通过语音输入单元110输入的用户语音来控制。当改变为语音任务模式时，控制单元140可以显示语音辅助信息，如图95所示。
如果在语音任务模式中选择遥控器上的第一按钮，则控制单元140通过遥控信号接收单元170接收与第一按钮相对应的第一遥控信号，然后将电子设备100的模式再次改变为遥控模式，如图94所示。遥控器上的第一按钮可以是遥控模式改变按钮。然而，这仅仅是示例，而且第一按钮可以是遥控器上的特定按钮。
如果在语音任务模式中通过动作输入单元120输入了动作启动命令，则控制单元140识别该动作启动命令并将电子设备100的模式改变为动作任务模式，在动作任务模式中，电子设备100按照通过动作输入单元120输入的用户动作来控制。当改变为动作任务模式时，控制单元140可以显示动作辅助信息3310，如图96所示。
如果在遥控模式中通过动作输入单元120输入动作启动命令，则控制单元140识别动作启动命令并将电子设备100的模式改变为动作任务模式，在动作任务模式中，电子设备100按照通过动作输入单元120输入的用户动作来控制。当改变为动作任务模式时，控制单元140可以显示动作帮助命令3310，如图96所示。
如果在动作任务模式中选择遥控器上的第一按钮，则控制单元140通过遥控信号接收单元170接收与第一按钮相对应的第一遥控信号，并且将电子设备100的模式再次改变为遥控模式，如图94所示。遥控器上的第一按钮可以是遥控模式改变按钮。然而，这仅仅是示例，而且第一按钮可以是遥控器上的特定按钮。
如果在动作任务模式中通过语音输入单元110输入语音启动命令，则控制单元140识别语音启动命令并且将电子设备100的模式改变为语音任务模式，在语音任务模式中，电子设备100按照通过语音输入单元110输入的用户语音来控制。当改变为语音任务模式时，控制单元140可以显示语音辅助信息，如图95所示。
如上所述，电子设备100可以分别使用遥控信号、语音启动命令和动作启动命令来改变为遥控模式、语音任务模式和动作任务模式。
图97是根据示范性实施例的、解释改变为遥控模式、动作任务模式和语音任务模式的方法的流程图。
电子设备100打开然后进入遥控模式，在遥控模式中电子设备100由遥控器来控制(S9710)。
电子设备100保持在遥控模式中(S9710)，除非输入语音启动命令或动作启动命令。
电子设备100确定是否输入了语音启动命令(S9720)。如果输入了语音启动命令(S9720-是)，则电子设备100将电子设备100的模式改变为语音任务模式，在语音任务模式中，电子设备100按照通过语音输入单元110输入的用户语音来控制(S9730)。当进入语音任务模式时，电子设备100可以显示语音辅助信息，如图95所示。
电子设备100确定是否输入了动作启动命令(S9740)。如果输入了动作启动命令(S9740-是)，则电子设备100将电子设备100的模式改变为动作任务模式，在动作任务模式中，电子设备100按照通过动作输入单元120输入的用户动作来控制(S9750)。
如果电子设备100处于语音任务模式或动作任务模式中，在控制单元140确定是否返回到遥控模式(S9760)。如上所述，如果识别到返回遥控模式的启动命令或模式取消命令，则控制单元140可以返回到遥控模式。此外，当果电子设备100处于语音任务模式时，如果在预定时间(例如5分钟)内没有识别到语音，则控制单元140可以自动返回到遥控模式。类似地，当电子设备100处于动作任务模式时，如果在预定时间(例如5分钟)内没有识别到动作，则控制单元140可以自动返回到遥控模式。
如图97所示，电子设备100以遥控模式(S9710)、语音任务模式(S9730)和动作任务模式(S9750)进行操作。在所有三种模式中，控制单元140确定是否切换到语音任务模式(S9720-是)、是否切换到动作任务模式(S9740-是)、是否切换到遥控模式(S9760-是)、或者是否保持当前模式(S9720-否、S9760-否、S9740-否)。虽然已经描述了图97中的方法，但是这仅仅是示例，而且本公开的技术想法可以应用于用于从遥控模式、语音任务模式和动作任务模式改变和/或改变到遥控模式、语音任务模式和动作任务模式的任何方法。
如上所述，将电子设备100的模式改变为遥控模式、语音任务模式和动作任务模式，从而用户可以根据用户期望的模式来控制电子设备100。
控制单元140可以使用外部移动设备通过语音识别来控制电子设备100。
具体来说，如果通过外部移动设备中所包括的麦克风输入用户语音，则控制单元140通过语音输入单元110接收用户语音的输入、识别输入的用户语音、并按照识别到的用户语音执行电子设备100的语音任务。移动设备可以是，但不限于，遥控器、移动电话、个人数字助理(PDA)和笔记本计算机。语音输入单元110可以是用于从外部移动设备接收用户语音信号的通信单元。
在外部移动设备中运行用于语音识别的应用，而且输入用户语音。如果移动设备识别到用户语音、生成与该用户语音相对应的控制信号、然后将该控制信号发送给电子设备100，则控制单元140可以按照从移动设备输入的控制信号来执行电子设备100的语音任务。
如果在移动设备中运行用于语音识别的应用，而且输入了已输入到移动设备中包括的麦克风的用户语音，则控制单元140识别到输入的用户语音，并按照该用户语音执行电子设备100的语音任务。
如果在移动设备中已经运行用于语音识别的应用之后选择移动设备所包括的第一按钮，则控制单元140通过通信单元(未示出)接收与第一按钮相对应的第一信号，并响应于第一信号而将电子设备100的模式改变为语音任务模式。通过选择移动设备所包括的第一按钮而改变到的语音任务模式是这样的模式，在该模式中，按照来自移动设备中所包括的麦克风的用户语音输入来执行语音任务。如果选择移动设备上的第一按钮和第二按钮之一，则可以释放通过选择移动设备所包括的第一按钮而改变到的语音任务模式。第一按钮和第二按钮可以是移动设备中所包括的物理按钮。然而，这仅仅是示例，而且第一按钮和第二按钮可以是在已经运行了用于语音识别的应用之后显示在移动设备上的UI。
当在语音任务模式中选择移动设备上的第二按钮时，控制单元140可以从移动设备接收用户语音的输入。当选择移动设备上的第二按钮时，控制单元140可以在移动设备上显示指示能够输入用户语音的UI。因此，用户可以知道，可以通过移动设备上显示的UI输入语音。
如果将用户语音输入到移动设备，则控制单元140不通过电子设备100中包括的麦克风接收用户语音。
当移动设备拨打电话时，可以使用移动设备中包括的麦克风。也就是说，如果移动设备执行一般的电话功能，则麦克风从用户接收电话语音的输入。如果移动设备运行用于语音识别的应用，则移动设备可以从用户接收控制电子设备100的语音输入。
图98是根据示范性实施例的、解释用于使用外部移动设备识别用户语音的方法的流程图。
移动设备运行用于语音输入的应用(S9810)。移动设备可以是移动电话。
在移动设备中已经运行用于语音输入的应用之后，移动设备通过移动设备中所包括的麦克风接收用户语音的输入(S9820)。移动设备中所包括的麦克风可以是用于打电话的麦克风。
电子设备100从移动设备接收输入到外部移动设备的用户语音(9830)。
如果从移动设备接收到用户语音，则电子设备100使用语音识别模块130k识别用户语音(S9840)。
电子设备100使用语音数据库按照识别到的用户语音执行语音任务(S9850)。
在上面的示范性实施例中，移动设备接收用户语音的输入并且将用户语音发送给电子设备100。然而，这仅仅是示例，而且移动设备可以直接识别用户语音，可以生成与用户语音相对应的控制信号，然后可以将该控制信号发送给电子设备100。
如上所述，使用诸如移动电话的移动设备执行电子设备100的语音任务，从而用户能够使用语音识别来更容易地控制该电子设备。
根据示范性实施例，根据是否需要指针(pointer)来执行任务，动作任务模式可以是动作模式和指向模式之一。具体来说，动作模式是这样的模式，在该模式中，改变电子设备100的设置的任务是按照预先设置的动作(例如，沿向上、向下、向左或向右方向的拍动作、抓动作、或者沿逆时针方向的旋转动作)来控制的。例如，如果在电子设备100执行广播接收功能时输入动作启动命令，则控制单元140可以将电子设备100的模式改变为动作模式。因此，电子设备100可以响应于与预先设置的动作相匹配的用户动作而执行诸如音量控制或频道改变的任务。
指向模式是使用指针来执行任务的模式。例如，如果在电子设备100显示包括多个可选项目的列表(例如，内容列表、频道列表、电子节目指南或EPG、以及网页)之一时输入动作启动命令，则控制单元140可以将电子设备100的模式改变为指向模式。在指向模式中，控制单元140在显示屏幕的中心显示指针。由于动作辅助信息的存在，指针可以显示在显示屏幕的中心的上部位置。
下文中将更详细地解释指向模式。
如果在电子设备100显示包括多个用于运行应用(例如，智能中心)的可运行图标的内容列表和网页之一时输入动作启动命令，则控制单元140可以将电子设备100的模式改变为指向模式并且在显示屏幕的中心显示指针。
在指向模式中，电子设备100可以在显示屏幕的下部显示用于执行动作任务的动作辅助信息。显示的动作辅助信息可以不同于动作模式的动作辅助信息。
如果在电子设备100显示内容列表时通过动作输入单元120输入动作启动命令，则控制单元140可以将电子设备100的模式改变为指向模式。在指向模式中，如果指针根据输入到动作输入单元120的用户动作而位于内容列表的第一可运行图标处，则控制单元140对第一可运行图标与其他可运行图标进行区别显示。如果在指向模式中输入结束内容列表的屏幕的命令，则控制单元可以不仅从显示屏幕移除该内容列表而且移除该指针。
如果在电子设备100显示网页时通过动作输入单元120输入动作启动命令，则控制单元140可以将电子设备100的模式改变为指向模式。网页可以包括多个超链接。在指向模式中，如果指针根据通过动作输入单元120输入的用户动作而位于网页的第一超链接处，则控制单元140对第一超链接与其他超链接进行不同的显示。如果指针位于第一超链接处而且通过动作输入单元120输入第一用户动作(例如，抓动作)，则控制单元140运行第一超链接。
下文中，将参照图99至图101更加详细地解释指向模式。
如果如图99所示显示包括用于运行应用的可运行图标的内容列表而且通过动作输入单元120输入动作启动命令，则控制单元140可以显示动作辅助信息和指针10010，如图100所示。指针10010可以显示在显示屏幕的中心。
如果通过动作输入单元120输入沿左下方向的移动动作以将指针10010放置在可运行图标“APP2”处，则控制单元140将指针10010放置在可运行图标“APP2”处。如果指针10010位于可运行图标“APP2”处，则控制单元140以比其他图标粗黑(thicker)的方式突出显示可运行图标“APP2”和可运行图标的名称，如图101所示。
如果指针10010位于可运行图标“APP2”处而且通过动作输入单元120输入第一用户动作(例如，抓动作)，则控制单元140运行可运行图标“APP2”，如图102所示。
如果如图100所示显示内容列表而且用户输入内容列表释放命令(例如，沿逆时针方向的旋转动作或遥控器的按钮)，则控制单元140从显示屏幕移除内容列表和指针并显示广播接收屏幕，如图103所示。
虽然在上面的示范性实施例中显示了内容列表，但是在显示包括多个超链接的网页时也可以应用本公开的技术想法。
图104是根据示范性实施例的、解释提供指向模式的方法的流程图。
电子设备100显示内容列表和网页之一(S10410)。内容列表可以包括多个用于运行应用的可运行图标，而且网页可以包括多个超链接。
电子设备100确定是否输入了动作启动命令(S10420)。
如果输入了动作启动命令(S10420-是)，则电子设备100将电子设备100的模式改变为指向模式(S10430)。指向模式是执行需要指针的任务(例如，运行应用和浏览网页)的模式。
如果模式改变为指向模式，则电子设备100在显示屏幕上显示指针(S10440)。指针可以显示在显示屏幕的中心处。
如上所述，将电子设备100改变为指向模式以执行需要指针的任务，从而用户能够更加容易地控制电子设备100。
如果在指向模式中通过动作输入单元120输入第一动作，则控制单元140在与第一动作相对应的方向上移动指针，而且如果通过动作输入单元120输入第二动作，则控制单元140执行与第二动作相对应的动作任务。
如果当指针位于内容列表的第一可运行图标处或位于网页的第一超链接处的时候输入第二动作，则控制单元140可以解除对指针所在处的第一可运行图标和第一超链接的突出显示。
第二动作可以是预先设置的、用于执行电子设备100的动作模式的动作，而且可以是沿向上、向下、向左或向右方向的拍动作、抓动作以及沿逆时针方向的旋转动作之一。
例如，如果第二动作是沿向上、向下、向左或向右方向的拍动作，则控制单元140可以按照沿向上、向下、向左或向右方向的拍动作来移动显示屏幕。在移动屏幕之后，控制单元140可以在之前的位置再次显示指针。
此外，如果第二动作可以是抓动作，则控制单元140可以运行指针所在处的第一可运行图标。在运行第一可运行图标之后，控制单元140可以在之前的位置处再次显示指针。
此外，如果第二动作可以是沿逆时针方向的旋转动作，则控制单元140可以在显示屏幕上显示当前调谐的频道的广播节目。也就是说，控制单元140可以从显示屏幕上移除内容列表或网页并提供广播接收功能。在这个时候，由于广播接收功能不需要指针，因此不显示指针。
虽然在上面的示例中没有显示指针，但是这仅仅是示例。指针可以保持在已经显示指针的位置处。
下文中，将参照图105至图107详细解释在指向模式中输入预先设置的动作的情况。
如果电子设备100的模式改变为指向模式，如图100所示，则控制单元140在显示屏幕的中心显示指针10510，如图105所示。
如果在显示屏幕上显示指针的状态下通过动作输入单元120输入向右方向的拍动作，则控制单元140从显示屏幕上移除指针10510并将应用显示区域10520的屏幕改变为另一个应用显示区域10530的屏幕，如图106所示。
在移动应用显示区域10520之后，控制单元140再次显示指针10510，如图107所示。
图108是根据示范性实施例的、解释在指向模式中输入预先设置的动作时电子设备100的控制方法的流程图。
电子设备100显示内容列表和网页之一(S10810)。内容列表可以包括用于运行应用的多个可运行图标，而且网页可以包括多个超链接。
电子设备100确定是否输入了动作启动命令(S10820)。
如果输入了动作启动命令(S10820-是)，则电子设备100将电子设备100的模式改变为指向模式(S10830)。指向模式是执行需要指针的任务(例如，运行应用和浏览网页)的模式。
如果模式改变为指向模式，则电子设备100在显示屏幕上显示指针(S10840)。指针可以位于显示屏幕的中心处。
如果在显示指针的状态下通过动作输入单元120输入预先设置的动作(S10850-是)，则电子设备100移除指针并执行与预先设置的动作相对应的动作(S10860)。预先设置的动作是在动作模式中预先设置的动作，而且可以是沿向上、向下、向左或向右方向的拍动作、抓动作或者沿逆时针方向的旋转动作。
如上所述对电子设备100进行控制，使得即使在指向模式中用户也可以按照预先设定的动作执行任务。
控制单元140可以按照电子设备100的模式将选定项目与其他项目不同地显示。
具体来说，控制单元140控制显示单元193显示多个可选项目。可选项目可以是内容列表的可运行图标或网页的超链接。
如果通过语音输入单元110和动作输入单元120之一输入用户语音和用户动作之一，则控制单元140可以按照用户输入从多个项目当中选择第一项目。控制单元140可以将选定的第一项目与其他项目不同地显示。例如，控制单元140可以以比其他项目粗黑的方式突出显示选定的第一项目。
如果当与其他项目不同地显示第一项目的时候第一项目的名称的字符数超过预先设定的数量而且电子设备100的模式是动作任务模式，则控制单元140可以显示第一项目的完整名称。例如，如图109所示，显示了选定的可运行图标的完整名称“令人兴奋的鼓”。控制单元140可以以滚动的方法显示第一项目的完整名称。在上面的示例中，在动作任务模式中显示项目的完整名称。然而，这仅仅是示例，而且即使在遥控模式中也可以显示项目的完整名称。
另一方面，如果第一项目的名称的字符数超过预先设定的数量而且电子设备100的模式是语音任务模式，则控制单元140可以只显示第一项目的名称的一部分。第一项目的名称的一部分是固定的。例如，如图110所示，只显示了选定的可运行图标“令人兴奋的鼓”的名称的一部分“令人兴奋的”。
如果在语音任务模式中只显示第一项目的名称的一部分，而且通过语音输入单元110输入的用户语音与显示的名称的部分一致，则控制单元140运行第一项目。
如果在所显示的第一项目的名称的一部分中没有空格，而且通过语音输入单元110输入与所显示的第一项目的名称的多个拼写(spelling)相对应的用户语音，则控制单元140可以运行第一项目。例如，如果已显示的第一项目的名称是“man”，而且顺序输入语音“m”、“a”和“n”，则控制单元140运行第一项目。
如果电子设备100的模式是语音任务模式，而且在所显示的项目的名称当中包括具有与通过语音输入单元110输入的用户语音一致的名称的多个项目，则控制单元140可以显示包括所述多个项目的候选组的列表。如果显示候选组的列表，则控制单元140可以显示项目的完整名称，从而用户可以清楚地分辨出项目。
图111是根据示范性实施例的、解释按照模式不同地显示项目的电子设备100的控制方法的流程图。
电子设备100显示多个可选项目(S11110)。该多个项目可以是用于运行应用的内容列表中所包括的可运行图标或网页中所包括的超链接。
电子设备100通过语音输入单元110和动作输入单元120之一接收用户语音和用户动作之一的输入(S11120)。
电子设备100按照用户输入选择第一项目(S11130)。例如，在语音任务模式中，电子设备100可以按照通过语音输入单元110输入的用户语音来选择第一项目，而且在动作任务模式中，电子设备100可以按照通过动作输入单元120输入的用户动作来选择第一项目。在遥控任务模式中，电子设备100可以按照通过遥控信号接收单元170输入的遥控信号来选择第一项目。
如果选择了第一项目，则电子设备100可以将选定的第一项目与其他项目不同地显示(S11140)。例如，电子设备100可以以比其他项目粗黑的方式突出显示选定的第一项目。
如果当与其他项目不同地显示第一项目的时候第一项目的名称的字符数超过预先设定的数量而且电子设备100的模式是动作任务模式(或遥控模式)，则电子设备100可以显示第一项目的完整名称。例如，如图109所示，显示了选定的可运行图标的完整名称“令人兴奋的鼓”。此外，电子设备100可以以滚动的方法显示第一项目的完整名称。
另一方面，如果第一项目的名称的字符数超过预先设定的数量而且电子设备100的模式是语音任务模式，则电子设备100可以只显示第一项目的名称的一部分。第一项目的名称的一部分是固定的。例如，如图110所示，只显示了可运行图标“令人兴奋的鼓”的名称的一部分(“令人兴奋的”)。
如上所述，在语音任务模式中只显示项目名称的一部分，从而用户能够通过只说出名称的一部分来运行第一项目。
在语音任务模式中，控制单元140显示包括多个语音项目的语音辅助信息。语音辅助信息包括指示电子设备100的模式是语音任务模式的图标，而且指示语音任务模式的图标可以位于语音辅助信息的中心处。
如果显示语音辅助信息，而且通过语音输入单元110输入与多个语音项目之一相对应的用户语音，则控制单元140可以在语音辅助信息的第一区域上显示执行语音任务的指导消息，而且在语音辅助信息的第二区域上显示语音项目。第一区域可以是图标左侧的区域，第二区域可以是图标右侧的区域。指导消息的输出属性可以不同于语音项目的输出属性。输出属性可以包括字符的大小、色度、亮度和颜色中的至少一个。
如果用户语音是改变频道的命令，则控制单元140可以在第一区域上显示指导频道改变的指导消息，而且可以在第二区域上显示与可说出的改变频道的命令的示例相对应的语音项目以及与取消频道改变相对应的语音项目。
如果用户语音是关闭电源的命令，则控制单元140可以在第一区域上显示确认关闭电源的指导消息，而且可以在第二区域上显示与关于是否关闭电源的命令相对应的语音项目。
下文中，将参照图112至图114解释语音辅助信息的显示。
如果通过语音输入单元110输入语音启动命令，则控制单元140可以将电子设备100的模式改变为语音任务模式，在语音任务模式中，电子设备100按照通过语音输入单元110输入的用户语音来控制。控制单元140如图112所示显示语音辅助信息。
语音辅助信息可以显示指示电子设备100的当前模式是语音任务模式的图标820。语音辅助信息可以在图标820的左侧区域上显示关闭电源语音项目811、频道语音项目812、静音语音项目813和外部输入语音项目814，并且可以在图标820的右侧区域上显示智能中心语音项目815、应用项目语音项目816、搜索语音项目817和全部语音项目818。
如果显示语音辅助信息，而且通过语音输入单元110输入了与频道语音项目812相对应的命令“频道”，则控制单元140如图113所示改变语音辅助信息。控制单元140在用于执行语音任务的语音辅助信息中的图标820的左侧区域上显示具有第一色度的指导消息。例如，如图113所示，可以在左侧区域上显示“请说出频道名称或频道号码”13110。
控制单元140在语音辅助信息中的图标820的右侧区域上显示具有第二色度的语音项目。语音项目可以是与可说出的改变频道的命令的示例相对应的语音项目以及与取消频道改变相对应的语音项目(例如，前一个语音项目)。例如，如图113所示，可以在图标820的右侧区域上显示“(示例：11、MBC、前一个频道等)前一个”11320。
控制单元140可以进行控制以使得图标820的右侧区域的色度比图标820的左侧区域的色度深(thick)。
如果如图112所示显示语音辅助信息，而且通过语音输入单元110输入与关闭电源语音项目811相对应的命令“关闭电源”，则控制单元140如图114所示改变语音辅助信息。控制单元140在用于执行语音任务的语音辅助信息中的图标820的左侧区域上显示具有第一色度的指导消息。例如，如图114所示，可以在图标820的左侧区域上显示“您要关闭电源？”11410。
控制单元140在语音辅助信息中的图标820的右侧区域上显示具有第二色度的语音项目。该语音项目可以是与关于是否关闭电源的命令相对应的语音项目。例如，如图114所示，可以在图标820的右侧区域上显示“是或否”11420和11430。
控制单元140可以控制以使得图标820的右侧区域的色度比图标820的左侧区域的色度深。
图115是根据示范性实施例的、解释显示语音辅助信息的电子设备100的控制方法的流程图。
电子设备100显示语音辅助信息(S11510)。语音辅助信息可以包括指示电子设备100的当前模式是语音任务模式的图标、以及指导语音任务模式的多个语音项目。
如果通过语音输入单元110输入与多个语音项目之一相对应的用户语音，则电子设备100在第一区域上显示具有第一色度的指导消息，而且在第二区域上显示具有第二色度的语音项目(S11520)。第一区域可以是语音辅助信息中的图标右侧的区域，第二区域可以是语音辅助信息中的图标左侧的区域。第二色度可以比第一色度深。
如上所述，以指导消息的色度的色度不同的色度来显示可说出的语音项目，从而用户能够更清楚地知道用户应该说出哪个命令。
控制单元140显示包括多个指导语音任务的语音项目的语音辅助信息。如果通过语音输入单元110输入的用户语音包括不属于与多个语音项目相对应的命令的、预先设定的词，则控制单元140可以执行与该预先设定的词相对应的语音任务。
预先设定的词可以是与遥控器中包括的可运行键相对应的词，该遥控器与电子设备100互锁(interlock)(即，通信)。例如，预先设定的词可以包括生成频道列表的命令、生成菜单的命令、运行社交网络的命令、指导节目时间表的命令、改变为3D图像的命令、和指导广播的命令中的至少一个。
预先设定的词可以是与提供任务的命令相对应的词，该任务与由电子设备100执行的功能有关。例如，如果电子设备100当前执行重现运动图像的功能，则预先设定的词可以包括重现运动图像的命令、暂停运动图像的命令、停止运动图像的命令、重现前一个文件的命令、重现下一个文件的命令、向前跳的命令、向后跳的命令中的至少一个。
也就是说，与电子设备100的基本功能相对应的命令预先存储在语音数据库130m中，从而即使在语音辅助信息中没有显示该功能，用户也能够通过语音识别来使用电子设备100的基本功能。
下文中，将参照图116和图117解释说出不属于语音辅助信息上所显示的语音项目的命令的情况。
如果通过语音输入单元110输入了语音启动命令(例如，“Ginny”)，则控制单元140将电子设备100的模式改变为语音任务模式，在语音任务模式中，电子设备100根据通过语音输入单元110输入的用户语音来控制。如果将模式改变为语音任务模式，则控制单元140在显示屏幕的下部显示语音辅助信息，如图116所示。
在这个时候，在语音辅助信息上显示指示电子设备100的当前模式是语音任务模式的图标820。语音辅助信息在图标820的左侧区域上显示关闭电源语音项目811、频道语音项目812、静音语音项目813和外部输入语音项目814，并且在图标820的右侧区域上显示智能中心语音项目815、应用语音项目816、搜索语音项目817和全部语音项目818。
如果显示语音辅助信息，而且通过语音输入单元110输入了不属于语音辅助信息的命令“频道列表”，则控制单元140可以在显示屏幕的一侧显示频道列表11700，如图117所示。
频道列表11700包括相对于当前调谐的广播频道、落入预先设定的号码范围内的广播频道。例如，如果当前调谐的广播频道是“9-1KBS2”，则控制单元140在频道列表11700中显示“6-1SBS”、“7-1KBS 1”、“9-1KBS 2”、“11-1MBC”、“13-1EBS”，如图117所示。
用户可以通过选择频道列表11700中的频道之一来改变频道。因此，即使语音辅助信息没有显示与频道列表相对应的语音项目，用户也能够通过语音识别执行显示频道列表的任务。
图118是根据示范性实施例的、解释在说出不属于语音辅助信息上所显示的语音项目的命令的情况下的电子设备100的控制方法的流程图。
电子设备100显示语音辅助信息(S11810)。语音辅助信息可以包括指示电子设备100的当前模式是语音任务模式的图标、以及多个指导语音任务模式的语音项目。
电子设备100接收除了与语音项目相对应的命令以外的命令的输入(S11820)。除了与语音项目相对应的命令以外的命令可以是与遥控器中包括的可运行键相对应的词，该遥控器与电子设备100通信。例如，该词可以包括生成频道列表的命令、生成菜单的命令、运行社交网络的命令、指导节目时间表的命令、改变为3D图像的命令、和指导广播的命令中的至少一个。
除了与语音项目相对应的命令以外的命令可以是与提供任务的命令相对应的词，该任务与由电子设备100当前执行的功能有关。例如，如果电子设备100当前执行重现运动图像的功能，则该词可以包括重现运动图像的命令、暂停运动图像的命令、停止运动图像的命令、重现前一个文件的命令、重现下一个文件的命令、向前跳的命令、向后跳的命令中的至少一个。
电子设备100按照输入的命令执行语音任务(S11830)。例如，如果输入生成频道列表的命令，则电子设备100生成并显示频道列表。
如上所述，用户能够执行与语音辅助信息中没有显示的命令相对应的任务。
控制单元140不仅可以执行使用一只手的动作任务模式，而且还可以执行使用双手的动作任务模式。
具体来说，如果通过动作输入单元120输入使用双手的动作启动命令，则控制单元140可以将电子设备100的模式改变为使用双手的动作任务模式，以使用双手来执行动作任务。
在使用一只手的动作任务模式中，如果输入使用另一只手的动作启动命令，则控制单元140可以识别到使用双手的动作启动命令。具体来说，如果如图119所示通过动作输入单元120输入的动作启动命令(例如，摇动一只手3到4次的动作)，则控制单元140将电子设备100的模式改变为动作任务模式，在动作任务模式中，电子设备100按照通过动作输入单元120输入的用户动作来控制。如果在该动作任务模式中通过动作输入单元120输入使用另一只手的动作启动命令，则控制单元140将电子设备100的模式改变为使用双手的动作任务模式，以使用双手执行动作任务。
在另一个示范性实施例中，如果输入同时摇动双手多次(例如，3到4次)的摇动动作，则可以识别到使用双手的动作启动命令。具体来说，如果如图120所示通过动作输入单元120输入同时摇动手多次的摇动动作，则控制单元140可以将电子设备100的模式改变为使用双手的动作任务模式，以使用双手来执行动作任务。
使用双手的动作任务可以是放大或缩小显示屏幕的任务。
具体来说，如果运行了不可能执行使用双手的动作任务的应用，则控制单元140可以输出不可能执行使用双手的动作任务的消息。例如，如果运行了不可能执行使用双手的动作任务的应用，则控制单元140可以显示指示不可能执行使用双手的动作任务的图标。
图121是根据示范性实施例的、解释使用双手的动作任务模式的流程图。
电子设备100接收到使用双手的动作启动命令的输入(S12110)。例如，在使用一只手的动作任务模式中，如果输入了使用另一只手的动作启动命令，则识别到正在输入使用双手的动作启动命令。
在另一个示范性实施例中，如果输入了同时摇动双手多次(例如，3到4次)的摇动动作，则可以识别到使用双手的动作启动命令。
如果输入了使用双手的动作启动命令，电子设备100将电子设备100的模式改变为使用双手的动作任务模式以执行使用双手的电子设备的任务(S12120)。使用双手的动作任务可以是放大或缩小显示屏幕的任务。
如上所述，用户不仅能够使用一只手而且能够使用双手来执行动作任务。
如果通过动作输入单元120输入动作启动命令，则控制单元140将电子设备100的模式改变为动作任务模式，在动作任务模式中，按照输入动作启动命令的用户的动作来执行动作任务。在动作任务模式中，只按照输入动作启动命令的用户的动作来执行动作任务，直到输入动作启动命令的用户释放动作任务模式为止。即使除了输入该动作启动命令的用户以外的其他用户输入了动作启动命令，该动作任务模式也将被保持。
具体来说，如果通过动作输入单元120输入了动作启动命令，则控制单元140可以使用动作识别模块130l来追踪输入该动作启动命令的用户的手。控制单元140可以使用用户手的形状、颜色和动作中的至少一个来追踪用户的手。
即使通过动作输入单元120输入了另一个用户的手的动作启动命令，控制单元140也不执行另一个用户的手的动作任务，而且追踪最初输入动作启动命令的用户的手并执行动作任务。
即使由另一个用户输入动作启动命令，控制单元140也可以按照最初输入动作启动命令的用户的动作执行动作任务，直到最初输入动作启动命令的用户输入释放动作任务模式的命令。
即使在动作任务模式中输入动作启动命令的用户的手与其他用户的手重叠，也可以按照输入该动作启动命令的用户的动作来执行动作任务。
可替换地，如果输入了使用一只手的动作启动命令而且输入了使用除了输入该动作启动命令的用户以外的其他用户的一只手的另一个动作启动命令，则控制单元140可以将电子设备100的模式改变为使用双手的动作任务模式，以使用双手执行动作任务。使用双手的动作任务模式可以由最初输入动作启动命令的用户的一只手和另一个用户的一只手来执行。
如果通过动作输入单元120从多个用户输入多个动作启动命令，则控制单元140从多个动作启动命令当中确定最初输入的动作启动命令。如果确定了最初输入的动作启动命令，则控制单元140将电子设备100的模式改变为动作任务模式，在动作任务模式中，按照最初输入动作启动命令的用户的动作来执行动作任务。
可以只按照最初输入动作启动命令的用户的动作来执行动作任务，直到最初输入动作启动命令的用户释放动作任务模式为止。即使除了最初输入动作启动命令的用户以外的其他用户输入了动作启动命令，该动作任务模式也将被保持。
图122是根据示范性实施例的、解释在多个用户输入多个动作启动命令的情况下的电子设备100的控制方法的流程图。
电子设备100通过动作输入单元120从多个用户接收到多个动作启动命令(S12210)。动作启动命令可以是多次(例如，3到4次)摇动用户的手的摇动动作。
电子设备100从多个动作启动命令当中确定最初输入的动作启动命令(S12220)。具体来说，电子设备100可以使用用于输入动作启动命令的用户手的形状、颜色和动作来确定最初输入的动作启动命令。
电子设备100使用最初输入动作启动命令的用户的动作来执行动作任务(S12230)。具体来说，如果电子设备100确定了最初输入的动作启动命令，则电子设备100可以将电子设备100的模式改变为动作任务模式，在动作任务模式中，按照最初输入动作启动命令的用户的动作来执行动作任务。电子设备100在动作任务模式中使用最初输入动作启动命令的用户的动作来执行动作任务。
可以只按照最初输入动作启动命令的用户的动作来执行动作任务，直到最初输入动作启动命令的用户释放动作任务模式为止。即使除了最初输入动作启动命令的用户以外的其他用户输入了动作启动命令，该动作任务模式也可以被保持。
如上所述，动作任务按照最初输入的动作启动命令来执行，从而能够防止其他用户的动作引起的误操作。
控制单元140可以分阶段地执行语音任务。具体来说，如果通过语音输入单元110输入用户的第一语音，则控制单元140可以响应于第一语音而在图像的一个区域上显示指导至少一个语音任务的第一菜单。如果通过语音输入单元110输入用户的第二语音，则控制单元140可以执行至少一个语音任务当中的、与用户的第二语音相对应的语音任务。
例如，如果通过语音输入单元110输入改变频道的命令，则控制单元140可以显示包括用于指导频道的改变的信息的第一菜单。如果通过语音输入单元110输入与频道标识符(例如，频道名称、频道号码和节目名称之一)相对应的用户语音，则控制单元140可以将当前频道改变为与用户语音相对应的频道。
如果通过语音输入单元110输入与节目名称对对应的用户语音，则控制单元140从预先存储的节目指南(EPG)中搜索通过语音输入单元110输入的节目名称，并且将当前频道改变为播出输入的节目名称的频道或者安排观看时间。
下文中，将参照图123至图125解释分阶段执行语音识别的情况。
如果通过语音输入单元110输入语音启动命令，则控制单元140将电子设备100的模式改变为语音任务模式，在语音任务模式中，电子设备100按照通过语音输入单元110输入的用户语音来控制。控制单元140可以显示包括多个语音项目的语音辅助信息，如图123所示。
如果显示语音辅助信息，而且通过语音输入单元110输入了与频道语音项目812相对应的用户语音(例如，“频道”)，则控制单元140改变语音辅助信息，并且显示指导语音任务的执行的第一菜单。例如，控制单元140可以显示“请说出频道名称或频道号码”12410以指导频道的改变，如图124所示。
如果通过语音输入单元110输入与频道号码、频道名称以及广播节目名称之一相对应的用户语音，则控制单元140将当前频道改变为与用户语音相对应的频道。例如，如果通过语音输入单元110输入“7”，则控制单元140通过调谐到频道7来显示频道7，如图125所示。
如上所述，分阶段地执行语音任务，从而能够防止误操作。具体来说，如果用户想要改变频道，则用户在选择一次频道语音项目之后改变频道，从而能够避免改变为不期望的频道。
图126是根据示范性实施例的、解释分阶段地执行语音任务的电子设备100的控制方法的流程图。
电子设备100显示图像(S12610)。图像可以包括语音辅助信息。
电子设备100通过语音输入单元110接收第一语音的输入(S12620)。第一语音可以是与所显示的语音辅助信息中所包括的多个语音项目之一相对应的用户语音。
电子设备100响应于输入的第一语音而显示指导语音任务的执行的第一菜单(S12630)。
电子设备100通过语音输入单元110接收第二语音的输入(S12640)。第二语音是执行具体语音任务的命令。
电子设备100响应于输入的第二语音而执行与第二语音相对应的语音任务(S12650)。例如，如果第二语音是频道名称，则电子设备100将广播频道改变为与第二语音相对应的频道。
如上所述，语音任务是分阶段执行的，从而能够防止误操作。
在按照通过语音输入单元110输入的用户语音来执行语音任务的语音任务模式中，控制单元140显示至少一个可运行图标和该可运行图标的名称。
语音输入单元110接收用户语音的输入。如果在至少一个可运行图标当中存在只显示可运行图标的名称的一部分的第一可运行图标，而且输入的用户语音与第一可运行图标的名称的所显示的部分一致，则控制单元140运行第一可运行图标。
如果输入的用户语音与构成第一可运行图标的名称的所显示的部分的多个拼写一致，则控制单元140运行第一可运行图标。
如果在可运行图标当中存在名称包括特殊字符的第二可运行图标，而且输入的用户语音与不包括第二可运行图标的名称中所包括的特殊字符的可说出名称一致，则控制单元140可以运行第二可运行图标。
特殊字符可以是不能由用户说出的符号。例如，特殊字符可以是，但不限于，问号(？)、逗号(，)和句号(。)。
例如，如果存在具有可运行图标的名称“面部识别，语音识别”的应用，则当通过语音输入单元110输入用户语音“面部识别，语音识别”时，控制单元140运行该应用。
在上面的示例中，控制单元140执行可运行图标。然而，这仅仅是示例，而且在控制单元140执行超链接的情况下也可以应用本公开的技术想法。
下文中，将参照图127和图128解释根据示范性实施例的、显示运行可运行图标的名称的一部分的可运行图标的方法。
控制单元140根据用户的特定命令显示包括用于运行应用的多个可运行图标的内容列表(例如，智能中心)。如果内容列表中所包括的多个可运行图标当中包括名称的字符数超过预定数量的可运行图标，则控制单元140可以只显示该可运行图标的完整名称的一部分。例如，如果内容列表中所包括的多个可运行图标当中包括名称超过10个字符的可运行图标，则控制单元140可以不显示该可运行图标的完整名称“令人兴奋的鼓(Exciting Drum)”，而是只显示“令人兴奋的(Exciting)”，如图127所示。
如果显示了内容列表，而且通过语音输入单元110输入了语音启动命令，则电子设备100将电子设备100的模式改变为语音任务模式，在语音任务模式中，电子设备100按照通过语音输入单元110输入的用户语音来控制。如果模式改变为语音任务模式，则电子设备100如图127所示显示语音辅助信息。
如果显示了语音辅助信息，而且通过语音输入单元110说出与名称的所显示的部分一致的“令人兴奋的(Exciting)”，则控制单元140运行“令人兴奋的鼓(Exciting Drum)”，如图128所示。
此外，如果显示了语音辅助信息，而且通过语音输入单元110输入了构成名称的所显示的部分的多个拼写“E”、“X”、“C”、“I”、“T”、“I”、“N”和“G”，则控制单元140运行“令人兴奋的鼓(Exciting Drum)”，如图128所示。
图129是根据示范性实施例的、解释运行显示可运行图标的名称的一部分的可运行图标的方法的流程图。
电子设备100响应于通过语音输入单元110输入的语音启动命令而将电子设备100的模式改变为语音任务模式(S12910)。电子设备100显示包括用于运行应用的多个可运行图标的内容列表。
具体地，电子设备100在内容列表上显示可运行图标，该可运行图标显示可运行图标的名称的一部分(S12920)。这是因为可运行图标的名称的字符数量超过预定数量，从而不能显示可运行图标的完整名称。
电子设备100通过语音输入单元110接收用户语音的输入(S12930)。
电子设备100确定通过语音输入单元110输入的用户语音是否与名称的所显示的部分一致(S12940)。
如果存在其名称的一部分与通过语音输入单元110输入的用户语音一致的可运行图标(S12940-是)，则电子设备100运行该可运行图标(S12950)。
在上面的示范性实施例中，电子设备100运行可运行图标。然而，这仅仅是示例，而且在电子设备100运行超链接的情况下也可以应用本公开的技术想法。
如上所述，能够通过只说出相应的可运行图标的名称的一部分来运行应用或超链接。
如果在动作任务模式中通过动作输入单元120输入第一用户动作和第二用户动作之一，而且如果应用运行屏幕是可放大或可缩小的，则控制单元140可以通过响应于识别到的第一用户动作和第二用户动作之一而放大或缩小应用运行屏幕，来显示应用运行屏幕。
具体来说，如果在运行应用时通过动作输入单元120输入动作启动命令，则控制单元140将电子设备100的模式改变为动作任务模式。如果通过动作输入单元120输入了第一用户动作和第二用户动作之一，则控制单元140识别第一用户动作和第二用户动作之一，而且响应于识别到的动作而放大或缩小应用运行屏幕。
第一用户用作可以是使双手相互远离的动作，而且如果识别到第一用户动作，则控制单元140可以通过放大应用运行屏幕来显示应用运行屏幕。
第二用户用作可以是使双手相互靠近的动作，而且如果识别到第二用户动作，则控制单元140可以通过缩小应用运行屏幕来显示应用运行屏幕。
如果在动作任务模式中通过动作输入单元120输入了第三用户动作，则控制单元140可以识别第三用户动作，而且通过响应于第三用户动作而移动应用运行屏幕来显示应用运行屏幕。第三用户动作可以是在保持抓动作的同时移动一只手的动作。应用运行屏幕在电子设备100的显示屏幕之内是可移动的。
下文中，将参照图130至图133解释输入到网页的特殊姿势。
如果显示了网页，而且通过动作输入单元120输入了动作启动命令，则控制单元140可以在网页的下部显示动作辅助信息，如图130所示。此外，如果电子设备100进入动作任务模式，则控制单元140在显示屏幕的中心处显示指针13000。
如果显示了动作辅助信息，而且通过动作输入单元120输入了使用双手的动作启动命令，则控制单元140进入使用双手的动作任务模式。
如果在使用双手的动作任务模式中通过动作输入单元120输入了使双手相互远离的动作，则控制单元140放大网页屏幕，如图131所示。当放大网页屏幕时，可以移除指针。
如果放大了网页屏幕，则控制单元140再次显示指针13000，如图132所示。
如果显示了指针13000，而且通过动作输入单元120输入了抓一只手并且移动抓手的动作，则控制单元140可以按照抓一只手并且移动抓手的动作来移动显示屏幕。
例如，如果通过动作输入单元120输入了抓一只手并且沿向右方向移动抓手的动作，则控制单元140可以沿向右方向来移动显示屏幕，如图133所示。
如上所述，用户能够使用用户动作来移动、放大或缩小电子设备100的显示屏幕。
图134是示出根据示范性实施例的、在输入特殊姿势的情况下的电子设备100的控制方法的流程图。
电子设备100通过动作输入单元120接收动作启动命令(S13410)。
如果输入了动作启动命令，则电子设备100识别动作启动命令并将电子设备100的模式改变为动作任务模式(S13420)。如果将模式改为动作任务模式，则电子设备100显示指针和执行动作任务模式的动作辅助信息。
电子设备100按照用户操纵来运行应用(S13430)。
电子设备100通过动作输入单元120接收特殊动作的输入(S13440)。特殊动作可以是使用双手来放大或缩小显示屏幕的动作或者移动抓手来移动显示屏幕的动作。
如果输入了特殊动作，则电子设备100执行与特殊动作相对应的动作任务(S13450)。例如，如果输入了将双手彼此拉近的动作，则电子设备100执行缩小显示屏幕的任务，而且，如果输入了使双手相互远离的动作，则电子设备100执行放大显示屏幕的任务。如果输入了移动抓手的动作，则电子设备100沿该动作的方向上移动显示屏幕。
如上所述，用户能够使用用户动作来移动、放大或缩小显示屏幕。
控制单元140可以通过电子设备100中包括的语音输入单元110来接收语音启动命令，而且也可以通过与电子设备100通信的设备接收语音启动命令。
在通过电子设备100中包括的语音输入单元110输入语音启动命令的情况下获得的语音识别被称为长距离(long-distance)语音识别。如果执行长距离语音识别，则可以显示指示长距离语音识别的图标13510，如图135所示。
具体来说，如果从电子设备100中包括的语音输入单元110输入语音启动命令，则控制单元140将电子设备100的模式改变为第一语音任务模式。第一语音任务模式是按照从电子设备100中包括的语音输入单元110输入的用户语音来执行语音任务的模式。如果将模式改变为第一语音任务模式，则控制单元140可以显示指示长距离语音识别的图标13510。
如果显示了指示长距离语音识别的图标，而且在预定的时间内没有用户语音输入到电子设备100中包括的语音输入单元110中，则控制单元140释放第一语音任务模式并且将电子设备100的模式改变为遥控模式，在遥控模式中，电子设备100由遥控器控制。
在通过与电子设备100通信的设备输入语音启动命令的情况下获得的语音识别被称为短距离(short-distance)语音识别。如果执行短距离语音识别，则可以显示指示短距离语音识别的图标13610，如图136所示。与电子设备100通信的设备可以是，但不限于，遥控器或移动电话。该设备可以通过有线或无线连接、通过网络等与电子设备100通信。该设备可以通过配对过程与电子设备100配对。
从与电子设备100通信的设备输入的语音启动命令可以是对应于与电子设备100通信的该设备中包括的特定按钮(语音任务模式改变按钮)的信号以及通过与电子设备100通信的该设备中包括的麦克风输入的特定用户语音之一。
如果从与电子设备100通信的设备输入了语音启动命令，则控制单元140将电子设备100的模式改变为第二语音任务模式。第二语音任务模式是按照通过与电子设备100通信的设备中包括的麦克风输入的用户语音来执行语音任务的模式。如果将模式改变为第二语音任务模式，则控制单元140可以显示指示短距离语音识别的图标13610。
如果显示了指示短距离语音识别的图标，而且在预定的时间内没有用户语音输入到与电子设备100通信的设备中包括的麦克风中，则控制单元140释放第二语音任务模式并且将电子设备100的模式改变为遥控模式，在遥控模式中，电子设备100由遥控器控制。
图137是根据示范性实施例的、解释根据语音输入方法来提供不同图标的电子设备100的控制方法的流程图。
电子设备100从电子设备100中包括的麦克风和遥控器中包括的麦克风之一接收语音启动命令(S13710)。如果语音启动命令是从电子设备100中包括的麦克风输入的，则电子设备100将电子设备100的模式改变为长距离语音任务模式。如果语音启动命令是从遥控器中包括的麦克风输入的，则电子设备100将电子设备100的模式改变为短距离语音任务模式。
电子设备100可以根据输入语音启动命令的设备而不同地显示图标(S13720)。具体来说，如果语音启动命令是从电子设备100中包括的麦克风输入的，则电子设备100显示指示长距离语音任务模式的图标，而且如果语音启动命令是从遥控器中包括的麦克风输入的，则电子设备100显示指示短距离语音任务模式的图标。
如上所述，根据输入语音启动命令的设备来划分语音任务模式，而且根据语音任务模式显示不同的图标，从而用户能够知道哪个设备应该用于执行语音任务模式。
在执行语音识别之后，控制单元140显示文本输入校正菜单(例如，输入法编辑器(IME))以校正与识别到的语音相对应的文本，以便更准确地识别语音。
例如，如果通过语音输入单元110输入了语音启动命令，则控制单元140显示语音辅助信息以执行语音任务，该语音任务是按照通过语音输入单元110输入的用户语音来控制的。
如果输入了执行需要文本输入的任务的第一用户语音，则控制单元140显示用于文本输入的文本输入窗口。需要文本输入的任务可以是，但不限于，网页冲浪(surfing)。
如果输入了用于在文本输入窗口上输入文本的第二用户语音，则控制单元140可以在文本输入窗口上显示与输入的第二用户语音相对应的文本，并且可以显示文本输入菜单。
控制单元140在识别用户语音的同时显示前一个屏幕，而且在识别到用于在文本输入窗口上输入文本的第二用户语音之后在文本输入窗口上显示文本。控制单元140可以显示文本输入菜单。
如果存在包括输入到文本输入窗口的文本的多个候选搜索词，则控制单元140通过将候选搜索词列表与文本输入菜单重叠来显示候选搜索词列表。
如果完成文本输入窗口上的文本输入、或者取消文本输入窗口上的文本输入，则控制单元140可以从显示屏幕移除文本输入菜单。
以下，将参照图138至图141解释根据示范性实施例的、显示文本输入菜单的方法。
如果在显示网页时通过语音输入单元110输入了语音启动命令，则控制单元140显示语音辅助信息，如图138所示。
如果通过语音输入单元110输入了与“搜索”语音项目相对应的用户语音(例如，“搜索”)，则控制单元110显示文本输入窗口13910。
如果输入了用于在文本输入窗口13910上输入文本的用户语音(例如，“三星电子”)，则控制单元140识别用户语音并在文本输入窗口13910上显示识别到的用户语音。也就是说，控制单元140输入并在文本输入窗口13910上显示“三星电子”，如图139所示。
如果在文本输入窗口13910上输入“三星电子”，则控制单元140在文本输入窗口的一侧显示文本输入菜单13920，如图140所示。文本输入菜单是在文本输入窗口上输入的文本不正确的情况下对该文本进行校正的菜单。
如果存在包括输入到文本输入窗口13910的“三星电子”的多个候选搜索词，则控制单元140显示候选搜索词列表13930。例如，如果包括“三星电子”的多个候选搜索词包括“三星电子”、“三星电子的股价”和“三星电子的新闻”，则控制单元140显示候选搜索词列表13930，如图141所示。
图142是解释根据示范性实施例的、显示文本输入菜单(IME)的电子设备100的控制方法的流程图。
电子设备100通过语音输入单元110接收语音启动命令(S14210)。电子设备100可以显示包括多个可运行图标的内容列表以及包括多个超链接的网页。
如果输入了语音启动命令，则电子设备100将电子设备100的模式改变为语音任务模式，并且显示语音辅助信息以执行语音任务模式(S14220)。
电子设备100通过语音输入单元110接收用于执行搜索的用户语音的输入(S14230)。
电子设备100显示用于执行搜索的文本输入窗口(S14240)。
如果显示了文本输入窗口，则电子设备100通过语音输入单元110接收用于在文本输入窗口上输入文本的用户语音的输入(S14250)。
如果输入了用于输入文本的用户语音，则电子设备100在文本输入窗口上输入与输入的用户语音相对应的文本(S14260)。
如果在文本输入窗口上输入了文本，则电子设备100显示文本输入菜单(S14270)。文本输入菜单是在语音识别不清晰的情况下对在文本输入窗口上输入的文本进行校正的菜单。
因此，如果没有完全识别输入到语音输入单元110的用户语音，则用户能够使用文本输入菜单来补充语音识别。
控制单元140可以使用外部设备来识别语音。
具体来说，如果通过语音输入单元110输入了语音启动命令，则控制单元140显示语音辅助信息以指导语音任务，该语音任务是按照通过与电子设备100通信的设备(例如，遥控器)输入的用户语音来执行的。如果选择了与电子设备100通信的外部设备中包括的第一语音输入按钮，则控制单元140在语音辅助信息中显示用于指导语音搜索的第一指导消息。例如，可以显示指导消息“请按下语音搜索按钮，然后输入语音”。
当选择了外部设备中包括的第二语音输入按钮的时候，控制单元140通过语音输入单元110识别用户语音。语音输入单元110接收输入到外部设备的麦克风的用户语音，并且将用户语音发送到控制单元140。控制单元140在语音辅助信息中显示第二指导消息，其包括指示用户语音是通过语音输入单元110输入的信息。例如，可以显示指导消息“正在识别用户语音”。
控制单元140可以将识别到的用户语音作为文本输入到文本输入窗口上。控制单元140可以执行与识别到的用户语音相对应的语音任务。
如果释放了对第二语音输入按钮的选择，则控制单元140可以在语音辅助信息中显示第三指导消息，其确认用户语音的输入是否完成。第三指导消息可以包括询问是否继续输入用户语音的消息、询问输入的用户语音是否完整的消息和询问是否取消输入的用户语音的消息。
如果在显示第三指导消息的时候通过再次选择第二语音输入按钮而输入用户语音，则控制单元140可以连续地识别所输入的用户语音加上先前识别到的用户语音。例如，如果先前识别到的用户语音是“三星”而且通过再次选择第二语音输入按钮而输入用户语音“电子”，则控制单元140可以在文本输入窗口上输入“三星电子”。
第一语音输入按钮是语音输入按钮，而且第二语音输入按钮是语音搜索按钮。第一语音输入按钮和第二语音输入按钮可以此不同，或者可以是相同的按钮。
图143是根据示范性实施例的、解释使用外部设备来执行语音任务的方法的流程图。
电子设备100显示语音辅助信息以执行语音任务模式(S14310)。
外部设备按照用户操纵来选择语音输入按钮(S14320)。
如果选择了语音输入按钮，则电子设备100显示第一指导消息(S14330)。第一指导消息是语音辅助信息中指导语音搜索的UI。
在选择外部设备上的语音搜索按钮的时候，电子设备100通过语音输入单元110接收用户语音的输入(S14340)。语音输入单元110可以是从外部设备接收用户语音输入的通信单元。
电子设备100使用语音识别模块130k来识别通过语音输入单元110输入的用户语音(S14350)。
在上面的示范性实施例中，语音输入按钮和语音搜索按钮可以是相同的按钮。
如上所述，在选择外部设备上的语音搜索按钮的时候输入语音，从而能够防止不期望的语音识别。
如果在显示屏幕上显示可说出的名称，则控制单元140可以提取该名称并且特殊地显示该名称。如果名称是通过语音输入单元110输入的，则控制单元140执行与名称相对应的语音任务。
具体来说，如果通过语音输入单元110输入语音启动命令，则控制单元140响应于输入的语音启动命令而将电子设备100的模式改变为语音任务模式以执行语音任务，并且显示语音辅助信息以执行语音任务模式。
控制单元140从显示屏幕提取可选项目的文本。显示屏幕可以显示内容列表，该内容列表包括用于运行应用或网页的多个可运行图标。可选项目可以是内容列表中包括的用于运行应用的可运行图标和网页中包括的超链接之一。
如果项目名称的文本的字符数超过预定数量，则控制单元140只从项目名称的完整文本当中提取字符数小于该预定数量的文本，并显示该文本。
控制单元140可以将被提取了文本的项目与未被提取文本的其他项目不同地显示。
如果通过语音输入单元110输入的用户语音与提取的文本一致，则控制单元140运行与该文本相对应的项目。
如果通过语音输入单元110输入的用户语音与所提取的字符数小于预定数量的文本一致，则控制单元140运行与该字符数小于预定数量的文本相对应的项目。
下文中，将参照图144和图145解释在显示屏幕上显示可说出的命令的情况。
控制单元140响应于通过语音输入单元110输入的语音启动命令而将电子设备100的模式改变为语音任务模式。控制单元140在显示屏幕的下部显示语音辅助信息。
如果通过语音输入单元110输入了“智能中心”，则控制单元140生成包括用于运行应用的多个可运行图标的内容列表，并显示该内容列表，如图144所示。
控制单元140提取多个可运行图标的名称。
如果提取了可运行图标的名称，则控制单元140为可运行图标的名称加下划线，如图144所示，如果可运行图标(例如，APP10和APP11)的名称未被提取，则控制单元140不给该可运行图标的名称加下划线。
如果可运行图标的名称的字符数超过预定数量，则控制单元140提取可运行图标的名称的一部分，并显示名称的该部分。例如，如果可运行图标的名称是“令人兴奋的鼓”，则控制单元140提取可运行图标的名称的一部分“令人兴奋的”，并如图144所示显示名称的该部分。为了指示“令人兴奋的”是名称的一部分，控制单元140可以在“令人兴奋的”之后显示“…”。
如果显示了可运行图标的已提取的名称，并且通过语音输入单元110输入了可运行图标的名称，则控制单元140运行该可运行图标。例如，如果通过语音输入单元110输入了“令人兴奋的”，则控制单元140运行应用“令人兴奋的鼓”，如图145所示。
图146是根据示范性实施例的、解释在显示屏幕上显示可说出的命令的情况下执行语音任务的方法的流程图。
电子设备100通过语音输入单元110接收语音启动命令(S14610)。
电子设备100响应于通过语音输入单元110输入的语音启动命令而将电子设备100的模式改变为语音任务模式(S14620)。
电子设备100在显示屏幕的下部显示语音辅助信息以执行语音任务模式(S14630)。
电子设备100提取显示屏幕中包括的项目的文本(S14640)。该项目可以是内容列表中包括的可运行图标的名称或网页中包括的超链接的文本。
电子设备100通过语音输入单元110接收用户语音的输入(S14650)。
如果存在其文本与通过语音输入单元110输入的用户语音一致的项目，则电子设备100运行相应的项目(S14660)。如果只显示文本的一部分，而且输入了与文本的该部分一致的用户语音，则控制单元140可以运行相应的项目。
如上所述，文本的名称被提取并被特殊地显示，从而用户能够更容易地使用语音识别。
在通过语音输入单元110输入用户语音的时候，如果只有一个超链接具有所输入的用户语音中所包括的文本，则控制单元140可以运行与该文本相对应的超链接。
具体来说，如果通过语音输入单元110输入了语音启动命令，则控制单元140响应于语音启动命令而将电子设备100的模式改变为语音任务模式，在语音任务模式中，电子设备100按照通过语音输入单元110输入的用户语音来控制。
在语音任务模式中，控制单元140从包括多个超链接的网页当中提取多个超链接的文本。
在提取文本之后，控制单元140可以将所提取的文本与未提取的文本不同地显示。例如，控制单元140可以为所提取的文本加下划线、加粗加深地显示所提取的文本、或高亮地显示所提取的文本。
在通过语音输入单元110输入用户语音的时候，如果只有一个超链接具有包括输入的用户语音的文本，则控制单元140可以运行与该文本相对应的超链接。例如，如果通过语音输入单元110输入的用户语音是“三星电子”而且从超链接提取的文本只是“三星电子”，则执行控制单元140运行具有文本“三星电子”的超链接。
在通过语音输入单元110输入用户语音的时候，如果只有一个超链接的文本与输入的用户语音部分一致而非全部一致，则控制单元140可以运行与该文本相对应的超链接。
在上面的示范性实施例中，已经描述了运行网页中包括的超链接的方法。然而，这仅仅是示例，而且本发明公开的技术想法可以应用于运行内容列表中包括的用于运行应用的可运行图标的方法。
图147是根据示范性实施例的、解释自动语音识别方法的流程图。
电子设备100通过语音输入单元110接收语音启动命令(S14710)。
电子设备100响应于通过语音输入单元110输入的语音启动命令而将电子设备100的模式改变为语音任务模式(S14720)。
如果电子设备100的显示屏幕包括超链接，则电子设备100提取超链接的文本(S14730)。
电子设备100通过语音输入单元110接收用户语音的输入。如果在输入用户语音的时候存在一个包括与输入的用户语音一致的文本的超链接，则电子设备100运行相应的超链接(S14740)。与用户语音一致的文本可以是超链接的整个文本。然而，这仅仅是示例，与用户语音一致的文本可以是超链接的文本的一部分。
如上所述，如果只有一个超链接具有与用户语音一致的文本，则自动运行相应的超链接，从而用户能够更容易地使用语音识别来运行超链接。
如果识别到输入的用户语音，而且存在具有与识别到的用户语音一致的文本的多个超链接，则控制单元140显示候选组列表，其包括具有与识别到的用户语音一致的文本的超链接。
具体来说，如果通过语音输入单元110输入语音启动命令，则控制单元140响应于语音启动命令而将电子设备100的模式改变为语音任务模式，在语音任务模式中，电子设备100按照通过语音输入单元110输入的用户语音来控制。
显示屏幕显示包括多个超链接的网页。
控制单元140提取该网页中所包括的多个超链接中的包括的文本。控制单元140可以将所提取的文本与未提取的文本不同地显示。例如，控制单元140可以为所提取的文本加下划线、加粗加深地显示所提取的文本、或高亮显示所提取的文本。
如果通过语音输入单元110输入用户语音，则控制单元140识别输入的用户语音，而且如果存在具有与识别到的用户语音一致的文本的多个超链接，则控制单元140显示候选组列表，其包括具有与识别到的用户语音一致的文本的超链接。例如，如果输入到语音输入单元110的用户语音是“三星电子”，则控制单元140可以生成候选组列表，其包括具有包含“三星电子”的文本的超链接。
如果通过语音输入单元110重新输入用户语音，则控制单元140可以识别重新输入的用户语音，并且可以基于重新输入的用户语音来改变候选组列表。例如，如果识别到“三星电子”而且重新输入了“股票”，则控制单元140可以将候选组列表改变为只包括具有包含“三星电子股票”的文本的超链接。
如果释放了语音任务模式，则控制单元140可以从显示屏幕移除候选组列表。
图148是根据示范性实施例的、解释用于显示候选组列表的方法的流程图。
电子设备100通过语音输入单元110接收语音启动命令(S14810)。
电子设备100响应于通过语音输入单元110输入的语音启动命令而将电子设备100的模式改变为语音任务模式(S14820)。
电子设备100根据用户操纵在显示屏幕上显示网页(S14830)。该网页包括多个超链接。
电子设备100提取网页中包括的超链接的文本(S14840)。
电子设备100通过语音输入单元110接收用户语音的输入(S14850)。
电子设备100确定是否只有一个超链接具有与该用户语音一致的文本(S14860)。
如果只有一个超链接具有与该用户语音一致的文本(S14860-是)，则控制单元140运行相应的超链接(S14870)。
然而，如果存在具有与用户语音一致的文本的多个超链接(S14860-否)，则控制单元140生成包括多个超链接的候选组列表，并显示该候选组列表(S14880)。控制单元140根据用户操纵(例如，将超链接的文本作为语音输入)来选择超链接(S14890)，并运行所选择的超链接(S14870)。
如上所述，生成候选组列表，从而即使有多个超链接与用户语音一致，用户也能够使用候选组列表来运行期望的超链接。
如果通过语音输入单元110输入的用户语音的等级低于预定等级，则控制单元140可以在语音辅助信息的第一区域上显示反馈UI，其指示用户语音是不可识别的。
具体来说，如果通过语音输入单元110输入语音启动命令，则控制单元140响应于语音启动命令而将电子设备100的模式改变为语音任务模式，在语音任务模式中，电子设备100按照通过语音输入单元110输入的用户语音来控制。
在语音任务模式中，控制单元140显示指导语音任务的语音辅助信息，该语音任务是按照通过语音输入单元110输入的用户语音来执行的。语音辅助信息可以在显示屏幕的下部显示。
语音输入单元110接收用户语音的输入。
如果通过语音输入单元110输入的用户语音低于预定音量，则控制单元140在语音辅助信息的第一区域上显示反馈UI，其指示用户语音是不可识别的。反馈UI可以包括这样的GUI，其以条(bar)的形式表示预定音量和通过语音输入单元110输入的用户语音的音量。第一区域可以位于语音辅助信息的下部。
此外，控制单元140可以在语音辅助信息中显示用户语音应该高于预定音量的消息。例如，可以显示消息：“请再大点儿声说”。
图149是根据示范性实施例的、解释指导语音识别错误的UI的流程图。
电子设备100通过语音输入单元110接收语音启动命令(S14910)。
电子设备100响应于通过语音输入单元110输入的语音启动命令而将电子设备100的模式改变为语音任务模式(S14920)。
电子设备100在显示屏幕的下部显示语音辅助信息以执行语音任务模式(S14930)。
电子设备100通过语音输入单元110接收用户语音的输入(S14940)。
如果通过语音输入单元110输入的用户语音的等级低于预定等级，则电子设备100显示反馈UI(S14950)。反馈UI可以是这样的UI，该UI包括由于用户语音的等级低于预定等级而无法识别用户语音的消息、以及用户应该再大点儿声说话的消息。
如上所述，如果用户语音太小以至于无法识别该语音，则电子设备100通知该语音是不可识别的，从而用户能够容易地意识到该语音是无法识别的，从而能够容易地解决这个问题。
如上所述，用户能够通过用户语音和用户动作之一更有效且更直观地控制电子设备100。
在上面的示范性实施例中，描述了用户动作(诸如作为动作启动命令的用户动作，其被设置为水平摇动一只手3至4次的动作)。然而，这些示范性实施例不应该被视为限制，因为示范性实施例能够由任何用户动作来实现。
在上面的示范性实施例中，描述了用户语音命令。然而，这些示范性实施例不应该被视为限制，因为示范性实施例能够由任何用户语音输入来实现。
在上面的示范性实施例中，语音输入单元110可以由直接接收用户语音的输入的麦克风来实现，或者由接收输入到该麦克风的语音信号的接口来实现。同样，动作输入单元120可以由直接拍摄用户的照相机来实现，或者可以由接收照相机所拍摄的数据的接口来实现。
以上所述的电子设备100可以由TV实现。然而，这不应该被视为限制，而且电子设备100可以由各种设备实现，诸如机顶盒、PC、膝上型计算机、平板PC、电子相册、电子书、PDA、移动电话等。
此外，参照图3，各种软件模块存储在存储单元130中。然而，软件模块不一定存储在一个存储单元130中。
也就是说，语音识别模块和动作识别模块可以分别存储在单独的存储单元中。因此，语音识别模块可以从通过麦克风输入的语音信号中识别用户语音，并且可以将识别的结果提供给控制单元140。此外，动作识别模块可以使用照相机所拍摄的图像信号来识别用户动作，并且可以将识别的结果提供给控制单元140。
此外，语音识别模块和动作识别模块可以分别存储在单独的外部设备中。例如，包括麦克风的语音识别设备可以使用语音识别模块来识别用户语音，然后可以将识别的结果提供给电子设备100。同样，包括照相机的动作识别设备可以使用动作识别模块来识别用户动作，然后可以将识别的结果提供给电子设备100。
执行上述控制方法的程序代码可以存储在各种类型的记录介质中。具体来说，该程序代码可以存储在终端设备可读的各种类型的记录介质中，诸如随机存取存储器(RAM)、闪存、只读存储器(ROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、寄存器、硬盘、可移动盘、存储卡、USB存储器、CD-ROM等。
上述示范性实施例和优点仅仅是示范性的，并且不应被解释为限制本发明构思。示范性实施例能够容易地应用到其他类型的设备。此外，对示范性实施例的描述旨在说明，而不是限制权利要求的范围，而且许多替换、修改和变化对本领域技术人员而言将是显而易见的。

Claims (11)

1.一种电子设备，包括：
显示单元，其显示图像；
动作输入单元，其使用电子设备的相机获得用户动作；
存储单元，其存储动作数据库，其中根据图像的类型不同地映射与预定的用户动作相对应的动作任务；以及
控制单元，其识别通过动作输入单元输入的用户动作，根据当前显示在显示单元上的图像的类型来执行与识别到的用户动作相对应的动作任务，并且控制显示单元根据当前显示在显示单元上的图像的类型来显示动作辅助信息。
2.如权利要求1所述的电子设备，其中，如果所述图像的类型是广播图像，则所述控制单元响应于识别到的用户动作执行频道改变功能或音量调节功能，而且如果所述图像的类型是网页图像，则所述控制单元响应于识别到的用户动作执行屏幕移动功能。
3.如权利要求2所述的电子设备，其中，所述用户动作是拍动作。
4.如权利要求3所述的电子设备，其中，在所述用户动作是沿上下方向的拍动作的情况下，如果所述图像的类型是广播图像，则所述控制单元响应于识别到的用户动作执行频道改变功能，
而且如果所述图像的类型是网页图像，则所述控制单元响应于识别到的用户动作沿上下方向执行屏幕移动功能。
5.如权利要求3所述的电子设备，其中，在所述用户动作是沿左右方向的拍动作的情况下，如果所述图像的类型是广播图像，则所述控制单元响应于识别到的用户动作执行音量调节功能，
而且如果所述图像的类型是网页图像，则所述控制单元响应于识别到的用户动作沿左右方向执行屏幕移动功能。
6.一种电子设备的控制方法，该方法包括：
根据当前显示在电子设备上的图像的类型来显示动作辅助信息；
使用电子设备的相机获得用户动作，并且通过动作识别模块识别用户动作；以及
根据当前显示在电子设备上的图像的类型来执行与用户动作相对应的动作任务。
7.如权利要求6所述的控制方法，其中，如果所述图像的类型是广播图像，则响应于用户动作执行频道改变功能或音量调节功能，而且如果所述图像的类型是网页图像，则响应于用户动作执行屏幕移动功能。
8.如权利要求7所述的控制方法，其中，所述用户动作是拍动作。
9.如权利要求8所述的控制方法，其中，在所述用户动作是沿上下方向的拍动作的情况下，如果所述图像的类型是广播图像，则响应于用户动作执行频道改变功能，
而且如果所述图像的类型是网页图像，则响应于用户动作沿上下方向执行屏幕移动功能。
10.如权利要求8所述的控制方法，其中，在所述用户动作是沿左右方向的拍动作的情况下，如果所述图像的类型是广播图像，则响应于用户动作执行音量调节功能，
而且如果所述图像的类型是网页图像，则响应于用户动作沿左右方向执行屏幕移动功能。
11.如权利要求6所述的控制方法，其中，所述电子设备存储动作数据库，其中根据图像的类型不同地映射与预定的用户动作相对应的动作任务，而且，
使用动作数据库来执行与用户动作相对应的动作任务。
CN201410806882.0A 2011-08-05 2012-08-06 控制电子设备的方法和应用该方法的电子设备 Pending CN104486679A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161515459P 2011-08-05 2011-08-05
US61/515,459 2011-08-05
KR10-2012-0040995 2012-04-19
KR1020120040995A KR101311972B1 (ko) 2011-08-05 2012-04-19 모션 인식을 이용한 전자 장치의 제어 방법 및 이를 적용한 전자 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2012102769866A Division CN102917271A (zh) 2011-08-05 2012-08-06 控制电子设备的方法和应用该方法的电子设备

Publications (1)

Publication Number Publication Date
CN104486679A true CN104486679A (zh) 2015-04-01

Family

ID=47895696

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201280037818.XA Pending CN103733163A (zh) 2011-08-05 2012-08-02 使用运动识别的电子设备以及用于控制电子设备的方法
CN2012102772267A Pending CN103034328A (zh) 2011-08-05 2012-08-06 电子设备以及提供其用户界面的方法
CN2012102844138A Pending CN103150011A (zh) 2011-08-05 2012-08-06 控制电子设备的方法和应用该方法的电子设备
CN201710224750.0A Withdrawn CN107396154A (zh) 2011-08-05 2012-08-06 电子设备以及提供其用户界面的方法
CN201210277229.0A Active CN103150010B (zh) 2011-08-05 2012-08-06 控制电子设备的方法和应用该方法的电子设备
CN201410806882.0A Pending CN104486679A (zh) 2011-08-05 2012-08-06 控制电子设备的方法和应用该方法的电子设备

Family Applications Before (5)

Application Number Title Priority Date Filing Date
CN201280037818.XA Pending CN103733163A (zh) 2011-08-05 2012-08-02 使用运动识别的电子设备以及用于控制电子设备的方法
CN2012102772267A Pending CN103034328A (zh) 2011-08-05 2012-08-06 电子设备以及提供其用户界面的方法
CN2012102844138A Pending CN103150011A (zh) 2011-08-05 2012-08-06 控制电子设备的方法和应用该方法的电子设备
CN201710224750.0A Withdrawn CN107396154A (zh) 2011-08-05 2012-08-06 电子设备以及提供其用户界面的方法
CN201210277229.0A Active CN103150010B (zh) 2011-08-05 2012-08-06 控制电子设备的方法和应用该方法的电子设备

Country Status (10)

Country Link
US (2) US20130033422A1 (zh)
EP (2) EP2740018A4 (zh)
KR (5) KR101262700B1 (zh)
CN (6) CN103733163A (zh)
AU (5) AU2012293066A1 (zh)
BR (5) BR112013019983A2 (zh)
CA (5) CA2825813A1 (zh)
MX (5) MX2014001469A (zh)
RU (4) RU2625439C2 (zh)
WO (1) WO2013022224A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533359A (zh) * 2015-05-20 2018-01-02 三菱电机株式会社 信息处理装置和联锁控制方法
CN111208927A (zh) * 2019-12-30 2020-05-29 国电南瑞科技股份有限公司 一种适用于电力系统二次设备的人机接口及人机交互方法
CN113497958A (zh) * 2020-04-01 2021-10-12 青岛海信传媒网络技术有限公司 一种显示设备及图片的展示方法
CN114020192A (zh) * 2021-09-18 2022-02-08 特斯联科技集团有限公司 一种基于曲面电容实现非金属平面的互动方法和系统

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
EP3754997B1 (en) 2011-08-05 2023-08-30 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
KR20140085055A (ko) * 2012-12-27 2014-07-07 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR102057629B1 (ko) * 2013-02-19 2020-01-22 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
US20140282273A1 (en) * 2013-03-15 2014-09-18 Glen J. Anderson System and method for assigning voice and gesture command areas
KR102129786B1 (ko) 2013-04-03 2020-07-03 엘지전자 주식회사 단말기 및 이의 제어방법
KR102112522B1 (ko) * 2013-05-06 2020-05-19 삼성전자주식회사 디지털 텔레비전을 이용한 소셜 네트워크 서비스 제공 장치 및 방법
KR102069322B1 (ko) * 2013-06-05 2020-02-11 삼성전자주식회사 프로그램 실행 방법 및 그 전자 장치
KR102114612B1 (ko) * 2013-07-02 2020-05-25 엘지전자 주식회사 리모트 컨트롤러 및 멀티미디어 디바이스의 제어 방법
KR102199558B1 (ko) * 2013-08-06 2021-01-07 엘지전자 주식회사 단말기 및 그 동작 방법
CN104346127B (zh) * 2013-08-02 2018-05-22 腾讯科技（深圳）有限公司 语音输入的实现方法、装置及终端
CN103442138A (zh) * 2013-08-26 2013-12-11 华为终端有限公司 语音控制方法、装置及终端
KR102158315B1 (ko) 2013-10-14 2020-09-21 삼성전자주식회사 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
KR102092164B1 (ko) * 2013-12-27 2020-03-23 삼성전자주식회사 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들
KR20150092996A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 디스플레이 장치 및 이를 이용한 전자 장치의 제어 방법
KR102171817B1 (ko) * 2014-03-14 2020-10-29 삼성전자주식회사 디스플레이 장치 및 제어 방법
KR102216048B1 (ko) 2014-05-20 2021-02-15 삼성전자주식회사 음성 명령 인식 장치 및 방법
CN105208056B (zh) * 2014-06-18 2020-07-07 腾讯科技（深圳）有限公司 信息交互的方法及终端
KR101594874B1 (ko) * 2014-07-16 2016-02-17 삼성전자주식회사 전자 장치, 외부 장치 및 전자 장치의 외부 장치 전원 제어방법
EP3187995A4 (en) 2014-09-19 2017-08-23 Huawei Technologies Co., Ltd. Method and apparatus for running application program
KR101587625B1 (ko) * 2014-11-18 2016-01-21 박남태 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법
KR102311331B1 (ko) * 2014-11-20 2021-10-13 에스케이플래닛 주식회사 데이터저장장치 및 그 동작 방법
KR102334860B1 (ko) * 2014-11-21 2021-12-03 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
KR102254894B1 (ko) * 2015-01-05 2021-05-24 엘지전자 주식회사 음성 인식 검색 결과를 이용하여 카테고리를 배열하는 디스플레이 디바이스 및 그 제어 방법
KR102310870B1 (ko) 2015-01-12 2021-10-12 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102340231B1 (ko) * 2015-01-16 2021-12-16 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
KR20160090584A (ko) * 2015-01-22 2016-08-01 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN104795065A (zh) * 2015-04-30 2015-07-22 北京车音网科技有限公司 一种提高语音识别率的方法和电子设备
EP3096216B1 (en) * 2015-05-12 2018-08-29 Konica Minolta, Inc. Information processing device, information processing program, and information processing method
US10386941B2 (en) * 2015-06-16 2019-08-20 Intel Corporation Gyratory sensing system to enhance wearable device user experience via HMI extension
WO2016209039A1 (ko) * 2015-06-24 2016-12-29 주식회사 브이터치 의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR101702760B1 (ko) * 2015-07-08 2017-02-03 박남태 가상 키보드 음성입력 장치 및 방법
KR102077228B1 (ko) * 2015-09-03 2020-04-07 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN105302298B (zh) 2015-09-17 2017-05-31 深圳市国华识别科技开发有限公司 空中书写断笔系统和方法
KR101924019B1 (ko) 2015-10-12 2018-11-30 주식회사 네오펙트 측정센서장치의 부착위치 초기설정시스템, 초기설정방법 및 초기설정프로그램
KR102496617B1 (ko) * 2016-01-04 2023-02-06 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
US11388541B2 (en) 2016-01-07 2022-07-12 Noveto Systems Ltd. Audio communication system and method
WO2018127901A1 (en) 2017-01-05 2018-07-12 Noveto Systems Ltd. An audio communication system and method
IL243513B2 (en) * 2016-01-07 2023-11-01 Noveto Systems Ltd A system and method for voice communication
CN106293064A (zh) * 2016-07-25 2017-01-04 乐视控股（北京）有限公司 一种信息处理方法及设备
US10297254B2 (en) * 2016-10-03 2019-05-21 Google Llc Task initiation using long-tail voice commands by weighting strength of association of the tasks and their respective commands based on user feedback
CN113361999A (zh) * 2017-03-03 2021-09-07 北京星选科技有限公司 信息生成方法及装置
CN107146609B (zh) * 2017-04-10 2020-05-15 北京猎户星空科技有限公司 一种播放资源的切换方法、装置及智能设备
US11170768B2 (en) * 2017-04-17 2021-11-09 Samsung Electronics Co., Ltd Device for performing task corresponding to user utterance
FR3065545B1 (fr) * 2017-04-25 2019-06-28 Thales Procede de detection d'un signal d'un utilisateur pour generer au moins une instruction de commande d'un equipement avionique d'un aeronef, programme d'ordinateur et dispositif electronique associes
KR102524675B1 (ko) * 2017-05-12 2023-04-21 삼성전자주식회사 디스플레이 장치 및 이의 제어방법
EP3401797A1 (en) 2017-05-12 2018-11-14 Samsung Electronics Co., Ltd. Speech navigation for multilingual web pages
CN116072115A (zh) * 2017-05-12 2023-05-05 三星电子株式会社 显示设备及其控制方法
CN107452382A (zh) * 2017-07-19 2017-12-08 珠海市魅族科技有限公司 语音操作方法及装置、计算机装置和计算机可读存储介质
CN111108463A (zh) * 2017-10-30 2020-05-05 索尼公司 信息处理装置、信息处理方法和程序
KR102519635B1 (ko) 2018-01-05 2023-04-10 삼성전자주식회사 음성 명령을 처리하기 위한 전자 문서 표시 방법 및 그 전자 장치
KR102482589B1 (ko) 2018-02-12 2022-12-30 삼성전자주식회사 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치
DK201870353A1 (en) * 2018-05-07 2019-12-04 Apple Inc. USER INTERFACES FOR RECOMMENDING AND CONSUMING CONTENT ON AN ELECTRONIC DEVICE
CN108469772B (zh) * 2018-05-18 2021-07-20 创新先进技术有限公司 一种智能设备的控制方法和装置
KR102607666B1 (ko) * 2018-08-08 2023-11-29 삼성전자 주식회사 전자 장치에서 사용자 의도 확인을 위한 피드백 제공 방법 및 장치
CN109343754A (zh) * 2018-08-27 2019-02-15 维沃移动通信有限公司 一种图像显示方法及终端
KR102669100B1 (ko) * 2018-11-02 2024-05-27 삼성전자주식회사 전자 장치 및 그 제어 방법
CN109788344A (zh) * 2019-01-30 2019-05-21 四川省有线广播电视网络股份有限公司 智能语音弹窗附加信息投放设计方法
KR102219943B1 (ko) 2019-03-13 2021-02-25 주식회사 아이스크림미디어 스마트 마이크 제어 서버 및 시스템
CN113454583A (zh) * 2019-06-11 2021-09-28 深圳迈瑞生物医疗电子股份有限公司 医疗设备控制系统及医疗设备
CN112530419B (zh) * 2019-09-19 2024-05-24 百度在线网络技术（北京）有限公司 语音识别控制方法、装置、电子设备和可读存储介质
CN112533041A (zh) * 2019-09-19 2021-03-19 百度在线网络技术（北京）有限公司 视频播放方法、装置、电子设备和可读存储介质
CN114730580A (zh) 2019-11-11 2022-07-08 苹果公司 基于时间段的精选播放列表的用户界面
CN111128163A (zh) * 2019-12-26 2020-05-08 珠海格力电器股份有限公司 一种语音电器的控制器及其控制方法、装置和存储介质
KR102243477B1 (ko) * 2020-02-24 2021-04-22 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102318660B1 (ko) 2020-02-28 2021-10-28 (주)재플 방송 수신 장치와 그의 동영상 재핑 광고 제공 방법 및 동영상 재핑 광고 제공 시스템
CN111782098A (zh) 2020-07-02 2020-10-16 三星电子（中国）研发中心 一种页面导航方法、装置和智能设备
CN112397069A (zh) * 2021-01-19 2021-02-23 成都启英泰伦科技有限公司 一种语音遥控方法及装置
CN113573132B (zh) * 2021-07-23 2023-08-11 深圳康佳电子科技有限公司 一种基于语音实现的多应用拼屏方法、装置及存储介质
CN114461063B (zh) * 2022-01-18 2022-09-20 深圳时空科技集团有限公司 一种基于车载屏幕的人机交互方法
KR102526790B1 (ko) * 2022-07-15 2023-04-27 헬로칠드런 주식회사 치매 환자를 위한 소통 케어 시스템 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070252898A1 (en) * 2002-04-05 2007-11-01 Bruno Delean Remote control apparatus using gesture recognition
CN101410781A (zh) * 2006-01-30 2009-04-15 苹果公司 利用多点感测设备进行的手势操作
CN101437124A (zh) * 2008-12-17 2009-05-20 三星电子（中国）研发中心 面向电视控制的动态手势识别信号处理方法
CN101581969A (zh) * 2009-01-06 2009-11-18 香港应用科技研究院有限公司 运动驱动系统和相关的运动数据库
TW201009650A (en) * 2008-08-28 2010-03-01 Acer Inc Gesture guide system and method for controlling computer system by gesture
CN201708869U (zh) * 2010-03-31 2011-01-12 广东长虹电子有限公司 一种通过手势控制电视机的装置
US20110026765A1 (en) * 2009-07-31 2011-02-03 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
CN102055925A (zh) * 2009-11-06 2011-05-11 康佳集团股份有限公司 支持手势遥控的电视机及其使用方法

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5732227A (en) * 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5704009A (en) * 1995-06-30 1997-12-30 International Business Machines Corporation Method and apparatus for transmitting a voice sample to a voice activated data processing system
US20040243529A1 (en) * 1996-03-25 2004-12-02 Stoneman Martin L. Machine computational-processing systems for simulated-humanoid autonomous decision systems
IL119948A (en) * 1996-12-31 2004-09-27 News Datacom Ltd Voice activated communication system and program guide
JP2002041276A (ja) * 2000-07-24 2002-02-08 Sony Corp 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体
US6508706B2 (en) * 2001-06-21 2003-01-21 David Howard Sitrick Electronic interactive gaming apparatus, system and methodology
US7324947B2 (en) * 2001-10-03 2008-01-29 Promptu Systems Corporation Global speech user interface
FI20020847A (fi) * 2002-05-03 2003-11-04 Nokia Corp Menetelmä ja laite valikkotoimintojen käyttämiseksi
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
CN100454220C (zh) * 2003-05-08 2009-01-21 希尔克瑞斯特实验室公司 用于组织、选择和启动媒体项的控制架构
JP2005208798A (ja) * 2004-01-21 2005-08-04 Nissan Motor Co Ltd 情報提供端末、および情報提供方法
JP2007052397A (ja) 2005-07-21 2007-03-01 Denso Corp 操作装置
JP2007034525A (ja) * 2005-07-25 2007-02-08 Fuji Xerox Co Ltd 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
KR20070030398A (ko) * 2005-09-13 2007-03-16 주식회사 팬택 사용자의 손 동작에 따라서 마우스 포인터를 제어하는 이동통신 단말기 및 그 구현 방법
US20070130547A1 (en) * 2005-12-01 2007-06-07 Navisense, Llc Method and system for touchless user interface control
DE102005061144A1 (de) * 2005-12-21 2007-06-28 Robert Bosch Gmbh Bedienvorrichtung für ein elektronisches Gerät, insbesondere eine Fahrerinformationsvorrichtung
JP2007171809A (ja) * 2005-12-26 2007-07-05 Canon Inc 情報処理装置及び情報処理方法
EP1804500A1 (fr) * 2005-12-30 2007-07-04 Le Club Confort et Sécurité Téléviseur multifonction et autonome
KR100858358B1 (ko) * 2006-09-29 2008-09-11 김철우 손의 움직임 인식을 이용한 사용자인터페이스 장치 및 방법
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
KR100783552B1 (ko) * 2006-10-11 2007-12-07 삼성전자주식회사 휴대 단말기의 입력 제어 방법 및 장치
KR100913092B1 (ko) * 2006-12-01 2009-08-21 엘지전자 주식회사 믹스신호의 인터페이스 표시 방법 및 장치
DE202007014957U1 (de) * 2007-01-05 2007-12-27 Apple Inc., Cupertino Multimediakommunikationseinrichtung mit Berührungsbildschirm, der auf Gesten zur Steuerung, Manipulierung und Editierung von Mediendateien reagiert
CN101483683A (zh) * 2008-01-08 2009-07-15 宏达国际电子股份有限公司 手持装置及其语音识别方法
KR20090077480A (ko) * 2008-01-11 2009-07-15 삼성전자주식회사 조작 가이드를 표시하는 ｕｉ 제공방법 및 이를 적용한멀티미디어 기기
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
KR20100007625A (ko) * 2008-07-14 2010-01-22 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
KR20100030737A (ko) * 2008-09-11 2010-03-19 이필규 3ｄ 인터랙션을 위한 영상정보 기반의 마우스 구현 방법 및장치
CN101714355A (zh) * 2008-10-06 2010-05-26 宏达国际电子股份有限公司 语音辨识功能启动系统及方法
US8344870B2 (en) * 2008-10-07 2013-01-01 Cisco Technology, Inc. Virtual dashboard
CN101729808B (zh) * 2008-10-14 2012-03-28 Tcl集团股份有限公司 一种电视遥控方法及用该方法遥控操作电视机的系统
US20100138797A1 (en) * 2008-12-01 2010-06-03 Sony Ericsson Mobile Communications Ab Portable electronic device with split vision content sharing control and method
KR20100101389A (ko) * 2009-03-09 2010-09-17 삼성전자주식회사 사용자 메뉴를 제공하는 디스플레이 장치 및 이에 적용되는ｕｉ제공 방법
US8136051B2 (en) * 2009-03-13 2012-03-13 Sony Corporation Method and apparatus for automatically updating a primary display area
KR101567785B1 (ko) * 2009-05-28 2015-11-11 삼성전자주식회사 휴대단말에서 줌 기능 제어 방법 및 장치
US8693724B2 (en) * 2009-05-29 2014-04-08 Microsoft Corporation Method and system implementing user-centric gesture control
US11012732B2 (en) * 2009-06-25 2021-05-18 DISH Technologies L.L.C. Voice enabled media presentation systems and methods
US9483138B2 (en) * 2009-07-10 2016-11-01 Adobe Systems Incorporated Natural media painting using a realistic brush and tablet stylus gestures
KR101289081B1 (ko) * 2009-09-10 2013-07-22 한국전자통신연구원 음성 인터페이스를 이용한 ｉｐｔｖ 시스템 및 서비스 방법
JP2011118725A (ja) * 2009-12-04 2011-06-16 Sharp Corp 情報処理機器、情報処理方法および情報処理プログラム
RU2422878C1 (ru) * 2010-02-04 2011-06-27 Владимир Валентинович Девятков Способ управления телевизором с помощью мультимодального интерфейса
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US20110310005A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Methods and apparatus for contactless gesture recognition
EP2421251A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
US9213890B2 (en) * 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
CN101951474A (zh) * 2010-10-12 2011-01-19 冠捷显示科技（厦门）有限公司 基于手势控制的电视技术

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070252898A1 (en) * 2002-04-05 2007-11-01 Bruno Delean Remote control apparatus using gesture recognition
CN101410781A (zh) * 2006-01-30 2009-04-15 苹果公司 利用多点感测设备进行的手势操作
TW201009650A (en) * 2008-08-28 2010-03-01 Acer Inc Gesture guide system and method for controlling computer system by gesture
CN101437124A (zh) * 2008-12-17 2009-05-20 三星电子（中国）研发中心 面向电视控制的动态手势识别信号处理方法
CN101581969A (zh) * 2009-01-06 2009-11-18 香港应用科技研究院有限公司 运动驱动系统和相关的运动数据库
US20110026765A1 (en) * 2009-07-31 2011-02-03 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
CN102055925A (zh) * 2009-11-06 2011-05-11 康佳集团股份有限公司 支持手势遥控的电视机及其使用方法
CN201708869U (zh) * 2010-03-31 2011-01-12 广东长虹电子有限公司 一种通过手势控制电视机的装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533359A (zh) * 2015-05-20 2018-01-02 三菱电机株式会社 信息处理装置和联锁控制方法
CN107533359B (zh) * 2015-05-20 2019-04-23 三菱电机株式会社 信息处理装置和联锁控制方法
CN111208927A (zh) * 2019-12-30 2020-05-29 国电南瑞科技股份有限公司 一种适用于电力系统二次设备的人机接口及人机交互方法
CN111208927B (zh) * 2019-12-30 2021-09-07 国电南瑞科技股份有限公司 一种适用于电力系统二次设备的人机接口及人机交互方法
CN113497958A (zh) * 2020-04-01 2021-10-12 青岛海信传媒网络技术有限公司 一种显示设备及图片的展示方法
CN113497958B (zh) * 2020-04-01 2023-08-11 青岛海信传媒网络技术有限公司 一种显示设备及图片的展示方法
CN114020192A (zh) * 2021-09-18 2022-02-08 特斯联科技集团有限公司 一种基于曲面电容实现非金属平面的互动方法和系统
CN114020192B (zh) * 2021-09-18 2024-04-02 特斯联科技集团有限公司 一种基于曲面电容实现非金属平面的互动方法和系统

Also Published As

Publication number Publication date
MX2013008891A (es) 2014-03-12
EP2740018A4 (en) 2015-04-22
US20130033428A1 (en) 2013-02-07
EP2986015A1 (en) 2016-02-17
EP2740018A1 (en) 2014-06-11
CA2825813A1 (en) 2013-02-14
BR112013019984A2 (pt) 2017-07-11
KR101262700B1 (ko) 2013-05-08
CN103733163A (zh) 2014-04-16
CA2825822A1 (en) 2013-02-14
BR112013019982A2 (pt) 2016-12-13
MX2013008888A (es) 2014-03-12
RU2625439C2 (ru) 2017-07-13
BR112013019983A2 (pt) 2016-12-13
MX2014001469A (es) 2014-02-27
CN103150010A (zh) 2013-06-12
CN103150011A (zh) 2013-06-12
CA2825827C (en) 2020-08-04
CA2842813A1 (en) 2013-02-14
KR20130016025A (ko) 2013-02-14
AU2012293065B2 (en) 2015-04-16
KR20130016016A (ko) 2013-02-14
BR112014002842A2 (pt) 2017-06-13
AU2012293066A1 (en) 2014-01-09
AU2012293060B2 (en) 2015-06-04
CA2825827A1 (en) 2013-02-14
WO2013022224A1 (en) 2013-02-14
KR20130016026A (ko) 2013-02-14
RU2013139310A (ru) 2015-02-27
CA2825831A1 (en) 2013-02-14
CN107396154A (zh) 2017-11-24
AU2012293063B2 (en) 2015-08-13
AU2012293060A1 (en) 2013-05-02
RU2013139311A (ru) 2015-02-27
MX2013008889A (es) 2014-03-12
AU2012293065A1 (en) 2013-05-02
MX2013008892A (es) 2014-03-12
BR112013019981A2 (pt) 2016-12-13
AU2012293064B2 (en) 2015-12-17
AU2012293064A1 (en) 2013-05-02
RU2013139297A (ru) 2015-02-27
CN103034328A (zh) 2013-04-10
CN103150010B (zh) 2016-08-03
AU2012293063A1 (en) 2013-05-02
KR20130016024A (ko) 2013-02-14
RU2013139295A (ru) 2015-02-27
US20130033422A1 (en) 2013-02-07
KR20130018464A (ko) 2013-02-25

Similar Documents

Publication Publication Date Title
CN104486679A (zh) 控制电子设备的方法和应用该方法的电子设备
EP3754997B1 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
EP2555537B1 (en) Electronic apparatus and method for providing user interface thereof
JP5746111B2 (ja) 電子装置及びその制御方法
EP2590424A2 (en) Electronic apparatus and method for controlling thereof
EP2555538A1 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150401