CN103092337A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN103092337A
CN103092337A CN2012104422075A CN201210442207A CN103092337A CN 103092337 A CN103092337 A CN 103092337A CN 2012104422075 A CN2012104422075 A CN 2012104422075A CN 201210442207 A CN201210442207 A CN 201210442207A CN 103092337 A CN103092337 A CN 103092337A
Authority
CN
China
Prior art keywords
action
voice
user
electronic installation
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012104422075A
Other languages
English (en)
Inventor
金正根
金裕泰
俞升东
韩尚珍
柳熙涉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020110115249A external-priority patent/KR20130018464A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103092337A publication Critical patent/CN103092337A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4821—End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Details Of Television Systems (AREA)

Abstract

本发明提供了一种电子装置及其控制方法。用于控制所述电子装置的方法包括：通过语音识别模块和动作识别模块其中之一，识别用户语音和用户动作其中之一；及响应于通过语音识别模块识别的用户语音，执行语音任务，以及响应于通过动作识别模块识别的用户动作，执行动作任务。

Description

电子装置及其控制方法
相关申请的交叉引用
本申请要求2011年8月5日在美国专利商标局递交的No.61/515,459号美国临时专利申请和2011年11月7日在韩国知识产权局递交的No.2011-0115249号韩国专利申请的优先权，所述申请的公开内容通过引用被包括于此。
技术领域
与示范性实施例一致的方法和装置涉及电子装置及其控制方法，并具体地涉及根据分别通过语音输入单元和动作输入单元输入的语音和动作控制的电子装置及其控制方法。
背景技术
随着电子技术的发展，已经开发并分销了各种电子装置。具体来说，在一般的家庭中，包括电视的各种类型的电子装置正被广泛利用。
这些电子装置配备了繁多的功能以达到用户的预期。例如，电视可被连接到因特网，并提供基于因特网的服务。此外，用户可以通过电视观看许多数字广播频道。
因此，要求各种输入方法以便有效地利用电子装置的这些功能。例如，利用遥控器、鼠标和触摸板的输入方法已经被应用于电子装置。
但是，那些简单的输入方法给有效利用电子装置的各种功能添加了限制。例如，如果电子装置的所有功能仅受遥控器控制，则增加遥控器上按钮的数量将无法避免。在这种情况下，对于一般用户来说，要习惯利用这种遥控器的方法不容易。
此外，如果所有的菜单都被显示在屏幕上，则为了选择期望的菜单，用户就要逐一查阅复杂的菜单树，这可能给用户带来不便。
因此，要求一种更方便并且更有效地控制电子装置的方法。
发明内容
一个或更多个示范性实施例可以克服上面的缺点和上面未描述的其他缺点。但是，要理解一个或更多个示范性实施例不被要求克服上面描述的缺点，并且可以不克服上面描述的问题中的任一个。
一个或更多个示范性实施例提供了受分别通过语音输入单元和动作输入单元输入的语音和动作控制的电子装置及其控制方法。
根据示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：通过语音识别模块和动作识别模块其中之一，识别用户语音和用户动作其中之一；以及，如果通过语音识别模块识别了用户语音，则执行可受遥控器控制的任务中对应于识别的用户语音的语音任务，以及，如果通过动作识别模块识别了用户动作，则执行可受遥控器控制的任务中对应于识别的用户动作的动作任务，其中，语音任务和动作任务可通过遥控器中所包括的按钮划分，并且可通过按钮映射
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：如果语音开始命令通过语音识别模块识别，则把模式改变到语音任务模式，在语音任务模式中，依据通过语音识别模块识别的用户语音来控制电子装置，以及，如果动作开始命令通过动作识别模块识别，则把模式改变到动作任务模式，在动作任务模式中，依据通过动作识别模块识别的用户动作来控制电子装置。
根据另一示范性实施例的方面，提供了一种用于控制能够进行语音识别和动作识别的电子装置的方法，所述方法包括：显示包括用于指导语音识别的语音项目的语音辅助信息和包括用于指导动作识别的动作项目的动作辅助信息其中之一；如果对应于语音辅助信息中所包括的语音项目其中之一的命令被识别，则执行对应于识别的命令的语音任务，以及，如果对应于动作辅助信息中所包括的动作项目其中之一的动作被识别，则执行对应于识别的动作的动作任务。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：通过语音识别模块和动作识别模块其中之一，识别用户语音和用户动作其中之一，并且，如果用户语音通过语音识别模块被识别，则执行把频道改变到分别具有频道标识符的多个频道中具有对应于识别的用户语音的频道标识符的频道的频道快捷方式，以及，如果用户动作通过动作识别模块被识别，则执行频道改变，以便对应于用户动作的方向同步地改变多个频道。
根据另一示范性实施例的方面，提供了一种用于控制能够进行语音识别和动作识别的电子装置的方法，所述方法包括：通过语音识别模块识别语音开始命令（触发语音），响应于识别的语音开始命令，在显示单元上显示用于执行受语音识别控制的语音任务模式的语音项目，以及，如果通过动作识别模块识别了动作开始命令，则在显示单元上显示对应于受动作识别控制的动作任务模式的动作项目。
根据另一示范性实施例的方面，提供了一种用于控制能够进行语音识别和动作识别的电子装置的方法，所述方法包括：通过动作识别模块识别动作开始命令（触发动作），响应于识别的动作开始命令，在显示单元上显示用于执行受动作识别控制的动作任务模式的动作项目，以及，如果通过语音识别模块识别了语音开始命令，则在显示单元上显示对应于受语音识别控制的语音任务模式的语音项目。
语音任务可以包括频道快捷方式和静音其中至少一个，并且动作任务可以包括频道改变和音量水平控制其中至少一个。
如果选择频道的频道标识符被包括在识别的用户语音中，则改变到对应于用户语音中所包括的频道标识符的频道的频道快捷方式可被执行，以及，该频道标识符可以包括频道号码、频道名称和节目名称其中至少一个。
用户动作可以包括拍击动作，以及，如果沿向上方向或者向下方向的拍击动作被识别，则可以执行频道改变，以及，如果沿向左方向或者向右方向的拍击动作被识别，则可以执行音量水平控制。
如果识别的用户动作是沿向上方向的拍击动作，则可以执行频道改变，以便把当前广播频道改变到其号码被增加了预定的数的广播频道，以及，如果识别的用户动作是沿向下方向的拍击动作，则可以执行频道改变，以便把当前广播频道改变到其号码被减少了预定的数的广播频道。如果识别的用户动作是沿向右方向的拍击动作，则可以执行音量水平控制，以便输出其水平被从当前水平增加了预定的水平的音量，以及，如果识别的用户动作是沿向左方向的拍击动作，则可以执行音量水平控制，以便输出其水平被从当前水平减少了预定的水平的音量。
可通过遥控器中所包括的数字按钮执行语音任务。可通过遥控器中所包括的音量升/降按钮和频道升/降按钮其中至少一个执行动作任务。
所述方法还可以包括：如果用户语音被识别，则显示用于执行语音任务的语音项目，以及，如果用户动作被识别，则显示用于执行动作任务的动作项目。
语音项目和动作项目可以被显示在显示屏幕的相同区域上。
所述方法还可以包括：在存储单元中存储用于执行包括语音任务和动作任务的多个任务的多个模块。
语音任务和动作任务中的每一个均可以独立地改变电子装置的设置而无需与其他任务组合。
执行频道快捷方式可以包括：如果号码被包括在用户语音中，则执行直接改变到具有对应于用户语音的频道号码的频道的频道快捷方式。
执行频道改变可以包括：如果用户动作是沿向上方向的拍击动作和沿向下方向的拍击动作其中之一，则执行沿对应于用户动作的方向顺次改变频道号码的频道改变。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其接收用户语音的输入；动作输入单元，其接收用户动作的输入；和控制单元，其识别用户语音和用户动作其中之一，以及，如果用户语音被识别，则执行可受遥控器控制的任务中对应于识别的用户语音的语音任务，以及，如果用户动作被识别，则执行可受遥控器控制的任务中对应于识别的用户动作的动作任务，其中，语音任务和动作任何可通过遥控器中所包括的按钮划分，并且通过按钮被映射。
语音任务可以包括频道快捷方式和静音其中至少一个，并且动作任务可以包括频道改变和音量水平控制其中至少一个。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其接收语音开始命令的输入；动作输入单元，其接收动作开始命令的输入；和控制单元，其识别语音开始命令和动作开始命令其中之一，以及，如果语音开始命令被识别，则把模式改变到语音任务模式，在语音任务模式中，依据通过语音输入单元输入的用户语音来控制电子装置，以及，如果动作开始命令被识别，则把模式改变到动作任务模式，在动作任务模式中，依据通过动作输入单元输入的用户动作来控制电子装置。
根据另一示范性实施例的方面，提供了一种能够进行语音识别和动作识别的电子装置，所述电子装置包括：语音输入单元，其接收用于语音识别的用户语音的输入；动作输入单元，其接收用于动作识别的用户动作的输入；显示单元，其显示包括用于指导语音识别的语音项目的语音辅助信息和包括用于指导动作识别的动作项目的动作辅助信息其中之一；和控制单元，如果对应于语音辅助信息中所包括的语音项目的命令之一被识别，则控制单元执行对应于识别的命令的语音任务，以及，如果动作辅助信息中所包括的动作项目其中之一被识别，则控制单元执行对应于识别的动作的动作任务。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其接收用户语音的输入；动作输入单元，其接收用户动作的输入；和控制单元，其识别用户语音和用户动作中的一个，以及，如果用户语音被识别，则执行把频道改变到分别具有频道标识符的多个频道中具有对应于识别的用户语音的频道标识符的频道的频道快捷方式；以及，如果用户动作被识别，则执行频道改变，以便对应于识别的用户动作的方向同步地(in phases)改变所述多个频道。
根据另一示范性实施例的方面，提供了一种能够进行语音识别和动作识别的电子装置，所述电子装置包括：显示单元；语音输入单元，其接收用户语音的输入；动作输入单元，其接收用户动作的输入；和控制单元，其控制显示单元、语音输入单元和动作输入单元，其中，控制单元识别通过语音输入单元输入的语音开始命令，并响应于语音开始命令，控制在显示单元上显示对应于通过语音识别执行的语音任务模式的语音项目，以及，如果通过动作输入单元输入的动作开始命令被识别，则响应于动作开始命令，控制把模式改变到通过动作识别执行的动作任务模式。
根据另一示范性实施例的方面，提供了一种能够进行语音识别和动作识别的电子装置，所述电子装置包括：显示单元；语音输入单元，其接收用户语音的输入；动作输入单元，其接收用户动作的输入；和控制单元，其控制显示单元、语音输入单元和动作输入单元，其中，如果通过动作输入单元输入的动作开始命令被识别，则控制单元控制显示单元显示对应于通过用户动作执行的动作任务的动作项目，以及，如果通过语音输入单元输入的语音开始命令被识别，则控制单元控制显示单元显示用于执行通过用户语音来执行的语音任务模式的语音项目。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：在其中至少一个语音任务依据识别的语音执行的语音任务模式中，显示用于执行语音任务的语音辅助信息，识别对应于作为语音辅助信息显示的至少一个语音项目中的第一语音项目的第一语音，执行对应于第一语音项目的任务；在其中至少一个动作项目依据识别的动作执行的动作任务模式中，显示用于执行动作任务的动作辅助信息，从作为动作辅助信息显示的至少一个动作项目中识别对应于第一动作项目的第一动作，并执行第二任务中对应于第一动作项目的任务。
执行对应于第一语音项目的任务可以包括显示关于和识别的第一语音对应的第一语音项目的额外项目信息。
执行对应于第一语音项目的任务还可以包括识别对应于额外项目信息的第二语音。
执行对应于第一语音项目的任务可以包括执行第一任务中对应于第一语音项目和识别的第二语音的任务。
至少一个语音项目中的每一个可以是可说出的命令（utterable command）。
额外项目信息可以包括以下其中至少一个：关于第一语音项目的额外命令、指导消息和话语例子。
至少一个动作项目中的每一个均可以包括指示可在动作任务模式中被识别的动作的活动影像以及指示和可识别动作对应的任务的文本。
语音辅助信息和动作辅助信息中的至少一个可以包括指示语音任务模式和动作任务模式中的指定模式的影像和文本中的至少一个。
额外项目信息可以包括表示语音任务模式和动作任务模式中的指定模式的影像和文本中的至少一个。
如果表示预先设置的进入动作任务模式的动作的动作开始命令（触发动作）被识别，则语音任务模式可以被改变到动作任务模式，以及，如果表示预先设置的进入语音任务模式的语音的语音开始命令（触发语音）被识别，则动作任务模式可以被改变到语音任务模式。
语音任务和动作任务彼此不同。如果对应于频道名称、节目名称和频道号码的至少一个标识符的第三语音被识别，则语音任务可以包括再现对应于该标识符的频道的频道快捷方式，以及，如果对应于频道升和频道降其中之一的第二动作被识别，则动作任务可以包括频道改变，以对应于频道升和频道降其中之一把当前频道改变到当前频道的前一频道和下一频道其中之一。
如果在语音任务中对应于第一语音项目的任务是频道快捷方式，则额外项目信息可以包括以下其中至少一个：指导消息，以及关于频道名称、节目名称和频道号码的至少一个标识符的话语的话语例子。
执行对应于第一语音项目的任务可以包括：如果用于对应于额外项目信息的标识符的第三语音被识别，则执行再现对应于该标识符的频道的频道快捷方式。
执行对应于第一动作项目的任务可以包括：如果动作任务中对应于第一动作项目的任务是频道改变，则把当前频道改变到当前频道的前一频道和下一频道其中之一。
语音任务和动作任务彼此不同。如果对应于预先设置水平其中之一的第四语音被识别，则语音任务可以包括把音量水平设置到对应于第四语音的水平的音量水平设置，以及，如果对应于音量升和音量降其中之一的第三动作被识别，则动作任务可以包括表示把当前音量增大预先设置水平和把当前音量减小预先设置水平其中之一以便对应于音量升和音量降其中之一的音量水平设置。
如果语音任务中对应于第一语音项目的任务是关闭电源，则额外项目信息可以包括以下其中至少一个：询问是否执行关闭电源的指导消息，和回答问题的话语示例。
执行对应于第一语音项目的任务可以包括：如果语音任务中对应于第一语音项目的任务是静音，则控制执行静音，并显示改变的语音辅助信息，改变的语音辅助信息包括对应于第一任务中的取消静音的第二语音项目来代替第一语音项目。
作为语音辅助信息显示的至少一个语音项目可以是依据应用程序、屏上显示（on screen display，OSD）以及与语音辅助信息一起被显示的候选项其中至少一个从对应于语音任务的语音项目选择的至少一个，以及，所述候选项可以包括以下其中至少一个：名称，其包括类似于识别的语音的文本和号码其中至少一个；命令，类似于识别的语音；对应于类似的命令的任务；动作，其类似于识别的动作；和对应于类似的动作的任务。
作为动作辅助信息显示的至少一个动作项目可以是依据应用程序、OSD以及与动作辅助信息一起被显示的候选项其中至少一个从对应于动作任务的动作项目选择的至少一个，以及，所述候选项可以包括以下其中至少一个：名称，其包括类似于识别的语音的文本和号码其中至少一个；命令，其类似于识别的语音；对应于类似的命令的任务；动作，其类似于识别的动作；和对应于类似的动作的任务。
所述方法还可以包括：在语音任务模式中，在候选项被与语音辅助信息一起显示之后，如果语音任务模式被改变到动作任务模式，则持续显示候选项，并且把语音辅助信息改变到对应于动作任务模式的动作辅助信息，并显示动作辅助信息，以及，候选项可以包括以下其中至少一个：名称，其包括类似于识别的语音的文本和号码其中至少一个；命令，其类似于识别的语音；对应于类似的命令的任务；动作，其类似于识别的动作；和对应于类似的动作的任务。
持续显示候选项及把语音辅助信息改变到动作辅助信息及显示动作辅助信息可以包括在被持续显示的候选项其中之一上显示焦点。
所述方法还可以包括：在动作任务模式中，在候选项被与动作辅助信息一起显示之后，如果动作任务模式被改变到语音任务模式，则持续显示候选项，并把动作辅助信息改变到对应于语音任务模式的语音辅助信息，并显示语音辅助信息，以及，候选项可以包括以下其中至少一个：名称，其包括类似于识别的语音的文本和号码其中至少一个；命令，其类似于识别的语音；对应于类似的命令的任务；动作，其类似于识别的动作；和对应于类似的动作的任务。
持续显示候选项及把动作辅助信息改变到语音辅助信息及显示语音辅助信息可以包括显示一个索引，该索引包括对应于被持续显示的候选项的文本和号码其中至少一个。
执行对应于第一语音项目的任务可以包括：如果第一语音项目是用于显示对应于语音任务的语音项目中除了所述至少一个语音项目以外的其他项目的项目，则显示其他项目。
显示其他项目还可以包括：如果被显示的语音项目其中之一在预定的时间中未被识别，则省略驱动用于停止语音任务模式的定时器。
识别对应于第一语音项目的第一语音可以包括提供表示第一语音项目和对应于第一语音项目的任务其中至少一个的视觉反馈和听觉反馈其中至少一个。
识别对应于第一动作项目的第一动作可以包括提供表示第一动作项目和对应于第一动作项目的任务其中至少一个的视觉反馈和听觉反馈其中至少一个。
识别对应于第一语音项目的第一语音可以包括依据第一语音的识别准确性，提供对应于识别准确性水平的视觉反馈和听觉反馈其中至少一个。
识别对应于第一动作项目的第一动作可以包括依据第一动作的识别准确性，提供对应于识别准确性水平的视觉反馈和听觉反馈其中至少一个。
电子装置可以包括控制单元，在语音任务模式中，控制单元控制显示用于执行第一任务的语音辅助信息，在语音任务模式中，第一任务中的至少一个依据识别的语音执行，以及，在动作任务模式中，控制单元控制显示用于执行第二任务的动作辅助信息，在动作任务模式中，第二任务中的至少一个依据识别的动作执行，以及，在语音任务模式中，控制单元可以识别对应于作为UI显示的至少一个语音项目中的第一语音项目的第一语音，并执行第一任务中对应于第一语音项目的任务，并且可以识别对应于作为动作辅助信息显示的至少一个动作项目中的第一动作项目的第一动作，并执行第二任务中对应于第一动作项目的任务。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：在第一任务中的至少一个依据识别的语音执行的语音任务模式中，显示用于执行第一任务的语音辅助信息，识别对应于作为语音辅助信息显示的至少一个语音项目中的第一语音项目的第一语音，显示关于和识别的第一语音对应的第一语音项目的额外项目信息，识别和额外项目信息对应的第二语音，并执行第一任务中对应于第一语音项目和识别的第二语音的任务。
根据另一示范性实施例的方面，提供了一种电子装置，包括：控制单元，其在第一任务中的至少一个依据识别的语音执行的语音任务模式中，控制显示用于执行第一任务的语音辅助信息，其中，控制单元识别对应于作为语音辅助信息显示的至少一个语音项目中的第一语音项目的第一语音，并控制显示关于和识别的第一语音对应的第一语音项目的额外项目信息，识别对应于额外项目信息的第二语音，并执行第一任务中对应于第一语音项目和识别的第二语音的任务。
根据另一示范性实施例的方面，提供了一种用于提供能够进行语音识别和手势识别（gesture recognition）的电子装置的UI的方法，所述方法包括：识别语音开始命令（触发语音）；响应于识别的语音开始命令，在电子装置的显示屏幕上显示对应于可语音识别的命令的语音项目；识别对应于第一命令的第一命令语音；和响应于第一命令语音，在显示屏幕上把可通过语音识别控制的第一应用程序的第一可执行图标与不可通过语音识别控制的第二应用程序的第二可执行图标有区别地进行显示。
第一可执行图标可以是第一应用程序的原始可执行图标和在原始可执行图标的一侧上显示的额外图标的组合。
第一可执行图标的名称可以和第二可执行图标的名称有区别地被显示。
所述方法还可以包括：如果第一应用程序可通过语音识别控制，则把第一可执行图标与第二可执行图标有区别地进行显示。
所述方法还可以包括：响应于识别的语音开始命令，在显示屏幕的一侧上显示第一反馈。
所述方法还可以包括：识别对应于UI上显示的第一可执行图标的名称的第二命令语音，并且可以在第一可执行图标的一侧上显示第一可执行图标的名称。
所述方法还可以包括：响应于第二命令语音，在显示屏幕上显示第一应用程序。
在接收和识别第二语音命令的操作中，如果多个应用程序对应于第二命令语音，则对应于多个应用程序的应用程序列表可在UI的一侧上被显示。
UI可以显示可通过语音识别控制的第三应用程序的第三可执行图标，并在第三可执行图标的一侧上显示第三可执行图标的名称，以及，如果第三可执行图标的名称比预定的长度更长，则可以只显示第三可执行图标的名称的一部分。
所述方法还可以包括识别对应于第三可执行图标的名称的该部分的第三命令语音，以及，响应于第三命令语音，可以在显示屏幕上显示第三应用程序。
语音项目可以包括返回语音项目，以及，如果第四命令语音对应于返回语音项目，则响应于第四命令语音，电子装置可以在UI被显示之前返回前一屏幕。
所述方法还可以包括通过显示屏幕和扬声器输出对应于接收到的广播信号的视频、音频和控制数据。
所述方法还可以包括：识别动作开始命令（触发动作），响应于识别的动作开始命令，在显示屏幕上显示对应于可通过动作识别控制的动作的动作项目，并且以和第二可执行图标相同的方式显示第一可执行图标。
所述方法还可以包括：响应于识别的动作开始命令，在显示屏幕的一侧上显示第二反馈。
根据另一示范性实施例的方面，提供了一种用于控制能够进行语音识别和手势识别电子装置的UI的方法，所述方法包括：识别语音开始命令；响应于语音开始命令，在电子装置的显示屏幕的一侧上显示包括关于可通过语音识别控制的第一应用程序的第一可执行图标的命令的语音项目；识别对应于命令的命令语音；和响应于命令语音，在显示屏幕上把第一可执行图标与不可通过语音识别控制的第二应用程序的第二可执行图标有区别地显示，其中，第一可执行图标可以是第一应用程序的原始可执行图标和在原始可执行图标的一侧上显示的额外图标的组合。
所述方法还可以包括：如果动作开始命令被识别，则把第一可执行图标以和第二可执行图标相同的方式显示。
根据另一示范性实施例的方面，提供了一种能够进行语音识别和手势识别电子装置，所述电子装置包括：显示单元；接收语音的语音输入单元；和控制显示单元和语音输入单元的控制单元，其中，控制单元识别通过语音输入单元接收的语音开始命令，及在显示单元上显示可通过语音识别控制的语音项目，识别通过语音输入单元接收的第一命令语音，及控制在显示单元上显示包括可通过语音识别控制的第一应用程序的第一可执行图标的UI，及在UI上把第一可执行图标与不可通过语音识别控制的第二应用程序的第二可执行图标有区别地进行显示。
控制单元可以控制显示第一可执行图标，第一可执行图标是第一应用程序的原始可执行图标和在原始可执行图标的一侧上显示的额外图标的组合。
控制单元可以识别对应于通过语音输入单元接收的第一可执行图标的名称的第二命令语音，响应于识别的第二命令语音，控制在显示单元上显示第一应用程序。
电子装置还可以包括接收用户动作的动作输入单元，并且控制单元可以控制动作输入单元，识别通过动作输入单元接收的动作开始命令，在显示单元上显示可通过动作识别控制的动作项目，及在UI上以相同方式显示第一可执行图标和第二可执行图标。
电子装置还可以包括可以有线或者无线方式连接到外部装置的网络接口单元，并且控制单元可以控制网络接口单元从外部装置下载可通过语音识别控制的第三应用程序。
根据另一示范性实施例的方面，提供了一种用于提供电子装置的UI的方法，所述方法包括：进入语音任务模式，以及，在语音任务模式中，把对应于可通过语音识别控制的第一应用程序的第一可执行图标与不可通过语音识别控制的第二应用程序的第二可执行图标在显示屏幕上有区别地进行显示。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：响应于识别的用户动作，选择多个广播信号其中之一；提供被选择的广播信号；停止提供被选择的广播信号并提供存储的内容；重新识别具有和识别的用户动作的形式相同的形式的用户动作；和响应于重新识别的用户动作，改变显示所提供内容的屏幕的至少一部分。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：提供多个广播信号其中之一和存储的内容其中之一；通过动作识别来识别用户动作；以及，如果广播信号被提供，则响应于识别的用户动作，控制所提供的广播信号的音量水平，或者从多个广播信号中提供另一广播信号，以及，如果内容被提供，则响应于识别的用户动作，改变显示所提供内容的屏幕的至少一部分。
广播信号可以是从广播接收单元接收的广播信号，并且内容可以是存储在存储单元中的内容，或者从外部终端输入单元或者网络接口单元接收的内容。
内容可以包括多个页面，并且改变显示所提供内容的屏幕的至少一部分可以包括把显示多个页面其中之一的屏幕改变为显示多个页面中的另一页面的屏幕。
改变显示所提供内容的屏幕的至少一部分可以包括响应于识别的用户动作的方向，把显示多个页面其中之一的屏幕改变为显示位于多个页面中所述一个页面的上、下、左和右部分的页面之一的屏幕。
内容可以包括一个页面，并且改变显示所提供内容的屏幕的至少一部分可以包括把显示一个页面的一部分的屏幕改变为显示所述一个页面的另一部分的屏幕。
改变显示所提供内容的屏幕的至少一部分可以包括把显示所提供内容的屏幕改变为显示不同于所述内容的内容的屏幕。
所述方法还可以包括通过语音识别模块识别用户语音，并依据识别的用户语音，从多个广播信号中提供另一广播信号。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：提供第一影像数据和用于第一影像数据的音频数据；响应于识别的用户动作，控制音频数据的音量水平；停止提供第一影像数据和音频数据并提供第二影像数据；重新识别具有与识别的用户动作的形式大致相同的形式的用户动作；和响应于重新识别的用户动作，改变显示第二影像数据的屏幕的至少一部分。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：提供分别从多个源提供的影像数据中的第一影像数据和从单个源提供的多个影像数据中的第二影像数据其中之一；通过动作识别模块识别用户动作；以及，如果第一影像数据被提供，则响应于识别的用户动作，提供从和第一影像数据的源不同的源提供的影像数据，以及，如果第二影像数据被提供，则响应于识别的用户动作，从由单个源提供的多个影像数据中提供第二影像数据以外的影像数据。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：提供第一影像数据和第二影像数据其中之一，第一影像数据在电源被供应给电子装置时被再现，第二影像数据在电源被供应给电子装置以后，在由用户进入模式之后被再现；通过动作识别模块识别用户动作，以及，如果第一影像数据被提供，则响应于识别的用户动作，提供当电源被供应给电子装置时被再现的第一影像数据以外的影像数据，以及，如果第二影像数据被提供，则响应于识别的用户动作，提供在由用户进入模式之后被再现的第二影像数据以外的影像数据。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：提供多个活动影像其中之一或者多个影像其中之一；通过动作识别模块识别用户动作；以及，如果活动影像被提供，则响应于识别的用户动作，从多个活动影像中提供被提供的活动影像以外的活动影像，以及，如果影像被提供，则响应于识别的用户动作，从多个影像中提供被提供的影像以外的影像。
根据另一示范性实施例的方面，提供了一种用于电子装置，包括：显示单元，其显示多个广播信号其中之一和存储的内容其中之一；动作输入单元，其接收用户动作的输入；和控制单元，如果广播信号被提供，则响应于用户动作，控制单元控制所提供广播信号的音量水平或者从多个广播信号中提供另一广播信号，以及，如果内容被提供，则响应于用户动作，改变显示所提供内容的屏幕的至少一部分。
内容可以包括多个页面，以及，如果显示所提供内容的屏幕的至少一部分被改变，则控制单元可以把显示多个页面其中之一的屏幕改变为显示多个页面中的另一页面的屏幕。
如果显示所提供内容的屏幕的至少一部分被改变，则控制单元可以响应于通过动作输入单元识别的用户动作的方向，把显示多个页面其中之一的屏幕改变为显示位于多个页面中所述一个页面的上、下、左和右部分的页面之一的屏幕。
内容可以包括一个页面，以及，如果显示所提供内容的屏幕的至少一部分被改变，则控制单元可以把显示一个页面的一部分的屏幕改变为显示所述一个页面的另一部分的屏幕。
电子装置还可以包括接收用户语音输入的语音输入单元。控制单元可以依据用户语音，从多个广播信号中提供另一广播信号。
根据另一示范性实施例的方面，提供了一种电子装置，包括：显示单元，其显示第一影像数据或者第二影像数据；音频输出单元，其提供用于第一影像数据的音频数据；动作输入单元，其接收用户动作的输入；和控制单元，如果第一影像数据被提供，则控制单元响应于用户动作控制用于第一影像数据的音频数据的音量水平，以及，如果第二影像数据被提供，则控制单元响应于用户动作，改变显示第二影像数据的屏幕的至少一部分。
根据另一示范性实施例的方面，提供了一种电子装置，包括：显示单元，其显示多个活动影像其中之一或者多个影像其中之一；动作输入单元，其接收用户动作的输入；和控制单元，如果活动影像被提供，则控制单元响应于用户动作，从多个活动影像中提供被提供的活动影像以外的活动影像，以及，如果影像被提供，则控制单元响应于用户动作，从多个影像中提供被提供的影像以外的影像。
根据另一示范性实施例的方面，提供了一种电子装置，包括：显示单元，其显示来自分别从多个源提供的影像数据中的第一影像数据和来自从单个源提供的多个影像数据中的第二影像数据其中之一；动作输入单元，其接收用户动作的输入；和控制单元，如果第一影像数据被提供，则控制单元响应于用户动作，提供从和第一影像数据的源不同的源提供的影像数据，以及，如果第二影像数据被提供，则控制单元响应于用户动作，从由单个源提供的多个影像数据中提供第二影像数据以外的影像数据。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：通过语音识别模块和动作识别模块其中之一，识别用户语音和用户动作其中之一；以及，如果通过语音识别模块识别了用户语音，则从分别具有内容标识符的多个内容中，执行具有对应于识别的用户语音的内容标识符的内容，以及，如果通过动作识别模块识别了用户动作，则依据用户动作的方向改变所述多个内容。
内容可以是广播内容，并且改变可以包括：如果通过语音识别模块识别了用户语音，则把当前广播频道改变到分别具有广播频道标识符的多个广播频道中具有对应于识别的用户语音的广播频道标识符的广播频道，以及，如果通过动作识别模块识别了用户动作，则依据用户动作的方向，同步地改变多个广播频道。
频道标识符可以包括频道号码、频道名称和节目名称其中至少一个。
用户动作可以包括拍击动作，并且改变可以包括：如果识别的用户动作是沿向上方向的拍击动作，则执行频道改变，以便把当前广播频道改变到其号码被增加了预定的数的广播频道，以及，如果识别的用户动作是沿向下方向的拍击动作，则执行频道改变，以便把当前广播频道改变到其号码被减少了预定的数的广播频道。
内容可以是影像内容、音乐内容和照片内容其中之一。
内容标识符可以是内容的名称。
用户动作可以包括拍击动作，并且改变可以包括：如果识别的用户动作是沿向右方向的拍击动作，则把当前内容改变到包括将被再现的多个内容的内容列表上的下一内容，以及，如果识别的用户动作是沿向左方向的拍击动作，则把当前内容改变到内容列表上的前一内容。
根据另一示范性实施例的方面，提供了一种用于控制电子装置，包括：语音输入单元，其接收用户语音的输入；动作输入单元，其接收用户动作的输入；和控制单元，其识别用户语音和用户动作其中之一，以及，如果用户语音被识别，则从分别具有内容标识符的多个内容中，执行具有对应于识别的用户语音的内容标识符的内容，以及，如果用户动作被识别，则依据用户动作的方向改变所述多个内容。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：在依据通过遥控器输入的遥控信号控制电子装置的遥控模式中，控制电子装置，通过语音识别模块识别语音开始命令，以及，如果语音开始命令被识别，把模式改变到执行语音任务的语音任务模式，依据通过语音识别模块识别的用户语音来控制语音任务。
所述改变可以包括显示表示电子装置的模式是语音任务模式的图标和包括指导语音任务的语音项目的语音辅助信息。
所述方法还可以包括：如果从遥控器中所包括的按钮中选择了第一按钮来把模式改变到遥控模式，则接收对应于第一按钮的第一遥控信号；和响应于第一遥控信号，把模式改变到遥控模式。
第一按钮可以是把模式改变到遥控模式的遥控模式改变按钮。
第一按钮可以是遥控器中所包括的某个按钮，并且把模式改变到遥控模式还可以包括：在把模式改变到遥控模式之后，执行对应于第一按钮的任务。
所述方法还可以包括：通过动作识别模块识别动作开始命令，以及，如果动作开始命令被识别，则把模式改变到执行动作任务的动作任务模式，依据通过动作识别模块识别的用户动作来控制动作任务。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：在依据通过遥控器输入的遥控信号控制电子装置的遥控模式中，控制电子装置，通过动作识别模块识别动作开始命令；以及，如果动作开始命令被识别，把模式改变到执行动作任务的动作任务模式，依据通过动作识别模块识别的用户动作来控制动作任务。
所述改变可以包括显示表示电子装置的模式是动作任务模式的图标和包括指导动作任务的动作项目的动作辅助信息。
遥控器可以包括触摸板。
所述方法还可以包括：如果从遥控器中所包括的按钮中选择了第一按钮来把模式改变到遥控模式，则接收对应于第一按钮的第一遥控信号；和响应于第一遥控信号，把模式改变到遥控模式。
第一按钮可以是把模式改变到遥控模式的遥控模式改变按钮。
第一按钮可以是遥控器中所包括的某个按钮，并且把模式改变到遥控模式还可以包括：在把模式改变到遥控模式之后，执行对应于第一按钮的任务。
所述方法还可以包括：通过语音识别模块识别语音开始命令，以及，如果语音开始命令被识别，则把模式改变到执行语音任务的语音任务模式，该语音任务依据通过语音识别模块识别的用户语音来控制。
根据另一示范性实施例的方面，提供了一种与遥控器互锁（即通信）的电子装置，所述电子装置包括：遥控信号接收单元，其从遥控器接收遥控信号；语音输入单元，其接收语音开始命令；和控制单元，在依据由遥控信号接收单元接收到的遥控信号来控制电子装置的遥控模式中，如果通过语音输入单元输入的语音开始命令被识别，则控制单元把模式改变到执行语音任务的语音任务模式，依据通过语音输入单元输入的用户语音控制语音任务。
根据另一示范性实施例的方面，提供了一种与遥控器通信的电子装置，所述电子装置包括：遥控信号接收单元，其从遥控器接收遥控信号；动作输入单元，其接收动作开始命令；和控制单元，在依据由遥控信号接收单元接收到的遥控信号来控制电子装置的遥控模式中，如果通过动作输入单元输入的动作开始命令被识别，则控制单元把模式改变到执行动作任务的动作任务模式，依据通过动作输入单元输入的用户动作控制动作任务。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：从与电子装置通信的移动设备接收输入到移动设备中所包括的麦克风的用户语音的输入，识别输入的用户语音，并依据识别的用户语音执行电子装置的语音任务。
移动设备可以是遥控器、移动电话、PDA和笔记本电脑其中之一。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：如果用于识别语音的应用程序被在外部移动设备中执行，则从该移动设备接收控制信号，并且依据从该移动设备接收到的控制信号，执行电子装置的语音任务，其中，控制信号由移动设备利用输入到移动设备中所包括的麦克风的用户语音产生。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：如果用于识别语音的应用程序被在外部移动设备中执行，则从移动设备接收输入到移动设备中所包括的麦克风的用户语音，识别从移动设备输入的用户语音，并依据用户语音执行电子装置的语音任务。
所述方法还可以包括：如果选择了移动设备中所包括的第一按钮，则接收对应于第一按钮的第一信号，并响应于第一信号，把电子装置的模式改变到语音任务模式。
语音任务模式可以是依据输入到移动设备中所包括的麦克风的用户语音执行语音任务的模式。
所述方法还可以包括：如果在语音任务模式中，第一按钮和第二按钮其中之一被选择，则释放语音任务模式。
所述接收可以包括：在移动设备上的第二按钮被选择的时，从移动设备接收输入到移动设备中包括的麦克风的用户语音。
所述方法还可以包括：在移动设备上的第二按钮被选择时，显示表示可以输入用户语音的UI。
当移动设备打电话时，可以利用移动设备中所包括的麦克风。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其从与电子装置通信的移动设备接收用户语音的输入；和控制单元，如果通过语音输入单元从移动设备接收到输入到移动设备中所包括的麦克风的用户语音，则控制单元识别输入的用户语音，并依据识别的用户语音执行电子装置的语音任务。
移动设备可以是遥控器、移动电话、PDA和笔记本电脑其中之一。
根据另一示范性实施例的方面，提供了一种电子装置，包括：通信单元，其与外部移动设备通信；和控制单元，如果用于识别语音的应用程序被在移动设备中执行并且通过通信单元从移动设备接收到控制信号，则控制单元依据从移动设备接收到的控制信号执行电子装置的语音任务，其中，控制信号由移动设备利用输入到移动设备中所包括的麦克风的用户语音产生。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其从与电子装置通信的移动设备接收用户语音的输入；和控制单元，如果用于识别语音的应用程序被在移动设备中执行并且输入到移动设备中所包括的麦克风的用户语音被输入，则控制单元识别输入到移动设备的用户语音，并依据用户语音执行电子装置的语音任务。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：显示包括多个用于执行应用程序的可执行图标的内容列表和网页其中之一；通过动作输入单元接收动作开始命令；和如果动作开始命令被识别，则把当前模式改变到执行利用指针来控制的任务的指点模式并把指针显示在显示屏幕的中心。
所述方法还可以包括：如果动作开始命令被识别，则在显示屏幕的下部显示用于执行动作任务的动作辅助信息。
所述方法还可以包括：如果内容列表在显示中被显示，并且指针依据输入到动作输入单元的用户动作定位在第一可执行图标，则把第一可执行图标与其他可执行图标有区别地进行显示。
所述方法还可以包括：如果指针被定位在第一可执行图标并且第一用户动作通过动作输入单元输入，则执行第一可执行图标。
所述方法还可以包括：如果结束内容列表的屏幕的命令被输入，则从显示屏幕去除内容列表和指针。
所述方法还可以包括：如果在显示中网页被显示，并且指针依据输入到动作输入单元的用户动作定位在网页中的第一超链接，则把第一超链接与其他超链接有区别地进行显示。
所述方法还可以包括：如果指针被定位在第一超链接，并且第一用户动作通过动作输入单元输入，则执行第一超链接。
根据另一示范性实施例的方面，提供了一种电子装置，包括：动作输入单元，其接收动作开始命令；显示单元，其显示包括多个用于执行应用程序的可执行图标的内容列表；和控制单元，如果动作开始命令通过动作输入单元被识别，则控制单元把当前模式改变到指点模式以便执行利用指针控制的任务，并控制显示单元在显示内容列表的屏幕的中心显示所述指针。
根据另一示范性实施例的方面，提供了一种电子装置，包括：动作输入单元，其接收动作开始命令；显示单元，其显示包括多个超链接的网页；和控制单元，如果动作开始命令通过动作输入单元被识别，则控制单元把当前模式改变到指点模式以便执行利用指针控制的任务，并控制显示单元在显示网页的屏幕的中心显示所述指针。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：显示包括多个用于执行应用程序的可执行图标的内容列表和网页其中之一；通过动作输入单元接收动作开始命令；如果动作开始命令被识别，则把当前模式改变到执行利用指针来控制的任务的指点模式并把指针显示在显示屏幕的中心，通过动作输入单元接收预定的动作，从显示屏幕去除指针，并执行对应于预定的动作的动作任务。
所述显示可以包括：如果指针被定位在内容列表上的第一可执行图标，则通过突出显示指针被定位处的第一可执行图标来显示第一可执行图标。
所述方法还可以包括：如果预定的动作被输入，则取消突出显示第一可执行图标。
预定的动作可以是执行电子装置的动作模式的动作，并且可以是沿向上、向下、向左或向右方向的拍击动作、抓取动作和沿逆时针方向的旋转动作其中之一。
所述方法可以包括：如果预定的动作是沿向上、向下、向左或向右方向的拍击动作，则依据沿向上、向下、向左或向右方向的拍击动作，移动电子装置的显示屏幕，以及，在移动显示屏幕之后，在用户的手被再次定位的位置显示指针。
所述方法可以包括：如果预定的动作是抓取动作，则执行指针被定位处的第一可执行图标，并且在执行第一可执行图标之后，在用户的手被再次定位的位置显示指针。
所述方法可以包括：如果预定的动作是沿逆时针方向的旋转动作，则在显示屏幕上显示当前被调谐频道的广播节目。
根据另一示范性实施例的方面，提供了一种电子装置，包括：动作输入单元，其接收动作开始命令和用户动作；显示单元，其显示包括多个用于执行应用程序的可执行图标的内容列表和网页其中之一；和控制单元，如果动作开始命令通过动作输入单元输入，则控制单元把当前模式改变到执行利用指针来控制的任务的指点模式并把指针显示在显示屏幕的中心，以及，如果预定的动作通过动作输入单元输入，则从显示屏幕去除指针，并执行对应于预定的动作的动作任务。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：显示多个可选择项目；通过语音输入单元和动作输入单元其中之一接收用户语音和用户动作其中之一；以及，如果根据用户的输入从多个项目中选择了第一项目，则把第一项目与其他项目有区别地进行显示，其中，所述显示包括：如果第一项目的名称具有超过了预定数的字符数，并且电子装置的模式是语音任务模式，则仅显示第一项目的名称的一部分，以及，如果第一项目的名称具有超过了预定数的字符数，并且电子装置的模式是动作任务模式，则显示第一项目的完整名称。
可选择项目可以是包括在内容列表中的执行应用程序的可执行图标和包括在网页中的超链接其中之一。
所述显示可以包括比其他项目和其他项目的名称更浓重地显示第一项目和第一项目的名称。
所述方法还可以包括：如果电子装置的模式是语音任务模式，并且通过语音输入单元输入的用户语音和被显示的第一项目的名称的一部分一致，则执行第一项目。
所述方法还可以包括：如果在被显示的第一项目的名称的一部分中不存在空格，并且通过语音输入单元接收到对应于被显示的第一项目的名称的多个拼写的用户输入，则执行第一项目。
所述方法还可以包括：如果电子装置的模式是语音任务模式，并且具有和通过语音输入单元输入的用户语音一致的名称的多个项目被包括在所显示项目的名称中，则显示候选项群的列表。
候选项群的列表可以显示和输入的用户语音一致的多个项目的完整名称。
根据另一示范性实施例的方面，提供了一种电子装置，包括：显示单元，其显示包括多个可选择项目的屏幕；语音输入单元，其接收用户语音的输入；动作输入单元，其接收用户动作的输入；和控制单元，如果用户语音和用户动作其中之一通过语音输入单元和动作输入单元其中之一被输入，则控制单元依据用户输入从多个项目中选择第一项目，并控制显示单元把第一项目与其他项目有区别地进行显示，其中，如果第一项目的名称具有超过了预定数量的字符数且电子装置的模式是语音任务模式，则控制单元仅显示第一项目的名称的一部分，以及，如果第一项目的名称具有超过了预定数量的字符数，并且电子装置的模式是动作任务模式，则控制单元显示第一项目的完整名称。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：显示包括指导语音任务的多个语音项目的语音辅助信息；以及，如果通过语音输入单元输入了对应于多个语音项目其中之一的用户语音，则在语音辅助信息的第一区域上显示用于执行语音任务的第一色度的指导消息，并在语音辅助信息的第二区域上显示第二色度的语音项目。
语音辅助信息可以包括指示电子装置的模式是语音任务模式的图标，并且该图标可以被定位在语音辅助信息的中心。
第一区域可以是图标的左边区域，并且第二区域可以是图标的右边区域。
如果用户语音是改变频道的命令，则用于指导频道改变的指导消息可以在第一区域上显示，以及，对应于用于频道改变的可说出命令的例子的语音项目和对应于取消频道改变的语音项目可在第二区域上显示。
如果用户语音是关闭电源命令，则用于确认电源关闭的指导消息可以在第一区域上显示，以及，对应于关于是否关闭电源的命令的语音项目可以在第二区域上显示。
第二色度可以比第一色度更浓重。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其接收用户语音的输入；显示单元，其显示包括指导语音任务的多个语音项目的语音辅助信息；和控制单元，如果通过语音输入单元输入了对应于多个语音项目其中之一的用户语音，则控制单元控制显示单元在语音辅助信息的第一区域上显示用于执行语音任务的第一色度的指导消息，并在语音辅助信息的第二区域上显示第二色度的语音项目。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：显示包括指导语音任务的多个语音项目的语音辅助信息；以及，如果不属于对应于所述多个语音项目的命令的预定的词被包括在通过语音输入单元输入的用户语音中，则执行对应于所述预定的词的语音任务，其中，所述预定的词对应于和电子装置通信的遥控器中所包括的可执行键。
所述预定的词可以包括以下其中之一：产生频道列表的命令、产生菜单的命令、执行社会网络的命令、指导节目时间表的命令、改变到3D影像的命令，和指导广播的命令。
所述预定的词可以包括对应于提供关于被当前电子装置执行的功能的任务的命令的词。
如果被当前电子装置执行的功能是再现活动影像的功能，则所述预定的词可以包括以下其中至少一个：再现活动影像的命令、暂停活动影像的命令、停止活动影像的命令、再现前一文件的命令、再现下一文件的命令、快进命令，和快退命令。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其接收用户语音的输入；显示单元，其显示包括指导语音任务的多个语音项目的语音辅助信息；和控制单元，如果不属于对应于所述多个语音项目的命令的预定词被包括在通过语音输入单元输入的用户语音中，则执行对应于所述预定词的语音任务，其中，所述预定词对应于和电子装置通信的遥控器中所包括的可执行键。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：接收利用双手的动作开始命令，以及，如果利用双手的动作开始命令被输入，则把当前模式改变到用于执行利用双手的动作任务的利用双手的动作任务模式。
接收利用双手的动作开始命令可以包括：接收利用一只手的动作开始命令，如果利用一只手的动作开始命令被输入，则把当前模式改变到用于执行动作任务的动作任务模式，并接收利用另一只手的动作开始命令。
利用双手的动作开始命令可以是同时摇摆双手多次的摇摆动作。
利用双手的动作任务可以是放大或者缩小屏幕的任务。
所述方法还可以包括：如果不可能执行利用双手的动作任务的应用程序被执行，则输出表示不可能执行利用双手的动作任务的消息。
根据另一示范性实施例的方面，提供了一种电子装置，包括：动作输入单元，其接收动作开始命令，以及，如果利用双手的动作开始命令通过动作输入单元输入，则把当前模式改变到用于执行利用双手的动作任务的利用双手的动作任务模式。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：通过动作输入单元接收动作开始命令，以及，如果动作开始命令被输入，则把当前模式改变到依据输入动作开始命令的用户的动作执行动作任务的动作任务模式，其中，在动作任务模式中，动作任务只依据输入动作开始命令的用户的动作执行，直到输入动作开始命令的用户释放动作任务模式为止。
即使动作开始命令被从输入动作开始命令的用户以外的其他用户输入，也可以保持动作任务模式。
在动作任务模式中，即使输入动作开始命令的用户的手与其他用户的手重叠，也可以依据输入动作开始命令的用户的手来执行动作任务。
所述方法可以包括：如果在动作任务模式中，利用一只手的动作开始命令被输入，并且动作开始命令通过和输入动作开始命令的用户不同的用户的一只手输入，则把当前模式改变到利用双手的动作任务模式。
动作开始命令是摇摆用户手多次的摇摆动作。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：如果通过动作输入单元从多个用户输入了多个动作开始命令，则从所述多个动作开始命令中确定最初被输入的动作开始命令，并把当前模式改变到依据输入最初被输入的动作开始命令的用户的动作执行动作任务的动作任务模式。
在动作任务模式中，可以只依据最初输入动作开始命令的用户的动作执行动作任务，直到最初输入动作开始命令的用户释放动作任务模式为止。
即使动作开始命令被从最初输入动作开始命令的用户以外的其他用户输入，也可以保持动作任务模式。
根据另一示范性实施例的方面，提供了一种电子装置，包括：动作输入单元，其接收动作开始命令；和控制单元，如果动作开始命令通过动作输入单元输入，则控制单元把当前模式改变到依据输入动作开始命令的用户的动作执行动作任务的动作任务模式，其中，在动作任务模式中，只依据输入动作开始命令的用户的动作执行动作任务，直到输入动作开始命令的用户释放动作任务模式。
根据另一示范性实施例的方面，提供了一种电子装置，包括：动作输入单元，其接收动作开始命令；和控制单元，如果通过动作输入单元从多个用户输入了多个动作开始命令，则控制单元从所述多个动作开始命令中确定最初被输入的动作开始命令，并把当前模式改变到依据输入最初被输入的动作开始命令的用户的动作执行动作任务的动作任务模式。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：显示影像；接收第一用户语音的输入，如果第一用户语音被输入，则响应于第一用户语音，在影像的一个区域上显示指导至少一个语音任务的第一菜单；接收第二用户语音的输入，并从至少一个语音任务中执行对应于第二用户语音的语音任务。
通过第一语音是改变频道的命令，则第一菜单可以包括用于指导频道改变的信息，并且第二语音可以是频道号码、频道名称和节目名称其中之一。
用于指导频道改变的信息可以包括频道号码、频道名称和节目名称其中之一的命令例子。
如果第二语音是频道号码和频道名称，则执行语音任务可以包括把频道改变到和输入的频道号码和频道名称其中之一对应的频道。
如果第二语音是频道节目，则执行语音任务可以包括从预先存储的节目指南（EPG）搜索输入的节目名称，并把频道改变到广播所输入的节目名称的频道或者安排观看时间。
根据另一示范性实施例的方面，提供了一种电子装置，包括：显示单元，其显示影像；语音输入单元，其接收第一用户语音和第二用户语音的输入；和控制单元，如果第一用户语音被输入，则控制单元控制显示单元响应于第一用户语音来在影像的一个区域上显示指导至少一个语音任务的第一菜单，以及，如果第二用户语音被输入，则从至少一个语音任务中执行对应于第二用户语音的语音任务。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：在依据识别的用户语音执行语音任务的语音任务模式中，显示至少一个可执行图标和每一对应的可执行图标的名称，接收用户语音的输入；以及，如果仅显示可执行图标的名称的一部分的第一可执行图标存在于所述至少一个可执行图标中，并且输入的用户语音和第一可执行图标的名称的被显示部分一致，则执行第一可执行图标。
所述执行可以包括：如果输入的用户语音和组成第一可执行图标的名称的被显示部分的多个拼写一致，则执行第一可执行图标。
所述执行可以包括：如果其名称包括特殊字符的第二可执行图标存在于可执行图标中，并且输入的用户语音和把第二可执行图标的名称中所包括的特殊字符排除在外的可说出名称一致，则执行第二可执行图标。
特殊字符可以是不可被用户说出的符号。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：显示包括至少一个超链接的网页；提取至少一个超链接的文本；接收用户语音；以及，如果仅显示所提取的超链接文本的一部分的第一超链接存在于所述至少一个超链接中，并且输入的用户语音和第一超链接文本的被显示部分一致，则执行第一超链接。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其接收用户语音的输入；显示单元，其在依据通过语音输入单元输入的用户语音执行语音任务的语音任务模式中显示可执行图标和可执行图标的名称；和控制单元，如果仅显示可执行图标的名称的一部分的第一可执行图标存在于可执行图标中，并且输入的用户语音和第一可执行图标的名称的被显示部分一致，则执行第一可执行图标。
根据另一示范性实施例的方面，提供了一种电子装置，包括：用户输入单元，其接收用户语音的输入；显示单元，其在依据通过语音输入单元输入的用户语音执行语音任务的语音任务模式中显示可执行图标和可执行图标的名称；和控制单元，如果其名称包括特殊字符的第二可执行图标存在于可执行图标中，并且输入的用户语音和把第二可执行图标的名称中所包括的特殊字符排除在外的可说出名称一致，则控制单元执行第二可执行图标。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其接收用户语音的输入；显示单元，其显示包括至少一个超链接的网页；和控制单元，其提取至少一个超链接的文本，如果用户语音通过语音输入单元输入，则控制单元识别用户语音，以及，如果仅显示所提取的超链接文本的一部分的第一超链接存在于所述至少一个超链接中，并且输入的用户语音和第一超链接文本的被显示部分一致，则执行第一超链接。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：如果动作开始命令通过动作输入单元输入，则把模式改变到执行动作任务的动作任务模式；依据用户操纵执行应用程序；以及，如果第一用户动作和第二用户动作其中之一通过动作输入单元输入，则响应于被识别的第一用户动作和第二用户动作其中之一，放大或者缩小应用程序执行屏幕，其中，应用程序执行屏幕可放大或者缩小。
第一用户动作可以是把双手分开的动作，以及，如果第一用户动作被识别，则应用程序执行屏幕可以被放大并显示。
第二用户动作可以是把双手彼此拉得更近的动作，以及，如果第二用户动作被识别，则应用程序执行屏幕可以被缩小并显示。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：如果动作开始命令通过动作输入单元输入，则把模式改变到执行动作任务的动作任务模式；依据用户操纵执行应用程序；以及，如果保持抓取动作的同时移动一只手的动作通过动作输入单元输入，则响应于抓取动作的移动来移动应用程序执行屏幕并显示应用程序执行屏幕，其中，应用程序执行屏幕可在电子装置的显示屏幕内移动。
根据另一示范性实施例的方面，提供了一种电子装置，包括：显示单元；动作输入单元，其接收第一用户动作和第二用户动作的输入；和控制单元，其依据用户操纵执行应用程序；以及，如果第一用户动作和第二用户动作其中之一通过动作输入单元输入，则响应于被输入的第一用户动作和第二用户动作其中之一，放大或者缩小在显示单元上显示的应用程序执行屏幕，其中，应用程序执行屏幕可放大或者缩小。
根据另一示范性实施例的方面，提供了一种电子装置，包括：显示单元；动作输入单元，其接收第三用户动作的输入；和控制单元，其依据用户操纵执行应用程序；以及，如果第三用户动作通过动作输入单元输入，则依据第三用户动作移动在显示单元上显示的应用程序执行屏幕，并显示应用程序执行屏幕，其中，第三用户动作是在做抓取动作之后移动抓住的手的动作，并且应用程序执行屏幕可在电子装置的显示屏幕内移动。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：从电子装置所包括的语音输入单元和与电子装置通信的装置其中之一接收语音开始命令，以及，如果语音开始命令从电子装置中所包括的语音输入单元输入则显示第一图标，以及，如果语音开始命令从与电子装置通信的装置输入，则显示不同于第一图标的第二图标。
所述方法可以包括：如果语音开始命令从电子装置所包括的语音输入单元输入，则把当前模式改变到第一语音任务模式，、该第一语音任务模式是如果用户语音从电子装置中所包括的语音输入单元输入则依据输入的用户语音执行语音任务的模式。
所述方法可以包括：如果第一图标被显示，并且在预定的时间中用户语音未被输入到电子装置中所包括的语音输入单元，则释放第一语音任务模式，并把当前模式改变到遥控器模式，在遥控器模式中，任务受遥控器控制。
从和电子装置通信的装置输入的语音开始命令可以是以下其中之一：对应于和电子装置通信的装置中所包括的特定按钮的信号，以及，通过和电子装置通信的装置中所包括的语音输入单元输入的特定用户语音。
如果语音开始命令被从和电子装置通信的装置输入，则当前模式可以被改变到第二语音任务模式。该第二语音任务模式可以是如果用户语音通过和电子装置通信的装置中所包括的语音输入单元被输入，则依据输入的用户语音执行语音任务的模式。
所述方法可以包括：如果第二图标被显示，并且在预定的时间中用户语音未被输入到和电子装置通信的装置中所包括的用户输入单元，则释放第二语音任务模式，并把当前模式改变到遥控器模式，在遥控器模式中，任务受遥控器控制。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其接收语音开始命令；通信单元，其和与电子装置通信的装置通信；显示单元；和控制单元，如果语音开始命令被从语音输入单元输入，则控制单元控制显示单元显示第一图标，以及，如果语音开始命令从与电子装置通信的装置输入，则控制显示单元显示不同于第一图标的第二图标。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：通过语音识别模块识别语音开始命令，如果语音开始命令被识别，则显示用于执行受通过语音识别模块识别的用户语音控制的语音任务的语音辅助信息，如果执行要求输入文本的任务的第一用户语音被识别，则显示文本输入窗口，以及，如果在文本输入窗口上输入文本的第二用户语音被识别，则在文本输入窗口上显示对应于识别的第二用户语音的文本，并显示文本输入菜单（输入方法编辑器（input method editor，IME））。
要求输入文本的任务可以是用于执行搜索的任务。
显示文本输入菜单可以包括：显示先前在用户语音被识别时已经被显示过的屏幕，及在用于在文本输入窗口上输入文本的用户语音被识别之后，显示文本输入菜单。
所述方法还可以包括：如果存在多个包括在文本输入窗口上输入的文本的候选搜索词，则通过把候选搜索词的列表与文本输入窗口重叠来显示该列表。
所述方法还可以包括：如果在文本输入窗口上输入文本被完成或者被取消，则从显示屏幕去除文本输入菜单。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其接收语音开始命令；显示单元；和控制单元，如果执行要求输入文本的任务的第一用户语音通过语音输入单元输入，则控制单元控制显示单元显示文本输入窗口，如果在文本输入窗口上输入文本的第二用户语音通过语音输入单元输入，则控制单元控制显示单元在文本输入窗口上显示对应于识别的第二用户语音的文本，并显示文本输入菜单（IME）。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：显示指导由通过语音输入单元输入的用户语音执行的语音任务的语音辅助信息，如果和电子装置通信的外部装置中所包括的第一语音输入按钮被选择，则在语音辅助信息中显示指导语音搜索的第一指导消息，及在外部装置中所包括的语音搜索按钮被选择时，识别通过语音输入单元输入的用户语音。
所述识别可以包括显示在语音辅助信息中显示第二指导消息，所述第二指导消息包括正通过语音输入单元输入用户语音的信息。
所述方法可以包括：如果语音搜索按钮的选择被释放，则在语音辅助信息中显示确认用户语音的输入是否完成的第三指导消息。
第三指导消息可以包括询问是否继续输入用户语音、用户语音的输入是否完成、以及是否取消用户语音的输入的消息。
所述方法可以包括：在第三指导消息被显示的同时如果在语音搜索按钮被再次选择时用户语音被输入，则除了先前识别的用户语音以外，持续识别输入的用户语音。
所述方法可以包括在文本输入窗口上显示对应于识别的用户语音的文本。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其接收用户语音的输入；通信单元，其从和电子装置通信的外部装置接收信号；显示单元；和控制单元，如果在显示指导由通过语音输入单元输入的用户语音执行的语音任务的语音辅助信息的同时外部装置中所包括的语音输入按钮被选择，则控制单元在语音辅助信息中显示指导语音搜索的第一指导消息，以及在外部装置中所包括的语音搜索按钮被选择时识别通过语音输入单元输入的用户语音。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：通过语音输入单元接收用户开始命令；响应于输入的语音开始命令，把当前模式改变到执行语音任务的语音任务模式；显示执行语音任务模式的语音辅助信息；在语音任务模式中提取在显示屏幕上的可选择项目的文本，以及，如果通过语音输入单元输入的用户语音和提取的文本一致，则执行对应于该文本的项目。
可选择项目可以是用于执行应用程序的内容列表中所包括的可执行图标和网页中所包括的超链接其中之一。
可以把从其提取文本的项目与未从其提取文本的其他项目有区别地进行显示。
提取文本可以包括：如果名称的文本具有超过预定数量的字符数，则从整个文本中提取具有小于预定数量的字符数的文本。
所述执行可以包括：如果通过语音输入单元输入的用户语音和具有小于预定数量的字符数的文本一致，则执行对应于具有小于预定数量的字符数的文本的项目。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其接收语音开始命令和用户语音的输入；和控制单元，如果语音开始命令通过语音输入单元输入，则控制单元把当前模式改变到执行语音任务的语音任务模式，并显示执行语音任务模式的语音辅助信息，在语音任务模式中提取在显示屏幕上的可选择项目的文本，以及，如果通过语音输入单元输入的用户语音和提取的文本一致，则执行对应于该文本的项目。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：通过语音输入单元接收语音开始命令；响应于语音输入命令，把当前模式改变到依据通过语音输入单元输入的用户语音来控制任务的语音任务模式；在语音任务模式中提取被包括在网页中的多个超链接的文本；以及，如果在用户语音被输入时只存在一个具有包括通过语音输入单元输入的用户语音的文本的超链接，则执行对应于该文本的超链接。
所述执行可以包括：如果在用户语音通过语音输入单元输入时只存在一个和用户语音以及该文本的一部分一致的超链接，则执行对应于该文本的超链接。
所述方法还可以包括把提取的文本与未被提取的文本有区别地进行显示。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其接收语音开始命令和用户语音；显示单元；和控制单元，如果语音开始命令通过语音输入单元输入，则控制单元把当前模式改变到受语音输入单元控制的语音任务模式，在语音任务模式中提取被包括在网页中的多个超链接的文本；以及，如果在用户语音被输入时只存在一个具有包括通过语音输入单元输入的用户语音的文本的超链接，则执行对应于该文本的超链接。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：通过语音输入单元接收语音开始命令；响应于语音输入命令，把当前模式改变到依据通过语音输入单元输入的用户语音来控制任务的语音任务模式；在语音任务模式中显示包括多个超链接的网页；提取被包括在多个超链接中的文本；通过语音输入单元接收用户语音；识别输入的用户语音；以及，如果存在多个具有和识别的用户语音一致的文本的超链接，则显示包括具有和识别的用户语音一致的文本的超链接的候选项群的列表。
所述方法可以包括通过语音输入单元重新接收用户语音的输入，识别重新输入的用户语音，并基于重新输入的用户语音，改变候选项群的列表。
所述方法可以包括：如果作为反映重新输入的用户语音的结果，只存在一个具有和输入的用户语音以及重新输入的用户语音一致的文本的超链接，则直接执行具有该一致文本的超链接。
所述方法还可以包括把提取的文本与未被提取的文本有区别地进行显示。
所述显示可以包括：如果电子装置的模式是语音任务模式，则显示候选项群的列表。
所述方法可以包括：如果语音任务模式被释放，则从显示屏幕去除候选项群的列表。
根据另一示范性实施例的方面，提供了一种电子装置，包括：显示单元，其显示包括多个超链接的网页；语音输入单元，其接收语音开始命令和用户语音；和控制单元，如果语音开始命令被输入，则控制单元把当前模式改变到依据通过语音输入单元输入的用户语音来控制任务的语音任务模式；在语音任务模式中提取被包括在多个超链接中的文本；识别通过语音输入单元输入的用户语音；以及，如果存在多个具有和识别的用户语音一致的文本的超链接，则显示包括具有和识别的用户语音一致的文本的超链接的候选项群的列表。
如果用户语音通过语音输入单元重新输入，则控制单元可识别重新输入的用户语音，并且可以控制显示单元基于重新输入的用户语音改变候选项群的列表。
根据另一示范性实施例的方面，提供了一种用于控制电子装置的方法，所述方法包括：通过语音输入单元接收语音开始命令；响应于语音开始命令，把当前模式改变到任务受通过语音输入单元输入的用户语音来控制的语音任务模式；在语音任务模式中，显示指导由通过语音输入单元输入的用户语音执行的语音任务的语音辅助信息；通过语音输入单元输入用户语音；以及，如果通过语音输入单元输入的用户语音低于预定的音量水平，则在语音辅助信息的第一区域上显示表示用户语音不可识别的反馈UI。
反馈UI可以是以条状形式显示预定的音量和通过语音输入单元输入的用户语音的音量的GUI。
所述显示可以包括显示要求输入比预定的音量更高的用户语音的消息。
第一区域可以是语音辅助信息的子区域。
根据另一示范性实施例的方面，提供了一种电子装置，包括：语音输入单元，其接收语音开始命令和用户语音；显示单元，其显示指导由通过语音输入单元输入的用户语音执行的语音任务的语音辅助信息；和控制单元，如果语音开始命令被输入，则控制单元控制显示单元把当前模式改变到任务受通过语音输入单元输入的用户语音控制的语音任务模式；以及，如果在语音任务模式中用户语音通过语音输入单元输入，并且通过语音输入单元输入的用户语音低于预定的音量，则控制显示单元在语音辅助信息的第一区域上显示表示用户语音不可识别的反馈UI。
附图说明
参考附图，通过详细描述示范性实施例，上述和/或其他方面将更为清晰，在附图中：
图1、图2和图3是说明根据各种示范性实施例的电子装置的配置的框图；
图4和图5是示出对应于语音任务和动作任务的遥控器按钮的视图；
图6、7、8、9、10、11、12、13、14、15、16、17、18、19、20、21、22、23、24、25、26、27、28、29、30、31、32是说明用于执行语音任务的方法的各种例子的视图；
图33、34、35、36、37、38、39、40、41、42、43、44、45、46、47、48、49、50、51、52、53、54、55、56、57、58是说明用于执行动作任务的方法的各种例子的视图；
图59和图60是根据各种示范性实施例说明电子装置的控制方法的流程图，所述方法通过把任务划分为动作任务和语音任务来控制任务；
图61和图62是根据示范性实施例示出关于电子装置的语音任务的语音UI的视图；
图63是根据示范性实施例示出关于电子装置的动作任务的动作UI的视图；
图64、65、66是根据示范性实施例示出语音识别或者动作识别的视觉反馈的视图；
图67、68、69是根据各种示范性实施例说明提供语音UI和动作UI的电子装置的控制方法的流程图；
图70、71、72、73、74、75、76、77、78是根据各种示范性实施例说明用于显示电子装置的UI的方法以便说明用于语音应用程序的排他性图标的视图；
图79是根据示范性实施例说明用于显示电子装置的UI的方法的流程图；
图80、81、82、83、84、85、86、87、88、89、90、91是根据各种示范性实施例示出依据沿向上、向下、向左或向右方向的用户动作而改变的屏幕的视图；
图92和图93是根据各种示范性实施例说明电子装置的控制方法的流程图，其中屏幕依据用户动作改变。
图94、95、96、97是根据各种示范性实施例说明用于执行遥控模式、动作任务模式和语音任务模式的视图和流程图；
图98是根据示范性实施例说明利用移动设备的语音识别的流程图；
图99、100、101、102、103、104是根据示范性实施例说明指点模式的流程图和视图；
图105、106、107、108是根据示范性实施例说明如果在指点模式中输入了动作时的显示方法的视图和流程图；
图109、110、111是根据示范性实施例说明用于在语音任务模式中显示项目的方法的视图和流程图；
图112、113、114、115是根据示范性实施例说明具有彼此不同的色度的UI的视图和流程图；
图116、117、118是根据示范性实施例说明执行与不同于显示的语音项目的命令对应的任务的视图和流程图；
图119、120、121是根据示范性实施例说明把当前模式改变到利用双手的动作任务模式的动作开始命令的视图和流程图；
图122是根据示范性实施例说明如果多个用户输入了动作开始命令时执行动作任务模式的方法的流程图；
图123、124、125、126是根据示范性实施例说明用于通过同步地利用语音识别来执行任务的方法的视图和流程图；
图127、128、129是根据示范性实施例说明执行其名称被部分地显示的可执行图标的视图和流程图；
图130、131、132、133、134是根据示范性实施例说明依据特殊手势执行任务的视图和流程图；
图135、136、137是根据示范性实施例说明依据语音输入方法被有区别地显示的图标的视图和流程图；
图138、139、140、141、142是根据示范性实施例说明用于显示文本输入菜单的方法的视图和流程图；
图143是根据示范性实施例说明用于执行利用外部装置的语音任务的方法的流程图；
图144、145、146是根据示范性实施例说明如果显示屏幕上显示可说出的命令时执行语音任务的视图和流程图；
图147是根据示范性实施例说明用于自动识别语音的方法的流程图；
图148是根据示范性实施例说用于显示候选项列表的方法的流程图；及
图149是根据示范性实施例说明指导语音识别错误的UI的流程图。
具体实施方式
此后将参考附图更详细地描述示范性实施例。
在下面的描述中，当相同的元件被在不同的附图中绘出时，把相同的附图标记用于相同的元件。在说明中限定的事物，例如详细结构和元件，被提供为用于帮助理解示范性实施例。因此很显然，无需那些被具体限定的事物也可以实施示范性实施例。而且，相关技术中已知的功能或者元件未被详细地描述，因为它们将以非必要的细节使这些示范性实施例模糊晦涩。
图1是示意性框图，示出了根据示范性实施例的电子装置100。
参考图1，电子装置100包括语音输入单元100、动作输入单元120、存储单元130和控制单元140。电子装置100可以由可连接到外部网络的智能电视（TV）、机顶盒、个人计算机（PC）或者数字TV来实现，但不限于此。
语音输入单元110接收由用户说出的语音的输入。语音输入单元110将输入的语音信号转换为电信号，并把电信号输出到控制单元140。例如，语音输入单元110可以由麦克风实现。而且，语音输入单元110可以由电子装置100中的内部部件或者外部设备实现。外部设备语音输入单元110可以通过有线或者无线连接或者通过网络连接到电子装置100。
动作输入单元120接收通过拍摄用户动作获取的影像（image）信号（例如连续帧），并把影像信号提供给控制单元140。例如，动作输入单元120可以由包括透镜和影像传感器的单元实现。动作输入单元120可以由电子装置100中的内部部件或者外部设备实现。外部设备动作输入单元120可以用有线或者无线连接或者经网络连接到电子装置100。
存储单元130存储用于驱动和控制电子装置100的各种数据和程序。存储单元130存储识别通过语音输入单元110输入的语音的语音识别模块、以及识别通过动作输入单元120输入的动作的动作识别模块。
存储单元130可以包括语音数据库和动作数据库。语音数据库指预定的语音以及与该预定的语音匹配的语音任务被记录于其上的数据库。动作数据库指预定的动作以及与该预定的动作匹配的动作任务被记录于其上的数据库。
控制单元140控制语音输入单元100、动作输入单元120和存储单元130。控制单元140可以包括例如中央处理单元（CPU）的硬件处理器和存储用于控制电子装置100的模块和数据的只读存储器（ROM）和随机存取存储器（RAM）。
如果语音通过语音输入单元110被输入，则控制单元140利用语音识别模块和语音数据库识别语音。语音识别可以被划分为孤立词识别、连续讲话识别和关键词检出，孤立词识别通过依据输入语音的形式区分词来识别被说出的语音，连续讲话识别对连续词、连续句子和对话语音进行识别，关键词检出是孤立词识别和连续讲话识别之间的中间类型并通过检测预先定义的关键词来识别语音。如果用户语音被输入，则控制单元140通过从输入的语音信号检测用户所说出的语音的开始和结束来确定语音段（voice section）。控制单元140计算输入的语音信号的能量，依据计算的能量对语音信号的能量水平分类，并通过动态规划（dynamic programming）检测语音段。控制单元140通过从所检测的语音段内的语音信号基于声学模型检测音素产生音素数据，音素是语音的最小单元。控制单元140通过把隐式马尔科夫模型（hiddenMarkov model，HMM）应用于产生的音素数据产生文本信息。但是，上述语音识别方法仅仅是例子，并且可以利用其他的语音识别方法。在上面描述的方法中，控制单元140识别语音信号中所包括的用户语音。
如果动作通过动作输入单元120被输入，则控制单元140利用动作识别模块和动作数据库识别动作。动作识别把对应于通过动作输入单元120输入的用户动作的影像（例如连续帧）划分为背景区域和手区域（例如，伸展出手指或者通过使手成杯状握紧拳头），并识别连续的手动作。如果用户动作被输入，则控制单元140以帧为基础存储接收的影像，并利用存储的帧侦测用户动作的目标（例如，用户的手）。控制单元140通过侦测帧中所包括的目标的形状、颜色和动作其中至少一个来检测该目标。控制单元140可以利用多个帧中所包括的目标的位置追踪目标的动作。
控制单元140依据被追踪目标的形状和运动确定动作。例如，控制单元140利用目标的形状、速度、位置和方向上的变化其中至少一个确定用户动作。用户动作包括握紧一只手的抓取动作、利用一只手移动显示的光标的指点移动动作、以预定的速度或者更高的速度沿着一个方向移动一只手的拍击动作、水平或者垂直地摇摆一只手的摇摆动作，以及旋转一只手的旋转动作。本公开的技术理念可以被应用于其他动作。例如，用户动作还可以包括展开一只手的展开动作。
控制单元140确定目标是否在预定的时间内（例如，800ms）离开预定的区域（例如，40cm X 40cm的正方形），以便确定用户动作是指点移动动作还是拍击动作。如果目标未在预定的时间内离开预定的区域，则控制单元140可以确定用户动作是指点移动动作。如果目标在预定的时间内离开预定的区域，则控制单元140可以确定用户动作是拍击动作。又例如，如果目标的速度低于预定的速度（例如，30cm/s），则控制单元140可以确定用户动作是指点移动动作。如果目标的速度超过预定的速度，则控制单元140可以确定用户动作是拍击动作。
如上所述，控制单元140利用识别的语音和动作执行电子装置100的任务。电子装置的任务包括由电子装置100执行的功能的至少一个，例如频道改变、音量控制、内容再现（例如，活动影像、音乐或者照片），或者因特网浏览。
下面将说明通过控制单元140控制电子装置100的详细方法。
图2是示出根据示范性实施例的电子装置100的框图。参考图2，电子装置100包括语音输入单元110、动作输入单元120、存储单元130、控制单元140、广播接收单元150、外部端子输入单元160、遥控信号接收单元170、网络接口单元180和影像输出单元190。如图2中所示，电子装置100可以由机顶盒、个人计算机等来实现。
图2的语音输入单元110、动作输入单元120、存储单元130和控制单元140和图1的语音输入单元110、动作输入单元120、存储单元130和控制单元140是相同的，因此省略其详细描述。
广播接收单元150以有线或者无线方式从外部源接收广播信号。广播信号包括视频、音频和额外的数据（例如，电子节目指南（electronic programguide，EPG））。广播接收单元150可以从各种来源接收广播信号，例如地波广播、有线广播（cable broadcast）、卫星广播、因特网广播等。
外部端子输入单元160从外部源接收视频数据（例如，活动影像或者照片）和音频数据（例如，音乐）。外部端子输入单元160可以包括以下其中至少一个：高分辨率多媒体接口（high definition multimedia interface，HDMI）输入端子、分量输入端子、PC输入端子、USB输入端子，等等。遥控信号接收单元170从外部遥控器接收遥控信号。遥控信号接收单元170可以在电子装置100的语音任务模式或者动作任务模式中接收遥控信号。网络接口单元180可以在控制单元140的控制下把电子装置100连接到外部装置（例如，服务器）。控制单元140可以从通过网络接口单元180连接的外部装置下载应用程序，或者可以执行网络浏览。网络接口单元180可以提供以太网、无线局域网182、蓝牙等中的至少一个。
影像输出单元190把通过广播接收单元150接收的外部广播信号、从外部端子输入单元160输入的视频数据或者存储在存储单元130中的视频数据输出到外部显示装置（例如，监视器或者TV）。影像输出单元190可以包括例如HDMI、分量（component）、复合（composite）、视频影像阵列（VideoGraphics Array，VGA）、数字视频接口（Digital Video Interface，DVI）、S-Video等输出端子。
图3是示出根据另一示范性实施例的电子装置100的框图。如图3中所示，电子装置100包括语音输入单元110、动作输入单元120、存储单元130、控制单元140、广播接收单元150、外部端子输入单元160、遥控信号接收单元170、网络接口单元180、显示单元193和音频输出单元196。电子装置100可以是数字TV，但不限于此。
图3的音输入单元110、动作输入单元120、存储单元130、控制单元140、广播接收单元150、外部端子输入单元160、遥控信号接收单元170和网络接口单元180和图1和图2中具有相同附图标记的那些相同，因此省略其详细描述。
显示单元193显示对应于通过广播接收单元150接收的广播信号的影像。显示单元193可以显示通过外部端子输入单元160输入的影像数据（例如，活动影像）或者存储在存储单元中的视频。显示单元193可以在控制单元140的控制下，显示用于执行语音任务的语音辅助信息和用于执行动作任务的动作辅助信息。
音频输出单元196在控制单元140的控制下输出对应于广播信号的音频。音频输出单元196可以包括扬声器196a、头戴式耳机输出端子196b和S/PDIF输出端子163c中的至少一个。存储单元130包括电源控制模块130a、频道控制模块130b、音量控制模块130c、外部输入控制模块130d、屏幕控制模块130e、音频控制模块130f、因特网控制模块130g、应用程序模块130h、搜索控制模块130i、用户界面（user interface，UI）处理模块130j、语音识别模块130k、动作识别模块130l、语音数据库130m和动作数据库130n。这些模块130a到130n可以由软件实现，以便执行电源控制功能、频道控制功能、音量控制功能、外部输入控制功能、屏幕控制功能、音频控制功能、因特网控制功能、应用程序执行功能、搜索控制功能和UI处理功能。控制单元140通过执行存储在存储单元130中的软件执行对应的功能。
此后，将参考附图说明各种示范性实施例。
如果用户语音通过语音识别模块130k被识别，则控制单元140从可受遥控器控制的任务中执行对应于识别的用户语音的语音任务（voice task）。如果用户动作通过动作识别模块130l被识别，则控制单元140从可受遥控器控制的任务中执行对应于识别的用户动作的动作任务（motion task）。通过由遥控器上的按钮分类，语音任务和动作任务可以被映射。
语音任务指可依据通过语音识别模块识别的语音控制的任务。例如，语音任务可以包括以下功能中的至少一个：关闭电子装置100、频道快捷方式、静音、改变外部端子、设置音量水平、输入文本，和再现/停止影像。即，具有可被用户语音说出的名称或者标识符的各种任务、或者要求输入文本的任务，可以被设置为语音任务。
动作任务指可依据通过动作识别模块识别的动作控制的任务。例如，动作任务可以包括频道改变、音量水平控制、屏幕导航、滚动条控制和光标指点。即，可以依据用户动作的类型和方向同步地控制的各种任务、以及利用光标的任务可以被设置为动作任务。
如果用户语音通过语音识别模块被识别，则控制单元140执行直接对应于用户语音中所包括的话语的语音任务。
例如，控制单元140从用户说出的语音识别出频道标识符。频道标识符标识频道，并可以包括频道名称、频道号码和节目名称其中至少一个。
如果频道标识符被存储在语音数据库中，语音数据库如上所述存储在存储单元130中，则控制单元140利用语音数据库执行去往和识别的频道标识符对应的频道的快捷方式。即，如果用户说“11”，则控制单元140确认对应于“11”的语音任务是否被记录在语音数据库上。如果对应于“11”的语音任务是选择频道11的频道快捷方式功能，则控制单元140执行去往频道11的快捷方式。
如果用户动作通过动作识别模块被识别，则控制单元140依据用户动作的方向，执行对应于用户动作的动作任务。
例如，如果通过动作识别模块识别处沿向上方向的拍击动作，则控制单元140可以从动作数据库确认对应于沿向上方向的拍击动作的动作任务，并且可以执行频道改变，从而把当前频道改变到其号码被增加预定数（例如，1）的频道。如果通过动作识别模块识别出沿向下方向的拍击动作，则控制单元140可以从动作数据库确认对应于沿向下方向的拍击动作的动作任务，并且可以执行频道改变，从而把当前频道改变到其号码被减少预定数（例如，1）的频道。
通过按照如图4和图5中所示的遥控器上的按钮被分类，语音任务和动作任务可以被映射。
图4示出了遥控器上的对应于用于执行至少一个语音任务的命令的按钮。即，语音输入被识别时执行的任务可以对应于由遥控器上的按钮之一所执行的任务。例如，由遥控器上的电源按钮401执行的任务对应于如果语音“呼叫词”（例如Ginny）或者“电源”被识别时所执行的任务。相应地，外部输入按钮402对应于语音“外部输入”。同样，数字按钮403对应于说出的数字。同样，前一频道按钮404对应于语音“前一个频道”。静音按钮405对应于语音“静音”或者“取消静音”。同样，频道列表按钮406对应于语音“频道列表”。智能中心/菜单/搜索/快速菜单/信息显示按钮407、返回按钮408、退出按钮409、社会网络/3D影像提供按钮410、帮助按钮411、以及重放/暂停/停止/记录按钮412对应于与其相应名称对应的语音。
图5示出了遥控器上的对应于用于执行至少一个动作任务的动作的按钮。即，动作输入被识别时所执行的任务可以对应于依据遥控器上的按钮之一被执行的任务。例如，如图5中所示，依据音量升/降按钮和频道升/降按钮421执行的任务对应于沿向上、向下、向左或向右方向的拍击动作被识别时所执行的任务。相应地，向上、向下、向左或向右方向按钮422对应于沿向上、向下、向左或向右方向的拍击动作。选择按钮423可以对应于抓取动作。如果屏上显示（on screen display：OSD）包括键指南，则功能按钮425可以对应于相应键的指点动作。
语音任务和动作任务可以独立地改变电子装置100的设置而无需相互结合。即，语音任务可以利用由语音识别模块130k识别的用户语音改变电子装置100的设置，动作任务可以利用由动作识别模块130l识别的用户动作改变电子装置100的设置。
控制单元140通过语音识别模块130k和动作识别模块130l其中之一，识别用户语音和用户动作其中之一。如果用户语音通过语音识别模块130k被识别，则控制单元140从分别具有内容标识符的多个内容中，执行具有对应于识别的用户语音的内容标识符的内容。如果通过动作识别模块130l识别了用户动作，则控制单元140依据用户动作的方向改变多个内容。
这里引用的内容可以是广播内容。特别地，如果通过语音识别模块130k识别了用户语音，则控制单元140把当前广播频道改变到分别具有广播频道标识符的多个广播频道中具有对应于识别的用户语音的广播频道标识符的广播频道。频道标识符可以包括频道号码、频道名称和节目名称其中至少一个。
如果通过动作识别模块130l识别了用户动作，则控制单元140依据用户动作的方向，同步地改变多个广播频道。用户动作可以包括拍击动作。例如，如果识别的用户动作是沿向上方向的拍击动作，则控制单元140执行频道改变，从而把当前广播频道改变到其号码被增加预定的数的广播频道。如果识别的用户动作是沿向下方向的拍击动作，则控制单元140执行频道改变，以把当前广播频道改变到其号码被减少预定的数的广播频道。
内容可以是影像内容、音乐内容和照片内容其中之一。如果内容是影像内容、音乐内容和照片内容其中之一，则内容标识符可以是内容的名称。
如果内容是影像内容、音乐内容和照片内容其中之一，则用户动作可以包括拍击动作。例如，如果识别的用户动作是沿向右方向的拍击动作，则控制单元140把当前内容改变到包括要被再现的多个内容的内容列表上的下一内容，以及，如果识别的用户动作是沿向左方向的拍击动作，则控制单元140把当前内容改变到内容列表上的前一内容。
如果语音开始命令通过语音识别模块130k被识别，则控制单元140把电子装置100的模式改变到语音任务模式，在语音任务模式中，依据通过语音识别模块130k识别的用户语音来控制电子装置100。如果动作开始命令通过动作识别模块130l被识别，则控制单元140把电子装置100的模式改变到动作任务模式，在动作任务模式中，依据通过动作识别模块130l识别的用户动作来控制电子装置100。
具体来说，可以在遥控模式、语音任务模式和动作任务模式其中之一中操作控制单元140，在遥控模式中，电子装置100受遥控装置（例如，遥控器）控制，在语音任务模式中，电子装置100依据语音被控制，在动作任务模式中，电子装置100依据动作被控制。如果开始另一模式的命令被输入，则控制单元140可以把当前模式改变到对应模式。
如果在电子装置100处于遥控模式或者动作任务模式时，通过语音识别模块130k识别出语音开始命令（触发语音），则控制单元140把电子装置100的模式改变到语音任务模式。语音开始命令是包括与进入语音任务模式的操作相匹配的词的命令。例如，如果词“Ginny”被设置为语音开始命令，则当词“Ginny”被识别时，控制单元140把电子装置100的模式改变到语音任务模式。关于语音开始命令的词可以在电子装置100的配置模式中由用户直接改变，或者可以是在制造电子装置100时缺省定义的固定命令。
在语音任务模式中，控制单元140利用语音数据库执行对应于由用户说出的语音中所包括的词的语音任务。
控制单元140可以保持语音任务模式，直到返回遥控模式的开始命令、模式取消命令或者改变到动作任务模式的动作开始命令被识别为止。在模式已经被改变到语音任务模式之后，如果预定的时间（例如，5分钟）中没有语音被识别，则控制单元140可以自动返回遥控模式。
如果在一般模式或者语音任务模式中，通过动作识别模块130l动作开始命令（触发动作）被识别，则控制单元140可以把当前模式改变到动作任务模式。动作开始命令是进入动作任务模式的预先设置的动作。例如，如果把一只手水平低摇摆3到4次的动作被设置为动作开始命令，则当这样的动作被识别时，控制单元140把模式改变到动作任务模式。关于动作开始命令的动作可以在配置模式中由用户直接改变，或者可以是在制造电子装置100时缺省定义的固定动作。
在动作任务模式中，控制单元140利用动作数据库执行对应于用户动作的动作任务。控制单元140可以保持动作任务模式，直到返回遥控模式的开始命令、模式取消命令或者改变到语音任务模式的语音开始命令被识别为止。在模式已经被改变到动作任务模式之后，如果预定的时间（例如，5分钟）中没有动作被识别，则控制单元140可以自动返回遥控模式。
控制单元140显示包括指导语音识别的语音项目的语音辅助信息和包括指导动作识别的动作项目的动作辅助信息其中之一。如果与语音辅助信息中所包括的语音项目对应的命令之一被识别，则控制单元140执行对应于识别的命令的语音任务。如果对应于动作辅助信息中所包括的动作项目的动作之一被识别，则控制单元140执行对应于识别的动作的动作任务。
具体来说，如果语音开始命令通过语音识别模块130k被识别，则控制单元140可以控制显示关于可被用户语音控制的语音任务的语音项目。语音项目可以显示对应于各种语音任务的命令。因此，如果用户说出某个命令，则用户能够容易地识别哪个语音任务将被执行，因此能够更容易地执行该语音任务。
如果动作开始命令通过动作识别模块130l被识别，则控制单元140可以控制显示关于可被用户动作控制的动作任务的动作项目。动作项目可以显示对应于各种动作任务的动作。因此，如果用户做出某个动作，则用户能够容易地识别哪个动作任务将被执行，因此能够更容易地执行该动作任务。
语音项目和动作项目可以被显示在显示屏幕的相同区域上（例如，屏幕的下部）。其上显示语音项目和动作项目的区域可以与被显示的影像重叠。但是，这仅仅是例子，并且语音项目和动作项目可以被显示在其他位置上，或者以其他方法显示。例如，可以在显示屏幕的左部或者右部上显示语音项目或动作项目。
电子装置100的任务可以如下划分为受用户语音控制的语音任务和受用户动作控制的动作任务：
[表1]
Figure BDA00002369234200481
表1中所示的语音任务可以在由语音开始命令执行的语音任务模式中被执行，并且表1中所示的动作任务可以在由动作开始命令执行的动作任务模式中被执行。
此后，将参考图6到图32说明依据用户语音控制的语音任务，并将参考图33到图58说明依据用户动作控制的动作任务。
图6和图7是根据示范性实施例说明利用语音识别的开机的视图。如图6中所示，在影像未被输出但是电源被供应给语音输入单元110和控制单元140的待机模式中，如果通过语音识别模块130k识别了“开机”，则如图7中所示，电子装置100被开启。
图8到图10是根据示范性实施例说明利用语音识别的关闭的视图。如图8中所示，如果电子装置100进入语音任务模式并在显示屏幕的下部显示语音辅助信息，并且对应于语音项目811的“关闭”通过语音识别模块130k被识别，则电子装置100在语音辅助信息上显示用于再次确认是否关闭电子装置100的指导区域920，如图9中所示。如果通过语音识别模块130k识别了对应于语音项目921的“是（YES）”，则电子装置100被关闭，如图10中所示。
图11和图12是根据示范性实施例说明利用语音识别的智能开机（martpower on）的视图。智能开机是开启电子装置100并同时把当前频道改变到用户期望的频道的功能。如图11中所示，在影像未被输出但是电源被供应给语音输入单元110和控制单元140的待机模式中，如果通过语音识别模块130k连续识别了“Ginny”和“6频道”，则如图12中所示，电子装置100被开启，并显示6频道。
图13到图16是根据示范性实施例说明利用包括频道号码的语音识别的频道快捷方式的视图。如图13中所示，如果电子装置100进入语音任务模式并在显示屏幕的下部显示语音辅助信息，并且对应于语音项目812的“频道”通过语音识别模块130k被识别，如图13所示，则电子装置100在显示屏幕下端的语音辅助信息上显示用于指导频道号码和频道名称指导区域830，如图14中所示。如果指导区域830被显示并且语音“七”通过语音识别模块130k被识别，则电子装置100改变频道以调到7频道。
如果存在包括通过语音识别模块130k识别的“七”的频道，或者存在类似于“七”的候选项群，则电子装置100显示语音候选项群的列表1100和指导输入语音候选项群的方式的候选项群选择指南1510，如图15中所示。
如果语音候选项群的列表1100被显示，并且对应于语音候选项群的列表上的第一个项目1101的“第一”通过语音识别模块130k被识别，则电子装置100调到7频道，如图16中所示。
图17到图20是根据示范性实施例说明利用包括频道名称的语音识别的频道快捷方式的视图。如图17中所示，如果电子装置100进入语音任务模式并在显示屏幕的下部显示语音辅助信息，并且对应于语音项目812的“频道”通过语音识别模块130k被识别，则电子装置100在语音辅助信息上显示用于指导频道号码和频道名称的指导区域830，如图18中所示。如果指导区域830被显示，并且语音“MBC”通过语音识别模块130k被识别，则电子装置100调到具有频道名称“MBC”的11频道，如图20中所示。
如果存在包括通过语音识别模块130k识别的“MBC”的频道，或者存在类似于“MBC”的候选项群，则电子装置100显示语音候选项群的列表1900和指导输入语音候选项群的方式的候选项群选择指南1910，如图19中所示。如果语音候选项群的列表1900被显示，并且对应于语音候选项群的列表1900上的第一个项目1901的语音“第一”通过语音识别模块130k被识别，则电子装置100调到具有频道名称“MBC”的11频道，如图20中所示。
图21到图23是根据示范性实施例说明利用语音识别的静音的视图。如图21中所示，如果在显示屏幕的下部显示语音辅助信息，并且对应于语音项目813的“静音”通过语音识别模块130k被识别，则电子装置100控制音频输出单元196不输出音频。而且，如图22中所示，电子装置100在显示屏幕上显示静音图标2200。此时，指导区域2210显示取消静音2213命令而非静音813命令。
如果“取消静音”通过语音识别模块130k被识别，则电子装置100控制音频输出单元196输出静音之前有效的先前水平的音频。而且，如图23中所示，电子装置100删除显示屏幕上的静音图标2200。
图24到图26是根据示范性实施例说明利用语音识别的外部输入改变的视图。如图24中所示，如果电子装置100进入语音任务模式并在显示屏幕的下部显示语音辅助信息，并且对应于语音项目814的“外部输入”通过语音识别模块130k被识别，则电子装置100显示外部输入列表2500和用于指导外部输入的选择的指南2510，如图25中所示。外部输入列表2500清楚地显示被连接到外部端子输入单元160的USB外部端子、AV1外部端子和PC外部端子，并且微弱地显示未被连接到外部端子输入单元160的HDMI1和HDMI2。如果外部输入列表2500被显示并且“PC”通过语音识别模块130k被识别，则电子装置100在显示屏幕上显示与外部输入“PC”的连接状态。
图27和图29是根据示范性实施例示出具有要被说出的明确名称的功能执行任务的视图。如图27中所示，如果显示执行智能功能（例如，访问因特网、执行应用程序、再现活动影像和听音乐的功能）的内容列表的用户命令被输入，则智能中心（smart hub）2700被显示。智能中心2700是起到电子装置100所支持的功能的中心的作用的UI，并且是显示对应于电子装置100所支持的多个功能（例如，观看视频、听音乐和访问因特网的功能）的可执行图标的UI。而且，智能中心2700是显示对应于存储在电子装置100的存储单元130中的内容（例如，照片、音乐和视频）的可执行图标、对应于从外部源接收到的内容（例如，照片、音乐和视频）的可执行图标、以及对应于可连接到外部的应用程序（例如，因特网浏览器）的可执行图标的UI。
如果通过语音识别模块130k识别了“Ginny”来进入语音任务模式，则电子装置100在显示屏幕的下部显示语音GUI，并进入语音任务模式，如图28中所示。当进入语音任务模式时，电子装置100给智能中心2700的可执行图标的名称加下划线，以使智能中心2700显示可被用户语音选择的可执行图标。
如图28中所示，如果语音辅助信息被显示，并且语音“你的视频”通过语音识别模块130k被识别，则电子装置100执行智能中心2700的“你的视频”中所包括的活动影像，如图29中所示。如果一个活动影像被包括在“你的视频”中，则该活动影像被即刻执行，如果多个影像包括在“你的视频”中，则显示包括在“你的视频”中的活动影像的列表。
图30到图32是根据示范性实施例说明利用语音识别的影像再现功能和影像停止功能的视图。如图30中所示，如果影像（例如，存储在存储单元130中的活动影像）被再现，并且通过语音识别模块130k识别了进入语音任务模式的“Ginny”，则电子装置100进入语音任务模式，并在显示屏幕的下部显示语音辅助信息，如图31中所示。
在这种状态中，如果“暂停”通过语音识别模块130k被识别，则电子装置100暂时停止再现当前影像，并在显示屏幕上显示暂停图标，如图32中所示。如果“重放”通过语音识别模块130k被识别，则电子装置100再现被暂停的影像，如图31中所示。
当影像被再现时，可以在语音辅助信息上显示暂停/停止命令，以及，当影像被暂停时，可以显示再现命令。
如上所述，由于依据通过语音识别模块130k识别的用户语音被控制的语音任务是具有可说出的标识符的任务或者要求文本输入的任务，所以用户能够通过他/她的语音更容易并且更方便地控制语音任务。
图33和图34是根据示范性实施例说明利用动作识别的频道改变的视图。如图33中所示，如果电子装置100进入动作任务模式并在显示屏幕的下部显示动作辅助信息，并且与动作项目3313对应的沿向右方向移动用户的手的拍击动作通过动作识别模块130l被识别，则如图34中所示，电子装置100调到当前频道的下一频道，即7频道，7频道为从当前6频道增加1。另一方面，如果如图34中所示，7频道被显示，并且和动作项目3313对应的从当前位置沿向左方向移动用户的手的拍击动作被识别，则如图33中所示，电子装置100调到前一频道，即6频道，6频道为从当前7频道减少1。
图35和图37是根据示范性实施例说明利用动作识别的音量水平控制的视图。如图35中所示，如果电子装置100进入动作任务模式并在显示屏幕的下部显示动作辅助信息，并且与动作项目3312对应的沿向上方向移动用户的手的拍击动作通过动作识别模块130l被识别，则如图36中所示，电子装置100显示音量水平控制条3600，并输出下一水平10的音量，音量水平控制条3600显示音量水平，下一水平10是从当前音量水平9增大一个水平。在音量水平控制条3600已经被显示之后，如果在预定的时间中（例如，5分钟）没有用户动作被识别，则电子装置100从显示屏幕去除音量水平控制条3600，并依据被控制的音量水平输出音频。
图38到图41是根据示范性实施例说明利用用户的指点动作的频道改变的视图。如果用户输入产生频道列表3800的命令（例如，遥控器上的频道列表按钮）以便选择频道，并且频道列表3800被显示在显示屏幕上，如图38中所示，以及，进入动作任务模式的动作（例如，摇摆用户的手3到4次）通过动作识别模块130l被识别，则电子装置100产生光标3910，并在显示屏幕的下部显示动作辅助信息，如图39中所示。
如果动作辅助信息被显示，并且从当前位置沿左下方向移动手以便移动光标3910的动作通过动作识别模块130l被识别，则电子装置100依据该动作把光标2010移动到“11-1MBC”，如图40中所示。
如果和动作项目3314对应的抓取动作通过动作识别模块130l被识别，则电子装置100调到“11-1MBC”，并显示频道“11-1MBC”，如图41中所示。
图42到图45是根据示范性实施例说明利用用户的指点动作的应用程序执行的视图。如图42中所示，如果智能中心被显示在显示屏幕上，并且进入动作任务模式的动作（例如，摇摆用户的手3到4次）通过动作识别模块130l被识别，则电子装置100产生并显示光标4305，并在显示屏幕的下部显示动作辅助信息4310，如图43中所示。
如果从当前位置沿左下方向移动手的动作通过动作识别模块130l被识别，则电子装置100依据该动作把光标4305移动到“APP2”，如图44中所示。
如果和动作项目4311对应的抓取动作通过动作识别模块130l被识别，则电子装置100执行“APP 2”，如图45中所示。此时，电子装置100可以显示指示被选择应用程序的执行的屏幕，代替显示智能中心的屏幕，如图45中所示。但是，这仅仅是例子，并且电子装置100可以在智能中心上的比智能中心小的屏幕上显示应用程序的执行。
图46到图48是根据示范性实施例说明利用用户动作在智能中心的应用程序显示区域上的导航的视图。如图46中所示，如果智能中心被显示在显示屏幕上，并且进入动作任务模式的摇摆手3到4次的动作通过动作识别模块130l被识别，则电子装置100产生光标4710，并在显示屏幕的下部显示动作辅助信息，如图47中所示。
如果光标4710位于可导航区域上（例如，显示向左和向右移动方向键4713和4716的区域），并且从当前位置沿向右方向移动手的拍击动作通过动作识别模块130l被识别，则电子装置100沿向左方向移动光标4710位于其中的应用程序显示区域4720，如图48中所示。
图49到图52是根据示范性实施例说明利用动作识别的具有不明确名称的图标的执行的视图。如图49中所示，如果网页(web page)屏幕被显示在显示屏幕上，并且进入动作任务模式的摇摆手3到4次的动作通过动作识别模块130l被识别，则电子装置100产生光标5005，并在显示屏幕的下部显示动作辅助信息5010，如图50中所示。
如果从当前位置沿左上方向移动手以便移动光标5005的动作通过动作识别模块130l被识别，则电子装置100依据该动作把光标5005移动到图标“书签”，如图51中所示。
如果抓取动作通过动作识别模块130l被识别，则电子装置100显示书签的执行5220，指示当前显示在显示屏幕上的网页的书签，如图52中所示。
图53到图55是根据示范性实施例说明利用动作识别的再现控制任务的视图。如图53中所示，如果内容影像（例如，存储在存储单元130中的活动影像，或者从外部源接收到的活动影像）被显示在显示屏幕上，并且摇摆手3到4次以便进入动作任务模式的动作通过动作识别模块130l被识别，则电子装置100产生再现控制条5410，并在显示屏幕的下部显示动作辅助信息，如图54中所示。此时，如果动作开始命令被识别，则再现控制条5410被显示在显示屏幕上。如果接收到额外的用户输入（例如，遥控按钮），则再现控制条5410可以被显示在显示屏幕上。
如果沿向左方向的拍击动作通过动作识别模块130l被识别，则电子装置100从当前影像快退预定的时间（例如，10分钟），并再现影像。该预定的时间可通过配置改变。
图56到图58是根据示范性实施例说明利用另一动作识别的再现控制任务的视图。如图56中所示，如果内容影像（例如，存储在存储单元130中的活动影像，或者从外部源接收到的活动影像）被显示在显示屏幕上，并且摇摆手3到4次以便进入动作任务模式的动作通过动作识别模块130l被识别，则电子装置100产生再现控制条5710，并在显示屏幕的下部显示动作辅助信息，如图57中所示。此时，如果动作开始命令被识别，则再现控制条5710被显示在显示屏幕上。如果接收到额外的用户输入（例如，遥控按钮），则再现控制条5710可以被显示在显示屏幕上
如果抓取动作通过动作识别模块130l被识别，则电子装置100选择指示当前再现位置的图标5715，以及，如果此后沿向左方向的移动动作通过动作识别模块130l被识别，则电子装置100回到退回对应于沿向左方向的移动动作的预定时间的位置。图标5715也往回移动得与沿向左方向的移动动作一样多。如果释放抓取的动作（例如，展开手的动作）通过动作识别模块130l被识别，则如图58中所示，电子装置100从图标5715移动回到的位置再现影像。但是，这仅仅是个例子。如果在抓取之后沿向右方向的移动动作被识别，则电子装置100前进得与对应于沿向右方向的移动动作的预定时间一样多。图标5715也向前移动得与沿向右方向的移动动作一样多。
如上所述，由于依据通过动作识别模块130l被识别的用户动作而控制的动作任务是其设置值被同步地改变的任务，或者利用光标的任务，所以用户能够更容易并且更方便地控制动作任务。
图59和图60是根据各种示范性实施例示出用于控制电子装置的控制方法的流程图，所述方法通过把整个任务分为动作任务和语音任务来对其控制。
图59是根据示范性实施例说明用于控制电子装置100的方法的流程图。
电子装置100识别用户语音或者用户动作（S5910）。用户语音通过麦克风输入，并被语音识别模块识别，并且用户动作被摄像机拍摄，并被动作识别模块识别。
如果用户输入通过语音识别模块或者动作识别模块其中之一识别（S5910），则电子装置100依据用户输入执行语音任务或者动作任务其中之一（S5920）。语音任务是用于控制电子装置100的任务中，包括对应于用户语音的标识符的任务，并且动作任务是用于控制电子装置100的任务中，依据用户动作被同步地执行的任务。
如上所述，用户能够利用语音和动作更有效地控制电子装置100。
图60是根据示范性实施例说明用于控制电子装置的方法的流程图。
电子装置100通过语音识别模块或者动作识别模块其中之一识别开始命令（S6005）。开始命令可以是通过语音识别模块识别的语音开始命令，或者通过动作识别模块识别的动作开始命令。
如果识别的开始命令是语音开始命令（S6010-Y），则电子装置100把电子装置100的模式改变到语音任务模式（S6015）。语音任务模式是依据通过语音识别模块识别的用户语音执行任务的模式。
如果模式被改变到语音任务模式，则电子装置100产生包括语音项目的语音辅助信息（S6020）。例如，如图61中所示，包括用于执行语音任务的语音项目的语音辅助信息被显示。
在语音任务模式中，电子装置100确定用户语音是否被识别（S6030）。如果确定用户语音被识别（S6030-Y），则电子装置执行对应于识别的用户语音的语音任务（S6035）。例如，如上面参考图6到图32所说明的那样执行语音任务。
语音任务可以包括电子装置的电源控制、频道快捷方式、音量水平设置、静音、外部输入改变、文本输入和重放/停止功能中的至少一个。
在语音任务模式中，确定动作开始命令是否被识别（S6040）。如果动作开始命令被识别（S6040-Y），则电子装置100把电子装置100的模式改变到动作任务模式（S6045）。例如，如果在语音任务模式中动作开始命令被识别，则电子装置100把模式改变到动作任务模式，并显示包括动作项目的动作辅助信息，如图63中所示。
如果动作开始命令未被识别（S6040-N），则电子装置100保持当前的任务模式，即语音任务模式（S6070）。如果最初识别的开始命令是动作开始命令而非语音开始命令（S6010-N），则电子装置100把电子装置100的模式改变到动作任务模式（S6045）。动作任务模式是任务仅通过由动作识别模块130l识别的用户动作执行的模式。
如果电子装置100的模式被改变到动作任务模式，则电子装置100产生包括动作项目的动作辅助信息（S6050）。例如，如图63中所示，包括用于控制动作任务的动作项目的动作辅助信息被显示。
电子装置100确定用户动作是否被识别（S6055）。如果确定用户动作被识别（S6055-Y），则电子装置执行对应于识别的用户动作的动作任务（S6060）。例如，如上面参考图33到图58所说明的那样执行动作任务。
动作任务可以包括频道改变、音量水平控制、屏幕导航、滚动条控制和光标指点其中至少一个。
在动作任务模式中，确定语音开始命令是否被识别（S6065）。如果语音开始命令被识别（S6065-Y），则电子装置100把电子装置100的模式改变到语音任务模式（S6010）。例如，如果在动作任务模式中语音开始命令被识别，则电子装置100把模式改变到语音任务模式，并显示包括语音项目的语音辅助信息，如图61中所示。
如果语音开始命令未被识别（S6065-N），则电子装置100保持当前的任务模式，即动作任务模式（S6070）。
如上所述，电子装置100可以依据用户动作或者用户语音执行各种任务，因此用户便利性可被改善。
在至少一个语音任务依据识别的语音而被执行的语音任务模式中，控制单元140可以控制显示用于执行语音任务的语音辅助信息。例如，如果语音开始命令通过语音识别模块被识别，则控制单元140可以控制显示用于执行可依据用户语音控制的语音任务的语音辅助信息。对应于各种语音任务的至少一个语音项目可以作为语音辅助信息被显示。所述至少一个语音项目可以是可说出的命令。因此，在语音任务模式中，用户能够容易地确定可识别的命令。同样，如果对应的命令被说出，则用户能够容易地知道哪个语音任务将被执行。
在语音任务模式中，控制单元140可以识别对应于作为语音辅助信息被显示的至少一个语音项目中的第一语音项目的第一语音。控制单元140确定是否存在关于与识别的第一语音对应的第一语音项目的额外项目信息。如果不存在额外的项目信息，则控制单元140可以执行对应于第一语音项目的任务。如果语音辅助信息需要被改变，则控制单元140可以控制显示单元（未示出）显示被改变的语音辅助信息。如果存在额外的项目信息，则控制单元140可以控制显示关于和识别的第一语音对应的第一语音项目的额外项目信息。控制单元140可以识别对应于额外的项目信息的第二语音。控制单元140可以从语音任务中执行对应于第一语音项目和第二语音的任务。
在至少一个动作任务依据识别的动作被执行的动作任务模式中，控制单元140可以控制显示用于执行动作任务的动作辅助信息。例如，如果动作开始命令通过动作识别模块被识别，则控制单元140可以控制显示用于执行可依据用户动作控制的动作任务的动作辅助信息。对应于各种动作任务的至少一个动作项目可以作为动作辅助信息被显示。所述至少一个动作项目可以包括指示在动作任务模式中可识别的动作和对应于该可识别的动作的任务的动作影像。因此，用户能够容易地知道在动作任务模式中可识别的动作，并且能够容易地识别哪个动作任务将根据用户做出的哪个动作被执行。因此，用户能够容易地执行动作任务。
在动作任务模式中，控制单元140可以识别对应于作为动作辅助信息被显示的至少一个动作项目中的第一动作项目的第一动作。控制单元140确定是否存在关于和识别的第一动作对应的第一动作项目的额外项目信息。如果不存在额外的项目信息，则控制单元140可以执行对应于第一动作项目的任务。而且，如果动作辅助信息需要被改变，则控制单元140可以控制显示单元（未示出）显示被改变的动作辅助信息。如果存在额外的项目信息，则控制单元140可以控制显示关于和识别的第一动作对应的第一动作项目的额外项目信息。控制单元140可以识别对应于额外的项目信息的第二动作。控制单元140可以从动作任务中执行对应于第一动作项目和识别的第二动作的任务。语音辅助信息、动作辅助信息、关于语音项目的额外的项目信息，或者关于动作项目的额外的项目信息，可以被显示在显示屏幕的相同区域（下部）。上面描述的信息可以被显示在预先设置的区域上或者动态可变的区域上。例如，语音辅助信息或者动作辅助信息可以被显示在显示屏幕的上部、下部、右部或左部上，并且可以根据在屏幕上显示的影像动态地改变。
语音辅助信息、动作辅助信息、关于语音项目的额外的项目信息，或者关于动作项目的额外的项目信息，可以与显示或者再现的影像、应用程序、OSD或者识别候选项一起被显示，或者可以被独立显示。显示上面信息的区域可以和显示影像、应用程序、OSD或者识别候选项的区域重叠。语音辅助信息或动作辅助信息的至少一部分可以被透明或者半透明地显示。可以根据用户选择调整透明度。
上面描述的语音辅助信息和动作辅助信息可以用各种形式提供给用户。此后，将参考图61到图63详细说明语音辅助信息、关于语音项目的额外的项目信息和动作辅助信息。
图61是根据示范性实施例示出在语音任务模式中在显示单元193上显示的语音辅助信息的视图。
如图61中所示，在语音任务模式中，显示单元193可以显示至少一个语音项目811、812、813、814、815、816、817和818作为语音辅助信息。每一个语音项目均可以是可说出的命令。而且，指导辅助信息可以包括指示语音任务模式的模式影像或者文本。语音辅助信息可以包括指导区域810或者模式显示区域820，指导区域810包括至少一个语音项目，模式显示区域820显示电子装置100被指定的模式（例如，语音任务模式或者动作任务模式）。模式显示区域820可以包括指示语音任务模式和动作任务模式中的被指定模式的模式影像和文本。而且，指导区域810和模式显示区域820可以如图61中所示地区别显示，或者可以被显示为在两个区域之间不画出边界。模式显示区域820可以被省略。指导区域810和模式显示区域820中的每一个的位置可以在制造电子装置100时设置，或者可以由用户任意设置，或者指导区域810和模式显示区域820可根据显示的影像沿UI动态地定位。例如，如果OSD被显示，则指导区域810和模式显示区域820中的每一个的位置可以被改变到显示OSD的区域以外的某个位置，以便突出OSD的显示。指导区域810可以被显示在显示屏幕的下部，并且模式显示区域820可以被显示在显示屏幕的下部中心。而且，模式显示区域820的位置可以根据配置独立于指导区域810地改变到另一位置，例如右下部。
在语音任务模式中，指导区域810包括至少一个语音项目811、812、813、814、815、816、817和818。例如，所述至少一个语音项目中的每一个可以是执行语音任务的命令。指导区域810中所包括的至少一个命令可以包括：关闭811、频道812、静音813、外部输入814、智能中心815、应用程序816、搜索817或者全部818。关闭811是关闭电子装置100的命令。频道812是执行频道快捷方式的命令。静音813是执行静音的命令。外部输入814是改变外部输入的命令。智能中心815是执行进入电子装置100的诸如因特网功能、应用程序提供功能、及多媒体（例如，活动影像、音乐和照片）提供功能的智能功能的任务的命令。应用程序816是执行搜索电子装置100的应用程序的任务的命令。搜索817是执行由电子装置100提供的内容、应用程序和网络搜索的命令。全部818是显示所有命令的命令。指导区域818可以包括“更多”作为替代全部818的命令。即，全部818和“更多”可以是用于显示对应于语音任务的语音项目中的除至少一个语音项目811、812、813、814、815、816、817和818以外的其他项目的语音项目。而且，如果电子装置100显示其他项目，则电子装置100可以被配置成不利用预先设置的定时器。预先设置的定时器是如果所显示的语音项目811、812、813、814、815、816、817和818中的至少一个在预先设置的时间中未被识别则停止语音任务模式的定时器。如果语音任务模式被停止，则语音辅助信息可以消失，并且模式可以被改变到电子装置100受一般遥控器控制的模式。而且，如果语音任务模式被停止，则语音任务的执行可以受到限制，直到电子装置100根据语音开始命令重新进入语音任务模式。而且，如果OSD或者识别候选项被与语音辅助信息、动作辅助信息和额外的项目信息一起显示在屏幕上，则无论指定模式为何，用于停止指定模式的预先设置的定时器可不被驱动。而且，指导区域810可以包括上述命令以外的其他命令。
根据当前执行的功能，作为语音辅助信息显示的至少一个语音项目811、812、813、814、815、816、817、818可被不同地配置。即，在指导区域810上显示的至少一个命令可以根据当前执行的功能被不同地配置。具体来说，可以根据与语音辅助信息一起显示的应用程序、OSD和候选项中的至少一个选择性地配置对应于语音任务的语音项目中的至少一个。例如，如果在电子装置100中当前执行智能功能，则可以显示包括返回到广播接收功能的命令“返回”的语音辅助信息。识别候选项可以包括以下其中至少一个：具有类似于识别的语音的号码或者文本至少其中之一的名称、类似于识别的语音的命令、对应于类似命令的任务、类似于识别的动作的动作，以及对应于类似动作的任务。例如，和识别的语音类似的候选项可以在弹出窗口中显示类似于识别的语音的频道标识符的列表。OSD可以包括电子装置100的当前设置信息和电子装置100的把识别候选项排除在外的设置菜单。例如，作为OSD，当前频道的标识符（频道号码或者频道名称）可被显示，或者，外部输入列表或者频道列表可被显示。
控制单元140可以识别对应于作为语音辅助信息显示的至少一个语音项目811、812、813、814、815、816、817、818中的第一语音项目的第一语音。控制单元140可以控制显示关于和识别的第一语音对应的第一语音项目的额外项目信息。关于第一语音项目的额外的项目信息可以包括：关于第一语音项目的额外命令、指导消息，或者话语例子。例如，如果通过语音识别模块130k识别“频道”为对应于在指导区域810上显示的语音项目812的语音，以及，对应于语音项目812的任务是频道快捷方式，则如图62中所示，显示单元193可以显示包括指导消息、话语例子或者用于说出频道名称、节目名称和频道号码其中至少一个的额外命令（例如，‘前一个’）的额外项目信息。“前一个”在这里可以是再次显示包括图61的指导区域810的UI的命令。额外的项目信息可以包括指导区域830和模式显示区域820，指导区域830包括额外命令、指导消息或者话语例子。例如，指导消息可以在指导区域830的左部显示，并且额外命令或者话语例子可以在指导区域830的右部显示。
控制单元140可以识别对应于额外项目信息的第二语音。控制单元140可以执行语音任务中对应于第一语音项目和第二语音的任务。例如，如果第一语音项目是语音项目812并且“MBC”被识别为对应于图60的额外语音项目的第二语音，则控制单元140可以执行把当前频道改变到对应于包括“MBC”的频道标识符的频道的频道快捷方式。即，关于第一语音项目的额外项目信息可以是用于指导说出第二语音的信息，用于询问是执行对应于第一语音项目的任务还是额外获取执行任务所需的信息。
图63是根据示范性实施例示出在动作任务模式中电子装置100的显示单元193上显示的动作辅助信息的视图。
如图63中所示，在动作任务模式中，显示单元193可以显示至少一个动作项目3311、3312、3313和3314作为动作辅助信息。至少一个动作项目中的每一个可以包括指示在动作模式中可识别的动作的动作影像，或者可包括指示对应于可识别动作（或者动作影像）的任务的文本。动作辅助信息可以包括指示动作任务模式的模式影像或者文本。动作辅助信息可以包括指导区域3310和模式显示区域3320，指导区域3310包括至少一个动作项目，并且模式显示区域3320显示电子装置100的模式。模式显示区域3320可以包括指示语音任务模式和动作任务模式中的被指定模式的模式影像和文本其中至少之一。指导区域3310和模式显示区域3320可以如图63中所示不同地显示，或者可以被显示成在两个区域之间不画出边界。而且，模式显示区域820可以被省略。例如，指导区域3310可以被显示在显示屏幕的下部，并且模式显示区域3320可以被显示在显示屏幕的下部中心。模式显示区域3320的位置可以根据配置改变（例如，右下部）。
在动作任务模式中，指导区域3310包括至少一个动作项目3311、3312、3313和3314。例如，至少一个动作项目中的每一个可以包括动作影像，以及指示对应于该动作影像的任务的文本。指导区域3310中所包括的至少一个动作项目可以包括：指示沿逆时针方向的旋转动作对应于‘后退’（返回到先前设置）的动作项目3311、指示沿向上/向下方向的拍击动作对应于‘音量升/降’（控制音量水平）的动作项目3312、指示沿向左/向右方向的拍击动作对应于‘频道升/降’（执行频道改变）的动作项目3313，以及指示抓取动作对应于‘重放’（重放影像）的动作项目3314。指导区域3310可以显示上述动作项目以外的其他动作项目。包括在上述至少一个动作项目的每一个中的动作影像和对应于该动作影像的文本可以根据可识别动作和对应于该可识别动作的任务之间的映射设置而被改变。例如，指导区域3310可以包括指示沿向上/向下方向的拍击动作对应于频道升/降（执行频道改变）的动作项目，以及指示沿向左/向右方向的拍击动作对应于‘音量升/降’（控制音量水平）的动作项目。
作为动作辅助信息显示的至少一个动作项目3311、3312、3313、3314可根据当前执行的功能不同地配置。即，在指导区域3310上显示的至少一个动作项目3311、3312、3313和3314可以根据电子装置100的当前功能不同地配置。例如，可以根据与动作辅助信息一起显示的应用程序、OSD和识别候选项中的至少一个选择性地配置对应于动作任务的动作项目中的至少一个。
控制单元140可以识别对应于作为动作辅助信息显示的至少一个动作项目3311、3312、3313和3314中的第一动作项目的第一动作。如果存在额外的项目信息，则控制单元140可以控制显示关于和识别的第一动作对应的第一动作项目的额外项目信息。例如，如果对应于动作项目3314的抓取动作被识别，则可以显示包括指导消息或者动作项目的额外项目信息，该指导消息询问是否再现被选择的项目或者影像文件，该动作项目指示沿向左/向右方向的拍击动作对应于回答是/否（Yes/No）。
控制单元140可以识别对应于额外项目信息的第二动作。控制单元140可以执行动作任务中对应于第一动作项目和识别的第二动作的任务。例如，如果第一动作项目是动作项目3314并且沿向左方向的拍击动作被识别为对应于包括指导消息（该指导消息询问是否再现指定的影像文件）和动作项目（该动作项目指示沿向左/向右方向的拍击动作对应于回答是/否（Yes/No））的额外项目信息的第二动作，则指定的影像文件被再现。如上所述，关于第一动作项目的额外项目信息可以是用于指导第二动作的信息，用于询问是执行对应于第一动作项目的任务还是额外获取执行任务所需的信息。
如果在动作识别中出现错误，则可以显示指示该错误的动作辅助信息。例如，动作辅助信息可以包括指导消息“手势未被识别。请再次输入”，或者可以包括绘有指示重新输入的文本的手掌影像。而且，动作辅助信息可以包括指导消息“双手识别现在是不可能的”、或者指导消息“仅在‘网络浏览器’、‘观看照片’和‘谷歌地图应用’中可用”。可以执行双手的识别，以响应于把双手分开或者将双手拉得彼此更近的动作来执行放大屏幕或者缩小屏幕的任务。而且，作为动作辅助信息的一部分，指示错误的影像或者文本可被显示在模式显示区域上。
此后，将参考图64到图66说明用于依据电子装置100的语音识别或者动作识别提供反馈的用户界面（UI）。
如图64中所示，在语音任务模式中，可以显示包括指导区域810和模式显示区域820的语音辅助信息。可以用使指导区域810和模式显示区域820看起来好象其从屏幕的下端升起一样的视觉效果显示指导区域810和模式显示区域820。例如，指导区域810和模式显示区域820可被以动画形式显示预定的时间（例如，3秒钟）。例如，模式显示区域820和指导区域810的一部分从下端快速升起，然后缓慢上升。当指导区域810和模式显示区域820被如图64中所示那样完全显示时，升起动画结束。当电子装置100进入动作任务模式时，动作辅助信息可被以上述动画形式显示。如果所显示的特定模式的UI消失了，或者如果模式改变到特定模式，则可以输出不同于上述视觉效果的各种视觉或者听觉效果。
如果电子装置100识别对应于第一语音项目的第一语音，则电子装置100可以依据第一语音的识别准确性提供对应于识别准确性水平的视觉反馈和听觉反馈中的至少一个。如果电子装置100识别对应于第一动作项目的第一动作，则电子装置100可以依据第一动作的识别准确性提供对应于识别准确性水平的视觉反馈和听觉反馈中的至少一个。这里的识别准确性可以指示一种水平，基于所述水平确定第一语音（或者第一动作）是否是可被电子装置100识别的语音（或者动作），或者可以指示一种水平，基于所述水平来确定识别的语音（或者动作）是否对应于预先设置的命令（或者预先设置的动作）其中之一。识别准确性可以是根据辨识对应于识别的语音或者动作的任务所花费的时间而改变的指数。
例如，如果“智能中心”被识别为对应于语音项目815的语音，则电子装置100可以通过对辨识该语音为指导区域810中所包括的至少一个命令811、812、813、814、815、816、817、818其中之一的能力进行随机计算（stochastically calculating）来确定识别准确性。电子装置100可以把识别准确性与预先设置的阈值进行比较，并且可以根据识别准确性是高于还是低于预先设置的阈值而不同地显示视觉效果。例如，如图65中所示，根据语音识别的准确性，沿顺时针方向的旋转动画可以在指示语音任务模式的模式显示区域6520中的影像的背景部分上显示。如果识别准确性低于阈值，则动画影像的旋转速度较慢，而如果识别准确性高于阈值，则影像的旋转速度较快。在根据识别准确性提供上述视觉反馈时，也可以提供听觉反馈。
在模式显示区域820上显示的作为视觉反馈的动画在对应于语音项目的语音已经被识别之后、直到图66的智能中心6600被驱动并被显示的时间期间内被显示，并且可与识别准确性无关。
如果电子装置100识别了对应于第一语音项目的第一语音，则电子装置100可以提供指示第一语音项目和对应于第一语音项目的任务其中至少一个的视觉反馈或者听觉反馈。如果电子装置100识别了对应于第一动作项目的第一动作，则电子装置100可以提供指示第一动作项目和对应于第一动作项目的任务其中至少一个的视觉反馈或者听觉反馈。
例如，如果“智能中心”被识别为对应于语音项目815的语音，则“智能中心”可被显示在反馈区域6530上，指示语音项目815或者对应于语音项目815的任务，如图65中所示。视觉反馈可被显示在屏幕的预定位置上而不限于反馈区域6530。而且，听觉反馈“你说了，智能中心”可与反馈区域6530上显示的视觉反馈一起输出。
如果沿向右方向的拍击动作被识别为对应于项目813的动作，则电子装置100可以在反馈区域6530上显示指示对应于动作项目其中之一的任务的视觉反馈（例如，“你做了，频道上升”），或者可以控制利用电子装置100的语音合成（text to speech，TTS）模块（未示出）输出听觉反馈。
图67到图69是根据各示范性实施例说明提供语音辅助信息和动作辅助信息的电子装置的控制方法的流程图。
图67是根据示范性实施例说明电子装置100的控制方法的流程图。
电子装置100可以利用语音识别模块和动作识别模块其中之一识别用户输入（语音或者动作）（S6710）。用户语音可以通过麦克风输入，并且输入的语音可以被语音识别模块被识别，而用户动作可以被摄像机拍摄，并且拍摄的动作可以被动作识别模块被识别。
依据接收的用户输入，电子装置100可以执行语音任务或者动作任务其中之一（S6720）。即，电子装置100可以依据语音任务模式和动作任务模式中的指定模式操作。例如，如果语音开始命令或者动作开始命令被识别，则对应于识别的开始命令的模式被指定。
语音任务模式是第一任务（语音任务）中的至少一个依据识别的语音被执行的模式，而动作任务模式是第二任务（动作任务）中的至少一个依据识别的动作被执行的模式。语音任务表示依据识别的语音被执行的任务，动作任务表示依据识别的动作执行的任务。语音任务和动作任务可以彼此不同。
图68和图69是根据示范性实施例示出电子装置100的控制方法的流程图。
电子装置100可以确定指定了语音任务模式和动作任务模式中的哪一个（S6805）。尽管在本示范性实施例中只显示语音任务模式或者动作任务模式，但是，可辨识的模式还可以包括电子装置100受遥控器控制的模式。如果动作任务模式被指定，则电子装置100进入图69的操作S6910，并根据当前示范性实施例继续电子装置100的控制操作。
如果语音任务模式被指定，则电子装置100可以显示用于在语音任务模式中执行第一任务的语音辅助信息（S6810），在该语音任务模式中，第一任务中的至少一个依据识别的语音执行。
电子装置100可以识别对应于作为语音辅助信息显示的至少一个语音项目中的第一语音项目的第一语音（S6815）。
电子装置100可以确定是否存在关于和识别的第一语音对应的第一语音项目的额外项目信息（S6820）。如果不存在关于第一语音项目的额外的项目信息，则电子装置100可以执行对应于第一语音项目的任务（S6825）。而且，如果语音辅助信息需要被改变，则电子装置100可以显示被改变的语音辅助信息。例如，如果静音被识别对应于语音项目813的语音，则电子装置100执行静音，并把语音项目813改变为语音项目2213，并显示改变的语音辅助信息，如图22中所示。
如果存在关于第一语音项目的额外的项目信息，则电子装置100可以显示关于和识别的第一语音对应的第一语音项目的额外项目信息（S6830）。例如，如果“频道”被识别为对应于语音项目的语音，则可以显示包括指导消息或者话语例子的额外项目信息。
电子装置100可以识别对应于额外项目信息的第二语音（S6835）。
电子装置100可以执行第一任务中对应于第一语音项目和识别的第二语音的任务（S6840）。例如，如果第一语音项目是语音项目812，并且第二语音是“七”，则电子装置100可以执行把当前频道改变到具有频道标识符7的频道的频道快捷方式。
如果动作任务模式被指定，则电子装置100可以显示用于在动作任务模式中执行第二任务的动作辅助信息（图69的S6910），在该动作任务模式中，依据识别的动作执行第二任务中的至少一个。
电子装置100可以识别对应于作为动作辅助信息显示的至少一个动作项目中的第一动作项目的第一动作（S6915）。
电子装置100可以确定是否存在关于和识别的第一动作对应的第一动作项目的额外项目信息（S6920）。如果不存在关于第一动作项目的额外项目信息，则电子装置100可以执行对应于第一动作项目的任务（S6925）。例如，如果沿向右方向的拍击动作被识别为对应于图33中的动作项目3313的动作，则电子装置100可以依据频道上升，把当前频道（6频道）改变到根据预先设置的顺序位于当前频道（6频道）之后的下一频道（7频道）。而且，如果动作辅助信息需要被改变，则电子装置可以显示改变的动作辅助信息。
如果存在关于第一动作项目的额外项目信息，则电子装置100可以显示关于和识别的第一动作对应的第一动作项目的额外项目信息（S6930）。例如，如果和动作项目对应的抓取动作被识别，则包括询问是否再现被选择的项目或者影像文件的指导消息、或者指示沿向左/向右方向的拍击动作对应于回答是/否（Yes/No）的动作项目的额外项目信息可以被显示。
电子装置100可以识别对应于额外项目信息的第二动作（S6935）。
电子装置100可以执行第二任务中对应于第一动作项目和识别的第二动作的任务（S6940）。例如，如果第一动作项目是用于再现影像的动作项目并且第二动作是沿向左方向的拍击动作，则电子装置100可以再现指定的影像文件。
利用UI处理模块130j，控制单元140可以把可通过语音识别控制的内容的可执行图标与不可通过语音识别控制的内容的可执行图标有区别地进行显示。
控制单元140可以利用存储在电子装置100中的内容的头（未示出）或者内容中所包括的单独的配置文件（未示出）来确定内容是否被语音识别支持。
如果确定内容可通过语音识别控制，则控制单元140利用UI处理模块130j把存储在存储单元中的额外图标与内容的原始可执行图标进行组合，并显示组合的图标。用户可以根据显示屏幕上显示的额外图标的存在，知道内容可通过语音识别控制。
多个额外图标可被存储在存储单元130中。用户可以通过配置改变与原始可执行图标组合的额外图标。
而且，控制单元140可以利用UI处理模块130j，把可通过语音识别控制的内容的名称与不可通过语音识别控制的内容的名称有区别地进行显示，例如，通过给名称加下划线并以粗体显示。根据被加下划线并以粗体显示的可执行图标的名称，用户可以知道内容可通过语音识别控制。
控制单元140可以利用UI处理模块130j，把可通过语音识别控制的内容的可执行图标及可执行图标的名称与不可通过语音识别控制的内容的可执行图标及可执行图标的名称有区别地进行显示。
控制单元140或者内容可以把在可执行内容的UI上显示的工具条的菜单中可通过语音识别控制的菜单与不可通过语音识别控制的菜单有区别地进行显示（例如，菜单‘下一个’、‘前一个’或者‘打开’）。
此后，将参考图70到图79说明根据各示范性实施例把可通过语音识别控制的应用程序的可执行图标及可执行图标的名称与不可通过语音识别控制的应用程序的可执行图标及可执行图标的名称有区别地进行显示的方法。
参考图70，电子装置100的控制单元140把对应于从广播接收单元150接收到的广播信号的视频、音频和控制数据（例如，电子节目指南（EPG））输出到音频输出单元196和显示单元193的显示屏幕7000。
控制单元140利用语音输入单元110、语音识别模块130k和语音数据库130m识别用户所说出的语音开始命令（触发语音）。控制单元140由被识别的语音开始命令（例如，“Ginny”）改变到语音任务模式，在语音任务模式中可通过语音识别控制电子装置100。控制单元140把通过语音输入单元110和语音识别模块130k识别的语音开始命令与预先存储在语音数据库130m中的语音开始命令进行比较。如果作为比较的结果，语音被识别为语音开始命令，则电子装置100在控制单元140的控制下被改变到语音任务模式。语音数据库130m可以存储对应于可通过语音输入单元110和语音识别模块130k识别的语音的第一命令（例如，对应于“改变到语音任务模式”的命令，或者对应于“频道改变”的命令）。控制单元140可以执行电子装置100的对应于第一命令的语音任务。可以通过配置改变语音开始命令或者预先存储在语音数据库130m中的命令（例如，可增加、改变或者删除）。本领域技术人员能够很容易地理解输入的语音开始命令的识别。
参考图71，控制单元140在其上显示影像的显示屏幕400上显示用于执行语音任务模式的语音辅助信息7110。控制单元140可以显示重叠在所显示的影像上的语音辅助信息7110。控制单元140可以在显示屏幕400的下部显示语音辅助信息7110。语音辅助信息7110可以包括命令/指导显示区域7111、模式显示区域7120和7120a，以及第一反馈显示区域7230（见图72）。参考图72，可以在模式显示区域7120的一侧部分上显示第一反馈显示区域7230。第一反馈显示区域7230可以包括第一视觉反馈7230a（见图72）。控制单元140把识别的第一命令输出到电子装置100的扬声器161，从而给用户提供第一听觉反馈（未示出）。电子装置100可以提供视觉反馈和听觉反馈其中之一，或者既提供视觉反馈也提供听觉反馈。
参考图73，如果第一命令被识别，则控制单元140显示对应于第一命令的内容列表（此后被成为智能中心7300）。智能中心7300是作为被电子装置100支持的各种功能的中心（hub）的UI。智能中心7300是显示对应于被电子装置100支持的各种功能（例如，观看活动影像、听音乐、访问因特网的功能）的可执行图标的UI。而且，智能中心7300是显示存储在电子装置100的存储单元130中的内容（例如，照片、音乐、活动影像）的可执行图标、对应于从外部源接收的内容（例如，照片、音乐、活动影像）的可执行图标以及可执行应用程序（例如，网络浏览器）的可执行图标的UI。
智能中心7300可以包括搜索区域7310、广播区域7320、你的视频区域7330、信息显示区域7340、应用程序（Apps）区域7350、推荐区域7360和应用程序列表区域7370中的多个区域，搜索区域7310利用语音（例如，语音任务模式）或者动作（例如，动作任务模式）搜索各种内容、应用程序或者因特网信息，广播区域7320位于搜索区域7310的一侧部分上，并显示缩小尺寸的广播影像，你的视频区域7330位于搜索区域7310下面，并显示和存储在存储单元130中的活动影像对应的可执行图标，信息显示区域7340位于搜索区域7310下面，并展示来自电子装置100的制造商的通知或者广告，应用程序区域7350位于搜索区域7310下面，并显示和由电子装置100的制造商提供的各种免费或者付费服务对应的应用程序的可执行图标，推荐区域7360位于搜索区域7310下面，并显示被电子装置100的制造商推荐的服务，应用程序列表区域7370位于搜索区域7310下面，并显示和可在电子装置100中执行的应用程序对应的可执行图标。本领域普通技术人员应该理解，在智能中心7300上显示的多个区域7310到7370可根据电子装置的功能或者性能添加或者删除。
智能中心7300可以显示对应于语音任务模式的语音辅助信息7110。而且，智能中心7300可以显示对应于动作任务模式的动作辅助信息7720。语音辅助信息7110或者动作辅助信息7720（见图77）可以重叠在智能中心7300上。参考图73，智能中心7300显示对应于语音任务模式的语音辅助信息7110。
在语音任务模式中，智能中心7300把对应于可通过语音识别控制的内容（例如，应用程序和活动影像）的可执行图标（例如，7371）与对应于不可通过语音识别控制的内容的可执行图标（例如，7372）有区别地进行显示。对应于可通过语音识别控制的内容的可执行图标7371可以是对应于可通过语音识别控制的内容的原始可执行图标7371a和位于原始可执行图标7371a的一侧部分上的额外图标7371b（静态影像、活动影像和文本其中之一）的组合。额外图标7371b可以被显示成与原始可执行图标7371a重叠，或者与原始可执行图标7371a分离显示。根据语音是否被识别，额外图标可被添加到和内容对应的可执行图标的一侧。但是，这仅仅是例子。本领域普通技术人员应该理解，根据语音是否被识别，可以用各种方式有区别地显示和内容对应的可执行图标，例如，通过改变额外图标7371b的大小或者位置。
对应于可通过语音识别控制的内容的可执行图标的名称7371c可与对应于不可通过语音识别控制的内容的可执行图标的名称7372a有区别地显示（例如，加下划线和粗体）。但是，根据语音是否可识别通过给名称加下划线并插入粗体字体区分对应于内容的可执行图标的名称仅仅是例子。本领域技术人员应该理解，根据语音是否可识别，可以用各种方式有区别地显示和内容对应的可执行图标的名称，例如，通过改变字体或者颜色。
如果可执行图标的名称具有比在智能中心7300中定义的字母数量（例如15个英文字母和8个韩语字母）更长的字母（例如，名称7373c），则仅可执行图标的名称的一部分可被显示。例如，可执行图标的名称的未被显示的剩余部分可被显示为省略号。
在智能中心7300的语音辅助信息7110上显示的命令可被改变。如果智能中心7300响应于第一命令语音被显示，则显示返回到智能中心7300被显示之前所显示的前一影像的命令（返回7111i）。返回命令可以被添加到语音辅助信息7110（例如，总共显示9个命令），或者可以用显示的命令之一替代（例如，命令‘全部’）（例如，总共显示8个命令）。
控制单元140利用语音输入单元110、语音识别模块130k和语音数据库130m识别用户所说出的第二命令语音（例如，应用程序7371c的名称、“动人的电子书”）。控制单元140把通过语音输入单元110和语音识别模块130k识别的第二命令语音与预先存储在语音数据库130m中的第二命令语音进行比较。如果作为比较的结果，语音被识别为第二命令语音，则控制单元140在第一反馈显示区域7230上显示对应于识别的第二命令的第三视觉反馈（例如，“你说了“动人的电子书””（未示出））。第三视觉反馈（未示出）可被提供预定的时间（例如，500毫秒）。可通过配置改变所述预定的时间。
控制单元140可以把识别的第二命令输出到电子装置的扬声器161，从而给用户提供第三听觉反馈（未示出）。
如果作为比较的结果，语音未被识别为第二命令，则控制单元140可以在第一反馈显示区域7230上提供第四视觉反馈（例如，“请再说一遍”（未示出））。控制单元140可以提供第四听觉反馈（例如，“请再说一遍”（未示出））来识别第二命令语音。
如果多个应用程序的名称对应于识别的第二命令，则控制单元140可以在智能中心7300上显示候选项弹出窗口7314，其显示多个应用程序的名称。
参考图74，如果第二命令（例如，包括应用程序的名称的一部分，“动人的”）通过语音输入单元110、语音识别模块130k和语音数据库130m被识别，则控制单元140在候选项弹出窗口7414上显示对应于第二命令的多个应用程序的列表。例如，候选项弹出窗口7414显示①动人的电子书7414a和②动人的鼓节7414b。如果候选项弹出窗口7414被显示在智能中心7300上，则在智能中心7300的下部显示的命令/指导显示区域7111上的命令被改变。例如，命令/指导显示区域7111在模式显示区域7112的左部显示“说你希望选择的项目的号码”7111j，并在右部显示“例子>1,2”7111k和返回7111i。如果对应于号码（例如，“一”）的语音通过语音输入单元110、语音识别模块130k和语音数据库130m被识别，则控制单元140在候选项弹出窗口7414上选择①动人的电子书7414a。控制单元140可以把在候选项弹出窗口7414上选择的应用程序的名称与未被选择的应用程序的名称有区别地进行显示。
而且，如果对应于在候选项弹出窗口7414上显示的应用程序的完整名称的语音被识别，则控制单元140可以在候选项弹出窗口7414上不同地显示①动人的电子书。
参考图75，控制单元140执行对应于通过语音输入单元110、语音识别模块130k和语音数据库130m识别的第二命令（例如，“动人的电子书”）的应用程序——动人的电子书。控制单元140显示正被执行的动人的电子书的UI 7500。控制单元140显示动人的电子书的UI 7500为重叠在智能中心7300上。通过利用UI 7500替换智能中心7300，控制单元140可以以全屏尺寸显示动人的电子书的UI 7500。
动人的电子书的UI 7500显示对应于存储在电子装置100的存储单元中的多个电子书的可执行图标7501到7504和可执行图标的名称7501a到7504a。控制单元140可以根据语音是否可识别，把对应于多个电子书的可执行图标的名称7501a到7504a彼此有区别地进行显示。例如，控制单元140把对应于可通过语音识别控制的电子书的可执行图标的名称7501a与对应于不可通过语音识别控制的电子书的可执行图标的名称7502a有区别地进行显示。而且，控制单元140或者应用程序（动人的电子书）可以在动人的电子书的工具区域（未示出）上把菜单中可通过语音识别控制的菜单与不可通过语音识别控制的菜单有区别地进行显示（例如，菜单‘下一个’、‘前一个’或者‘打开’（未示出））。通过加下划线和插入粗体字体区分对应于可通过语音识别控制的电子书的可执行图标的名称7501a仅仅是例子。本领域技术人员应该理解，根据语音是否被识别，可以用各种方式有区别地显示对应于电子书的可执行图标的名称，例如，通过改变字体或者颜色。控制单元140可以通过网络接口单元180从外部服务器下载可被语音识别的电子书。
如果对应于可通过语音识别控制的电子书的可执行图标的名称7501a通过语音输入单元110、语音识别模块130k和语音数据库130m识别，则控制单元140执行并显示电子书7501。用户可以通过语音识别控制被显示的电子书（例如，改变页面）。
控制单元140利用动作输入单元120、动作识别模块130l和动作数据库130n识别动作开始命令7600。参考图76，动作开始命令7600是对着动作输入单元120水平地摇摆用户展开的手指3到4次的动作。根据识别的动作开始命令，控制单元140把电子装置100的模式改变到动作任务模式，在动作任务模式中，可通过动作识别控制电子装置100。控制单元140把通过动作输入单元120和动作识别模块130l识别的动作开始命令与预先存储在动作数据库130n中的动作开始命令进行比较。如果作为比较的结果，动作被识别为动作开始命令，则电子装置100被控制单元140从语音任务模式改变到动作任务模式。动作数据库130n可以存储对应于可通过动作输入单元120和动作识别模块130l被识别的动作的第二命令（例如，对应于“前一个”的命令，或者对应于“重放”的命令）。控制单元140可以执行电子装置100的对应于第二命令的动作任务。可以通过配置改变预先存储在动作数据库130n中的动作开始命令（例如，可增加、改变或者删除）。
智能中心显示动作辅助信息，并同样地显示可通过语音识别控制的应用程序的可执行图标和不可通过语音识别控制的应用程序的可执行图标。
参考图77，控制单元140在智能中心7300上显示动作辅助信息7720和对应于动作任务模式的光标7725。控制单元140可以把动作辅助信息7720重叠在智能中心7300上。控制单元140可以在智能中心7300的下部显示动作辅助信息7720。动作辅助信息7720可以包括动作/指导显示区域7721、模式显示区域7723和第二反馈显示区域（未示出）。
控制单元140在智能中心7300上显示动作辅助信息7720，并同样地显示可通过语音识别控制的应用程序的可执行图标和不可通过语音识别控制的应用程序的可执行图标。
参考图74，控制单元140利用语音输入单元110、语音识别模块130k和语音数据库130m识别用户所说出的第三命令语音（例如，应用程序的完整名称“动人的鼓节”，或者名称的一部分）。控制单元140把通过语音输入单元110和语音识别模块130k识别的第三命令与预先存储在语音数据库130m中的第三命令进行比较。如果作为比较的结果，语音被识别为第三命令，则控制单元140可以在第一反馈显示区域7413上显示对应于识别的第三命令的第六视觉反馈（例如，“你说了“动人的鼓节””（未示出））。第六视觉反馈（未示出）可以被提供预定的时间（例如，500毫秒）。
如果第三命令未被识别，则控制单元140可以在第一反馈显示区域7413上显示第七视觉反馈（例如，“请再说一遍”（未示出））。控制单元140可以提供第六听觉反馈（例如，“请再说一遍”）来识别第三命令语音。
参考图74，如果多个应用程序的名称对应于第三命令（例如，包括要被选择的应用程序的名称的一部分——“动人的”），则控制单元140可以在智能中心7300上显示候选项弹出窗口7314，其显示多个应用程序的名称。如果对应于数字的语音（例如，“二”）通过语音输入单元110、语音识别模块130k和语音数据库130m被识别，则控制单元140在候选项弹出窗口7414上选择②动人的鼓节414b。
参考图78，控制单元140执行对应于通过语音输入单元110、语音识别模块130k和语音数据库130m识别的第三命令（例如，“动人的鼓节”）的应用程序——动人的鼓节。控制单元140显示被执行的动人的鼓节的UI 7800。控制单元140可以把动人的鼓节的UI 7800显示成重叠在智能中心7300上。控制单元140可以通过利用UI 7800替换智能中心7300，以全屏幕尺寸显示动人的鼓节的UI 7800。
通过识别用户语音或者通过遥控器，可以演奏在动人的鼓节的UI 7800上显示的鼓7801到7809。在动作任务模式中，可以通过动作识别（例如，抓取动作）演奏动人的鼓节上的鼓7801到7809。
图79是根据示范性实施例示出用于显示电子装置的UI的方法的流程图。
电子装置100被开启S7901。例如，如果位于电子装置100上的电源按钮（未示出）被按压，如果位于遥控器上的电子装置100的电源键（未示出）被选择（例如，键被按压），或者如果用户语音（例如，“开机”）通过语音输入单元110、语音识别模块130k和语音数据库130m被识别，则电子装置100可以被开启。
广播被输出（S7902）。例如，电子装置100输出对应于从广播接收单元150接收到的广播信号的影像，如图70中所示。
语音开始命令被识别（S7903）。即，电子装置100利用语音输入单元110、语音识别模块130k和语音数据库130m识别由用户说出的语音开始命令。电子装置100把电子装置100的模式改变到语音任务模式，在语音任务模式中，依据识别的语音开始命令，可通过语音识别控制电子装置100。
命令集合被显示（S7904）。例如，电子装置100在显示影像的显示屏幕7000上显示对应于语音任务模式的命令集合7110，如图71中所示。
第一命令语音被识别（S7905）。具体来说，电子装置100利用语音输入单元110、语音识别模块130k和语音数据库130m识别由用户说出的第一命令语音（例如，“智能中心”）。如果语音被识别为第一命令，则电子装置100在第一反馈显示区域7230上显示对应于识别的第一命令的第一视觉反馈，如图72中所示。
UI被显示（S7906）。例如，如果第一命令被识别，则电子装置100显示对应于第一命令的智能中心7300，如图73中所示。
第二命令语音被识别（S7907）。具体来说，电子装置100利用语音输入单元110、语音识别模块130k和语音数据库130m识别由用户说出的第二命令语音（例如，应用程序的名称——“动人的电子书”7371c）。如果多个应用程序的名称对应于识别的第二命令，则电子装置100可以显示候选项弹出窗口7414，其显示多个应用程序的名称，如图74中所示。
第一应用程序被执行（S7908）。例如，电子装置100执行对应于第二命令的应用程序——动人的电子书，如图75中所示。
动作开始命令（触发动作）被识别（S7909）。具体来说，电子装置100利用动作输入单元120、动作识别模块130l和动作数据库130n识别用户的动作开始命令7600。例如，动作开始命令7600是对着动作输入单元120水平地摇摆用户展开的手指3到4次的动作，如图76中所示。
动作项目被显示在智能中心上，并且可通过语音识别控制的应用程序的可执行图标和不可通过语音识别控制的应用程序的可执行图标被同样地显示。例如，电子装置100在智能中心7300上显示对应于动作任务模式的动作辅助信息7720和光标7725，如图77中所示。
如果在操作S7907中第二命令未被识别，则执行操作S7911。
第三命令被识别（S7911）。控制单元140利用语音输入单元110、语音识别模块130k和语音数据库130m识别由用户说出的第三命令语音。如果多个应用程序的名称对应于识别的第三命令，则控制单元140可以在智能中心7300上显示候选项弹出窗口7414，其显示多个应用程序的名称，如图74中所示。
第三应用程序被执行（S7912）。例如，电子装置100执行对应于通过语音输入单元110、语音识别模块130k和语音数据库130m识别的第三命令的应用程序——动人的鼓节，如图78中所示。
如果在操作S7911中第三命令未被识别，则操作结束。
控制单元140可以把通过广播接收单元150接收到的广播信号其中之一以及存储的内容其中之一提供给影像输出单元190或者显示单元193。显示单元193可以显示接收的一个广播信号或者存储的内容。存储的内容包括永久地、暂时地或者临时地存储在电子装置100中的所有内容。例如，内容可以被永久地存储在电子装置100的存储单元130中，直到接收到用户删除请求。而且，如果电子装置100的存储单元130的一部分用作缓冲器，则内容可以被临时地或者暂时地存储在存储单元130中。具体来说，如果从外部端子输入单元160或者网络接口单元180输入的内容被实时地提供给影像输出单元190或者显示单元193，则控制单元140可以把内容临时地或者暂时地存储在存储单元130的一部分中，以使内容的输入速度可以大致等于内容的输出速度。
控制单元140可以利用动作识别模块130l识别用户动作，并且可以响应于识别的用户动作，改变提供的广播信号或者内容的状态。如果控制单元140提供广播信号，则控制单元140可以响应于识别的用户动作，控制广播信号的音量水平，或者可以提供多个广播信号中的另一广播信号。如果控制单元140提供内容，则控制单元140可以响应于识别的用户动作，改变其上显示所述内容的屏幕的至少一部分。
例如，如果内容（例如包括多个页面的影像或者包括多个页面的文档）包括多个页面，并且所述多个页面其中之一被显示在屏幕上，则控制单元140可以把其上显示所述多个页面其中之一的屏幕改变到其上显示另一页面的屏幕。具体来说，控制单元140响应于识别的用户动作，把其上显示所述多个页面其中之一的屏幕改变到其上显示位于所述多个页面中的这一个页面的上部、下部、左部或者右部的页面中的一个的屏幕。
又例如，如果内容（例如，网页）包括一个页面，则控制单元140可以把其上显示页面的一部分的屏幕改变到其上显示该页面的另一部分的屏幕。
而且，控制单元140可以把其上显示所提供的内容（例如，影像或者活动影像）的屏幕改变到其上显示和所述内容不同的内容的屏幕。
控制单元140可以利用语音识别模块130k识别用户语音，并且可以依据识别的用户语音，提供多个广播信号其中之一。例如，如果频道标识符通过语音识别模块130k被识别，控制单元140可以利用频道控制模块130b，提供多个广播信号中具有识别的频道标识符的广播信号。
在另一示范性实施例中，控制单元140可以响应于利用动作识别模块130l被识别的用户动作，从多个广播信号中选择一个广播信号。控制单元140可以把所选择的广播信号提供给影像输出单元190或者显示单元193。显示单元193可以显示被提供的广播信号。接着，控制单元140可以停止向影像输出单元190或者显示单元193提供广播信号。例如，控制单元140可以响应于通过动作识别模块130l、语音识别模块130k或者遥控器接收到的用户输入，停止提供广播信号。控制单元140可以提供存储在电子装置100中的内容。
当控制单元140把存储的内容提供给显示单元193时，控制单元140可以重新识别用户动作，该用户动作具有和选择多个广播信号其中之一时的用户动作相同的形式。相同形式的用户动作包括具有基本相同形式的用户动作。例如，如果多个用户动作的对象形式(forms of objects)是相同的，对象形式沿相同方向移动，并且对象形式的移动速度高于预定的速度，则控制单元140可以把所述多个用户动作识别为相同形式的用户动作。例如，如果选择一个广播信号的用户动作和重新识别的用户动作都是拍击动作，并且拍击动作沿相同方向移动，则控制单元140可以把选择一个广播信号的用户动作和重新识别的用户动作识别为相同形式的用户动作。而且，如果选择一个广播信号的用户动作是沿向上方向的拍击动作，并且改变显示所提供的内容的屏幕的至少一部分的用户动作也是沿向上方向的拍击动作，则控制单元140可以把那两个动作识别为相同形式的用户动作。
接着，控制单元140可以响应于重新识别的用户动作，改变显示所提供的内容的屏幕的至少一部分。
在另一示范性实施例中，控制单元140可以给影像输出单元190或显示单元193提供第一影像数据。控制单元140可以把用于第一影像数据的音频数据提供给音频输出单元196。例如，第一影像数据可以是广播信号的影像数据，并且用于第一影像数据的音频数据可以是广播信号的音频数据。控制单元140可以响应于识别的用户动作，控制音频数据的音量水平。例如，控制单元140可以控制用于第一影像数据的音频数据的音量水平。接着，控制单元140可以停止提供第一影像数据和用于第一影像数据的音频数据，并且可以提供第二影像数据。例如，第二影像数据可以是存储在电子装置100中的内容的影像数据。接着，控制单元140可以重新识别和被识别成控制音频数据的音量水平的用户动作的形式基本相同的用户动作。控制单元140可以响应于重新识别的用户动作，改变显示第二影像数据的屏幕的至少一部分。
在另一示范性实施例中，控制单元140可以向影像输出单元190或者显示单元193提供分别从多个源提供的影像数据中的第一影像数据和从单个源提供的多个影像数据中的第二影像数据其中之一。显示单元193显示第一影像数据或者第二影像数据。例如，分别从多个源提供的影像数据中的第一影像数据可以是通过多个频道接收到的多个广播信号的影像数据中，通过广播接收单元210中所包括的调谐器所选择的频道接收的广播信号的影像数据。例如，单个源提供的多个影像数据中的第二影像数据可以是从电子装置100的存储单元130、连接到外部端子输入单元200的外部装置、或者连接到网络接口单元180的服务器提供的多个内容中的一个内容的影像数据。接着，控制单元140可以通过动作识别模块130l识别用户动作。如果控制单元140提供第一影像数据，则控制单元140可以响应于识别的用户动作，提供从和与第一影像数据的源不同的源提供的影像数据。如果控制单元140提供第二影像数据，则控制单元140可以提供单个源提供的多个影像数据中的不同于第二影像数据的影像数据。
在另一示范性实施例中，控制单元140可以给影像输出单元190或者显示单元193提供第一影像数据和第二影像数据其中之一，第一影像数据在电源被供应给电子装置100时被即刻再现，第二影像数据在电源被供应给电子装置100以后，电子装置100进入一种模式之后被再现。显示单元193可以显示第一影像数据或者第二影像数据。例如，如果电子装置100是TV，则在电源供应给电子装置100时被即刻再现的第一影像数据可以是当TV开启时被即刻再现的广播信号。例如，如果电子装置100是TV，则在电源被供应给电子装置100以后，电子装置100进入一种模式之后被再现的第二影像数据可以是在TV被开启后，TV依据通过语音输入单元110、动作输入单元120或者遥控器的用户输入进行一种模式之后被再现的内容。接着，如果第一影像数据被提供，则控制单元140可以响应于通过动作识别模块130l识别的用户动作，提供不同的当电源被供应时被即刻再现的影像数据（例如，不同频道的广播信号的影像数据）。如果第二影像数据被提供，则控制单元140可以响应于通过动作识别模块130l识别的用户动作，提供不同的在电子装置100进入一种模式后被再现的影像数据（例如，存储在存储单元130中的影像数据，或者从外部端子输入单元160或者网络接口单元180接收到的内容的影像数据）。
在另一示范性实施例中，控制单元140可以给影像输出单元190或者显示单元193提供多个活动影像其中之一或者多个影像其中之一。显示单元193可以显示所述活动影像或者影像。例如，多个活动影像其中之一可以表示作为多个广播信号其中之一的随着时间改变的影像。而且，多个影像其中之一可以是多个存储的影像其中之一。接着，如果活动影像被提供，则控制单元140可以响应于通过动作识别模块130l识别的用户动作，从多个活动影像中提供和所提供的活动影像不同的活动影像（例如，不同频道的广播信号）。如果影像被提供，则控制单元140可以响应于通过动作识别模块130l识别的用户动作，从多个影像中提供与所提供的影像不同的影像。
此后，将参考图80到图91说明响应于用户动作被改变的屏幕。
图80和图81是根据各种示范性实施例示出响应于沿向上方向的用户动作被改变的屏幕的视图。
在图80中，控制单元140可以把沿向上方向的拍击动作识别为用户动作。参考图80的8010和8020，如果控制单元140提供广播信号，则控制单元140可以停止在屏幕上提供广播信号，并且可以响应于沿向上方向的拍击动作，提供其频道号码从被停止的广播信号的频道号码增大的广播信号。例如，具有频道号码‘7’的广播信号被改变到具有频道号码‘8’的广播信号。参考图80的8030和8040，如果控制单元140提供包括多个页面的内容，则控制单元140可以响应于沿向上方向的拍击动作，把显示所述多个页面其中之一的屏幕改变到显示位于所述多个页面中的这一个页面下面的页面的屏幕。例如，如8030中那样显示第二页面的屏幕可以被改变到如8040中那样显示第三页面的屏幕。
在图81中，控制单元140可以把沿向上方向的拍击动作识别为用户动作。参考图81的8110和8120，如果控制单元140提供广播信号，则控制单元140停止在屏幕上提供广播信号，并且可以响应于沿向上方向的拍击动作，提供其频道号码从被停止的广播信号的频道号码增大的广播信号。参考图81的8130和8140，如果控制单元140提供包括一个页面的内容，则控制单元140可以响应于沿向上方向的拍击动作，把屏幕上这一个页面的一部分改变为位于这一个页面的这部分下面的另一部分。
图82和图83是根据各种示范性实施例示出响应于沿向下方向的用户动作而改变的屏幕的视图。
在图82中，控制单元140可以把沿向下方向的拍击动作识别为用户动作。参考图82的8210和8220，如果控制单元140提供广播信号，则控制单元140可以停止在屏幕上提供广播信号，并且可以响应于沿向下方向的拍击动作，提供其频道号码从被停止的广播信号的频道号码减小的广播信号。例如，具有频道号码‘8’的广播信号被改变到具有频道号码‘7’的广播信号。参考图82的8230和8240，如果控制单元140提供包括多个页面的内容，则控制单元140可以响应于沿向下方向的拍击动作，把显示所述多个页面其中之一的屏幕改变到显示位于所述多个页面中的这一个页面上面的页面的屏幕。例如，如8230中那样显示第二页面的屏幕可以被改变到如8240中那样显示第一页面的屏幕。
在图83中，控制单元140可以把沿向下方向的拍击动作识别为用户动作。参考图83的8310和8320，如果控制单元140提供广播信号，则控制单元140停止在屏幕上提供广播信号，并且可以响应于沿向下方向的拍击动作，提供其频道号码从被停止的广播信号的频道号码减小的广播信号。参考图83的8330和8340，如果控制单元140提供包括一个页面的内容，则控制单元140可以响应于沿向下方向的拍击动作，把屏幕上这一个页面的一部分改变为位于这一个页面的这部分下面的另一部分。
图84到图87是根据各种示范性实施例示出响应于沿向左方向的用户动作而改变的屏幕的视图。
在图84中，控制单元140可以把沿向左方向的拍击动作识别为用户动作。参考图84的8410和8420，如果控制单元140提供广播信号，则控制单元140可以响应于沿向左方向的拍击动作，降低正被提供的广播信号的音量水平。例如，广播信号的音量水平从‘14’降低到‘13’。参考8430和8440，如果控制单元140提供包括多个页面的内容，则控制单元140可以响应于沿向左方向的拍击动作，把显示所述多个页面其中之一的屏幕改变到显示位于所述多个页面中的这一个页面右部的页面的屏幕。例如，如8430中那样显示第二页面的屏幕可以被改变到如8440中那样显示第三页面的屏幕。
在图85中，控制单元140可以把沿向左方向的拍击动作识别为用户动作。参考图85的8510和8520，如果控制单元140提供广播信号，则控制单元140可以响应于沿向左方向的拍击动作，降低正被提供的广播信号的音量水平。参考图85的8530和8540，如果控制单元140提供包括一个页面的内容，则控制单元140可以响应于沿向左方向的拍击动作，把显示这一个页面的一部分的屏幕改变为显示位于这一个页面的这部分右部的另一部分的屏幕。
在图86中，控制单元140可以把沿向左方向的拍击动作识别为用户动作。参考图86的8610和8620，如果控制单元140提供广播信号，则控制单元140可以响应于沿向左方向的拍击动作，降低正被提供的广播信号的音量水平。参考图86的8630和8640，控制单元140可以响应于沿向左方向的拍击动作，把显示第二内容的屏幕改变为显示位于第二内容之后的第三内容的屏幕。
在图87中，控制单元140可以把沿向左方向的拍击动作识别为用户动作。参考图87的8710和8720，如果控制单元140提供广播信号，则控制单元140可以响应于沿向左方向的拍击动作，降低正被提供的广播信号的音量水平。参考图87的8730和8740，如果控制单元140分别在屏幕上的第一区域8731和第二区域8735上提供至少一个内容，则控制单元140可以响应于沿向左方向的拍击动作，从第二区域8735去除内容8751，并且可以转而在第二区域8735上显示不同的内容8752。
在图88中，控制单元140可以把沿向右方向的拍击动作识别为用户动作。参考图88的8810和8820，如果控制单元140提供广播信号，则控制单元140可以响应于沿向右方向的拍击动作，增大正被提供的广播信号的音量水平。例如，广播信号的音量水平从‘14’增大到‘15’。参考图88的8830和8840，如果控制单元140提供包括多个页面的内容，则控制单元140可以响应于沿向右方向的拍击动作，把显示所述多个页面其中之一的屏幕改变到显示位于所述多个页面中的这一个页面左部的页面的屏幕。例如，如8830中那样显示第二页面的屏幕可以被改变到如8840中那样显示第一页面的屏幕。
在图89中，控制单元140可以把沿向右方向的拍击动作识别为用户动作。参考图89的8910和8920，如果控制单元140提供广播信号，则控制单元140可以响应于沿向右方向的拍击动作，增大正被提供的广播信号的音量水平。参考图89的8930和8940，如果控制单元140提供包括一个页面的内容，则控制单元140可以响应于沿向右方向的拍击动作，把显示这一个页面的一部分的屏幕改变为显示位于这一个页面的这部分左部的另一部分的屏幕。
在图90中，控制单元140可以把沿向右方向的拍击动作识别为用户动作。参考图90的9010和9020，如果控制单元140提供广播信号，则控制单元140可以响应于沿向右方向的拍击动作，增大被提供的广播信号的音量水平。参考图90的9030和9040，如果控制单元140提供第二内容，则控制单元140可以响应于沿向右方向的拍击动作，把显示第二内容的屏幕改变为显示位于第二内容之前的第一内容的屏幕。
在图91中，控制单元140可以把沿向右方向的拍击动作识别为用户动作。参考图91的9110和9120，如果控制单元140提供广播信号，则控制单元140可以响应于沿向右方向的拍击动作，增大正被提供的广播信号的音量水平。参考图91的9130和9140，如果控制单元140分别在屏幕上的第一区域9131和第二区域9135上提供至少一个内容，则控制单元140可以响应于沿向右方向的拍击动作，从第二区域9135去除内容9151，并且可以转而在第二区域9135上显示不同的内容9152。
图92和图93是根据各种示范性实施例示出响应于用户动作改变屏幕的电子装置的控制方法的流程图。
参考图92，电子装置100响应于识别的用户动作，从多个广播信号中选择一个广播信号（S9212）。识别的用户动作可通过动作输入单元120输入，并可以被动作识别模块130l识别。电子装置100提供所选择的广播信号（S9214）。广播信号可以被提供给影像输出单元190或者显示单元193。然后，在电子装置100停止提供所选择的广播信号并提供存储的内容的情况下（S9216），电子装置100可以重新识别具有和所识别的用户动作大致相同的形式的用户动作（S9218）。存储的内容可以是存储在存储单元130中的内容，或者从外部端子输入单元160或者网络接口180接收的内容。重新识别的用户动作可通过动作输入单元120输入，并可以被动作识别模块130l识别。响应于重新识别的用户动作，电子装置100可以改变显示所提供内容的屏幕的至少一部分（S9220）。
参考图93，电子装置100提供多个广播信号中的一个广播信号和存储的内容其中之一（S9312）。电子装置100通过动作识别模块130l识别用户动作（S9314）。电子装置100可以响应于用户动作，确定提供的信号是广播信号还是内容（S9316）。如果提供广播信号，则电子装置100可以控制广播信号的音量水平，或者从多个广播信号中提供另一广播信号（S9318）。如果提供内容，则电子装置100改变显示提供的内容的屏幕的至少一部分（S9320）。
如上所述，利用用户动作，用户能够更有效并且直观地控制电子装置100。
控制单元140依据从遥控信号接收单元170接收的遥控信号、通过语音输入单元110输入的用户语音和通过动作输入单元120输入的用户动作，控制电子装置100。这里列举的遥控器可以是一般的遥控器，但是这不应视为限制。所述遥控器可以是包括触摸板的遥控器。
具体来说，如果在依据在遥控信号接收单元170接收到的遥控信号控制电子装置100的遥控模式中，通过语音输入单元110输入的语音开始命令被识别，则控制单元140把模式改变到执行受通过语音输入单元110输入的用户语音控制的语音任务的语音任务模式。
如果模式被改变到语音任务模式，则控制单元140可以控制显示单元193显示指示电子装置100的模式是语音任务模式的图标、以及包括指导语音任务的语音项目的语音辅助信息。
如果在语音任务模式中，从遥控器上的按钮中选择了第一按钮来改变到遥控模式，则遥控信号接收单元170接收对应于第一按钮的第一遥控信号。控制单元140响应于第一遥控信号，把电子装置100的模式改变到遥控模式，在遥控模式中，电子装置100受遥控器控制。第一按钮可以是把模式改变到遥控模式的遥控模式改变按钮。但是，这仅仅是例子，并且第一按钮可以是遥控器上的按钮中的某个按钮。如果第一按钮是某个按钮，则控制单元140在接收到对应于第一按钮的第一遥控信号时，把模式改变到遥控模式，然后，执行对应于第一按钮的任务。例如，如果第一按钮是静音按钮，则控制单元140把模式从语音任务模式改变到遥控模式，然后执行静音。
如果在语音任务模式中，动作开始命令通过动作输入单元120输入，则控制单元140利用动作识别模块130l识别动作开始命令。如果动作开始命令被识别，则控制单元140把电子装置100的模式改变到动作任务模式，在动作任务模式中，电子装置100受通过动作输入单元120输入的用户动作控制。
如果在依据在遥控信号接收单元170接收到的遥控信号控制电子装置100的遥控模式中，通过动作输入单元120输入的动作开始命令被识别，则控制单元140把模式改变到执行受通过动作输入单元120输入的用户动作控制的动作任务的动作任务模式。
如果模式被改变到动作任务模式，则控制单元140可以控制显示单元193显示指示电子装置100的模式是动作任务模式的图标和包括指导动作任务的动作项目的动作辅助信息。
如果在动作任务模式中，从遥控器上的按钮中选择了第一按钮来改变到遥控模式，则遥控信号接收单元170接收对应于第一按钮的第一遥控信号。控制单元140响应于第一遥控信号，把电子装置100的模式改变到遥控模式，在遥控模式中，电子装置100受遥控器控制。第一按钮可以是把模式改变到遥控模式的遥控模式改变按钮。但是，这仅仅是例子，并且第一按钮可以是遥控器上的按钮中的某个按钮。如果第一按钮是某个按钮，则控制单元140在接收到对应于第一按钮的第一遥控信号时，把模式改变到遥控模式，然后，执行对应于第一按钮的任务。例如，如果第一按钮是静音按钮，则控制单元140把模式从动作任务模式改变到遥控模式，然后执行静音。
如果在动作任务模式中，语音开始命令通过语音输入单元110输入，则控制单元140利用语音识别模块130k识别语音开始命令。如果语音开始命令被识别，则控制单元140把电子装置100的模式改变到语音任务模式，在语音任务模式中，依据通过语音输入单元110输入的用户语音控制电子装置100。
此后，将参考图94到图97，根据示范性实施例描述用于改变到遥控模式、动作任务模式和语音任务模式的方法。
具体来说，在电子装置100被开启后，控制单元140一般被操作于遥控模式，在遥控模式中，电子装置100受遥控信号控制。在遥控模式中，如图94中所示，不显示单独的UI。但是，这仅仅是例子，并且在遥控模式中控制单元140可以显示指示遥控模式的UI。
如果在遥控模式中，语音开始命令通过语音输入单元110输入，则控制单元140识别语音开始命令，并把电子装置100的模式改变到语音任务模式，在语音任务模式中，依据通过语音输入单元110输入的用户语音控制电子装置100。当改变到语音任务模式时，控制单元140可以显示语音辅助信息，如图95中所示。
如果在语音任务模式中，选择了遥控器上的第一按钮，则控制单元140通过遥控信号接收单元170接收对应于第一按钮的第一遥控信号，并把电子装置100的模式再次改变到如图94中所示的遥控模式。遥控器上的第一按钮可以是遥控模式改变按钮。但是，这仅仅是例子，并且第一按钮可以是遥控器上的某个按钮。
如果在语音任务模式中，动作开始命令通过动作输入单元120输入，则控制单元140识别动作开始命令，并把电子装置100的模式改变到动作任务模式，在动作任务模式中，依据通过动作输入单元120输入的用户动作控制电子装置100。当改变到动作任务模式时，控制单元140可以显示动作辅助信息3310，如图96中所示。
如果在遥控模式中，通过动作输入单元120输入动作开始命令，则控制单元140识别动作开始命令，并把电子装置100的模式改变到动作任务模式，在动作任务模式中，依据通过动作输入单元120输入的用户动作控制电子装置100。当改变到动作任务模式时，控制单元140可以显示动作辅助信息3310，如图96中所示。
如果在动作任务模式中，选择了遥控器上的第一按钮，则控制单元140通过遥控信号接收单元170接收对应于第一按钮的第一遥控信号，并把电子装置100的模式再次改变到如图94中所示的遥控模式。遥控器上的第一按钮可以是遥控模式改变按钮。但是，这仅仅是例子，并且第一按钮可以是遥控器上的某个按钮。
如果在动作任务模式中，语音开始命令通过语音输入单元110输入，则控制单元140识别语音开始命令，并把电子装置100的模式改变到语音任务模式，在语音任务模式中，依据通过语音输入单元110输入的用户语音控制电子装置100。当改变到语音任务模式时，控制单元140可以显示语音辅助信息，如图95中所示。
如上所述，分别利用遥控信号、语音开始命令和动作开始命令，电子装置100可以被改变到遥控模式、语音任务模式和动作任务模式。
图97是根据示范性实施例说明用于改变到遥控模式、语音任务模式和动作任务模式的方法的流程图。
电子装置100被开启并进入电子装置100受遥控器控制的遥控模式（S9710）。
电子装置100保持在遥控模式中（S9710），除非输入了语音开始命令或者动作开始命令。
电子装置100确定语音开始命令是否被输入（S9720）。如果语音开始命令被输入（S9720-Y），则电子装置100把电子装置100的模式改变到语音任务模式(S9730)，在语音任务模式中，依据通过语音输入单元110输入的用户语音控制电子装置100。当进入语音任务模式时，电子装置100可以显示语音辅助信息，如图95中所示。
电子装置100确定动作开始命令是否被输入（S9740）。如果在语音任务模式中输入了动作开始命令（S9740-Y），则电子装置100把电子装置100的模式改变到动作任务模式，在动作任务模式中，依据通过动作输入单元120输入的用户动作控制电子装置100（S9750）。
如果电子装置100处于语音任务模式或者动作任务模式中，则控制单元140确定是否返回遥控模式（S9760）。如上所述，如果返回遥控模式的开始命令或者模式取消命令被识别，则控制单元140可以返回遥控模式。而且，如果电子装置100处于语音任务模式中，则如果在预定的时间中（例如，5分钟）没有语音被识别，控制单元140可以自动返回遥控模式。类似地，如果电子装置100处于动作任务模式中，则如果在预定的时间中（例如，5分钟）没有动作被识别，控制单元140可以自动返回遥控模式。
如图97中所示，电子装置100工作于遥控模式（S9710）、语音任务模式（S9730）和动作任务模式（S9750）。在所有三个模式中，控制单元140确定是否切换到语音任务模式(S9720-Y)、是否切换到动作任务模式(S9740-Y)、是否切换到遥控模式（S9760-Y），或者是否停留在当前模式中（S9720-N,S9740-N,S9760-N）。尽管图97中的方法已经被描述，但是这仅仅是个例子，并且本公开的技术理念可被应用到用于改变到/自遥控模式、语音任务模式和动作任务模式的任何方法。
如上所述，电子装置100的模式被改变到遥控模式、语音任务模式和动作任务模式，以使用户能够根据用户所期望的模式控制电子装置100。
控制单元140可以通过利用外部移动设备的语音识别控制电子装置100。
具体来说，如果用户语音通过外部移动设备中所包括的麦克风输入，则控制单元140通过语音输入单元110接收用户语音的输入，识别输入的用户语音，并依据识别的用户语音执行电子装置100的语音任务。移动设备可以是遥控器、移动电话、个人数字助理（PDA）和笔记本电脑，但不限于此。语音输入单元110可以是用于从外部移动设备接收用户语音信号的通信单元。
用于识别语音的应用程序在外部移动设备中执行，并且用户语音被输入。如果移动设备识别用户语音，产生对应于用户语音的控制信号，然后把控制信号传送到电子装置100，则控制单元140可以依据从移动设备输入的控制信号执行电子装置100的语音任务。
如果用于识别语音的应用程序在移动设备中执行，并且输入到移动设备所包括的麦克风的用户语音被输入，则控制单元140识别输入的用户语音，并依据用户语音执行电子装置100的语音任务。
如果在语音识别应用程序已在移动设备中执行后选择了移动设备中所包括的第一按钮，则控制单元140通过通信单元（未示出）接收对应于第一按钮的第一信号，并响应于第一信号，把电子装置100的模式改变到语音任务模式。通过选择移动设备中所包括的第一按钮而改变的语音任务模式是依据从移动设备中所包括的麦克风输入的用户语音执行语音任务的模式。如果移动设备上的第一按钮和第二按钮其中之一被选择，则通过选择移动设备中所包括的第一按钮而改变的语音任务模式可以被释放。第一按钮和第二按钮可以是移动设备中所包括的物理按钮。但是，这仅仅是例子，并且第一按钮和第二按钮可以是在语音识别的应用程序已被执行后在移动设备上显示的UI。
在移动设备上的第二按钮在语音任务模式中被选择时，控制单元140可以从移动设备接收用户语音的输入。在移动设备上的第二按钮被选择时，控制单元140可以在移动设备上显示指示用户语音可被输入的UI。因此，通过移动设备上显示的UI，用户可以知道能够输入语音。
如果用户语音被输入到移动设备，则控制单元140不通过电子装置100所包括的麦克风接收用户语音。
当移动设备打电话时，可以使用移动设备中所包括的麦克风。即，如果移动设备执行一般的电话通话功能，则麦克风从用户接收用于电话通话的语音输入。如果移动设备执行用于语音识别的应用程序，则移动设备可以从用户接收控制电子装置100的语音输入。
图98是根据示范性实施例说明利用外部移动设备识别用户语音的方法的流程图。
移动设备执行用于语音输入的应用程序（S9810）。移动设备可以是移动电话。
在用于语音输入的应用程序已在移动设备中执行之后，移动设备通过移动设备中所包括的麦克风接收用户语音的输入（S9820）。移动设备中所包括的麦克风可以是用于打电话的麦克风。
电子装置100从移动设备接收输入到外部移动设备的用户语音（9830）。
如果从移动设备接收到用户语音，则电子装置100利用语音识别模块130k识别用户语音（S9840）。
电子装置100利用语音数据库，依据识别的用户语音执行语音任务（S9850）。
在上面的示范性实施例中，移动设备接收用户语音的输入，并把用户语音传送到电子装置100。但是，这仅仅是个例子，并且移动设备可以直接识别用户语音，可以产生对应于用户语音的控制信号，然后可以把控制信号传送到电子装置100。
如上所述，利用例如移动电话的移动设备执行电子装置100的语音任务，以使用户能够利用语音识别更容易地控制电子装置。
根据示范性实施例，根据是否需要指针来执行任务，动作任务模式可以是动作模式和指点模式其中之一。具体来说，动作模式是依据预先设置的动作（例如沿向上、向下、向左或向右方向的拍击动作、抓取动作或者沿逆时针方向的旋转动作）来控制改变电子装置100的设置的任务的模式。例如，如果动作开始命令在电子装置100执行广播接收功能时被输入，则控制单元140可以把电子装置100的模式改变到动作模式。因此，电子装置100可以响应于和预先设置的动作匹配的用户动作，执行例如音量控制或者频道改变的任务。
指点模式是利用指针来执行任务的模式。例如，如果动作开始命令在电子装置100显示包括多个可选择项目的列表（例如，内容列表、频道列表、电子节目指南（EPG）和网页）其中之一时被输入，则控制单元140可以把电子装置100的模式改变到指点模式。在指点模式中，控制单元140在显示屏幕的中心显示指针。由于存在动作辅助信息所致，指针可以被显示在显示屏幕中心的上部。
此后，将更详细地说明指点模式。
如果在电子装置100显示包括多个用于执行应用程序的可执行图标（例如，智能中心）的内容列表和网页其中之一时通过动作输入单元120输入动作开始命令，则控制单元140把电子装置100的模式改变到指点模式，并在显示屏幕的中心显示指针。
在指点模式中，电子装置100可以在显示屏幕的下部显示用于执行动作任务的动作辅助信息。被显示的动作辅助信息可以和动作模式的动作辅助信息不同。
如果动作开始命令在电子装置100显示内容列表时通过动作输入单元120输入，则控制单元140把电子装置100的模式改变到指点模式。在指点模式中，如果根据输入到动作输入单元120的用户动作，指针被定位在内容列表的第一可执行图标，则控制单元140把第一可执行图标与其他可执行图标有区别地进行显示。如果在指点模式中输入了结束内容列表的屏幕的命令，则控制单元140不仅可以从显示屏幕去除内容列表，而且可以去除指针。
如果动作开始命令在电子装置100显示网页时通过动作输入单元120输入，则控制单元140把电子装置100的模式改变到指点模式。网页可以包括多个超链接。在指点模式中，如果根据通过动作输入单元120输入的用户动作，指针被定位在网页的第一超链接，则控制单元140把第一超链接与其他超链接有区别地进行显示。如果指针被定位在第一超链接并且第一用户动作（例如，抓取动作）通过动作输入单元120输入，则控制单元140执行第一超链接。
此后，将参考图99到图103更详细地说明指点模式。
如果如图99中所示，包括用于执行应用程序的可执行图标的内容列表被显示，并且动作开始命令通过动作输入单元120输入，则控制单元140可以显示动作辅助信息和指针10010，如图100中所示。指针10010可以被显示在显示屏幕的中心。
如果通过动作输入单元120输入沿左下方向的移动动作以便把指针10010放置在可执行图标“APP2”，则控制单元140把指针10010放置在可执行图标“APP2”。如果指针10010被定位在可执行图标“APP2”，则控制单元140突出显示可执行图标“APP2”和比其他图标更浓重的所述可执行图标的名称，如图101中所示。
如果指针10010被定位在可执行图标“APP2”，并且第一用户动作（例如，抓取动作）通过动作输入单元120输入，则控制单元140执行可执行图标“APP2”，如图102中所示。
如果如图100中所示，内容列表被显示，并且从用户输入内容列表释放命令（例如，沿逆时针方向的旋转动作，或者遥控器的按钮），则控制单元140从显示屏幕去除内容列表和指针，并显示广播接收屏幕，如图103中所示。
尽管在上面的示范性实施例中显示内容列表，但是，如果显示包括多个超链接的网页，则也可以应用本公开的技术理念。
图104是根据示范性实施例说明用于提供指点模式的方法的流程图。
电子装置100显示内容列表和网页其中之一（S 10410）。内容列表可以包括多个用于执行应用程序的可执行图标，并且网页可以包括多个超链接。
电子装置100确定动作开始命令是否被输入（S 10420）。
如果动作开始命令被输入（S10420-Y），则电子装置100把电子装置100的模式改变到指点模式（S10430）。指点模式是执行需要指针的任务的模式（例如，执行应用程序和浏览网页）。
如果模式被改变到指点模式，则电子装置100在显示屏幕上显示指针（S10440）。指针可以被显示在显示屏幕的中心。
如上所述，电子装置100被改变到执行需要指针的任务的指点模式，以使用户能够更容易地控制电子装置100。
如果在指点模式中，第一动作通过动作输入单元120输入，则控制单元140沿着对应于第一动作的方向移动指针，以及，如果第二动作通过动作输入单元120输入，则控制单元140执行对应于第二动作的动作任务。
如果第二动作在指针被定位在内容列表的第一可执行图标或者网页的第一超链接时被输入，则控制单元140可以使指针定位到的第一可执行图标和第一超链接取消突出显示。
第二动作可以是预先设置的执行电子装置100的动作模式的动作，并且可以是沿向上、向下、向左或向右方向的拍击动作、抓取动作和沿逆时针方向的旋转动作其中之一。
例如，如果第二动作是沿向上、向下、向左或向右方向的拍击动作，则控制单元140可以依据该拍击动作沿向上、向下、向左或向右方向移动显示屏幕。在移动屏幕之后，控制单元140可以在先前位置再次显示指针。
而且，如果第二动作是抓取动作，则控制单元140可以执行指针被定位处的第一可执行图标。在执行第一可执行图标之后，控制单元140可以在先前位置再次显示指针。
而且，如果第二动作是沿逆时针方向的旋转动作，则控制单元140可以在显示屏幕上显示当前被调谐的频道的广播节目。即，控制单元140可以从显示屏幕去除内容列表或者网页，并提供广播接收功能。此时，由于广播接收功能不要求指针，所以指针不被显示。
尽管在上面的例子中指针不被显示，但是这仅仅是个例子。指针可以被保持在该指针已被显示的位置。
此后，将参考图105到图107详细说明在指点模式中输入预先设置的动作的情况。
如果如图100中所示，电子装置100的模式被改变到指点模式，则控制单元140在显示屏幕的中心显示指针10510，如图105中所示。
如果在指针被显示在显示屏幕上的状态下，通过动作输入单元120输入了沿向右方向的拍击动作，则控制单元140从显示屏幕去除指针10510，并把应用程序显示区域1520的屏幕改变为另一应用程序显示区域10530的屏幕，如图106中所示。
在移动应用程序显示区域1520之后，控制单元140再次显示指针10510，如图107中所示。
图108是根据示范性实施例说明如果在指点模式中输入了预先设置的动作，电子装置100的控制方法的流程图。
电子装置100显示内容列表和网页其中之一（S10810）。内容列表可以包括多个用于执行应用程序的可执行图标，并且网页可以包括多个超链接。
电子装置100确定动作开始命令是否被输入（S10820）。
如果动作开始命令被输入（S10820-Y），在电子装置100把电子装置100的模式改变到指点模式（S10830）。指点模式是执行需要指针的任务的模式（例如，执行应用程序和浏览网页）。
如果模式被改变到指点模式，则电子装置100在显示屏幕上显示指针（S10840）。指针可以被定位在显示屏幕的中心。
如果在指针被显示的状态下，通过动作输入单元120输入了预先设置的动作（S10850-Y），则电子装置100去除指针，并执行对应于预先设置的动作的动作任务（S10860）。预先设置的动作是在动作模式中预先设置的动作，并且可以是沿向上、向下、向左或向右方向的拍击动作、抓取动作或沿逆时针方向的旋转动作。
电子装置100被如上所述控制，以使用户即使在指点模式中也能够依据预先设置的动作执行任务。
控制单元140可以依据电子装置100的模式，把被选择的项目与其他项目有区别地进行显示。
具体来说，控制单元140控制显示单元193显示多个可选择项目。可选择项目可以是内容列表的可执行图标或者网页的超链接。
如果用户语音和用户动作其中之一通过语音输入单元110和动作输入单元120其中之一输入，则控制单元140依据用户输入从多个项目中选择第一项目。控制单元140可以把被选择的第一项目与其他项目有区别地进行显示。例如，控制单元140可以突出显示比其他项目更浓重的被选择的第一项目。
如果在第一项目被与其他项目有区别地进行显示时，第一项目的名称具有超过了预先设置数量的字符数，并且电子装置100的模式是动作任务模式，则控制单元140可以显示第一项目的整个名称。例如如图109中所示，被选择的可执行图标的整个名称“动人的鼓”被显示。控制单元140可以用滚动方法显示第一项目的整个名称。在上面的例子中，在动作任务模式中显示项目的整个名称。但是，这仅仅是例子，并且即使在遥控模式中，也可以显示项目的整个名称。
在另一方面，如果第一项目的名称具有超过了预先设置数量的字符数，并且电子装置100的模式是语音任务模式，则控制单元140可以仅显示第一项目的名称的一部分。第一项目的名称的这部分被固定。例如，如图110中所示，仅被选择的可执行图标的名称——“动人的击鼓”的一部分被显示。
如果在语音任务模式中，仅第一项目名称的一部分被显示，并且通过语音输入单元110输入的用户语音与该名称的被显示部分一致，则控制单元140执行第一项目。
如果在被显示的第一项目的名称的一部分中不存在空格，并且通过语音输入单元110输入了对应于被显示的第一项目的名称的多个拼写的用户语音，则控制单元140执行该第一项目。例如，如果被显示的第一项目的名称是"man"，并且语音"m","a"和"n"被顺次输入，则控制单元140执行该第一项目。
如果电子装置100的模式是语音任务模式，并且在所显示项目的名称中，包括具有和通过语音输入单元110输入的用户语音一致的名称的多个项目，则控制单元140可以显示包括所述多个项目的候选项群的列表。如果候选项群的列表被显示，则控制单元140可以显示项目的整个名称，以使用户能够清楚地区分项目。
图111是根据示范性实施例说明依据模式有区别地显示项目的电子装置100的控制方法的流程图。
电子装置100显示多个可选择项目（S11110）。可选择项目可以是包括在内容列表中的用于执行应用程序的可执行图标或者包括在网页中的超链接。
电子装置100通过语音输入单元110和动作输入单元120其中之一接收用户语音和用户动作其中之一的输入（S11120）。
电子装置100依据用户输入选择第一项目（(S11130）。例如，在语音任务模式中，电子装置100可以依据通过语音输入单元110输入的用户语音选择第一项目，并且在动作任务模式中，电子装置100可以依据通过动作输入单元120输入的用户动作选择第一项目。在遥控模式中，电子装置100可以依据通过遥控信号接收单元170输入的遥控信号选择第一项目。
如果第一项目被选择，则电子装置100把被选择的第一项目与其他项目有区别地进行显示（S11140）。例如，电子装置100可以突出显示被选择的第一项目，使之比其他项目更浓重。
如果在第一项目被与其他项目有区别地进行显示时，第一项目的名称具有超过了预先设置数量的字符数，并且电子装置100的模式是动作任务模式（或者遥控模式），则电子装置100可以显示第一项目的整个名称。例如如图109中所示，被选择的可执行图标的整个名称——“动人的击鼓”被显示。而且，电子装置100可以用滚动方法显示第一项目的整个名称。
在另一方面，如果第一项目的名称具有超过了预先设置数量的字符数，并且电子装置100的模式是语音任务模式，则电子装置100可以仅显示第一项目的名称的一部分。第一项目的名称的这部分被固定。例如，如图110中所示，只显示可执行图标的名称——“动人的鼓”的一部分（“动人的”）。
如上所述，在语音任务模式中，只显示项目的名称的一部分，以使用户能够通过只说出名称的一部分来执行第一项目。
在语音任务模式中，控制单元140显示包括多个语音项目的语音辅助信息。语音辅助信息包括指示电子装置100的模式是语音任务模式的图标，并且指示语音任务模式的图标可以被定位在语音辅助信息的中心。
如果语音辅助信息被显示，并且对应于多个语音项目其中之一的用户语音通过语音输入单元110输入，则控制单元140在语音辅助信息的第一区域上显示用于执行语音任务的指导消息，并在语音辅助信息的第二区域上显示语音项目。第一区域可以是所述图标的左边区域，并且第二区域可以是所述图标的右边区域。指导消息的输出属性可以和语音项目的输出属性不同。输出属性可以包括字符的大小、色度、亮度和颜色中的至少一个。
如果用户语音是改变频道的命令，则控制单元140可以在第一区域上显示指导频道改变的指导消息，并且可以在第二区域上显示对应于用于改变频道的可说出命令的例子的语音项目和对应于取消频道改变的语音项目。
如果用户语音是关闭电源的命令，则控制单元140可以在第一区域上显示确认电源关闭的指导消息，并且可以在第二区域上显示和关于是否关闭电源的命令对应的语音项目。
此后，将参考图112到图114说明语音辅助信息的显示。
如果语音开始命令通过语音输入单元110输入，则控制单元140把电子装置100的模式改变到语音任务模式，在语音任务模式中，依据通过语音输入单元110输入的用户语音控制电子装置100。控制单元140显示语音辅助信息,如图112中所示。
语音辅助信息可以显示指示电子装置100的当前模式是语音任务模式的图标820。语音辅助信息可以在图标820的左边区域上显示电源关闭语音项目811、频道语音项目812、静音语音项目813和外部输入语音项目814，并且可以在图标820的右边区域上显示智能中心语音项目815、应用程序语音项目816、搜索语音项目817和‘全部’语音项目818。
如果语音辅助信息被显示，并且对应于频道语音项目812的命令“频道”通过语音输入单元110输入，则控制单元140改变语音辅助信息，如图113中所示。控制单元140在语音辅助信息中的图标820的左边区域显示具有第一色度的的指导消息以执行语音任务。例如，如图113中所示，在左边区域上可以显示“请说频道名称或者频道号”11310。
控制单元140在语音辅助信息中的图标820的右边区域显示具有第二色度的语音项目。该语音项目可以是对应于改变频道的可说出命令的例子的语音项目，以及对应于取消频道改变的语音项目（例如，前一个语音项目）。例如，如图113中所示，在图标820的右边区域上可以显示“（例如，11，MBC，前一频道，等等）”11320。
控制单元140可以控制使得图标820的右边区域的色度比图标820的左边区域的色度更浓重。
如果语音辅助信息被如图112中所示那样显示，并且对应于电源关闭语音项目811的命令“关闭”从语音输入单元110输入，则控制单元140改变语音辅助信息，如图114中所示。控制单元140在语音辅助信息中的图标820的左边区域显示具有第一色度的指导消息以执行语音任务。例如，如图114中所示，在图标820的左边区域上可以显示“你想关闭电源吗？”11410。
控制单元140在语音辅助信息中的图标820的右边区域显示具有第二色度的语音项目。该语音项目可以是对应于关于是否关闭电源的命令的语音项目。例如，如图114中所示，在图标820的右边区域上可以显示“是或否（Yesor No）”11420和11430。
控制单元140可以控制使得图标820的右边区域的色度比图标820的左边区域的色度更浓重。
图115是根据示范性实施例说明显示语音辅助信息的电子装置100的控制方法的流程图。
电子装置100显示语音辅助信息（S11510）。语音辅助信息可以包括指示电子装置100的当前模式是语音任务模式的图标，以及多个指导语音任务模式的语音项目。
如果对应于多个语音项目其中之一的用户语音通过语音输入单元110输入，则电子装置100在第一区域上显示具有第一色度的指导消息，并在第二区域上显示具有第二色度的语音项目（S11520）。第一区域可以是语音辅助信息中所述图标的右边区域，并且第二区域可以是语音辅助信息中所述图标的左边区域。第二色度可以比第一色度浓重。
如上所述，可说出的语音项目以不同于指导消息的色度显示，以使用户能够更清晰地知道用户应该说出哪个命令。
控制单元140显示包括多个指导语音任务的语音项目的语音辅助信息。如果通过语音输入单元110输入的用户语音包括不属于对应于所述多个语音项目的命令的预先设置的词，则控制单元140可以执行对应于所述预先设置的词的语音任务。
所述预先设置的词可以是对应于被包括在与电子装置100互锁（即，通信）的遥控器中的可执行键的词。例如，所述预先设置的词可以包括以下至少其中之一：产生频道列表的命令、产生菜单的命令、执行社会网络的命令、指导节目时间表的命令、改变到3D影像的命令、以及指导广播的命令。
所述预先设置的词可以是对应于提供和电子装置100所执行的功能相关的任务的命令的词。例如，如果电子装置100当前执行再现活动影像的功能，则所述预先设置的词可以包括以下其中至少一个：再现活动影像的命令、暂停活动影像的命令、停止活动影像的命令、再现前一文件的命令、再现下一文件的命令、快进命令、以及快退命令。
即，对应于电子装置100的基本功能的命令被预先存储在语音数据库130m中，以便即使功能未被显示在语音辅助信息中，用户也能够通过语音识别使用电子装置100的基本功能。
此后，将参考图116和图117说明不属于语音辅助信息上显示的语音项目的命令被说出的情况。
如果语音开始命令（例如，“Ginny”）通过语音输入单元110输入，则控制单元140把电子装置100的模式改变到语音任务模式，在语音任务模式中，依据通过语音输入单元110输入的用户语音控制电子装置100。如果模式被改变到语音任务模式，则控制单元140在显示屏幕的下部显示语音辅助信息，如图116中所示。
此时，指示电子装置100的当前模式是语音任务模式的图标820被显示在语音辅助信息上。语音辅助信息在图标820的左边区域上显示电源关闭语音项目811、频道语音项目812、静音语音项目813和外部输入语音项目814，并且在图标820的右边区域上显示智能中心语音项目815、应用程序语音项目816、搜索语音项目817和‘全部’语音项目818。
如果语音辅助信息被显示，并且不属于语音辅助信息的命令“频道列表”通过语音输入单元110输入，则控制单元140可以在显示屏幕的一侧部分上显示频道列表11700，如图117中所示。
频道列表11700包括参照当前调谐的广播频道落入预先设置的数的范围内的广播频道。例如，如果当前调谐的广播频道是“9-1KBS2”，则控制单元140在频道列表11700中显示“6-1SBS”、“7-1KBS 1”、“9-1KBS 2”、“11-1MBC”和“13-1EBS”，如图117中所示。
用户可以通过选择频道列表11700中频道的一个来改变频道。因此，即使语音辅助信息不显示对应于频道列表的语音项目，用户也能够通过语音识别执行显示频道列表的任务。
图118是根据示范性实施例说明如果不属于语音辅助信息上显示的语音项目的命令被说出，电子装置100的控制方法的流程图。
电子装置100显示语音辅助信息（S11810）。语音辅助信息可以包括指示电子装置100的当前模式是语音任务模式的图标，以及多个指导语音任务模式的语音项目。
电子装置100接收对应于语音项目的命令以外的命令的输入（S11820）。对应于语音项目的命令以外的该命令可以是对应于和电子装置100通信的遥控器中所包括的可执行键的词。例如，所述词可以包括以下其中之一：产生频道列表的命令、产生菜单的命令、执行社会网络的命令、指导节目时间表的命令、改变到3D影像的命令、及指导广播的命令。
与语音项目对应的命令以外的命令可以是与提供和电子装置100当前所执行的功能相关的任务的命令对应的词。例如，如果电子装置100当前执行再现活动影像的功能，则所述词可以包括以下其中至少一个：再现活动影像的命令、暂停活动影像的命令、停止活动影像的命令、再现前一文件的命令、再现下一文件的命令、快进命令、及快退命令。
电子装置100依据输入的命令执行语音任务（S11830）。例如，如果输入产生频道列表的命令，则电子装置100产生并显示频道列表。
如上所述，用户能够执行对应于未在语音辅助信息中显示的命令的任务。
控制单元140不仅可以执行利用一只手的动作任务，而且可以执行利用双手的动作任务。
具体来说，如果利用双手的动作开始命令通过动作输入单元120输入，则控制单元140可以把电子装置100的模式改变到利用双手的动作任务模式以执行利用双手的动作任务。
在利用一只手的动作任务模式中，如果输入利用另一手的动作开始命令，则控制单元140可以识别利用双手的动作开始命令。具体来说，如图119中所示，如果动作开始命令（摇摆一只手3到4次的动作）通过动作输入单元120输入，则控制单元140把电子装置100的模式改变到动作任务模式，在动作任务模式中，依据通过动作输入单元120输入的用户动作控制电子装置100。如果在动作任务模式中通过动作输入单元120输入了利用另一手的动作开始命令，则控制单元140可以把电子装置100的模式改变到使用双手的动作任务模式以执行使用双手的动作任务。
在另一示范性实施例中，如果同时摇摆双手多次（例如3到4次）的摇摆动作被输入，则利用双手的动作开始命令可以被识别。具体来说，如图120中所示，如果通过动作输入单元120输入了同时摇摆双手多次的摇摆动作，则控制单元140可以把电子装置100的模式改变到利用双手的动作任务模式以执行利用双手的动作任务。
利用双手的动作任务可以是放大或者缩小显示屏幕的任务。
特别地，如果不可能执行利用双手的动作任务的应用程序被执行，则控制单元140可以输出不可能执行利用双手的动作任务的消息。例如，如果不可能执行利用双手的动作任务的应用程序被执行，则控制单元140可以显示指示不可能执行利用双手的动作任务的图标。
图121是根据示范性实施例说明利用双手的动作任务模式的流程图。
电子装置100接收利用双手的动作开始命令的输入（S12110）。例如，在利用一只手的动作任务模式中，如果利用另一手的动作开始命令被输入，则利用双手的动作开始命令被识别为输入。
在另一示范性实施例中，如果同时摇摆双手多次（例如3到4次）的摇摆动作被输入，则利用双手的动作开始命令可以被识别。
如果利用双手的动作开始命令被输入，则电子装置100把电子装置100的模式改变到使用双手执行电子装置100的任务的使用双手的动作任务模式（S12120）。利用双手的动作任务模式可以是放大或者缩小显示屏幕的任务。
如上所述，用户不仅能够执行利用一只手的动作任务，而且可以执行利用双手的动作任务。
如果通过动作输入单元120输入动作开始命令，则控制单元140把电子装置100的模式改变到动作任务模式，在动作任务模式中，动作任务依据输入动作开始命令的用户的动作执行。在动作任务模式中，动作任务只依据输入动作开始命令的用户的动作执行，直到输入动作开始命令的用户释放动作任务模式为止。即使动作开始命令从输入动作开始命令的用户以外的其他用户输入，也保持动作任务模式。
具体来说，如果动作开始命令通过动作输入单元120输入，则控制单元140利用动作识别模块130l追踪输入动作开始命令的用户的手。控制单元140可以利用用户手的形状、颜色和动作中的至少一个来追踪用户的手。
即使另一用户的手的动作开始命令通过动作输入单元120输入，控制单元140也不执行另一用户的手的动作任务，而是追踪最初输入动作开始命令的用户的手和执行动作任务。
即使动作开始命令被另一用户输入，控制单元140也可以依据最初输入动作开始命令的用户的动作执行动作任务，直到释放动作任务模式的命令被输入该动作开始命令的用户输入为止。
在动作任务模式中，即使输入动作开始命令的用户的手与其他用户的手重叠，也可以依据输入动作开始命令的用户的手来执行动作任务。
或者，如果利用一只手的动作开始命令被输入，并且利用和输入动作开始命令的用户不同的用户的一只手的另一动作开始命令被输入，则控制单元140把电子装置100的模式改变到利用双手的动作任务模式以执行利用双手的动作任务。利用双手的动作任务模式可由最初输入动作开始命令的用户的一只手和另一用户的一只手执行。
如果通过动作输入单元120从多个用户输入了多个动作开始命令，则控制单元140从所述多个动作开始命令中确定最初被输入的动作开始命令。如果最初输入的动作开始命令被确定，则控制单元140把电子装置100的模式改变到依据最初输入动作开始命令的用户的动作执行动作任务的动作任务模式。
可以只依据最初输入动作开始命令的用户的动作执行动作任务，直到最初输入动作开始命令的用户释放动作任务模式为止。即使动作开始命令被从最初输入动作开始命令的用户以外的其他用户输入，也可以保持动作任务模式。
图122是根据示范性实施例说明如果动作开始命令被从多个用户输入，电子装置100的控制方法的流程图。
电子装置100通过动作输入单元120从多个用户接收多个动作开始命令的输入（S12210）。动作开始命令可以是摇摆用户的手多次（例如3到4次）的摇摆动作。
电子装置100从多个动作开始命令中确定最初被输入的动作开始命令（(S12220）。具体来说，电子装置100可以利用被用于输入动作开始命令的用户的手的形状、颜色和动作确定最初输入的动作开始命令。
电子装置100利用最初输入动作开始命令的用户的动作执行动作任务（S12230）。具体来说，如果电子装置100确定最初输入的动作开始命令，则控制单元140把电子装置100的模式改变到依据最初输入动作开始命令的用户的动作执行动作任务的动作任务模式。在动作任务模式中，电子装置100利用最初输入动作开始命令的用户的动作执行动作任务。
可以只依据最初输入动作开始命令的用户的动作执行动作任务，直到最初输入动作开始命令的用户释放动作任务模式为止。即使动作开始命令被从最初输入动作开始命令的用户以外的其他用户输入，也可以保持动作任务模式。
如上所述，动作任务依据最初输入的动作开始命令执行，从而可以防止其他用户的动作导致的误操作。
控制单元140可以同步地执行语音任务。具体来说，如果用户的第一语音通过语音输入单元110输入，则控制单元140可以响应于第一语音，在影像的一个区域上显示指导至少一个语音任务的第一菜单。如果用户的第二语音通过语音输入单元110输入，则控制单元140可以从至少一个语音任务中执行对应于用户的第二语音的语音任务。
例如，如果改变频道的命令通过语音输入单元110输入，则控制单元140可以显示包括用于指导频道改变的信息的第一菜单。如果对应于频道标识符（例如，频道号码、频道名称和节目名称其中之一）的用户语音通过语音输入单元110输入，则控制单元140可以把当前频道改变到对应于用户语音的频道。
如果对应于节目名称的用户语音通过语音输入单元110输入，则控制单元140从预先存储的节目指南（EPG）搜索通过语音输入单元110输入的节目名称，并把当前频道改变到广播输入的节目名称的频道或者安排等待时间。
此后，将参考图123到图125说明语音识别被同步地执行的情况。
如果语音开始命令通过语音输入单元110输入，则控制单元140把电子装置100的模式改变到语音任务模式，在语音任务模式中，依据通过语音输入单元110输入的用户语音控制电子装置100。控制单元140显示包括多个语音项目的语音辅助信息，如图123中所示。
如果语音辅助信息被显示并且对应于频道语音项目812的用户语音（例如，“频道”）通过语音输入单元110输入，则控制单元140改变语音辅助信息，并显示指导语音任务的执行的第一菜单。例如，控制单元140可以显示“请说频道名称或者频道号码”12410来指导频道改变，如图124中所示。
如果对应于频道号码、频道名称和广播节目名称其中之一的用户语音通过语音输入单元110输入，则控制单元140把当前频道改变到对应于该用户语音的频道。例如，如果“7”通过语音输入单元110输入，则控制单元140通过调到7频道来显示7频道，如图125中所示。
如上所述，语音任务被同步地执行，所以可以防止误操作。具体来说，如果用户希望改变频道，则用户在选择频道语音项目一次之后改变频道，因此能够避免改变到不期望的频道。
图126是根据示范性实施例说明同步地执行语音任务的电子装置100的控制方法的流程图。
电子装置100显示影像（S12610）。所述影像可以包括语音辅助信息。
电子装置100通过语音输入单元110接收第一语音的输入（S12620）。第一语音可以是对应于被显示的语音辅助信息中所包括的多个语音项目其中之一的用户语音。
电子装置100响应于输入的第一语音，显示指导语音任务的执行的第一菜单（S12630）。
电子装置100通过语音输入单元110接收第二语音的输入（S12640）。第二语音是执行特定语音任务的命令。
电子装置100响应于输入的第二语音，执行对应于第二语音的语音任务（S12650）。例如，如果第二语音是频道名称，则电子装置100把广播频道改变到对应于第二语音的频道。
如上所述，语音任务被同步地执行，所以能够防止误操作。
在依据通过语音输入单元110输入的用户语音执行语音任务的语音任务模式中，控制单元140显示至少一个可执行图标和可执行图标的名称。
语音输入单元110接收用户语音的输入。如果仅显示可执行图标的名称的一部分的第一可执行图标存在于所述至少一个可执行图标中，并且输入的用户语音和第一可执行图标的名称的被显示部分一致，则控制单元140执行第一可执行图标。
如果输入的用户语音和组成第一可执行图标的名称的被显示部分的多个拼写一致，则控制单元140执行第一可执行图标。
如果其名称包括特殊字符的第二可执行图标存在于可执行图标中，并且输入的用户语音和把第二可执行图标的名称中所包括的特殊字符排除在外的可说出名称一致，则控制单元140执行第二可执行图标。
特殊字符可以是不可被用户说出的符号。例如，特殊字符可以是问号（？）、逗号（，）和句号（。），但不限于此。
例如，如果存在具有可执行图标的名称“人脸识别、语音识别”的应用程序，则控制单元140在用户语音“人脸识别、语音识别”通过语音输入单元110输入时，执行该应用程序。
在上面的例子中，控制单元140执行可执行图标。但是，这仅仅是个例子，并且如果控制单元140执行超链接，则也可以应用本公开的技术理念。
此后，将参考图127和图128，说明根据示范性实施例执行显示可执行图标的名称的一部分的可执行图标的方法。
控制单元140根据用户的特定命令，显示包括多个用于执行应用程序的可执行图标的内容列表（例如，智能中心）。如果其名称具有超过了预定数量的字符数的可执行图标被包括在内容列表中所包括的多个可执行图标中，则控制单元140可以只显示可执行图标的全部名称的一部分。例如，如果其名称具有超过10个字符的可执行图标被包括在内容列表中所包括的多个可执行图标中，则控制单元140不显示可执行图标的全部名称“动人的鼓”，而只显示“动人的”，如图127中所示。
如果内容列表被显示，并且语音开始命令通过语音输入单元110输入，则电子装置100把电子装置100的模式改变到语音任务模式，在语音任务模式中，依据通过语音输入单元110输入的用户语音控制电子装置。如果模式被改变到语音任务模式，则电子装置100显示语音辅助信息，如图127中所示。
如果语音辅助信息被显示，并且和名称的被显示部分一致的“动人的”通过语音输入单元110说出，则控制单元140执行“动人的鼓”，如图128中所示。
而且，如果语音辅助信息被显示，并且组成名称的被显示部分的多个拼写“E”、“X”、“C”、“I”、“T”、“I”、“N”和“G”通过语音输入单元110输入，则控制单元140执行“动人的鼓”，如图128中所示。
图129是说明根据示范性实施例用于执行只显示可执行图标的名称的一部分的可执行图标的方法的流程图。
电子装置100响应于通过语音输入单元110输入的语音开始命令，把电子装置100的模式改变到语音任务模式（S12910）。电子装置100显示包括多个用于执行应用程序的可执行图标的内容列表。
特别地，电子装置100在内容列表上显示可执行图标，所述可执行图标显示可执行图标的名称的一部分（S12920）。这是因为可执行图标的名称具有超过了预定数量的字符数，因此不能显示可执行图标的全部名称。
电子装置100通过语音输入单元110接收用户语音的输入（S12930）。
电子装置100确定通过语音输入单元110输入的用户语音是否和名称的被显示部分一致（S12940）。
如果存在其名称的一部分和通过语音输入单元110输入的用户语音一致的可执行图标（S12940-Y），则电子装置100执行该可执行图标（S12950）。
在上面的示范性实施例中，电子装置100执行可执行图标。但是，这仅仅是个例子，以及，如果电子装置100执行超链接，则也可以应用本公开的技术理念。
如上所述，通过只说出对应可执行图标的名称的一部分，可以执行应用程序或者超链接。
如果在动作任务模式中，通过动作输入单元120输入了第一用户动作和第二用户动作之一，则如果应用程序执行屏幕可放大或可缩小，控制单元140可以通过响应于第一用户动作和第二用户动作中被识别的一个放大或缩小应用程序执行屏幕来显示应用程序执行屏幕。
具体来说，如果动作开始命令在应用程序被执行时通过动作输入单元120输入，则控制单元140把电子装置100的模式改变到动作任务模式。如果第一用户动作和第二用户动作其中之一通过动作输入单元120输入，则控制单元140识别第一用户动作和第二用户动作中被输入的一个，并响应于识别的动作，放大或缩小应用程序执行屏幕。
第一用户动作可以是把双手分开的动作，以及，如果第一用户动作被识别，则控制单元140可以通过放大应用程序执行屏幕来显示应用程序执行屏幕。
第二用户动作可以是把双手彼此拉得更近的动作，以及，如果第二用户动作被识别，则控制单元140可以通过缩小应用程序执行屏幕来显示应用程序执行屏幕。
如果在动作任务模式中，第三用户动作通过动作输入单元120输入，则控制单元140可以识别第三用户动作，并通过响应于第三用户动作而移动应用程序显示屏幕来显示它。第三用户动作可以是在保持抓取动作的同时移动一只手的动作。应用程序执行屏幕可在电子装置100的显示屏幕内移动。
此后，将参考图130到图133说明被输入到网页的特殊手势。
如果网页被显示，并且动作开始命令通过动作输入单元120输入，则控制单元140可以在网页的下部显示动作辅助信息，如图130中所示。而且，如果电子装置100进入动作任务模式，则控制单元140在显示屏幕的中心显示指针13000。
如果动作辅助信息被显示，并且利用双手的动作开始命令通过动作输入单元120输入，则控制单元140进入利用双手的动作任务模式。
如果在利用双手的动作任务模式中，把双手分开的动作通过动作输入单元120输入，则控制单元140放大网页屏幕，如图131中所示。当网页屏幕被放大时，指针可被去除。
如果网页屏幕被放大，则控制单元140可以再次显示指针13000，如图132中所示。
如果指针13000被显示，并且抓住一只手并移动抓住的手的动作通过动作输入单元120输入，则控制单元140可以依据抓住一只手并移动抓住的手的动作移动显示屏幕。
例如，如果抓住一只手并沿向右方向移动抓住的手的动作通过动作输入单元120输入，则控制单元140可以沿向右方向移动显示屏幕，如图133中所示。
如上所述，利用用户动作，用户可以移动或者放大或者缩小电子装置100的显示屏幕。
图134是示出根据示范性实施例如果特殊手势被输入，电子装置100的控制方法的流程图。
电子装置100通过动作输入单元120接收动作开始命令（S13410）。
如果动作开始命令被输入，则电子装置100识别动作开始命令，并把电子装置100的模式改变到动作任务模式（S13420）。如果模式被改变到动作任务模式，则电子装置100显示指针和执行动作任务模式的动作辅助信息。
电子装置100依据用户操纵执行应用程序（S13430）。
电子装置100通过动作输入单元120接收特殊动作的输入（S13440）。特殊动作可以是利用双手来放大或缩小显示屏幕的动作，或者移动抓住的手以便移动显示屏幕的动作。
如果特殊动作被输入，则电子装置100执行对应于特殊动作的动作任务（S13450）。例如，如果将双手相互拉得更近的动作被输入，则电子装置100执行缩小显示屏幕的任务，以及，如果把双手分开的动作被输入，则电子装置100执行放大显示屏幕的任务。如果移动抓住的手的动作被输入，则电子装置100沿该动作的方向移动显示屏幕。
如上所述，用户能够利用用户动作移动或者放大或者缩小显示屏幕。
控制单元140可以通过电子装置100中所包括的语音输入单元110接收语音开始命令，并且也可以从与电子装置100通信的装置接收语音开始命令。
如果语音开始命令通过电子装置100中所包括的语音输入单元110输入则获取的语音识别被称为长距离语音识别。如果长距离语音识别被执行，则可以显示指示长距离语音识别的图标13510，如图135中所示。
具体来说，如果语音开始命令通过电子装置100中所包括的语音输入单元110输入，则控制单元140把电子装置100的模式改变到第一语音任务模式。第一语音任务模式是依据从电子装置100中所包括的语音输入单元110输入的用户语音执行语音任务的模式。如果模式被改变到第一语音任务模式，则控制单元140可以显示指示长距离语音识别的图标13510。
如果指示长距离语音识别的图标13510被显示，并且在预定的时间中用户语音未被输入到电子装置100中所包括的语音输入单元110，则控制单元140释放第一语音任务模式，并把电子装置100的模式改变到遥控模式，在遥控模式中，电子装置100受遥控器控制。
如果语音开始命令通过与电子装置100通信的装置输入则获取的语音识别被称为短距离语音识别。如果短距离语音识别被执行，则可以显示指示短距离语音识别的图标13610，如图136中所示。与电子装置100通信的装置可以是遥控器或者移动电话，但不限于此。该装置可以通过有线或者无线连接、经过网络等与电子装置100通信。该装置可以通过配对过程与电子装置100配对。
从与电子装置100通信的装置输入的语音开始命令可以是以下其中之一：对应于和电子装置100通信的装置中所包括的特定按钮（语音任务模式改变按钮）的信号，以及通过和电子装置100通信的装置中所包括的麦克风输入的特定用户语音。
如果语音开始命令被从与电子装置100通信的装置输入，则控制单元140把电子装置100的模式改变到第二语音任务模式。第二语音任务模式是依据通过和电子装置100通信的装置中所包括的麦克风输入的用户语音执行语音任务的模式。如果模式被改变到第二语音任务模式，则控制单元140可以显示指示短距离语音识别的图标13610。
如果指示短距离语音识别的图标被显示，并且在预定的时间中，用户语音未通过和电子装置100通信的装置中所包括的麦克风输入，则控制单元140释放第二语音任务模式，并把电子装置100的模式改变到遥控模式，在遥控模式中，电子装置100受遥控器控制。
图137是说明根据示范性实施例依赖于语音输入方法提供不同图标的电子装置100的控制方法的流程图。
电子装置100从电子装置100中所包括的麦克风和遥控器中所包括的麦克风其中之一接收语音开始命令（S13710）。如果语音开始命令被从电子装置100中所包括的麦克风输入，则电子装置100把电子装置100的模式改变到长距离语音任务模式。如果语音开始命令被从遥控器中所包括的麦克风输入，则电子装置100把电子装置100的模式改变到短距离语音任务模式。
依据从其输入语音开始命令的装置，电子装置100可以不同地显示图标（S13720）。具体来说，如果语音开始命令被从电子装置100中所包括的麦克风输入，则电子装置100显示指示长距离语音任务模式的图标，而如果语音开始命令被从遥控器中所包括的麦克风输入，则电子装置100显示指示短距离语音任务模式的图标。
如上所述，语音任务模式可依据语音开始命令被从其输入的装置划分，并且依据语音任务模式显示不同的图标，以使用户能够知道应该使用哪个装置来执行语音任务模式。
在执行过语音识别之后，控制单元140显示校正对应于识别的语音的文本的文本输入校正菜单（例如，输入法编辑器（input method editor，IME））以更精确地识别语音
例如，如果语音开始命令通过语音输入单元110输入，则控制单元140显示执行依据通过语音输入单元110输入的用户语音被控制的语音任务的语音辅助信息。
如果执行要求文本输入的任务的第一用户语音被输入，则控制单元140显示用于文本输入的文本输入窗口。要求文本输入的任务可以是网页浏览，但不限于此。
如果在文本输入窗口上输入文本的第二用户语音被输入，则控制单元140可以在文本输入窗口上显示对应于输入的第二用户语音的文本，并且可以显示文本输入菜单。
控制单元140在识别用户语音的同时显示前一屏幕，并且在识别用于在文本输入窗口上输入文本的第二用户语音之后，在文本输入窗口上显示文本。控制单元140可以显示文本输入菜单。
如果存在包括输入到文本输入窗口的文本的多个候选搜索词，则控制单元140通过将候选搜索词的列表与文本输入菜单重叠来显示候选搜索词的列表。
如果在文本输入窗口上的文本输入被完成，或者在文本输入窗口上的文本输入被取消，则控制单元140可以从显示屏幕去除文本输入窗口。
此后，将参考图138到图141说明根据示范性实施例用于显示文本输入菜单的方法。
如果在显示网页时，语音开始命令通过语音输入单元110输入，则控制单元140显示语音辅助信息，如图138中所示。
如果对应于“搜索”语音项目的用户语音（例如，“搜索”）通过语音输入单元110输入，则控制单元140显示文本输入窗口13910。
如果在文本输入窗口13910上输入文本的用户语音（例如，“三星电子”）被输入，则控制单元140识别用户语音，并在文本输入窗口13910上显示识别的用户语音。即，控制单元140在文本输入窗口13910中输入并显示“三星电子”，如图139中所示。
如果在文本输入窗口13910上输入“三星电子”，则控制单元140在文本输入窗口的一侧上显示文本输入菜单13920，如图140中所示。文本输入菜单是如果在文本输入窗口上输入的文本不正确则校正该文本的菜单。
如果存在多个包括在文本输入窗口13910上输入的“三星电子”的候选搜索词，则控制单元140显示候选搜索词的列表13930。例如，如果包括“三星电子”的候选搜索词包括“三星电子”、“三星电子股价”和“三星电子新闻”，则控制单元140显示候选搜索词的列表13930，如图141中所示。
图142是根据示范性实施例说明显示文本输入菜单（IME）的电子装置的控制方法的流程图。
电子装置100通过语音输入单元110接收语音开始命令（S14210）。电子装置100可以显示包括多个可执行图标的内容列表和包括多个超链接的网页。
如果语音开始命令被输入，则电子装置100把电子装置100的模式改变到语音任务模式，并显示执行语音任务模式的语音辅助信息（S14220）。
电子装置100通过语音输入单元110接收用于进行搜索的用户语音的输入（S14230）。
电子装置100显示文本输入窗口来进行搜索（S14240）。
如果文本输入窗口被显示，则电子装置100通过语音输入单元110接收用户语音的输入，以在文本输入窗口上输入文本（S14250）。
如果输入文本的用户语音被输入，则电子装置100在文本输入窗口上输入对应于输入的用户语音的文本（S14260）。
如果在文本输入窗口上输入了文本，则电子装置100显示文本输入菜单（S 14270）。文本输入菜单是如果语音识别不清楚则校正在文本输入窗口上输入的文本的菜单。
因此，如果输入到语音输入单元110的用户语音未被完美地识别，则用户能够利用文本输入菜单补充语音识别。
控制单元140可以利用外部装置识别语音。
具体来说，如果语音开始命令通过语音输入单元110输入，则控制单元140显示指导语音任务的语音辅助信息，所述语音任务依据通过和电子装置100通信的装置（例如，遥控器）输入的用户语音执行。如果和电子装置100通信的外部装置中所包括的第一语音输入按钮被选择，则控制单元140在语音辅助信息中显示指导语音搜索的第一指导消息。例如，可以显示指导消息“请按语音搜索按钮，然后输入语音”。
在外部装置中所包括的第二语音输入按钮被选择时，控制单元140识别通过语音输入单元110输入的用户语音。语音输入单元110接收输入到外部装置的麦克风的用户语音，并把用户语音传送到控制单元140。控制单元140在语音辅助信息中显示第二指导消息，所述第二指导消息包括指示通过语音输入单元110输入用户语音的信息。
控制单元140可以把识别的用户语音在文本输入窗口上输入为文本。控制单元140可以执行对应于识别的用户语音的语音任务。
如果第二语音输入按钮的选择被释放，则控制单元140可以在语音辅助信息中显示确认用户语音的输入是否完成的第三指导消息。第三指导消息可以包括询问是否继续输入用户语音的消息、询问输入的用户语音是否完成的消息、以及询问是否取消输入的用户语音的消息。
如果在第三指导消息被显示的同时，通过再次选择第二语音输入按钮输入用户语音，则除了先前识别的用户语音以外，控制单元140可以持续识别输入的用户语音。例如，如果先前识别的用户语音是“三星”，并且通过再次选择第二语音输入按钮输入了用户语音“电子”，则控制单元140可以在文本输入窗口上输入“三星电子”。
第一语音输入按钮是语音输入按钮，并且第二语音输入按钮是语音搜索按钮。第一语音输入按钮和第二语音输入按钮可以彼此不同，或者可以是同一按钮。
图143是根据示范性实施例说明用于利用外部装置执行语音任务的方法的流程图。
电子装置100显示执行语音任务模式的语音辅助信息（S14310）。
外部装置依据用户操纵，选择语音输入按钮（S14320）。
如果语音输入按钮被选择，则电子装置100显示第一指导消息（S14330）。第一指导消息是语音辅助信息中指导语音搜索的UI。
在外部装置上的语音搜索按钮被选择时，电子装置100通过语音输入单元110接收用户语音的输入（S14340）。语音输入单元110可以是从外部装置接收用户语音输入的通信单元。
电子装置100利用语音识别模块130k识别通过语音输入单元110输入的用户语音（S14350）。
在上面的示范性实施例中，语音输入按钮和语音搜索按钮可以是同一按钮。
如上所述，在外部装置上的语音搜索按钮被选择时输入语音，所以能够防止不期望的语音识别。
如果可说出的名称被显示在显示屏幕上，则控制单元140可以提取名称并将其有区别地进行显示。如果名称通过语音输入单元110输入，则控制单元140执行对应于该名称的语音任务。
具体来说，如果语音开始命令通过语音输入单元110输入，则控制单元140响应于输入的语音开始命令，把电子装置100的模式改变到执行语音任务的语音任务模式，并显示用于执行语音任务模式的语音辅助信息。
控制单元140从显示屏幕提取可选择项目的文本。显示屏幕可以显示包括多个用于执行应用程序的可执行图标的内容列表或网页。可选择项目可以是用于执行应用程序的内容列表中所包括的可执行图标和网页中所包括的超链接其中之一。
如果项目名称的文本具有超过预定数量的字符数，则控制单元140从项目名称的整个文本中只提取具有小于预定数量的字符数的文本，并显示该本文。
控制单元140可以把从其提取文本的项目与未从其提取文本的其他项目有区别地进行显示。
如果通过语音输入单元110输入的用户语音和提取的文本一致，则控制单元140执行对应于该文本的项目。
如果通过语音输入单元110输入的用户语音和具有小于预定数量的字符数的被提取文本一致，则控制单元140执行对应于具有小于预定数量的字符数的文本的项目。
此后，将参考图144和图145说明可说出命令被显示在显示屏幕上的情况。
控制单元140响应于通过语音输入单元110输入的语音开始命令，把电子装置100的模式改变到语音任务模式。控制单元140在显示屏幕的下部显示语音辅助信息。
如果“智能中心”通过语音输入单元110输入，则控制单元140产生包括多个用于执行应用程序的可执行图标的内容列表，并显示该内容列表，如图144中所示。
控制单元140提取所述多个可执行图标的名称。
如果可执行图标的名称被提取，则控制单元140给可执行图标的名称加下划线，如图144中所示，以及，如果可执行图标的名称（例如，APP10及APP11）未被提取，则控制单元140不给可执行图标的名称加下划线。
如果可执行图标的名称具有超过了预定数量的字符数，则控制单元140提取可执行图标的名称的一部分，并显示名称的这部分。例如，如果可执行图标的名称是“动人的鼓”，则控制单元140提取可执行图标的名称的一部分——“动人的”，并显示名称的这部分，如图144中所示。为了指示“动人的”是名称的一部分，控制单元140可以在“动人的”后显示“…”。
如果提取的可执行图标的名称被显示，并且可执行图标的名称通过语音输入单元110输入，则控制单元140执行可执行图标。例如，如果“动人的”通过语音输入单元110输入，则控制单元140执行应用程序“动人的鼓”，如图145中所示。
图146是根据示范性实施例说明如果可说出命令被显示在显示屏幕上，执行语音任务的方法的流程图。
电子装置100通过语音输入单元110接收语音开始命令（S14610）。
电子装置100响应于通过语音输入单元110输入的语音开始命令，把电子装置100的模式改变到语音任务模式（S14620）。
电子装置100在显示屏幕的下部显示执行语音任务模式的语音辅助信息（S14630）。
电子装置100提取显示屏幕中所包括的项目的文本（S14640）。所述项目可以是内容列表中所包括的可执行图标的名称，或者网页中所包括的超链接的文本。
电子装置100通过语音输入单元110接收用户语音的输入（S14650）。
如果存在具有和通过语音输入单元110输入的用户语音一致的文本的项目，则电子装置100执行对应的项目（S14660）。如果仅文本的一部分被显示，并且与文本的这部分一致的用户语音被输入，则控制单元140可以执行对应的项目。
如上所述，文本的名称被提取并有区别地进行显示，以利用户能够更容易地利用语音识别。
在用户语音通过语音输入单元110输入时，如果只存在一个具有包括输入的用户语音的文本的超链接，则控制单元140可以执行对应于该文本的超链接。
具体来说，如果语音开始命令通过语音输入单元110输入，则控制单元140响应于语音开始命令，把电子装置100的模式改变到语音任务模式，在语音任务模式中，依据通过语音输入单元110输入的用户语音控制电子装置100。
在语音任务模式中，控制单元140从包括多个超链接的网页提取所述多个超链接的文本。
在提取文本之后，控制单元140可以把被提取的文本与未被提取的文本有区别地进行显示。例如，控制单元140可以给被提取的文本加下划线，把其显示得浓重，或者将其突出显示。
在用户语音通过语音输入单元110输入时，如果只存在一个具有包括输入的用户语音的文本的超链接，则控制单元140可以执行对应于该文本的超链接。例如，如果通过语音输入单元110输入的用户语音是“三星电子”，并且从超链接提取的唯一文本是“三星电子”，则控制单元140执行具有文本“三星电子”的超链接。
在用户语音通过语音输入单元110输入时，如果只存在一个其文本与输入的用户语音部分一致而非全部一致的超链接，则控制单元140可以执行对应于该文本的超链接。
在上面的示范性实施例中，已描述了用于执行网页中所包括的超链接的方法。但是，这仅仅是个例子，以及，本公开的技术理念可被应用于执行内容列表中所包括的用于执行应用程序的可执行图标的方法。
图147是根据示范性实施例说明自动语音识别方法的流程图。
电子装置100通过语音输入单元110接收语音开始命令（S14710）。
电子装置100响应于通过语音输入单元110输入的语音开始命令，把电子装置100的模式改变到语音任务模式（S14720）。
如果超连接被包括在电子装置100的显示屏幕中，则电子装置100提取超链接的文本（S14730）。
电子装置100通过语音输入单元110接收用户语音的输入。如果在用户语音被输入时，存在一个包括与输入的用户语音一致的文本的超链接，则电子装置100执行对应的超链接（S14740）。与用户语音一致的文本可以是超链接的全部文本。但是，这仅仅是个例子，与用户语音一致的文本可以是超链接的文本的一部分。
如上所述，如果只存在一个与用户语音一致的文本，则对应的超链接可以被自动执行，以使用户能够利用语音识别更容易地执行超链接。
如果输入的用户语音被识别，并且存在多个具有和识别的用户语音一致的文本的超链接，则控制单元140显示包括具有和识别的用户语音一致的文本的超链接的候选项群的列表。
具体来说，如果语音开始命令通过语音输入单元110输入，则控制单元140响应于语音开始命令，把电子装置100的模式改变到语音任务模式，在语音任务模式中，依据通过语音输入单元110输入的用户语音控制电子装置100。
显示屏幕显示包括多个超链接的网页。
控制单元140提取网页中所包括的多个超链接中所包括的文本。控制单元140可以把被提取的文本与未被提取的文本有区别地进行显示。例如，控制单元140可以给提取的文本加下划线、把其显示得浓重，或者将其突出显示。
如果用户语音通过语音输入单元110输入，则控制单元140识别输入的用户语音，以及，如果存在多个具有和识别的用户语音一致的文本的超链接，则控制单元140显示包括具有和识别的用户语音一致的文本的超链接的候选项群的列表。例如，如果输入到语音输入单元110的用户语音是“三星电子”，则控制单元140可以产生包括具有包括“三星电子”的文本的超链接的候选项群列表。
如果通过语音输入单元110重新输入用户语音，则控制单元140可以识别重新输入的用户语音，并且可以基于重新输入的用户语音，改变候选项群的列表。例如，如果“三星电子”被识别，并且“股票”被重新输入，则控制单元140可以改变候选项群的列表，以便只包括具有包括“三星电子股票”的文本的超链接。
如果语音任务模式被释放，则控制单元140可以从显示屏幕去除候选项群的列表。
图148是根据示范性实施例说明显示候选项群的列表的方法的流程图。
电子装置100通过语音输入单元110接收语音开始命令（S14810）。
电子装置100响应于通过语音输入单元110输入的语音开始命令，把电子装置100的模式改变到语音任务模式（S14820）。
电子装置100根据用户操纵，在显示屏幕上显示网页（S14830）。网页包括多个超链接。
电子装置100提取网页中所包括的超链接的文本（S14840）。
电子装置100通过语音输入单元110接收用户语音的输入（S14850）。
电子装置100确定是否只存在一个具有和用户语音一致的文本的超链接（S14860）。
如果只存在一个具有和用户语音一致的文本的超链接（S14860-Y），则控制单元140执行对应的超链接（S14870）。
但是，如果存在多个具有和用户语音一致的文本的超链接（S14860-N），则控制单元140产生包括所述多个超链接的候选项群的列表，并显示候选项群的列表（S14880）。控制单元140根据用户操纵（例如，输入作为语音的超链接的文本）选择超链接（S14890），并执行被选择的超链接（S14870）。
如上所述，候选项群的列表被产生，从而即使存在多个与用户语音一致的超链接，用户也能够利用候选项群的列表，执行期望的超链接。
如果通过语音输入单元110输入的用户语音的水平低于预定的水平，则控制单元140可以在语音辅助信息的第一区域上显示指示用户语音不可识别的反馈UI。
具体来说，如果语音开始命令通过语音输入单元110输入，则控制单元140响应于语音开始命令，把电子装置100的模式改变到语音任务模式，在语音任务模式中，依据通过语音输入单元110输入的用户语音来控制电子装置100。
在语音任务模式中，控制单元140显示指导依据通过语音输入单元110输入的用户语音来执行的语音任务的语音辅助信息。可以在显示屏幕的下部显示语音辅助信息。
语音输入单元110接收用户语音的输入。
如果通过语音输入单元110输入的用户语音低于预定的音量，则控制单元140在语音辅助信息的第一区域上显示指示用户语音不可识别的反馈UI。反馈UI可以包括以条状形式表示预定的音量和通过语音输入单元110输入的用户语音的音量的GUI。第一区域可以位于语音辅助信息的下部。
而且，控制单元140可以在语音辅助信息中显示用户语音应该高于预定的音量的消息。例如，可以显示消息“请说得更大声”。
图149是根据示范性实施例说明指导语音识别错误的UI的流程图。
电子装置100通过语音输入单元110接收语音开始命令（S14910）。
电子装置100响应于通过语音输入单元110输入的语音开始命令，把电子装置100的模式改变到语音任务模式（S14920）.
电子装置100在显示屏幕的下部显示执行语音任务模式的语音辅助信息（S14930）。
电子装置100通过语音输入单元110接收用户语音的输入（S14940）。
如果通过语音输入单元110接收用户语音的水平低于预定的水平，则电子装置100显示反馈UI（S14950）。反馈UI可以是包括因为用户语音的水平低于预定的水平导致用户语音无法识别的消息、以及用户应该说得更大声的消息的UI。
如上所述，如果用户语音如此之小以至于语音无法识别，则电子装置100通知语音无法识别，以使用户能够容易知道语音无法识别，因此能够容易地解决它。
如上所述，通过用户语音和用户动作其中之一，用户能够更有效并且直观地控制电子装置100。
在上面的示范性实施例中，用户动作被描述（例如用户动作，动作开始命令，其被设置为水平地摇摆一只手3到4次的动作）。但是，这些示范性实施例不应该被理解为限制，因为示范性实施例可通过任何用户动作来实现。
在上面的示范性实施例中，用户语音命令被描述。但是，这些示范性实施例不应该被理解为限制，因为示范性实施例可通过任何用户语音输入来实现。
在上面的示范性实施例中，语音输入单元110可以由直接接收用户语音的输入的麦克风实现，或者由接收输入到麦克风的语音信号的接口实现。类似地，动作输入单元120可以由直接拍摄用户的摄像机实现，或者可以由接收摄像机拍摄的数据的接口实现。
上面描述的电子装置100可以由TV实现。但是，这不应该被视为限制，并且电子装置100可以由各种装置实现，例如机顶盒、PC、膝上型计算机、平板PC、电子相册、电子书、PDA、移动电话，等等。
而且，参考图3，各种软件模块被存储在存储单元130中。但是，软件模块不一定被存储在一个存储单元130中。
即，语音识别模块和动作识别模块可以被分别存储在单独的存储单元中。因此，语音识别模块可以从自麦克风输入的语音信号识别用户语音，并且可以把识别结果提供给控制单元140。而且，动作识别模块可以利用由摄像机拍摄的影像信号识别用户动作，并且可以把识别结果提供给控制单元140。
而且，语音识别模块和动作识别模块可以分别被存储在单独的外部装置中。例如，包括麦克风的语音识别装置可以利用语音识别模块识别用户语音，然后可以把识别结果提供给电子装置100。类似地，包括摄像机的动作识别装置可以利用动作识别模块识别用户动作，然后可以把识别结果提供给电子装置100。
执行上述控制方法的程序代码可以被存储在各种类型的记录介质中。具体来说，程序代码可被存储在可被终端装置读取的各种类型的记录介质中，例如随机访问存储器（RAM）、快闪存储器、只读存储器（ROM）、可擦除可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）、寄存器、硬盘、可移动盘、存储器卡、USB存储器、CD-ROM，等等。
前述示范性实施例和益处仅仅是示范性的，不应理解为限制本发明概念。示范性实施例容易被应用于其他类型的装置。而且，示范性实施例的描述旨在是说明性的，而非限制权利要求的范围，而且本领域技术人员将会清楚很多替代方案、修改和变化。

Claims (8)

1.一种用于控制电子装置的方法，所述方法包括：
提供多个内容，所述多个内容中的每一个分别包括至少一个内容标识符；
分别通过语音识别模块和动作识别模块其中之一识别用户语音和用户动作其中之一；
响应于通过语音识别模块识别的用户语音，执行所述多个内容中具有对应于用户语音的内容标识符的内容；和
响应于通过动作识别模块识别的用户动作，依据用户动作的方向，改变执行的内容。
2.如权利要求1所述的方法，其中，所述多个内容包括广播内容，
其中，所述执行包括把当前广播频道改变到具有对应于识别的用户语音的广播频道标识符的广播频道；并且
其中，所述改变包括依据用户动作的方向改变广播频道。
3.如权利要求2所述的方法，其中，频道标识符包括频道号码、频道名称和节目名称中的至少一个。
4.如权利要求2所述的方法，其中，用户动作包括拍击动作，
其中，改变广播频道包括响应于包括沿向上方向的拍击动作的用户动作，把广播频道增大预定的数，以及响应于包括沿向下方向的拍击动作的用户动作，把广播频道减小预定的数。
5.如权利要求1所述的方法，其中，内容是影像内容、音乐内容、网页内容和照片内容其中之一。
6.如权利要求5所述的方法，其中，内容标识符是内容的名称。
7.如权利要求5所述的方法，其中，用户动作包括拍击动作，
其中，所述改变包括：响应于包括沿向右方向的拍击动作的用户动作，把当前内容改变到包括多个内容的内容列表上的下一内容，以及响应于包括沿向左方向的拍击动作的用户动作，把当前内容改变到内容列表上的前一内容。
8.一种电子装置，包括：
语音输入单元，其接收用户语音的输入；
动作输入单元，其接收用户动作的输入；和
影像输出单元，其输出多个内容的影像，所述多个内容中的每一个具有内容标识符；
控制单元，其：
识别用户语音和用户动作，
执行具有对应于识别的用户语音的内容标识符的内容，并且
响应于识别的用户动作的方向，改变执行的内容。
CN2012104422075A 2011-11-07 2012-11-07 电子装置及其控制方法 Pending CN103092337A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110115249A KR20130018464A (ko) 2011-08-05 2011-11-07 전자 장치 및 그의 제어 방법
KR10-2011-0115249 2011-11-07

Publications (1)

Publication Number Publication Date
CN103092337A true CN103092337A (zh) 2013-05-08

Family

ID=47351418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012104422075A Pending CN103092337A (zh) 2011-11-07 2012-11-07 电子装置及其控制方法

Country Status (7)

Country Link
US (1) US20130033644A1 (zh)
EP (1) EP2590424A3 (zh)
JP (1) JP2014532933A (zh)
CN (1) CN103092337A (zh)
AU (1) AU2012336602A1 (zh)
MX (1) MX2014001447A (zh)
WO (1) WO2013069936A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105704293A (zh) * 2014-11-26 2016-06-22 阿里巴巴集团控股有限公司 短信发送者信息的显示方法和装置
CN107105173A (zh) * 2017-04-24 2017-08-29 武汉折叠空间科技有限公司 一种互动型自助视频制作方法
CN107300976A (zh) * 2017-08-11 2017-10-27 五邑大学 一种手势识别家庭影院系统及其运作方法
CN108469937A (zh) * 2014-03-26 2018-08-31 联想(北京)有限公司 一种信息处理方法及电子设备
CN109727596A (zh) * 2019-01-04 2019-05-07 北京市第一〇一中学 控制遥控器的方法和遥控器
CN110134466A (zh) * 2018-02-02 2019-08-16 北京三星通信技术研究有限公司 信息处理方法和终端设备
WO2022037040A1 (zh) * 2020-08-19 2022-02-24 海信视像科技股份有限公司 接收装置以及非易失性存储介质
CN110134466B (zh) * 2018-02-02 2024-05-28 北京三星通信技术研究有限公司 信息处理方法和终端设备

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140085061A (ko) * 2012-12-27 2014-07-07 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR20140087717A (ko) * 2012-12-31 2014-07-09 삼성전자주식회사 디스플레이 장치 및 제어 방법
JP2014164630A (ja) * 2013-02-27 2014-09-08 Sony Corp 情報処理装置、情報処理方法およびプログラム
WO2014149700A1 (en) * 2013-03-15 2014-09-25 Intel Corporation System and method for assigning voice and gesture command areas
US8938760B1 (en) * 2013-08-01 2015-01-20 Browan Communications Inc. Television box and method for controlling display to display audio/video information
KR102357321B1 (ko) 2014-08-27 2022-02-03 삼성전자주식회사 음성 인식이 가능한 디스플레이 장치 및 방법
JP2016095614A (ja) * 2014-11-13 2016-05-26 ソフトバンク株式会社 表示制御装置及びプログラム
KR20170082361A (ko) * 2016-01-06 2017-07-14 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR102660511B1 (ko) * 2017-02-10 2024-04-24 삼성전자주식회사 디스플레이 장치 및 방법
EP3401797A1 (en) 2017-05-12 2018-11-14 Samsung Electronics Co., Ltd. Speech navigation for multilingual web pages
US11024305B2 (en) * 2017-08-07 2021-06-01 Dolbey & Company, Inc. Systems and methods for using image searching with voice recognition commands
CN112533041A (zh) 2019-09-19 2021-03-19 百度在线网络技术（北京）有限公司 视频播放方法、装置、电子设备和可读存储介质
CN112581946A (zh) * 2019-09-29 2021-03-30 百度在线网络技术（北京）有限公司 语音控制方法、装置、电子设备和可读存储介质
TWI724722B (zh) * 2019-12-31 2021-04-11 技嘉科技股份有限公司 電子裝置及螢幕上顯示介面的顯示方法
KR102318660B1 (ko) * 2020-02-28 2021-10-28 (주)재플 방송 수신 장치와 그의 동영상 재핑 광고 제공 방법 및 동영상 재핑 광고 제공 시스템
JP2021162969A (ja) * 2020-03-31 2021-10-11 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2555536A1 (en) * 2011-08-05 2013-02-06 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
EP2555538A1 (en) * 2011-08-05 2013-02-06 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7996232B2 (en) * 2001-12-03 2011-08-09 Rodriguez Arturo A Recognition of voice-activated commands
US7821541B2 (en) * 2002-04-05 2010-10-26 Bruno Delean Remote control apparatus using gesture recognition
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20050132420A1 (en) * 2003-12-11 2005-06-16 Quadrock Communications, Inc System and method for interaction with television content
TWI253298B (en) * 2004-02-09 2006-04-11 Delta Electronics Inc Video device with voice-assisted system
US8869200B2 (en) * 2006-02-14 2014-10-21 At&T Intellectual Property I, L.P. Selection list of thumbnails
KR100948600B1 (ko) * 2006-12-04 2010-03-24 한국전자통신연구원 제스처/음성 융합 인식 시스템 및 방법
US8209723B2 (en) * 2007-10-16 2012-06-26 Panasonic Corporation Broadcast receiving apparatus, and method and program for broadcast reception
JP2010072507A (ja) * 2008-09-22 2010-04-02 Toshiba Corp 音声認識検索装置及び音声認識検索方法
US20100153996A1 (en) * 2008-12-17 2010-06-17 Migos Charles J Gesture based electronic program management system
JP5177075B2 (ja) * 2009-02-12 2013-04-03 ソニー株式会社 動作認識装置、動作認識方法、プログラム
KR101046022B1 (ko) * 2009-03-11 2011-07-01 삼성전기주식회사 인체 움직임 및 인간 음성을 이용한 원격 조정 장치
US20100306716A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Extending standard gestures
US11012732B2 (en) * 2009-06-25 2021-05-18 DISH Technologies L.L.C. Voice enabled media presentation systems and methods
US8428368B2 (en) * 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
TW201106701A (en) * 2009-08-14 2011-02-16 Novatek Microelectronics Corp Device and method of voice control and related display device
US8432305B2 (en) * 2009-09-03 2013-04-30 Samsung Electronics Co., Ltd. Electronic apparatus, control method thereof, remote control apparatus, and control method thereof
KR101602461B1 (ko) * 2009-09-22 2016-03-15 삼성전자주식회사 디스플레이 장치 및 휴대폰의 제어방법
JP5473520B2 (ja) * 2009-10-06 2014-04-16 キヤノン株式会社 入力装置及びその制御方法
KR101623007B1 (ko) * 2009-11-11 2016-05-20 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
KR101086699B1 (ko) * 2010-02-04 2011-11-24 성균관대학교산학협력단 사용자 선호도 기반 이미지 관리장치 및 이미지 관리방법
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US20110219340A1 (en) * 2010-03-03 2011-09-08 Pathangay Vinod System and method for point, select and transfer hand gesture based user interface
JP2011209786A (ja) * 2010-03-29 2011-10-20 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP5625506B2 (ja) * 2010-06-04 2014-11-19 ソニー株式会社 操作端末装置、電子機器、および電子機器システム
US8296151B2 (en) * 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
EP2421251A1 (en) * 2010-08-17 2012-02-22 LG Electronics Display device and control method thereof
US9304592B2 (en) * 2010-11-12 2016-04-05 At&T Intellectual Property I, L.P. Electronic device control based on gestures
US20120239396A1 (en) * 2011-03-15 2012-09-20 At&T Intellectual Property I, L.P. Multimodal remote control
US20120260290A1 (en) * 2011-04-07 2012-10-11 Sony Corporation User interface for audio video display device such as tv
US8923686B2 (en) * 2011-05-20 2014-12-30 Echostar Technologies L.L.C. Dynamically configurable 3D display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2555536A1 (en) * 2011-08-05 2013-02-06 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
EP2555538A1 (en) * 2011-08-05 2013-02-06 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
EP2986014A1 (en) * 2011-08-05 2016-02-17 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108469937A (zh) * 2014-03-26 2018-08-31 联想(北京)有限公司 一种信息处理方法及电子设备
CN108469937B (zh) * 2014-03-26 2020-11-20 联想(北京)有限公司 一种信息处理方法及电子设备
CN105704293A (zh) * 2014-11-26 2016-06-22 阿里巴巴集团控股有限公司 短信发送者信息的显示方法和装置
CN107105173A (zh) * 2017-04-24 2017-08-29 武汉折叠空间科技有限公司 一种互动型自助视频制作方法
CN107300976A (zh) * 2017-08-11 2017-10-27 五邑大学 一种手势识别家庭影院系统及其运作方法
CN110134466A (zh) * 2018-02-02 2019-08-16 北京三星通信技术研究有限公司 信息处理方法和终端设备
CN110134466B (zh) * 2018-02-02 2024-05-28 北京三星通信技术研究有限公司 信息处理方法和终端设备
CN109727596A (zh) * 2019-01-04 2019-05-07 北京市第一〇一中学 控制遥控器的方法和遥控器
CN109727596B (zh) * 2019-01-04 2020-03-17 北京市第一〇一中学 控制遥控器的方法和遥控器
WO2022037040A1 (zh) * 2020-08-19 2022-02-24 海信视像科技股份有限公司 接收装置以及非易失性存储介质
CN114450968A (zh) * 2020-08-19 2022-05-06 海信视像科技股份有限公司 接收装置以及非易失性存储介质

Also Published As

Publication number Publication date
EP2590424A3 (en) 2015-03-11
JP2014532933A (ja) 2014-12-08
MX2014001447A (es) 2014-02-27
EP2590424A2 (en) 2013-05-08
US20130033644A1 (en) 2013-02-07
WO2013069936A1 (en) 2013-05-16
AU2012336602A1 (en) 2014-01-09

Similar Documents

Publication Publication Date Title
CN103092337A (zh) 电子装置及其控制方法
US9733895B2 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
JP6111030B2 (ja) 電子装置及びその制御方法
JP5746111B2 (ja) 電子装置及びその制御方法
CN103150011A (zh) 控制电子设备的方法和应用该方法的电子设备
US20130035941A1 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130508

WD01 Invention patent application deemed withdrawn after publication