CN108668153B - 智能控制设备及其控制方法 - Google Patents

智能控制设备及其控制方法 Download PDF

Info

Publication number
CN108668153B
CN108668153B CN201810048141.9A CN201810048141A CN108668153B CN 108668153 B CN108668153 B CN 108668153B CN 201810048141 A CN201810048141 A CN 201810048141A CN 108668153 B CN108668153 B CN 108668153B
Authority
CN
China
Prior art keywords
display device
control device
command
input
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810048141.9A
Other languages
English (en)
Other versions
CN108668153A (zh
Inventor
丁奎赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN108668153A publication Critical patent/CN108668153A/zh
Application granted granted Critical
Publication of CN108668153B publication Critical patent/CN108668153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3228—Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42225—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details characterized by types of remote control, e.g. universal remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings

Abstract

本说明书涉及能够利用用于语音识别的机器学习的智能控制设备及其控制方法。根据本发明的智能控制设备包括：接收器，该接收器被配置成接收包括命令触发的输入；和控制器，该控制器被配置成检测一个或多个外部显示设备，选择检测到的一个或多个外部显示设备中的显示设备，使所选择的显示设备的电源状态变为第一状态，并且使与在命令触发之后接收到的第一命令数据相对应的响应数据在所选择的显示设备的显示器上被输出。

Description

智能控制设备及其控制方法
技术领域
本发明涉及一种根据使用机器学习识别的语音处理数据的音频设备及其控制方法。
背景技术
一般而言，终端能够根据移动性的存在或不存在被分类为移动终端和固定终端。并且，根据手持设备的能力，移动终端可以被进一步分类为手持式终端和车载式终端。
最近，移动终端的功能趋向于多样化。例如，多样化的功能可以包括数据和音频通信、通过相机拍摄和记录视频、音频记录、通过扬声器系统的音乐回放、通过显示单元输出图像或视频等。规定的终端可以进一步配备有电子游戏功能或执行多媒体播放器功能。具体地，移动终端也能够接收用于提供诸如广播、视频、电视节目等的可视内容的多播信号。
随着终端的功能日益多样化，终端趋向于被实现为设置有诸如照片或视频的拍摄、音乐或视频文件的回放、玩游戏、广播接收等的复杂功能的多媒体播放器。
为了支持和增加终端功能，考虑终端的结构部分和/或软件部分的改进。
近来，已经开发了能够执行语音识别的音频设备。音频设备可以配备有扬声器系统并且能够识别语音输入以及执行语音相关的操作。音频系统还可以通过与能够与音频系统进行通信的家用电器进行通信来控制家用电器。因此，用户能够经由输入到音频设备的语音方便地执行家用电器的各种功能。
然而，因为音频设备仅根据音频数据的输入和输出操作，所以存在充分地应对用户的各种需求或意图的问题。
发明内容
因此，本发明针对一种解决由于相关技术的限制和缺点而造成的一个或多个问题的装置和方法。本发明的目的是为了提供一种智能控制设备，其能够识别输入信号，分析识别的输入信号，并执行与输入信号对应的操作。
本发明的另一个目的是为了提供一种智能控制设备，尽管输入信号不限于语音并且输出信号不是音频信号，但该智能控制设备还是能够容易且快速地处理输入信号。
本发明的另一个目的是为了提供一种智能控制设备，该智能控制设备能够使用与智能控制设备相邻的不同设备的显示器通过基于诸如说话者的状态的事件等向说话者提供自适应响应来满足说话者(用户)的意图并且增强便利性。
从本发明可获得的技术任务不限于上述技术任务。并且，本发明所属的技术领域的普通技术人员根据以下描述能够清楚地理解其他未提及的技术任务。
在本说明书中公开能够执行语音识别的智能控制设备及其控制方法。
为了实现这些目的和其他优点并且根据本发明的用途，如在此具体化和广泛描述的，根据一个实施例，一种智能控制设备包括：接收器，该接收器被配置成接收包括命令触发的输入；和控制器，该控制器被配置成检测一个或多个外部显示设备；选择检测到的一个或多个外部显示设备中的显示设备；使所选择的显示设备的电源状态改变为第一状态；并且使与在命令触发之后接收到的第一命令数据相对应的响应数据在所选择的显示设备的显示器上被输出。为了进一步实现这些目的和其它优点并且根据本发明的用途，如在此具体化和广泛地描述的，根据不同的实施例，一种控制智能控制设备的方法包括：接收包括命令触发的输入；检测一个或多个外部显示设备；选择检测到的一个或多个外部显示设备中的显示设备；将所选择的显示设备的电源状态改变为第一状态；并且在所述选择的显示设备的显示器上输出与在命令触发之后接收到的第一命令数据相对应的响应数据。
提供一种用于控制智能控制设备的计算机可读介质。计算机可读介质可以包括计算机可执行代码。该计算机可读介质可以包括用于执行以下功能的代码：接收包括命令触发的输入；检测接收到的输入的来源的位置；基于检测到的位置来检测一个或多个外部显示设备；从检测到的一个或多个外部显示设备中选择显示设备；发送控制命令以将所选择的显示设备的电源状态改变为待机状态；生成对应于在命令触发之后接收到的命令数据的响应数据；以及当确定所生成的响应数据被要求在显示器上显示时，发送用于将所选择的显示设备的电源状态切换到开机状态的控制命令并且经由所选择的显示设备的显示器显示所生成的响应数据。
从本发明可获得的技术方案不限于上述技术方案。并且，本发明所属的技术领域的普通技术人员根据以下描述能够清楚地理解其他未提及的技术方案。
根据本公开的各种实施例中的至少一个，能够通过识别输入信号并分析识别的输入信号来处理输入信号。
根据本公开的各种实施例中的至少一个，尽管输入信号不限于语音并且输出信号不是音频信号，但其能够容易且快速地处理输入信号。
根据本公开的各种实施例中的至少一个，能够通过使用不同相邻设备的显示器基于诸如说话者的状态等等的事件向说话者提供自适应响应来满足说话者(用户)的意图并增强便利性。
从本公开可获得的效果可以不受上述效果限制。并且，本发明所属的技术领域的普通技术人员根据以下描述能够清楚地理解其他未提及的效果。
附图说明
被包括以提供对本发明的进一步理解并且被并入且组成本申请的一部分的附图，图示本发明的实施例并且与说明书一起用于解释本发明的原理。
图1是根据本公开的实施例的包括智能控制设备的数字系统的示意图；
图2是根据本公开的一个实施例的智能控制设备的框图；
图3是用于说明根据本公开的一个实施例的智能控制设备的外观的图；
图4A是根据本公开的一个实施例的数字电视的配置的框图；
图4B是根据本公开的不同实施例的数字电视的配置的框图；
图5是根据本公开的一个实施例的移动终端的配置的框图；
图6A是语音识别功能的执行状态的概念图；
图6B是执行语音识别功能的方法的流程图；
图7是用于说明根据本公开的实施例的处理智能控制设备的数据的方法的流程图；
图8是用于说明根据本公开的一个实施例的处理智能控制设备的数据的方法的流程图；
图9是用于说明根据本公开的一个实施例的控制智能控制设备的显示设备的方法的图；
图10是用于说明根据本公开的不同实施例的输出智能控制设备的数据的方法的流程图；
图11、12、13和14是用于说明根据本公开的使用智能控制设备的各种场景的图；
图15是用于说明根据本公开的又一实施例的输出智能控制设备的数据的方法的流程图；
图16是用于说明根据本公开的包括智能控制设备的图像信息的场景的图；
图17是用于说明根据本公开的又一实施例的输出智能控制设备的数据的方法的流程图；
图18是用于说明根据本公开的包括智能控制设备的图像信息的场景的图。
具体实施方式
现在将参照附图根据在此公开的示例性实施例进行详细描述。为了参照附图进行简要描述，相同或者等效的组件可以被提供有相同的附图标记，并且其描述将不被重复。通常，可以使用诸如“模块”和“单元”的后缀来指代元件或组件。这里使用这样的后缀仅旨在有助于说明书的描述，并且后缀本身不旨在赋予任何特殊的含义或功能。在本公开中，为了简洁起见，通常省略相关领域中的普通技术人员所公知的内容。附图用于帮助理解各种技术特征，并且应该理解的是，在此提出的实施例不受附图的限制。这样，本公开应该被解释为扩展到除了在附图中特别说明的那些之外的任何变更、等同物和替代物。
应该理解，虽然这里可以使用术语第一、第二等来描述各种元件，但是这些元件不应该被这些术语限制。这些术语通常只用于区分一个元件与另一元件。
将会理解的是，当元件被称为与另一元件“连接”时，该元件能够与另一元件连接，或者也可以存在中间元件。相比之下，当元件被称为被“直接地连接”另一元件时，不存在中间元件。
单数表示可以包括复数表示，除非其表示与上下文明显不同的含义。
诸如“包括”或“具有”的术语在此被使用并且应被理解为它们旨在指示在说明书中公开的若干组件、功能或步骤的存在，并且还要理解，更多或更少组件、功能或步骤可以同样被利用。
这里描述的诸如智能控制设备的这样的术语对应于包括所有具备如下特征的设备的术语：该设备被配置成基于包括语音、文本、图像、运动等的各种输入，通过将数据发送到被连接或者能够被连接的至少一个或多个设备来执行输出操作或规定的操作。智能控制设备可以对应于配备有人工智能(在下文中，AI)功能和/或语音识别功能的所有电子设备。例如，被配置成通过根据用户输入的语音命令向规定设备发送控制命令来控制规定设备的操作的音频设备也能够被包括在智能控制设备中。为了理解本发明和清楚起见，通过被配备有AI功能的音频设备(智能扬声器)和能够识别语音的音频设备为例解释本说明书，本发明可以不受此限制。
图1是根据本发明的包括智能控制设备的数字系统的示意图。
为了清楚起见，图1示出包括各种设备的数字系统的示例，所述各种设备包括经由家庭网络被连接或能够经由家庭网络被连接的智能控制设备110。智能控制设备110能够经由短距离或长距离有线/无线通信与至少一个或多个外部设备执行数据通信以基于数据通信控制至少一个或多个外部设备。例如，智能控制设备110能够执行图1所示的数字系统中的控制器的功能。同时，如图1中所示，智能控制设备110能够执行与外部服务器190的数据通信。在这种情况下，数据通信不仅能够与智能控制设备110一起执行，而且能够与不同设备一起被执行。在这种情况下，智能控制设备110能够经由不同的设备间接地执行与外部服务器190的数据通信。能够基于诸如WiFi(无线保真)、蓝牙(BluetoothTM)、Z波、红外通信、紫蜂、RS等的通信协议执行与图1中所示的外部服务器或数字系统执行的数据通信。本发明不限于前述通信协议。同时，数据通信能够在设备之间直接执行，或者能够经由诸如中继器、盲区补发器等等的设备被间接地执行。
为了清楚起见，图1示出包括在数字系统中的智能控制设备110和其他设备120、130、140、150、160属于同一网络的示例。然而，不强制智能控制设备110和其他设备属于同一网络。同时，参考图1，诸如数字电视机120、智能电话130、电子或机器人清洁器140、冰箱150、洗衣机160等的电子设备被图示为其他设备。然而，本发明不受上述电子设备的限制。
与此相关，作为根据本发明的控制外部设备的示例，智能控制设备110能够开启空调的电源或者控制空调的温度。具体地，智能控制设备110能够发挥被配置成控制IoT(物联网)环境中的外部设备的控制器的作用。
图2是智能控制设备的框图，图3是用于说明根据本发明的一个实施例的智能控制设备的外观的图。
根据本发明的一个实施例，智能控制设备包括：信号接收单元，该信号接收单元被配置成接收包括命令触发和第一命令数据的输入信号；和控制器，该控制器被配置成在接收到命令触发时检测并选择显示设备。控制器还可以被配置成响应第一命令数据控制将所选择的显示设备的电源状态的显示改变为第一状态，以及控制在被切换到第一状态的显示设备的显示器上输出响应数据。
智能控制设备110可以包括信号接收单元210、控制器220、信号处理单元230、存储器240、信号输出单元250等。在这种情况下，控制器220能够包括识别单元222、AI处理单元224等。在一些实施例中，识别单元222和AI处理单元224能够被配置成与控制器220分开，或者它们可以以单个配置被实现。此外，识别单元222和AI处理单元224可以在一些实施例中一起单独地实现，而在其它实施例中，如下面所讨论的以及例如在图2中描述的，它们可以被分开配置。
在实施例中，信号接收单元210可以经由终端(未被描述)的麦克风接收用户的语音命令。在这种情况下，例如，能够将语音命令划分成诸如“爱丽丝(Alice)”的启动信号和除了启动信号之外的诸如命令、请求等的操作信号。在此讨论中，启动信号能够被不同地称为启动数据、语音命令触发信号、命令触发、语音命令触发数据、触发信号、触发数据等。为了清楚起见，起始信号通常被称为“命令触发”。除非特别提及，否则术语信号和数据可以被理解为指代相同的信息。
同时，除命令触发之外的输入信号的数据被称为命令数据。例如，命令数据对应于说话者(用户)所说的实际命令。信号接收单元210被配置成将所接收的语音命令发送到控制器220。在这种情况下，命令触发能够从发送的语音命令中排除。在一些情况下，当命令触发未被用户输入时，信号接收单元210可以忽略任何接收到的信号，或者可以不将该信号发送到控制器220。虽然涉及语音命令的实施例被讨论，但是本公开不限于此。具体地，信号接收单元210可以接收包括文本、运动、触摸等的各种信号。为此，信号接收单元能够包括一个接口。
如在前面的描述中所提及的，控制器220的实施例可以包括识别单元222、AI处理单元224等。识别单元222可以根据输入信号的格式识别包括在从信号接收单元210接收到的输入信号中的命令触发和命令数据。例如，如果经由信号接收单元210接收到的输入信号是语音输入，则识别单元222使用诸如语音识别功能、工具、模块、引擎等的硬件或软件来识别输入信号。在这种情况下，识别单元222基于STT(声音到文本)(在一些情况下，TTS(文本到声音))将语音输入信号转换为文本格式，并将文本格式提供给AI处理单元224以分析输入信号。AI处理单元224分析由识别单元222提供的输入信号数据。例如，如果接收到的输入信号中包括命令触发，则识别单元222或AI处理单元224能够根据具有命令触发的命令数据输入检测、选择和控制关联的显示设备。AI处理单元224可以分析由识别单元222识别的输入信号并生成响应数据。在前面的描述中，例如，AI处理单元224或控制器220可以被配置成确定输入信号是否有效，确定触发或命令数据的属性，确定触发或命令数据的类型等等。
AI处理单元可以包括被配置成执行机器学习、信息推理、信息感知、自然语言处理等的一个或多个模块。
AI处理单元224可以使用机器学习技术执行机器学习、推理，以及诸如存储在诸如存储器240的智能控制设备110中的信息、关于智能控制设备110的周围环境的信息、存储在能够执行通信的外部存储器中的信息等的大量信息(大数据)的处理。AI处理单元224可以基于通过机器学习习得的信息来预测至少一个或多个终端的可执行操作，并且能够控制终端执行预测的操作当中的被确定为最合适的操作。
机器学习可以包括基于至少一个或多个算法来收集和学习大量的信息，并且基于学习的信息来确定和预测信息。机器学习可以对应于基于该信息识别特征、规则、标准等等，量化信息之间的关系并且使用量化模式预测新数据的操作。
机器学习技术使用的算法可以基于统计。例如，算法可以包括使用树结构作为预测模型的决策树、模仿生物的神经网络结构和功能的神经网络、基于生物的进化算法的遗传规划、用于通过诸如簇的子集来分配被检查的示例的聚类、经由随机选择的随机数以概率计算函数值的蒙特卡罗方法等。
作为机器学习技术的一个分支，深度学习技术对应于使用人工神经网络算法执行学习、确定或处理信息的技术。人工神经网络将层彼此连接，并且可以具有在层之间转发数据的结构。深度学习技术能够使用为并行算法优化的GPU(图形处理单元)经由人工神经网络来学习大量的信息。
同时，为了收集应用机器学习技术的大量信息，AI处理单元224能收集(感测、监视、提取、检测、接收)被输入到智能控制设备110的配置元件/从智能控制设备110的配置元件输出的信号、数据、信息等。并且，AI处理单元224能够收集(感测、监视、提取、检测、接收)存储在经由通信与AI处理单元连接的外部存储器(例如，云端服务器)，或者存储在诸如存储器240的本地存储器中的数据、信息等等。更具体地说，信息收集可以包括下述操作：通过传感器感测信息，从存储器240提取信息，或经由通信从外部存储器接收信息。
在一些实施例中，AI处理单元224能够感测存储在智能控制设备110中的信息、关于智能控制设备110周围的环境的信息或者通过传感器(未被描绘)接收的用户信息。而且，AI处理单元224能够经由无线电通信单元(未被描绘)接收广播信号和/或广播相关信息、无线电信号、无线电数据等。并且，AI处理单元224能够接收视频信息(或信号)、音频信息(或信号)、数据或由用户从输入单元输入的信息。
AI处理单元224可以实时地在背景中收集大量信息，基于收集的信息执行学习或训练，并且以适当的形式(例如，知识图、命令策略、个性化数据库、会话引擎等)处理信息的方式将信息存储在存储器240中。
如果基于使用机器学习技术学习的信息来预测终端的操作，则AI处理单元224可以控制终端的配置元件或者将用于执行预测的操作的控制命令递送给控制器220以执行预测的操作。
同时，如果执行特定操作，则AI处理单元224经由机器学习技术分析指示特定操作的性能的历史信息，并且能够基于分析的信息更新先前学习的信息。通过这样做，AI处理单元224能够增强信息预测的准确性。
在一些实施例中，识别单元222和/或AI处理单元224和控制器220能够在相同的配置元件中实现。在这种情况下，由本说明书中描述的控制器220执行的功能能够被表达为由识别单元222和/或AI处理单元224执行，反之亦然。
相反，在其他实施例中，识别单元222和/或AI处理单元224和/或控制器220可以被实现为单独的配置元件。在这种情况下，识别单元222和/或AI处理单元224可以与控制器220交换数据以在智能控制设备110中执行各种控制。控制器220能够基于由AI处理单元224确定的结果执行终端中的至少一个或多个功能或者控制控制终端的至少一个或者多个配置元件。此外，AI处理单元224可以在控制器220的控制下操作。
存储器240可以存储分析接收的信息和处理该信息所必需的数据。存储器240存储支持智能控制设备110的各种功能的数据。存储器240能够存储在智能控制设备110处运行的多个应用程序(应用)、用于智能控制设备110的操作的数据、命令、用于AI处理单元224的操作的数据(例如，包括机器学习数据)等。应用可以经由有线或无线通信从外部服务器下载。同时，应用可以被存储在存储器240中并被安装在智能控制设备110处，以使得控制器220能够执行智能控制设备110的操作或功能。
信号处理单元230根据控制器220的控制生成信号。例如，生成的信号可以包括前述的控制命令。此外，信号处理单元230能够处理智能控制设备110所必需的各种数据。
信号输出单元250根据规定的输出方案将由信号处理单元230处理的信号发送到内部或外部设备。在这种情况下，能够根据通信协议、目标设备、输出信号的类型等来确定或者区分输出方案。
虽然未被描绘，但是如有必要，智能控制设备110能够进一步包括发送和接收信号/数据所必需的通信接口等。
同时，参照图3，智能控制设备100能够包括在主体外部的用户输入单元323、声音输出单元352以及第一光输出单元354。用户输入单元323能够被配置成从用户接收控制命令，并且在一些实施例中，用户输入单元323可以包括智能控制设备处的多个用户输入单元。一个实施例可以包括第一用户输入单元323a、第二用户输入单元323b和第三用户输入单元323c。类似地，能够在智能控制设备中安装多个光输出单元。在一个实施例中，多个光输出单元可以包括第一光输出单元354a和第二光输出单元354b。为了此讨论的目的，可以将多个用户输入单元和多个光输出单元分别统称为参考字符323和354。
一个实施例的主体可以具有圆柱形形状并且具有扬声器的功能。能够考虑主体单元的设计来确定主体的大小。然而，在其他实施例中，主体单元的形状能够以各种方式改变。
主体能够包括形成圆柱体侧面的第一区域310、形成圆柱体顶侧的第二区域320以及形成圆柱体底侧的第三区域330。第二区域320和第三区域330可以具有或者可以不具有相同的面积。
第一区域310也能够被称为外侧。第二区域320和第三区域330也能够分别被称为外上侧和外底侧。然而，在下文中，使用诸如第一、第二和第三区域的术语。
第一区域310能够配备有第三用户输入单元323c、第二光输出单元354b、红外输出单元355和声音输出单元352。例如，第二光输出单元354b和声音输出单元352能够以彼此分开的方式形成。或者，第二光输出单元354b和声音输出单元352的至少一部分可以形成分层结构以使第二光输出单元354b和声音输出单元352相互重叠。
第二光输出单元354b和声音输出单元352能够被配置成围绕第一区域310或被定位在主体的第一区域310处。因此，声音输出单元352可以被配置成从主体向所有方向输出声音，并且第二光输出单元354b能够从主体向所有方向输出光。
第三用户输入单元323c能够被部署在第一区域310的顶部处。第三用户输入单元323c能够被配置成围绕圆柱体的中心旋转。在一个示例中，用户可以旋转第三用户输入单元323c以增加或减少智能控制设备110的音量。
红外输出单元355能够处于能够在所有方向上输出红外信号的位置。例如，红外输出单元可以被定位在第一区域310的顶部。在另一个示例中，红外输出单元可以被定位在被配置成在第一区域310的顶部处旋转的区域。因此，红外输出单元355能够将红外信号输出到位于相对于主体的随机位置处的外部设备。在其他实施例中，考虑主体上的所有位置周围的红外输出单元的各种其他位置。
第二区域320能够被配备有显示单元351、第一和第二用户输入单元323a/323b、第一光输出单元354a以及温度/湿度传感器(未被描绘)。
显示单元351可以被定位在第二区域320的中心处。第一和第二用户输入单元323a/323b可以被定位在与显示单元351相邻的区域处以接收用户输入。
第一和第二用户输入单元323a/323b可以对应于物理或触摸灵敏按钮。第一用户输入单元和第二用户输入单元能够被配置成执行不同的功能。例如，第一用户输入单元323a可以对应于用于终止语音识别的按钮，并且第二用户输入单元323b可以对应于用于打开/关闭电源的按钮。
第一光输出单元354a能够沿着第二区域320的外边缘被配置。例如，如果第二区域320对应于圆形，则第一光输出单元354a可以被配置成围绕第二个区域的边缘的环。
光输出单元354包括发射光的一个或多个光源。作为光源的示例，可以使用LED(发光二极管)。光源位于光输出单元354的内周表面处，并且从光源发射的光穿过光输出单元354并且发射光。光输出单元354可以包括透明或半透明材料。
光输出单元354能够在智能控制设备110处输出与事件有关的光通知信息。例如，如果智能控制设备110执行语音识别，则光输出单元354能够输出红光。如果智能控制设备110正在等待修改命令，则光输出单元354能够输出黄光。
温度/湿度传感器能够被定位在第二区域320处以感测外部温度和湿度。
尽管没有描绘，但是第三区域330能够进一步配备有用于接收电力的电源单元、用于与诸如网络接口的外部设备收发数据的接口、用于接收声音的音频输入单元等。
在下文中，将讨论与智能控制设备110执行数据通信的终端的实施例。终端的示例包括诸如网络电视、HBBTV(混合广播宽带电视)、智能TV、IPTV(互联网协议TV)、PC(个人计算机)等的固定设备。同时，终端也可以仅包括显示面板。在其他实施例中，能够使用各种配置和/或组合(例如，与STB(机顶盒)组合的显示器)来实现终端。
终端可以使用通用OS(操作系统)，诸如“Web OS”等。终端能够将各种服务或应用添加、删除、修改和更新到通用OS内核，诸如Linux内核等。通过这样做，能够给用户提供更加用户友好的环境。
终端也能够被称为显示设备，并且本公开考虑包括配备有显示器的任何终端设备的所有实施例。图4A、图4B示出作为显示设备的示例的TV，并且图5示出作为显示设备的不同示例的移动终端。然而，如在前面的描述中所提到的，在不限于图4A、图4B和图5中所示的示例的情况下终端可以对应于配备有显示器的任何设备。
图4A是根据本发明一个实施例的数字TV的配置的框图。
数字TV 400能够包括网络接口单元401、TCP/IP管理器402、服务递送管理器403、SI解码器404、分离器或解复用器405、音频解码器406、视频解码器407、显示单元(显示器A/V和OSD模块)408、服务控制管理器409、服务发现管理器410、SI&元数据DB 411、元数据管理器412、服务管理器413、UI(用户界面)管理器414等等。
网络接口单元401与服务器405收发IP分组(互联网协议分组)或IP数据报(以下称为“IP分组”)。例如，网络接口单元401能够经由网络从服务提供商接收服务、应用、内容等。
在递送由数字TV 400接收或发送的分组时涉及TCP/IP管理器402。特别地，在源和目的地之间递送分组时涉及传输控制协议/互联网协议(TCP/IP)管理器402。TCP/IP管理器402对接收到的分组进行分类以使分组对应于合适的协议，并将分类的分组输出到服务递送管理器403、服务发现管理器410、服务控制管理器409、元数据管理器412等。
服务递送管理器403负责控制所接收的服务数据。例如，在控制实时流数据的情况下，服务递送管理器403能够使用实时传输协议/RTP控制协议(RTP/RTCP)。在使用RTP发送实时流数据的情况下，服务递送管理器403根据RTP解析接收到的数据分组，并根据服务管理器413的控制将解析的数据分组发送到解复用器405或将解析的数据分组存储在系统信息/服务信息/信令信息(SI)和元数据数据库(DB)411中。随后，服务递送管理器403使用RTCP将从网络接收到的信息反馈给服务提供服务器。
解复用器405将接收到的分组解复用为音频、视频、SI数据等，并将其发送到音频/视频解码器406/407和SI解码器404。
SI解码器404解码解复用的SI数据，诸如包括PSI(节目特定信息)、PSIP(节目和系统信息协议)、DVB-SI(数字视频广播服务信息)、DTMB/CMMB(数字电视陆地多媒体广播/编码移动多媒体广播)等。SI解码器404能够将解码后的服务信息存储在SI&元数据DB 411中。例如，根据用户的请求，存储的服务信息能够以通过相应的配置读取和输出的方式来使用。
音频/视频解码器406/407分别解码解复用的音频数据和解复用的视频数据。解码的音频数据和解码的视频数据经由显示单元408被提供给用户。
例如，应用管理器包括UI管理器414和服务管理器413，并且能够执行数字TV 400的控制单元的功能。应用管理器管理数字TV 400的整体状态，提供用户界面(UI)，并管理不同的管理器。
UI管理器414使用OSD(屏幕上显示)向用户提供GUI(图形用户界面)/UI，从用户接收键输入，并且根据输入执行设备操作。例如，如果UI管理器414从用户接收到用于选择频道的键输入，则UI管理器将键输入信号发送到服务管理器413。
服务管理器413控制诸如服务递送管理器403、服务发现管理器410、服务控制管理器409、元数据管理器412等与服务有关的管理器。服务管理器413根据从UI管理器414接收到的键输入生成频道映射并且使用所生成的频道映射控制频道选择等。服务管理器413将通过从SI解码器404接收服务信息而被选择的频道的音频/视频PID(分组标识符)设置到解复用器405。PID能够被用于前述的解复用过程。解复用器405使用PID过滤音频数据、视频数据和SI数据。
服务发现管理器410向用户提供对于选择提供服务的服务提供商所必需的信息。如果从服务管理器413接收到用于选择频道的信号，则服务发现管理器410使用该信息发现服务。
服务控制管理器负责选择和控制服务。例如，如果用户选择类似于传统广播方案的直播服务，则服务控制管理器409可以使用IGMP(互联网组管理协议)或RTSP。如果用户选择诸如VOD(视频点播)的服务，则服务控制管理器使用RTSP来选择和控制服务。RTSP协议能够为实时流提供技巧模式。服务控制管理器409能够经由IMS(IP多媒体子系统)、SIP(会话发起协议)经由IMS网关430发起和管理会话。前述协议只是实施例。根据实现示例，能够使用不同的协议。
元数据管理器412管理与服务相关联的元数据，并将该元数据存储在SI&元数据DB411中。
SI&元数据DB 411存储对于选择由SI解码器404解码的服务信息、由元数据管理器412管理的元数据以及由服务发现管理器410提供的服务提供商所必需的信息。SI&元数据DB 411能够存储用于系统的设置数据等。SI&元数据DB 411能够使用非易失性RAM(NVRAM)、闪存等来实现。
同时，IMS网关430对应于包括对于访问基于IMS的IPTV服务所必需的功能的网关。
图4B是根据本发明的不同实施例的数字电视的配置的框图。
参考图4B，数字TV 400能够包括广播接收单元435、外部设备接口单元448、存储单元455、用户接口单元480、控制单元450、显示单元460、音频输出单元465、电源单元470和捕获单元(未被描绘)。在这种情况下，广播接收单元435能够包括至少一个调谐器442、解调单元444和网络接口单元446。在一些情况下，广播接收单元435可以仅包括调谐器442和解调单元444，排除网络接口单元446，反之亦然。尽管没有描绘，但是广播接收单元435可以包括复用器以将经由调谐器442由解调单元444解调的信号与通过网络接口单元446接收的信号进行复用。此外，尽管也没有描绘，但是广播接收单元435可以包括的解复用器以解复用复用的信号、解调信号或通过网络接口单元446进入的信号。
调谐器442通过调谐经由天线接收的RF广播信号中由用户选择的频道或预先存储的所有频道来接收RF(射频)广播信号。调谐器442将接收到的RF广播信号转换为IF(中频)信号或基带信号。例如，如果接收的RF广播信号对应于数字广播信号，则RF广播信号被转换为数字IF信号(DIF)。如果接收的RF广播信号对应于模拟广播信号，则RF广播信号被转换为模拟基带图像或音频信号(CVBS/SIF)。特别地，调谐器442能够处理数字广播信号和模拟广播信号两者。能够将从调谐器442输出的模拟基带图像或音频信号(CVBS/SIF)直接输入到控制单元450。调谐器442能够接收单载波或多载波的RF广播信号。同时，调谐器442顺序地调谐和接收经由天线接收的RF广播信号中经由频道记忆功能存储的所有广播频道的RF广播信号，并且能够将所接收的RF广播信号转换为DIF(数字中频或基带信号)。
解调单元444接收由调谐器442转换的数字IF信号(DIF)，对该信号进行解调，并且执行信道解码。为此，解调单元444能够被配备有格状(Trellis)解码器、解交织器，里德-所罗门(Reed-Solomon)解码器、卷积解码器等。解调单元444执行解调和信道解码，并且然后能够输出流信号(TS(传输流))。在这种情况下，流信号可以对应于视频信号、音频信号和数据信号被复用的信号。例如，流信号可以对应于MPEG-2标准的视频信号和杜比AC-3标准的音频信号被复用的MPEG-2TS。从解调单元444输出的流信号能够被输入到控制单元450。控制单元450控制解复用，视频/音频信号处理等，控制经由显示单元460输出的图像，并且控制要经由音频输出单元465输出的音频。
外部设备接口单元448提供数字TV 400与各种外部设备之间的接口环境。为此，外部设备接口单元448能够包括A/V输入/输出单元(未被描绘)或无线通信单元(未被描绘)。外部设备接口单元448能够以有线/无线方式与诸如DVD(数字多功能盘)、蓝光、游戏设备、相机、可携式摄像机、计算机(笔记本)、平板电脑、智能手机、蓝牙设备、云等的外部设备连接。外部设备接口单元448将包括经由与外部设备接口单元连接的外部设备输入的诸如图像、视频、音频等的数据的信号递送到数字TV 400的控制单元450。控制单元450能够控制包括处理后的图像、视频、音频等的数据信号以输出到连接的外部设备。为此，外部设备接口单元448能够进一步包括A/V输入/输出单元(未被描绘)或无线通信单元(未被描绘)。
A/V输入/输出单元能够包括USB端子、CVBS端子、分量端子、S-视频端子(模拟)、DVI端子、HDMI端子、RGB端子、D-SUB端子等以将外部设备的图像信号和音频信号输入到数字TV 400。
无线通信单元能够与不同的数字设备执行短程无线通信。例如，数字TV 400能够根据诸如蓝牙、RFID、红外通信(IrDA)、UWB、紫蜂(Zigbee)、DLNA等的通信协议与不同的数字设备连接。
外部设备接口单元448经由前述端子中的至少一个与机顶盒(STB)连接，并且利用机顶盒(STB)执行输入/输出操作。同时，外部设备接口单元448接收与外部设备接口单元相邻的外部设备的应用或应用列表，并将应用或应用列表递送到控制单元450或存储单元455。
网络接口单元446提供接口以连接数字TV 400与包括互联网的有线/无线网络。为了将数字电视与有线网络连接，例如，网络接口单元446能够包括以太网端子。为了将数字TV与无线网络连接，例如，网络接口单元446可以使用WLAN、Wibro、Wimax、HSDPA通信标准等。网络接口单元446能够经由连接的网络或与连接的网络链接的不同的网络与不同的用户或不同的数字设备收发数据。具体地，能够将存储在数字TV中的部分内容数据预先发送给从在数字设备处注册的用户或数字设备中选择的用户或数字设备。同时，网络接口单元446能够经由连接的网络或与连接的网络链接的不同的网络访问规定的网页。特别地，网络接口单元经由网络访问规定的网页，并且能够与相应的服务器发送或接收数据。此外，网络接口单元能够接收由内容提供商或网络提供商提供的内容或数据。具体地，网络接口单元能够经由网络接收由内容提供商或网络提供商提供的内容，诸如电影、广告、游戏、VOD、广播信号等以及与内容相关的信息。并且，网络接口单元能够接收由网络管理员提供的固件的更新信息和更新文件。并且，网络接口单元能够将数据发送到互联网或内容提供商或网络提供商。并且，网络接口单元446能够经由网络从公开的应用中选择由网络接口单元优选的应用，并且接收该应用。
存储单元455能够存储用于处理和控制控制单元450的信号和经信号处理的视频、音频或数据信号的程序。并且，存储单元455可以执行临时存储从外部设备接口单元448或网络接口单元446输入的视频、音频或数据信号的功能。存储单元能够通过频道记忆功能存储关于规定的广播频道的信息。存储单元455能够存储从外部设备接口单元448或网络接口单元446输入的应用或应用的列表。并且，存储单元455能够存储在下面描述的各种平台。例如，存储单元455能够包括从由闪存型存储器、硬盘型存储器、多媒体卡微型存储器、卡型存储器(例如，SD或XD存储器)、RAM和ROM(EEPROM等)组成的组中选择的至少一个存储介质。数字TV 400播放存储在存储单元455中的内容文件(视频文件、静止图像文件、音乐文件、文档文件、应用文件等)，并将这些文件提供给用户。虽然图4B示出存储单元455和控制单元450分开安装的实施例，但是本发明可以不限于此。特别地，存储单元455能够被包括在控制单元450中。
用户输入接口单元480将由用户输入的信号递送给控制单元450或将控制单元450的信号递送给用户。例如，用户输入接口单元480从遥控器490接收诸如电源开/关、频道选择、屏幕配置等的控制信号，并且根据包括RF通信方案、红外通信方案等的各种通信方案来处理控制信号。或者，用户输入接口单元480能够将从控制单元450接收到的控制信号发送到遥控器490。用户输入接口单元480能够将通过诸如电源键、频道键、音量键、设置键等等的本地键(未被描绘)输入到控制单元450的控制信号信号。用户输入接口单元480能够将从被配置成感测用户的手势的感测单元(未被描绘)输入的控制信号递送给控制单元450或者将控制单元450的信号发送给感测单元(未被描绘)。在这种情况下，感测单元(未被描绘)能够包括触摸传感器、语音传感器、位置传感器、操作传感器等。
控制单元450能够通过对经由调谐器442、解调单元444或外部设备接口单元448输入的流进行解复用或处理解复用的信号来生成并输出用于输出视频或音频的信号。由控制单元450处理的视频信号被输入到显示单元460中并且能够被显示为与视频信号对应的视频。并且，由控制单元450处理的视频信号能够经由外部设备接口单元448输入到外部输出设备。由控制单元450处理的音频信号能够经由外部设备接口单元448被输入到外部输出设备。尽管在图4B中未被描绘，但是控制单元450能够包括解复用单元、图像处理单元等。
控制单元450能够控制数字电视的整体操作。例如，控制单元450控制调谐器442以调谐与由用户选择的频道或预先存储的频道相对应的RF广播。控制单元450能够根据经由用户输入接口单元480输入的用户命令或内部程序来控制数字TV。具体地，控制单元访问网络，并且能够使得用户能够将用户优选的应用或应用列表下载到数字TV。例如，控制单元450控制调谐器442以输入根据经由用户输入接口单元480接收的频道选择命令而选择的频道的信号。控制单元处理所选择的频道的视频、音频或数据信号。控制单元450控制显示单元460或音频输出单元465以输出关于由用户选择的频道的信息以及处理的视频信号或音频信号。
作为不同的示例，控制单元450控制经由外部设备接口单元448输入的外部设备(例如，相机或摄像机)的视频信号或音频信号以根据经由用户输入接口单元480接收的外部设备图像回放命令通过显示单元460或者音频输出单元465来输出。同时，控制单元450能够控制显示单元460显示图像。例如，控制单元能够控制经由调谐器442输入的广播图像、经由外部设备接口单元448输入的外部输入图像、经由网络接口单元输入的图像或者存储在存储单元455中的图像以被显示在显示单元460上。在这种情况下，在显示单元460上显示的图像可以对应于静止图像或视频。图像可以对应于2D图像或3D图像。并且，控制单元450能够控制要播放的内容。在这种情况下，内容可以对应于存储在数字TV中的内容、接收到的广播内容或从外部输入的外部输入内容。内容可以对应于广播图像、外部输入图像、音频文件、静止图像、访问的web屏幕或文档文件。同时，在输入应用观看项目的情况下，控制单元450能够控制能够从数字电视或外部网络下载的应用或应用的列表以被显示。控制单元450能够与各种用户界面一起控制从外部网络下载的应用以被安装和执行。并且，控制单元450能够根据用户的选择控制与执行的应用相关的图像以被显示在显示单元460上。
同时，尽管未在附图中描绘，但是数字TV还能够包括频道浏览处理单元，该频道浏览处理单元被配置成响应于频道信号或外部输入信号来生成缩略图图像。频道浏览处理单元接收由解调单元444输出的流信号(TS)的输入或由外部设备接口单元448输出的流信号的输入，从输入的流信号中提取图像，并且生成缩略图图片。生成的缩略图能够照原样输入到控制单元450，或者能够以被编码的方式输入到控制单元。控制单元450能够使用输入的缩略图图像在显示单元460上显示包括多个缩略图图像的缩略图列表。同时，包括在缩略图列表中的缩略图图像能够被顺序地或同时地更新。因此，用户能够方便地识别多个广播频道的内容。
显示单元460将由控制单元450处理的图像信号、数据信号和OSD信号或从外部设备接口单元448接收的图像信号、数据信号等转换为R、G和B信号以产生驱动信号。显示单元460可以对应于PDP(等离子显示面板)、LCD(液晶显示器)、OLED(有机发光二极管)、柔性显示器、3D显示器等。同时，显示单元460能够以由触摸屏配置的方式被用作输入设备以及输出设备。音频输出单元465从控制单元450接收信号(例如，立体声信号、3.1声道信号或5.1声道信号)，并将该信号作为音频输出。音频输出单元465能够由各种类型的扬声器来实现。
同时，为了感测用户的姿势，如在前面的描述中所提及的，包括从由触摸传感器、音频传感器、位置传感器、操作传感器组成的组中选择的至少一个的感测单元(未被描绘)能够进一步被安装在数字TV中。由感测单元(未被描绘)感测到的信号能够经由用户输入接口单元480被递送到控制单元450。同时，被配置成捕捉用户的捕获单元(未被描绘)能够被进一步安装在数字TV中。能够将由捕获单元(未被描绘)捕获的图像的信息输入到控制单元450。控制单元450能够通过组合捕获单元(未被描绘)捕获的图像和通过感测单元(未被描述)感测到的信号来感测用户的姿势。
电源单元470向数字电视供应电力。具体地，电源单元能够向能够以SoC(片上系统)的形式实现的控制单元450、用于显示图像的显示单元460以及用于输出音频的音频输出单元465供电。为此，电源单元490能够包括被配置成将AC电力转换成DC电力的转换器(未被描绘)。同时，例如，如果显示单元460由包括多个背光灯的液晶面板实现，则显示单元能够进一步包括能够执行用于亮度可变性的PWM(脉宽调制)操作或调光操作的逆变器(未被描绘)。
遥控器490将用户输入发送到用户输入接口单元480。为此，遥控器490可以使用蓝牙、RF通信、红外(IR)通信、UWB、紫蜂(Zigbee)方案等等。遥控器490接收由用户输入接口单元480输出的视频、音频或数据信号，并在遥控器490上显示视频、音频或数据信号。或者，遥控器可以输出音频或振动。
此外，根据本发明的数字电视可以从显示的组件中省略部分组件，或者如有必要，还能够包括附图中未示出的组件。同时，与前面提到的不同，数字电视可以经由网络接口单元或外部设备接口单元接收内容，并且当不包括调谐器和解调单元时播放内容。
尽管没有被描绘，但是前述的控制单元能够包括解复用单元、图像处理单元、OSD生成单元、混合器、帧速率转换器(FRC)和格式化器。而且，控制单元还能够包括音频处理单元和数据处理单元。
解复用单元解复用输入的流。例如，解复用单元能够解复用输入的MPEG-2TS图像、音频和数据信号。在这种情况下，输入到解复用单元的流信号可以对应于从调谐器、解调单元或外部设备接口单元输出的流信号。
图像处理单元对解复用的图像信号执行图像处理。为此，图像处理单元能够包括图像解码器和缩放器。图像解码器对解复用的图像信号进行解码，并且缩放器对解码的图像信号的分辨率进行缩放以在显示单元上显示图像信号。图像解码器能够支持各种规范。例如，如果通过MPEG-2规范编码图像信号，则图像解码器执行MPEG-2解码器的功能。如果通过DMB(数字多媒体广播)方案或H.264/H.265规范编码图像信号，则图像解码器能够执行H.264/H.265解码器的功能。同时，由图像处理单元解码的图像信号被输入到混合器。
OSD生成单元根据用户输入或自主地生成OSD数据。例如，OSD生成单元基于用户输入接口单元的控制信号生成数据使得能够以图形/文本形式/格式在显示单元的屏幕上显示各种数据。生成的OSD数据包括各种数据，包括数字TV的用户界面屏幕、各种菜单屏幕、小部件、图标、收视率信息等。OSD生成单元可以基于EPG(电子节目指南)生成显示广播图像的字幕或广播信息的数据。
混合器混合由OSD生成单元生成的OSD数据和由图像处理单元处理的图像信号，并将其提供给格式化器。如果解码的图像信号和OSD数据混合，则OSD以重叠的方式显示在广播图像或外部输入图像上。
帧率转换器(FRC)转换输入图像的帧率。例如，帧率转换器能够根据显示单元的输出频率将输入的60Hz的帧速率转换为120Hz或240Hz的帧率。如前面的描述中所提到的，能够用各种方法转换帧率。例如，当帧率转换器将60Hz的帧率转换成120Hz的帧率时，其可以在第一帧和第二帧之间插入相同的第一帧，或者其可以在第一帧和第二帧之间插入从第一帧和第二帧预期的第三帧。作为不同的示例，当帧率转换器将60Hz的帧率转换成240Hz的帧率时，其能够在传统帧之间插入相同的帧或3个预期的帧。同时，在不执行单独的帧转换的情况下，可以旁路帧率转换器。
格式化器根据显示单元的输出格式改变输入到格式器的帧率转换器的输出。例如，格式器能够输出R、G和B数据信号。R、G和B数据信号能够由LVDS(低电压差分信号)或mini-LVDS输出。如果帧率转换器的输出对应于3D图像信号，则格式化器根据显示单元的输出格式输出3D格式输出。通过这样做，其能够经由显示单元支持3D服务。
同时，包括在控制单元中的音频处理单元能够对解复用的音频信号执行音频处理。音频处理单元能够被配置成处理各种音频格式。例如，如果通过诸如MPEG-2、MPEG-4、AAC、HE-AAC、AC-3、BSAC等格式对音频信号进行编码，则能够通过包括对应于格式的解码器处理音频信号。包括在控制单元中的音频处理单元能够处理低音、高音、音量控制等。包括在控制单元中的数据处理单元能够对解复用的数据信号执行数据处理。例如，虽然解复用的数据信号被编码，但是数据处理单元能够解码该信号。在这种情况下，编码数据信号可以对应于包括在每个频道上广播的广播节目的开始时间、结束时间等的EPG信息。
同时，前述数字TV对应于根据本发明的示例。根据实际实现的数字TV的规格，每个组件能够被集成、添加或省略。特别地，如有必要，两个或更多个组件能够被集成到一个组件中，或者一个组件能够被划分成两个或更多个组件。由每个块执行的功能解释本发明的实施例。本发明的权利范围不受特定操作或设备的限制。同时，数字设备可以对应于对存储在设备中的图像或输入的图像执行信号处理的图像信号处理设备。作为图像信号处理设备的不同示例，从其排除在图4A中示出的显示单元460和音频输出单元465的机顶盒、上述DVD播放器、蓝光播放器、游戏设备、计算机等可以存在。
对于本领域技术人员来说显而易见的是，如下所述，图4A至图4B中讨论和示出的配置可以适用于移动终端。
例如，根据本说明书的移动终端能够包括语音识别扬声器、移动电话、智能手机、膝上型计算机、数字广播终端、PDA(个人数字助理)、PMP(便携式多媒体播放器)、导航、平板电脑、板式PC、超级本、可佩戴式设备(例如，智能手表、智能眼镜、HMD(头戴式显示器)等。
在本说明书中，作为根据本发明的与智能控制设备110执行数据通信的终端的示例，下面解释移动终端。
图5是描述根据本发明的一个实施例的作为源设备的一个示例的移动终端的框图。。
移动终端500包括诸如无线通信单元510、输入单元520、感测单元540、输出单元550、接口单元560、存储器570、控制器580和电源单元590的组件。要理解的是，不需要实现图5中所示的所有示出的组件，并且可以替换地实现更多或更少的组件。
特别地，组件之间的无线通信单元510通常可以包括允许诸如移动终端500与无线通信系统之间的无线通信、移动终端500与另一移动终端500之间的通信、移动终端500和外部服务器之间的通信的通信的至少一个或更多个模块。此外，无线通信单元510通常包括将移动终端500连接到至少一个或多个网络的至少一个或多个模块。
无线通信单元510可以包括广播接收模块511、移动通信模块512、无线互联网模块513、短距离通信模块514和位置信息模块515中的至少一个。
输入单元520可以包括用于视频或图像信号输入的相机(或视频或图像输入单元)521、作为用于输入音频信号的一种类型的音频输入设备的麦克风522以及用于允许用户输入信息的用户输入单元523(例如，触摸键、推动键(或机械键)等)。数据(例如，音频、视频、图像等)由输入单元520获得，并且可以由控制器580将其分析和处理成用户的控制命令。
感测单元540通常可以使用被配置成感测移动终端的内部信息、移动终端的周围环境、用户信息等的至少一个或多个传感器来实现。例如，感测单元540包括接近传感器541和照度传感器542。如果需要，感测单元540可以可替选地或附加地包括其他类型的传感器或设备，诸如触摸传感器、加速度传感器、磁传感器、重力传感器(G传感器)、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声波传感器、光学传感器(例如，相机521)、麦克风522、电池量表、环境传感器(例如，气压计、湿度计、温度计、放射线检测传感器、热传感器和气体传感器等)以及化学传感器(例如，电子鼻、健康护理传感器、生物测定传感器等等)，仅举几例。移动终端500可以被配置成利用从感测单元540获得的信息，并且具体而言，利用从感测单元540的至少一个或多个传感器获得的信息以及它们的组合。
输出单元550通常可以被配置成输出各种类型的信息，诸如音频、视频、触觉输出等。输出单元550包括显示单元551、音频输出单元(或模块)552、触觉模块553和光学输出单元(或模块)554。显示单元551可以与触摸传感器具有层间结构或集成结构以实现触摸屏。触摸屏可以提供移动终端500和用户之间的输出接口，以及用作提供移动终端500和用户之间的输入接口的用户输入单元523。
接口单元560用作与能够被耦合到移动终端500的各种类型的外部设备的接口。接口单元560，例如，可以包括有线或无线耳机端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。在一些情况下，响应于外部设备连接到接口单元560，移动终端500可以执行与连接的外部设备相关联的各种控制功能。
存储器570通常被实现为存储数据以支持移动终端500的各种功能或特征。例如，存储器570可以被配置成存储在移动终端500中执行或运行的应用程序(或程序)、用于移动终端500的操作的数据或指令(或命令)等。其中一些应用程序可以经由无线通信从外部服务器下载。其他应用程序可以在制造或装运时被安装在移动终端500内，这通常是针对移动终端500的基本功能(例如，接电话、打电话、接收消息、发送消息等)的情况。普遍的是，应用程序被存储或保存在安装在移动终端500上的存储器570中，并由控制器580执行以执行移动终端500的操作(或功能)。
除了与应用程序相关联的操作之外，控制器580通常还可以用作控制移动终端500的整体操作。控制器580可以通过处理由前述说明中提及的各种组件输入或输出的信号、数据、信息等或者激活存储在存储器570中的应用程序来提供或处理适合用户的信息或功能。
此外，为了执行或运行保存在存储器570中的应用程序，控制器580能够控制图5中所图示的一些或全部组件。此外，为了执行或运行应用程序，控制器580可以以至少两个组件被组合在一起的方式来激活包括在移动终端500中的至少两个组件。
电源单元590能够被配置成接收外部电力或者提供内部电力，以便供应用于操作包括在移动终端500中的元件和组件所需的适当的电力。电源单元590可以包括电池，并且电池可以被配置成嵌入在终端主体中，或者被配置成可从终端主体上拆卸。
以上描述中提及的至少一些组件能够协同操作以实现根据以下描述中提及的各种实施例的移动终端的操作、控制或控制方法。此外，移动终端的操作、控制和控制方法可以通过运行或执行保存在存储器560中的至少一个应用程序在移动终端上实现。
无线电通信单元510的广播接收模块511通常被配置成经由广播信道从外部广播管理服务器接收广播信号和/或广播相关信息。广播信道可以包括卫星信道、地面信道或两者。在一些实施例中，可以利用两个或更多个广播接收模块511以有助于同时接收两个或更多个广播信道，或者支持广播信道当中的切换。
广播管理服务器可以意指生成并发送广播信号和/或广播相关信息的服务器、或者接收预先生成的广播信号和/或广播相关信息并将这些项目发送到终端的服务器。广播信号可以使用TV广播信号、无线电广播信号、数据广播信号及其组合等中的任何一个来实现。广播信号在一些情况下可以进一步包括与TV或无线电广播信号组合的数据广播信号。
可以根据用于数字广播信号的发送和接收的各种技术标准或广播方法(例如，国际标准化组织(ISO)、国际电工委员会(IEC)、数字视频广播(DVB)、高级电视系统委员会(ATSC)等)中的任意一个编码广播信号。广播接收模块111能够使用适合于所利用的传输方法的方法来接收数字广播信号。
广播相关信息的示例可以包括与广播频道、广播节目、广播事件、广播服务提供商等相关联的信息。广播相关信息也可以经由移动通信网络提供，并且在这种情况下由移动通信模块512接收。
广播相关信息可以以各种格式来实现。例如，广播相关信息可以包括数字多媒体广播(DMB)的电子节目指南(EPG)、数字视频广播-手持(DVB-H)的电子服务指南(ESG)等。可以将经由广播接收模块111接收的广播信号和/或广播相关信息存储在诸如存储器570的适当设备中。
移动通信模块512能够向至少一个或多个网络实体发送无线信号和/或从至少一个或多个网络实体接收无线信号。网络实体的典型示例包括基站、外部终端、服务器等。这样的网络实体形成根据用于移动通信的技术标准或通信方法(例如，全球移动通信系统(GSM)、码分多址(CDMA)、CDMA2000(码分多址接入2000)、EV-DO(增强语音数据优化或仅增强语音数据)、宽带CDMA(WCDMA)、高速下行分组接入(HSDPA)、HSUPA(高速上行分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等)构造的移动通信网络的部分。
经由移动通信模块512发送和/或接收的无线信号可以包括音频呼叫信号、视频(电话)呼叫信号或支持文本和多媒体消息的通信的各种格式的数据。
无线互联网模块513被配置成有助于无线互联网接入。该模块可以被内部或外部地耦合到移动终端500。无线互联网模块513可以被配置成根据无线互联网技术经由通信网络发送和/或接收无线信号。
这种无线互联网技术的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(WiBro)、全球微波接入互操作性(WiMAX)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等等。无线互联网模块513可以根据这样的无线互联网技术中的至少一个以及其他互联网技术来发送/接收数据。
在一些实施例中，当根据例如作为移动通信网络的一部分的WiBro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LTE、LTE-A等实现无线互联网接入时，无线互联网模块513执行这样的无线互联网访问。这样，互联网模块513可以与移动通信模块512协作或用作移动通信模块512。
短程通信模块514被配置成有助于短程通信。用于实现这种短程通信的合适技术包括蓝牙、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连、无线USB(无线通用串行总线)等。经由无线局域网，短程通信模块514通常支持移动终端500与无线通信系统之间的无线通信、移动终端500与另一移动终端500之间的通信或者移动终端500与另一移动终端500(或外部服务器)位于的网络之间的通信。无线局域网的一个示例是无线个人域网。
在一些实施例中，另一个移动终端(其可以类似于移动终端500来配置)可以是可佩戴式设备，例如智能手表、智能眼镜或头戴式显示器(HMD)，其能够与移动终端500交换数据(或以其他方式与移动终端500交互)。短距离通信模块514可以感测或识别可佩戴式设备，并且允许可佩戴式设备与移动终端500之间的通信。另外，当感测到的可佩戴式设备是被认证为与移动终端500通信的设备时，控制器580，例如，可以使得在移动终端500中处理的数据经由短距离通信模块514发送到可佩戴式设备。因此，可佩戴式设备的用户可以在可佩戴式设备上使用在移动终端500中处理的数据。例如，当在移动终端500中接收到呼叫时，用户可以使用可佩戴式设备应答呼叫。而且，当在移动终端500中接收到消息时，用户能够使用可佩戴式设备来检查接收到的消息。
位置信息模块515通常被配置成检测、计算、导出或以其他方式识别移动终端的位置。作为代表性示例，位置信息模块515包括全球定位系统(GPS)模块、Wi-Fi模块或两者。例如，如果利用GPS(全球定位系统)模块，则移动终端能够使用由GPS卫星发送的信号来获得移动终端的位置。对于另一实例，如果利用Wi-Fi模块，则移动终端能够基于被配置成向Wi-Fi模块发送无线信号或从Wi-Fi模块接收无线信号的无线AP(接入点)的信息来获得其位置。如果需要，位置信息模块515可以可替换地或附加地与无线电通信单元510的任何其他模块一起运行，以获得与移动终端的位置有关的数据。位置信息模块515可以包括用于获取移动终端的位置(或当前位置)的模块，并且不限于用于直接计算或获得移动终端的位置的模块。
输入单元520可以被配置成允许对移动终端500的各种类型的输入。这种输入的示例包括图像(或视频)信息(或信号)、音频信息(或信号)、数据和用户输入。对于图像或视频信息的输入，移动终端500可以包括一个或多个相机521。这些相机521可以在视频呼叫模式或图像拍摄模式下处理由图像传感器获得的静止图片或视频的图像帧。经处理的图像帧能够显示在显示单元551上或存储在存储器560中。在一些情况下，提供给移动终端500的相机521可以以矩阵结构布置以允许具有不同角度或焦点的多个图像被输入到移动终端100。作为另一示例，相机521可以以立体布置被布置，以获取用于实现立体图像的左右图像。
麦克风522将外部声音信号处理成音频数据。能够根据当前在移动终端500中运行的功能(或应用程序)来不同地利用这种音频数据。如果需要，麦克风522可以包括各种噪声去除算法以去除在接收外部声音的过程中产生的不想要的噪声。
输入单元520是允许用户输入的组件。如果通过输入单元520输入信息，则控制器580能够控制移动终端500的操作以对应于输入的信息。输入单元520可以包括机械输入装置(例如，机械按键、被布置在移动终端500的前表面和/或后表面或侧表面上的按钮、圆顶开关、滚轮、轻推开关等等)，或者触敏输入装置等等。作为一个示例，触摸灵敏输入装置可以是通过软件处理在触摸屏上显示的虚拟键、软键或视觉键，或者被布置在不是触摸屏的位置处的移动终端500上的触觉键。另一方面，虚拟键或视觉键可以以各种形状，例如，图形、文本、图标、视频或其组合显示在触摸屏上。
同时，感测单元540通常被配置成感测移动终端的内部信息、移动终端的周围环境信息、用户信息等中的至少一个，并且然后生成与感测到的信息对应的感测。基于感测信号，控制器580通常与感测单元540协作以控制移动终端500的操作或执行数据处理、与安装在移动终端上的应用相关联的功能或操作。感测单元540可以使用多种代表性传感器中的任何一种来实现，其中的一些现在将被更详细地描述如下。
首先，接近传感器541可以包括传感器，该传感器在没有机械接触的情况下通过使用电磁场、红外线等来感测靠近表面的物体或布置在表面附近的物体的存在或者不存在。接近传感器541可以布置在由触摸屏覆盖的移动终端的内部区域处，或者在触摸屏附近。
接近传感器541，例如，可以包括透射型光电传感器、直接反射型光电传感器、镜面反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁式接近传感器、红外线接近传感器等中的任何一种。当触摸屏被实现为电容型时，接近传感器541能够通过响应于具有导电性的物体的接近的电磁场的改变来感测指示器相对于触摸屏的接近。在这种情况下，触摸屏(触摸传感器)也可以被分类为接近传感器。
为了以下描述的清楚起见，术语“接近触摸”在此经常被引用以表示其中指示器被定位为接近触摸屏而不接触触摸屏的情形。术语“接触触摸”在此经常被引用以表示其中指示器与触摸屏进行物理接触的情形。对于与相对于触摸屏的指示器的接近触摸相对应的位置，这样的位置将对应于指示器垂直于触摸屏的位置。接近传感器541可以感测接近触摸以及接近触摸模式(例如，距离、方向、速度、时间、位置、移动状态等)。通常，控制器580处理与由接近传感器541感测到的接近触摸和接近触摸模式相对应的数据，并且通过触摸屏输出视觉信息。另外，控制器580能够根据对触摸屏上的点的触摸是接近触摸还是接触触摸来控制移动终端500以执行不同的操作或处理不同的数据。
触摸传感器能够使用各种触摸方法中的任何一种来感测施加到触摸屏(诸如显示单元551)的触摸。这种触摸方法的示例包括电阻型、电容型、红外型和磁场型等。
作为一个示例，触摸传感器可以被配置成转换施加到显示单元551的特定部分的压力的变化，或者将在显示单元551的特定部分处出现的电容转换成电输入信号。触摸传感器还可以被配置成不仅感测触摸位置和触摸区域，而且感测触摸压力和/或触摸电容。通常使用触摸对象来将触摸输入施加到触摸传感器。典型的触摸对象的示例包括手指、触摸笔、手写笔、指示器等。
当触摸传感器感测到触摸输入时，相应的信号可以被发送到触摸控制器。触摸控制器可以处理接收到的信号，并且然后将相应的数据发送到控制器580。因此，控制器580可以感测显示单元551的哪个区域已经被触摸。这里，触摸控制器可以是与控制器580分离的组件、控制器580本身及其组合中的一个。
在一些实施例中，控制器580可以根据触摸了触摸屏的触摸对象的类型或除了触摸屏之外提供的触摸键来执行相同或不同的控制。例如，可以基于移动终端500的当前操作状态或当前执行的应用来决定是否根据提供触摸输入的对象来执行相同或者不同的控制。
触摸传感器和接近传感器可以被单独地或组合地实施以感测各种类型的触摸。这样的触摸包括短的(或轻敲)触摸、长触摸、多点触摸、拖动触摸、轻弹触摸、捏合触摸、捏放触摸、轻扫触摸、悬停触摸等等。
如果需要，可以实现超声波传感器以使用超声波识别与感测目标有关的位置信息。控制器580，例如，可以基于由照度传感器和多个超声波传感器感测到的信息来计算波产生源的位置。因为光比超声波快得多，所以光到达光学传感器的时间比超声波到达超声波传感器的时间短得多。波生成源的位置可以使用这个事实来计算。例如，可以使用基于光作为参考信号的与超声波到达传感器的时间的时间差计算波产生源的位置。
相机521被描述为输入单元520的一个组件，并且典型地包括相机传感器(CCD，CMOS等)、光传感器(或图像传感器)和激光传感器中的至少一个。
通过激光传感器实现相机521可以允许针对3D立体图像的对感测目标的触摸的检测。光电传感器可以层叠在显示设备上或与显示设备重叠。光传感器可以被配置成扫描接近触摸屏的感测目标的移动。更详细地说，光传感器可以包括行和列的光电二极管和晶体管以使用根据所施加的光量而变化的电信号来扫描在光传感器处接收到的内容。即，光传感器可以根据光的变化来计算感测目标的坐标，从而获得感测目标的位置信息。
显示单元551通常被配置成显示(或输出)在移动终端500中处理的信息。例如，显示单元551可以显示在移动终端500上运行的应用程序的运行屏幕信息、响应于正在运行的屏幕信息的用户界面(UI)信息以及/或者响应于正在运行的屏幕信息的图形用户界面(GUI)信息。
在一些实施例中，显示单元551可以被实现为用于显示立体图像的立体显示单元。
典型的立体显示单元可以采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等的立体显示方案。
通常，3D立体图像可以包括左图像(例如，左眼图像)和右图像(例如，右眼图像)。根据如何将左右图像组合成3D立体图像，3D立体成像方法能够被划分成自上而下的方法，其中左右图像在一帧中被上下布置；L到R(左至右或并排)方法，其中左图像和右图像在帧中被左右布置；棋盘格方法，其中左图像和右图像的片段以贴片形式布置；交错扫描方法，其中左图像和右图像交替地按行或列布置；以及按时间顺序(或逐帧)方法，其中基于时间交替地显示左图像和右图像。
另外，对于3D缩略图图像，能够分别从原始图像帧的左图像和右图像生成左图像缩略图和右图像缩略图，并且然后将其组合以生成单个3D缩略图图像。通常，术语“缩略图”可以被用来指代缩小的图像或缩小的静止图像。生成的左图像缩略图和右图像缩略图可以通过与屏幕上的左图像和右图像之间的视差对应的深度以其间的水平距离差显示，从而提供立体空间感。
可以使用立体处理单元在立体显示单元上显示实现3D立体图像所需的左图像和右图像。立体处理单元能够接收3D图像并提取左图像和右图像，或者能够接收2D图像并将其改变为左图像和右图像。
声音输出模块552通常被配置成输出音频数据。这样的音频数据可以从多个不同的源中的任何一个获得，使得音频数据可以从无线电通信单元510接收，或者可能已经存储在存储器560中。音频数据可以在诸如呼叫信号接收模式、呼叫模式、记录模式、语音识别模式、广播接收模式等的模式中被输出。声音输出模块552能够提供与由移动终端500执行的特定功能(例如，呼叫信号接收声音、消息接收声音等)有关的可听输出。声音输出模块552还可以包括接收器、扬声器、蜂鸣器和/或等等。
触觉模块554能够被配置成生成能够由用户感测的各种触觉效果。由触觉模块554产生的触觉效果的典型示例是振动。由触觉模块554产生的振动的强度、模式等能够通过用户的选择或控制器的设置来控制。例如，触觉模块554可以将不同的振动组合并一起输出，或者可以以顺序的方式输出不同的振动。
除了振动之外，触觉模块554还能够生成各种其它的触觉效果，包括通过诸如垂直移动以接触皮肤的针排列的刺激的效果、通过喷孔或者吸入口的空气的喷射力或者吸力、对皮肤的触摸、电极的接触、静电力、通过使用能够吸收或者产生热的元件再现冷和暖的感觉的效果等等。
触觉模块554还能够被实现为允许用户通过诸如用户的手指或手臂的肌肉感觉来感受触觉效果，以及通过直接接触来传递触觉效果。可以根据移动终端500的配置类型来提供两个或更多个触觉模块554。
光学输出单元553能够使用光源的光输出用于指示事件发生的信号。在移动终端500中发生的事件的示例可以包括消息接收、呼叫信号接收、未接电话、警报、日程通知、电子邮件接收、通过应用程序的信息接收等。
由光学输出单元553输出的信号可以以移动终端发出单色光或具有多种颜色的光的方式来实现。当移动终端感测到用户已经查看事件时，可以终止信号输出。
接口单元570用作连接到移动终端500的所有外部设备的接口。例如，接口单元570能够接收从外部设备传输的数据，接收电力以传输到移动终端500内的元件和组件，或者将移动终端500的内部数据发送到这样的外部设备。接口单元570可以包括有线/无线耳机端口、外部电源端口、有线/无线数据端口、存储卡端口、用于连接具有标识模块的设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口和/或等等。
标识模块可以包括被配置成存储用于在使用移动终端500中认证授权的各种信息的芯片，并且可以包括用户标识模块(UIM)、订户标识模块(SIM)、通用订户标识模块(USIM)等等。另外，具有标识模块(在此也被称为“识别设备”)的设备可以以智能卡的形式制造。因此，识别设备能够经由接口单元570与终端500连接。
当移动终端500与外部托架连接时，接口单元570能够用作允许来自托架的电力供应给移动终端500的通道，或者可以用作以允许用户从托架输入的各种命令信号传输到移动终端的通道。从托架输入的各种命令信号或电力可以用作用于识别移动终端被正确地安装在托架上的信号。
存储器560能够存储支持控制器580的操作的程序，并且可以临时存储输入/输出数据(例如，电话簿、消息、静止图像、视频等)。存储器560可以存储与响应于对触摸屏的触摸输入而输出的各种振动模式和音频有关的数据。
存储器560可以包括至少一种类型的存储介质，包括闪存、硬盘、固态盘、硅盘、微型多媒体卡、卡型存储器(例如，SD存储器，XD存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等。移动终端500还可以关于在互联网上执行存储器560的存储功能的网络存储设备进行操作。
如在前面的描述中所提及的，控制器580控制与应用程序相关的操作，并且通常可以控制移动终端500的整体操作。例如，如果移动终端的状态满足预设条件，则控制器580可以设置或释放用于限制用户输入命令的锁定状态。
控制器580可以执行与语音呼叫、数据通信、视频呼叫等相关联的控制和处理，或者可以执行模式识别处理以将在触摸屏上执行的手写输入或绘图输入分别识别为字符或者图像。另外，控制器580能够控制在前面的描述中提到的那些组件中的一个或其组合以便实现在以下描述中提到的各种实施例。
电源单元590在控制器580的控制下接收外部或内部电力，并且然后提供操作各个元件和组件所需的电力。电源单元590可以包括电池，该电池通常是可再充电的或者可拆卸地耦合到终端主体，用于充电。
电源单元590可以包括连接端口。连接端口可以被配置成用于供应电力以对电池充电的外部充电器被电气地连接到的接口单元570的一个示例。
作为另一个示例，电源单元590可以被配置成在不使用连接端口的情况下以无线方式对电池进行再充电。这样做，电源单元590能够使用基于磁感应的电感耦合方法或基于电磁谐振的磁共振耦合方法中的至少一个来接收从外部无线电力发射器传输的电力。
同时，可以使用例如软件、硬件或其任何组合在计算机可读介质、机器可读介质或类似介质中实现在此描述的各种实施例。
在前述的描述中，智能控制设备110在数字系统中被解释为单独的配置，并且数字电视和移动终端分别在图4A、图4B和图5中被图示，作为执行与智能控制设备的数据通信的终端的示例。然而，根据本发明的智能控制设备110也能够通过单一配置，诸如能够以被嵌入或者与图4A、4B或者图5中所示的数字TV或者移动终端组合的类型被实现。同时，根据智能控制设备的实现类型，能够通过诸如音频设备、视频设备等的各种术语来指代智能控制设备110。
图6A是语音识别功能的执行状态的概念图，并且图6B是根据本公开的实施例的执行语音识别功能的方法的流程图。
语音识别功能对应于将通过诸如麦克风的音频传感器接收的音频信号转换为文本。语音识别功能还可以包括基于被转换为文本的信息执行特定操作。具体地，语音识别功能对应于用于确定接收到的语音是否对应于特定的词的功能或者用于检测语音命令的功能。
根据本发明的智能控制设备110能够将语音识别应用和与语音识别功能有关的信息存储在存储器240中。语音识别应用能够经由安装在智能控制设备中的数据库或者安装在通信连接的服务器中的数据库执行语音识别。
语音识别功能可以具有多个执行状态。具体地，控制器220能够将语音识别功能的执行状态设置为等待命令触发的输入的语音识别待机状态610或者通过分析语音来执行语音识别的识别状态620以启动语音识别功能。
语音识别待机状态610能够包括用于感测等于或大于规定音量的音量的语音的收听状态611和用于检测特定词的关键词检测状态612。
控制器220能够在收听状态611中感测等于或大于规定音量的音量的语音的接收。在收听状态611中，控制器220可以仅检测等于或大于规定音量的音量的语音并且可能不执行语音识别功能。
如果接收到等于或大于规定音量的语音输入，则控制器220能够将语音识别功能的执行状态从收听状态611切换到关键词检测状态612。
在关键词检测状态612中控制器220能够检测是否接收到特定词。特定词对应于用于启动语音识别功能的命令触发。根据智能控制设备110或提供语音识别功能的应用，能够为命令触发配置不同的信号。
如果在关键词检测状态612中接收到对应于特定词的语音输入，则控制器220能够切换到识别状态620。例如，如果在关键词检测状态612中诸如“爱丽丝”的预定特定词被接收作为语音输入时，控制器220可以检测该特定词并将语音识别功能的执行状态切换到识别状态620。
相反地，如果在关键词检测状态612中没有接收到对应于特定词的语音，则控制器220能够将语音识别功能的执行状态切换回收听状态611。例如，如果在关键词检测状态612中在规定的时间内没有接收到语音，则控制器220能够将语音识别功能的执行状态切换到收听状态611。或者，如果在关键词检测状态612中接收到的语音不对应于特定的词，则控制器220能够将语音识别功能的执行状态切换回收听状态611。
在下文中，参照图6B更详细地解释在识别状态下执行语音识别功能的方法。
参考图6B，如果控制器220在关键词检测状态612中接收到命令触发[S610]，则控制器220能够启动语音识别功能。随后，控制器220能够在识别状态620中接收语音输入[S620]。
如果在识别状态620中接收到语音输入，则控制器220能够基于本领域公知的用于语音和语音分析的各种预定算法来分析语音。由于算法的内容对于本领域技术人员来说是公知的，所以在本说明书中省略对内容的解释。
控制器220能够基于分析的结果来检测对应于语音输入的至少一个功能。特别地，控制器220可以检测对应于语音输入的一个或多个功能。
控制器220能够确定是否检测到与语音输入对应的一个或多个功能[S630]。如果检测到对应于语音输入的功能，则控制器220能够执行与语音输入对应的第一功能[S642]。
第一功能可以对应于被配置为基本功能的功能或高优先级的功能。当多个功能对应于单个语音输入时，基本功能可以是多个功能中的首先被执行的功能。优先级能够根据诸如字母顺序、执行频率、使用模式或音乐源排行榜等各种因素来确定。例如，如果检测到播放歌曲的功能，则能够按照每首歌曲的播放频率的降序来确定优先级。
例如，语音输入可以包括术语“女孩时代”，并且控制器可以确定用户正在命令对应于音乐组合女孩时代的歌曲的回放。语音输入还可以包括音乐组的特定歌曲的名称。在这种情况下，控制器220能够执行“女孩时代音乐播放功能”作为第一功能。
在前述的描述中，当检测到与语音输入对应的多个功能时，执行第一功能。然而，能够输出通知信息以使得用户再次输入语音输入而不执行第一功能。例如，控制器220可以输出查询以请求更具体的语音输入，诸如“检测到多个音乐源。你想要播放哪一个？”
同时，如果检测到与语音输入相对应的单个功能，则控制器220能够立即执行与语音输入相对应的单个功能[S641]。例如，如果控制器220接收到诸如“播放音轨1”的语音输入，则控制器能够确定并播放存储在第一音轨中的音乐源。如果基于语音输入在识别状态620中执行特定操作，则控制器220能够将语音识别功能的执行状态切换回待机状态610。通过这样做，控制器220能够在不分析通过麦克风接收到的所有语音的情况下选择性地分析要求语音识别的语音，从而防止不必要的功耗。
为了输入语音输入，用户可以紧跟语音命令说出特定的命令触发。但是，当用户希望输入多个语音命令时，可能要求用户多次说出针对每个命令的命令触发，这可能是不方便的并导致语音输入识别的不准确。
图7是描述根据本发明的实施例的处理智能控制设备的数据的方法的流程图。
在以下描述中，我们假定智能控制设备110处于执行或可执行状态。
首先，智能控制设备110可以等待命令触发[S710]并确定是否接收到命令触发[S720]。
如果接收到命令触发，则智能控制设备切换到用于接收命令数据的一般命令待机状态[S730]。
如在步骤S730中早期所提及的，如果在智能控制设备切换到一般命令待机状态之后接收到命令数据，则智能控制设备处理该命令数据以生成结果数据[S740]。
并且，智能控制设备从结果数据生成响应并播放响应[S750]。
图8是描述根据本发明的一个实施例的处理智能控制设备的数据的方法的流程图。
如上所述，如果在待机状态下接收到命令触发(S802)，则智能控制设备110切换到命令数据接收状态，并检测说出触发数据的说话者(即，用户)的位置[S804]。
如果检测到用户的位置，则智能控制设备110基于检测到的用户位置来检测显示设备是否存在于预定范围内[S806]。在一些情况下，成为用于检测显示设备是否存在的准则的用户位置能够基于智能控制设备110。换句话说，检测显示设备是否存在可以对应于智能控制设备110(而不是用户)的位置。
同时，显示设备可以对应于包括图4A、图4B中所示的数字TV和图5中所示的移动终端的配备有显示器的任何电子设备。作为在步骤S806中检测到显示设备的结果，如果检测到多个显示设备，则智能控制设备110能够从多个显示设备中选择一个。在这种情况下，智能控制设备能够基于用户(或智能控制设备110)的当前位置来选择显示设备。特别地，智能控制设备能够选择离用户(或智能控制设备110)最近的显示设备。或者，能够从多个显示设备中选择包括当前显示状态对应于待机状态或电源开启的显示器的显示设备。
如果存在包括当前显示状态对应于待机状态或电源开启的显示器的多个显示设备，则智能控制设备能够基于用户(或智能控制设备110)的当前位置从多个显示设备当中选择离智能控制设备最近的显示设备。或者，不仅可以考虑用户(或智能控制设备110)的当前位置，还可以考虑用户面对的方向。例如，当用户正在与12点钟相对应的方向观看时，或者正朝着该方向移动时，如果选择被定位在与6时钟对应的方向处的显示设备，则对于用户来说有必要转身或沿相反方向移动以观看所选显示设备的显示，这是不期望的。用户的方向可能成为选择显示器的另一个因素。
在前述的描述中，为了清楚起见，虽然解释为从多个检测到的显示设备中选择单个显示器，但是本发明可以不限于此。在一些实施例中，智能控制设备110能够从在S806中检测到的多个显示设备中选择多个显示设备。在这种情况下，尽管可以选择多个显示设备，但是能够参考前述标准给予一个或多个所选显示设备优先级，并且基于优先级相应地控制多个所选显示设备中的每一个。通过这样做，能够灵活地处理与特定显示设备有关的各种情况，诸如错误、网络问题等。
在步骤S806中，如果基于当前位置检测并选择与用户(或智能控制设备110)相邻的显示设备，则智能控制设备110可以确定所选择的显示设备的电源状态[S808]。在这种情况下，显示设备的电源状态可以对应于断电状态、待机状态或通电状态。
智能控制设备110确定显示设备的显示器电源状态是否对应于开机状态[S801]。如果显示器电源状态不是开机状态，则智能控制设备110发送控制命令以将显示器电源状态改变为待机模式或待机状态[S812]。在这种情况下，作为步骤S810的结果，如果显示器电源状态不是开机状态，而已经处于待机状态，则能够省略步骤S812。
如有必要，也能够包括通过显示设备与智能控制设备110执行相互数据通信的操作。例如，操作能够包括建立蓝牙接口、WiFi接口等的操作，开启电源、认证、注册等的操作。
随后，如果显示设备的显示器电源状态被切换到待机状态，则智能控制设备110分析在步骤S802之后接收到的语音输入，即，命令数据。在对命令数据进行分析之后，智能控制设备确定响应数据是否对应于需要经由所选择的显示设备的显示器输出的信号[S814]。换句话说，智能控制设备110确定命令数据是否要求由智能控制设备输出的音频响应，或者是否要求由不同的设备输出的非音频响应，诸如图像格式、文本格式等的输出。
作为步骤S814的结果，如果响应数据被确定为需要通过显示器的输出，则智能控制设备110将用于开启显示器电源的控制命令发送到选择的显示设备以将显示器电源从待机状态切换到开机状态[S816]。
智能控制设备110将要经由开启的所选择的显示设备输出的响应数据和用于控制要被输出的响应数据的信号发送到显示设备[S818]。显示设备根据智能控制设备110的控制经由显示器输出响应数据[S822]。同时，关于响应数据的输出，如果正经由显示器输出其他数据或正在显示设备处执行应用，则智能控制设备110或显示设备停止(或切换到后台)先前显示或执行的数据或应用并使得输出响应数据。响应数据也可以以各种形式输出，诸如全屏、弹出窗口、分屏、在屏幕的指定区域上的叠加等。
当显示设备除了显示响应数据之外还能够输出响应数据的音频数据时，另外地，与响应数据的输出有关的引导数据(指示显示器的开始、显示器的类型、显示设备的标识等)能够使用与所显示的响应数据不同的输出格式(例如，音频输出格式)经由诸如智能控制设备110或显示设备的扬声器的音频输出设备被输出。
返回参照S810，如果选择的显示设备的电源已经处于开启状态，则如先前在步骤S814中所提及的，智能控制设备分析在命令触发被接收之后接收到的命令数据，并且确定是否有必要经由显示设备的显示器输出响应数据[S818]。在这种情况下，如S820中所示，响应数据在显示器上输出。然而，作为步骤S814或S818的结果，如果没有必要经由显示设备的显示器输出响应数据，换句话说，如果仅使用音频格式输出响应数据是充分的，则响应数据经由智能控制设备110的音频输出设备(信号输出单元)以音频格式输出[S824]，并且所选择的显示设备的显示待机模式的切换被取消[S826]。在另一实施例中，如果使用先前选择的显示设备的音频输出设备而不是智能控制设备110的音频输出设备，则待机模式的切换可以不被取消。如前述的描述中所提及的，能够控制保持开启状态或当前的待机状态并使用音频输出设备输出响应数据的音频。
图9是描述根据本发明的一个实施例的控制智能控制设备的显示设备的方法的图。
例如，图9的(a)和图9的(b)示出智能控制设备附近有多个显示设备的情况，并且图9的(c)示出在智能控制设备附近仅有单个显示设备的情况。
首先，参考图9的(a)，当用户正在观看第一显示设备910时，用户可以向智能控制设备110输入命令触发。在这种情况下，第一显示设备910可以位于距智能控制设备110或用户的预定距离范围之外。
如果在智能控制设备处接收到命令触发并且确定第一显示设备910位于预定或阈值距离范围之外，则智能控制设备110可以替代地检测位于预定的距离范围内的第二显示设备920。在某些情况下，第一显示设备由于距离的原因可能无法被智能控制设备检测到，或者智能控制设备可以检测到第一显示设备及其相对距离，并确定其在预定距离范围之外。智能控制设备110可以确定检测到的第二显示设备920的显示器电源状态。如果显示器电源状态为关闭，则智能控制设备将第一控制命令发送到第二显示设备以将第二显示设备的显示器电源状态切换到待机模式。
第二显示设备根据第一控制命令将显示器电源状态从切断状态切换到待机模式，并保持待机模式。
如图9的(b)中所示，智能控制设备110分析在命令触发之后接收到的命令数据。智能控制设备110基于分析结果来确定响应输出的格式以响应于命令数据来确定要发送的响应的格式。响应数据可以是音频格式、文本格式、图像格式、视频格式等的输出。如果响应输出格式不是音频格式，则智能控制设备110向第二显示设备发送第二控制命令以将第二显示设备的显示器电源状态从待机状态切换到通电状态。在第二显示设备的显示器电源开启的同时或之后，智能控制设备110响应于命令数据将响应数据发送到第二显示设备920以被输出，并且控制响应数据以经由显示器被输出。
如果经由第二显示设备920输出响应数据，则因为对命令数据的响应完成，所以智能控制设备110能够进一步控制第二显示设备920的显示器电源状态。例如，当响应数据已经经由第二显示设备920被输出或响应数据的回放被终止时，如果在规定时间内没有接收到用户的附加命令数据(或命令触发)，则智能控制设备110能够控制第二显示设备920的显示器电源状态以切换回先前的状态，即，待机状态或关机状态。如果第二显示设备920的显示器电源状态被切换到待机状态，则智能控制设备110能够将附加的控制命令发送到第二显示设备920以根据是否在规定的时间内接收到附加的语音命令信号来控制显示器通电或者断电。
即使在第一显示设备910位于预定范围内的情况下，智能控制设备可以选择第二显示设备920使得当前显示的内容不被中断或阻挡。此外，智能控制设备能够基于离用户或智能控制设备的更近的距离、用户的注视方向、或用户的移动方向选择更适合于响应数据的显示的另一显示设备。
图9的(c)示出不存在输出内容的显示设备并且在预定阈值范围内仅存在单个显示设备930的情况。在这种情况下，如前述的描述中所提及的，智能控制设备110根据命令触发来检测显示设备930，并且根据检测到的显示设备930的显示器电源状态控制显示设备930以切换到待机模式并且根据命令数据的分析控制数据以在显示设备930处显示。
如果基于用户(说话者)在预定范围(例如，第一范围)内未检测到至少一个显示设备，则智能控制设备110能够根据配置执行附加操作。例如，附加操作可以对应于重复尝试检测显示设备直到最大尝试次数或者在没有最大尝试次数的情况下连续尝试检测直到在第一范围内检测到至少一个显示设备。在另一个实施例中，第一范围可以被扩展到更大的第二范围或甚至更大的第三范围以检测显示设备。
即使在范围内检测到至少一个显示设备，附加操作也可以包括在显示设备的显示器电源状态不响应于待机模式控制或开启控制的情况或难以执行待机模式控制或开启控制的情况。在一些情况下，如果在预定范围或扩展范围内没有检测到有效的显示设备，则智能控制设备可以被配置成在智能控制设备处诸如经由显示器或音频扬声器输出响应数据，或者控制不同类型的设备以输出响应数据。这可以包括将响应数据的输出格式改变或转换成智能控制设备或不同类型的设备能够输出的格式，诸如转换成音频输出格式。如果智能控制设备110配备有显示器，则也能够经由智能控制设备的显示器输出输出格式。在这种情况下，可以输出格式已被修改的指示，诸如音频指示符。
图10是描述根据本发明的另一实施例的输出智能控制设备的数据的方法的流程图。
具体地说，图10示出递送命令触发和命令数据的响应数据(即，反馈)的方法。
智能控制设备110在命令触发待机状态下接收规定的信号输入[S1002]。在这种情况下，能够以包括说话者(用户)的语音、用户输入的文本、用户的运动姿势等的各种类型接收规定的信号。为了清楚起见，假设规定的信号作为语音输入被接收。
如果接收到规定的信号，则智能控制设备110确定输入的信号是否对应于命令触发[S1004]。
如果输入的信号对应于命令触发，则智能控制设备110被切换到一般命令待机状态以接收命令数据[S1012]或根据命令数据执行操作。S1006、S1008、S1010的一部分或全部与S1012同时进行。
在这种情况下，操作检测已经输入规定信号的用户的位置[S1006]，并且基于检测到的用户位置来检测包括显示器的诸如TV、移动终端、平板电脑、冰箱等的邻近的显示设备[S1008]。在步骤S1008被执行之后，智能控制设备110确定检测到的显示设备的显示状态或显示器电源状态[S1010]。
在执行步骤S1010之后，智能控制设备110接收并分析在命令触发之后输入的用户的命令数据以确定响应的输出格式。智能控制设备110确定用于响应数据的输出格式是否对应于音频输出格式。具体地，智能控制设备110确定响应数据是否需要显示器[S1020]。
如果响应数据的输出格式是对其而言显示器不是必需的音频输出，则当不执行反馈时智能控制设备110使音频响应数据输出[S1022]。具体地，智能控制设备110可以发送控制命令以使邻近的显示设备关闭并且以音频格式输出响应数据。在这种情况下，音频格式能够由智能控制设备110直接输出，或者能够由通过类似于操作[S1010]的方案选择的外部音频输出设备输出。例如，智能控制设备可以检测位于预定范围内的音频输出设备，并且确定检测到的音频输出设备是否能够输出音频。随后，智能控制设备可以使得检测到的音频输出设备在被切换到待机模式或开启状态之后输出响应数据。在输出响应数据之后智能控制器可以类似地使检测到的音频输出设备切换回关闭状态。
同时，再次参考S1020，如果响应数据的输出格式要求在显示器上的响应数据的输出而不是音频输出，则智能控制设备110开启根据操作[S1008]选择的邻近显示设备的显示器的电源，并发送控制命令以使显示设备输出响应数据[S1024]。
此外，在步骤S1012的情况下，在一般的命令待机状态下接收命令数据并进行分析以生成命令结果，即，响应数据[S1014]。
当根据用户说出的命令(即，命令数据)输出生成的响应数据时，智能控制设备110确定是否使用显示器[S1016]。如果有必要使用显示器以用于响应数据输出，则如在前述的描述中所提及的，智能控制设备110使用邻近的显示设备执行步骤[S1024]。在这种情况下，如果根据本发明的操作[S1010]还没有被执行，则智能控制设备110可以执行步骤S1006到S1010。
然而，在执行步骤S1016之后，如果没有必要使用显示器用于反馈，则智能控制设备以音频输出形式输出生成的响应数据[S1018]。
图11至图14是描述根据本发明的实施例的智能控制设备的各种示例的图。
参考图11的(a)，如果接收到包括诸如“爱丽丝，今晚TV上的周三/周四肥皂剧是什么？”的命令触发和命令信号的语音输入，则智能控制设备110分析语音输入。结果，如果确定响应数据的输出格式不要求显示设备的显示器，则如图11的(b)中所示，智能控制设备能够响应于命令数据直接输出音频反馈，例如，可以仅作为音频输出回答“申师任堂在SBC上9:50开始”。
图12至图14示出除了音频输出格式之外的经由显示器输出的响应数据的示例。在这种情况下，在图12、图13以及图14中分别示出数字TV、配备有显示器的冰箱和平板PC，作为显示设备。
参考图12的(a)，智能控制设备110接收包括命令触发和命令数据的诸如“爱丽丝，给我显示电视节目列表”的语音输入。智能控制设备110可以基于语音输入来检测用户的位置，并且基于检测到的用户的位置来检测邻近的显示设备。智能控制设备110确定所检测到的邻近显示设备的显示器电源状态。如果邻近显示设备的显示器电源状态被确定为关闭状态，则智能控制设备向邻近显示设备发送控制命令以将显示器电源状态改变为待机状态。
当执行控制命令的检测过程和传输时，或者在执行检测过程和控制命令的传输之后，智能控制设备110分析在命令触发之后或者通过命令触发接收到的输入信号，即，命令数据。智能控制设备110根据分析结果确定是否使用邻近显示设备(即，响应数据的输出格式)。如果确定不使用邻近显示设备，则智能控制设备110能够向邻近显示设备发送控制命令以使邻近显示设备的电源关闭。在这种情况下，智能控制设备110能够将关闭控制命令发送到所有检测到的显示设备。在其他实施例中，智能控制设备110可以不将关闭控制指令发送到目前正在执行应用或正在显示内容的显示设备以节省电力消耗并防止中断当前使用。
相反，如果确定使用邻近的显示设备，则在一个实施例中，智能控制设备110能够控制TV节目列表1220以在邻近显示设备1210的屏幕上输出。在这种情况下，例如，如果邻近的显示设备存储或者访问电视节目列表数据，则智能控制设备110能够仅发送用于显示TV节目列表数据的控制命令。在其他实施例中，智能控制设备110可以从外部服务器接收TV节目列表数据，并且将TV节目列表数据提供给邻近的显示设备，或使TV节目列表数据被直接发送到显示设备。
如图12的(b)中所示，当经由显示设备1210输出TV节目列表作为响应数据时，可以输出音频指示符来解释正在输出的信息，例如，“这些是从此以后的节目清单”。因为可能对于用户来说难以获知哪个显示设备正在输出响应数据，所以在显示设备1210上输出TV节目列表之前从显示设备可以输出音频指示符以使用户意识到显示设备1210将要输出响应数据。
图13示出使用配备有显示器的冰箱的示例。例如，如在前面的描述中所提及的，相邻显示设备的选择可以不仅基于用户的位置或者用户的方向，而且还可以基于命令数据的属性或者响应数据的属性等。
参考图13的(a)，例如，如果从用户接收到诸如“爱丽丝，给我一个红烧辣鸡的食谱”的语音输入，则智能控制设备110基于命令触发和命令数据来选择邻近的显示设备，并且选择所需的响应数据的类型(红烧辣鸡制备材料的配方、烹饪方法/过程等)。在这种情况下，响应数据不仅能够包括食谱的文本，还能够包括与食谱有关的包括图像、视频等的其他数据。因为命令数据或响应数据被确定为与食物或烹饪食谱有关，所以可以选择冰箱的显示设备。甚至在其他显示设备位于更靠近智能控制设备的情况下也是如此。智能控制设备可以相应地考虑每个显示设备的所有因素并且对其划分优先级，包括距离、目的、类型、功能等。如前述的描述中所提及的，当经由显示设备输出响应数据时，也能够输出音频指示(“配方在冰箱上被显示”)。
在前述的描述中，命令触发能够被识别为用于检测附近的显示设备并且控制显示设备的显示器电源状态的起点或者起始项。例如，当信号被输入到智能控制设备110时，智能控制设备能够被配置为仅当信号中包括命令触发时将该信号识别为智能控制设备110的有效输入。在其他情况下，当用户向智能控制设备110输入语音命令时，用户可以同时或在其后的短时间内输入除了命令数据之外的命令触发，而不是分开地发送命令触发和命令数据。在这种情况下，如果从用户接收到包括命令触发的输入信号，则智能控制设备110将输入信号确定为有效的用户输入并且检测用户的位置。
当基于用户的位置选择显示设备时，能够通过分析包括在输入信号中的命令数据来选择显示设备。换句话说，如在图13中所示，如果命令数据的属性被识别为与食物或烹饪相关，则智能控制设备能够防止错误并提高检测显示设备的效率。这是因为，如果用户的意图与食物或烹饪有关，则可以优选地使用与食物或厨房相关的显示设备而不是在另一区域的TV上接收响应数据。在这种情况下，智能控制设备110可以改变用于检测显示设备的预定范围或扩大预定范围。或者，它可以基于除了距离以外的因素选择显示设备。
参考图14的(a)，如果从用户接收到诸如“爱丽丝，让我看看让人耳目一新的I.O.I音乐视频”的输入信号，则智能控制设备110根据规定准则选择邻近显示设备(平板电脑1410)并且控制音乐视频数据经由所选显示设备输出作为响应数据。在这种情况下，平板PC1410根据智能控制设备110的控制来执行与响应数据对应的应用，即，视频播放器，并且经由执行的音乐播放器输出响应数据(包括一些实施例中的歌词)。
在图14中，除了选择显示设备的准则之外，智能控制设备可以基于显示器电源状态、资源等来选择显示设备。例如，当从用户接收的输入信号的格式和/或响应信号的格式对应于特定格式时，智能控制设备将尝试选择能够接收、处理或回放具体格式的显示设备。因此，当智能控制设备110检测或选择显示设备或邻近的显示设备时，智能控制设备可以预先参考资源的数据能力。当提供有多个具有足够能力的资源时，智能控制设备可以进一步考虑其他因素，包括从用户学习的使用模式、数据的分辨率等，以及前述的距离、方向性、属性等等。
图15是描述根据本发明的另一实施例的输出智能控制设备的数据的方法的流程图。
具体地说，图15涉及提供图像信息。当智能控制设备110的电源最初被开启时，可以预先检查关于显示设备的基本信息，并使用基本信息。
智能控制设备110在命令触发待机状态下接收规定的信号[S1502]。在这种情况下，规定的信号能够以包括语音、文本、运动姿势等的各种类型被接收。为了示例的目的，我们假设规定的信号对应于语音信号。
如果接收到规定的信号，则智能控制设备110确定输入的信号是否对应于命令触发或者输入的信号是否被包括在命令触发中[S1504]。
如果输入的信号对应于命令触发或被包括在命令触发中，则智能控制设备110执行根据本发明的操作。
在这种情况下，操作包括检测已经输入规定信号的用户的位置并且基于检测到的用户的位置来检测诸如TV、移动终端、平板电脑、包括显示设备的冰箱等的邻近的显示设备。具体地，智能控制设备检测能够与智能控制设备连接的显示设备[S1506]。智能控制设备110还可以检查检测到的显示设备的图像信息[S1508]。S1506和S1510同时执行。具体而言，图像信息是在检测到的显示设备的屏幕上播放的图像信息。如果检测到的显示设备显示电影节目，则图像信息可以是电影节目图像信息。因此，智能控制设备110可以检查检测到的显示设备中正在播放的内容，并且从检测到的显示设备获得电影节目图像信息。
当处于一般命令待机状态时智能控制设备110可以接收和分析命令数据[S1510]，并且生成命令结果，即，响应数据[S1512]。在本示例中，生成的响应数据可以对应于响应于命令数据要输出的图像信息。
智能控制设备110确定是否存在将输出与响应数据对应的图像信息的显示设备[S1514]。如果存在能够输出图像信息的显示设备，则智能控制设备确定显示设备的电源状态[S1518]。当智能控制设备确定其不是待机状态的电源状态时，智能控制设备使显示设备的电源切换到待机状态[S1520]并且使图像信息经由显示设备输出[S1522]。
如果没有检测到能够输出图像信息的显示设备，则智能控制设备可以以音频输出格式输出响应数据[S1516]。智能控制设备可以被配置成使用图像识别、面部识别等将响应数据转换为音频输出信息，诸如响应数据的描述。
图16是根据本发明的智能控制设备的另一个实施例的图示。
参考图16的(a)，如果从用户接收到诸如“爱丽丝，将电视图像发送到平板电脑”的信号，则智能控制设备110检测TV 1610和平板电脑1630两者。
如图16的(b)中所示，智能控制设备110将控制命令发送到TV1610以生成TV 1610的屏幕1620的截屏图像以被发送到检测到的平板PC 1630。在其他实施例中，TV可以发送当前显示的信息使得TV屏幕在平板PC上被连续地镜像。如有必要，能够单独地执行用于将截屏图像发送到平板PC并控制发送的图像的回放的控制命令。如果从TV1610接收到截屏图像1620，则平板PC 1630使用执行的视频播放器应用1640来控制根据用于显示的截屏图像或者截屏图像1620的回放执行适当的应用(例如，视频或图像播放器应用)。
图17是根据本发明另一实施例的描述智能控制设备的数据输出方法的流程图。
图17图示从不同设备获得图像信息的情况。
智能控制设备110在命令触发待机状态下接收规定的信号[S1702]。在这种情况下，规定的信号能够以包括语音、文本、运动姿势等的各种类型被接收。对于本示例，我们假定规定的信号对应于语音信号。
如果接收到规定的信号，则智能控制设备110确定输入的信号是否对应于命令触发或者输入的信号是否被包括在命令触发中[S1704]。
如果输入的信号对应于命令触发或被包括在命令触发中，则智能控制设备110执行根据本发明的操作。并且，S1706和S1710被同时执行。
在这种情况下，操作包括基于检测到的用户的位置检测已经发送规定信号的用户的位置并检测诸如TV、移动终端、平板电脑、包括显示设备的冰箱等的邻近显示设备。具体地，智能控制设备检测能够与智能控制设备连接的显示设备。[S1706]。智能控制设备110进一步检查检测到的显示设备的图像信息[S1708]。具体而言，图像信息是在检测到的显示设备的屏幕上播放的图像信息。如果检测到的显示设备显示新闻节目，则图像信息可以是新闻节目图像信息。因此，智能控制设备110可以检查检测到的显示设备中正在播放的内容，并从检测到的显示设备获得新闻节目图像信息。
智能控制设备110在一般命令待机状态下接收并分析命令数据[S1710]，并且生成命令结果，即，响应数据[S1712]。
智能控制设备110确定是否存在将要获得图像信息的邻近显示设备[S1714]。显示设备能够是平板PC。当智能控制设备反馈响应数据时，如果存在要获取图像信息的位置和/或显示器，则智能控制设备确定显示设备的电源状态[S1718]。当控制设备确定其不是待机状态的电源状态[S1718]时，智能控制设备控制显示器电源切换到待机状态[S1720]，并且经由显示设备共享图像[S1722]。
如果不存在要共享图像信息的位置和/或显示器，则智能控制设备可以生成响应和播放。具体地，智能控制设备可以以音频输出格式输出响应数据[S1716]。
图18是描述根据本发明另一实施例的包括智能控制设备的图像信息的场景的图。
参考图18的(a)，如果从用户接收到诸如“爱丽丝，将平板PC图像发送到TV”的信号，则智能控制设备110检测PC 1810和TV 1840两者。
如图18的(b)中所示，智能控制设备110向平板PC 1810发送控制命令以生成在检测到的平板PC 1810的屏幕1820上输出的截屏图像，并将截屏图像发送到检测到的TV1840。在其他实施例中，平板PC可以发送当前显示的信息，使得平板PC屏幕被连续镜像在检测到的TV上。如有必要，能够将用于将截屏图像发送到检测到的TV的控制命令和用于控制回放的控制命令分别发送到TV 1840和平板PC。如果从平板PC 1810接收到截屏图像1830，则TV 1840根据截屏图像控制要执行的合适的应用，并控制图像以被显示。同时，如果在TV1840处正在执行应用，则能够以包括全屏、分屏、画中画等各种形式输出截屏图像1830。
如所讨论的，在一些实施例中，如果接收到命令触发，则智能控制设备110能够确定用户是否正在移动。如果检测到用户的移动，则获取关于用户的移动的数据以检测邻近的显示设备，并根据移动数据确定要选择的一个或多个显示设备。在这种情况下，关于用户的移动的数据能够包括用户的移动速度、用户的移动方向等。
例如，智能控制设备110可以基于用户的移动速度和移动方向来选择一个或多个显示设备，并且在多个显示设备全部的电源待机和/或开启之后能够控制所选择的显示设备来输出响应数据以对应于用户的移动。因此，如果检测到用户正在从第一显示设备朝向第二显示设备移动，则响应数据可以被部分地显示在第一显示设备处，然后剩余部分可以被显示在第二显示设备处。可替选地，响应数据可以以方向性的方式显示在一个或多个显示设备上，使得响应数据被显示为根据检测到的用户的移动在一个方向或另一个方向中滑动。在另一个实施例中，智能控制设备110使用相机、眼睛跟踪传感器、身体位置传感器等来检测用户的注视方向，并且可以参考检测到的用户的注视方向来选择和控制显示设备。
根据本发明的前述实施例中的至少一个，能够识别输入信号并基于AI分析所识别的输入信号以对应于输入信号。即使输入信号不是语音输入并且输出信号不是音频形式，智能控制设备也能够容易且快速地处理信号。能够基于环境因素、用户状态、位置、移动方向、响应数据格式等使用不同的邻近设备的显示器来提供自适应响应。通过这样做，能够提高智能控制设备的功能以及显示设备的功能，并且进一步满足说话者的意图并且增加用户便利性。
同时，能够通过在记录程序的记录介质中由计算机可读的代码来实现本发明。计算机可读的记录介质可以包括用于存储能够由计算机系统读取的数据的各种记录设备。可由计算机读取的记录介质的示例可以包括HDD(硬盘驱动器)、SSD(固态盘)、ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等。并且，计算机可以包括终端的控制器180。虽然在此已经参照优选实施例和其附图描述和说明了本发明，但是本发明可以不限于前述实施例，并且对于本领域技术人员来说显而易见的是，在不脱离本说明书的精神和范围的情况下能够在其中进行各种修改和变化。因此，本说明书旨在覆盖落入所附权利要求书及其等同物范围内的本发明的修改和变化。

Claims (17)

1.一种智能控制设备，包括：
接收器，所述接收器被配置成接收包括命令触发的输入；和
控制器，所述控制器被配置成：
检测一个或多个外部显示设备；
选择检测到的一个或多个外部显示设备中的显示设备；
使选择的显示设备的电源状态改变为第一状态；并且
使与在所述命令触发之后接收到的第一命令数据相对应的响应数据在选择的显示设备的显示器上被输出，
其中，接收的输入对应于第一语音输入，并且
所述控制器进一步被配置为：
基于所述接收的输入，获得所述第一语音输入的说话者的第一位置，
至少基于所述说话者的所述第一位置或所述智能控制设备的位置，从检测到的一个或多个外部显示设备中选择所述选择的显示设备，以及
基于所述命令触发的属性、所述第一命令数据的属性、所述响应数据的属性、所述接收的输入的源的位置、所述接收的输入的所述源的方向、所述选择的显示设备的属性、所述选择的显示设备的显示器大小或所述选择的显示设备的当前电源状态，选择所述选择的显示设备。
2.根据权利要求1所述的智能控制设备，其中，所述控制器还被配置成基于所述第一命令数据生成所述响应数据。
3.根据权利要求1所述的智能控制设备，其中，所述控制器还被配置成在所述检测到的一个或多个外部显示设备中选择位于最靠近所述说话者的所述第一位置的所述选择的显示设备。
4.根据权利要求1所述的智能控制设备，其中，所述控制器还被配置成基于所述选择的显示设备的现有电源状态来改变要被改变的所述选择的显示设备的电源状态。
5.根据权利要求4所述的智能控制设备，其中，所述控制器还被配置成发送控制命令以将所述选择的显示设备的电源状态从断电状态变为待机状态。
6.根据权利要求4所述的智能控制设备，其中，所述控制器还被配置成当要求经由显示器输出所述响应数据时发送控制命令以将所述选择的显示设备的电源状态从所述第一状态变成第二状态。
7.根据权利要求6所述的智能控制设备，其中，所述控制器还被配置成将所述响应数据发送到所述选择的显示设备，用于经由所述选择的显示设备的显示器显示所述响应数据。
8.根据权利要求4所述的智能控制设备，其中，所述控制器还被配置为当不要求经由显示器输出所述响应数据时，发送控制命令以将所述选择的显示设备的电源状态从所述第一状态变成先前状态。
9.根据权利要求1所述的智能控制设备，其中，所述控制器还被配置成：
尝试检测在阈值距离内的外部显示设备；并且
如果没有检测到外部显示设备，则扩大所述阈值距离并尝试再次检测外部显示设备。
10.根据权利要求1所述的智能控制设备，其中，所述控制器还被配置成当在紧跟所述命令触发之后的阈值时间段内没有接收到所述第一命令数据时，向所述选择的显示设备发送控制命令以取消改变所述选择的显示设备的电源状态。
11.根据权利要求1所述的智能控制设备，其中，所述控制器还被配置成：当在接收到所述第一命令数据之后的阈值时间段内接收到第二命令数据时，或者当在所述选择的显示设备处输出对应于所述第一命令数据的所述响应数据之后的阈值时间段内接收到所述第二命令数据时，生成对应于所述第二命令数据的第二响应数据。
12.根据权利要求11所述的智能控制设备，其中，所述第二命令数据对应于第二语音输入，并且所述控制器还被配置成：
获得所述第二语音输入的说话者的第二位置；并且
当所述说话者的所述第二位置在距所述说话者的所述第一位置的阈值距离内时，使所生成的第二响应数据在所述选择的显示设备处被输出。
13.根据权利要求11所述的智能控制设备，其中，所述第二命令数据对应于第二语音输入，并且所述控制器还被配置成：
获得所述第二语音输入的说话者的第二位置；
当所述说话者的所述第二位置不在距所述说话者的所述第一位置的阈值距离内时，将所述选择的显示设备的电源状态从所述第一状态变成先前状态；
从所述一个或多个检测到的外部显示设备中选择另一个显示设备；并且
使生成的第二响应数据在所选择的另一个显示设备处被输出。
14.根据权利要求1所述的智能控制设备，其中，检测至少两个外部显示设备，并且所述控制器还被配置成基于所述第一命令数据和所述选择的显示设备的功能选择所述选择的显示设备。
15.根据权利要求1所述的智能控制设备，其中，所述命令触发对应于语音输入、文本输入或运动姿势。
16.根据权利要求1所述的智能控制设备，还包括输出单元，其中，所述控制器还被配置成经由所述输出单元输出指示符以指示所述响应数据正在所述选择的显示设备处被输出。
17.一种控制智能控制设备的方法，所述方法包括：
接收包括命令触发的输入；
检测接收到的输入的源的位置；
基于检测到的位置检测一个或多个外部显示设备；
从检测到的一个或多个外部显示设备中选择显示设备；
发送控制命令以将选择的显示设备的电源状态变成待机状态；
生成与在所述命令触发之后接收到的命令数据相对应的响应数据；以及
当确定生成的响应数据被要求经由显示设备被显示时，发送用于将所述选择的显示设备的电源状态切换到通电状态并且经由所述选择的显示设备的显示器显示所述生成的响应数据的控制命令，
其中，接收的输入对应于第一语音输入，并且
所述方法进一步包括：
基于所述接收的输入，获得所述第一语音输入的说话者的第一位置，
至少基于所述说话者的所述第一位置或所述智能控制设备的位置，从检测到的一个或多个外部显示设备中选择所述选择的显示设备，以及
基于所述命令触发的属性、所述命令数据的属性、所述响应数据的属性、所述接收的输入的源的位置、所述接收的输入的所述源的方向、所述选择的显示设备的属性、所述选择的显示设备的显示器大小或所述选择的显示设备的当前电源状态，选择所述选择的显示设备。
CN201810048141.9A 2017-03-28 2018-01-18 智能控制设备及其控制方法 Active CN108668153B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170039299A KR101925034B1 (ko) 2017-03-28 2017-03-28 스마트 컨트롤링 디바이스 및 그 제어 방법
KR10-2017-0039299 2017-03-28

Publications (2)

Publication Number Publication Date
CN108668153A CN108668153A (zh) 2018-10-16
CN108668153B true CN108668153B (zh) 2022-03-29

Family

ID=60811763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810048141.9A Active CN108668153B (zh) 2017-03-28 2018-01-18 智能控制设备及其控制方法

Country Status (4)

Country Link
US (3) US10489111B2 (zh)
EP (2) EP3382949B1 (zh)
KR (1) KR101925034B1 (zh)
CN (1) CN108668153B (zh)

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017146437A (ja) * 2016-02-17 2017-08-24 本田技研工業株式会社 音声入力処理装置
JP6995770B2 (ja) * 2016-06-15 2022-01-17 アイロボット・コーポレーション 自律移動ロボットを制御するためのシステムおよび方法
US10783883B2 (en) * 2016-11-03 2020-09-22 Google Llc Focus session at a voice interface device
KR101925034B1 (ko) 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법
EP3401890B1 (en) * 2017-05-11 2020-01-08 Samsung Electronics Co., Ltd. Control device and method for controlling function thereof
US10599377B2 (en) 2017-07-11 2020-03-24 Roku, Inc. Controlling visual indicators in an audio responsive electronic device, and capturing and providing audio using an API, by native and non-native computing devices and services
KR102389041B1 (ko) * 2017-08-11 2022-04-21 엘지전자 주식회사 이동단말기 및 머신 러닝을 이용한 이동 단말기의 제어방법
US11062710B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Local and cloud speech recognition
US11062702B2 (en) 2017-08-28 2021-07-13 Roku, Inc. Media system with multiple digital assistants
US10777197B2 (en) 2017-08-28 2020-09-15 Roku, Inc. Audio responsive device with play/stop and tell me something buttons
WO2019051077A1 (en) * 2017-09-06 2019-03-14 Vertiv Corporation COOLING UNIT ENERGY OPTIMIZATION THROUGH INTELLIGENT CONTROL OF FOOD AIR TEMPERATURE SET POINT
EP3622385B1 (en) * 2017-10-03 2023-12-06 Google LLC Display mode dependent response generation with latency considerations
JP6977169B2 (ja) 2017-12-08 2021-12-08 グーグル エルエルシーGoogle LLC デジタル音声アシスタントコンピューティングデバイスの間の信号処理の調整
US10971173B2 (en) * 2017-12-08 2021-04-06 Google Llc Signal processing coordination among digital voice assistant computing devices
US11599927B1 (en) * 2018-01-17 2023-03-07 Amazon Technologies, Inc. Artificial intelligence system using deep neural networks for pairwise character-level text analysis and recommendations
US11145298B2 (en) 2018-02-13 2021-10-12 Roku, Inc. Trigger word detection with multiple digital assistants
US10540015B2 (en) * 2018-03-26 2020-01-21 Chian Chiu Li Presenting location related information and implementing a task based on gaze and voice detection
EP3783867A1 (en) 2018-05-07 2021-02-24 Google LLC Providing composite graphical assistant interfaces for controlling various connected devices
EP3583481B1 (en) * 2018-05-07 2021-02-17 Google LLC Methods, systems, and apparatus for providing composite graphical assistant interfaces for controlling connected devices
KR102025566B1 (ko) * 2018-07-27 2019-09-26 엘지전자 주식회사 인공지능을 이용한 홈어플라이언스 및 음성 인식 서버 시스템과, 이의 제어 방법
WO2020040775A1 (en) * 2018-08-23 2020-02-27 Google Llc Regulating assistant responsiveness according to characteristics of a multi-assistant environment
US10978062B1 (en) * 2018-09-27 2021-04-13 Amazon Technologies, Inc. Voice-controlled device switching between modes based on speech input
CN109412908B (zh) * 2018-10-19 2020-12-18 珠海格力电器股份有限公司 一种语音显示可控制设备的方法和设备
US20200135191A1 (en) * 2018-10-30 2020-04-30 Bby Solutions, Inc. Digital Voice Butler
KR20200049020A (ko) * 2018-10-31 2020-05-08 삼성전자주식회사 음성 명령에 응답하여 컨텐츠를 표시하기 위한 방법 및 그 전자 장치
KR102112931B1 (ko) * 2018-11-15 2020-05-19 김철회 Tv 제어 시스템
CN109788360A (zh) * 2018-12-12 2019-05-21 百度在线网络技术（北京）有限公司 基于语音的电视控制方法和装置
US10817246B2 (en) * 2018-12-28 2020-10-27 Baidu Usa Llc Deactivating a display of a smart display device based on a sound-based mechanism
WO2020145071A1 (ja) * 2019-01-07 2020-07-16 ソニー株式会社 情報処理装置および情報処理方法
CN109816830B (zh) * 2019-01-31 2021-07-30 新华三技术有限公司 一种解锁方法及装置
JP7452524B2 (ja) * 2019-02-25 2024-03-19 ソニーグループ株式会社 情報処理装置、及び情報処理方法
US11003419B2 (en) * 2019-03-19 2021-05-11 Spotify Ab Refinement of voice query interpretation
US11593725B2 (en) 2019-04-16 2023-02-28 At&T Intellectual Property I, L.P. Gaze-based workflow adaptation
US10847159B1 (en) 2019-05-01 2020-11-24 Chian Chiu Li Presenting location related information and implementing a task based on gaze, gesture, and voice detection
WO2020222539A1 (en) 2019-05-02 2020-11-05 Samsung Electronics Co., Ltd. Hub device, multi-device system including the hub device and plurality of devices, and method of operating the same
EP3979238A4 (en) * 2019-05-24 2023-04-26 LG Electronics Inc. METHOD FOR CONTROLLING A DEVICE BY VOICE RECOGNITION AND DEVICE FOR ITS IMPLEMENTATION
US11735187B2 (en) * 2019-05-29 2023-08-22 Apple Inc. Hybrid routing for hands-free voice assistant, and related systems and methods
US11211045B2 (en) * 2019-05-29 2021-12-28 Lg Electronics Inc. Artificial intelligence apparatus and method for predicting performance of voice recognition model in user environment
DE112019007263T5 (de) * 2019-06-20 2022-01-05 LG Electronics Inc. Anzeigegerät
KR20210015234A (ko) 2019-08-01 2021-02-10 삼성전자주식회사 전자 장치, 및 그의 음성 명령에 따른 기능이 실행되도록 제어하는 방법
KR20210015428A (ko) * 2019-08-02 2021-02-10 삼성전자주식회사 사용자 인터페이스를 제공하는 전자 장치 및 방법
US11568239B2 (en) * 2019-08-13 2023-01-31 Lg Electronics Inc. Artificial intelligence server and method for providing information to user
CN113407089A (zh) * 2019-08-26 2021-09-17 华为技术有限公司 一种语音控制的分屏显示方法及电子设备
KR20210025812A (ko) * 2019-08-28 2021-03-10 삼성전자주식회사 전자장치, 디스플레이장치 및 그 제어방법
KR102356229B1 (ko) * 2019-09-17 2022-01-26 주식회사 엘지유플러스 IoT 연동 서비스를 위한 IoT 서버의 동작 방법 및 이를 위한 IoT 서버
KR102370161B1 (ko) * 2019-09-18 2022-03-03 주식회사 엘지유플러스 IoT 연동 서비스를 위한 IoT 서버의 동작 방법 및 이를 위한 IoT 서버
DE112020004394T5 (de) * 2019-09-19 2022-06-15 Sony Group Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und anzeigevorrichtung mit künstlicherintelligenzfunktion
CN110557681A (zh) * 2019-09-27 2019-12-10 海尔优家智能科技（北京）有限公司 多媒体信息播放控制方法及装置、多媒体播放系统
CN110908504B (zh) * 2019-10-10 2021-03-23 浙江大学 一种增强现实博物馆协作交互方法与系统
CN112786032A (zh) * 2019-11-01 2021-05-11 富泰华工业（深圳）有限公司 显示内容控制方法、装置、计算机装置及可读存储介质
KR102220981B1 (ko) * 2019-11-29 2021-02-26 주식회사 신흥정밀 무선 포스 단말기 및 그의 동작 방법
KR20210068901A (ko) 2019-12-02 2021-06-10 삼성전자주식회사 음성 기반 인터페이스를 제공하는 전자 장치 및 그의 제어 방법
CN111145741B (zh) * 2019-12-17 2022-12-27 中移（杭州）信息技术有限公司 多媒体内容的提供方法、装置、电子设备以及存储介质
CN111050200A (zh) * 2019-12-30 2020-04-21 深圳创维－Rgb电子有限公司 一种智能电视机及其控制系统和控制方法
CN111314442B (zh) * 2020-01-21 2023-07-18 维达力实业(深圳)有限公司 基于分时控制的终端控制方法、装置、终端和计算机设备
CN111312249A (zh) * 2020-02-21 2020-06-19 珠海荣邦电子科技有限公司 一种语音控制方法、装置及电子设备
KR20210146737A (ko) * 2020-05-27 2021-12-06 삼성전자주식회사 서버 및 그의 제어 방법
KR102360873B1 (ko) * 2020-06-22 2022-02-08 엘지전자 주식회사 제어 장치 및 이를 포함하는 시스템
CN111580408A (zh) * 2020-06-29 2020-08-25 广东美的厨房电器制造有限公司 家电系统和控制方法
KR20220005348A (ko) * 2020-07-06 2022-01-13 삼성전자주식회사 인공지능 가상 비서 서비스에서의 화면 제공 방법 및 이를 지원하는 사용자 단말 장치 및 서버
CN111679617A (zh) * 2020-07-09 2020-09-18 上海长江唯诚科技股份有限公司 一种数字班牌监控管理的方法及系统
US11292489B2 (en) * 2020-07-29 2022-04-05 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for information aggregation and event management in a vehicle
CN112217695A (zh) * 2020-08-28 2021-01-12 星络智能科技有限公司 一种第一控制器、计算机设备以及计算机可读存储介质
US11166063B1 (en) * 2020-12-08 2021-11-02 Rovi Guides, Inc. Enhanced set-top box control
CN115033091B (zh) * 2021-03-03 2023-08-11 上海艾为电子技术股份有限公司 一种降低手持移动设备功耗的方法及装置
US20230017308A1 (en) * 2021-07-14 2023-01-19 At&T Intellectual Property I, L.P. Method and apparatus for virtual healthcare assistant
US20240015045A1 (en) * 2022-07-07 2024-01-11 Paulmicheal Lee King Touch screen controlled smart appliance and communication network
CN117762532A (zh) * 2022-09-19 2024-03-26 腾讯科技（深圳）有限公司 一种振动控制方法、装置、设备及计算机可读存储介质
CN116030812B (zh) * 2023-03-29 2023-06-16 广东海新智能厨房股份有限公司 用于燃气灶的智能互联语音控制方法、装置、设备及介质
CN116564280B (zh) * 2023-07-05 2023-09-08 深圳市彤兴电子有限公司 基于语音识别的显示器控制方法、装置以及计算机设备

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5802467A (en) * 1995-09-28 1998-09-01 Innovative Intelcom Industries Wireless and wired communications, command, control and sensing system for sound and/or data transmission and reception
KR19990040251A (ko) 1997-11-17 1999-06-05 윤종용 음성인식기기의 전원제어장치
JP2005122128A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 音声認識システム及びプログラム
WO2006109197A2 (en) * 2005-02-28 2006-10-19 Nara Institute Of Science And Technology Reducing levels of nicotinic alkaloids in plants
KR100664935B1 (ko) 2005-03-10 2007-01-04 삼성전자주식회사 멀티미디어 컨텐츠 재생 장치를 자동 전환하는 장치 및 그방법
JP2007267270A (ja) * 2006-03-29 2007-10-11 Kenwood Corp コンテンツ再生システム、再生装置、再生方法、及び、プログラム
JP2008079135A (ja) * 2006-09-22 2008-04-03 Toshiba Corp 電源制御装置、電源制御システムおよび電源制御方法
US20080091432A1 (en) * 2006-10-17 2008-04-17 Donald Dalton System and method for voice control of electrically powered devices
JP4728982B2 (ja) * 2007-03-05 2011-07-20 株式会社東芝 利用者と対話する装置、方法およびプログラム
KR101064948B1 (ko) 2008-12-10 2011-09-16 한국전자통신연구원 유비쿼터스 지능형 로봇을 이용한 홈 네트워크 서비스 방법
TW201038077A (en) * 2009-04-13 2010-10-16 Avermedia Tech Inc Remote wake-up method, host to be awakened remotely, and wake-up management server
US20130073293A1 (en) * 2011-09-20 2013-03-21 Lg Electronics Inc. Electronic device and method for controlling the same
US8452602B1 (en) * 2011-09-30 2013-05-28 Google Inc. Structuring verbal commands to allow concatenation in a voice interface in a mobile device
KR102003267B1 (ko) * 2011-12-30 2019-10-02 삼성전자주식회사 전자 장치 및 그의 제어 방법
JP5404860B2 (ja) * 2012-07-10 2014-02-05 株式会社東芝 情報処理端末及び情報処理方法
KR20140088449A (ko) * 2013-01-02 2014-07-10 엘지전자 주식회사 중앙 제어 장치 및 그것의 제어 방법
US9842489B2 (en) * 2013-02-14 2017-12-12 Google Llc Waking other devices for additional data
US9698999B2 (en) * 2013-12-02 2017-07-04 Amazon Technologies, Inc. Natural language control of secondary device
KR20150089168A (ko) 2014-01-27 2015-08-05 최재용 인공지능을 활용한 언어분석 방법 및 시스템
KR102209519B1 (ko) * 2014-01-27 2021-01-29 삼성전자주식회사 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법
EP3112982A4 (en) * 2014-02-24 2017-07-12 Mitsubishi Electric Corporation Multimodal information processing device
CA2891742C (en) * 2014-05-15 2023-11-28 Tyco Safety Products Canada Ltd. System and method for processing control commands in a voice interactive system
WO2015182976A1 (en) * 2014-05-28 2015-12-03 Samsung Electronics Co., Ltd. Mobile apparatus, display apparatus, and multimedia output method using the same
KR102147346B1 (ko) * 2014-06-23 2020-08-24 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10204622B2 (en) * 2015-09-10 2019-02-12 Crestron Electronics, Inc. Acoustic sensory network
US9548053B1 (en) * 2014-09-19 2017-01-17 Amazon Technologies, Inc. Audible command filtering
KR20160055446A (ko) * 2014-11-10 2016-05-18 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
US9811312B2 (en) * 2014-12-22 2017-11-07 Intel Corporation Connected device voice command support
US20160225372A1 (en) * 2015-02-03 2016-08-04 Samsung Electronics Company, Ltd. Smart home connected device contextual learning using audio commands
US9484021B1 (en) 2015-03-30 2016-11-01 Amazon Technologies, Inc. Disambiguation in speech recognition
US20170032783A1 (en) * 2015-04-01 2017-02-02 Elwha Llc Hierarchical Networked Command Recognition
JP6739907B2 (ja) * 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム
US10048936B2 (en) * 2015-08-31 2018-08-14 Roku, Inc. Audio command interface for a multimedia device
US9875081B2 (en) * 2015-09-21 2018-01-23 Amazon Technologies, Inc. Device selection for providing a response
US9749583B1 (en) * 2016-03-31 2017-08-29 Amazon Technologies, Inc. Location based device grouping with voice control
US10056078B1 (en) * 2016-06-28 2018-08-21 Amazon Technology, Inc. Output of content based on speech-based searching and browsing requests
US10210863B2 (en) * 2016-11-02 2019-02-19 Roku, Inc. Reception of audio commands
KR20180085931A (ko) * 2017-01-20 2018-07-30 삼성전자주식회사 음성 입력 처리 방법 및 이를 지원하는 전자 장치
KR101925034B1 (ko) 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
KR101925034B1 (ko) 2018-12-04
CN108668153A (zh) 2018-10-16
EP3382949A1 (en) 2018-10-03
US20200057606A1 (en) 2020-02-20
US11372619B2 (en) 2022-06-28
US10489111B2 (en) 2019-11-26
EP3739818B1 (en) 2022-05-04
US11385861B2 (en) 2022-07-12
EP3382949B1 (en) 2020-07-22
US20180285065A1 (en) 2018-10-04
KR20180109496A (ko) 2018-10-08
EP3739818A1 (en) 2020-11-18
US20200057607A1 (en) 2020-02-20

Similar Documents

Publication Publication Date Title
CN108668153B (zh) 智能控制设备及其控制方法
CN107113469B (zh) 控制装置的系统、数字装置及其控制方法
US10057317B2 (en) Sink device and method for controlling the same
US9250707B2 (en) Image display apparatus and method for operating the same
CN108886632B (zh) 数字装置以及在所述数字装置中处理数据的方法
CN107018434B (zh) 包括数字设备和外部设备的系统及其处理数据的方法
US10324595B2 (en) Digital device configured to connect with plurality of operation devices and method of displaying second user interface associated with second operation device in response to dragging of first user interface associated with first operation device in the same
KR102254894B1 (ko) 음성 인식 검색 결과를 이용하여 카테고리를 배열하는 디스플레이 디바이스 및 그 제어 방법
KR101873763B1 (ko) 디지털 디바이스 및 그 데이터 처리 방법
KR20170006760A (ko) 멀티미디어 디바이스
KR102514443B1 (ko) 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
KR101843537B1 (ko) 영상 표시 기기의 무선연결 설정방법 및 그를 이용한 영상 표시 기기
KR20160035381A (ko) 영상표시기기 및 그 제어 방법
KR20160088652A (ko) 멀티미디어 디바이스 및 그 제어 방법
KR20150049243A (ko) 지문 인식을 이용한 영상표시기기 및 그 제어 방법
KR20130062477A (ko) 데이터 송수신 방법, 이를 이용한 영상표시기기
KR20170042159A (ko) 영상출력장치 및 그 제어방법
KR102431976B1 (ko) 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
KR20180038311A (ko) 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
KR20160084060A (ko) 접속 문제 해결 방법을 제공하는 디스플레이 디바이스 및 그 제어 방법
KR20160072518A (ko) 카메라를 이용한 색상 변형 방지 디스플레이 디바이스 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant