CN107211020A - 宿设备及其控制方法 - Google Patents

宿设备及其控制方法 Download PDF

Info

Publication number
CN107211020A
CN107211020A CN201680007227.6A CN201680007227A CN107211020A CN 107211020 A CN107211020 A CN 107211020A CN 201680007227 A CN201680007227 A CN 201680007227A CN 107211020 A CN107211020 A CN 107211020A
Authority
CN
China
Prior art keywords
text
picture
video data
controller
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680007227.6A
Other languages
English (en)
Other versions
CN107211020B (zh
Inventor
郑汀鈗
申致镐
申炳铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN107211020A publication Critical patent/CN107211020A/zh
Application granted granted Critical
Publication of CN107211020B publication Critical patent/CN107211020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • H04L65/1059—End-user terminal functionalities specially adapted for real-time communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/57—Arrangements for indicating or recording the number of the calling subscriber at the called subscriber's set
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

公开了一种在宿设备中控制源设备的方法及其装置。根据本发明的一个实施方式，所述方法包括以下步骤：在显示单元上输出从源设备接收到的视频数据；在与所述显示单元上输出的视频数据相对应的画面上识别文本；将识别出的文本和关于与所述视频数据相对应的画面的位置信息相匹配，并将所匹配的文本和信息存储在存储器中；接收语音信号；将接收到的语音信号转换为文本；并且如果在识别出的文本中存在包括转换后的文本的至少一部分的特定文本，则向所述源设备发送与在与所述视频数据相对应的画面上选择所述特定文本的用户输入相对应的消息。

Description

宿设备及其控制方法
技术领域
本发明涉及一种宿设备及其控制方法，其适用于通过语音识别来控制从源设备镜像的画面。
背景技术
画面镜像是指使用无线通信在诸如TV的宿设备的画面中精确地对诸如移动终端的源设备的画面进行镜像的技术。用户通过具有小尺寸的显示单元的移动终端所欣赏的视频或图像可以使用镜像技术通过具有相对较大尺寸的显示单元的TV来被享受。
根据现有技术，由于不能通过宿设备来控制源设备的画面，所以用户别无选择，只能通过源设备来输入命令。根据最近的方案，宿设备通过UIBC(用户输入反向信道)向源设备发送用于控制源设备的画面的规定命令。然而，由于UIBC规范无法定义用户通过语音识别来控制源设备的画面的方法，所以开发通过语音识别来控制源设备的画面的解决方案的需求正在上升。
发明内容
技术任务
本发明的技术任务是解决上述问题和其它问题。另一个技术任务是通过将文本转换成通过RTSP(实时流协议)或UIBC可发送的命令，来提供用于将从用户语音信号转换后的文本发送到画面镜像上的源设备的解决方案。
从本发明可获得的技术任务不受上述技术任务的限制。而且，本发明所属技术领域的普通技术人员从以下描述中可以清楚地了解其它未提及的技术任务。
技术方案
在本发明的一个技术方面，提供了一种控制从源设备向宿设备发送的视频数据的方法，所述方法包括以下步骤：将从所述源设备接收到的所述视频数据输出到显示单元；从与输出到所述显示单元的所述视频数据相对应的画面中识别文本；按照对应于与所述视频数据相对应的画面上的位置信息的方式将识别出的文本保存到存储器；接收语音信号；将接收到的所述语音信号转换成文本；以及如果在识别出的文本中存在包括转换后的文本的至少一部分的特定文本，则向所述源设备发送与从与所述视频数据相对应的画面中选择所述特定文本的用户输入相对应的消息。
在本发明的一个技术方面中，本文提供了一种控制从源设备发送的视频数据的宿设备，所述宿设备包括：接口单元，其被配置为通过Wi-Fi直连与所述源设备通信；接收单元，其被配置为接收语音信号；显示单元；以及控制器，其被配置为：通过网络接口单元将从所述源设备接收到的所述视频数据输出到显示单元，从与输出到所述显示单元的所述视频数据相对应的画面中识别文本，按照对应于与所述视频数据相对应的画面上的位置信息的方式将识别出的文本保存到存储器，将通过语音信号接收单元接收到的语音信号转换为文本，并且如果在识别出的文本中存在包括转换后的文本的至少一部分的特定文本，则通过所述网络接口单元向所述源设备发送与从与所述视频数据相对应的画面中选择所述特定文本的用户输入相对应的消息。
在本发明的另一技术方面，本文提供了一种用于控制从源设备发送的视频数据的宿设备，所述宿设备包括：接口单元，其被配置为通过Wi-Fi直连与所述源设备通信；接收单元，其被配置为接收语音信号；存储器，其被配置为存储能够通过用户输入反向信道UIBC发送到所述源设备的命令以及与所述命令相对应的文本的映射数据；显示单元；以及控制器，其被配置为：通过网络接口单元将从所述源设备接收到的所述视频数据输出到显示单元，将通过语音信号接收单元接收到的语音信号转换为文本，并且如果在与存储在所述存储器中的所述命令相对应的文本中存在包括转换后的文本的至少一部分的特定文本，则控制所述网络接口单元通过UIBC向所述源设备发送包括与所述特定文本相对应的命令的消息。
有益效果
根据本发明的多媒体设备及其控制方法的效果如下所述。
根据本发明的至少一个实施方式，能够提供一种解决方案，通过将从用户的语音信号转换后的文本转换成通过RTSP(实时时间流协议)或UIBC传送的命令，来将从用户的语音信号转换的所述文本发送到画面镜像上的源设备。
从下文给出的详细描述中，本发明的其它适用范围将变得显而易见。然而，应当理解，尽管指示本发明的优选实施方式的详细描述和具体示例仅仅是通过说明给出的，但是根据所述详细描述，在本发明的精神和范围内的各种变化和修改对于本领域技术人员将是显而易见的。
附图说明
图1是示出根据本发明的一个实施方式的作为源设备的移动终端的框图。
图2是示出根据本发明的一个实施方式的作为宿设备的显示设备的框图。
图3是示出图2的根据本发明的一个实施方式的控制器的详细元件的框图。
图4是连接到图2的根据本发明的一个实施方式的显示设备的输入装置的图。
图5是根据本发明的一个实施方式的建立用于画面镜像的源设备与宿设备之间的连接的方法的一个示例的流程图。
图6是示意性地描述根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的图。
图7是根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的一个示例的图。
图8是描述根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
图9是结合图8描述的根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的一个示例的图。
图10是描述根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的流程图。
图11和图12是结合图10描述的根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的一个示例的图。
图13和图14是结合图10描述的根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
图15是结合图10描述的根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
图16是结合图10描述的根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
图17是根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的一个示例的图。
图18是根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
图19是根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
图20是根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
图21是根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
图22是根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的又一示例的图。
具体实施方式
现在将参照附图，根据本文公开的示例性实施方式详细给出描述。为了参照附图简要描述，可为相同或等同的组件提供相同的标号，其描述将不再重复。通常，诸如“模块”和“单元”的后缀可用于指代元件或组件。本文使用这种后缀仅是为了方便说明书的描述，后缀本身并非旨在给予任何特殊含义或功能。在本公开中，为了简明起见，相关领域的普通技术人员熟知的内容已被省略。使用附图来帮助容易地理解各种技术特征，应该理解，本文呈现的实施方式不受附图的限制。因此，本公开应该被解释为扩展至附图中具体示出的更改形式、等同形式和替代形式以外的任何更改形式、等同形式和替代形式。
应当理解，尽管可在本文中使用术语第一、第二等描述各种元件，但是这些元件不应当受这些术语的限制。这些术语一般仅用于将一个元件与另一个元件相区分。
应当理解，当一个元件被称为“与”另一个元件“连接”时，该元件可以与另一个元件连接或中间元件也可以存在。相反，当一个元件被称为“与”另一个元件“直接连接”时，不存在中间元件。
单数表示可以包括复数表示，除非该单数表示根据上下文表示明确不同的含义。
在本文中使用的诸如“包括”或“具有”的术语应当理解为它们旨在指示本说明书中公开的多个部件、功能或步骤的存在，并且还应当理解的是，同样可以使用更多或更少的部件、功能或步骤。
图1是根据本发明的一个实施方式的将移动终端描述为源设备的一个示例的框图。在本说明书中描述的移动终端100可以包括蜂窝电话、智能电话、用户设备、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、便携式计算机(PC)、石板PC、平板PC、超级本、可穿戴装置(例如，智能手表、智能眼镜、头戴式显示器(HMD))等。
移动终端100包括诸如无线通信单元110、A/V输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180和电源单元190。应当理解，不要求实现图1所示的所有组件，可另选地实现更多或更少的组件。
特别地，组件中的无线通信单元110通常可以包括允许诸如移动终端100和无线通信系统之间的无线通信的通信的至少一个或更多个模块，移动终端100和另一个移动终端100之间的通信终端，移动终端100与外部服务器之间的通信。此外，无线通信单元110通常包括将移动终端100连接到至少一个或更多个网络的至少一个或更多个模块。
无线通信单元110可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114和位置定位模块115中的至少一个。
A/V输入单元120可以包括用于视频或图像信号输入的相机(或视频或图像输入单元)121，作为用于输入音频信号的一种类型的音频输入装置的麦克风122以及用于允许用户输入信息的用户输入单元123(例如，触摸键、按键(或机械键)等)。数据(例如，音频、视频、图像等)由A/V输入单元120获得，并且可被控制器180分析并处理成用户的控制命令。
通常可以利用被配置为感测移动终端的内部信息、移动终端的周围环境、用户信息等的一个或更多个传感器来实现感测单元140。例如，感测单元140包括接近传感器141和照度传感器142。如果需要，感测单元140可另选地或另外地包括其它类型的传感器或装置，例如触摸传感器、加速度传感器、磁传感器、重力传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如，相机121)、麦克风122、电池电量计、环境传感器(例如，气压计、湿度计、温度计、辐射检测传感器、热传感器和气体传感器等)和化学传感器(例如，电子鼻、保健传感器、生物传感器等)等。移动终端100可被配置为利用从感测单元140获得的信息，具体地讲，从感测单元140的一个或更多个传感器获得的信息及其组合。
输出单元150通常被配置为输出各种类型的信息，例如音频、视频、触觉输出等。输出单元150包括显示单元151、音频输出模块152、触觉模块153和光学输出模块154。为了方便触摸屏，显示单元151可具有与触摸传感器的中间层结构或集成结构。触摸屏可在移动终端100与用户之间提供输出接口，并且用作在移动终端100与用户之间提供输入接口的用户输入单元123。
接口单元160用作与可连接到移动终端100的各种类型的外部装置的接口。例如，接口单元160可包括任何有线或无线端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。在一些情况下，移动终端100可响应于外部装置连接到接口单元160而执行与连接的外部装置关联的各种控制功能。
存储器170通常被实现为存储用于支持移动终端100的各种功能或特征的数据。例如，存储器170可被配置为存储在移动终端100中执行的应用、用于移动终端100的操作的数据或指令等。这些应用中的一些应用可经由无线通信从外部服务器下载。其它应用可在制造或出厂时安装在移动终端100内，针对移动终端100的基本功能(例如，接电话、打电话、接收消息、发送消息等)，通常是这种情况。常见的是，应用被存储在存储器170中，被安装在移动终端100中，并由控制器180执行以执行移动终端100的操作(或功能)。
除了与应用关联的操作以外，控制器180通常还用于控制移动终端100的总体操作。控制器180可通过处理由前述描述中提及的各种组件输入或输出的信号、数据、信息等或者激活存储在存储器170中的应用来提供或处理适合于用户的信息或功能，或激活存储在存储器170中的应用。
此外，为了执行或运行保存在存储器170中的应用，控制器180可以控制图1所示的部分或全部组件。此外，为了执行或运行应用，控制器180可以以至少两个组件组合在一起的方式激活包括在移动终端100中的至少两个组件。
电源单元190可以被配置为接收外部电力或提供内部电力，以便提供对包括在移动终端100中的操作元件和组件进行操作所需的适当电力。电源单元190可以包括电池，并且所述电池可以被配置为嵌入终端主体中，或者被配置为可从终端主体拆卸。
前面描述中提到的至少一些组件可以协同工作以根据下面描述中提到的各种实施方式来实现移动终端的操作，控制或控制方法。此外，可以通过运行或执行存储在存储器170中的至少一个应用来在移动终端上实现移动终端的操作、控制和控制方法。
在研究通过移动终端100实现的各种实施方式之前，下面现在将参照图1更详细地描述上述组件。
首先，关于无线通信单元110，无线通信单元110的广播接收模块111通常被配置为经由广播频道从外部广播管理服务器接收广播信号和/或广播相关信息。广播频道可包括卫星频道、地面频道或这二者。在一些实施方式中，可使用两个或更多个广播接收模块111以方便同时接收两个或更多个广播频道或者支持在广播频道之间切换。
广播管理服务器可以是生成并发送广播信号和/或广播相关信息的服务器，或者是接收预先生成的广播信号和/或广播相关信息并且将这些项目发送到终端的服务器。广播信号可以使用TV广播信号、无线电广播信号、数据广播信号及其组合中的任一个来实现。在一些情况下，广播信号还可以包括与TV或无线电广播信号组合的数据广播信号。
可根据用于数字广播信号的发送和接收的各种技术标准或广播方法(例如，国际标准化组织(ISO)、国际电工委员会(IEC)、数字视频广播(DVB)、高级电视系统委员会(ATSC)等)中的任一种来对广播信号进行编码。广播接收模块111可利用适合于使用的发送方法的方法来接收数字广播信号。
广播相关信息的示例可以包括与广播频道、广播节目、广播事件、广播服务提供商等相关联的信息。广播相关信息也可以经由移动通信网络提供，并且在这种情况下由移动通信模块112接收。
广播相关信息可以以各种格式实现。例如，广播相关信息可以包括数字多媒体广播(DMB)的电子节目指南(EPG)、手持数字视频广播(DVB-H)的电子服务指南(ESG)等)。经由广播接收模块111接收的广播信号和/或广播相关信息可被存储在诸如存储器160的合适的装置中。
移动通信模块112可向至少一个或更多个网络实体发送无线信号和/或从其接收无线信号。网络实体的典型示例包括基站、外部移动终端、服务器等。这些网络实体形成移动通信网络的一部分，根据移动通信的技术标准或通信方法(例如，全球移动通信系统(GSM)、码分多址(CDMA)、CDMA2000(码分多址2000)、EV-DO(增强型优化语音数据或增强型仅语音数据)、宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等)来构建所述移动通信网络。
经由移动通信模块112发送和/或接收的无线信号的示例包括音频呼叫信号、视频(电话)呼叫信号或者支持文本和多媒体消息的通信的各种格式的数据。
无线互联网模块113被配置为方便无线互联网接入。此模块可从内部或外部联接到移动终端100。无线互联网模块113可以被配置为根据无线互联网技术经由通信网络发送和/或接收无线信号。
这种无线互联网接入的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(WiBro)、全球微波接入互操作性(WiMAX)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等。无线互联网模块113可根据这些无线互联网技术以及其它互联网技术中的至少以一种来发送/接收数据。
在一些实施方式中，当根据例如WiBro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LTE、LTE-A等实现作为移动通信网络的一部分的无线互联网接入时，无线互联网模块113执行这种无线互联网接入。因此，互联网模块113可与移动通信模块112协作或用作移动通信模块112。
短距离通信模块114被配置为方便短距离通信。用于实现这些短距离通信的合适的技术包括BLUETOOTHTM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂(ZigBee)、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连、无线USB(无线通用串行总线)等。短距离通信模块114通常经由无线局域网支持移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端100之间的通信或者移动终端与另一移动终端100(或外部服务器)所在的网络之间的通信。无线局域网的一个示例是无线个域网。
在一些实施方式中，另一移动终端(可类似于移动终端100来配置)可以是能够与移动终端100交换数据(或者与移动终端100协作)的可穿戴装置(例如，智能手表、智能眼镜或头戴式显示器(HMD))。短距离通信模块114可感测或识别可穿戴装置，并允许可穿戴装置与移动终端100之间的通信。另外，当所感测到的可穿戴装置是被验证为与移动终端100进行通信的装置时，例如，控制器180可将在移动终端100中处理的数据的至少一部分经由短距离通信模块114发送给可穿戴装置。因此，可穿戴装置的用户可在可穿戴装置上使用在移动终端100中处理的数据。例如，当在移动终端100中接收到呼叫时，用户可利用可穿戴装置来对该呼叫进行应答。另外，当在移动终端100中接收到消息时，用户可利用可穿戴装置来查看所接收到的消息。
位置定位模块115通常被配置为检测、计算、推导或者标识移动终端的位置。作为代表性示例，位置定位模块115包括全球定位系统(GPS)模块、Wi-Fi模块或这二者。例如，如果利用GPS(全球定位系统)模块，则移动终端可以使用由GPS卫星发送的信号来获取移动终端的位置。又例如，如果利用Wi-Fi模块，移动终端可以基于被配置为向Wi-Fi模块发送无线信号或从Wi-Fi模块接收无线信号的无线AP(接入点)的信息来获得其位置。如果需要，位置定位模块115可以替代地或附加地与无线通信单元110的任何其它模块一起工作，以获得与移动终端的位置有关的数据。位置定位模块115可以包括用于获得移动终端的位置(或当前位置)的模块，并且不限于用于直接计算或获得移动终端的位置的模块。
A/V输入单元120可以被配置为允许对移动终端120的各种类型的输入。这种输入的示例包括图像(或视频)信息(或信号)、音频信息(或信号)、数据和用户输入。对于图像或视频信息的输入，移动终端100可以包括一个或更多个相机121。这些相机121可对在视频或图像拍摄模式下通过图像传感器获得的静止画面或视频的图像帧进行处理。经处理的图像帧可被显示在显示单元151上或者被存储在存储器170中。在一些情况下，相机121可按照矩阵配置布置，以使得具有各种角度或焦点的多个图像能够被输入至移动终端100。作为另一示例，相机121可按照立体布置方式来设置，以获取用于实现立体图像的左图像和右图像。
麦克风122将外部声音信号处理成音频数据。可以根据当前在移动终端100中运行的功能(或应用)来按照各种方式处理利用这些音频数据。如果需要，麦克风122可包括各种噪声去除算法以去除在接收外部音频的过程中生成的不期望的噪声。
用户输入单元123是允许用户输入的组件。如果通过用户输入单元123输入信息，则控制器180可以控制移动终端100的操作以对应于输入的信息。用户输入单元123可以包括机械输入装置(例如，位于移动终端100的正面和/或背面或侧面的键、按钮、薄膜开关、滚轮、触合式开关等)或者触敏输入装置等中的至少一个。作为一个示例，触敏输入装置可以是通过软件处理在触摸屏上显示的虚拟键、软键或视觉键，或者设置在移动终端上的触摸屏以外的位置处的触摸键。另一方面，虚拟键或视觉键可以以各种形状(例如，图形、文本、图标、视频或其组合)显示在触摸屏上。
同时，感测单元140通常被配置为感测移动终端的内部信息、移动终端的周围环境信息、用户信息等中的至少一个，然后产生对应于感测信息的感测。基于感测信号，控制器180通常与感测单元140协作以基于感测单元140所提供的感测来控制移动终端100的操作或者执行与安装在移动终端中的应用关联的数据处理、功能或操作。可利用各种传感器中的任何传感器来实现感测单元140，现在将更详细地描述其中一些传感器。
首先，接近传感器141可包括在没有机械接触的情况下，利用电磁场、红外线等来感测是否存在靠近表面的物体或者位于表面附近的物体的传感器。接近传感器141可布置在移动终端被触摸屏覆盖的内侧区域处或触摸屏附近。
例如，接近传感器141可包括透射型光电传感器、直接反射型光电传感器、反射镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等中的任何传感器。当触摸屏被实现为电容型时，接近传感器141可通过电磁场响应于导电物体的靠近而发生的变化来感测指点器相对于触摸屏的接近。在这种情况下，触摸屏(触摸传感器)也可被归类为接近传感器。
为了下面的描述的清楚，本文中常常将提及术语“接近触摸”以表示指点器被设置为在没有接触触摸屏的情况下接近触摸屏的情景。本文中常常将提及术语“接触触摸”以表示指点器与触摸屏进行物理接触的情景。对于与指点器相对于触摸屏的接近触摸对应的位置，这种位置将对应于指点器垂直于触摸屏的位置。接近传感器141可感测接近触摸以及接近触摸模式(例如，距离、方向、速度、时间、位置、移动状态等)。通常，控制器180对与接近传感器141所感测的接近触摸和接近触摸模式对应的数据进行处理，并使得在触摸屏上输出视觉信息。另外，控制器180可根据对触摸屏上的点的触摸是接近触摸还是接触触摸来控制移动终端100执行不同的操作或者处理不同的数据。
触摸传感器可利用各种触摸方法中的任何触摸方法来感测施加到触摸屏(例如，显示单元151)的触摸。这些触摸方法的示例包括电阻型、电容型、红外型和磁场型等。
作为一个示例，触摸传感器可被配置为将施加到显示单元151的特定部分的压力的变化或者在显示单元151的特定部分处发生的电容的变化转换为电输入信号。触摸传感器还可被配置为不仅感测触摸位置和触摸面积，而且感测触摸压力和/或触摸电容。通常使用触摸物体来对触摸传感器施加触摸输入。典型的触摸物体的示例包括手指、触摸笔、手写笔、指点器等。
当通过触摸传感器感测到触摸输入时，可将对应信号发送给触摸控制器。触摸控制器可对所接收到的信号进行处理，然后将对应数据发送给控制器180。因此，控制器180可感测显示单元151的哪一区域被触摸。这里，触摸控制器可以是独立于控制器180的组件、控制器180及其组合。
在一些实施方式中，控制器180可以根据对触摸屏或者除触摸屏以外设置的触摸键进行触摸的一种触摸物体来执行相同或不同的控制。例如，根据提供触摸输入的物体是执行相同的控制还是不同的控制可基于移动终端100的当前操作状态或者当前执行的应用来决定。
触摸传感器和接近传感器可单独实现或者组合实现，以感测各种类型的触摸。这些触摸包括短(或轻敲)触摸、长触摸、多触摸、拖曳触摸、轻拂触摸、缩小触摸、放大触摸、轻扫触摸、悬停触摸等。
如果需要，可实现超声传感器以利用超声波来识别与触摸物体有关的位置信息。例如，控制器180可基于由照度传感器和多个超声传感器感测的信息来计算波生成源的位置。由于光远比超声波快，所以光到达光学传感器的时间远比超声波到达超声传感器的时间短。可利用这一事实来计算波生成源的位置。例如，可以基于作为参考信号的光、利用相对于超声波到达传感器的时间的时间差来计算波生成源的位置。
相机121被描述为A/V输入单元120的一个部件，并且通常包括相机传感器(CCD，CMOS等)、光传感器(或图像传感器)和激光传感器中的至少一个。
利用激光传感器实现相机121可允许检测物理对象相对于3D立体图像的触摸。光电传感器可被层压在显示装置上或者与显示装置交叠。光电传感器可被配置为对接近触摸屏的物理对象的移动进行扫描。更详细地讲，光电传感器可包括成行和列的光电二极管和晶体管，以利用根据施加的光的量而变化的电信号来对光电传感器处接收的内容进行扫描。即，光电传感器可根据光的变化来计算物理对象的坐标，从而获得物理对象的位置信息。
显示单元151通常被配置为显示(或输出)在移动终端100中处理的信息。例如，显示单元151可以显示在移动终端100上运行的应用的运行画面信息、响应于运行画面信息的用户界面(UI)信息和/或响应于运行画面信息的图形用户界面(GUI)信息。
在一些实施方式中，显示单元151可以被实现为用于显示立体图像的立体显示单元。
典型的立体显示单元可采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等的立体显示方案。
通常，3D立体图像可包括左图像(例如，左眼图像)和右图像(例如，右眼图像)。根据左图像和右图像如何组合成3D立体图像，3D立体成像方法可分为左图像和右图像在帧中上下布置的上下方法、左图像和右图像在帧中左右布置的L至R(左至右或并排)方法、左图像和右图像的片段以拼块(tile)形式布置的棋盘格方法、左图像和右图像按照列或行交替布置的交织方法以及左图像和右图像基于时间交替显示的时间顺序(逐帧)方法。
另外，对于3D缩略图图像，可分别从原始图像帧的左图像和右图像生成左图像缩略图和右图像缩略图，然后将其组合以生成单个3D缩略图图像。通常，术语“缩略图”可用于表示缩小的图像或者缩小的静止图像。生成的左图像缩略图和右图像缩略图可按照与左图像和右图像之间的视差对应的深度利用二者间的水平距离差来显示在画面上，从而提供立体空间感。
可利用立体处理单元将实现3D立体图像所需的左图像和右图像显示在立体显示单元上。立体处理单元可接收3D图像并提取左图像和右图像，或者可接收2D图像并将其改变为左图像和右图像。
音频输出模块152通常被配置为输出音频数据。这些音频数据可从多种不同的源中的任何源获得，使得所述音频数据可从无线通信单元110接收或者可存储在存储器170中。所述音频数据可在诸如信号接收模式、呼叫模式、录制模式、语音识别模式、广播接收模式等的模式期间输出。音频输出模块152可提供与移动终端100所执行的特定功能有关的可听输出(例如，呼叫信号接收音、消息接收音等)。音频输出模块152还可被实现为受话器、扬声器、蜂鸣器等。
触觉模块153可被配置为产生用户感测到的各种触觉效果。由触觉模块153产生的触觉效果的典型示例是振动。由触觉模块153产生的振动的强度、模式等可通过用户选择或控制器的设定来控制。例如，触觉模块153可以将不同的振动组合到一起并输出，或者以顺序的方式输出不同的振动。
除了振动以外，触觉模块153可产生各种其它触觉效果，包括诸如插针排列向接触皮肤表面垂直移动、通过喷射孔或抽吸开口的空气的喷射力或抽吸力、对皮肤的触摸、电极的接触、静电力等的刺激效果、利用能够吸热或发热的元件再现冷和热的感觉的效果等。
除了通过直接接触传递触觉效果以外，触觉模块153还可被实现为使得用户能够通过诸如用户的手指或手臂的肌肉觉来感觉到触觉效果。可根据移动终端100的特定配置设置两个或更多个触觉模块153。
光学输出模块154可输出用于利用光源的光指示事件的发生的信号。移动终端100中发生的事件的示例可包括消息接收、呼叫信号接收、未接呼叫、闹钟、日程提醒、电子邮件接收、通过应用的信息接收等。
由光学输出模块154输出的信号可被实现为使得移动终端发射单色光或多种颜色的光。例如，随着移动终端感测到用户已查看所发生的事件，信号输出可被终止。
接口单元160用作要与移动终端100连接的所有外部装置的接口。例如，接口单元160可接收从外部装置发送来的数据，接收电力以传送给移动终端100内的元件和组件，或者将移动终端100的内部数据发送给这种外部装置。接口单元160可包括有线或无线头戴式耳机端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。
所述标识模块可以包括被配置为存储用于验证移动终端100的使用权限的各种信息的芯片，并且可包括用户标识模块(UIM)、订户标识模块(SIM)、全球订户标识模块(USIM)等。另外，具有标识模块的装置(本文中也称作“标识装置”)可以智能卡的形式制造。因此，标识装置可经由接口单元160与移动终端100连接。
当移动终端100与外部托架连接时，接口单元160可用作使得能够将来自托架的电力供应给移动终端100的频道，或者可用作使得能够用来将由用户从托架输入的各种命令信号传送给移动终端的频道。从托架输入的各种命令信号或电力可用作用于识别出移动终端被正确安装在托架上的信号。
存储器170可存储用于支持控制器180的操作的程序，并临时存储输入/输出数据(例如，电话簿、消息、静止图像、视频等)。存储器170可存储与响应于触摸屏上的触摸输入而输出的各种模式的振动和音频有关的数据。
存储器170可包括各种类型的存储介质中的至少一种，包括闪存、硬盘、固态盘、硅磁盘、微型多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等。移动终端100还可与在诸如互联网的网络上执行存储器170的存储功能的网络存储装置有关地操作。
如前面的描述中所述，控制器180控制与应用相关的操作，并且通常可以控制移动终端100的整体操作。如果移动终端的状态满足预设条件，则控制器180可设定或解除用于限制用户相对于应用输入控制命令的锁定状态。
控制器180还可执行与语音呼叫、数据通信、视频呼叫等关联的控制和处理，或者执行模式识别处理以将触摸屏上进行的手写输入或绘画输入分别识别为字符或图像。另外，控制器180可控制那些组件中的一个或其组合，以便实现本文公开的各种示例性实施方式。
电源单元190在控制器180的控制下接收外部或内部电力，然后提供用于操作各个元件和组件所需的电力。电源单元190可以包括电池，其通常是可再充电的或者可拆卸地耦合到终端主体以便于充电。
电源单元190可以包括连接端口。连接端口可以被配置为接口单元160的一个示例，用于供应电力以对电池进行再充电的外部充电器可电连接到该连接端口。
作为另一示例，电源单元190可被配置为以无线方式对电池进行再充电，而不使用连接端口。在此示例中，电源单元190可利用基于磁感应的电感耦合方法或基于电磁共振的磁共振耦合方法中的至少一种来接收从外部无线电力发送器传送的电力。
同时，本文所述的各种实施方式可利用例如软件、硬件或其任何组合来在计算机可读介质、机器可读介质或类似介质中实现。
图2是用于描述根据本发明的一个实施方式的作为宿设备的一个示例的显示设备的框图。
参照图2，显示设备200可以包括广播接收单元205、外部设备接口235、存储单元240、用户输入接口250、控制器270、显示单元280、音频输出单元285、电源单元290和拍摄单元(未示出)。广播接收单元205可以包括一个或更多个调谐器210，解调器220和网络接口230中的至少一个。然而，在一些情况下，广播接收单元205可以包括调谐器210和解调器220而没有网络接口230，或者可以包括网络接口230而没有调谐器210和解调器220。广播接收单元205可以包括复用器(未示出)，其对经过调谐器210并由解调器220解调的信号，以及通过网络接口230接收的信号进行复用。此外，广播接收单元205可以包括解复用器(未示出)，其对复用的信号、解调的信号或通过网络接口230接收的信号进行解复用。
调谐器210可以通过调谐到由用户选择的频道或通过天线接收的RF广播信号中的所有先前存储的频道来接收射频(RF)广播信号。并且，调谐器210将接收到的RF广播信号转换为IF(中频)信号或基带信号。
例如，如果接收到的RF广播信号是数字广播信号，则将其转换为数字IF(DIF)信号。如果接收的RF广播信号是模拟信号，则将其转换为模拟基带视频/音频信号(CVBS/SIF)。即，调谐器210能够处理数字广播信号和模拟信号两者。从调谐器210输出的模拟基带视频/音频信号(CVBS/SIF)可以直接输入到控制器270。
调谐器210可以接收单载波或多载波的RF广播信号。调谐器210在通过天线接收的RF广播信号中顺序调谐并接收通过频道存储功能存储的所有广播频道的RF广播信号，然后能够将其转换成中间频率信号或基带信号(DIF：数字中频或基带信号)。
解调器220接收并解调由调谐器210转换的数字IF信号(DIF)，并且然后能够传送解码等。为此，解调器220可以包括网格解码器、去交织器、里德-所罗门解码器等，或者可以包括卷积解码器、解交织器、里德-所罗门解码器等。
解调器220执行解调和频道解码，然后能够输出流信号TS。在这种情况下，流信号可以包括复用视频信号，音频信号和/或数据信号的信号。例如，流信号可以包括其中PMEG-2的视频信号和杜比AC-3的音频信号被复用的MPEG-2TS(传输流)。
从解调器220输出的流信号可以被输入到控制器270。控制器270可以控制解复用，音频/视频信号处理等。此外，控制器270可以通过显示器280和音频输出单元285来分别控制视频和音频的输出。
外部设备接口235可以在显示设备300和各种外部设备之间提供接口环境。为此，外部设备接口235可以包括A/V输入/输出单元(未示出)或无线通信单元(未示出)。
外部设备接口235可以通过有线/无线的方式与诸如数字通用盘(DVD)，蓝光播放器、游戏设备、相机、摄像机、计算机(笔记本电脑)、平板电脑、智能手机、云端等连接。外部设备接口235将通过连接的外部设备输入的包含诸如图像、视频、音频等的数据的信号递送到显示设备的控制器270。控制器270可以控制经处理的图像，视频和音频等的数据信号输出到连接的外部设备。为此，外部设备接口235还可以包括A/V输入/输出单元(未示出)或无线通信单元(未示出)。
为了将外部设备的视频和音频信号输入到显示设备200，A/V输入/输出单元可以包括USB(通用串行总线)终端、复合视频消隐同步(CVBS)终端、组件终端、S-视频终端(模拟)、数字视频接口(DVI)终端、高分辨率多媒体接口(HDMI)终端、RGB终端、D-SUB终端等。
无线通信单元可以执行与另一显示设备的短距离无线通信。显示设备200可以通过诸如蓝牙、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee和数字生活网络联盟(DLNA)等通信协议与其它显示设备联网。
外部设备接口235可以利用通过与上述终端中的至少一个连接的机顶盒(STB)来执行输入/输出操作。
同时，外部设备接口235可以相邻的外部设备内接收应用或应用列表，然后将其转发到控制器270或存储单元240。
网络接口230可以提供用于将显示设备200连接到包括互联网的有线/无线网络的接口。网络接口230可以具有例如用于访问有线网络的以太网终端等。为了访问无线网络，网络接口230可以使用诸如WLAN(无线LAN)(Wi-Fi)，Wibro(无线宽带)，Wimax(世界微波接入互操作性))，HSDPA(高速下行链路分组访问)等通信规范。
网络接口230可以通过所访问的网络或链接到所访问的网络的另一网络来与另一用户或另一显示设备收发数据。特别地，网络接口230可以将存储在显示设备200中的内容数据的一部分发送到从先前在显示设备200上登记的其它用户/显示设备中选择的用户/显示设备。
同时，网络接口230可以通过所访问的网络或链接到所访问的网络的另一网络访问规定的网页。即，网络接口230通过网络访问规定的网页，然后能够与对应的服务器收发数据。此外，网络接口230可以接收由内容提供商或网络运营商提供的内容或数据。也就是说，网络接口230可以通过网络接收由内容提供商或网络提供商提供的内容(例如，电影、广告、游戏、VOD、广播信号等)以及与内容相关联的信息。网络接口230可以接收由网络运营商提供的固件的更新信息和文件。并且，网络接口230可以向互联网或内容提供商或网络运营商发送数据。
此外，网络接口230可以从打开的应用中选择期望的应用并通过网络接收它。
存储单元240可以存储用于控制器270内的各种信号处理和控制的程序，并且还可以存储经处理的视频、音频或数据信号。
此外，存储单元240可以执行临时存储从外部设备接口235或网络接口230输入的视频，音频或数据信号的功能。存储单元240可以通过频道存储器功能来存储关于规定的广播频道的信息频道。
存储单元240可以存储从外部设备接口235或网络接口230输入的应用或应用列表。
并且，存储单元240可以存储稍后将描述的各种平台。
存储单元240可以包括诸如闪存型、硬盘型、多媒体卡微型、卡型存储器(例如SD或XD存储器)，RAM，EEPROM等中的一种或更多种类型的存储介质。显示设备200可以播放存储在存储单元240中的内容文件(视频文件、静止图像文件、音乐文件、文本文件、应用文件等)并将其提供给用户。
图2示出了其中存储单元240与控制器270分离的实施方式，本发明不限于此。换句话说，存储单元240可以包括在控制器270中。
用户输入接口250可以将由用户输入的信号转发到控制器270或将从控制器270输出的信号转发给用户。
例如，用户输入接口250可以从遥控器400接收用于电源开/关、频道选择、画面设置等的控制信号，或者根据诸如RF通信、IR通信等各种通信方案将控制器270的控制信号发送到遥控器400。
用户输入接口250可以将通过电源键、频道键、音量键和本地键(未示出)输入的、用于设置值等的控制信号转发到控制器270。
用户输入接口250可以将从感测到用户手势的感测单元(未示出)输入的控制信号转发到控制器270，或者将控制器270的信号发送到感测单元(未示出)。这里，感测单元(未示出)可以包括触摸传感器、语音传感器、位置传感器、动作传感器等。
控制器270可以利用对通过调谐器210、解调器220或外部设备接口235输入的流进行复用或处理解复用的信号来生成用于视频或音频输出的信号，并且输出该信号。
由控制器270处理的视频信号可以被输入到显示单元380并显示为对应于视频信号的图像。此外，由控制器270进行视频处理的视频信号可以通过外部设备接口235输入到外部输出设备。
由控制器270处理的音频信号可以被音频输出到音频输出单元285。此外，由控制器270处理的音频信号可以通过外部设备接口235输入到外部输出设备。
控制器270可以包括在图2中未示出的解复用器、图像处理器等。
控制器270可以控制显示设备200的整体操作。例如，控制器270可以控制调谐器210调谐到对应于由用户选择的频道或先前存储的频道的RF广播。
控制器270可以根据通过用户输入接口250的用户命令输入或内部程序来控制显示设备200。特别地，控制器270可以控制显示设备200访问网络以将用户所期望的应用或应用列表下载到显示设备200。
例如，控制器270可以控制调谐器210接收响应于通过用户输入接口250接收到的规定频道选择命令而选择的频道的信号。并且，控制器270可处理所选择的频道的视频、音频或数据信号。控制器270可以通过显示单元280或音频输出单元285控制与用户选择的频道有关的信息与经处理的视频或音频信号一起输出。
对于另一示例，控制器270可以控制通过外部设备接口单元235从外部设备(例如，相机或摄像机)输入的视频信号或音频信号，以响应于通过用户输入接口250接收到的外部设备图像播放命令来通过显示器输出单元280或音频输出单元285输出。
同时，控制器270可以控制显示单元280显示视频。例如，控制器270可以控制通过调谐器210输入的广播视频、通过外部设备接口235输入的外部输入视频、通过网络接口230输入的视频或存储在存储单元240中的视频显示在显示单元280上。这里，显示在显示单元280上的视频可以包括静止图像或运动图像，或者可以包括2D或3D视频。
控制器270可以控制要播放的内容。这里，所述内容可以包括存储在显示设备200中的内容，接收到的广播内容或从外部输入的内容。所述内容可以包括广播视频、外部输入视频、音频文件、静止图像、被访问的网络画面和文档文件中的至少一个。
控制器270可以控制位于显示设备300中或从外部网络下载的应用或应用列表以当输入应用视图菜单时显示。
控制器270可以与各种用户界面一起控制从外部网络下载的应用的安装和执行。此外，控制器270可以通过用户的选择控制与所启动的应用相关的视频显示在显示单元280上。
同时，还可以包括被配置为生成对应于频道信号或外部输入信号的缩略图像的频道浏览处理器(未示出)。
频道浏览处理器可以接收从解调器220输出的流信号(TS)的输入或从外部设备接口235输出的流信号的输入，从输入的流信号中提取视频，然后生成缩略图。所生成的缩略图可以被直接输入到控制器270，或者可以通过编码被输入到控制器270。此外，生成的缩略图可以被编码成流，然后被输入到控制器270。控制器270可以使用输入的缩略图在显示单元280上显示包括多个缩略图的缩略图列表。包括在缩略图列表中的缩略图可以顺序地或同时地更新。因此，用户可以方便地检查多个广播频道的内容。
显示单元280可以将由控制器270处理的视频信号、数据信号和OSD信号中的每一个或从外部设备接口235接收的视频信号和数据信号中的每一个转换为R、G和B信号以生成驱动信号。
显示单元280可以包括PDP、LCD、OLED、柔性显示器、3D显示器等。
显示单元280可以被配置为触摸屏并用作输入设备以及输出设备。
音频输出单元285接收由控制器270进行音频处理的信号(例如，立体声信号、3.1声道信号或5.1声道信号)，然后将接收的信号作为音频输出。音频输出单元285可以被配置为各种类型的扬声器中的一种。
同时，显示设备200还可以包括用于感测用户的手势的感测单元(未示出)，该感测单元包括触摸传感器、语音传感器、位置传感器和动作传感器中的至少一个，如上所述。由感测单元(未示出)感测到的信号可以通过用户输入接口250被递送到控制器270。
显示设备200还可以包括用于拍摄用户的拍摄单元(未示出)。可以将由拍摄单元(未示出)获取的图像信息输入到控制器270。
控制器270可以从由拍摄单元(未示出)捕获的图像或由感测单元(未示出)感测到的信号、或通过组合图像和信号来感测用户的手势。
电源单元290可以向显示设备200提供相应的电力。
特别地，电源单元290可以向可配置为片上系统(SoC)的控制器270、用于视频显示的显示单元280和用于音频输出的音频输出单元285提供电力。
为此，电源单元290可以包括被配置为将AC电力转换为DC电力的转换器(未示出)。同时，例如，如果显示单元280被配置为具有多个背光灯的LCD面板，则电源单元290还可以包括能够进行亮度变化的PWM(脉宽调制)操作的逆变器(未示出)或者调光驱动。
遥控器400向用户输入接口250发送用户输入。为此，遥控器400可以使用蓝牙、RF通信、IR通信、UWB、ZigBee等。
此外，遥控器400可以接收从用户输入接口250输出的音频、视频或数据信号，然后显示接收的信号或输出与音频或振动相同的信号。
上述显示设备200可以包括能够处理固定或移动类型的ATSC或DVB的数字广播信号的数字广播接收机。
关于根据本发明的显示设备，可以省略一些所示的组件，或者可以根据需要进一步添加新的组件(未示出)。另一方面，与上述显示设备不同，显示设备可以不包括调谐器和解调器，并且可以通过经网络接口或外部设备接口接收内容来播放该内容。
图3是示出图2的根据本发明的一个实施方式的各个控制器的详细元件的框图。
控制器270的一个示例可以包括解复用器310、视频处理器320、OSD生成器340、混合器350、帧速率转换器(FRC)355和格式化器360。此外，控制器还可以包括音频处理器和数据处理器(未示出)。
解复用器310解复用输入的流。例如，解复用器310可以将输入的流信号解复用为MPEG-2TS视频、音频和数据信号。这里，输入到解复用器的流信号可以包括从调谐器、解调器或外部设备接口输出的流信号。
视频处理器320执行解复用的视频信号的视频处理。为此，视频处理器320可以包括视频解码器325和定标器335。
视频解码器325可对解复用的视频信号进行解码，并且定标器335可缩放经解码的视频信号的分辨率以能够从显示器输出。
视频解码器325可以支持各种规格。例如，如果视频信号由MPEG-2编码，则视频解码器325执行MPEG-2解码器的功能。并且，如果视频信号由DMB(数字多媒体广播)或H.264编码，则视频解码器325执行H.264解码器的功能。
同时，由图像处理器320解码的视频信号被输入到混合器350。
OSD生成器340可以根据用户输入或其自身生成OSD数据。例如，OSD生成器340可以基于用户输入接口的控制信号生成以图形或文本形式显示在显示器380的画面上的数据。所生成的OSD数据可以包括各种数据，例如显示设备的用户界面画面、各种菜单画面、小部件、图标、观看速率信息等。OSD生成器340可以生成数据以显示广播视频或基于EPG的广播信息的标题。
混合器350将由OSD生成器340生成的OSD数据和由视频处理器320处理的视频信号混合。然后，混合器350将混合信号提供给格式化器360。通过混合经解码的视频信号和OSD数据，以与广播视频或外部输入视频交叠的方式显示OSD。
帧速率转换器(FRC)355可以转换输入视频的帧速率。例如，帧速率转换器355可以根据显示单元的输出频率将输入的60Hz视频的帧速率转换为120Hz或240Hz的帧速率。如上所述，可以存在转换帧速率的各种方法。例如，在从60Hz将帧速率转换为120HZ的情况下，帧速率转换器355可以通过在第一帧和第二帧之间插入第一帧或插入从第一帧和第二帧预测的第三帧来执行转换。另一种情况下，在从60Hz将帧速率转换为240Hz的情况下，帧速率转换器355可以通过在现有帧之间进一步插入三个相同或预测的帧来执行转换。同时，在不执行单独的帧转换的情况下，帧速率转换器355可以被旁路。
格式化器360可以改变输入到其中的帧速率转换器355的输出以适合显示单元的输出格式。例如，格式器360可以输出RGB数据信号。在这种情况下，该RGB数据信号可以作为低电压差分信号(LVDS)或迷你LVDS输出。如果帧速率转换器355的输入输出是3D视频信号，则格式器360通过配置3D格式输出信号以适应显示单元的输出格式，从而可以通过显示单元支持3D服务。
同时，控制器中的音频处理器(未示出)可以执行解复用的音频信号的音频处理。这样的音频处理器(未示出)可以提供处理各种音频格式的支持。例如，如果以MPEG-2、MPEG-4、AAC、HE-AAC、AC-3、BSAC等格式对音频信号进行编码，则还包括处理音频信号的对应解码器。
并且，控制器中的音频处理器(未示出)可以处理低音、高音、音量调节等。
控制器中的数据处理器(未示出)可以处理经解复用的数据信号。例如，当经解复用的数据信号被编码时，数据处理器可以对编码的解复用数据信号进行解码。这里，编码数据信号可以是包括诸如在每个频道上广播的广播节目的开始和结束时间的广播信息的EPG信息等。
同时，上述数字设备是根据本发明的一个示例。并且，根据实际体现的数字设备的选项，至少一个组件可以被集成、添加或省略。特别地，如果需要，可以将至少两种或更多种组件整合到单一组件中，或者将规定组件分成至少两种或多种组件。此外，提供由每个块执行的功能来描述本发明的一个实施方式。用于该功能的详细操作或设备可以不限于本发明的所附权利要求及其等同物的范围。
同时，数字设备可以包括被配置为处理保存在相应设备中的图像的信号或输入图像的信号的图像信号处理设备。图像信号处理装置的示例可以包括未包括图2所示的显示单元280和音频输出单元285的机顶盒(STB)、上述DVD播放机、蓝光播放器、游戏机、计算机等。
根据本发明的实施方式，作为宿设备操作的显示设备200可以包括音频信号接收单元(未示出)。显示设备200的音频信号接收单元接收音频信号。音频信号接收单元可以包括直接连接外部音频信号的麦克风，并将其转换为电音频信号，或者可以从外部设备接收电音频信号。在后一种情况下，音频信号接收单元可以被实现为网络接口单元230、外部设备接口单元235和用户接口单元250中的至少一个。
同时，根据本发明的一个实施方式，存储单元240可以存储能够将接收到的音频信号转换为文本的文本转换算法。控制器270可以使用存储在存储单元240中的文本转换算法将接收到的音频信号转换为文本。
此外，根据本发明的一个实施方式，存储单元240可以存储用于识别显示在显示单元280的画面上的文本和图像中的对象的算法。
图4是连接到图2的根据本发明的一个实施方式的各个显示设备的输入装置的图。
为了控制显示设备200，使用安装在显示设备200中的前面板(图中未示出)或控制装置(例如，输入装置)。
同时，作为能够进行有线/无线通信的用户接口设备(UID)，控制装置包括远程控制器410、键盘430、指点设备420、触摸板等，主要体现为控制显示设备200的目的。并且，也可以包括连接到显示设备200的专用于外部输入的控制装置。此外，虽然不具有控制显示设备200的目的，控制装置还可以包括能够通过模式切换等控制显示设备200的移动装置(例如，智能电话、平板PC等)。为了清楚起见，将指示设备作为本说明书中的描述的一个示例，但是本发明不限于此。
根据需要，输入装置可以采用至少一种通信协议来与显示设备进行通信。在这种情况下，通信协议可以包括蓝牙、RFID(射频识别)、IrDA(红外数据关联)、UWB(超宽带)、ZigBee、DLNA(数字生活网络联盟)、RS等。
遥控器410是设置有控制显示设备200所需的各种按键的通用输入装置。
设置有陀螺仪传感器等的指点设备420通过基于用户的运动、压力、旋转等将显示设备200的画面上的对应指点器体现在显示设备200上，从而将规定的控制命令递送到显示设备200。指点设备420可以被称为各种名称中的一种，例如魔术遥控器、魔术控制器等。
由于显示设备200是能够提供诸如网络浏览器、应用、SNS(社交网络服务)等的各种服务以及广播的智能集成显示设备，因此难以使用传统的遥控器410来控制显示设备200。因此，键盘430被实施为类似于PC键盘的配置，以通过补充控制难度来促进文本等的输入。
同时，诸如遥控器410、指点设备420、键盘430等的控制装置根据需要设置有触摸板，并且可用于促进文本输入，指点器移位、放大/缩小照片或视频等等各种控制目的。
在下面的描述中，将参照图5至图22来详细描述本发明的实施方式。根据下面的本实施方式，例如，成为画面镜像中的内容的发送实体的源设备包括参照图1描述的移动终端100，成为内容的接收实体的宿设备包括参照图2描述的显示设备200，但是本发明不限于此。
图5是根据本发明的一个实施方式的建立用于画面镜像的源设备与宿设备之间的连接的方法的一个示例的流程图。移动终端100的无线通信单元110激活Wi-Fi直连功能。如果检测到用于选择画面镜像菜单的用户输入，则无线通信单元110执行用于搜索环境的设备发现，以便于设备能够使用Wi-Fi直连进行通信[S510]。在这种情况下，无线通信单元110可以包括无线互联网模块113或短距离通信模块114。作为执行设备发现的结果，假设显示设备200被发现为能够通过Wi-Fi直连与移动终端100通信的设备。
移动终端100的无线通信单元110建立与发现的显示设备200的连接[S520]，然后执行与显示设备的的能力协商以在二者之间交换信息[S530]。并且，移动终端100的无线通信单元110建立到显示设备200的RTSP(实时流协议)连接[S540]。此后，移动终端100的控制器180可以通过基于RTSP的播放命令向显示设备200发送与输出到显示单元151的画面相对应的内容。
图6是示意性地描述根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的图。
根据前面参照图5的描述，假设Wi-Fi直连的无线通信在移动终端100和显示设备200之间建立。显示设备200的控制器270控制网络接口单元230从移动终端100接收数据(流数据)，并且能够将包含在接收数据中的视频数据输出到显示单元280。因此，移动终端100的显示单元151的画面可以被镜像在显示设备200的显示单元280的画面中。根据实施方式，如果音频数据被包括在数据中，则控制器270可以将音频数据输出到音频输出单元285。
根据本发明的一个实施方式，用户可以通过语音识别来控制从源设备发送的数据。例如，显示设备200侧的用户可以通过语音识别来控制移动终端100的显示单元151的画面。
特别地，显示设备200的控制器270通过语音信号接收单元接收语音信号。例如，语音信号接收单元可以从遥控器400接收语音信号，该语音信号通过将由内置在遥控器400中的麦克风获得的外部声音转换成电气形式而生成。显示设备200的控制器270将接收到的语音信号转换为文本[语言到文本]，检测与转换后的文本相对应的用户输入，然后将与检测到的用户输入相对应的消息发送到移动终端100。随后，移动终端100根据消息控制要发送到显示设备的数据，并通过Wi-Fi直连的无线通信将包括控制结果的数据发送到显示设备200。因此，显示设备200侧的用户可以控制从移动终端100发送的数据。
图7是根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的一个示例的图。
显示设备200的控制器270通过网络接口单元230接收从移动终端100发送的数据，并且能够通过显示单元280和音频输出单元285中的至少一个来输出所接收的数据。数据可以包括图像数据、图形数据、音频数据、视频数据和AV数据中的至少一个。由此，移动终端100的显示单元151的画面可以被镜像在显示设备200的显示单元280的画面中。
在镜像时，存储单元240可以通过RTSP(实时流传输协议)存储可发送到移动终端的命令和与该命令相对应的文本的映射数据。特别地，存储单元240可以存储与由RTSP定义的规定功能相对应的命令的格式以及与各个命令对应的文本的映射数据。例如，可通过RTSP发送到移动终端100的命令可以包括与播放功能相对应的命令、与播放的暂停功能相对应的命令、以及与结束用于画面镜像的无线通信连接的功能相对应的命令。
根据本发明，假设用户说出单词‘暂停’。例如，遥控器400将通过麦克风获得的与单词‘暂停’相对应的语音转换为电语音信号，并且然后能够将转换后的语音信号发送到显示设备200。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换为文本，然后确定包括转换后的文本的至少一部分的特定文本是否存在于存储在存储单元240。如果存在特定文本，则显示设备200的控制器270可以控制网络接口单元230通过RTSP向移动终端100发送与特定文本相对应的命令。例如，如果转换后的文本包括‘暂停’，则显示设备200的控制器270可以控制网络接口单元230通过RTSP将存储单元240中存储的命令中与‘暂停’相对应的命令发送到移动终端100。
移动终端100的控制器180通过无线通信单元110接收与‘暂停’相对应的命令，然后能够相应地暂停到显示设备200的数据的发送。
根据本实施方式，当用户通过RTSP说出与可发送到源设备的命令相对应的文本时，宿设备侧的用户可以通过语音识别来控制从源设备发送的数据。
图8是描述根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。根据本实施方式，假设宿设备支持通过UIBC向源设备发送与通过预设用户输入设备接收的用户输入有关的信息(例如，消息类型)的功能。在这种情况下，UIBC(用户输入反向信道)是指用于宿设备的信道，其用于基于Wi-Fi直连将从用户(例如，用户输入设备)接收的用户输入有关的信息发送到源设备。
作为源设备的移动终端100的控制器180向作为宿设备的显示设备200请求关于UIBC的性能支持的存在或不存在的信息[S810]。
响应于该请求，显示设备200的控制器270通过网络接口单元230将关于通过UIBC的用户输入的传输支持的存在或不存在的信息发送到移动终端100[S820]。根据实施方式，响应于该请求，控制器270可以连同关于通过UIBC的用户输入的传输支持的存在或不存在的信息一起来向移动终端100发送处理用户输入所需的参数信息。
根据实施方式，步骤S810和步骤S820可以在参照图5描述的设备发现步骤S510、能力协商步骤S530和RTSP连接建立步骤S540中的至少一个步骤中执行。
随后，显示设备200的控制器270通过显示单元280/或音频输出单元285输出数据(例如，流数据)，该数据是使用Wi-Fi直连通过网络接口单元230从移动终端100接收的数据。
同时，在镜像时，存储单元240可以存储通过UIBC可发送到移动终端100的用户输入相对应的命令和与该命令对应的文本的映射数据。特别地，存储单元240可以存储与通过UIBC可发送的用户输入设备的用户输入相对应的命令以及与各个命令相对应的文本的映射数据。例如，用户输入设备的用户输入可以包括诸如运动、点击、触摸、变焦放大、鼠标的滚动量和旋转量、触摸板等的信息、以及关于键盘的特定键的选择的信息。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换为文本[S830]。
控制器270控制网络接口单元230通过UIBC向移动终端100发送包括与转换后的文本相对应的用户输入的命令的消息。特别地，如果与通过存储在存储单元240中的UIBC可发送的命令对应的文本中存在包含转换后的文本的至少一部分的特定文本，则控制器270可以控制网络接口单元230通过UIBC向移动终端100发送发送包括与特定文本相对应的命令的消息。
移动终端100的控制器180通过无线通信单元110接收消息，并响应于与包括在消息中的命令相对应的用户输入来控制与该命令相对应的移动终端的功能[S850]。控制器180基于从显示设备200接收到的用户输入的处理所需的参数来处理接收到的消息，并且能够执行与该命令相对应的规定功能。
随后，控制器180控制无线通信单元110将反映控制结果的数据发送到显示设备200[S860]。例如，控制器180执行与该命令相对应的功能，将包括功能执行结果的画面输出到显示单元151，并且能够将与输出画面相对应的数据发送到显示设备200。因此，包括控制结果的显示单元151的画面可以被镜像在显示设备200的显示单元280中。
图9是结合图8描述的根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的一个示例的图。
显示设备200的控制器270通过网络接口单元230接收从移动终端100发送的数据，并且能够通过显示单元280和音频输出单元285中的至少一个来输出接收到的数据。数据可以包括图像数据、图形数据、音频数据、视频数据和AV数据中的至少一个。由此，移动终端100的显示单元151的画面可以被镜像到显示设备200的显示单元280的画面中。根据本实施方式，以对从移动终端100发送的视频数据的控制为中心进行描述。
根据本发明，假设用户说出单词‘旋转画面’。例如，遥控器400将通过麦克风获得的与单词‘旋转画面’相对应的声音转换为电语音信号，然后能够将转换后的语音信号发送到显示设备200。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换为文本，然后确定与通过存储在存储单元240中的UIBC可发送的用户输入的命令相对应的文本中是否存在包括转换后的文本的至少一部分的特定文本。如果存在所述特定文本，则显示设备200的控制器270可以控制网络接口单元230通过UIBC向移动终端100发送包括与特定文本相对应的命令的消息。例如，如果转换后的文本包括‘旋转画面’，则显示设备200的控制器270可以控制网络接口单元230通过UIBC向移动终端100发送存储在存储单元240中的命令中与‘旋转画面’相对应的命令。
移动终端100的控制器180通过无线通信单元110接收消息，然后能够响应于与消息中包含的命令相对应的用户输入，在宽度方向(如果现有画面的方向是长度方向)或者长度方向(如果现有画面的方向是宽度方向)上旋转显示单元151的画面。控制器180将包括画面旋转的执行结果的画面输出到显示单元151，并且能够将对应于输出画面的数据发送到显示设备200。因此，显示单元151的包括控制结果的画面被镜像在显示设备200的显示单元20中。
根据本实施方式，由于用户可以使用语音替代使用用户输入设备来输入可通过UIBC发送的命令，因此可以进一步提高用户的便利性。
图10是描述根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的流程图。根据本实施方式，假设宿设备支持通过UIBC向源设备发送通过预设用户输入设备接收的用户输入信息(例如，消息类型)的功能。
作为源设备的移动终端100的控制器180向作为宿设备的显示设备200请求关于UIBC的性能支持的存在或不存在的信息[S1010]。
响应于该请求，显示设备200的控制器270通过网络接口单元230将关于通过UIBC的用户输入的传输支持的存在或不存在的信息发送到移动终端100[S1020]。根据实施方式，响应于该请求，控制器270可以连同关于通过UIBC的用户输入的传输支持的存在或不存在的信息一起来向移动终端100发送处理用户输入所需的参数信息。
根据实施方式，步骤S1010和步骤S1020可以在参照图5描述的设备发现步骤S510、能力协商步骤S530和RTSP连接建立步骤S540中的至少一个中执行。
随后，显示设备200的控制器270通过显示单元280和/或音频输出单元285输出数据(例如，流数据)，该数据是该数据是使用Wi-Fi直连通过网络接口单元230从移动终端100接收的数据。
如果显示单元151的画面改变，则移动终端100的控制器180可以控制无线通信单元向显示设备200发送用于指示画面改变的信号[S1030]。例如，在通过显示单元151输出的视频数据的至少一部分改变的情况下，视频数据的场景被改变的情况，以及由于应用的规定功能的执行通过显示单元151输出的当前运行的应用的运行画面的至少一部分改变的情况中的至少一种情况下，控制器180可以向显示设备200发送用于指示画面改变的信号。
响应于该信号，显示设备200的控制器270从与输出到显示单元280的视频数据相对应的画面中识别文本，然后将识别出的文本的位置信息保存到存储单元240[S1040]。特别地，如果从移动终端100接收到用于指示画面改变的信号，则控制器270可以从与输出到显示单元280的视频数据相对应的画面中识别文本。根据实施方式，跳过步骤S1030，并且控制器270可以周期性地或不定期地从与输出到显示单元280的视频数据相对应的画面中识别文本。此外，根据实施方式，控制器270捕获与输出到显示单元280的视频数据相对应的画面，并且可以从捕获的画面中识别文本。
随后，控制器270检测指示识别出的文本位于与视频数据相对应的画面中的规定位置处的位置信息，并且然后能够将检测到的位置信息保存到存储单元240以对应于各个文本。例如，位置信息可以包括指示与视频数据相对应的画面上识别出的文本的位置的坐标信息。
此外，在镜像时，存储单元240可以通过UIBC存储与可发送到移动终端100的用户输入相对应的命令。例如，用户输入设备的用户输入可以包括诸如运动、点击、触摸、变焦放大、鼠标的滚动量和旋转量、触摸板等的信息以及关于键盘的特定键的选择的信息。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换为文本[S1050]。
如果在识别出的文本(即存储单元240中的文本)中存在包括转换后的文本的至少一部分的特定文本，则控制器270可以控制网络接口单元230通过UIBC向移动终端100发送与从对应于视频数据的画面中选择特定文本的用户输入对应的消息[S1060]。
特别地，控制器270确定在识别出的文本中是否存在包括转换后的文本的至少一部分的特定文本。如果存在所述特定文本，则控制器270可以控制网络接口单元230通过UIBC到移动终端发送如下消息，所述消息包括与使用预设用户输入设备从对应于视频数据的画面中选择特定文本的用户输入对应的命令。所述消息可以包括用于标识预设用户输入设备的第一信息、指示预设用户输入设备从与视频数据相对应的画面中选择与特定文本相对应的特定位置信息的区域的第二信息，以及至少指示具体位置信息的第三信息。
移动终端100的控制器180通过无线通信单元110接收消息，并且响应于与包括在消息中的命令相对应的用户输入来控制对应于该命令的移动终端100的功能[S1070]。控制器180基于从显示设备200接收到的用户输入的处理所需的参数来处理接收到的消息，并且能够执行与该命令相对应的规定功能。
随后，移动终端100的控制器180控制无线通信单元110将反映控制结果的数据发送到显示设备200[S1080]。例如，控制器180执行与该命令相对应的功能，将包括功能执行结果的画面输出到显示单元151，并且能够将与输出画面相对应的数据发送到显示设备200。因此，包括控制结果的显示单元151的画面可以被镜像在显示设备200的显示单元280中。
根据实施方式，控制器270识别包括在画面中的与视频数据相对应的文本和图像中的对象中的至少一个，并且能够将识别出的文本和对象保存到存储单元240，以与对应于视频数据的画面上的位置信息相对应。在这种情况下，对象可以包括字符、图形和数字中的一个。存储单元240可以存储用于识别包括在图像中的对象的程序。例如，控制器270可以使用OCR(光学字符识别)程序识别图像中的对象。如果在识别出的文本和对象中存在包括转换后的文本的至少一部分的特定文本或对象，则控制器270可以向移动终端100发送这样的消息，该消息与从对应于视频数据的画面中选择的特定文本或对象的用户输入相对应。
由于重复宿设备与源设备之间的步骤S1040至S1080，因此用户可以使用宿设备侧的语音识别来控制源设备的功能。
根据本实施方式，由于用户可以使用现有的UIBC通过说出与期望在输出到显示单元280的画面上被控制的功能对应的文本/对象以及在镜像时通过UIBC可发送的预设命令来控制源设备，因此用户便利性可以进一步提升。
图11和图12是结合图10描述的根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的一个示例的图。
显示设备200的控制器270通过网络接口单元230接收从移动终端100发送的数据，并且能够通过显示单元280和音频输出单元285中的至少一个输出接收到的数据。数据可以包括图像数据、图形数据、音频数据、视频数据和AV数据中的至少一个。由此，移动终端100的显示单元151的画面可以被镜像在显示设备200的显示单元280的画面中。根据本实施方式，以对从移动终端100发送的视频数据的控制为中心进行描述。
参照图11，显示设备200的控制器270从与输出到显示单元280的视频数据相对应的画面中识别文本1110，然后将识别出的文本的位置信息保存到存储单元240。例如，控制器270通过将‘无线&网络’和位置信息(50,100)彼此映射来保存它们，并且能够通过将‘电话’和位置信息(50,150)彼此映射来保存它们，如果从移动终端100接收到用于指示画面改变的信号，则控制器270可以从与视频数据相对应的画面中识别文本1110。另选地，控制器270可以周期地或非周期性地从与视频数据相对应的画面中识别文本1110。
根据本发明，假设用户说出句子‘推动无线&网络’。例如，遥控器400将通过麦克风获得的与句子‘推动无线&网络’对应的语音转换成电语音信号，并且然后能够将转换的语音信号发送到显示设备200。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换为文本，然后确定识别出的文本1110(即，保存在存储单元240中的文本)中是否存在包括转换后的文本的至少一部分的特定文本(‘无线&网络’)。如果存在特定文本，则显示设备200的控制器270可以控制网络接口单元230通过UIBC向移动终端100发送这样一种消息，所述消息包括与在对应于视频数据的画面中使用预设用户输入设备选择特定文本的用户输入相对应的命令。例如，如果转换后的文本包括‘旋转画面’，则显示设备200的控制器270可以通过UIBC向移动终端100发送这样一种消息，该消息对应于使用预设用户输入设备(鼠标)从对应于视频数据的画面中选择与‘无线&网络’对应的区域(例如，在与视频数据对应的画面中与位置信息(50,100)对应的区域)的用户输入。
参照图12，移动终端100的控制器180通过无线通信单元110接收消息，响应于与包括消息中的命令相对应的用户输入来运行无线&网络的菜单，并向显示单元151输出菜单的运行画面。随后，移动终端100的控制器180通过无线通信单元110将与无线&网络的菜单的运行画面相对应的数据(例如，视频数据)发送到显示设备200。
显示设备200的控制器270从移动终端100接收与无线&网络的菜单的运行画面相对应的视频数据，并将接收到的视频数据输出到显示单元280。随后，控制器270从与输出到显示单元280的视频数据相对应的画面中识别文本。在无线&网络的菜单已经在移动终端100中运行之后，如果从移动终端100接收到用于指示画面改变的信号，则控制器270可以从与视频数据相对应的画面中识别文本1210。另选地，控制器270可以周期性地或非周期性地从与视频数据相对应的画面中识别文本1210。根据本实施方式，尽管除了文本1210外在与视频数据相对应的画面中可能存在其它文本，但是为了清楚起见，在假设仅识别出文本1210的情况下进行以下描述。
控制器270将识别出的文本的位置信息保存到存储单元240。例如，控制器270通过将文本‘无线网络使用’和位置信息(20,100)彼此映射来保存它们，并且能够通过将文本‘GPS卫星使用’和位置信息(50,150)彼此映射来保存它们。
根据本发明，假设用户说出句子‘无线网络使用’。例如，遥控器400将通过麦克风获得的与句子‘无线网络使用’相对应的语音转换为电语音信号，然后能够将转换后的语音信号发送到显示设备200。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换为文本，然后确定识别出的文本1210(即，保存在存储单元240中的文本)中是否存在包括转换后的文本的至少一部分的特定文本(‘无线网络使用’)。如果存在特定文本，则显示设备200的控制器270可以控制网络接口单元230通过UIBC向移动终端100发送这样一种消息，所述消息包括与在对应于视频数据的画面中使用预设用户输入设备选择特定文本的用户输入相对应的命令。例如，显示设备200的控制器270可以通过UIBC向移动终端100发送这样一种消息，该消息对应于使用预设用户输入设备(鼠标)从对应于视频数据的画面中选择与‘无线网络使用’对应的区域(例如，在与视频数据对应的画面中与位置信息(50,100)对应的区域)的用户输入。
移动终端100的控制器180通过无线通信单元110接收消息，响应于与包括消息中的命令相对应的用户输入来运行无线网络使用的菜单，并向显示单元151输出菜单的运行画面。随后，移动终端100的控制器180通过无线通信单元110将与无线网络使用的菜单的运行画面相对应的数据(例如，视频数据)发送到显示设备200。
图13和图14是结合图10描述的根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
显示设备200的控制器270通过网络接口单元230接收从移动终端100发送的数据，并且能够通过显示单元280和音频输出单元285中的至少一个输出接收到的数据。数据可以包括图像数据、图形数据、音频数据、视频数据和AV数据中的至少一个。由此，移动终端100的显示单元151的画面可以被镜像在显示设备200的显示单元280的画面中。根据本实施方式，以对从移动终端100发送的视频数据的控制为中心进行描述。
参照图13，显示设备200的控制器270从对应于输出到显示单元280的视频数据的画面1400中识别文本和图像中的对象，然后将识别出的文本和对象的位置信息保存到存储单元240。参照其中画面1400被放大的图14来详细描述显示单元280的画面1400。
参照图14，显示设备200的控制器270识别包括在画面1400中的文本1410和包括在画面1400中的图像中的对象1420。控制器270检测在画面1400上识别出的各个文本1410和对象1420的位置信息，然后以识别出的文本1410和识别出的对象1420分别对应于位置信息的方式将识别出的文本1410和识别出的对象1420保存到存储单元240。如果从移动终端100接收到用于指示画面改变的信号，则控制器270可以从与视频数据相对应的画面中识别文本1410和对象1420，或者可以周期性或非周期性地从与视频数据相对应的画面中识别文本1410和对象1420。
现在再次参照图13，根据本发明，假设用户说出单词‘英语词典’。例如，遥控器400将通过麦克风获得的与单词‘英语词典’相对应的语音转换为电语音信号，然后能够将转换后的语音信号发送到显示设备200。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换为文本，然后确定识别出的文本1410和和识别出的对象1420(即，保存在存储单元240中的文本和对象)中是否存在包括转换后的文本的至少一部分的特定文本1410或特定对象。如果存在特定文本或特定对象，则显示设备200的控制器270可以控制网络接口单元230通过UIBC向移动终端100，发送这样一种消息，所述消息包括与在对应于视频数据的画面中使用预设用户输入设备选择特定文本或特定对象的用户输入相对应的命令。例如，显示设备200的控制器270可以通过UIBC向移动终端100发送这样一种消息，该消息对应于使用预设用户输入设备(鼠标)从对应于视频数据的画面中选择与文本‘英语词典’对应的区域(例如，在与文本‘英语词典’的位置信息相对应的区域)的用户输入。
移动终端100的控制器180通过无线通信单元110接收消息，响应于与包括在消息中的命令相对应的用户输入来运行英文字典应用，并且将该应用的运行画面输出到显示单元151。并且，移动终端100的控制器180通过无线通信单元110将与英文字典应用的运行画面相对应的数据(例如，视频数据)发送到显示设备200。
图15是结合图10描述的根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
显示设备200的控制器270通过网络接口单元230接收从移动终端100发送的数据，并且能够通过显示单元280和音频输出单元285中的至少一个输出接收到的数据。数据可以包括图像数据、图形数据、音频数据、视频数据和AV数据中的至少一个。由此，移动终端100的显示单元151的画面可以被镜像在显示设备200的显示单元280的画面中。根据本实施方式，以对从移动终端100发送的视频数据的控制为中心进行描述。
显示设备200的控制器270从输出到显示单元280的视频数据的画面中识别文本1510，并将识别出的文本的位置信息保存到存储单元240。如果从移动终端100接收到用于指示画面改变的信号，则控制器270可以从对应于视频数据的画面中识别文本1510。另选地，控制器270可以周期地或非周期性地从与视频数据相对应的画面中识别文本1510。根据本实施方式，尽管除了文本1510外在与视频数据相对应的画面中可能存在其它文本，但是为了清楚起见，在假设仅识别出文本1510的情况下进行以下描述。
根据本发明，假设用户说出句子‘删除#3’。例如，遥控器400将通过麦克风获得的与“删除#3”相对应的语音转换为电语音信号，然后能够将转换的语音信号发送到显示设备200。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换为文本，然后确定包括转换后的文本的至少一部分的特定文本(‘删除’)是否存在于识别出的文本1510(即，保存在存储单元240中的文本)中。如果存在特定文本，则显示设备200的控制器270可以控制网络接口单元230通过UIBC向移动终端100发送这样一种消息，所述消息包括与在对应于视频数据的画面中使用预设用户输入设备选择特定文本的用户输入相对应的命令。根据本实施方式，转换后的文本可以包括包含在识别出的文本1510中的第一文本(例如，‘删除’)以及与用于选择所述第一文本的用户输入的计数相对应的第二文本(例如，“#3”)。特别地，控制器270可以通过UIBC向移动终端100发送如下消息多达与所述第二文本相对应的计数(3次)，该消息对应于使用预设用户输入设备(鼠标)从对应于视频数据的画面中选择与第一文本对应的区域(例如，在与视频数据对应的画面中与第一文本的位置信息对应的区域)的用户输入。
根据本实施方式，当用户一次说出与源设备的功能相对应的命令来控制时，由于用户可以控制/执行该功能多达期望计数，因此可以提高用户便利性。
图16是结合图10描述的根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
显示设备200的控制器270通过网络接口单元230接收从移动终端100发送的数据，并且能够通过显示单元280和音频输出单元285中的至少一个输出接收到的数据。数据可以包括图像数据、图形数据、音频数据、视频数据和AV数据中的至少一个。由此，移动终端100的显示单元151的画面可以被镜像在显示设备200的显示单元280的画面中。根据本实施方式，以对从移动终端100发送的视频数据的控制为中心进行描述。
显示设备200的控制器270从输出到显示单元280的视频数据的画面中识别文本1610，并将识别出的文本的位置信息保存到存储单元240。如果用于指示画面改变的信号是从移动终端100接收到的，则控制器270可以从对应于视频数据的画面中识别文本1610。另选地，控制器270可以周期地或非周期性地从与视频数据相对应的画面中识别文本1610。根据本实施方式，尽管除文本1610外在与视频数据相对应的画面中可能存在其它文本，但是为了清楚起见，在假设仅识别出文本1610的情况下进行以下描述。
根据本发明，假设用户说出句子‘10分钟之后发送’。例如，遥控器400将通过麦克风获得的与句子‘10分钟之后发送’对应的语音转换为电语音信号，然后能够将转换的语音信号发送到显示设备200。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换为文本，然后确定包括转换后的文本的至少一部分的特定文本(‘发送’)是否存在于识别出的文本1610(即，保存在存储单元240中的文本)中。如果存在特定文本，则显示设备200的控制器270可以控制网络接口单元230通过UIBC向移动终端100发送这样一种消息，所述消息包括与在对应于视频数据的画面中使用预设用户输入设备选择特定文本的用户输入相对应的命令。根据本实施方式，转换后的文本可以包括包含在识别出的文本1610中的第一文本(例如，‘发送’)和对应于选择第一文本的用户输入的发送时间的第二文本(例如，‘10分钟之后’)。特别地，控制器270可以在对应于第二文本的时间(10分钟之后)之后通过UIBC向移动终端100发送如下消息，该消息对应于使用预设用户输入设备(鼠标)从对应于视频数据的画面中选择与第一文本对应的区域(例如，在与视频数据对应的画面中与第一文本的位置信息对应的区域)的用户输入。例如，在对应于第二文本的时间是绝对特定时间的情况下，在相应的时间将消息发送到移动终端100。如果与第二文本相对应的时间是从当前时间开始的规定时间之后的时间，则可以在相应时间之后将消息发送到移动终端100。
图17是根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的一个示例的图。
显示设备200的控制器270通过网络接口单元230接收从移动终端100发送的数据，并且能够通过显示单元280和音频输出单元285中的至少一个输出接收到的数据。数据可以包括图像数据、图形数据、音频数据、视频数据和AV数据中的至少一个。由此，移动终端100的显示单元151的画面可以被镜像在显示设备200的显示单元280的画面中。
显示设备200的控制器270识别包括在输出到显示单元280的视频数据中的图像中的文本和对象，并将识别出的文本和对象分别保存到存储单元240以对应于位置信息。如果从移动终端100接收到用于指示画面改变的信号，则控制器270可以识别来自与视频数据相对应的画面的文本和对象。另选地，控制器270可以周期性地或不定期地识别来自与视频数据相对应的画面的文本和对象。
根据本发明，假设用户说出单词‘LG TV’。例如，遥控器400将通过麦克风获得的单词与‘LG TV’相对应的声音转换为电语音信号，然后能够将转换后的语音信号发送到显示设备200。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换为文本，然后确定在保存在存储单元240中的文本和对象中是否存在包括转换后的文本的至少一部分的特定文本或特定对象。根据本实施方式，保存在存储单元240中的文本和对象可以包括：与可通过RTSP发送的命令相对应的文本(如参照图7所描述的)、与通过UIBC可发送的用户输入的命令相对应的文本(如参照图8和图9所描述的)以及识别出的文本和对象(如参照图10至图17所描述的)中的至少一个。如果保存在存储单元240中的文本和对象中不存在转换后的文本的至少一部分，则控制器270可以控制网络接口单元230通过UIBC向移动终端100发送如下消息，该消息包括通过预设用户输入设备来输入转换后的文本的用户输入的命令。例如，与用户使用键盘输入转换后的文本(LG TV)的情况相同，控制器270可以通过UIBC向移动终端100发送如下消息，该消息与通过键盘来来输入转换后的文本(LG TV)的用户输入对应。
移动终端100的控制器180通过无线通信单元110接收消息，响应于与包括在消息中的命令相对应的用户输入，在文本应用的运行画面上显示与‘LG TV’对应的文本，并且通过无线通信单元110将与其上显示有文本的文本应用的运行画面相对应的数据(例如，视频数据)发送到显示设备200。
图18是根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
显示设备200的控制器270通过网络接口单元230接收从移动终端100发送的数据，并且能够通过显示单元280和音频输出单元285中的至少一个输出接收到的数据。数据可以包括图像数据、图形数据、音频数据、视频数据和AV数据中的至少一个。由此，移动终端100的显示单元151的画面可以被镜像在显示设备200的显示单元280的画面中。根据本实施方式，以对从移动终端100发送的视频数据的控制为中心进行描述。
在镜像时，显示设备240的存储单元240可以存储与通过UIBC可发送到移动终端100的命令相对应的命令和与该命令相对应的文本的映射数据。特别地，存储单元240可以存储与通过UIBC可发送的用户输入设备的用户输入相对应的命令的格式，以及与每个命令相对应的文本的映射数据。例如，用户输入设备的用户输入可以包括诸如运动、点击、触摸、变焦放大、鼠标的滚动量和旋转量、触摸板等的信息、以及关于键盘的特定键的选择的信息。
此外，根据本实施方式，对于与通过UIBC可发送的用户输入相对应的命令中的特定命令(例如供应商特定命令)，可以预设源设备不执行用户输入的原始功能而是通过宿设备和源设备之间的协议来执行预设的特定功能。例如，在通过UIBC可发送的用户输入的命令中按下键盘的ESC键的用户输入命令的情况下，通过显示设备200与移动终端100之间的协议，能够预设‘返回到之前画面的功能’由移动终端100而不是原始功能来执行。因此，显示设备200的控制器270可以以将命令映射到指示“返回到之前画面的功能”的文本(而不是指示ESC键的原始功能的文本)的方式来保存与按下ESC键的用户输入相对应的命令。
根据本发明，假设用户说出单词‘之前的画面’。例如，遥控器400将通过麦克风获得的与单词‘之前的画面’相对应的语音转换为电语音信号，然后能够将转换的语音信号发送到显示设备200。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换为文本。如果包含转换后的文本的至少一部分的特定文本存在于与通过保存在存储单元240中的通过UIBC可发送的命令对应的文本中，则控制器270可以控制网络接口单元230通过UIBC向移动终端100发送这样一种消息，该消息包括与特定文本相对应的命令。例如，控制器270可以通过UIBC向移动终端100发送这样一种消息，该消息包括与转换后的文本(“之前的画面”)相对应的用户输入(例如，与ESC键的选择相对应的用户输入)的命令。
移动终端100的控制器180通过无线通信单元110接收消息，响应于与包括在所述消息中的命令对应得到用户输入(例如，与ESC键的选择相对应的用户输入)执行对应于选择ESC键的用户输入的预设功能(‘返回到之前画面的功能’)，并且通过无线通信单元110将包括执行结果的数据发送到显示设备200。
图19是根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
显示设备200的控制器270通过网络接口单元230接收从移动终端100发送的数据，并且能够通过显示单元280和音频输出单元285中的至少一个输出接收到的数据。数据可以包括图像数据、图形数据、音频数据、视频数据和AV数据中的至少一个。由此，移动终端100的显示单元151的画面可以被镜像在显示设备200的显示单元280的画面中。
根据本发明，假设用户说出句子‘分辨率改变’。例如，遥控器400将与通过麦克风获得的单词‘分辨率改变’相对应的声音转换为电语音信号，然后能够将转换后的语音信号发送到显示设备200。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换为文本，然后确定在存储单元240中保存的文本和对象中是否存在包括转换后的文本的至少一部分的特定文本或特定对象。根据本实施方式，保存在存储单元240中的文本和对象可以包括与可通过RTSP发送的命令相对应的文本(如参照图7所描述的)、与通过UIBC可发送的用户输入的命令相对应的文本(如参照图8、图9和图18所描述的)以及识别出的文本和对象(如参照图10至图17所描述的)中的至少一个。如果保存在存储单元240中的文本和对象中不存在转换后的文本的至少一部分，则控制器270可以控制网络接口单元230通过UIBC向移动终端100发送如下消息，该消息包括通过预设用户输入设备来输入转换后的文本的用户输入的命令。例如，与用户使用键盘输入转换后的文本(分辨率改变)的情况相同，控制器270可以通过UIBC向移动终端100发送如下消息，该消息与通过键盘来来输入转换后的文本(分辨率改变)的用户输入对应。
移动终端100的控制器180通过无线通信单元110接收消息，检测与消息中包括的用户输入相对应的文本，并且能够执行对应于该消息中的至少一部分的预设功能检测到的文本。移动终端100的存储器170可以存储用于检测对应于从显示设备200发送的用户输入的文本，规定文本以及与预先对应于文本的移动终端100的特定功能的映射数据的算法。例如，控制器180检测与包含在消息中的用户输入对应的文本(分辨率改变)，检测存储在存储器170中的特定功能(分辨率改变功能)以对应于检测到的文本的至少一部分，执行基于检测到的功能进行分辨率改变的菜单，并将用于分辨率改变的菜单的执行结果输出到显示单元151。并且，移动终端100的控制器180发送包括执行结果的数据用于分辨率改变的菜单通过无线通信单元110发送到显示设备200。
根据本实施方式，尽管不是通过UIBC可发送的类型的命令，但是用户说出期望的语音，从而有利地控制源设备的功能。
图20是根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
显示设备200的控制器270通过网络接口单元230接收从移动终端100发送的数据，并且能够通过显示单元280和音频输出单元285中的至少一个输出接收到的数据。数据可以包括图像数据、图形数据、音频数据、视频数据和AV数据中的至少一个。由此，移动终端100的显示单元151的画面可以被镜像在显示设备200的显示单元280的画面中。
根据本发明，假设用户说出句子‘分辨率变为2880×1880’。例如，遥控器400将通过麦克风获得的与句子‘分辨率变为2880×1880’对应的声音转换为电语音信号，然后能够将转换后的语音信号发送到显示设备200。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换成文本，然后确定在存储单元240中保存的文本和对象中是否存在包括转换后的文本的至少一部分的特定文本或特定对象。根据本实施方式，保存在存储单元240中的文本和对象可以包括与可通过RTSP发送的命令相对应的文本(如参照图7所描述的)、与通过UIBC可发送的用户输入的命令相对应的文本(如参照图8、图9和图18所描述的)以及识别出的文本和对象(如参照图10至图17所描述的)中的至少一个。如果保存在存储单元240中的文本和对象中不存在转换后的文本的至少一部分，则控制器270可以控制网络接口单元230通过UIBC向移动终端100发送如下消息，该消息包括通过预设用户输入设备来输入转换后的文本的用户输入的命令。例如，与用户使用键盘输入转换后的文本(‘分辨率变为2880×1880’)的情况相同，控制器270可以通过UIBC向移动终端100发送如下消息，该消息与通过键盘来来输入转换后的文本(‘分辨率变为2880×1880’)的用户输入对应。
移动终端100的控制器180通过无线通信单元110接收消息，检测与消息中包括的用户输入相对应的文本，并且能够执行对应于检测到的文本的至少一部分的预设功能。移动终端100的存储器170可以预先存储规定文本和对应于所述文本的移动终端100的特定功能的映射数据。控制器180检测与消息中包括的用户输入相对应的文本(‘分辨率变为2880×1880’)，检测存储在存储器170中的特定功能(分辨率改变功能)以对应于检测到的文本的至少一部分(分辨率改变)，基于检测到的功能执行用于分辨率改变的菜单，检测存储在存储器170中的特定功能(例如，使用用于分辨率改变的菜单直接改变分辨率的功能)以对应于检测到的文本中的另一部分(2880×1880)同时用于分辨率改变的菜单正在运行，并且能够使用基于检测到的功能的分辨率改变菜单将移动终端的分辨率改变为2880×1880。并且，移动终端100的控制器180通过无线通信单元110向显示设备200发送包括分辨率改变为2880×1880的结果的数据。
根据本实施方式，尽管不是通过UIBC可发送的类型的命令，但是用户说出期望的声音。因此，用户可以有利地控制源设备的功能。特别地，用户可以有利地通过一次通话而不通过几个深度来控制源设备的期望功能。
图21是根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的另一示例的图。
显示设备200的控制器270通过网络接口单元230接收从移动终端100发送的数据，并且能够通过显示单元280和音频输出单元285中的至少一个输出接收到的数据。数据可以包括图像数据、图形数据、音频数据、视频数据和AV数据中的至少一个。由此，移动终端100的显示单元151的画面可以被镜像在显示设备200的显示单元280的画面中。
显示设备240的存储单元240可以存储与可通过RTSP发送的命令相对应的文本(如参照图7所描述的)、与通过UIBC可发送的用户输入的命令相对应的文本(如参照图8、图9和图18所描述的)以及识别出的文本和对象(如参照图10至图17所描述的)中的至少一个。
根据本发明，假设用户说出句子‘执行TV相机’。例如，遥控器400将通过麦克风获得的与句子‘执行TV相机’对应的声音转换为电语音信号，然后能够将转换的语音信号发送到显示设备200。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换为文本。如果在转换后的文本中包括预设文本，则控制器270可以在显示设备200内执行与转换后的文本相关的规定功能，而不向移动终端100发送包括与转换后的文本相关的用户输入的消息。例如，如果在转换后的文本中包括预置文本(TV)，则控制器270可以执行与显示设备200内的转换后的文本相关的规定功能(相机应用)，而不向移动终端100发送包括与转换后的文本相关的用户输入的消息。而且，控制器270将相机应用的运行画面2100输出到显示单元280。在这种情况下，通过网络接口单元230经Wi-Fi直连与移动终端100共享数据的应用(例如，画面镜像应用)可以在后台继续运行。
图22是根据本发明的一个实施方式的控制从源设备向宿设备发送的数据的方法的又一示例的图。
显示设备200的控制器270通过网络接口单元230接收从移动终端100发送的数据，并且能够通过显示单元280和音频输出单元285中的至少一个输出接收到的数据。数据可以包括图像数据、图形数据、音频数据、视频数据和AV数据中的至少一个。由此，移动终端100的显示单元151的画面可以被镜像在显示设备200的显示单元280的画面中。
显示设备240的存储单元240可以存储与可通过RTSP发送的命令相对应的文本(如参照图7所描述的)、与通过UIBC可发送的用户输入的命令相对应的文本(如参照图8、图9和图18所描述的)以及识别出的文本和对象(如参照图10至图17所描述的)中的至少一个。
此外，根据一个实施方式，在参照图5描述的步骤S510至S540中的一个中，移动终端100可以将关于移动终端100中可支持的功能的信息发送到显示设备200。显示设备的控制器270可以将从移动终端100发送的可支持功能的信息保存到存储单元240。
根据本发明，假设用户说出单词‘相机’。例如，遥控器400将通过麦克风获得的与单词‘相机’相对应的声音转换为电语音信号，然后能够将转换的语音信号发送到显示设备200。
显示设备200的控制器270将通过语音信号接收单元接收的语音信号转换为文本。如果转换后的文本的至少一部分包含在存储单元240中保存的文本和对象中，并且还与显示设备200中可实现的特定功能相关，则控制器270可以向显示单元280输出如下GUI 2210，其被提供为选择是否将与转换后的文本相关的用户输入发送到移动终端100，或者是否将在显示设备200中执行与转换后的文本相关的功能。
此外，如果转换后的文本的至少一部分与在移动终端100中可支持的功能上的信息(存储在存储单元240中)相关，并且还与显示设备200中可实现的特定功能相关控制器270可以向显示单元280输出如下GUI2210，其被提供以选择与转换后的文本相关的用户输入是否将被发送到移动终端100，或者是否将在显示设备200中执行与转换后的文本相关的功能。
GUI 2210可以包括用于选择是否将在显示设备200中执行与转换后的文本相关的功能的第一菜单2210a和用于选择与转换后的文本相关的用户输入是否将被发送到移动终端100的第二菜单2210b。
对于一种情况，如果检测到用于选择第一菜单2210a的命令，则控制器270不向移动终端100发送包括与转换后的文本相关的用户输入的消息，但是能够运行与显示设备200内转换后的文本相关的规定功能(相机应用)。并且，控制器270将相机应用的运行画面2220输出到显示单元280。在这种情况下，通过网络接口单元230经Wi-Fi直连与移动终端100共享数据的应用(例如，画面镜像应用)可以在后台继续运行。
对于另一种情况，如果检测到用于选择第二菜单2210b的命令，则控制器270可以控制网络接口单元230向移动终端100发送如下消息，其包括保存在存储单元240中的文本和对象中的对应于特定文本或特定对象的用户输入，该特定文本包括转换后的文本的至少一部分。移动终端100的控制器180通过无线通信单元110接收消息，响应于与消息中包含的命令相对应的用户输入运行相机应用，并将应用的运行画面2230输出到显示单元151。并且，移动终端100的控制器180通过无线通信单元110将与相机应用的运行画面2230相对应的数据发送到显示设备200。
根据前述描述中提及的本发明的至少一个实施方式，能够提供如下一种解决方案：将在画面镜像时从用户语音信号转换的文本转换为可通过RTSP(实时流协议)或UIBC发送的命令，然后将该命令发送到源设备。因此，有利地，用户通过语音识别方便地控制从移动终端发送的数据或移动终端100的规定功能。
前面描述中提到的本发明可以作为计算机可读代码在程序记录介质中实现。计算机可读介质可以包括其中存储有可由计算机系统读取的数据的所有种类的记录装置。计算机可读介质可以包括HDD(硬盘驱动器)、SSD(固态磁盘)、SDD(硅盘驱动器)、ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等并且还包括载波类型实现(例如，经由互联网的传输)。此外，计算机可以包括终端的控制器180。前述实施方式仅仅是示例性的，并不被认为是对本发明的限制。本教导可以容易地应用于其它类型的方法和装置。因此，本发明旨在覆盖落入所附权利要求及其等同物的范围内的对本发明的修改和变化。
发明模式
由于在实施本发明的具体实施方式中完全进行了描述，因此对于本发明所属领域的技术人员显而易见的是可以实现对本发明的修改和变化。
工业实用性
由于本发明适用于诸如移动设备(电话)、显示设备(智能电视)、STB等的数字设备示例，所以正确地确认了本发明的工业实用性。

Claims (20)

1.一种控制从源设备发送到宿设备的视频数据的方法，所述方法包括以下步骤：
将从所述源设备接收到的所述视频数据输出到显示单元；
从与输出到所述显示单元的所述视频数据相对应的画面中识别文本；
按照对应于与所述视频数据相对应的画面上的位置信息的方式将识别出的文本保存到存储器；
接收语音信号；
将接收到的所述语音信号转换成文本；以及
如果在识别出的文本中存在包括转换后的文本的至少一部分的特定文本，则向所述源设备发送与从与所述视频数据相对应的画面中选择所述特定文本的用户输入相对应的消息。
2.根据权利要求1所述的方法，从与输出到所述显示单元的所述视频数据相对应的画面中识别文本的步骤包括以下步骤：
从所述源设备接收指示该源设备的画面改变的信号；
响应于接收到的所述信号，捕获与输出到所述显示单元的所述视频数据相对应的画面；以及
从所捕获的画面中识别所述文本。
3.根据权利要求1所述的方法，按照对应于与所述视频数据相对应的画面上的位置信息的方式将识别出的文本保存到存储器的步骤包括以下步骤：
检测在与所述视频数据相对应的画面上识别出的文本的坐标信息；以及
按照与检测到的所述坐标信息相对应的方式将识别出的文本保存到所述存储器。
4.根据权利要求1所述的方法，其中，所述消息包括第一信息、第二信息和第三信息，所述第一信息用于标识预设用户输入设备，所述第二信息指示所述预设用户输入设备从与所述视频数据相对应的画面中选择与所述特定文本相对应的特定位置信息的区域，所述第三信息至少指示所述特定位置信息。
5.根据权利要求1所述的方法，其中，通过用户输入反向信道UIBC向所述源设备发送所述消息。
6.根据权利要求1所述的方法，其中，从与输出到所述显示单元的所述视频数据相对应的画面中识别文本的步骤还包括从与输出到所述显示单元的所述视频数据相对应的画面中识别图像的对象的步骤，其中，按照对应于与所述视频数据相对应的画面上的位置信息的方式将识别出的文本保存到存储器的步骤还包括按照对应于与所述视频数据相对应的画面上的所述位置信息的方式将识别出的对象保存到所述存储器的步骤，并且其中，向所述源设备发送所述消息的步骤还包括以下步骤：如果在识别出的文本和对象中存在包括转换后的文本的至少一部分的特定文本或者特定对象，则向所述源设备发送与从与所述视频数据相对应的画面中选择所述特定文本或所述特定对象的用户输入相对应的消息。
7.根据权利要求1所述的方法，其中，如果转换后的文本包括包含在识别出的文本中的第一文本以及与用于选择所述第一文本的用户输入的计数相对应的第二文本，则向所述源设备发送所述消息的步骤包括如下步骤：
向所述源设备发送与从与所述视频数据相对应的画面中选择所述第一文本的所述用户输入相对应的消息多达与所述第二文本相对应的计数。
8.根据权利要求1所述的方法，其中，如果转换后的文本包括包含在识别出的文本中的第一文本以及与用于选择所述第一文本的用户输入的发送时间相对应的第二文本，则向所述源设备发送所述消息的步骤包括如下步骤：
在与所述第二文本相对应的时间处向所述源设备发送与从与所述视频数据相对应的画面中选择所述第一文本的所述用户输入相对应的消息。
9.根据权利要求1所述的方法，所述方法还包括以下步骤：
重新接收语音信号；
将重新接收到的所述语音信号转换成文本；以及
如果在识别出的文本中不包括从重新接收到的所述语音信号转换后的文本，则向所述源设备发送与通过键盘输入设备来输入从重新接收到的所述语音信号转换后的文本的用户输入相对应的消息。
10.一种控制从源设备发送的视频数据的宿设备，所述宿设备包括：
接口单元，其被配置为通过Wi-Fi直连与所述源设备通信；
接收单元，其被配置为接收语音信号；
显示单元；以及
控制器，其被配置为：通过网络接口单元将从所述源设备接收到的所述视频数据输出到显示单元，从与输出到所述显示单元的所述视频数据相对应的画面中识别文本，按照对应于与所述视频数据相对应的画面上的位置信息的方式将识别出的文本保存到存储器，将通过语音信号接收单元接收到的语音信号转换为文本，并且如果在识别出的文本中存在包括转换后的文本的至少一部分的特定文本，则通过所述网络接口单元向所述源设备发送与从与所述视频数据相对应的画面中选择所述特定文本的用户输入相对应的消息。
11.根据权利要求10所述的宿设备，其中，如果通过所述网络接口单元从所述源设备接收到指示该源设备的画面改变的信号，则控制器响应于接收到的所述信号，捕获与输出到所述显示单元的所述视频数据相对应的画面并且从所捕获的画面中识别所述文本。
12.根据权利要求10所述的宿设备，其中，当所述控制器按照对应于与所述视频数据相对应的画面上的位置信息的方式将识别出的文本保存到存储器时，所述控制器检测在与所述视频数据相对应的画面上识别出的文本的坐标信息，并且按照与检测到的所述坐标信息相对应的方式将识别出的文本保存到所述存储器。
13.根据权利要求10所述的宿设备，其中，所述消息包括第一信息、第二信息和第三信息，所述第一信息用于标识预设用户输入设备，所述第二信息指示所述预设用户输入设备从与所述视频数据相对应的画面中选择与所述特定文本相对应的特定位置信息的区域，所述第三信息至少指示所述特定位置信息。
14.根据权利要求10所述的宿设备，其中，通过用户输入反向信道UIBC向所述源设备发送所述消息。
15.根据权利要求10所述的宿设备，其中，所述控制器从与输出到所述显示单元的所述视频数据相对应的画面中识别图像的对象，其中，所述控制器按照对应于与所述视频数据相对应的画面上的所述位置信息的方式将识别出的对象保存到所述存储器，并且其中，如果在识别出的文本和对象中存在包括转换后的文本的至少一部分的特定文本或者特定对象，则所述控制器向所述源设备发送与从与所述视频数据相对应的画面中选择所述特定文本或所述特定对象的用户输入相对应的消息。
16.根据权利要求10所述的宿设备，如果转换后的文本包括包含在识别出的文本中的第一文本以及与用于选择所述第一文本的用户输入的计数相对应的第二文本，则所述控制器控制所述网络接口单元向所述源设备发送与从与所述视频数据相对应的画面中选择所述第一文本的所述用户输入相对应的消息多达与所述第二文本相对应的计数。
17.根据权利要求10所述的宿设备，其中，如果转换后的文本包括包含在识别出的文本中的第一文本以及与用于选择所述第一文本的用户输入的发送时间相对应的第二文本，则所述控制器控制所述网络接口单元在与所述第二文本相对应的时间处向所述源设备发送与从与所述视频数据相对应的画面中选择所述第一文本的所述用户输入相对应的消息。
18.根据权利要求10所述的宿设备，其中，如果在识别出的文本中不包括从重新接收到的语音信号转换的文本，则所述控制器通过所述网络接口单元向所述源设备发送与通过键盘输入设备来输入转换后的文本的用户输入相对应的消息。
19.一种控制从源设备发送的视频数据的宿设备，所述宿设备包括：
接口单元，其被配置为通过Wi-Fi直连与所述源设备通信；
接收单元，其被配置为接收语音信号；
存储器，其被配置为存储能够通过用户输入反向信道UIBC发送到所述源设备的命令以及与所述命令相对应的文本的映射数据；
显示单元；以及
控制器，其被配置为：通过网络接口单元将从所述源设备接收到的所述视频数据输出到显示单元，将通过语音信号接收单元接收到的语音信号转换为文本，并且如果在与存储在所述存储器中的所述命令相对应的文本中存在包括转换后的文本的至少一部分的特定文本，则控制所述网络接口单元通过UIBC向所述源设备发送包括与所述特定文本相对应的命令的消息。
20.根据权利要求19所述的宿设备，其中，如果转换后的文本包括预设文本以及与存储在所述存储器中的所述命令相对应的文本，则所述控制器控制所述网络接口单元，通过实时流协议RTSP向所述源设备发送包括与所述预设文本相对应的命令的消息。
CN201680007227.6A 2015-01-26 2016-01-19 宿设备及其控制方法 Active CN107211020B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0011959 2015-01-26
KR1020150011959A KR102281341B1 (ko) 2015-01-26 2015-01-26 싱크 디바이스 및 그 제어 방법
PCT/KR2016/000555 WO2016122151A1 (ko) 2015-01-26 2016-01-19 싱크 디바이스 및 그 제어 방법

Publications (2)

Publication Number Publication Date
CN107211020A true CN107211020A (zh) 2017-09-26
CN107211020B CN107211020B (zh) 2020-06-16

Family

ID=56543705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680007227.6A Active CN107211020B (zh) 2015-01-26 2016-01-19 宿设备及其控制方法

Country Status (5)

Country Link
US (1) US10057317B2 (zh)
EP (1) EP3253029B1 (zh)
KR (1) KR102281341B1 (zh)
CN (1) CN107211020B (zh)
WO (1) WO2016122151A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112420052A (zh) * 2020-11-18 2021-02-26 青岛海尔科技有限公司 设备控制方法、装置、存储介质及电子装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6566616B2 (ja) * 2014-08-19 2019-08-28 キヤノン株式会社 通信装置、その制御方法、およびプログラム
US10379808B1 (en) * 2015-09-29 2019-08-13 Amazon Technologies, Inc. Audio associating of computing devices
KR102412283B1 (ko) 2016-02-17 2022-06-23 삼성전자 주식회사 전자 장치 및 전자 장치의 영상 공유 제어 방법
KR102568664B1 (ko) * 2016-10-06 2023-08-22 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
CN109874410A (zh) * 2016-10-14 2019-06-11 三星电子株式会社 用于传输内容的方法和设备
KR20200049020A (ko) * 2018-10-31 2020-05-08 삼성전자주식회사 음성 명령에 응답하여 컨텐츠를 표시하기 위한 방법 및 그 전자 장치
KR102196628B1 (ko) * 2019-01-30 2020-12-30 주식회사 오투오 Usb-c dmp 디바이스
US11682395B2 (en) * 2020-01-16 2023-06-20 Arris Enterprises Llc Electronic device, system, method and program for externally adding voice control functionality to another device
WO2022019413A1 (ko) * 2020-07-24 2022-01-27 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
TWI745038B (zh) * 2020-08-20 2021-11-01 瑞鼎科技股份有限公司 非等差的脈寬調變調光方法
WO2023003061A1 (ko) * 2021-07-23 2023-01-26 엘지전자 주식회사 디스플레이 장치
CN115904282A (zh) * 2021-08-19 2023-04-04 华为技术有限公司 一种投屏方法、设备、存储介质及计算机程序产品
WO2023090493A1 (ko) * 2021-11-19 2023-05-25 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
WO2023128206A1 (ko) * 2021-12-30 2023-07-06 삼성전자주식회사 소스 장치, 싱크 장치 및 그 동작 방법들
KR20230112485A (ko) * 2022-01-20 2023-07-27 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US11815687B2 (en) 2022-03-02 2023-11-14 Google Llc Controlling head-mounted device with gestures into wearable device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1190840A (zh) * 1996-11-15 1998-08-19 摩托罗拉公司 用于语音通信可视显示的装置、方法及系统
CN1427394A (zh) * 2002-04-09 2003-07-02 北京无限商机通信技术有限公司 语音浏览网关
CN1643573A (zh) * 2002-03-20 2005-07-20 独立行政法人科学技术振兴机构 音频视频转换设备、音频视频转换方法以及音频视频转换程序
CN1729665A (zh) * 2002-12-19 2006-02-01 皇家飞利浦电子股份有限公司 一种具备带有用于显示视频信号的显示器的手持控制器的住宅网关系统
WO2008007385A2 (en) * 2006-07-13 2008-01-17 Venkat Srinivas Meenavalli Method for controlling advanced multimedia features and supplementary services in sip-based phones and a system employing thereof
CN102132548A (zh) * 2008-08-28 2011-07-20 高通股份有限公司 用于在视频显示会话期间滚动语音呼叫或消息的文本显示的方法和设备
CN103404104A (zh) * 2011-01-21 2013-11-20 高通股份有限公司 用于无线显示器的用户输入返回信道
US20140210693A1 (en) * 2013-01-25 2014-07-31 Qualcomm Incorporated Connectionless transport for user input control for wireless display devices

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5890123A (en) * 1995-06-05 1999-03-30 Lucent Technologies, Inc. System and method for voice controlled video screen display
US5875448A (en) * 1996-10-08 1999-02-23 Boys; Donald R. Data stream editing system including a hand-held voice-editing apparatus having a position-finding enunciator
US6130720A (en) * 1997-02-10 2000-10-10 Matsushita Electric Industrial Co., Ltd. Method and apparatus for providing a variety of information from an information server
US6438523B1 (en) * 1998-05-20 2002-08-20 John A. Oberteuffer Processing handwritten and hand-drawn input and speech input
US6643620B1 (en) * 1999-03-15 2003-11-04 Matsushita Electric Industrial Co., Ltd. Voice activated controller for recording and retrieving audio/video programs
US7245291B2 (en) * 2000-07-11 2007-07-17 Imran Sharif System and method for internet appliance data entry and navigation
US9460346B2 (en) * 2004-04-19 2016-10-04 Google Inc. Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device
US7689232B1 (en) * 2004-09-21 2010-03-30 Beyer Jr Malcolm K Method of providing call forward of voice and messages and remote phone activation
US7733903B2 (en) * 2006-08-04 2010-06-08 International Business Machines Corporation Text transcriptions for voice communications
KR101356490B1 (ko) * 2007-02-06 2014-01-29 엘지전자 주식회사 수신기 및 이 수신기에서 단말기와 데이터 통신을 수행하는방법
US8949266B2 (en) * 2007-03-07 2015-02-03 Vlingo Corporation Multiple web-based content category searching in mobile search application
US20090313020A1 (en) * 2008-06-12 2009-12-17 Nokia Corporation Text-to-speech user interface control
US9557889B2 (en) * 2009-01-28 2017-01-31 Headwater Partners I Llc Service plan design, user interfaces, application programming interfaces, and device management
US9280971B2 (en) * 2009-02-27 2016-03-08 Blackberry Limited Mobile wireless communications device with speech to text conversion and related methods
MX2013007996A (es) * 2011-01-14 2013-08-21 Samsung Electronics Co Ltd Metodo y aparato para transmitir entrada de usuario desde un dispositivo de destino hacia un dispositivo de fuente en un sistema de comunicacion directa de wi-fi.
US8677029B2 (en) * 2011-01-21 2014-03-18 Qualcomm Incorporated User input back channel for wireless displays
US20130013318A1 (en) * 2011-01-21 2013-01-10 Qualcomm Incorporated User input back channel for wireless displays
JP6289448B2 (ja) * 2012-04-25 2018-03-07 コピン コーポレーション 即時翻訳システム
US20130325466A1 (en) * 2012-05-10 2013-12-05 Clickberry, Inc. System and method for controlling interactive video using voice
KR101925027B1 (ko) * 2012-07-30 2018-12-04 엘지전자 주식회사 영상표시장치 및 이를 이용한 사용자 인터페이스 제공 방법
KR102129374B1 (ko) * 2012-08-27 2020-07-02 삼성전자주식회사 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR20140081172A (ko) * 2012-12-21 2014-07-01 주식회사 팬택 싱크 장치, 소스 장치, 이들을 포함하는 무선랜 시스템 및 싱크 장치를 제어하는 방법
KR101732137B1 (ko) * 2013-01-07 2017-05-02 삼성전자주식회사 원격 제어 장치 및 전력 제어 방법
KR102030114B1 (ko) * 2013-01-07 2019-10-08 삼성전자주식회사 서버 및 그의 제어 방법
KR20140089861A (ko) * 2013-01-07 2014-07-16 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
KR20140093303A (ko) * 2013-01-07 2014-07-28 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
KR102016347B1 (ko) * 2013-02-12 2019-08-30 삼성전자주식회사 클라이언트 및 서버 간 연결 방법 및 장치
KR102090948B1 (ko) * 2013-05-20 2020-03-19 삼성전자주식회사 대화 기록 장치 및 그 방법
US9306992B2 (en) * 2013-06-07 2016-04-05 Qualcomm Incorporated Method and system for using Wi-Fi display transport mechanisms to accomplish voice and data communications
US9183612B2 (en) * 2013-09-04 2015-11-10 Qualcomm Incorporated Wearable display device use-based data processing control
JP6022076B2 (ja) * 2013-10-15 2016-11-09 株式会社東芝 電子機器および通信制御方法
US10338684B2 (en) * 2014-03-26 2019-07-02 Intel Corporation Mechanism to enhance user experience of mobile devices through complex inputs from external displays
US9665336B2 (en) * 2014-07-29 2017-05-30 Qualcomm Incorporated Direct streaming for wireless display
KR101614756B1 (ko) * 2014-08-22 2016-04-27 현대자동차주식회사 음성 인식 장치, 그를 포함하는 차량, 및 그 차량의 제어 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1190840A (zh) * 1996-11-15 1998-08-19 摩托罗拉公司 用于语音通信可视显示的装置、方法及系统
CN1643573A (zh) * 2002-03-20 2005-07-20 独立行政法人科学技术振兴机构 音频视频转换设备、音频视频转换方法以及音频视频转换程序
CN1427394A (zh) * 2002-04-09 2003-07-02 北京无限商机通信技术有限公司 语音浏览网关
CN1729665A (zh) * 2002-12-19 2006-02-01 皇家飞利浦电子股份有限公司 一种具备带有用于显示视频信号的显示器的手持控制器的住宅网关系统
WO2008007385A2 (en) * 2006-07-13 2008-01-17 Venkat Srinivas Meenavalli Method for controlling advanced multimedia features and supplementary services in sip-based phones and a system employing thereof
CN102132548A (zh) * 2008-08-28 2011-07-20 高通股份有限公司 用于在视频显示会话期间滚动语音呼叫或消息的文本显示的方法和设备
CN103404104A (zh) * 2011-01-21 2013-11-20 高通股份有限公司 用于无线显示器的用户输入返回信道
US20140210693A1 (en) * 2013-01-25 2014-07-31 Qualcomm Incorporated Connectionless transport for user input control for wireless display devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112420052A (zh) * 2020-11-18 2021-02-26 青岛海尔科技有限公司 设备控制方法、装置、存储介质及电子装置

Also Published As

Publication number Publication date
KR102281341B1 (ko) 2021-07-23
CN107211020B (zh) 2020-06-16
WO2016122151A1 (ko) 2016-08-04
US20170324794A1 (en) 2017-11-09
EP3253029A1 (en) 2017-12-06
US10057317B2 (en) 2018-08-21
EP3253029B1 (en) 2019-09-11
EP3253029A4 (en) 2018-08-01
KR20160091628A (ko) 2016-08-03

Similar Documents

Publication Publication Date Title
CN107211020A (zh) 宿设备及其控制方法
US11372619B2 (en) Smart controlling device and method of controlling therefor
EP2991064B1 (en) Method for removing image sticking in display device
CN107801094A (zh) 在信宿装置处控制信源装置的方法和使用该方法的设备
CN105208460B (zh) 经由web浏览器访问广播接收器的显示设备及其控制方法
CN103530032B (zh) 移动终端、图像显示装置及使用其的用户接口提供方法
KR102183413B1 (ko) 콘텐트 표현 방법 및 시스템
KR102245365B1 (ko) 디스플레이 장치 및 그 제어 방법
CN108933892A (zh) 便携式电子设备及其控制方法
KR102340230B1 (ko) 두 디바이스 간 근거리 통신을 자동으로 연결하는 방법 및 이를 위한 장치
CN105630281B (zh) 移动终端及其控制方法
KR20120116613A (ko) 영상표시장치 및 이를 이용한 콘텐츠 관리방법
CN105391842B (zh) 移动终端及其控制方法
CN107852435A (zh) 移动终端及其控制方法
EP3434005B1 (en) Display device and operating method thereof
CN109804346A (zh) 无线装置和无线系统
KR102300927B1 (ko) 화상출력장치, 이동 단말기 및 그것들의 제어 방법
KR102336984B1 (ko) 멀티미디어 디바이스
US10860288B2 (en) Display device and control method thereof
US11190838B2 (en) Multimedia device with standby mode and providing notification information
KR102271436B1 (ko) 디스플레이 디바이스에서의 잔상 제거 방법
KR102340231B1 (ko) 멀티미디어 디바이스 및 그 제어 방법
KR20180061908A (ko) 디스플레이 장치 및 그 제어 방법
US10983745B2 (en) Display device and display system including same
CN106534474A (zh) 移动终端及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant