CN107801094A - 在信宿装置处控制信源装置的方法和使用该方法的设备 - Google Patents

在信宿装置处控制信源装置的方法和使用该方法的设备 Download PDF

Info

Publication number
CN107801094A
CN107801094A CN201710712264.3A CN201710712264A CN107801094A CN 107801094 A CN107801094 A CN 107801094A CN 201710712264 A CN201710712264 A CN 201710712264A CN 107801094 A CN107801094 A CN 107801094A
Authority
CN
China
Prior art keywords
coordinate
control
display
mobile terminal
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710712264.3A
Other languages
English (en)
Other versions
CN107801094B (zh
Inventor
白相贤
李在京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN107801094A publication Critical patent/CN107801094A/zh
Application granted granted Critical
Publication of CN107801094B publication Critical patent/CN107801094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227Providing Remote input by a user located remotely from the client device, e.g. at work
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438Window management, e.g. event handling following interaction with the user interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W76/00Connection management
    • H04W76/10Connection setup
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/06Consumer Electronics Control, i.e. control of another device by a display or vice versa
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)

Abstract

在信宿装置处控制信源装置的方法和使用该方法的设备。一种信宿装置包括:网络收发器,该网络收发器被配置为与信源装置通信;显示器;以及控制器,该控制器被配置为:经由所述网络收发器从所述信源装置接收视频内容,其中,所述信源装置的信源显示器与原始显示坐标对应;使所述显示器显示所述视频内容,其中,所述显示器与改变后的显示坐标对应;接收用于选择所述显示器的第一坐标的控制信号;生成针对所述原始显示坐标的第二坐标,其中,所述第二坐标与所述第一坐标对应;并且使所述网络收发器向所述信源装置发送所述第二坐标。

Description

在信宿装置处控制信源装置的方法和使用该方法的设备
技术领域
本公开涉及显示装置及其操作方法。
背景技术
近来,使用有线或无线通信网络的数字TV服务愈发常见。数字TV服务可以提供在现有模拟广播服务中还未提供的各种服务。
例如,作为一种类型的数字TV服务的互联网协议电视(IPTV)或智能TV服务是使得用户能够主动选择要观看的节目的种类、观看时间等的双向服务。IPTV或智能TV服务可以基于此双向服务能力来提供各种附加服务,例如,互联网搜索、家庭购物、在线游戏等。
画面镜像(screen mirroring)是指使用无线通信将诸如移动终端这样的信源装置的画面照原样投影到诸如TV这样的信宿装置的屏幕上的技术。可以使用画面镜像技术通过具有相对大的显示单元的TV来原样地欣赏用户通过具有小尺寸显示单元的移动终端欣赏的图片、图像等。
通常,不能在信宿装置处控制信源装置的画面,因此只通过信源装置来输入命令。近来,已经使用了以下方法:通过用户输入反向通道(UIBC)从信宿装置向信源装置发送用于控制信源装置的画面的预定命令。
发明内容
实施方式提供了使得用户能够在移动终端和显示装置之间进行Miracast连接期间通过遥控装置来容易地控制移动终端的信宿装置。
实施方式还提供了使得用户能够在具有不同坐标表和分辨率的移动装置和显示装置之间进行Miracast连接期间通过显示装置来准确地控制移动终端的信宿装置。
实施方式还提供了使得即使当移动终端的画面模式在Miracast连接期间改变时也不影响用户对移动终端的控制的信宿装置。
在一个实施方式中,一种信宿装置包括:网络收发器,该网络收发器被配置为与信源装置通信;显示器;以及控制器,该控制器被配置为:经由所述网络收发器从所述信源装置接收视频内容,其中,所述信源装置的信源显示器与原始显示坐标对应;使所述显示器显示所述视频内容,其中,所述显示器与改变后的显示坐标对应;接收用于选择所述显示器的第一坐标的控制信号;生成针对所述原始显示坐标的第二坐标,其中,所述第二坐标与所述第一坐标对应;并且使所述网络收发器向所述信源装置发送所述第二坐标。
所述信源装置的显示分辨率可以小于所述信宿装置的所述显示器的显示分辨率,并且所述控制器还可以被配置为与改变后的显示坐标对应地缩放所接收到的视频内容,以便在所述显示器上进行全屏显示。
所述控制器还可以被配置为在所述显示器上以全屏方式显示所述视频内容之前使以未缩放的大小显示所接收到的视频内容。
所述控制器还可以被配置为响应于分辨率控制输入而使所述显示器从以所述未缩放的大小显示所述视频内容切换成以全屏方式显示所述视频内容。
所述第二坐标可以是使用所接收到的视频内容的缩放信息而生成的。
所述控制器还可以被配置为识别所显示的视频内容的图像的对象,所述对象与所选择的第一坐标对应。
所述控制器还可以被配置为在所识别的对象是基于信源装置的对象时使所述网络收发器向所述信源装置发送所述第二坐标和所识别的对象。
所述控制器还可以被配置为在所识别的对象是基于信宿装置的对象时执行与所识别的对象对应的控制操作。
所述控制信号可以是从与所述信宿装置关联的遥控装置接收到的。
所述控制信号可以用于选择所述遥控装置的触摸板的第三坐标,其中,所述触摸板的所述第三坐标的位置与所述显示器的所述第一坐标的位置对应,并且所述第二坐标可以是通过将所述第三坐标转换成针对改变后的坐标的第一坐标并且基于用于发送到所述信源装置的所述第一坐标来生成所述第二坐标而生成的。
所述控制器还可以被配置为:响应于选择所显示的视频内容的所述第一坐标,经由所述网络收发器从所述信源装置接收用于显示菜单的至少一个原始菜单显示坐标;针对改变后的显示坐标来生成至少一个改变后的菜单显示坐标,其中,所述至少一个改变后的菜单显示坐标与所述至少一个原始菜单显示坐标置对应;并且使所述显示器在所述至少一个改变后的菜单显示坐标处显示菜单。
在另一个实施方式中,一种信宿装置包括:网络收发器,该网络收发器被配置为与信源装置通信;存储器;显示器;以及控制器,该控制器被配置为:经由所述网络收发器从所述信源装置接收视频内容;通过将所述信源装置的坐标表和所述信宿装置的坐标表进行映射来生成第一坐标映射表;将所述第一坐标映射表存储在所述存储器中;使所述显示器显示所接收到的视频内容;接收用于选择所述显示器的第一坐标的控制信号;利用所述第一坐标映射表来识别针对原始显示坐标的第二坐标,其中,所述第二坐标与所述第一坐标对应;并且使所述网络收发器向所述信源装置发送所述第二坐标。
所述信源装置的显示分辨率可以小于所述信宿装置的所述显示器的显示分辨率,并且所述控制器还可以被配置为与改变后的显示坐标对应地缩放所接收到的视频内容,以便在所述显示器上进行全屏显示。
所述控制器还可以被配置为在所述显示器上以全屏方式显示所述视频内容之前使以未缩放的大小显示所接收到的视频内容。
所述控制器还可以被配置为响应于分辨率控制输入而使所述显示器从以所述未缩放的大小显示所述视频内容切换成以全屏方式显示所述视频内容。
所述控制器还可以被配置为识别所显示的视频内容的图像的对象,所述对象与所选择的第一坐标对应。
所述控制器还可以被配置为在所识别的对象是基于信源装置的对象时使所述网络收发器向所述信源装置发送所述第二坐标和所识别的对象。
所述控制器还可以被配置为在所识别的对象是基于信宿装置的对象时执行与所识别的对象对应的控制操作。
所述控制信号可以是从与所述信宿装置关联的遥控装置接收到的。
所述控制信号可以用于选择所述遥控装置的触摸板的第三坐标,其中,所述触摸板的所述第三坐标的位置与所述显示器的所述第一坐标的位置对应,并且所述控制器还可以被配置为:接收所述遥控装置的触摸板坐标表;通过将所述触摸板坐标表和所述信宿装置的坐标表进行映射来生成第二坐标映射表;并且基于所述第二坐标映射表识别作为选择的所述第一坐标。
所述控制器还可以被配置为:响应于选择所显示的视频内容的所述第一坐标,经由所述网络收发器从所述信源装置接收用于显示菜单的至少一个原始菜单显示坐标;利用所述第一坐标映射表来识别针对改变后的显示坐标的至少一个改变后的菜单显示坐标,其中,所述至少一个改变后的菜单显示坐标与所述至少一个原始菜单显示坐标置对应;并且使所述显示器在所述至少一个改变后的菜单显示坐标处显示菜单。
所述控制器还可以被配置为:当所述信源装置处的视频内容的显示取向改变时,经由所述网络收发器从所述信源装置接收取向改变信息;并且使用所接收到的取向改变信息来更新所存储的第一坐标映射表。
本公开具有如下的优点。
根据本公开,用户能够使用UIBC技术在移动终端和显示装置之间进行Miracast连接期间容易地控制移动终端。
根据本公开,在显示装置或移动终端中执行坐标转换处理,使得用户能够在具有不同坐标表和分辨率的移动终端和显示装置之间进行Miracast连接期间准确地控制移动终端。
根据本公开,当用户在Miracast连接期间改变移动终端的画面模式时,重新设置坐标表和坐标转换算法,使得用户对移动终端的控制不受影响。
根据本公开,当显示在显示装置中的视频内容的大小在镜像期间改变时,针对大小改变后的视频内容而选择的坐标被改变为具有原始大小的视频内容的坐标,并且改变后的坐标被发送到移动装置,使得用户对移动终端的控制不受影响。
以下在附图和说明书中阐述了一个或更多个实施方式的细节。其它特征根据说明书和附图以及权利要求将是显而易见的。
附图说明
图1是按照本公开的移动终端的框图。
图2是例示根据实施方式的显示装置的配置的框图。
图3是例示根据实施方式的图2的控制单元的详细配置的框图。
图4是例示根据实施方式的遥控装置的框图。
图5是例示根据实施方式的遥控装置的实际配置的视图。
图6是利用根据实施方式的遥控装置的视图。
图7是例示信宿装置和信源装置之间的UIBC连接的流程图。
图8是例示根据实施方式的信源装置的操作方法的实施方式的流程图。
图9和图10是例示根据实施方式的信源装置和信宿装置的控制方法的视图。
图11是例示根据实施方式的用于控制从信源装置发送到信宿装置的数据的方法的流程图。
图12是例示图11的方法的示例的视图。
图13、图14和图15是例示其中本公开的显示装置使用坐标转换和UIBC向移动终端发送控制输入信号的第一实施方式的视图。
图16、图17、图18和图19是例示其中本公开的显示装置使用坐标转换和UIBC向移动终端发送控制输入信号的实施方式的视图。
图20、图21和图22是例示其中本公开的显示装置使用UIBC从移动终端接收控制输入信号的实施方式的视图。
图23、图24、图25和图26是例示其中本公开的显示装置使用坐标转换和UIBC向移动终端发送控制输入信号的第二实施方式的视图。
图27、图28、图29和图30是例示其中本公开的显示装置使用坐标转换和UIBC向移动终端发送控制输入信号的第三实施方式的视图。
图31是例示根据实施方式的显示装置的控制方法的流程图。
图32是例示根据实施方式的显示装置启动特定区域放大模式的情况的视图。
图33是例示根据实施方式的当显示装置启动特定区域放大模式时指点器(pointer)形状发生改变的状态的视图。
图34是例示根据实施方式的当显示装置启动特定区域放大模式时控制画面的状态的视图。
图35是例示根据实施方式的当显示装置启动特定区域放大模式时使用指点器来移动放大画面的特定点的状态的视图。
图36是例示根据实施方式的当显示装置启动特定区域放大模式时使用遥控装置来控制画面的状态的视图。
图37、图38、图39和图40是例示其中显示装置使用坐标转换和UIBC在特定区域放大模式下向移动终端发送控制输入信号的实施方式的视图。
图41是例示根据实施方式的显示装置的操作方法的流程图。
图42、图43和图44是例示根据图41的实施方式的显示装置的控制方法的示例性视图。
具体实施方式
将通过参照附图描述的以下实施方式来阐明本公开的优点和特征及其实现方法。然而,本公开可以按照不同的方式来实施并且不应该被理解为限于本文中阐述的实施方式。相反,提供这些实施方式,使得本公开将是彻底和完整的,并且将把本公开的范围充分传达给本领域的技术人员。另外,本公开仅由权利要求的范围限定。相似的参考标号始终是指相似的元件。
用于以下描述中使用的组件的后缀“模块”和“单元”的指派和混合只是出于撰写说明书方便的考虑。也就是说,后缀本身并没有不同的含义或作用。
虽然可以使用诸如“第一”和“第二”这样的术语来描述各种组件,但是这些组件不必被理解为限于以上术语。以上术语只是用于将一个组件与另一个区分开。例如,在不脱离本公开的权利范围的情况下,第一组件可以被称为第二组件,同样地,第二组件可以被称为第一组件。
在整个说明书中,当一元件被称为正“连接”或“联接”到另一个元件时,该元件可以直接连接或联接到所述另一个元件或者利用插入在它们之间的一个或更多个居间元件连接或联接到所述另一个元件。
除非上下文中另外清楚指示,否则本公开中的单数形式旨在也包括复数形式。
还应该理解,诸如“包括”或“具有”等这样的术语旨在指示存在说明书中公开的特征、数字、操作、动作、组件、部件或其组合,而不旨在排除了可存在或可添加一个或更多个其它特征、数字、操作、动作、组件、部件或其组合的可能性。
例如作为具有广播接收功能和计算机辅助功能二者的智能显示装置的根据实施方式的显示装置可通过在实现广播接收功能的同时添加互联网功能来包括比手写输入装置、触摸屏或空间遥控器等更方便的用户友好的界面。另外,显示装置还可通过连接到互联网和支持有线或无线互联网功能的计算机来执行电子邮件、网页浏览、互联网银行业务或游戏等。为了执行上述各种功能,可使用通用的操作系统(OS)。
因此,在本公开中描述的显示装置中,由于可在通用OS内核上自由地添加或删除各种应用,因此可执行各种用户友好的功能。更具体地,显示装置可以是例如网络TV、HBBTV、智能TV、LED TV、OLED TV等,并且在一些情况下可以应用于智能电话。
本说明书中描述的移动终端可以包括移动电话、智能电话、便携式计算机、用于数字广播的终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航器、触屏平板PC、平板PC、超级本、可穿戴装置(比如,手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))等。
然而,本领域的技术人员应该容易理解,除了只适用于移动终端的情况外,根据本说明书的实施方式的配置还可以应用于诸如数字TV、台式计算机和数字标牌这样的固定终端。
图1是按照本公开的移动终端的框图。
移动终端100被示出为具有诸如无线通信单元110、输入单元120、感测单元140、输出单元150、接口单元160、存储器170、控制器180和电源单元190这样的组件。要理解,实现所有例示的组件不是必需的,并且可以另选地实现更多或更少的组件。
现在参照图1,移动终端100被示出为具有无线通信单元110,无线通信单元110被配置有许多通常实现的组件。例如,无线通信单元110通常包括一个或更多个组件,所述一个或更多个组件允许在移动终端100和移动终端所处的无线通信系统或网络之间进行无线通信。
无线通信单元110通常包括一个或更多个模块,所述一个或更多个模块允许进行诸如移动终端100和无线通信系统之间的无线通信、移动终端100和另一个移动终端之间的通信、移动终端100和外部服务器之间的通信这样的通信。另外,无线通信单元110通常包括将移动终端100与一个或更多个网络连接的一个或更多个模块。为了促成这些通信,无线通信单元110包括广播接收模块111、移动通信模块112、无线互联网模块113、短距离通信模块114和位置信息模块115中的一个或更多个。
输入单元120包括用于获得图像或视频的相机121、麦克风122(其是用于输入音频信号的一种类型的音频输入装置)和用于使得用户能够输入信息的用户输入单元123(例如,触摸键、按键、机械键、软键等)。数据(例如,音频、视频、图像等)由输入单元120获得,并且可以由控制器180根据装置参数、用户命令及其组合来分析和处理。
感测单元140通常使用被配置为感测移动终端的内部信息、移动终端的周围环境、用户信息等的一个或更多个传感器来实现。例如,在图1中,感测单元140被示出为具有接近传感器141和照度传感器142。
如果需要的话,感测单元140可以另选地或附加地包括其它类型的传感器或装置(诸如,触摸传感器、加速度传感器、磁传感器、重力传感器、陀螺仪传感器、运动传感器、RGB传感器、红外(IR)传感器、手指扫描传感器、超声传感器、光学传感器(例如,相机121)、麦克风122、电池电量计(battery gauge)、环境传感器(例如,气压计、湿度计、温度计、放射线检测传感器、热传感器和气体传感器等)和化学传感器(例如,电子鼻、保健传感器、生物识别传感器等),仅举几例。移动终端100可以被配置为利用从传感单元140获得的信息,并且特别是,从感测单元140中的一个或更多个传感器获得的信息及其组合。
输出单元150通常被配置为输出诸如音频、视频、触觉输出等这样的各种类型的信息。输出单元150被示出为具有显示单元151、音频输出模块152、触觉模块153和光学输出模块154。
显示单元151可以具有夹层结构或集成结构,其具有触摸传感器以利于触摸屏。该触摸屏可以提供移动终端100与用户之间的输出接口、以及作为提供移动终端100与用户之间的输入接口的用户输入单元123的功能。
接口单元160用作与能够联接到移动终端100的各种类型的外部装置的接口。例如,接口单元160可以包括任何有线或无线端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。在一些情况下,移动终端100可以响应于外部装置连接到接口单元160而执行与所连接的外部装置关联的各种控制功能。
存储器170通常被实现为存储用于支持移动终端100的各种功能或特征的数据。例如,存储器170可以被配置为存储在移动终端100中执行的应用程序、用于移动终端100的操作的数据或指令等。可以经由无线通信从外部服务器下载这些应用程序中的一些。其它应用程序可以在制造或装运时安装在移动终端100内,这通常是针对移动终端100的基本功能(例如,接电话、打电话、接收消息、发送消息等)的情况。常见的是,应用程序被存储在存储器170中,被安装在移动终端100中,并且由控制器180执行,以对移动终端100执行操作(或功能)。
除了与应用程序关联的操作以外,控制器180通常还用于控制移动终端100的总体操作。控制器180可以通过对图1中描绘的各种组件输入或者输出的信号、数据、信息等进行处理和/或启动存储在存储器170中的应用程序来提供或处理适用于用户的信息或功能。作为一个示例,控制器180根据已经存储在存储器170中的应用程序的执行来控制图1中例示的组件的一些或全部。
电源单元190能够被配置为接收外部电力或提供内部电力,以便供应对移动终端100中包含的元件和组件进行操作所需的适当电力。电源单元190可以包括电池,而该电池可以被配置为嵌入终端主体中,或者被配置为可以从终端主体拆卸。
仍参照图1,现在将更详细地描述该图中描绘的各种组件。关于无线通信单元110,广播接收模块111通常被配置为经由广播信道从外部广播管理实体接收广播信号和/或广播关联信息。广播信道可以包括卫星信道、地面信道或这二者。在一些实施方式中,可以利用两个或更多个广播接收模块111来促成同时接收两个或更多个广播信道或支持在广播信道之间的切换。
广播管理实体可以是生成并发送广播信号和/或广播关联信息的服务器、或者接收预生成广播信号和/或广播关联信息并且将这些项发送到移动终端的服务器。
除了其它方面以外,还可以使用TV广播信号、无线电广播信号、数据广播信号及其组合中的任一个来实现广播信号。在一些情况下,广播信号还可以包括与TV或无线电广播信号组合的数据广播信号。
可以根据用于发送和接收数字广播信号的各种技术标准或广播方法(例如,国际标准化组织(ISO)、国际电工委员会(IEC)、数字视频广播(DVB)、高级电视系统协会(ATSC)等)中的任一种来对广播信号进行编码。广播接收模块111能够使用适合于所利用的发送方法的方法来接收数字广播信号。
广播关联信息的示例可以包括与广播信道、广播节目、广播事件、广播服务提供方等关联的信息。广播关联信息还可以经由移动通信网络来提供,并且在这种情况下,由移动通信模块112接收。
可以按各种格式来实现广播关联信息。例如,广播关联信息可以包括数字多媒体广播(DMB)的电子节目指南(EPG)、手持数字视频广播(DVB-H)的电子服务指南(ESG)等。可以将经由广播接收模块111接收的广播信号和/或广播关联信息存储在适当的装置(诸如存储器170)中。
移动通信模块112能够向一个或更多个网络实体发送无线信号和/或从一个或更多个网络实体接收无线信号。网络实体的典型示例包括基站、外部移动终端、服务器等。这些网络实体形成移动通信网络的一部分,该移动通信网络根据移动通信的技术标准或通信方法(例如,全球移动通信系统(GSM)、码分多址(CDMA)、CDMA2000(码分多址2000)、EV-DO(增强型优化语音-数据或增强型仅语音-数据、宽带CDMA(WCDMA)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等)来构建。经由移动通信模块112发送和/或接收的无线信号的示例包括音频呼叫信号、视频(电话)呼叫信号或者支持文本和多媒体消息的通信的各种格式的数据。
无线互联网模块113被配置为促成无线互联网接入。此模块可以内部或外部地联接到移动终端100。无线互联网模块113可以根据无线互联网技术经由通信网络来发送和/或接收无线信号。
这种无线互联网接入的示例包括无线LAN(WLAN)、无线保真(Wi-Fi)、Wi-Fi直连、数字生活网络联盟(DLNA)、无线宽带(Wibro)、全球微波接入互操作性(WiMAX)、高速下行链路分组接入(HSDPA)、HSUPA(高速上行链路分组接入)、长期演进(LTE)、LTE-A(高级长期演进)等。无线互联网模块113可以根据这些无线互联网技术以及其它互联网技术中的一种或更多种来发送/接收数据。
在一些实施方式中,当根据例如Wibro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LET、LTE-A等实现无线互联网接入时,作为移动通信网络的部分,无线互联网模块113执行这种无线互联网接入。如此,互联网模块113可以与移动通信模块112协作或用作移动通信模块112。
短距离通信模块114被配置为促成短距离通信。用于实现这种短距离通信的合适技术包括BLUETOOTHTM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连、无线USB(无线通用串行总线)等。短距离通信模块114通常经由无线局域网支持移动终端100与无线通信系统之间的无线通信、移动终端100与另一移动终端100之间的通信或移动终端与另一移动终端100(或外部服务器)所处的网络之间的通信。无线局域网的一个示例是无线个域网。
在一些实施方式中,另一移动终端(可以类似于移动终端100来配置)可以是能够与移动终端100交换数据(或者说与移动终端100协作)的可穿戴装置(例如,智能手表、智能眼镜或头戴式显示器(HMD))。短距离通信模块114可以感测或识别可穿戴装置,并且允许可穿戴装置与移动终端100之间进行通信。另外,当所感测到的可穿戴装置是被认证与移动终端100进行通信的装置时,例如,控制器180可以使经由短距离通信模块114将在移动终端100中处理的数据发送到可穿戴装置。因此,可穿戴装置的用户可以在可穿戴装置上使用在移动终端100中处理的数据。例如,当在移动终端100中接到电话时,用户可以利用可穿戴装置来接电话。另外,当在移动终端100中接收到消息时,用户能够使用可穿戴装置来查看所所接收到的消息。
位置信息模块115通常被配置为检测、计算、推导或者以其它方式标识移动终端的位置。例如,位置信息模块115包括全球定位系统(GPS)模块、Wi-Fi模块或这二者。如果需要的话,位置信息模块115可以另选地或另外地与无线通信单元110的其它模块中的任一个一起工作,以获得与移动终端的位置有关的数据。
例如,当移动终端使用GPS模块时,可以使用从GPS卫星发送的信号来获取移动终端的位置。又如,当移动终端使用Wi-Fi模块时,能够基于与无线接入点(AP)有关的信息来获取移动终端的位置,该无线接入点(AP)向Wi-Fi模块发送无线信号或者从Wi-Fi模块接收无线信号。
输入单元120可以被配置为允许向移动终端120进行各种类型的输入。这种输入的示例包括音频、图像、视频、数据和用户输入。图像和视频输入常常使用一个或更多个相机121来获得。这些相机121可以对视频或图像拍摄模式下通过图像传感器获得的静止画面或视频的图像帧进行处理。经处理的图像帧能够被显示在显示单元151上或存储在存储器170中。在一些情况下,相机121可以按照矩阵配置布置,以使得具有各种角度或焦点的多个图像能够被输入移动终端100。又如,相机121可以按照立体布置方式来设置,以获取用于实现立体图像的左图像和右图像。
麦克风122通常被实现为允许向移动终端100输入音频。能够根据移动终端100中正执行的功能来按照各种方式处理音频输入。如果需要的话,麦克风122可以包括用于去除在接收外部音频的过程中生成的不期望噪声的各种噪声的去除算法。
用户输入单元123是允许用户进行输入的组件。这种用户输入可以使得控制器180能够控制移动终端100的操作。用户输入单元123可以包括机械输入元件(例如,位于移动终端100的正面和/或后面或侧面的键、按钮、薄膜开关、滚轮、触合式开关等)或者触敏输入装置(还有其它)中的一个或更多个。例如,触敏输入装置可以是通过软件处理显示在触摸屏上的虚拟键或软键、或者设置在移动终端上的除了触摸屏以外的位置处的触摸键。另一方面,在触摸屏上可以按照各种形状(例如,图形、文本、图标、视频或其组合)显示虚拟键或视觉键。
感测单元140通常被配置为感测移动终端的内部信息、移动终端的周围环境信息、用户信息等中的一个或更多个。控制器180通常与感测单元140协作,以基于感测单元140所提供的感测来控制移动终端100的操作或者执行与安装在移动终端中的应用程序关联的数据处理、功能或操作。可以使用各种传感器中的任一个来实现感测单元140,现在将更详细地描述其中一些传感器。
接近传感器141可以包括在没有机械接触的情况下,使用电磁场、红外线等来感测是否存在靠近表面的物体或者位于表面附近的物体的传感器。接近传感器141可以布置在移动终端的被触摸屏覆盖的内侧区域处或触摸屏附近。
例如,接近传感器141可以包括透射型光电传感器、直接反射型光电传感器、镜面反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等中的任一个。当触摸屏被实现为电容型时,接近传感器141能够通过电磁场响应于导电物体的靠近而发生的变化来感测指点器相对于触摸屏的接近。在这种情况下,触摸屏(触摸传感器)也可以被归类为接近传感器。
本文中常常将提及术语“接近触摸”以表示指点器被设置成在没有接触触摸屏的情况下接近触摸屏的情景。本文中常常将提及术语“接触触摸”以表示指点器与触摸屏进行实际接触的情景。对于与指点器相对于触摸屏的接近触摸对应的位置,此位置将对应于指点器垂直于触摸屏的位置。接近传感器141可以感测接近触摸以及接近触摸模式(例如,距离、方向、速度、时间、位置、移动状态等)。
总体上,控制器180对与接近传感器141所感测的接近触摸和接近触摸模式对应的数据进行处理,并且使在触摸屏上输出视觉信息。另外,控制器180能够根据对触摸屏上的点的触摸是接近触摸还是接触触摸来控制移动终端100执行不同的操作或处理不同的数据。
触摸传感器能够使用各种触摸方法中的任一种来感测施加到诸如显示单元151这样的触摸屏的触摸。这些触摸方法的示例包括电阻型、电容型、红外型和磁场型等。
例如,触摸传感器可以被配置为将施加到显示单元151的特定部分的压力的变化或者在显示单元151的特定部分处出现的电容转换为电输入信号。触摸传感器还可以被配置为不仅感测触摸位置和触摸区域,而且感测触摸压力和/或触摸电容。通常使用触摸物体来向触摸传感器施加触摸输入。典型的触摸物体的示例包括手指、触摸笔、手写笔、指点器等。
当触摸传感器感测到触摸输入时,可以将对应信号发送给触摸控制器。触摸控制器可以对所所接收到的信号进行处理,然后将对应数据发送给控制器180。因此,控制器180能够感测显示单元151的哪一区域已经被触摸。这里,触摸控制器可以是独立于控制器180的组件,控制器180及其组合。
在一些实施方式中,控制器180能够根据对触摸屏或者除了触摸屏以外设置的触摸键进行触摸的触摸物体的类型来执行相同或不同的控制。例如,可以基于移动终端100的当前操作状态或者当前执行的应用程序来决定根据提供触摸输入的物体是执行相同的控制还是不同的控制。
触摸传感器和接近传感器可以单独实现或者组合实现,以感测各种类型的触摸。这些触摸包括短(或轻敲)触摸、长触摸、多触摸、拖曳触摸、轻拂触摸、缩小(pinch-in)触摸、放大(pinch-out)触摸、扫掠触摸、悬停触摸等。
如果需要的话,可以实现超声传感器以使用超声波来识别与触摸物体有关的位置信息。例如,控制器180可以基于由照度传感器和多个超声传感器所感测的信息来计算波生成源的位置。由于光远比超声波快,因此光到达光学传感器的时间远比超声波到达超声传感器的时间短。可以使用这一事实来计算波生成源的位置。例如,可以基于光作为基准信号使用与超声波到达传感器的时间的时间差来计算波生成源的位置。
相机121通常包括至少一个相机传感器(CCD、CMOS等)、光传感器(或图像传感器)和激光传感器。
用激光传感器实现相机121可以使得能够检测物理对象相对于3D立体图像的触摸。光传感器可以被层叠在显示装置上或者与显示装置交叠。光传感器可以被配置为对接近触摸屏的物理对象的移动进行扫描。更详细地,光传感器可以包括成行和列的光电二极管和晶体管,以使用根据所施加光的量而改变的电信号来对光传感器处接收的内容进行扫描。即,光传感器可以根据光的变化来计算物理对象的坐标,因此获得物理对象的位置信息。
显示单元151通常被配置为输出在移动终端100中处理的信息。例如,显示单元151能够显示在移动终端100处执行的应用程序的执行画面信息或者响应于执行画面信息而显示用户界面(UI)和图形用户界面(GUI)信息。
在一些实施方式中,显示单元151可以被实现为用于显示立体图像的立体显示单元。典型的立体显示单元可以采用诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等这样的立体显示方案。
一般而言,3D立体图像可以包括左图像(例如,左眼图像)和右图像(例如,右眼图像)。根据左图像和右图像如何被组合成3D立体图像,能够将3D立体成像方法划分成:自上而下法,其中,左图像和右图像被定位在一帧中的上面和下面;从左到右(左到右或并排)法,其中,左图像和右图像被定位在一帧中的左侧和右侧;棋盘(checker board)法,其中,左图像的片段和右图像的片段按瓦片形式被定位;交错(interlaced)法,其中,左图像和右图像按行或按列而交替地定位;以及时间顺序(或逐帧)法,其中,左图像和右图像基于时间被交替显示。
另外,关于3D缩略图(thumbnail)图像,左图像缩略图和右图像缩略图能够分别由原始图像帧的左图像和右图像生成,并且随后被组合以生成单个3D缩略图图像。一般而言,术语“缩略图”可以被用于指代缩小的图像或缩小的静止图像。生成的左图像缩略图和右图像缩略图可以在屏幕上按与左图像和的右图像之间的视差对应的深度而显示为在它们之间具有水平距离差,因此提供了立体空间感。
可以使用立体处理单元在立体显示单元上显示用于实现3D立体图像所需的左图像和右图像。该立体处理单元能够接收3D图像并且提取左图像和右图像,或者能够接收2D图像并且将其转变成左图像和右图像。
音频输出模块152通常被配置为输出音频数据。这些音频数据可以从多种不同的源中的任一个获得,使得音频数据可以从无线通信单元110接收,或者可以已经存储在存储器170中。音频数据可以在诸如信号接收模式、呼叫模式、录制模式、语音识别模式、广播接收模式等这样的模式期间输出。音频输出模块152能够提供与移动终端100所执行的特定功能有关的可听输出(例如,呼叫信号接收音、消息接收音等)。音频输出模块152还可以被实现为受话器、扬声器、蜂鸣器等。
触觉模块153能够被配置为产生用户感觉、感知或者说体验到的各种触觉效果。由触觉模块153产生的触觉效果的典型示例是振动。能够通过用户选择或控制器的设置来控制由触觉模块153产生的振动的强度、模式等。例如,触觉模块153可以按照组合方式或顺序方式来输出不同的振动。
除了振动以外,触觉模块153还能够产生各种其它触觉效果,包括诸如插针排列为了接触皮肤而垂直移动、通过喷射孔或抽吸开口的空气的喷射力或抽吸力、对皮肤的触摸、电极的接触、静电力等这样的刺激带来的效果、通过使用能够吸热或发热的元件来重现冷热感觉的效果等。
触觉模块153还能够被实现为使得用户能够通过诸如用户的手指或手臂这样的肌肉感觉来感觉触觉效果以及通过直接接触来递送触觉效果。可以根据移动终端100的特定配置来设置两个或更多个触觉模块153。
光学输出模块154能够输出使用光源的光指示事件发生的信号。移动终端100中产生的事件的示例可以包括消息接收、呼叫信号接收、未接呼叫、警报、日程提醒、电子邮件接收、通过应用进行的信息接收等。
由光学输出模块154输出的信号可以以使得移动终端发射单色光或多种颜色的光这样的方式来实现。例如,随着移动终端感测到用户已查看所发生的事件,信号输出可以被终止。
接口单元160用作将外部装置与移动终端100连接的接口。例如,接口单元160能够接收从外部装置发送的数据,接收电力以输送给移动终端100内的元件和组件,或者将移动终端100的内部数据发送给这种外部装置。接口单元160可以包括有线或无线头戴式耳机端口、外部电源端口、有线或无线数据端口、存储器卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。
识别模块可以是存储用于对使用移动终端100的权限进行认证的各种信息的芯片,并且可以包括用户识别模块(UIM)、订户识别模块(SIM)、全球订户识别模块(USIM)等。另外,具有识别模块的装置(本文中也称作“识别装置”)可以采取智能卡的形式。因此,识别装置能够经由接口单元160与终端100连接。
当移动终端100与外部托架连接时,接口单元160可以用作使得能够将来自托架的电力供应给移动终端100的通道,或者可以用作使得能够用来将由用户从托架输入的各种命令信号输送给移动终端的通道。从托架输入的各种命令信号或电力可以用作用于识别出移动终端被正确安装在托架上的信号。
存储器170能够存储用于支持控制器180的操作的程序,并且存储输入/输出数据(例如,电话簿、消息、静止图像、视频等)。存储器170能够存储与响应于触摸屏上的触摸输入而输出的各种模式的振动和音频有关的数据。
存储器170可以包括一种或更多种类型的存储介质,包括闪存、硬盘、固态盘、硅磁盘(silicon disk)、微型多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等。移动终端100还可以与在诸如互联网这样的网络上执行存储器170的存储功能的网络存储装置有关地操作。
控制器180通常能够控制移动终端100的总体操作。例如,当移动终端的状态满足预置条件时,控制器180能够设置或解除用于限制用户针对应用输入控制命令的锁定状态。
控制器180还能够执行与语音呼叫、数据通信、视频呼叫等关联的控制和处理,或者执行模式识别处理,以将触摸屏上执行的手写输入或绘画输入分别识别为字符或图像。另外,控制器180能够控制那些组件中的一个或其组合,以便实现本文中公开的各种示例性实施方式。
电源单元190接收外部电力或提供内部电力,并且供应对移动终端100中包含的各个元件和组件进行操作所需的适当电力。电源单元190可以包括电池,该电池通常是可再充电的或者按可拆卸的方式联接到终端主体以便于充电。
电源单元190可以包括连接端口。该连接端口可以被配置为接口单元160的一个示例,用于供应电力以对电池进行再充电的外部充电器电连接到接口单元160。
又如,电源单元190可以被配置为按无线方式对电池进行再充电,而不使用连接端口。在此示例中,电源单元190能够使用基于磁感应的电感耦合方法或基于电磁共振的磁共振耦合方法中的至少一种来接收从外部无线电力发射器输送的电力。
本文中所述的各种实施方式可以使用例如软件、硬件或其任何组合来在计算机可读介质、机器可读介质或类似介质中实现。
现在将更详细地描述能用所描述的各种移动终端进行操作的通信系统。此通信系统可以被配置为利用各种不同的空中接口和/或物理层中的任一种。通信系统所利用的这些空中接口的示例包括频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)、通用移动电信系统(UMTS)(包括长期演进(LTE)、LTE-A(高级长期演进))、全球移动通信系统(GSM)等。
仅仅以非限制示例的方式,其它描述将涉及CDMA通信系统,但是这些教导同等地应用于其它系统类型,包括CDMA无线通信系统以及OFDM(正交频分复用)无线通信系统。CDMA无线通信系统总体上包括一个或更多个移动终端(MT或用户设备,UE)100、一个或更多个基站(BS、NodeB或演进型NodeB)、一个或更多个基站控制器(BSC)和移动交换中心(MSC)。MSC被配置为通过接口连接传统的公用交换电话网(PSTN)和BSC。BSC经由回程线联接到基站。可以按照许多已知接口中的任一种来配置回程线,这些接口包括例如E1/T1、ATM、IP、PPP、帧中继、HDSL、ADSL或xDSL。因此,多个BSC能够被包括在CDMA无线通信系统中。
各基站可以包括一个或更多个扇区,每个扇区具有全向天线或者指向径向远离基站的特定方向的天线。另选地,每个扇区可以包括两个或更多个不同的天线。每个基站可以被配置为支持多种频率指派,其中,每个频率指派具有特定频谱(例如,1.25MHz、5MHz等)。
扇区与频率指派的交叉可以被称为CDMA信道。基站还可以被称为基站收发器子系统(BTS)。在一些情况下,术语“基站”可以用于统一表示BSC以及一个或更多个基站。基站还可以被表示为“小区站点”。另选地,给定基站的各个扇区可以被称为小区站点。
广播发送器(BT)向系统内操作的移动终端100发送广播信号。图1的广播接收模块111通常被配置在移动终端100内,以接收BT所发送的广播信号。
用于找出移动终端100的位置的全球定位系统(GPS)卫星例如可以与CDMA无线通信系统协作。可以用比两个卫星更多或更少的卫星来得到可用位置信息。要领会的是,可以另选地实现其它类型的位置检测技术(即,可以使用除了GPS位置技术以外的定位技术或者替代GPS位置技术的定位技术)。如果需要的话,另选地或另外地配置GPS卫星中的至少一个以提供卫星DMB发送。
位置信息模块115通常被配置为检测、计算或者识别移动终端的位置。例如,位置信息模块115可以包括全球定位系统(GPS)模块、Wi-Fi模块或者这二者。如果需要的话,位置信息模块115可以另选地或另外地与无线通信单元110的任何其它模块一起工作,以获得与移动终端的位置有关的数据。
典型的GPS模块115能够用三个或更多个卫星来测量准确的时间和距离,并且基于所测得的时间和距离根据三角法(trigonometry)来准确地计算移动终端的当前位置。可以使用从三个卫星获取距离和时间信息并且用单个卫星执行误差校正的方法。具体地,GPS模块可以用从卫星接收的位置信息中获取准确的时间连同三维速度信息以及纬度、经度和高度位置值。
此外,GPS模块能够实时获取速度信息来计算当前位置。有时,当移动终端位于卫星信号的盲点中(诸如,正位于室内空间中)时,所测得位置的精度会受损。为了使这些盲点的影响最小化,可以利用诸如Wi-Fi定位系统(WPS)的替代或补充位置技术。
Wi-Fi定位系统(WPS)是指使用Wi-Fi作为跟踪移动终端100的位置的技术基于无线局域网(WLAN)的位置确定技术。该技术通常包括在移动终端100中使用Wi-Fi模块和用于与Wi-Fi模块通信的无线接入点。
Wi-Fi定位系统可以包括Wi-Fi位置确定服务器、移动终端、与移动终端连接的无线接入点(AP)以及存储有无线AP信息的数据库。
与无线AP连接的移动终端可以向Wi-Fi位置确定服务器发送位置信息请求消息。Wi-Fi位置确定服务器基于移动终端100的位置信息请求消息(或信号),提取与移动终端100连接的无线AP的信息。无线AP的信息可以通过移动终端100发送到Wi-Fi位置确定服务器,或者可以从无线AP发送到Wi-Fi位置确定服务器。
基于移动终端100的位置信息请求消息而提取的无线AP的信息可以包括介质访问控制(MAC)地址、服务集标识(SSID)、接收信号强度指示符(RSSI)、参考信号接收功率(RSRP)、参考信号接收质量(RSRQ)、信道信息、隐私、网络类型、信号强度、噪声强度等中的一个或更多个。
Wi-Fi位置确定服务器可以接收如上所述的与移动终端100连接的无线AP的信息,并且可以从预先创建的数据库中提取与连接到移动终端的无线AP对应的无线AP信息。存储在数据库中的任何无线AP的信息可以是诸如MAC地址、SSID、RSSI、信道信息、隐私、网络类型、纬度和经度坐标、无线AP所处的建筑物、楼层数、详细室内位置信息(可用的GPS坐标)、AP拥有者的地址、电话号码等这样的信息。为了在位置确定处理期间去除使用移动AP或非法MAC地址提供的无线AP,Wi-Fi位置确定服务器可以按高RSSI的顺序只提取预定数量的无线AP信息。
然后,Wi-Fi位置确定服务器可以使用从数据库中提取的至少一个无线AP信息来提取(分析)移动终端100的位置信息。
提取(分析)移动终端100的位置信息的方法可以包括小区ID方法、指纹方法、三角法、地标方法等。
小区ID方法用于确定移动终端所收集的外围无线AP信息当中的具有最大信号强度的无线AP的位置作为移动终端的位置。小区ID方法是复杂度最低的实现方式,不需要额外的成本,并且能够快速获取位置信息。然而,在小区ID方法中,定位的精度可以在无线AP的安装密度低时降至低于期望的阈值。
指纹方法用于通过从服务区选择参考位置来收集信号强度信息,并且基于所收集的信息使用从移动终端发送的信号强度信息来跟踪移动终端的位置。为了使用指纹方法,无线电信号的特性一般被按照数据库的方式进行预先存储。
三角法用于基于至少三个无线AP的坐标和移动终端的坐标之间的距离来计算移动终端的位置。为了测量移动终端和无线AP之间的距离,可以将信号强度转换成距离信息,可以获取所发送无线信号的到达时间(ToA)、到达时间差(TDoA)、到达角度(AoA)等。
地标方法用于使用已知地标发送器来测量移动终端的位置。
除了这些位置定位方法之外,还可以使用各种算法来提取(分析)移动终端的位置信息。所提取的此位置信息可以通过Wi-Fi位置确定服务器被发送到移动终端100,由此获取移动终端100的位置信息。
移动终端100能够通过与至少一个无线AP连接来获取位置信息。可以根据移动终端100所处的无线通信环境来不同地改变获取移动终端100的位置信息所需的无线AP的数量。
图2是例示根据实施方式的显示装置的配置的框图。
参照图2,显示装置200可以包括广播接收单元230、外部装置接口单元235、存储单元240、用户输入接口单元250、控制单元270、无线通信单元273、显示单元280、音频输出单元285和电源单元290。
广播接收单元230可以包括调谐器231、解调单元232和网络接口单元233。
调谐器231可以根据信道选择命令来选择特定广播信道。调谐器231可以接收所选择的特定广播信道的广播信号。
解调单元232可以将所接收到的广播信号划分成视频信号、音频信号和广播节目相关数据信号并且将所划分的视频信号、音频信号和数据信号恢复成输出可用形式。
外部装置接口单元235可以接收相邻外部装置中的应用或应用列表并且将其递送到控制单元270或存储单元240。
外部装置接口单元235可以提供显示装置200和外部装置之间的连接路径。外部装置接口单元235可以接收从与显示装置200无线或有线连接的外部装置输出的图像和音频中的至少一个并且将其递送到控制单元。外部装置接口单元235可以包括多个外部输入端子。所述多个外部输入端子可以包括RGB端子、至少一个高清多媒体接口(HDMI)端子和分量端子。
通过外部装置接口单元235输入的外部装置的图像信号可以通过显示单元280输出。通过外部装置接口单元235输入的外部装置的声音信号可以通过音频输出单元285输出。
能与外部装置接口单元235连接的外部装置可以是机顶盒、蓝光播放器、DVD播放器、游戏控制台、声音条、智能电话、PC、USB存储器和家庭影院系统中的一种,但这仅仅是示例性的。
网络接口单元233可以提供用于将显示装置200连接到包括互联网网络的有线/无线网络的接口。网络接口单元233可以通过接入的网络或者与接入的网络链接的另一个网络将数据发送到另一个用户或另一个电子装置或者从另一个用户或另一个电子装置接收数据。
另外,存储在显示装置200中的一些内容数据可以被发送到从预先注册在显示装置200中的其它用户或其它电子装置中选择的用户或电子装置。
网络接口单元233可以通过接入的网络或与接入的网络链接的另一个网络来接入预定网页。也就是说,它可以通过网络访问预定网页来将数据发送到对应服务器或者从对应服务器接收数据。
然后,网络接口单元233可以接收从内容供应商或网络运营商提供的内容或数据。也就是说,网络接口单元233可以通过网络及其相关信息来接收从内容供应商或网络供应商提供的诸如电影、广告、游戏、VOD和广播信号这样的内容。
另外,网络接口单元233可以接收网络运营商提供的固件更新信息和更新文件,并且将数据发送到互联网或内容供应商或网络运营商。
网络接口单元233可以通过网络选择并接收开放的应用当中的期望应用。
存储单元240可以存储通过程序存储的经信号处理的图像、语音或数据信号,以便在控制单元270中进行每个信号处理和控制。
另外,存储单元240可执行暂时存储从外部装置接口单元235或网络接口单元233输出的图像、语音或数据信号的功能,并且可以通过信道存储器功能来存储关于预定图像的信息。
存储单元240可以存储从外部装置接口单元135或网络接口单元233输入的应用或应用列表。
显示装置200可以播放存储在存储单元240中的内容文件(例如,视频文件、静止图像文件、音乐文件、文档文件、应用文件等)并且将它们提供到用户。
用户输入接口单元250可以将从用户输入的信号递送到控制单元270或者将来自控制单元270的信号递送到用户。例如,用户输入接口单元250可以根据诸如Bluetooth、超宽带(WB)、ZigBee、射频(RF)和IR这样的各种通信方法,接收或处理来自遥控装置400的诸如通电/断电、信道选择和画面设置这样的控制信号,或者将来自控制单元270的控制信号发送到遥控装置200。
另外,用户输入接口单元250可以向控制单元270递送从诸如电源键、信道键、音量键和设置键这样的本地键(未示出)输入的控制信号。
在控制单元270中被图像处理的图像信号可以被输入显示单元280并且被作为与对应图像信号对应的图像进行显示。另外,在控制单元270中被图像处理的图像信号可以通过外部装置接口单元235被输入到外部输出装置。
在控制单元270中被处理的语音信号可以被输出到音频输出单元285。另外,在控制单元270中被处理的语音信号可以通过外部装置接口单元235被输入到外部输出装置。
除此之外,控制模块270可以控制显示装置200中的整体操作。
另外,控制单元270可以按照通过用户输入接口单元250输入的用户命令或内部程序来控制显示装置200,并且将所期望的应用或应用列表下载到接入网络的显示装置200中。
控制单元270可以通过显示单元280或音频输出单元285将用户选择的信道信息连同经处理的图像或语音信号一起输出。
另外,根据通过用户输入接口单元250接收的外部装置图像重放命令,控制单元270可以通过显示单元280或音频输出单元285来输出通过外部装置接口单元235输入的诸如相机或摄录机这样的外部装置的图像信号或语音信号。
此外,控制单元270可以控制显示单元280显示图像,并且控制通过调谐器231输入的广播图像、通过外部装置接口单元235输入的外部输入图像、通过网络接口单元输入的图像或者将在显示单元280上显示的存储在存储单元240中的图像。在这种情况下,显示单元280上显示的图像可以是静止图像或视频,并且还可以是2D图像或3D图像。
另外,控制单元270可以播放显示装置200中存储的内容、所接收到的广播内容和从外部输入的外部输入内容,并且该内容可采取诸如广播图像、外部输入图像、音频文件、静止图像、接入网络画面和文档文件这样的各种格式。
此外,无线通信单元273可以执行与外部电子装置的有线或无线通信。无线通信单元273可以执行与外部装置的短距离通信。为此,无线通信单元273可以通过使用BluetoothTM、射频识别(RFID)、红外数据协会(IrDA)、超带宽(UWB)、ZigBee、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连和无线通用串行总线(USB)技术中的至少一种来支持短距离通信。无线通信单元273可以通过无线局域网来支持显示装置200和无线通信系统之间的无线通信、显示装置200和另一个显示装置200之间的无线通信、或者包括显示装置200的网络和另一个显示装置200(或外部服务器)之间的无线通信。无线局域网可以是无线个域网。
本文中,其它显示装置200可以是能够与显示装置200交换数据(或交互)的诸如可穿戴装置(例如,智能手表、智能眼镜和头戴式显示器(HMD))或智能电话这样的移动终端。无线通信单元273可以检测(或识别)显示装置200周围的可通信的可穿戴装置。此外,如果检测到的可穿戴装置是被认证与显示装置200进行通信的装置,则控制单元270可以通过无线通信单元273将在显示装置200中处理的数据的至少一部分发送到可穿戴装置。因此,可穿戴装置的用户可以通过可穿戴装置使用在显示装置200中处理的数据。
无线通信单元273可以与外部装置接口单元235分开设置,或者可以被包括在外部装置接口单元235中。
显示单元280可以将在控制单元270中处理的图像信号、数据信号或OSD信号或者在外部装置接口单元235中接收到的图像信号或数据信号转换成R、G和B信号,以生成驱动信号。
此外,图2中示出的显示装置200仅仅是一个实施方式,因此所示出的组件中的一些可以根据实际实现的显示装置200的规格而被集成、添加或省去。
也就是说,如有必要,两个或更多个组件可以被集成到一个组件中或者一个组件可以被划分成两个或更多个组件并且被配置。另外,每个块所执行的功能是为了描述本公开的实施方式并且其特定操作或装置不限制本公开的范围。
根据另一个实施方式,不同于图2,显示装置200可以通过网络接口单元233或外部装置接口单元235来接收图像并且在不包括调谐器231和解调单元232的情况下播放它们。
例如,显示装置200可以被划分成用于根据各种网络服务来接收广播信号的诸如机顶盒这样的图像处理装置和用于播放从图像处理装置输入的内容的内容重放装置。
在这种情况下,下面描述的根据实施方式的显示装置的操作方法可以通过参照图2描述的显示装置、诸如分开的机顶盒这样的图像处理装置和包括显示单元280和音频输出单元285的内容重放装置中的一个来执行。
图3是例示根据实施方式的图2的控制单元的详细配置的框图。
控制单元270的示例可以包括解复用器310、图像处理器320、OSD生成器340、混合器350、帧频转换器355和格式化器360。另外,控制单元还可以包括语音处理器(未示出)和数据处理器(未示出)。
解复用器310对输入到其的流信号进行解复用。例如,解复用器310可将输入的流信号解复用成MPEG-2TS、语音和数据信号。这里,输入到解复用器310的流信号可以是从调谐器、解调器或外部装置接口单元输出的流信号。
图像处理器对复用的图像信号执行图像处理。为此,图像处理器320可以包括图像解码器325和缩放器335。
图像解码器325对解复用后的图像信号进行解码,并且缩放器335按照能够在显示单元上输出的方式对解码后的图像信号的分辨率进行缩放。
图像解码器325可以支持各种标准。例如,当以MPEG-2标准对图像信号进行编码时,图像解码器325可以执行MPEG-2解码器的功能。当以数字多媒体广播(DMB)方案或H.264标准对图像信号进行编码时,图像解码器325可以执行H.264解码器的功能。
此外,经图像处理器320解码的图像信号被输入到混合器350。
OSD生成器340基于用户输入或自主地生成OSD数据。例如,OSD生成器340基于用户输入接口单元的控制信号来生成在显示单元280的屏幕上按图形或文本的方式显示各种类型数据的数据。所生成的OSD数据包括数字装置的各种数据,包括用户界面画面、各种菜单画面、小部件、图标、收视率信息等。OSD生成器340可基于广播图像的字幕或EPG来生成用于显示广播信息的数据。
混合器350将OSD生成器340生成的OSD数据与经图像处理器320图像处理的图像信号混合并且将它们提供到格式化器360。当解码后的图像信号和OSD数据被混合时,OSD按照覆盖在广播图像或外部输入图像上的方式被显示。
FRC 355转换输入到其的图像的帧频。例如,FRC 355可以根据显示单元的输出频率将60Hz图像的帧频转换成120Hz或240Hz的帧频。如上所述,用于转换帧频的方法可以改变。例如,当帧频从60Hz被转换成120Hz时,FRC 355可以通过在第一帧和第二帧之间插入第一帧或者插入从第一帧和第二帧预测得到的第三帧来转换帧频。又如,当帧频从60Hz被转换成240Hz时,FRC 355可以通过进一步插入三个相同的帧或三个预测帧来转换帧频。此外,当不执行单独的帧转换时,可以忽略FRC 355。
格式化器360将FRC 355的输出改变成适于显示单元的输出格式。例如,格式化器360可以输出R、G和B数据信号。R、G和B数据信号可以被作为低压差分信号(LVDS)或小LVDS输出。当FRC 355的输出是3D图像信号时,格式化器360可以按适于显示单元的输出格式的3D方式改变并输出FRC 355的输出,使得可以通过显示单元来支持3D服务。
此外,控制单元中的语音处理器(未示出)可以对解复用后的语音信号执行语音处理。可以支持语音处理器(未示出)来处理各种音频格式。例如,即使当以诸如MPEG-2、MPEG-4、AAC、HE-AAC、AC-3或BSAC这样的格式对语音信号进行编码时,也可以通过提供与所述格式对应的解码器来对语音信号进行处理。
另外,控制单元中的语音处理器(未示出)可以处理低音、高音、音量控制等。
控制单元中的数据处理器(未示出)可以对解复用后的数据信号执行数据处理。例如,即使当解复用后的数据信号被编码时,数据处理器也可以对编码后的数据信号进行解码。这里,编码后的数据信号可以是包括关于各信道中广播的广播节目的开始时间、结束时间等的广播信息的EPG信息。
此外,上述数字装置是根据本公开的示例性实施方式,并且可以根据实际实现的数字装置的规格来集成、添加或省去数字装置的各组件。也就是说,如有必要,两个或更多个组件可以被集成为一个组件,或者一个组件可以被分割成两个或更多个组件。另外,每个块中执行的功能是出于描述本公开的实施方式的目的,并且其具体操作或装置不限制本公开的范围。
此外,数字装置可以是对存储在装置中的图像或输入到装置的图像执行信号处理的图像信号处理装置。除了图2中示出的显示单元280和音频输出单元285之外,图像信号处理装置的其它示例还可以包括机顶盒(STB)、DVD播放器、蓝光播放器、游戏装置、计算机等。
根据实施方式,作为信宿装置操作的显示装置200可以包括语音信号接收单元(未示出)。显示装置200的语音信号接收单元接收语音信号。语音信号接收单元可以包括直接接收外部语音信号并且将所接收到的语音信号转换成电语音信号的麦克风。语音信号接收单元可以从外部装置接收电语音信号。在后者中,语音信号接收单元可以被实现为网络接口单元233、外部装置接口单元235和用户接口单元250中的至少一个。
此外,根据实施方式,存储单元240可以存储将所接收到的语音信号转换成文本的文本转换算法。控制单元270可以使用存储在存储单元240中的文本转换算法来将所接收到的语音信号转换成文本。
另外,根据实施方式,存储单元240可以存储用于识别显示单元280的屏幕上显示的文本并且识别图像中的对象的算法。
然后,参照图4和图5,根据实施方式来描述遥控装置。
图4是例示根据实施方式的遥控装置的框图,图5是例示根据实施方式的遥控装置的实际配置的视图。
首先,参照图4,遥控装置400可以包括指纹识别单元410、无线通信单元420、用户输入单元430、传感器单元440、输出单元450、电源单元460、存储单元470、控制单元480和语音采集单元490。
参照图4,无线通信单元420根据以上提到的实施方式向显示装置中的任意一个发送信号/从显示装置中的任意一个接收信号。
遥控装置400可以包括根据RF通信标准向显示装置200发送信号/从显示装置200接收信号的RF模块421和根据IR通信标准向显示装置200发送信号/从显示装置200接收信号的IR模块423。另外,遥控装置400可以包括根据蓝牙通信标准向显示装置200发送信号/从显示装置200接收信号的蓝牙模块425。另外,遥控装置400可以包括根据近场通信(NFC)通信标准向显示装置200发送信号/从显示装置200接收信号的NFC模块427和根据无线LAN(WLAN)通信标准向显示装置200发送信号/从显示装置200接收信号的WLAN模块429。
另外,遥控装置400可以通过无线通信单元420向显示装置200发送包含关于遥控装置400的移动的信息的信号。
此外,遥控装置400可以通过RF模块421接收从显示装置200发送的信号,并且如有必要,可以通过IR模块423向显示装置200发送通电/断电、信道改变和音量改变的命令。
用户输入单元430可以被配置有键区按钮、触摸板或触摸屏。用户可以操纵用户输入单元430向遥控装置400输入与显示装置200相关的命令。如果用户输入单元430包括硬键按钮,则用户可以通过硬键按钮的推动操作向遥控装置400输入与显示装置200相关的命令。将参照图5对此进行描述。
参照图5,遥控装置400可以包括多个按钮。所述多个按钮可以包括指纹识别按钮412、电源按钮431、主画面按钮432、直播按钮433、外部输入按钮434、语音调节按钮435、语音识别按钮436、信道改变按钮437、检查按钮438和返回按钮439。
指纹识别按钮412可以是用于识别用户指纹的按钮。根据实施方式,指纹识别按钮412可以执行推动操作并且接收推动操作和指纹识别操作。电源按钮431可以是用于将显示装置200通电/断电的按钮。主画面按钮432可以是用于移至显示装置200的主画面的按钮。直播按钮433可以是用于显示直播广播节目的按钮。外部输入按钮434可以是用于接收与显示装置200连接的外部输入的按钮。语音调节按钮435可以是用于调节从显示装置200输出的音量的大小的按钮。语音识别按钮436可以是用于接收用户语音并且识别所接收到的语音的按钮。信道改变按钮437可以是用于接收特定广播信道的广播信号的按钮。检查按钮438可以是用于选择特定功能的按钮,并且返回按钮439可以是用于返回前一画面的按钮。
再一次,描述图4。
如果用户输入单元430包括触摸屏,则用户可以触摸触摸屏的软键,以向遥控装置400输入与显示装置200相关的命令。另外,用户输入单元430可以包括供用户操纵的各种种类的输入装置(例如,滚动键和点动键),并且该实施方式不限制本公开的范围。
传感器单元440可以包括陀螺仪传感器441或加速度传感器443,并且陀螺仪传感器441可以感测关于遥控装置400的移动的信息。
例如,陀螺仪传感器441可以感测基于x、y和z轴的遥控装置400的操作信息,并且加速度传感器443可以感测关于遥控装置400的移动速度的信息。此外,遥控装置400还可以包括距离测量传感器并且感测相对于显示装置200的显示单元280的距离。
输出单元450可以输出与用户输入单元435的操纵对应或者与从显示装置200发送的信号对应的图像或语音信号。用户可以通过输出单元450来识别是否操纵用户输入单元435或者控制显示装置200。
例如,如果操纵用户输入单元435或者通过无线通信单元425向显示装置200发送信号/从显示装置200接收信号,则输出单元450可以包括用于闪光的LED模块451、用于产生振动的振动模块453、用于输出声音的声音输出模块455或者用于输出图像的显示模块457。
另外,电源单元460向遥控装置400供应电力,并且如果遥控装置400在预定时间内没有移动,则停止供电,使得能够减少电力浪费。如果操纵设置在遥控装置400处的预定键,则电源单元460可以重新开始供电。
存储单元470可以存储控制或操作遥控装置400所必需的各种种类的程序和应用数据。如果遥控装置400通过显示装置200和RF模块421无线地发送/接收信号,则遥控装置400和显示装置200通过预定频带来发送/接收信号。
遥控装置400的控制单元480可以将与用于向与遥控装置400配对的显示装置200发送信号/从与遥控装置400配对的显示装置200接收信号的频带有关的信息存储在存储单元470中,并且参考它。
控制单元480控制与遥控装置400的控制相关的一般事件。控制单元480可以通过无线通信单元425向显示装置200发送与用户输入单元435的预定键操纵对应的信号或者与传感器单元440感测到的遥控装置400的移动对应的信号。
另外,遥控装置400的语音采集单元490可以获得语音。
语音采集单元490可以包括至少一个麦克风491并且通过麦克风491来获得语音。
然后,描述图6。
图6是利用根据实施方式的遥控装置的视图。
图6的(a)例示了在显示单元280上显示与遥控装置400对应的指点器405。
用户能够垂直或水平地移动或旋转遥控装置400。显示装置200的显示单元280上显示的指点器405与遥控装置400的移动对应。由于对应的指点器405如图中所示根据3D空间上的移动而移动并显示,因此遥控装置400可以被称为空间遥控器。
图6的(b)例示了如果用户移动遥控装置400,则显示装置200的显示单元280上显示的指点器405与之对应地向左移动。
通过遥控装置400的传感器检测到的关于遥控装置400的移动的信息被传输到显示装置200。显示装置200可以用关于遥控装置400移动的信息来计算指点器405的坐标。显示装置200可以按照与计算出的坐标匹配的方式显示指点器405。
图6的(c)例示了在遥控装置400中的特定按钮被按压时,用户使遥控装置400远离显示单元280移动。因此,显示单元280中的与指点器405对应的选择区域可以被放大并且放大地显示。
另一方面,如果用户使遥控装置400靠近显示单元280移动,则显示单元280中的与指点器405对应的选择区域可以被缩小并且缩小地显示。
另一方面,如果遥控装置400远离显示单元280,则选择区域可以被缩小,并且如果遥控装置400靠近显示单元280,则选择区域可以被放大。
另外,如果遥控装置400中的特定按钮被按压,则可以排除垂直或水平移动的识别。也就是说,如果遥控装置400远离或靠近显示单元280移动,则不能识别向上、向下、向左或向右移动,而只能识别前后移动。在遥控装置400中的特定按钮没有被按压时,仅根据遥控装置400的向上、向下、向左或向右移动来移动指点器405。
此外,指点器405的移动速度或移动方向可以与遥控装置400的移动速度或移动方向对应。
此外,本说明书中的指点器意指与遥控装置400的操作对应地显示在显示单元280上的对象。因此,除了图中被显示为指点器405的箭头形式之外,还能够有各种形式的对象。例如,以上构思包括点、光标、提示和粗轮廓线。然后,指点器405可以与水平轴和垂直轴的一个点对应地显示在显示单元280上,并且还可以与诸如线和面这样的多个点对应地显示。
下文中,将参照图7至图30来描述其中移动终端100和显示装置200在彼此进行数据通信的同时共享内容或者对图片和/或图像执行镜像的示例性实施方式。在图7至图30中,图7至图30中描述的信源装置可以是图1中描述的移动终端100,并且信宿装置可以是图2中描述的显示装置200。
图7是例示信宿装置和信源装置之间的UIBC连接的流程图。
参照图7,首先,将共享内容的信源装置和信宿装置可以经历通过Wi-Fi联盟推荐的Wi-Fi直连网络进行的Wi-Fi直连建立。在这种情况下,一个装置可以是发送内容的信源电子装置,而另一个装置可以是接收并输出内容的信宿电子装置。
此外,信源装置和信宿装置可以交换支持能力信息并且执行能力交换和协商。
例如,将描述其中基于Wi-Fi联盟引入的Wi-Fi CERTIFIED MiracastTM的标准来执行内容共享的情况。当首先连接Miracast时,确定将通过能力协商发送的视频格式、音频格式等。
此外,Miracast包括作为选项的用户输入反向通道(UIBC)的标准,在连接Miracast期间将通过该标准使用信宿装置的用户输入来控制信源装置。
例如,当作为信源装置的智能电话和作为信宿装置的TV彼此连接时,可以通过与TV连接的诸如鼠标、键盘或遥控装置这样的控制装置来控制信源装置以及信宿装置。
还可以在能力协商中确定UIBC的能力。也就是说,信源装置可以通过识别信宿装置所支持的诸如鼠标和键盘这样的UIBC类别并且随后确定被信宿装置和信源装置共同支持的UIBC类别来执行服务。
此后,信宿装置可以向信源装置发送与用户输入对应的UIBC信息,并且信源装置可以执行与UIBC信息对应的操作。
图8是例示根据实施方式的信源装置的操作方法的实施方式的流程图。
参照图8,根据实施方式的信源装置可以通过有线/无线网络与信宿装置连接。根据实施方式的信源装置可以与外部电子装置连接,以向另一个装置发送内容或者执行能够从其它装置接收内容的内容共享模式操作(S810)。
根据实施方式的信源装置可以请求另一个装置进行网络连接,或者响应于其它装置的网络连接,并且可以基于用户的命令输入(例如,执行对应菜单或应用的命令输入)而进入内容共享模式。
这里,内容共享模式可以是指其中信源装置可以向通过有线或无线连接的外部装置发送内容,或者接收从外部装置发送的内容。
内容共享模式可以包括画面镜像模式、双屏双播(DSDP)模式等,在画面镜像模式下,相连的装置显示相同的画面,在DSDP模式下,多个相连的装置当中的任一个装置所重现的内容能够被另一个装置使用,并且能够在内容共享状态下执行另一个操作。
另外,根据实施方式的信源装置可以支持诸如Wi-Fi联盟引入的Wi-FiCERTIFIEDMiracastTM、Wi-Fi显示(WFD)和无线显示(WiDi)这样的公开的多媒体传输技术,并且基于所公开的多媒体传输技术的标准来共享内容。
此外,用于内容共享的数据可以基于各种通信协议通过有线/无线通信直接发送到外部装置,或者可以通过分别连接的网络服务器发送到外部装置。
根据实施方式的信源装置可以通过Wi-Fi直连网络与信宿装置无线连接。Wi-Fi直连网络是两个装置通过Wi-Fi进行对等连接的网络,并且通过Wi-Fi直连网络连接的装置可以检测其间的资源、能力信息等。
此外,根据实施方式的信源装置可以与信宿装置执行能力协商(S820)。
在执行能力协商的步骤(S820)中,根据实施方式的信源装置和信宿装置可以确定要共享或发送的内容的视频和音频格式。
如果通过能力协商来确定要发送的内容的视频和音频格式(S820),则根据实施方式的信源装置可以向信宿装置发送包括采用基于能力协商的格式的视频数据、音频数据等的内容数据,使得信宿装置能够输出内容数据(S830)。
根据实施方式的信源装置可以向信宿装置发送包括一个或更多个控制菜单按钮的控制图像数据(S840)。也就是说,信源装置可以在出现控制事件时或者在内容共享模式下预先向信宿装置发送数据。
这里,控制图像数据可以包括控制菜单按钮的名称和控制菜单按钮在控制图像中的位置信息。
信源装置可以将控制图像连同菜单按钮的位置信息一起发送。例如,可以如下地发送菜单按钮的控制名称“Resolution”和“Media”以及在控制图像中的位置信息(x y宽度高度)。
Wfd_uibc_control_image:Resolution 10 10 30 20,[0168]Media 10 40 30 20
在一些实施方式中,控制图像数据还可以包括控制图像的大小信息。也就是说,进一步使用整个控制图像的大小信息以及每个菜单按钮在控制图像中的相对位置坐标,使得能够更快地检测用户输入的位置。
在一些实施方式中,控制图像数据可以包括控制图像的位置信息、控制菜单按钮的名称和控制菜单按钮的位置信息。信源装置可以将控制图像与控制图像的位置信息、每个控制菜单按钮的名称和每个控制菜单按钮的位置信息一起发送。在这种情况下,信宿装置可以通过将作为用户输入到信宿装置的绝对坐标的位置与控制图像的位置信息和控制菜单按钮在控制图像中的位置信息进行比较来确定用户所选择的控制命令。
此外,接收控制图像数据的信宿装置可以通过基于所接收到的数据提供UI画面来接收用户的输入。用户可以通过选择UI画面中包括的控制菜单按钮来选择根据实施方式控制信源装置的命令。因此,能够根据控制菜单按钮的配置没有限制地输入各种控制命令。
例如,控制图像数据可以包括与和内容共享模式关联的控制命令对应的控制菜单按钮。也就是说,控制菜单按钮可以被配置有在内容共享模式下频繁使用的控制命令。
另外,控制图像数据可以包括与基于信宿装置的种类或信宿装置所共享的内容的种类而确定的控制命令对应的控制菜单按钮。也就是说,控制菜单按钮可以被配置有基于正在内容共享模式下使用的内容的种类而优化的控制命令。
此外,内容的种类可以从对应装置接收,基于所接收到的数据的格式来确定,从元数据中被提取,或者通过本领域中已知的多种画面分析算法来确定。
此外,在一些实施方式中,可以将控制图像数据与按照能力协商发送的数据一起发送(S820)。
此后,信源装置可以从信宿装置接收关于控制图像数据的用户输入信息(S850),并且可以执行与用户输入信息对应的控制功能(S860)。
这里,用户输入信息可以包括信宿装置所接收的控制图像数据的用户输入位置坐标。
如果用户选择信宿装置处的对应图像中的控制菜单按钮,则所选择的坐标可以被发送到信源装置。如果信源装置接收到关于坐标的数据,则可以通过检测所选择的菜单按钮来执行对应操作。
另选地,信宿装置可以直接检测基于控制图像数据的用户输入位置坐标而选择的菜单按钮,并且将检测到的菜单按钮信息作为用户输入信息发送到信源装置。
在这种情况下,信源装置可以执行与所接收到的菜单按钮信息对应的操作。
此外,可以通过UIBC接收用户输入信息作为UIBC信息。
根据实施方式,即使在使用Miracast将信源装置的画面镜像到信宿装置的状态下,使用信宿装置的UI控制信源装置的UIBC也可以不受限制地扩展。
根据实施方式的信源装置可以向信宿装置发送控制UI图像和相对数据。
当用户选择控制UI图像上的项时,信源装置可以从信宿装置接收在控制UI图像上选择的位置,并且基于所选择的位置来执行控制。
因此,根据本公开,使用从信宿装置输出的控制UI图像来控制信源装置,使得能够更广泛且更方便地控制信源装置。
图9和图10是例示根据实施方式的信源装置和信宿装置的控制方法的视图。
参照图9,信宿装置和信源装置可以通过有线/无线网络连接,以执行内容共享。例如,信宿装置和信源装置可以通过Wi-Fi直连网络进行无线连接。
信宿装置和信源装置可以检测用于内容共享的项并且通过能力协商来确定功能。
此外,图10例示了移动终端100的画面何时正被镜像到显示装置200。如果用户期望改变分辨率设置,则用户将不仅直接操纵作为信源装置的移动终端100,而且按照控制面板>显示器>画面分辨率的顺序通过多个步骤来执行分辨率设置。
然而,根据实施方式,如图10中所示,信源装置可以向显示装置200发送包括分辨率菜单按钮1010的控制图像1000。
另外,信源装置可以将控制图像连同每个菜单按钮的位置信息一起发送。
例如,信源装置可以发送菜单按钮的控制名称(即,“分辨率”按钮1010和“媒体”按钮1020)和控制菜单按钮在作为“Wfd_uibc_control_image:Resolution 10 10 30 20,[0168]Media 10 40 30 20”的控制图像中的位置信息。另外,信源装置还可以发送关于控制图像的宽度、高度、大小等的信息。
参照图10,使用左上角C1(0,0)作为坐标参考,控制图像1000可以具有位置信息C2(50,0)、C3(0,100)和C4(50,100)。另外,使用左上角C1(0,0)作为坐标参考,“分辨率”按钮1010被绘制为在控制图像1000中具有位置坐标a1(10,10)、a2(40,10)、a3(10,30)和a4(40,30),并且“媒体”按钮1020可以使用左上角C1(0,0)作为坐标参考被绘制为在控制图像1000中。
此外,显示装置200可以从移动终端100接收包括采用基于能力协商的格式的视频数据、音频数据等的内容数据和包括一个或更多个控制菜单按钮的控制图像数据。
此外,显示装置200可以不仅显示镜像画面,而且显示包括一个或更多个控制菜单按钮的控制图像1000。
用户可以使用显示装置200的遥控装置400来选择用户将用来控制移动终端100的菜单按钮。
图11是例示根据实施方式的用于控制从信源装置发送到信宿装置的数据的方法的流程图。
在该实施方式中,假定信宿装置支持通过UIBC向信源装置发送关于通过预置用户输入装置接收的用户输入的信息(例如,消息形式)的功能。UIBC是指信宿装置用来基于Wi-Fi直连向信源装置发送关于从用户(例如,用户输入装置)接收的用户输入的信息的信道。
作为信源装置的移动终端100的控制器180向作为信宿装置的显示装置200请求关于是否将支持UIBC的能力的信息(S1110)。
作为对请求的响应,显示装置200的控制单元270通过网络接口单元233向移动终端100发送关于是否将通过UIBC支持用户输入的发送的信息(S1120)。在一些实施方式中,作为对请求的响应,控制单元270可以将处理用户输入所需的参数信息连同关于是否将通过UIBC支持用户输入的发送的信息一起发送到移动终端100。
另外,显示装置200的控制单元270可以通过显示单元280和/或音频输出单元285输出使用Wi-Fi直连通过网络接口单元233从移动终端100接收的数据(例如,流数据)。
此外,存储单元240可以存储用户输入装置能够按照镜像通过UIBC向移动终端100发送的用户控制输入数据。例如,用户输入装置的用户控制输入数据可以包括诸如鼠标、触摸板等的移动、点击、触摸、放大倍数、滚动量和旋转量这样的信息以及关于键盘的特定键的选择的信息。
显示装置200的控制单元270可以接收通过用户输入接口单元250接收的用户控制输入信号并且将所接收到的用户控制输入信号转换成要发送到移动终端100的数据(S1130)。
另外,控制单元270可以控制网络接口单元233通过UIBC将包括与转换后的数据对应的用户控制输入的命令的消息发送到移动终端100。
移动终端100的控制器180可以通过无线通信单元110从显示装置200接收消息,并且基于与该消息中包括的命令对应的用户控制输入来控制移动终端100的功能(S1150)。
控制器180可以基于处理从显示装置200接收的用户控制输入所需的参数来处理所接收到的消息,并且执行与命令对应的预定功能。
另外,移动终端100的控制器180可以控制无线通信单元110将反映控制结果的数据发送到显示装置200(S1160)。例如,控制器180可以执行与命令对应的功能,在显示单元151上输出包括功能执行结果的画面,并且将与输出画面对应的数据发送到显示装置200。因此,包括控制结果的显示单元151的画面能够被镜像到显示装置200的显示单元280上。
图12是例示图11的方法的示例的视图。
显示装置200的控制单元270可以通过网络接口单元233接收从移动终端100发送的数据,并且通过显示单元280和音频输出单元285中的至少一个来输出所接收到的数据。
所述数据可以包括图像数据、图形数据、音频数据、视频数据和AV数据中的至少一种。因此,移动终端100的显示单元151的画面能够被镜像到显示装置200的显示单元280的屏幕上。在该实施方式中,将主要描述从移动终端100发送的视频数据的控制。
在该实施方式中,假定用户已经通过遥控装置400输入所谓的“画面旋转”。
显示装置200的控制单元270可以转换并分析从遥控装置400接收的用户控制输入,并且控制网络接口单元233通过UIBC向移动终端100发送包括存储在存储单元240中的与能够通过UIBC发送的用户控制输入对应的命令的消息。
例如,显示装置200的控制单元270可以控制网络接口单元233通过UIBC向移动终端100发送与“画面旋转控制输入信号”对应的命令。
移动终端100的控制器180可以通过无线通信单元110接收消息,并且基于与包括在该消息中的命令对应的用户控制输入使显示单元151的画面按照横向方向(当现有画面的方向是纵向方向时)或水平方向(当现有画面的方向是横向方向时)旋转。
此外,控制器180可以在显示单元151上输出包括画面执行结果的画面,并且将与输出画面对应的数据发送到显示装置200。因此,包括控制结果的显示单元151的画面可以被镜像到显示装置200的显示单元280上。
然而,通常,在执行移动终端100和显示装置200之间的镜像之后,移动终端100中显示的图片或图像将被同样地显示在显示装置200的显示单元280上,使得用户通过显示装置200来控制移动终端100。因此,当移动终端100中显示的图片或图像被转换成与显示装置200的分辨率匹配时,用户难以通过显示装置200来控制移动终端100。
然而,在本公开中,将描述以下技术:使用坐标转换算法,使得即使当移动终端100中显示的图片或图像被转换成与显示装置200的分辨率匹配时,用户也能够通过显示装置200来控制移动终端100。
下文中,在图13至图26中描述的实施方式中,移动装置100可以是信源装置,并且显示装置200可以是信宿装置。
图13至图15是例示其中本公开的显示装置使用坐标转换和UIBC向移动终端发送控制输入信号的第一实施方式的视图。
如图13中所示,根据实施方式的显示装置200可以通过与移动终端100执行数据通信来发送/接收视频数据和/或音频数据。另外,移动终端100中显示的图像或图片可以被同样地显示在显示装置200中。如上所述,显示装置200的控制单元270可以从遥控装置400接收用户输入信号。当用户输入信号是控制信号时,控制信号可以通过UIBC被发送到移动终端100。
显示装置200的控制单元270可以使用坐标转换算法来向移动终端100发送控制信号。例如,假定移动终端100的左上端具有坐标A1(0,0,960,540),移动终端100的左下端具有坐标B1(0,540,960,540),移动终端100的右上端具有坐标C1(960,0,960,540)并且移动终端100的右下端具有坐标D1(960,540,960,540)。另外,假定显示装置200的左上端具有坐标A2(0,0,1920,1080),显示装置200的左下端具有坐标B1(0,1080,1920,1080),显示装置200的右上端具有坐标C2(1920,0,1920,1080)并且显示装置200的右下端具有坐标D2(1920,1080,1920,1080)。
在这种情况下,假定移动终端100将当前所显示的视频内容的控制图标显示在坐标点E1(96,486,960,540)处,并且对应地,显示装置200将相同的控制图标显示在坐标点E2(192,972,1920,1080)处。
通过显示装置200观看视频内容的用户可以选择控制图标以控制视频内容。用户可以使用遥控装置400向显示装置200发送用于选择在显示装置200的坐标点E2处显示的控制图标的控制输入信号。接收用于选择控制图标的控制输入信号的显示装置200的控制单元270可以控制显示装置200通过按照与移动终端100的坐标值匹配的方式将坐标值E2转换成坐标值E1,并且将转换后的坐标值E1作为UIBC信号发送到移动终端100。
如图14中所示,移动终端100不接收坐标值E2,而是可以从显示装置200接收坐标值E1。因此,移动终端100可以执行选择在与坐标值E1对应的点处显示的控制图标的控制操作。移动终端100的控制器180可以在显示单元151的部分区域中显示控制窗口。假定控制窗口的左上端具有坐标A3(96,216,960,540),控制窗口的左下端具有坐标B3(96,486,960,540),控制窗口的右上端具有坐标C3(384,216,960,540)并且控制窗口的右下端具有坐标D3(384,486,960,540)。移动终端100的控制器180可以通过UIBC向显示装置200发送用于在坐标点A3、B3、C3和D3处显示控制窗口的信号。
如图15中所示,显示装置200的从移动终端100接收控制窗口的坐标值的控制单元270可以与显示装置200的显示单元280对应地转换坐标值A3、B3、C3和D3。例如,坐标值A3可以被转换成坐标值A4(192,432,1920,1080),坐标值B3可以被转换成坐标值B4(192,972,1920,1080),坐标值C3可以被转换成坐标值C4(768,432,1920,1080),并且坐标值D3可以被转换成坐标值D4(768,972,1920,1080)。显示装置200的控制单元270可以控制显示装置200在与转换后的坐标A4、B4、C4、D4对应的地方处显示控制窗口。
如图13至图15中描述的,用户能够通过镜像技术观看移动终端的要在显示装置中被优化的图像或图片,并且同时能够在这种状态下容易地控制移动终端。
图16至图19是例示其中本公开的显示装置使用坐标转换和UIBC向移动终端发送控制输入信号的实施方式的视图。
如图16中所示,根据实施方式的显示装置200可以通过与移动终端100执行数据通信来发送/接收视频数据和/或音频数据。另外,可以通过镜像将移动终端100中显示的图像或图片同样地显示在显示装置200中。如上所述,显示装置200的控制单元270可以从遥控装置400接收用户输入信号。当用户输入信号是控制信号时,控制信号可以通过UIBC被发送到移动终端100。
作为用于描述该实施方式的示例,假定移动终端100的左上端具有坐标A1(0,0,960,540),移动终端100的左下端具有坐标B1(0,540,960,540),移动终端100的右上端具有坐标C1(960,0,960,540)并且移动终端100的右下端具有坐标D1(960,540,960,540)。另外,假定显示装置200的左上端具有坐标A2(0,0,1920,1080),显示装置200的左下端具有坐标B1(0,1080,1920,1080),显示装置200的右上端具有坐标C2(1920,0,1920,1080)并且显示装置200的右下端具有坐标D2(1920,1080,1920,1080)。
在这种情况下,假定移动终端100在坐标点F1(480,0,960,540)处显示当前所显示的视频内容的控制图标,并且对应地,显示装置200在坐标点F2(960,0,1920,1080)处显示相同的控制图标。
通过显示装置200观看视频内容的用户可以选择控制图标以控制视频内容。用户可以使用遥控装置400向显示装置200发送用于选择在显示装置200的坐标点E2处显示的控制图标的控制输入信号。接收用于选择控制图标的控制输入信号的显示装置200的控制单元270可以控制显示装置200将转换后的坐标值F2作为UIBC信号发送到移动终端100。
如图17中所示,移动终端100不接收坐标值F1,而是可以从显示装置200接收坐标值F2。因此,如果移动终端100照原样使用坐标值F2,则选择移动终端100上的坐标C1(960,0,960,540)而非坐标F1,因此用户不能执行所期望的控制操作。因此,移动终端100可以执行转换从显示装置200接收的坐标值的处理。例如,移动终端100可以执行将从显示装置200接收的坐标值F2转换成坐标值F1的处理。通过上述转换,移动终端100的控制器180可以在与坐标值F1而非坐标C1对应的点处显示遥控装置400的指点器。
如图18中所示,移动终端100可以执行选择在与坐标值F1对应的点处显示的控制图标的控制操作。移动终端100的控制器180可以在显示单元151的部分区域中显示控制窗口。假定控制窗口的左上端具有坐标A3(96,216,960,540),控制窗口的左下端具有坐标B3(96,486,960,540),控制窗口的右上端具有坐标C3(384,216,960,540)并且控制窗口的右下端具有坐标D3(384,486,960,540)。移动终端100的控制器180可以执行将坐标值A3、B3、C3和D3转换成对应于显示装置200的处理。例如,坐标值A3可以被转换成坐标值A4(192,432,1920,1080),坐标值B3可以被转换成坐标值B4(192,972,1920,1080),坐标值C3可以被转换成坐标值C4(768,432,1920,1080),并且坐标值D3可以被转换成坐标值D4(768,972,1920,1080)。移动终端100的控制器180可以将转换后的坐标值A4、B4、C4和D4作为UIBC信号发送到显示装置200。
如图19中所示,接收转换后的坐标A4、B4、C4和D4的显示装置200的控制单元270可以控制显示装置200在与转换后的坐标A4、B4、C4和D4对应的地方处显示控制窗口。
如图16至图19中描述的,用户能够通过镜像技术观看移动终端的要在显示装置中被优化的图像或图片,并且同时能够在这种状态下容易地控制移动终端。
图20至图22是例示其中本公开的显示装置使用UIBC从移动终端接收控制输入信号的实施方式的视图。
如图20中所示,根据实施方式的显示装置200可以通过与移动终端100执行数据通信来发送/接收视频数据和/或音频数据。另外,可以通过镜像将移动终端100中显示的图像或图片同样地显示在显示装置200中。如上所述,显示装置200的控制单元270可以从遥控装置400接收用户输入信号。当用户输入信号是控制信号时,控制信号可以通过UIBC被发送到移动终端100。
另外,用户可以通过划分显示装置200的显示单元280的画面来同时观看第一内容210和第二内容220。在这种情况下,用户可以通过镜像将用户正在观看的第一内容210的坐标值设置成等于移动终端100的坐标值。
例如,假定移动终端100的左上端具有坐标A1(0,0,960,540),移动终端100的左下端具有坐标B1(0,540,960,540),移动终端100的右上端具有坐标C1(960,0,960,540)并且移动终端100的右下端具有坐标D1(960,540,960,540)。另外,假定显示装置200的左上端具有坐标A2(0,0,1920,1080),显示装置200的左下端具有坐标B1(0,1080,1920,1080),显示装置200的右上端具有坐标C2(1920,0,1920,1080)并且显示装置200的右下端具有坐标D2(1920,1080,1920,1080)。在这种情况下,当用户划分显示装置200的显示单元280的画面时,第一内容210可以具有与移动终端100相同的坐标值(左上端A1、左下端B1、右上端C1和右下端D1)。
此时,假定移动终端100将当前所显示的第一内容210的控制图标显示在坐标点E1(96,486,960,540)处,并且对应地,显示装置200将相同的控制图标显示在相同的坐标点E1处。
通过显示装置200观看第一内容210的用户可以选择控制图标以控制视频内容。用户可以使用遥控装置400向显示装置200发送用于选择在显示装置200的坐标点E1处显示的控制图标的控制输入信号。接收用于选择控制图标的控制输入信号的显示装置200的控制单元270可以控制显示装置200,不转换坐标值E1,而是将该坐标值作为UIBC信号发送到移动终端100。
如图21中所示,移动终端100可以从显示装置200接收坐标值E1。因此,移动终端100可以执行选择在与坐标值E1对应的点处显示的控制图标的控制操作。移动终端100的控制器180可以在显示单元151的部分区域中显示控制窗口。假定控制窗口的左上端具有坐标A3(96,216,960,540),控制窗口的左下端具有坐标B3(96,486,960,540),控制窗口的右上端具有坐标C3(384,216,960,540)并且控制窗口的右下端具有坐标D3(384,486,960,540)。移动终端100的控制器180可以通过UIBC向显示装置发送用于在坐标点A3、B3、C3和D3处显示控制窗口的信号。
如图22中所示,从移动终端100接收控制窗口的坐标值的显示装置200的控制单元270可以使用坐标值A3、B3、C3和D3将控制窗口显示在显示单元280上。
如图20至图22中描述,用户可以通过画面划分来观看多个内容,并且同时能够在没有任何坐标转换的情况下通过镜像技术来控制移动终端。
图23至图26是例示其中本公开的显示装置使用坐标转换和UIBC向移动终端发送控制输入信号的第二实施方式的视图。
如图23中所示,根据实施方式的显示装置200可以通过与移动终端100执行数据通信来发送/接收视频数据和/或音频数据。另外,可以通过镜像将移动终端100中显示的图像或图片同样地显示在显示装置200中。如上所述,显示装置200的控制单元270可以从遥控装置400接收用户输入信号。当用户输入信号是控制信号时,控制信号可以通过UIBC被发送到移动终端100。
显示装置200的控制单元270可以使用坐标转换算法来向移动终端100发送控制信号。例如,假定移动终端100的左上端具有坐标A1(0,0,960,540),移动终端100的左下端具有坐标B1(0,540,960,540),移动终端100的右上端具有坐标C1(960,0,960,540),并且移动终端100的右下端具有坐标D1(960,540,960,540)。另外,假定显示装置200的左上端具有坐标A2(0,0,1920,1080),显示装置200的左下端具有坐标B2(0,1080,1920,1080),显示装置200的右上端具有坐标C2(1920,0,1920,1080),并且显示装置200的右下端具有坐标D2(1920,1080,1920,1080)。
在这种情况下,假定移动终端100将当前所显示的视频内容的控制图标显示在坐标点E1(96,486,960,540)处,并且对应地,显示装置200将相同的控制图标显示在坐标点E2(192,972,1920,1080)处。
如图24中所示,当移动终端100和显示装置200正在执行镜像的同时移动终端100的画面模式从横向模式改变成纵向模式时,可以重新调节移动终端100的所有坐标值。例如,坐标值A1可以被转换成A5(0,0,320,200),坐标值B1可以被转换成B5(0,200,320,200),坐标值C1可以被转换成C5(320,0,320,200),坐标值D1可以被转换成坐标值D5(320,200,320,200),并且坐标值E1可以被转换成E5(288,180,320,200)。
通过显示装置200观看视频内容的用户可以选择控制图标以控制视频内容。用户可以使用遥控装置400向显示装置200发送用于选择在显示装置200的坐标点E2处显示的控制图标的控制输入信号。接收用于选择控制图标的控制输入信号的显示装置200的控制单元270可以控制显示装置200通过按照与移动终端100的坐标值匹配的方式将坐标值E2转换成坐标值E1,并且将转换后的坐标值E1作为UIBC信号发送到移动终端100。
如图25中所示,移动终端100不接收坐标值F2,而是可以从显示装置200接收坐标值F5。因此,移动终端100可以执行选择在与坐标值E5对应的点处显示的控制图标的控制操作。移动终端100的控制器180可以在显示单元151的部分区域中显示控制窗口。假定控制窗口的左上端具有坐标A6(32,80,320,200),控制窗口的左下端具有坐标B6(32,180,320,200),控制窗口的右上端具有坐标C6(128,80,320,200),并且控制窗口的右下端具有坐标D6(128,180,320,200)。移动终端100的控制器180可以通过UIBC向显示装置200发送用于在坐标点A6、B6、C6和D6处显示控制窗口的信号。
如图26中所示,从移动终端100接收控制窗口的坐标值的显示装置200的控制单元270可以与显示装置200的显示单元280对应地转换坐标值A6、B6、C6和D6。例如,坐标值A6可以被转换成坐标值A4(192,432,1920,1080),坐标值B6可以被转换成坐标值B4(192,972,1920,1080),坐标值C6可以被转换成坐标值C4(768,432,1920,1080),并且坐标值D6可以被转换成坐标值D4(768,972,1920,1080)。显示装置200的控制单元270可以控制显示装置200在与转换后的坐标A4、B4、C4、D4对应的地方处显示控制窗口。
如图23至图26中描述的,用户能够通过镜像技术观看移动终端的要在显示装置中被优化的图像或图片,并且同时,即使当移动终端的画面被改变时,用户也能够容易地控制移动终端。
图27至图30是例示其中本公开的显示装置使用坐标转换和UIBC向移动终端发送控制输入信号的第三实施方式的视图。
如图27中所示,根据实施方式的显示装置200可以通过与移动终端100执行数据通信来发送/接收视频数据和/或音频数据。另外,可以通过镜像将移动终端100中显示的图像或图片同样地显示在显示装置200中。如上所述,显示装置200的控制单元270可以从遥控装置400接收用户输入信号。当用户输入信号是控制信号时,控制信号可以通过UIBC被发送到移动终端100。
另外,根据实施方式的显示装置200的控制单元270可以处理视频数据以具有与移动终端100相同的分辨率并且具有与移动终端100相同的坐标表,并且将处理后的视频数据显示在显示单元280上。例如,假定移动终端100的左上端具有坐标A1(0,0,960,540),移动终端100的左下端具有坐标B1(0,540,960,540),移动终端100的右上端具有坐标C1(960,0,960,540)并且移动终端100的右下端具有坐标D1(960,540,960,540)。另外,假定显示装置200的左上端具有坐标A2(0,0,1920,1080),显示装置200的左下端具有坐标B1(0,1080,1920,1080),显示装置200的右上端具有坐标C2(1920,0,1920,1080)并且显示装置200的右下端具有坐标D2(1920,1080,1920,1080)。此时,该实施方式的显示装置200的控制单元270可以控制显示装置200将从移动终端100接收的视频内容同样地显示在显示单元280的坐标A1、B1、C1和D1处。在这种情况下,假定移动终端100将当前所显示的视频内容的控制图标显示在坐标点E1(96,486,960,540)处,并且对应地,显示装置200将控制图标同样地显示在坐标点E1处。
如图27中所示,当显示装置200被设置成在与移动终端100执行镜像的同时显示相同画面时,显示视频内容的图像区域2710和黑边区域(letter box area)2720可以一起显示在显示装置200的显示单元280上。
如图27中所示,当具有与移动终端100相同的大小和分辨率的视频内容被显示在显示装置200中时,显示装置200可以在无需对遥控装置400的指点器坐标和控制输入信号执行坐标转换的任何处理的情况下向移动终端100发送控制输入信号。
另一方面,如图28中所示,根据实施方式的显示装置200的控制单元270删除图27的黑边区域2720,并且可以控制显示装置280将视频内容显示在显示单元280的整个区域中。在这种情况下,与图27的实施方式不同,移动终端100的视频内容的坐标表和显示装置200的视频内容的坐标表可以彼此相同。例如,假定移动终端100的左上端具有坐标A1(0,0,960,540),移动终端100的左下端具有坐标B1(0,540,960,540),移动终端100的右上端具有坐标C1(960,0,960,540),并且移动终端100的右下端具有坐标D1(960,540,960,540)。另外,假定显示装置200的左上端具有坐标A2(0,0,1920,1080),显示装置200的左下端具有坐标B2(0,1080,1920,1080),显示装置200的右上端具有坐标C2(1920,0,1920,1080),并且显示装置200的右下端具有坐标D2(1920,1080,1920,1080)。
在这种情况下,假定移动终端100将当前所显示的视频内容的控制图标显示在坐标点E1(96,486,960,540)处,并且对应地,显示装置200将相同的控制图标显示在坐标点E2(192,972,1920,1080)处。
当如图28中描述的一样移动终端100的坐标表和显示装置200的坐标表彼此不同时,显示装置200的控制单元270可以生成并存储通过将移动终端100的坐标表和显示装置200的坐标表进行映射而获得的第一坐标映射表。
通过显示装置200观看视频内容的用户可以选择控制图标以控制视频内容。用户可以使用遥控装置400向显示装置200发送用于选择在显示装置200的坐标点E2处显示的控制图标的控制输入信号。接收用于选择控制图标的控制输入信号的显示装置200的控制单元270可以控制显示装置200通过基于坐标映射表按照与移动终端100的坐标值匹配的方式将坐标值E2转换成坐标值E1,并且将转换后的坐标值E1作为UIBC信号发送到移动终端100。
如图29中所示,当通过镜像从移动终端100接收到视频数据时,显示装置200的控制单元270可以立即生成并存储通过将移动终端100的第一坐标表和显示装置200的第二坐标表进行映射而获得的第一坐标映射表。因此,与图27不同,在没有黑边区域2720的状态下,显示装置200的控制单元270可以在新的分辨率和坐标表环境下将视频内容显示在显示单元280上。
另一方面,如图30中所示,用户可以通过遥控装置400等向显示装置200输入用于改变视频内容的分辨率的控制信号。当接收到用于改变分辨率的控制信号时,显示装置200的控制单元270可以控制显示装置200处理视频数据以具有新的分辨率和第三坐标表,并且将处理后的视频数据显示在显示单元280上。在这种情况下,与图27的实施方式类似,显示装置200的控制单元270可以将显示视频内容的图像区域3010和黑边区域3020显示在显示单元280上。在这种情形下,当从用户接收到控制输入信号时,显示装置200的控制单元270可以控制显示装置200通过以下操作来通过UIBC通信最终向移动终端100发送用户的控制输入信号:基于第二坐标表和第三坐标表的坐标映射表来执行一次坐标转换算法,然后基于第一坐标表和第二坐标表的坐标映射表来执行两次坐标转换算法。另外,显示装置200的控制单元270可以控制显示装置200通过重新生成第一坐标表和第三坐标表的坐标映射表并且只执行一次坐标转换算法来通过UIBC通信向移动终端100发送用户的控制输入信号。
图31是例示根据实施方式的显示装置的控制方法的流程图。
根据实施方式的显示装置可以对从外部接收的或者存储在存储器中的视频数据进行解码(S3110),将解码后的视频数据显示在第一区域中(S3120),并且从外部装置接收至少一个命令(S3130)。
另外,显示装置可以响应于从外部装置接收的至少一个命令而执行特定区域放大模式(S3140),并且甚至在第一区域内的第二区域中显示与解码后的数据对应的视频数据(S3150)。
另外,第二区域包括指示符,并且显示在第一区域中的视频数据可以根据指示符的位置和大小中的至少一个来改变。
图32是例示根据实施方式的显示装置启动特定区域放大模式的情况的视图。
如左上图3210中所示,当通过通信模块等从外部遥控器3240接收到启动特定区域放大模式的命令时,控制电源270可以将通知消息3212和指点器3214显示在第一区域3210中,通知消息3212通知已经启动了特定区域放大模式,指点器3214能够选择待放大的特定点。
当通过通信模块从外部遥控器3240接收到使用指点器指定第一区域3210中的待放大的特定点的命令时,控制单元270可以指定包括与该命令对应的特定点的区域,放大包括所指定的特定点的区域,并且显示包括该特定点的放大的区域。
如图32的右上图3220中所示,当通过通信模块从外部遥控器3240接收到不启动特定区域放大模式的命令时,控制电源270可以显示通知尚未启动特定区域放大模式的通知消息3222,并且能够选择特定点的指点器3224可以被设计成在图3220中消失。
如图32的左下图3230中所示,控制单元270可以通过通信模块从外部遥控器3240接收使用指点器3234来选择第一区域的特定部分的命令,并且预先显示与所接收到的命令对应的待放大的特定区域3232。因此,用户能够预先识别哪个区域将被放大。
图33是例示根据实施方式的当显示装置启动特定区域放大模式时指点器形状发生改变的状态的视图。
如图33中所示,如果通过从外部遥控器3330接收命令来启动特定区域模式3340,则控制单元270可以将指点器形状从原始形状(第一图形图像)改变成另一种形状(第二图形图像)。
例如,如果在特定区域放大模式下增大放大比例,则控制单元270可以将指点器形状从原始形状改变成“+”形状3320。
如果在特定区域放大模式下减小放大比例,则控制单元270可以将指点器形状改变成“-”形状。
因此,根据该实施方式,如果启动了特定区域放大模式,则指点器形状被改变成放大镜形状。随着放大比例增大或减小,指点器形状被不同地改变,使得用户能够直观地识别显示装置是否已经进入特定区域放大模式以及放大比例是否已经增大,因此提高用户便利度。
图34是例示根据实施方式的当显示装置启动特定区域放大模式时控制画面的状态的视图。将清楚的是,为了方便起见,“特定区域放大模式”可以被简称为“放大模式”。
首先,根据实施方式的显示装置可以将内容显示在主画面3410上并且根据从遥控器3440接收的放大输入请求而进入放大模式。
显示装置可以显示包括所显示的内容的窗口3420,并且显示用于选择所显示的窗口3420内的所显示的内容的特定区域。
显示装置被设计成放大所显示的内容的所选择的特定区域,并且将所显示的内容的放大特定区域显示在主画面3410上。该内容可以与例如移动图片对应。
将应该清楚,为了方便起见,主画面3410和窗口3420可以被分别称为第一区域和第二区域。窗口3420的形状或大小不受特别限制。
更具体地,例如,如果在正在主画面3410上输出包括在广播信号中的视频数据的同时在预置时间或更长时间内从遥控器3440接收到输入信号(例如,“同意”按钮),则也将视频数据显示在窗口3420中。当首先执行特定区域放大模式时,在主画面3410和窗口3420上输出相同的视频数据。这意指显示在主画面3410上的视频数据与显示在窗口3420上的视频数据相同,但是显示在主画面3410上的视频数据的大小与显示在窗口3420上的视频数据的大小不同。
另外,指示符3430显示在窗口3420上,并且用于供用户选择待放大的特定区域。例如,如图34中所示,指示符3430可以被实现为导向框的图形图像,该导向框用于指引待放大的或已经放大的特定区域。然而,显而易见,可以采用具有另一个形状的图形图像。
另外,窗口3420可以被称为全局窗口,并且指示符3430可以被称为局部窗口。显示装置放大指示符3430所指定的区域并且在主画面3410上输出放大后的区域。将对此进行简要描述。当显示装置首先进入到特定区域放大模式时,显示装置正在主画面3410上输出原始的视频数据。然后,如果使用窗口3420和指示符3430来选择待放大的特定区域,则显示装置将通过放大特定区域而得到的视频数据而非原始视频数据显示在主画面3410上。另外,例如,显示装置可以被设计成使得指示符3430的位置随着指点器3432的位置改变而改变。另外,例如,如果在执行了特定区域放大模式之后指定待放大的特定区域,则将原始视频数据1倍地显示在窗口3420上,但是原始视频数据的大小减小。另外,作为原始视频数据的替代,可以将通过放大(超过1倍,例如,1.2倍、1.5倍或2.0倍)特定区域而得到的视频数据显示在主画面3410上。
例如,显示装置200的控制单元270控制窗口3420内的指示符3430的内部区域的亮度使其亮,并且控制指示符3430的外部区域的亮度使其暗,使得用户能够容易地识别待放大的特定区域。
另外,在主画面3410中存在比例显示条,该比例显示条包括用于改变画面放大比例的放大按钮和缩小按钮。如果从遥控器3440接收到用于选择缩小按钮3422和放大按钮3424中的任一个的命令,则控制单元270与所接收到的命令对应地以预置比例控制指示符3430的大小。控制单元270根据用于选择缩小按钮3422和放大按钮3424中的任一个的命令来不同地改变指点器3432的形状。包括缩小按钮3422和放大按钮3424的比例显示/控制条可以被称为第二指示符,以便能与上述指示符3430区分开。
这里,根据缩小按钮3422的选择的比例的最小值可以是1倍,而根据放大按钮3424的选择的比例的最大值可以是5倍。这里,放大比例的最大值不限于5倍,并且可以被调节。当放大比例小于1倍时,显示在画面上的图像被缩小。
例如,如果接收到用于选择缩小按钮3422的命令,则控制单元270可以将指点器的形状从原始形状3432改变成“-”形状。如果接收到用于选择放大按钮的命令,则控制单元270可以将指点器的形状从原始形状3432改变成“+”形状。
另外,窗口3420可以被实现为画中画(PIP)画面,并且PIP画面的大小被设计成是可调节的。
例如,如果从外部装置(例如,遥控器)接收到在PIP画面的边缘部分或角部部分被点击并且点击状态被保持的状态下将PIP画面从第一点移动到与第一点不同的第二点的命令,则控制单元270可以调节PIP画面的大小。
另外,控制单元270可以改变PIP画面的位置。
例如,如果从外部遥控器接收到在使用指点器点击PIP画面的第一点并且点击状态被保持的状态下将PIP画面从第一点移动到与第一点不同的第二点的命令,则控制单元270可以改变PIP画面的位置。本文中描述的PIP画面对应于图34中示出的窗口3420。
例如,如果连续地示出窗口3420,则用户会不方便观看正在重现的视频数据。因此,在经过预置时间(例如,3秒)之后,控制单元270可以将窗口和指示符的状态改变成隐藏状态。如果从外部装置3440接收到预置命令,则控制单元270可以再次将窗口和指示符显示在PIP画面上。
如果指点器3432位于窗口3420的右边界线、左边界线、上边界线和下边界线中的任一条处,则控制单元270可以将窗口和指示符的状态改变成隐藏状态。如果从外部装置3440接收到特定命令,则控制单元270可以再次将PIP画面上的窗口3420显示在主画面3410内。
控制单元270可以使用指点器3432来移动指示符3430,并且显示在主画面3410上的视频数据可以随着指示符3430的位置改变而改变。例如,指示符3430所指定的区域中的视频数据和被放大以显示在主画面3410上的视频数据是相同的,并且仅仅它们的大小彼此不同(当将图34的主画面3410和指示符3430进行比较时,对于本领域的技术人员是显而易见的)。更具体地,例如,当窗口3420中的指示符3430只包括特定对象时,只包括特定对象的视频数据显示在主画面3410上。在这种情况下,与指示符3430中的视频数据相比,仅主画面3410中的视频数据的大小被放大。
因此,指示符3430的改变后的位置和大小被实时显示,使得用户能够更快地识别原始视频数据中的被放大的特定区域。
总之,如果执行特定区域放大模式,则在主画面3410和窗口3420二者上输出原始视频数据。然而,仅仅大小缩小的视频数据被显示在窗口3420上。
为了放大特定区域,指点器3432可以位于主画面3410中或者位于窗口3420中。使用指点器3432作为中心点来确认待放大的特定区域。
然而,如果确认了待放大的特定区域,则显示通过放大特定区域而得到的视频数据而非原始视频数据。另外,显示在主画面3410上的被放大的视频数据可以由于放大比例控制等而被恢复成原始数据。在原始视频数据被再次显示在主画面3410上之后,可以通过选择主画面3410中的特定点来重新指定待放大的特定区域。将清楚的是,可以使用窗口3420中的指示符3430来重新指定待放大的特定区域。
另外,当正在主画面3410上输出视频数据的同时控制通过放大特定区域而得到的视频数据的放大/缩小倍数时,窗口3420中的指示符3430的大小被设计成自动改变。因此,用户能够容易地实时识别主画面3410中的被放大或缩小的视频数据对应于窗口3420中的哪个部分。
图34中示出的第二指示符3422和3424被用于设置放大水平。另外,可以通过调谐器接收或者通过外部装置接收主画面3410上输出的内容。外部装置可以对应于例如STB、PC和手机中的至少一个。
指示符的大小基于通过第二指示符3422和3424选择的放大水平而自动地改变。
另外,虽然在图31中未示出,但是可以参照图34来实现另一个实施方式,该另一个实施方式包括接收用于放大所显示的内容的第一放大水平的步骤、基于所接收到的第一放大水平来显示具有第一显示大小的放大指示符的步骤、接收用于放大所显示的内容的第二放大水平的步骤以及基于所接收到的第二放大水平来显示具有与第一显示大小不同的第二显示大小的放大指示符的步骤。
窗口3420包括例如PIP窗口。
应该清楚,窗口3420可以在主画面3410中移动。另外,应该清楚,指示符3430可以在窗口3420中移动,以便选择显示在窗口3420上的内容的另一个特定区域。
指示符3430响应于从遥控器3440接收到的指点器3432的信号而移动,并且指示符3420的大小根据从遥控器3440接收到的变换方向信号而改变。
虽然指示符3430的大小基于通过缩小按钮3422而减小的放大水平而增大,但是指示符3430的大小基于通过放大按钮3422而增大的放大水平而减小。
指示符3430例如可以被实现为用于指引待放大的或已经放大的特定区域的导向框的图形图像。
本公开还可以包括以下步骤:基于图34的主画面上输出的内容的视频数据来改变沿着遥控器的运动而移动的指点器的坐标信息。例如,本公开还可以包括当内容的视频数据的分辨率信息对应于高清(HD)时向指点器的坐标信息应用0.66倍的缩放的步骤、当内容的视频数据的分辨率信息对应于全高清(FHD)时向指点器的坐标信息应用1倍的缩放的步骤以及当内容的视频数据的分辨率信息对应于超高清(UHD)时向指点器的坐标信息应用2倍的缩放的步骤。
如果在执行了放大模式之后经过了预置时间或者如果从遥控器3440接收到至少一个命令,则控制单元270控制窗口3420和指示符3430二者消失。
在窗口3420和指示符3430二者消失之后,显示用于指引正在执行放大模式的图形图像。图形图像包括表现放大倍数的信息。基于选择图形图像的命令,再次显示窗口3420和指示符3430。
图35是例示根据实施方式的当显示装置启动特定区域放大模式时使用指点器来移动放大画面的特定点的状态的视图。
如图35中所示,在指示符3530所指定的区域被显示为第一区域3510中的整个画面的状态下,从外部装置接收到使用指点器来选择整个画面的特定点3512的命令,并且控制单元270使指示符3530所指定的区域的中心点从现有中心点3514移动到特定点3512,基于特定点3512来产生新放大区域,并且将所产生的新放大区域作为整个画面来显示。
另外,根据另一个实施方式,可以选择第二区域3520中的待放大的特定区域的中心点,或者可以选择第一区域3510中的待放大的特定区域的中心点。当选择第一区域3510中的待放大的特定区域的中心点时,用户能够精密地控制放大区域。当选择第二区域3520中的待放大的特定区域的中心点时,用户能够在完全识别原始视频数据的同时改变特定区域。
图36是例示根据实施方式的当显示装置启动特定区域放大模式时使用遥控装置来控制画面的状态的视图。
如上所述,通过外部装置来控制根据实施方式的显示装置(TV或STB),并且外部装置对应于遥控器或移动装置。在图36中,遥控器被例示为外部装置的示例,但是本公开的范围不仅仅限于遥控器。
根据该实施方式,外部遥控器3640包括滚轮键3642、方向键3644和音量键3646。如果从外部遥控器3640接收到与滚轮键3642的操纵对应的特定命令,则控制单元270根据滚轮键3642的操纵来控制画面放大比例。
例如,如果从外部遥控器3640接收到与用于将滚轮沿滚轮键3642的上方向旋转的输入对应的特定命令,则控制单元270增大画面放大比例。如果从外部遥控器3640接收到与用于将滚轮沿滚轮键3642的下方向旋转的输入对应的特定命令,则控制单元270减小画面放大比例。
用户可以使用滚轮键将画面放大比例改变成1倍至5倍,并且当滚轮键每移动1个单位时,画面放大比例可以改变0.2倍。画面放大比例不是固定的,而是可以通过用户设置而改变。
如果从外部遥控器3640接收到与音量键3646的操纵对应的特定命令,则控制单元270根据音量键3646的操纵来控制画面放大比例。
例如,如果从外部遥控器3640接收到与音量键3646的部分“+”对应的特定命令,则控制单元270增大画面放大比例。如果从外部遥控器3640接收到与音量键3646的部分“-”对应的特定命令,则控制单元270减小画面放大比例。
如果接收到与方向键3644的操纵对应的特定命令,则控制单元270根据方向键3644的操纵使指示符3630所指定的区域的中心点从现有中心点移至特定点,生成基于特定点而放大的视频数据,并且将所生成的视频数据显示在第一区域3610中。
当使用外部遥控器的键来改变特定区域的放大比例和位置时,与PIP画面对应的第二区域3620中的指示符3630的位置和大小也改变。根据另一个实施方式,外部遥控器3650包括音量键3656、频道键3652和触摸板3654。应该清楚,可以通过运动传感器或语音识别传感器来控制外部遥控器3650。
如果从外部遥控器3650接收到与音量键3656的操纵对应的特定命令,则控制单元270根据音量键3656的操纵来控制画面放大比例。
例如,如果从外部遥控器3650接收到与音量键3656的上方向部分对应的特定命令,则控制单元270增大画面放大比例。例如,如果从外部遥控器3650接收到与音量键3656的下方向部分对应的特定命令,则控制单元270减小画面放大比例。
如果从外部遥控器3650接收到与频道键3652的操纵对应的特定命令,则控制单元270根据频道键3652的操纵来控制画面放大比例。
例如,如果从外部遥控器3650接收到与频道键3652的上方向(UP)部分对应的特定命令,则控制单元270增大画面放大比例。如果从外部遥控器3650接收到与频道键3652的下方向(DOWN)部分对应的特定命令,则控制单元270减小画面放大比例。
如果从外部遥控器3650接收到与触摸板3654的操纵对应的特定命令,则控制单元270根据触摸板3654的操纵使指示符3630所指定的区域的中心点从现有中心点移至特定点,生成基于特定点而放大的视频数据,并且将所生成的视频数据显示在第一区域3610中。
图37、图38、图39和图40是例示其中显示装置使用坐标转换和UIBC在特定区域放大模式下向移动终端发送控制输入信号的实施方式的视图。
如图37中所示,根据实施方式的显示装置200可以通过与移动终端100执行数据通信来发送/接收视频数据和/或音频数据。另外,可以在从显示装置200去除黑边区域之后,通过镜像将显示在移动终端100中的图像或图片显示在显示装置200的整个屏幕上。如上所述,显示装置200的控制单元270可以从遥控装置400接收用户输入信号。当用户输入信号是控制信号时,显示装置200的控制单元270可以通过UIBC将控制信号发送到移动终端100。
作为用于描述该实施方式的示例,假定移动终端100的左上端具有坐标A1(0,0,960,540),移动终端100的左下端具有坐标B1(0,540,960,540),移动终端100的右上端具有坐标C1(960,0,960,540),并且移动终端100的右下端具有坐标D1(960,540,960,540)。另外,假定显示装置200的左上端具有坐标A2(0,0,1920,1080),显示装置200的左下端具有坐标B2(0,1080,1920,1080),显示装置200的右上端具有坐标C2(1920,0,1920,1080),并且显示装置200的右下端具有坐标D2(1920,1080,1920,1080)。
在这种情况下,假定移动终端100将当前所显示的视频内容的控制图标显示在坐标点F1(480,10,960,540)处,并且对应地,显示装置200将相同的控制图标显示在坐标点F2(960,20,1920,1080)处。
通过显示装置200观看视频内容的用户可以选择控制图标以控制视频内容。用户可以使用遥控装置400向显示装置200发送用于选择在显示装置200的坐标点E2处显示的控制图标的控制输入信号。接收用于选择控制图标的控制输入信号的显示装置200的控制单元270可以控制显示装置200将坐标值F2作为UIBC信号发送到移动终端100。另选地,显示装置200的控制单元270可以控制显示装置200生成通过将移动终端100的坐标表和显示装置200的坐标表进行映射而得到的坐标映射表,在接收到用于选择坐标F2的控制信号时基于坐标映射表将坐标F2转换成坐标F1,并且通过UIBC通信向移动终端100发送用于选择坐标F1的控制输入信号。
当执行特定区域放大模式时,根据实施方式的显示装置200的控制单元270可以控制显示装置200在窗口3820上输出原始视频内容的原始视频数据,并且当使用指示符3830来选择待放大的特定区域时,将仅仅通过放大特定区域而获得的视频数据而非原始视频数据显示在主画面3810上。假定通过放大显示在图38中例示的主画面3810上的特定区域而得到的视频数据是通过指示符3830选择的视频数据的特定区域。在这种情况下,显示装置200的控制单元270可以设置显示装置200的坐标值,使得显示装置200的左上端具有坐标A8(480,0,1920,1080),显示装置200的左下端具有坐标B8(480,540,1920,1080),显示装置200的右上端具有坐标C8(1440,0,1920,1080),并且显示装置200的右下端具有坐标D8(1440,540,1920,1080)。也就是说,坐标A8、B8、C8和D8等于窗口3820中的指示符3830的左/右/上/下部的坐标。当如上所述地设置坐标表时,可以在不进行任何单独的坐标转换处理的情况下在特定区域放大模式之前和其之后使用相同的坐标表。虽然在图38中未示出,但是显而易见,其中通过在特定区域放大模式下重新设置主画面3810的坐标表来在主画面3810和窗口3820中使用不同的坐标表的实施方式属于本公开的范围。
如果用户输入选择显示在主画面3810上的坐标F2处的控制图标的信号,则显示装置200的控制单元270可以控制显示装置200通过坐标转换处理向移动终端100发送选择位于坐标F2处的控制图标的信号。另外,移动终端100可以执行选择在与坐标值F1对应的点处显示的控制图标的控制操作。移动终端100的控制器180可以在显示单元151的部分区域中显示控制窗口。假定控制窗口的左上端具有坐标A3(96,216,960,540),控制窗口的左下端具有坐标B3(96,486,960,540),控制窗口的右上端具有坐标C3(384,216,960,540),并且控制窗口的右下端具有坐标D3(384,486,960,540)。移动终端100的控制器180可以执行与显示装置200对应地转换坐标值A3、B3、C3和D3的处理。例如,坐标值A3可以被转换成坐标值A4(192,432,1920,1080),坐标值B3可以被转换成坐标值B4(192,972,1920,1080),坐标值C3可以被转换成坐标值C4(768,432,1920,1080),并且坐标值D3可以被转换成坐标值D4(768,972,1920,1080)。移动终端100的控制器180可以将转换后的值A4、B4、C4和D4作为UIBC信号发送到显示装置200。
当从移动终端100接收到控制窗口输出信号时,显示装置200的控制单元270可以控制显示装置200将控制窗口显示在窗口3820的坐标点A4、B4、C4和D4而非主画面3810处。在这种情况下,当指示符3830没有选择控制窗口时,控制窗口可以不被显示在主画面3810上,如图39中所示。
当如图40中所示用户通过遥控装置400等移动窗口4020中的指示符4030以选择控制窗口时,显示装置200的控制单元270可以控制指示符4030将通过放大所选择的特定区域而获得的视频数据显示在主画面3810上。在这种情况下,显示装置200的控制单元270可以设置显示装置200的坐标值,使得显示装置200的左上端具有坐标A9(0,324,1920,1080),显示装置200的左下端具有坐标B9(0,864,1920,1080),显示装置200的右上端具有坐标C9(576,324,1920,1080),并且显示装置200的右下端具有坐标D9(576,864,1920,1080)。也就是说,坐标A9、B9、C9和D9等于窗口4020中的指示符4020的左/右/上/下部的坐标。当如上所述地设置坐标表时,可以在不进行任何单独的坐标转换处理的情况下在特定区域放大模式之前和其之后使用相同的坐标表。虽然在图40中未示出,但是显而易见,其中通过在特定区域放大模式下重新设置主画面4010的坐标表来在主画面4010和窗口4020中使用不同的坐标表的实施方式将属于本公开的范围。
如图40中所示,显示装置200可以将主画面4010的坐标表和窗口4020的坐标表设置成在特定区域放大模式下具有相同的值。因此,当用户通过主画面4010输入选择特定坐标值(坐标G2)的信号时,显示装置200的控制单元270可以控制显示装置200根据之前在图37中生成的坐标映射表将坐标值G2转换成坐标值G1,并且通过UIBC通信将转换后的坐标值G1发送到移动终端100。
如图37至图40中所描述的,使用坐标转换或坐标映射表,使得即使当通过镜像来放大图像时,用户所期望的信号也能够没有任何错误地被发送到移动终端。
图41是例示根据实施方式的显示装置的操作方法的流程图。
参照图41,作为信宿装置进行操作的显示装置20可以从信源装置(移动终端100)接收视频内容(S4100)。
如图8中描述的,信源装置和信宿装置可以通过诸如Wi-Fi直连网络这样的有线/无线网络彼此连接。信源装置可以进入诸如镜像模式或双屏双播(DSDP)模式这样的内容共享模式。当信源装置进入内容共享模式时,信源装置可以向信宿装置发送包括正通过显示单元输出的画面的视频内容,并且信宿装置可以接收所述视频内容。
显示装置200可以显示所接收到的视频内容(S4110)。
控制单元270可以基于视频内容的大小(例如,分辨率)在显示单元280的至少部分区域中显示所接收到的视频内容。所接收到的视频内容的分辨率可以与信源装置的显示单元的分辨率对应,并且信源装置的显示单元可以具有基于该分辨率的第一坐标系。例如,当视频内容的分辨率低于显示单元280的分辨率时,控制单元270可以将视频内容显示在显示单元280的部分区域中。在一些实施方式中,控制单元270可以自动地缩放视频,以将视频内容显示在显示单元280的整个区域中。缩放后的视频内容的分辨率可以与显示单元280的分辨率对应,并且显示单元280可以具有基于该分辨率的第二坐标系。
另一方面,当所接收到的视频内容的分辨率等于或高于显示单元280的分辨率时,控制单元270可以在显示单元280的整个区域中显示视频内容的至少一部分。
此外,关于显示在显示单元280上的视频内容的坐标信息可以与所接收到的视频内容的分辨率对应。例如,当所接收到的视频内容的分辨率是960*540时,坐标信息(x,y,宽度,高度)可以包括与(0,0,960,540)至(959,539,960,540)对应的坐标。当控制单元270接收到选择显示在显示单元280上的视频内容的预定坐标的控制信号时,控制单元270可以通过UIBC将所选择的预定坐标(或者选择预定坐标的命令)发送到信源装置。
显示装置200可以改变所显示的视频内容的大小(S4120)。
例如,控制单元270可以改变所显示的视频内容的大小,以与显示单元280的大小(分辨率)对应。控制单元270可以响应于从遥控装置400等接收到的分辨率控制输入而执行改变视频内容大小的操作(缩放操作)。然而,控制单元270可以自动地执行改变视频内容的大小的操作。当控制单元270自动地执行改变视频内容的大小的操作时,可以省去步骤S4110。也就是说,控制单元270将从信源装置接收到的视频内容的大小自动地改变成显示单元280的大小,使得所接收到的视频内容可以显示在显示单元280的整个区域中。
也就是说,当信源装置的显示单元的分辨率与信宿装置的显示单元280的分辨率不同时,控制单元270可以执行改变视频内容的大小的操作。在这种情况下,信宿装置的显示单元280的第一坐标可以与第二坐标对应,第二坐标的值与信源装置的显示单元的坐标当中的第一坐标的值不同。
另选地,控制单元270可以响应于从遥控装置400等接收到的分辨率控制输入而将所显示的视频内容的大小改变成用户所期望的大小。大小改变命令可以与选择预置大小中的任一个的输入对应。在一些实施方式中,大小改变命令可以与用于直接选择显示单元280的大小范围内的视频内容大小的输入对应。随后将参照图44对此进行描述。
此外,当显示在显示单元280上的视频内容的大小(分辨率)被改变时,坐标信息也可以被改变。例如,当视频内容的分辨率被改变成1820*1080时,坐标信息可以被改变成包括与(0,0,1920,1080)至(1919,1079,1920,1080)对应的坐标的信息。
显示装置200可以接收选择大小改变后的视频内容的第一坐标的控制信号(S4130)。
例如,控制单元270可以从遥控装置400等接收选择位于正显示在显示单元280上的大小改变后的视频内容的第一坐标处的控制菜单(或控制图标)的控制信号。在一些实施方式中,控制信号可以包括通过如图36中所示的遥控装置400中设置的触摸板3654而选择的第三坐标,并且控制单元270可以通过转换第三坐标来生成第一坐标。
显示装置200可以基于所选择的第一坐标生成针对关于原始视频内容的坐标信息的第二坐标(S4140)。
第一坐标可以与改变后的坐标信息对应。因此,当控制单元270通过UIBC向信源装置发送选择第一坐标的命令时,信源装置不具有改变后的坐标信息,因此所接收到的命令可能不被正确处理。
因此,控制单元270可以基于表示显示在显示单元280上的视频内容的大小已经自从信源装置接收到的视频内容的大小改变了多少的信息(即,大小改变信息(或缩放信息))来生成与第一坐标对应的第二坐标。原始视频内容是在其大小改变之前的视频内容,并且可以意指显示在信源装置的显示单元上的视频内容。
显示装置200可以将所生成的第二坐标发送到信源装置(S4150)。
例如,控制单元270可以通过UIBC向信源装置发送选择第二坐标的命令。信源装置可以正确地执行使用所接收到的命令中包括的第二坐标来选择位于视频内容的第二坐标处的控制菜单(或控制图标)的操作。
下文中,将参照图42至图44来描述图41中描述的与显示装置的操作方法相关的各种实施方式。
图42至图44是例示根据图41的实施方式的显示装置的控制方法的示例性视图。
参照图42,根据实施方式的显示装置200可以通过与移动终端100执行数据通信来发送/接收视频数据和/或音频数据。另外,当移动终端100和显示装置200进入镜像模式时,显示装置200可以实时接收包括显示在移动终端100中的画面的视频内容(实时流)。
另外,如上所述,显示装置200的控制单元270可以从遥控装置400等接收用户输入信号。当所接收到的用户输入信号是移动终端100的视频内容的控制信号时,控制单元270可以通过UIBC向移动终端100发送控制信号或与控制信号对应的命令。
控制单元270可以通过显示单元280来显示从移动终端100实时接收的视频内容。显示在显示单元280上的视频内容4210的大小可以与所接收到的视频内容的大小对应。该大小可以与分辨率对应。如图42中所示,当视频内容的分辨率低于显示单元280的分辨率时,控制单元270可以将视频内容4210显示在显示单元280的部分区域中。在这种情况下,显示单元280的剩余区域可以与黑边区域4220对应。
关于显示在显示单元280上的视频内容4210的坐标信息可以与视频内容4210的分辨率对应。也就是说,坐标信息可以包括A1(0,0,960,540)至D1(959,539,960,540)的坐标。
参照图43,控制单元270可以与显示单元280的视频内容的大小对应地改变视频内容的大小,并且通过显示单元280来显示大小改变后的视频内容4310。
控制单元270可以从遥控装置400等接收分辨率控制输入,并且响应于所接收到的分辨率控制输入而与显示单元280的视频内容的大小对应地改变视频内容的大小。在一些实施方式中,控制单元270可以与显示单元280的视频内容的大小对应地自动改变视频内容的大小。
例如,当显示单元280具有全HD分辨率(1920*1080)时,关于视频内容4310的坐标信息可以改变成包括坐标A2(0,0,1920,1080)至D2(1919,1079,1920,1080)。
在这种情况下,从移动终端100接收到的视频内容的控制图标位于坐标点E1(96,486,960,540)处,大小改变后的视频内容4310的控制图标可以位于坐标点E2(192,972,1920,1080)处。
控制单元270可以从遥控装置400接收选择位于坐标点E2处的控制图标的控制信号。控制单元270可以基于关于原始视频内容的坐标信息来生成与坐标点E2对应的坐标点E1。如上所述,原始视频内容可以意指其大小被改变之前的视频内容。在一些实施方式中,控制单元270可以识别与坐标点E2对应的控制图标。
例如,控制单元270可以基于原始视频内容的大小与改变后的视频内容的大小(或显示单元280的大小)之比来生成坐标点E1。当原始视频内容的大小是960*540并且改变后的视频内容的大小是1920*1080时,坐标点E1的x和y坐标值中的每一个可以与坐标点E2的x和y坐标值中的每一个的1/2对应。
基于所生成的坐标点E1,控制单元270可以通过UIBC向移动终端100发送选择坐标点E1的命令。在一些实施方式中,控制单元270可以将关于所识别的控制图标连同命令一起发送到移动终端100。移动终端100可以响应于所接收到的命令而执行选择位于视频内容的坐标点E1处的控制图标的操作。
参照图44,控制单元270可以将视频内容的大小改变成各种大小。
控制单元270可以从遥控装置400接收选择多个预置大小中的任一个的大小改变命令。控制单元270可以响应于所接收到的命令而将视频内容4410的大小改变成所选择的大小。
在一些实施方式中,显示装置200可以提供使得用户能够在视频内容4410的大小改变时直接选择所期望大小的功能也就是说,显示装置200可以从遥控装置400接收选择显示单元280的大小范围内的任一个大小的大小改变命令,并且将视频内容4410的大小改变成所选择的大小。
例如,控制单元270可以从遥控装置400接收大小改变命令,该大小改变命令包括选择视频内容4410的角部或顶点的命令和拖放所选择的角部或顶点的命令。控制单元270可以基于所选择的角部或顶点被放到的位置来改变视频内容4410的大小。在这种情况下,视频内容4410的大小可以在显示单元280的大小内自由改变。
如图44中所示,视频内容4410的大小可以与包括A3(0,0,1280,720)至D3(1279,719,1280,720)的坐标信息对应地改变,或者与包括A4(0,0,1600,900)至D4(1599,899,1600,900)的坐标信息对应地改变。
在图44中仅例示了其中当视频内容4410的大小改变时恒定地保持宽高比的实施方式。然而,在一些实施方式中,控制单元270可以改变视频内容4410的宽高比。
根据图41至图44中示出的实施方式,当显示在显示装置中的视频内容的大小在镜像期间改变时,针对大小改变后的视频内容而选择的坐标被改变为具有原始大小的视频内容的坐标,并且改变后的坐标被发送到信源装置。因此,用户能够独立于显示在显示装置中的视频内容的大小而通过显示装置来控制信源装置。
根据该实施方式,上述方法可以被实现为程序记录介质中的能够被处理器读取的代码。处理器可读介质可以包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等。处理器可读介质还可以包括按照载波或信号的形式的实现方式(例如,经由互联网进行传输)。
虽然出于例示目的描述了本公开的一些实施方式,但是本领域的技术人员应该清楚,能够在不脱离本公开的基本特征的情况下在本公开的范围内对本公开进行各种修改和改变。
因此,以上提到的实施方式不应该被理解为限制本公开的技术精神,而是被理解为是出于例示目的而提供的,使得本领域的技术人员能够充分理解本公开的精神。
本公开的范围不应该限于以上提到的实施方式,而是由所附的权利要求限定。与本公开的范围基本上相同的范围内的技术精神将被视为落入所附的权利要求所限定的本公开的范围内。

Claims (15)

1.一种信宿装置,该信宿装置包括:
网络收发器,该网络收发器被配置为与信源装置通信;
显示器;以及
控制器,该控制器被配置为:
经由所述网络收发器从所述信源装置接收视频内容,其中,所述信源装置的信源显示器与原始显示坐标对应;
使所述显示器显示所述视频内容,其中,所述显示器与改变后的显示坐标对应;
接收用于选择所述显示器的第一坐标的控制信号;
生成针对所述原始显示坐标的第二坐标,其中,所述第二坐标与所述第一坐标对应;并且
使所述网络收发器向所述信源装置发送所述第二坐标。
2.根据权利要求1所述的信宿装置,其中,
所述信源装置的显示分辨率小于所述信宿装置的所述显示器的显示分辨率;并且
所述控制器还被配置为与改变后的显示坐标对应地缩放所接收到的视频内容,以便在所述显示器上进行全屏显示。
3.根据权利要求2所述的信宿装置,其中,所述控制器还被配置为在所述显示器上以全屏方式显示所述视频内容之前使以未缩放的大小显示所接收到的视频内容。
4.根据权利要求3所述的信宿装置,其中,所述控制器还被配置为响应于分辨率控制输入而使所述显示器从以所述未缩放的大小显示所述视频内容切换成以全屏方式显示所述视频内容。
5.根据权利要求2所述的信宿装置,其中,所述第二坐标是使用所接收到的视频内容的缩放信息而生成的。
6.根据权利要求1所述的信宿装置,其中,所述控制器还被配置为识别所显示的视频内容的图像的对象,所述对象与所选择的第一坐标对应。
7.根据权利要求6所述的信宿装置,其中,所述控制器还被配置为在所识别的对象是基于信源装置的对象时使所述网络收发器向所述信源装置发送所述第二坐标和所识别的对象。
8.根据权利要求6所述的信宿装置,其中,所述控制器还被配置为在所识别的对象是基于信宿装置的对象时执行与所识别的对象对应的控制操作。
9.根据权利要求1所述的信宿装置,其中,
所述控制信号是从与所述信宿装置关联的遥控装置接收到的;
所述控制信号用于选择所述遥控装置的触摸板的第三坐标,其中,所述触摸板的所述第三坐标的位置与所述显示器的所述第一坐标的位置对应;并且
所述第二坐标是通过将所述第三坐标转换成针对改变后的坐标的第一坐标并且基于用于发送到所述信源装置的所述第一坐标来生成所述第二坐标而生成的。
10.根据权利要求1所述的信宿装置,其中,所述控制器还被配置为:
响应于选择所显示的视频内容的所述第一坐标,经由所述网络收发器从所述信源装置接收用于显示菜单的至少一个原始菜单显示坐标;
针对改变后的显示坐标来生成至少一个改变后的菜单显示坐标,其中,所述至少一个改变后的菜单显示坐标与所述至少一个原始菜单显示坐标置对应;并且
使所述显示器在所述至少一个改变后的菜单显示坐标处显示菜单。
11.一种信宿装置,该信宿装置包括:
网络收发器,该网络收发器被配置为与信源装置通信;
存储器;
显示器;以及
控制器,该控制器被配置为:
经由所述网络收发器从所述信源装置接收视频内容;
通过将所述信源装置的坐标表和所述信宿装置的坐标表进行映射来生成第一坐标映射表;
将所述第一坐标映射表存储在所述存储器中;
使所述显示器显示所接收到的视频内容;
接收用于选择所述显示器的第一坐标的控制信号;
利用所述第一坐标映射表来识别针对原始显示坐标的第二坐标,其中,所述第二坐标与所述第一坐标对应;并且
使所述网络收发器向所述信源装置发送所述第二坐标。
12.根据权利要求11所述的信宿装置,其中,
所述信源装置的显示分辨率小于所述信宿装置的所述显示器的显示分辨率;并且
所述控制器还被配置为与改变后的显示坐标对应地缩放所接收到的视频内容,以便在所述显示器上进行全屏显示。
13.根据权利要求11所述的信宿装置,其中,所述控制器还被配置为识别所显示的视频内容的图像的对象,所述对象与所选择的第一坐标对应。
14.根据权利要求13所述的信宿装置,其中,所述控制器还被配置为在所识别的对象是基于信源装置的对象时使所述网络收发器向所述信源装置发送所述第二坐标和所识别的对象。
15.根据权利要求13所述的信宿装置,其中,所述控制器还被配置为在所识别的对象是基于信宿装置的对象时执行与所识别的对象对应的控制操作。
CN201710712264.3A 2016-09-02 2017-08-18 在信宿装置处控制信源装置的方法和使用该方法的设备 Active CN107801094B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0113175 2016-09-02
KR1020160113175A KR102627518B1 (ko) 2016-09-02 2016-09-02 싱크 디바이스 및 그 제어 방법

Publications (2)

Publication Number Publication Date
CN107801094A true CN107801094A (zh) 2018-03-13
CN107801094B CN107801094B (zh) 2020-05-01

Family

ID=59745824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710712264.3A Active CN107801094B (zh) 2016-09-02 2017-08-18 在信宿装置处控制信源装置的方法和使用该方法的设备

Country Status (4)

Country Link
US (1) US10575041B2 (zh)
EP (1) EP3291565A1 (zh)
KR (1) KR102627518B1 (zh)
CN (1) CN107801094B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654727A (zh) * 2020-06-28 2020-09-11 北京汗粮科技有限公司 一种向大屏终端投屏交互操作的方法
CN115150646A (zh) * 2021-03-31 2022-10-04 华为技术有限公司 一种显示第二电子设备控制窗口的方法及第一电子设备
CN115150646B (zh) * 2021-03-31 2024-06-11 华为技术有限公司 一种显示第二电子设备控制窗口的方法及第一电子设备

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10972536B2 (en) 2004-06-04 2021-04-06 Apple Inc. System and method for synchronizing media presentation at multiple recipients
JP6122477B2 (ja) * 2015-10-15 2017-04-26 株式会社オプティム 画面共有システム及び画面共有方法
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
EP3333658A1 (de) * 2016-12-09 2018-06-13 Sick Ag Steuerung zum sicheren steuern zumindest einer maschine
KR20180099182A (ko) * 2017-02-28 2018-09-05 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
JP6914728B2 (ja) * 2017-05-26 2021-08-04 キヤノン株式会社 通信装置、通信方法、およびプログラム
US10783929B2 (en) 2018-03-30 2020-09-22 Apple Inc. Managing playback groups
US10993274B2 (en) 2018-03-30 2021-04-27 Apple Inc. Pairing devices by proxy
US11297369B2 (en) * 2018-03-30 2022-04-05 Apple Inc. Remotely controlling playback devices
JP7118764B2 (ja) * 2018-06-20 2022-08-16 キヤノン株式会社 通信装置、制御方法、およびプログラム
JP7154833B2 (ja) * 2018-06-20 2022-10-18 キヤノン株式会社 通信装置、通信方法、およびプログラム
KR102509071B1 (ko) 2018-08-29 2023-03-10 삼성전자주식회사 전자 장치 및 이의 외부 장치를 제어하는 방법
KR20200084273A (ko) * 2019-01-02 2020-07-10 엘지전자 주식회사 무선 디바이스 및 무선 시스템
US20220030319A1 (en) * 2019-01-15 2022-01-27 Lg Electronics Inc. Image display device and method for controlling the same
CN111666119B (zh) * 2019-03-06 2023-11-21 华为终端有限公司 Ui组件显示的方法及电子设备
CN110662095B (zh) * 2019-08-28 2021-10-26 北京小米移动软件有限公司 投屏处理方法、装置、终端及存储介质
KR20210047112A (ko) * 2019-10-21 2021-04-29 삼성전자주식회사 전자장치 및 그 제어방법
KR20210088401A (ko) * 2020-01-06 2021-07-14 삼성전자주식회사 전자장치 및 그 제어방법
KR20210130424A (ko) * 2020-04-22 2021-11-01 엘지전자 주식회사 무선 디바이스
CN113741840A (zh) * 2020-09-10 2021-12-03 华为技术有限公司 多窗口投屏场景下的应用界面显示方法及电子设备
KR20220048245A (ko) 2020-10-12 2022-04-19 엘지전자 주식회사 무선 디바이스 및 무선 시스템
CN114442972A (zh) * 2020-10-31 2022-05-06 华为技术有限公司 一种投屏方法及电子设备
CN112468863A (zh) * 2020-11-24 2021-03-09 北京字节跳动网络技术有限公司 投屏控制方法、设备及电子设备
US11703991B2 (en) * 2021-12-06 2023-07-18 Lg Electronics Inc. Display device with mouse control and operating method thereof
WO2024080389A1 (ko) * 2022-10-11 2024-04-18 엘지전자 주식회사 디스플레이 장치 및 디스플레이 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2682859A2 (en) * 2012-07-06 2014-01-08 LG Electronics, Inc. Mobile terminal, image display device and user interface provision method using the same
CN105100907A (zh) * 2014-04-28 2015-11-25 宇龙计算机通信科技(深圳)有限公司 选择性投屏的方法及其装置
KR20160025308A (ko) * 2014-08-27 2016-03-08 한국산업기술대학교산학협력단 스마트폰과 차량 디스플레이의 미러 링킹 방법
EP3062214A1 (en) * 2015-02-27 2016-08-31 Samsung Electronics Co., Ltd. Apparatus and method for providing screen mirroring service

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7705864B2 (en) * 2000-03-16 2010-04-27 Matrox Graphic Inc. User selectable hardware zoom in a video display system
JP4719641B2 (ja) * 2006-07-27 2011-07-06 ソニー株式会社 動画像データ提供方法、動画像データ提供方法のプログラム、動画像データ提供方法のプログラムを記録した記録媒体、動画像データ提供装置及び動画像データ提供システム。
KR101017866B1 (ko) * 2010-09-08 2011-03-04 주식회사 텔레칩스 네비게이션을 이용한 휴대단말기 제어 방법
US9436650B2 (en) * 2011-11-25 2016-09-06 Lg Electronics Inc. Mobile device, display device and method for controlling the same
KR102089469B1 (ko) * 2013-09-05 2020-03-16 현대모비스 주식회사 Avn 시스템의 원격 제어 장치 및 방법
GB201408258D0 (en) * 2014-05-09 2014-06-25 British Sky Broadcasting Ltd Television display and remote control
KR20160002530A (ko) * 2014-06-30 2016-01-08 현대중공업 주식회사 액화가스 저장탱크 및 이를 구비한 해양구조물

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2682859A2 (en) * 2012-07-06 2014-01-08 LG Electronics, Inc. Mobile terminal, image display device and user interface provision method using the same
CN105100907A (zh) * 2014-04-28 2015-11-25 宇龙计算机通信科技(深圳)有限公司 选择性投屏的方法及其装置
KR20160025308A (ko) * 2014-08-27 2016-03-08 한국산업기술대학교산학협력단 스마트폰과 차량 디스플레이의 미러 링킹 방법
EP3062214A1 (en) * 2015-02-27 2016-08-31 Samsung Electronics Co., Ltd. Apparatus and method for providing screen mirroring service

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111654727A (zh) * 2020-06-28 2020-09-11 北京汗粮科技有限公司 一种向大屏终端投屏交互操作的方法
CN115150646A (zh) * 2021-03-31 2022-10-04 华为技术有限公司 一种显示第二电子设备控制窗口的方法及第一电子设备
CN115150646B (zh) * 2021-03-31 2024-06-11 华为技术有限公司 一种显示第二电子设备控制窗口的方法及第一电子设备

Also Published As

Publication number Publication date
EP3291565A1 (en) 2018-03-07
KR20180026160A (ko) 2018-03-12
US20180070122A1 (en) 2018-03-08
US10575041B2 (en) 2020-02-25
KR102627518B1 (ko) 2024-01-23
CN107801094B (zh) 2020-05-01

Similar Documents

Publication Publication Date Title
CN107801094A (zh) 在信宿装置处控制信源装置的方法和使用该方法的设备
US10469744B2 (en) Mobile terminal and operating method thereof
US10852940B2 (en) Mobile terminal, and method for operating same
US10219026B2 (en) Mobile terminal and method for playback of a multi-view video
US10664158B2 (en) Mobile terminal and method for controlling the same
CN104219552B (zh) 图像显示装置的操作方法
US10750086B2 (en) Mobile terminal and operating method thereof
KR102471230B1 (ko) 이동 단말기 및 그의 동작 방법
CN107135193A (zh) 无线装置
US20200257436A1 (en) Mobile terminal and control method thereof
US9966114B2 (en) Mobile terminal and method of controlling therefor
CN107211020A (zh) 宿设备及其控制方法
EP3434005B1 (en) Display device and operating method thereof
US10353536B2 (en) Terminal and controlling method thereof
CN106155494A (zh) 移动终端及其控制方法
CN108141542A (zh) 移动终端及其控制方法
CN109804346A (zh) 无线装置和无线系统
KR102542766B1 (ko) 디스플레이 장치 및 그의 동작 방법
US10863232B2 (en) Display device and operating method thereof
KR20170052353A (ko) 이동 단말기 및 그의 동작 방법
US10983745B2 (en) Display device and display system including same
KR102611748B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20170091303A (ko) 단말기 및 그를 포함하는 디스플레이 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant