CN105230030B - 具有多个画面的显示装置及其控制方法 - Google Patents

具有多个画面的显示装置及其控制方法 Download PDF

Info

Publication number
CN105230030B
CN105230030B CN201480026411.6A CN201480026411A CN105230030B CN 105230030 B CN105230030 B CN 105230030B CN 201480026411 A CN201480026411 A CN 201480026411A CN 105230030 B CN105230030 B CN 105230030B
Authority
CN
China
Prior art keywords
user
picture
moving image
display
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480026411.6A
Other languages
English (en)
Other versions
CN105230030A (zh
Inventor
房俊昊
朴南炫
郑道圣
文周宣
朴熠锡
郑树暎
克里斯多佛·E·班戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105230030A publication Critical patent/CN105230030A/zh
Application granted granted Critical
Publication of CN105230030B publication Critical patent/CN105230030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了显示装置及其控制方法。显示装置包括：显示器，被配置为在显示屏的第一画面、第二画面和第三画面中的每一个画面上显示从多个源接收的多个图像；用户界面，被配置为检测用户交互；以及控制器，被配置为控制显示器，以响应于通过用户界面检测到的旋转交互，根据检测到的旋转交互来移动第一到第三画面的位置。

Description

具有多个画面的显示装置及其控制方法
技术领域
根据示例实施例的装置和方法涉及显示装置及其控制方法。更具体地，根据示例实施例的装置和方法涉及在显示屏中显示多个画面的显示装置及其控制方法。
背景技术
根据内容的增加和用户需求，显示装置从各种源接收内容并向用户提供各种内容。随着向显示装置提供的内容量的增加，显示装置需要提供多个画面以便从大量内容中搜索一条内容。
相关技术中的显示装置使用多个画面来提供主画面和附加画面，例如画中画(PIP)画面。然而，由于在相关技术中的显示装置中，主画面被PIP画面(电就是附加画面)阻挡，因此用户难以查看主画面和PIP画面。
此外，相关技术中的显示装置不能移动PIP画面，并且仅可以在用户指定的位置上显示PIP。此外，相关技术中的显示装置难以单独控制主画面和PIP画面。
也就是说，需要找到更直观地控制显示装置上显示的多个画面的方法。
发明内容
技术问题
示例实施例克服了上述缺点和上文未描述的其它缺点。此外，并不需要示例实施例来克服上述缺点，并且示例实施例可以并不克服任何上述问题。
示例实施例提供了被配置为根据用户交互来移动在显示屏中显示的多个画面并更直观地在多个画面中选择用户希望观看的内容的显示装置、及控制该装置的方法。
问题的解决方案
根据示例实施例的显示装置包括：显示器，被配置为在显示屏的第一画面、第二画面和第三画面中的每一个画面上显示从多个源接收的多个图像；用户界面，被配置为检测用户交互；以及控制器，被配置为：控制显示器，以响应于通过用户界面检测到的旋转交互，根据检测到的旋转交互来移动第一到第三画面的位置。
显示器可以被配置为将第一到第三画面之一定位在显示器的中心上，其中，第一到第三画面中的至少两个画面具有不同的观看角度。
响应于作为用户头部旋转交互的旋转交互，控制器可以通过检测用户的头部旋转来控制显示器，以便根据检测到的用户的头部旋转的方向来移动第一到第三画面。
控制器可以控制显示器，以响应于通过用户界面检测到用户的头部沿向右方向旋转，通过沿向左方向移动第一到第三画面来增大显示器上位于第一到第三画面中的右侧的第三画面的比例，并且响应于通过用户界面检测到用户的头部沿向左方向旋转，通过沿向右方向移动第一到第三画面来增大显示器上位于第一到第三画面中的左侧的第一画面的比例。
控制器可以根据检测到的用户的头部旋转角度来实时移动第一到第三画面。
响应于在用户的头部沿向右方向移动的同时检测到用户的头部旋转角度大于预定值，控制器可以将沿向左方向移动的第三画面设置为主画面，并且响应于在用户的头部沿向左方向移动的同时检测到用户的头部旋转角度大于预定值，控制器可以将沿向右方向移动的第一画面设置为主画面。
装置还可以包括音频输出，被配置为输出与第一到第三画面中的至少一个画面相关的音频，其中，控制器控制音频输出，以根据检测到的旋转交互来改变第一到第三画面中的至少一个画面的音频输出。
控制器可以控制该音频输出，以仅输出在第一到第三画面中的占据显示器的最大比例的主画面上显示的内容的音频。
响应于作为用户的头部旋转交互的用户旋转交互，音频控制器可以控制该音频输出，以响应于通过用户界面检测到的用户的头部旋转而增大具有在显示器上比例增大的画面上显示的内容的音频输出。
控制器可以被配置为：响应于通过用户界面检测到用户的头部沿向右方向旋转，增大在位于第一到第三画面中的右侧的第三画面上显示的内容的音频输出，并且控制器可以响应于通过用户界面检测到用户的头部沿向左方向旋转，增大在位于第一到第三画面中的左侧的第一画面上显示的内容的音频输出。
控制器可以被配置为：控制该音频输出，以根据显示器的画面比例来增大第一到第三画面中的具有显示比例增大的画面上显示的内容的音频输出。
控制器可以被配置为：控制音频输出单元，以响应于在用户的头部沿向右方向移动的同时检测到用户的头部旋转角度大于预定值，将位于右侧的第三画面设置为新的主画面，并且仅输出在第三画面上显示的内容的音频；控制器可以被配置为：响应于在用户的头部沿向左方向移动的同时检测到用户的头部旋转角度大于预定值，将位于左侧的第一画面设置为新的主画面，并且仅输出在第一画面上显示的内容的音频。
响应于在按压遥控器中的按钮之后作为用于旋转遥控器的交互的旋转交互，控制器可以控制显示器沿显示器中心的方向移动与遥控器的旋转方向相对应的画面。
根据示例实施例的控制显示装置的方法包括：在显示器的第一画面、第二画面和第三画面中的每一个画面上显示从多个源接收的多个图像；检测旋转交互；根据检测到的旋转交互来移动显示器的第一到第三画面的位置。
显示可以包括将第一到第三画面之一定位在显示器的中心上，并且显示第一到第三画面使得第一到第三画面中的至少两个画面具有不同的观看角度。
检测可以包括通过旋转交互来检测用户头部旋转交互，其中，移动包括根据检测到的用户的头部旋转的方向来移动第一到第三画面。
移动可以包括：响应于检测到用户的头部沿向右方向旋转，通过沿向右方向移动第一到第三画面来增大显示器上位于第一到第三画面中的左侧的第一画面的比例；以及响应于检测到用户的头部沿向左方向旋转，通过沿向左方向移动第一到第三画面来增大第三画面的显示器上位于第一到第三画面中的右侧的第三画面的比例。
移动可以包括根据检测到的用户的头部旋转角度来实时移动第一到第三画面。
移动可以包括：响应于在用户的头部沿向右方向移动的同时检测到用户的头部旋转角度大于预定值，将沿向左方向移动的第三画面确定为主画面；以及响应于在用户的头部沿向左方向移动的同时检测到用户的头部旋转角度大于预定值，将沿向右方向移动的第一画面确定为主画面。
方法可以包括：输出与第一到第三画面中的至少一个画面相关的音频；以及根据检测到的旋转交互来改变第一到第三画面中的至少一个画面的音频输出。
改变可以包括：输出在第一至第三画面中的占据显示器的最大比例的主画面上显示的内容的音频。
检测可以包括使用旋转交互来检测用户的头部旋转交互，其中，改变包括：根据检测到的用户的头部旋转的方向而增大第一到第三画面中的具有显示屏上的增大比例的画面上显示的内容的音频输出。
改变可以包括：响应于检测到用户的头部沿向右方向旋转，增大在位于第一到第三画面中的右侧的第三画面上显示的内容的音频输出；响应于检测到用户的头部沿向左方向旋转，增大在位于第一到第三画面中的左侧的第三画面上显示的内容的音频输出，增大在位于第一到第三画面中的左侧的第三画面上显示的内容的音频输出。
改变可以包括：根据显示屏的比例，增大第一到第三画面中的具有显示屏的比例增大的画面上显示的内容的音频输出。
改变可以包括：响应于在用户的头部沿向右方向移动的同时检测到用户的头部旋转角度大于预定值，将位于第一到第三画面中的右侧的第三画面设置为新的主画面，并且输出在第三画面上显示的内容的音频；以及响应于在用户的头部沿向左方向移动的同时检测到用户的头部旋转角度大于预定值，将位于第一到第三画面中的左侧的第一画面设置为新的主画面，并且可以输出在第一画面上显示的内容的音频。
检测可以包括：通过旋转交互来检测在按压遥控器中的按钮之后的旋转遥控器的用户交互，其中，移动可以包括：沿向显示器中心的方向移动与遥控器的旋转方向相对应的画面。
在示例实施例的方案中，用户交互可以包括检测到用户眼部的移动的用户眼部移动交互。
显示装置可以包括被配置为存储用于操作显示装置的多个模块的存储设备。
模块可以包括语音识别模块、触摸识别模块和手势模块中的至少一项。
控制器可以被配置为：控制显示器，以显示与在第一到第三画面上播放的视频内容有关的信息。
本发明的有益效果
如上所述，通过根据用户交互来改变画面的位置和大小，用户可以通过单个显示屏来更直观并更愉快地控制多个画面。
附图说明
通过参照附图来详细描述特定的示例实施例，上述和/或其它方案将会更加清楚，在附图中：
图1是示出了根据示例实施例的显示系统的示意图；
图2是示意性示出了根据示例实施例的显示装置的配置的框图；
图3是详细示出了根据示例实施例的显示装置的配置的框图；
图4是详细示出了存储设备的配置的框图；
图5A至图9C是用于描述根据各种示例实施例的根据用户交互来移动多个画面的方法的示意图；
图10A至图11是示出了根据各种示例实施例的多个画面的各种配置的示意图；
图12至图15是用于描述根据各种示例实施例的控制多个画面的方法的流程图；
图16是用于描述根据示例实施例的检测用户的头部旋转的方法的示意图；以及
图17是示意性示出了根据另一个示例实施例的显示装置的配置的示意图。
具体实施方式
现在将参照附图来更详细地描述特定的示例实施例。
在以下的描述中，甚至在不同附图中也将相同附图标记用于相同的要素。描述中限定的内容，例如详细构造和要素，用来帮助对示例实施例的全面理解。因此可以看出，即便缺少这些具体限定的内容，示例实施例也能够实施。此外，由于众所周知的功能或构造会用不必要的细节导致示例实施例不够突出，因此不对它们进行详细描述。
图1是示出了根据示例实施例的显示系统的示意图。参照图1，根据示例实施例的显示系统10可以包括显示装置100和遥控器50。
如图1所示，显示装置100可以体现为数字TV。然而，示例实施例并不限于此，并且实现为包括显示功能在内的各种类型的装置，例如PC、移动电话、平板计算机、PMP、PDA、或导航设备。响应于显示装置100实现为便携式设备，显示装置100可以具有触摸屏，以使用手指或笔(例如触控笔)来执行程序。然而，为了更简单的描述，下文将在假设显示装置100实现为数字TV的情况下描述示例实施例。
响应于显示装置100体现为数字TV，显示装置100可以通过遥控器50来控制。在这种情况下，遥控器50可以是被配置为远程控制显示装置100、接收用户命令、并且向显示装置100发送与所接收的用户命令相对应的控制信号的装置。遥控器50可以用各种形式实现。例如，遥控器50可以检测遥控器50的移动并发送与检测到的移动相对应的信号，识别语音并且发送与识别出的语音相对应的信号，或者发送与输入按键相对应的信号等等。
具体地，显示装置100可以根据用户命令在单个显示屏中显示用于播放多条内容的多个画面。此外，显示装置100可以根据各种类型的用户交互来控制多个画面。下文中，将会参照示出了显示装置100的具体配置的框图来描述各种示例实施例。
图2和图3是示出了根据示例实施例的显示装置的配置的框图。
参照图2，显示装置100包括显示器110、音频输出120、用户界面130和控制器140。
显示器110在控制器140的控制下输出从外部接收到的或预存的视频数据或用户界面(UI)。具体地，显示器110可以根据预设的用户命令在单个显示屏中显示被配置为播放多条内容的多个画面。在这种情况下，多个画面可以在一个显示屏上按预设的形状(例如矩形、梯形等等)交叠或者分离地布置。具体地，多个画面可以被布置为具有不同的观看角度，并且响应于用户的观看角度变化，多个画面的位置可以根据变化后的观看角度来移动。在这种情况下，可以在多个画面中的每一个画面上显示2D图像，但是这仅仅是示例性的，并且可以在多个画面中的每一个画面上显示3D图像。
根据示例实施例，显示器110可以显示第一画面、第二画面和第三画面。在这种情况下，第二画面可以在显示屏的中心占据最大的比例，第一画面可以在第二画面的左侧显示，并且第三画面可以在第二画面的右侧显示。在这种情况下，第一画面和第三画面可以具有梯形形状，并且因此具有与第二画面不同的观看角度。如上所述，由于第一画面和第三画面具有在第二画面的左侧和右侧的梯形形状并且具有不同的观看角度，用户可以获得好像他/她在三维空间中查看第一到第三画面的效果。然而，这仅仅是示例实施例，并且多个画面可以沿上下方向或对角线方向来显示，其中第二画面布置在中心区域。下文中，为了便于解释，将在假设第二画面在显示屏的中心显示、第一画面在第二画面的左侧显示、并且第三画面在第二画面的右侧显示的情况下描述示例实施例。
具体地，第一到第三画面之一可被设置为主画面。主画面可以是被配置为显示用户希望主要看到的内容并且在多个画面中占据显示屏上的最大比例的画面。具体地，在显示装置100中，可以使用最大级别来输出主画面的音频。
此外，可以将第一到第三画面中除主画面以外的画面设置为子画面。子画面是指被配置为显示除主画面以外的其它内容的画面，并且子画面在显示屏上占据比主画面小的比例。具体地，子画面可以显示播放一条内容的画面的一部分。此外，可以不输出子画面的音频，或者可以根据子画面在显示屏上的比例以具有预定值或以下的级别来输出子画面的音频。
此外，主画面和子画面可以根据预设的用户交互来行进，并且可以改变其位置、大小和形式中的至少一项。此外，主画面和子画面可以相互交换。下文将会给出其详细描述。
显示器110可以体现为液晶显示面板(LCD)、有机发光二极管(OLED)等等，但不限于此。此外，在一些情况下，显示器110可以体现为柔性显示器、透明显示器等等。
音频输出120可以输出与多个画面中的至少一个画面有关的音频。具体地，音频输出120可以仅输出多个画面中的主画面的音频。此外，响应于多个画面根据用户交互来移动，音频输出120可以改变多个画面中的至少一个画面的音频输出。下文将给出其详细描述。
用户界面130可以检测各种用户交互。具体地，用户界面130可以检测用于控制多个画面的用户交互。具体地，用户界面130可以检测各种用户交互，例如用于移动多个画面的用户交互、用于改变主画面的用户交互、以及用于选择在多个画面中的一个画面中播放的内容的用户交互。例如，用户界面130可以检测用户的头部旋转和头部移动中的至少一项，向控制器140发送检测到的信号(将在下文描述)，并且移动并显示多个画面。
用户界面130可以根据显示装置100的示例实施例用各种形式来体现。当显示装置100体现为数字TV时，用户界面130可以体现为从遥控器50接收远程控制信号的遥控器接收机、检测用户的移动的相机、接收用户的语音的麦克风等等。此外，响应于显示装置100体现为移动终端，用户界面130可以用触摸屏的形式来体现，该触摸屏与触摸板形成共有分层结构。在这种情况下，用户界面130可以用作上述的显示器110。
控制器140可以控制显示装置100的整体操作。具体地，响应于通过用户界面130检测到预设的用户交互，控制器140可以控制显示器110，以根据预设的用户交互来移动第一到第三画面。此外，控制器140可以控制音频输出120，以改变第一到第三画面中的至少一个画面的音频输出，以便与多个画面的移动相对应。
在示例实施例中，响应于预设的用户交互是用户的头部旋转交互，控制器140可以检测用户的头部旋转，并且控制显示器110，以根据检测到的用户的头部旋转的方向来移动第一到第三画面。具体地，控制器140可以通过检测用户的头部旋转的方向来确定用户希望查看的画面，并且在显示屏上增大用户希望查看的画面的比例。例如，响应于通过用户界面130检测到用户的头部沿向右方向旋转，控制器140可以用以下方式来控制显示器110：第一到第三画面沿向左方向移动，以增大在显示屏中位于右侧的第三画面的比例。此外，响应于通过用户界面130检测到用户的头部沿向左方向旋转，控制器140可以控制显示器110，以通过向右移动第一到第三画面来增大在显示屏上位于左侧的第一画面的比例。
此外，控制器140可以根据用户头部的旋转角度来确定第一到第三画面的移动量，并且实时移动第一到第三画面。也就是说，控制器140可以实时检测用户的头部旋转，并且根据用户头部的旋转角度来实时移动第一到第三画面。因此，由于用户可以根据他/她看的方向来移动画面，用户可以更直观地选择画面来查看内容。
此外，控制器140可以响应于用户的头部旋转角度被检测为大于预设值来设置子画面为新的主画面。具体地，响应于在用户头部沿向右方向移动的同时用户的头部旋转角度被检测为大于预设值，控制器140可以将之前被设置为子画面的第三画面设置为新的主画面。也就是说，响应于在用户的头部向右移动的同时用户头部的旋转角度被检测为大于预设值，新设置为主画面的第三画面可以在显示屏上占据最大的比例，并且因此可以从显示装置100输出第三画面的音频。此外，响应于在用户头部向左移动的同时用户头部的旋转角度被检测为大于预设值，控制器140可以将之前设置为子画面的第一画面设置为新的主画面。也就是说，响应于在用户头部向左移动的同时用户头部的旋转角度被检测为大于预设值，新设置为主画面的第一画面可以在显示屏上占据最大的比例，并且因此可以从显示装置100输出第一画面的音频。
在其它示例实施例中，预设的用户交互是关于触摸屏的用户的触摸交互，控制器140可以控制显示器110根据检测到的触摸交互的方向来移动第一到第三画面。具体地，控制器140可以根据检测到的触摸交互的方向在显示屏上增加用户希望查看的画面的比例。例如，响应于由触摸屏检测到的触摸交互的方向是向右方向，控制器140可以控制显示器110向左移动第一到第三画面，并且因此在显示屏上增加位于右侧的第三画面的比例。此外，由触摸屏检测到的触摸交互的方向是向左方向，控制器140可以控制显示器110向右移动第一到第三画面，并且因此在显示屏上增加位于左侧的第一画面的比例。
也就是说，如上所述，由于用户通过检测用户的头部旋转交互或触摸交互(其是有向(directional)用户交互)来移动多个画面，用户可以更直观地在多个画面中选择用户希望查看的画面，以便查看内容。
如上所述，虽然有向用户交互被描述为用户的头部旋转交互，但是这仅仅是示例实施例，并且可以使用另一个有向用户交互来移动多个画面。例如，可以使用检测用户的眼部移动的用户眼部移动交互、检测用户身体(例如手)的移动的用户移动交互、检测指向设备的移动的指向设备交互等等，根据用户交互的方向来移动第一到第三画面。
在另外其它示例实施例中，响应于预设的用户交互是选择了遥控器50的分别与第一到第三画面相对应的第一到第三按钮的用户交互并且选择了遥控器50上的第一到第三按钮之一，控制器140可以将与所选择的按钮相对应的画面移动到显示屏的中心区域以将其设置为新的主画面。具体地，响应于选择了遥控器50上的第一按钮，控制器140可以将与第一按钮相对应的第一画面移动到显示屏的中心区域以将其设置为新的主画面。此外，响应于选择了遥控器50上的第三按钮，控制器140可以将与第三按钮相对应的第三画面移动到显示屏的中心区域以将其设置为新的主画面。
也就是说，如上所述，由于用户通过控制器检测到直接选择多个画面之一的用户交互来移动多个画面，用户可以在多个画面中更直观地选择用户希望查看的画面。
同时，如上所述，虽然用户直接选择多个画面之一的交互被描述为使用遥控器的交互，但是这仅仅是示例实施例的示例，并且可以使用另一个用户交互来移动多个画面。例如，可以使用以下方式来移动多个画面：使用用户语音直接选择多个画面之一的语音交互、使用指针直接选择多个画面之一的指针交互等等。
同时，响应于第二画面在显示屏的中心区域中被显示为主画面并且第一和第三画面分别在第二画面的左侧和右侧显示，控制器140可以控制音频输出120，以仅输出与第二画面上显示的内容相对应的音频。此外，响应于多个画面根据预设的用户交互来移动，控制器140可以根据该画面在显示屏上的比例来控制音频的输出级别。
在示例实施例中，响应于通过用户界面130检测到用户的头部旋转，控制器140可以控制音频输出120，以减小在主画面上显示的内容的音频输出，并且根据检测到的用户头部旋转方向而增大显示屏上具有增大比例的子画面上显示的内容的音频输出。例如，响应于用户头部被检测为沿向右方向旋转，控制器140可以减小在第二画面上显示的内容的音频输出，并且增大具有在显示屏上的增大比例的第三画面上显示的内容的音频输出。此外，响应于用户头部被检测为沿向左方向旋转，控制器140可以控制音频输出120，以减小在主画面上显示的内容的音频输出，并且增大在显示屏上具有增大比例的第一画面上显示的内容的音频输出。
此外，响应于根据用户交互将多个子画面之一设置为新的主画面，控制器140可以仅输出在新设置为主画面的子画面中播放的内容的音频。例如，响应于在用户头部沿向右方向移动的同时用户头部的旋转角度被检测为大于预设值，控制器140可以将第三画面设置为新的主画面，并且仅输出在第三画面上显示的内容的音频。此外，响应于在用户头部沿向左方向移动的同时用户头部的旋转角度被检测为大于预设值，控制器140可以将向右方向移动的第一画面设置为新的主画面，并且仅输出在第一画面上显示的内容的音频。
具体地，响应于多个子画面之一被设置为新的主画面，控制器140可以移除在之前的主画面上显示的内容的音频，并且仅输出新设置为主画面的子画面中播放的内容的音频。
图3是详细示出了根据另一个示例实施例的显示装置的配置的框图。根据另一个示例实施例的显示装置200可以包括视频接收机210、通信器220、显示器230、音频输出240、存储设备250、音频处理器260、视频处理器270、用户界面280、以及控制器290。
视频接收机210可以从各种源接收视频数据。例如，视频接收机210可以从外部广播站接收广播数据，从外部装置(例如DVD或BD(Blu-ray discTM)播放器)接收视频数据，并且接收存储在存储设备250中的视频数据。具体地，视频接收机210可以配备有在单个显示屏中显示多个画面的多个视频接收机模块。例如，视频接收机210可以包括多个调谐器以同时显示多个广播频道。
通信器220是根据各种类型的通信方案来执行与各种类型的外部装置或外部服务器的通信的构造。通信单元220可以包括各种通信芯片，例如Wi-Fi芯片、芯片、近场通信(NFC)芯片、以及无线通信芯片。在这种情况下，WiFi芯片、芯片和近场通信(NFC)芯片可以使用WiFi方法、方法或NFC方法来执行通信。在这些芯片当中，NFC芯片可以表示使用各种RF-ID型频段(例如135kHZ、13.56MHz、433MHz、860～960MHz、2.45GHz等等)中的13.56MHz频段的按NFC方法工作的芯片。当使用WiFi芯片或芯片时，通信器220可以发送/接收各种连接信息(例如源站识别(SSID)和会话密钥等)，使用其连接通信，然后发送/接收各种信息。无线通信芯片可以指代根据各种通信标准(例如IEEETM、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)等等)来通信的芯片。
显示器230可以显示作为在视频处理器270中处理的由视频接收机210接收的视频数据的至少一个视频帧，以及显示在图形处理器293中生成的各种画面。具体地，显示器230可以根据预设的用户命令在单个显示屏中显示播放多条内容的多个画面。例如，显示器230可以在显示屏的中心将第二画面显示为主画面，并且在第二画面的左侧和右侧显示梯形的第一和第三画面。
音频输出240可以是输出在音频处理器260中处理的各种信息声音或语音消息以及各种音频数据的构造。具体地，虽然音频输出240体现为扬声器，这仅仅是示例实施例的示例，并且音频输出240可以体现为另一个音频输出，例如音频输出端子。
存储设备250可以存储用于操作显示装置200的各种模块。具体地，将参照图4来描述存储设备250的配置。
图4是示出了存储在存储设备250中的软件的配置的示意图。
参照图4，软件可以存储在存储设备250中，该软件包括基本模块251、感测模块252、通信模块253、呈现模块254、web浏览器模块255以及服务模块256。
基本模块251可以指代被配置为处理从包括在显示装置200中的每个硬件模块传输的信号并向更上层模块传输经处理信号的基本模块。基本模块251可以包括存储模块251-1、安全模块251-2、网络模块251-3等等。存储模块251-1可以是被配置为管理数据库DB或注册表的程序模块。主CPU 294可以通过使用存储模块251-1访问存储设备250中的数据库DB来读取各种数据。安全模块251-2可以是被配置为支持硬件认证、许可、安全存储等等的程序模块，并且网络模块251-3可以是被配置为支持网络连接以及分布式网络(DNET)模块、通用即插即用(UPnP)模块等等的模块。
感测模块252可以是被配置为从各个传感器收集信息，并且分析和管理所收集的信息的模块。感测模块252可以包括头部方向识别模块、面部识别模块、语音识别模块、运动识别模块、近场通信(NFC)识别模块等等。
通信模块253可以是被配置为与外部通信的模块。通信模块253可以包括消息模块253-1(例如信使程序、短消息服务(SMS)和多媒体消息服务(MMS)程序、以及电子邮件程序等等)、以及电话模块253-2(例如呼叫信息聚合器程序模块和基于网际协议的语音(VoIP)模块)。
呈现模块254可以是用于配置显示屏的模块。呈现模块254可以包括被配置为播放并输出多媒体内容的多媒体模块254-1、以及被配置为处理UI和图形的UI呈现模块254-2。多媒体模块254-1可以包括播放器模块、便携式摄像机模块、声音处理模块等等。因此，多媒体模块254-1可以执行播放各种多媒体内容，并且生成和播放画面和声音。UI呈现模块254-2可以包括被配置为对图像进行创作的图像复合器模块、被配置为将监视器上显示图像的坐标加以组合并生成的坐标组合模块、被配置为从硬件接收各种事件的X11模块、被配置为提供用于配置2D UI或3D UI的工具的2D/3D UI工具箱等等。
web浏览器模块255可以是被配置为执行web浏览和访问web服务器的模块。web浏览器模块255可以包括各种模块，例如配置网页的web查看模块、被配置为执行下载的下载代理模块、书签模块以及web-kit模块。
服务模块256可以是包括用于提供各种服务的各种应用在内的模块。具体地，服务模块256可以包括各种程序模块，例如SNS程序、内容播放程序、游戏程序、电子书程序、日历程序、闹钟管理程序、以及其它小部件。
虽然图4中示出了各种程序模块，可以根据显示装置200的类型和特性来省略、修改或添加一些示出的程序模块。例如，显示装置200可以被实现为还包括与GPS芯片通信的用于支持基于位置的服务的基于位置的模块。
再次参照图3，音频处理器260可以是被配置为处理音频数据的组件。音频处理器260可以执行各种处理，例如对音频数据进行解码或放大、以及噪声滤波。音频处理器260可以包括被配置为处理与多条内容相对应的音频的多个音频处理模块。
视频处理器270可以是被配置为处理视频接收机210接收的视频数据的组件。视频处理器270可以处理各种图像，例如视频数据解码、缩放、噪声滤波、帧速率转换和分辨率转换。视频处理器270可以包括被配置为处理与多条内容相对应的视频的多个视频处理模块。
用户界面280可以被配置为检测用于控制显示装置200的整体操作的用户交互。具体地，用户界面280可以检测用于控制多个画面的用户交互。具体地，用户界面280可以检测各种用户交互，例如用于移动多个画面的用户交互、用于改变主画面的用户交互、以及用于选择要在多个画面之一上播放的内容的用户交互。
此外，如图3所示，用户界面280可以包括用于检测交互的各种设备，例如相机281、麦克风282、以及遥控器信号接收机283。
相机281可以被配置为在用户的控制下捕捉静止图像或视频。具体地，相机281可以捕捉用于控制显示装置200的用户的各种移动。
麦克风282可以被配置为接收要转换成音频数据的用户语音或其它声音。控制器290可以使用在呼叫过程中通过麦克风282接收的用户语音，或者将通过麦克风282接收的用户语音转换成要存储在存储设备250中的音频数据。
响应于提供的相机281和麦克风282，控制器290可以根据通过麦克风282输入的用户语音或者由相机281识别出的用户移动来执行控制操作。也就是说，显示装置200可以在运动控制模式或语音控制模式下工作。响应于显示装置200在运动控制模式下工作，控制器290可以通过激活相机281来捕捉用户，跟踪用户移动的变化，并且执行与其对应的控制操作。响应于显示装置在语音控制模式下工作，控制器290可以在分析通过麦克风282输入的用户语音并且根据分析出的用户语音来执行控制操作的语音识别模式下工作。
此外，遥控器信号接收机283可以从遥控器50接收包括控制命令在内的遥控器信号。
控制器290可以使用存储在存储设备250中的各种程序来控制显示装置200的整体操作。如图2所示，控制器290可以包括RAM 291、ROM 292、图形处理器293、主CPU 294、第1至第n接口295-1至295-n、以及总线296。在这种情况下，RAM 291、ROM 292、图形处理器293、主CPU 294、第1至第n接口295-1至295-n等可以通过总线296相互连接。
ROM 292可以存储用于引导系统等的命令集。响应于输入开机命令并供电，主CPU294可以根据存储在ROM 292中的命令向RAM 291复制存储在存储设备250中的O/S，并通过运行O/S来引导系统。响应于引导程序完成，主CPU 294可以向RAM 291复制存储在存储设备250中的各种应用程序，并且可以通过运行向RAM 291复制的应用程序来执行各种操作。
图形处理器293可以使用操作部分(未示出)和呈现部分(未示出)来生成包括各种对象在内的画面，对象是例如图标、图像以及文本。操作部分可以使用从用户界面280接收的控制命令、根据画面的布局来计算要表示的每个对象的属性值，例如坐标、形状、大小和颜色。呈现部分可以基于由操作部分中计算的属性值来生成包括对象在内的各种画面布局。由呈现部分生成的画面可以在显示器230的显示区域上显示。
主CPU 294可以使用存储在存储设备250中的O/S来访问存储设备250并引导。主CPU 294可以使用存储在存储设备250中的各种程序、内容、数据等来执行各种操作。
第1至第n接口295-1至295-n可以连接到上述各个元件。接口之一可以是通过网络连接到外部装置的网络接口。
具体地，响应于输入用户的预设命令，控制器290可以控制显示器230在显示屏上显示多个画面。具体地，控制器290可以控制显示器230在多个画面上分别显示从视频接收机210接收的多条内容。例如，如图5A所示，控制器290可以在第一画面510上显示通过第一调谐器接收的第一视频内容，在第二画面520上显示通过第二调谐器接收的第二视频内容，并且在第三画面530上显示通过DVD输入端子接收的第三视频内容。然而，这仅仅是在多个画面上显示视频内容的示例实施例，并且可以在多个画面上显示通过各种视频图像源接收的视频图像。例如，控制器290可以响应于通过显示装置200进行的视频会议来在第一画面510上显示会议材料，并且在第二画面520和第三画面530上显示视频会议的参与者。此外，控制器290可以控制显示器230在第二画面520上显示通过调谐器接收的视频内容，在第一画面510上显示视频内容的详细信息，并且在第三画面530上显示与视频内容有关的购物信息。
此外，控制器290可以控制显示器230在显示屏的中心区域上将第二画面520显示为主画面，并且在第二画面520的左侧和右侧区域上分别显示第一画面510和第三画面530。具体地，控制器290可以将在显示器230中占据最高比例的第二画面520设置为主画面，并且通过音频输出240输出主画面的音频。此外，控制器290可以控制显示器230在显示器230上的第二画面520的左侧和右侧区域分别显示播放用户要搜索的内容的第一画面510和第三画面530。在这种情况下，可以不输出第一画面510和第三画面530的音频，或者第一画面510和第三画面530的音频可以具有低于预设值的输出级别。
此外，如图5A所示，控制器290可以控制显示器230在显示器230上的第二画面520的左侧和右侧区域上分别以梯形形状显示第一画面510和第三画面530。在这种情况下，以梯形形状显示的第一画面510和第三画面530可以具有与第二画面不同的观看角度，并且可以显示为三维地布置在三维空间中。因此，用户可以感觉到好像他/她在三维空间中控制多个画面。
此外，如图5A所示，控制器290可以控制显示器230不完全显示第一画面510和第三画面530，而是只显示其一部分。
此外，控制器290可以控制显示器230，以根据通过用户界面280检测到的用户交互来移动第一到第三画面510、520和530。
在这种情况下，通过用户界面280检测到的用户交互可以包括有向用户交互、以及直接选择多个画面之一的用户交互。
下文中，将会描述响应于检测到作为有向用户交互的用户头部旋转交互来移动多个画面的示例实施例。
如图5A所示，在显示器230上显示设置为主画面的第二画面520和设置为多个子画面的第一画面510和第三画面530的同时，控制器290可以通过相机281来检测用户的头部是否旋转。
将参照图16来描述检测用户的头部旋转的方法。具体地，在相机281正在捕捉用户所处区域的同时，控制器290可以在相机281捕捉的图像中检测用户面部。如图16的(a)中所示，然后控制器290可以检测用户面部中的多个特征点f1到f6。接下来，如图16的(b)中所示，控制器290可以使用检测到的特征点f1至f6来生成虚拟形象1610。接下来，如图16的(c)中所示，控制器290可以通过确定虚拟形象1610是否变化来确定用户面部是否旋转。具体地，如图16的(c)中所示，控制器290可以根据虚拟形象1610的形状和大小的变化来确定用户头部旋转的方向和角度。同时，如图16的(c)所示的检测用户头部旋转的方法仅仅是示例实施例，并且可以使用其它方法来检测用户头部旋转。例如，可以使用T识别方法来检测用户头部旋转。
响应于检测到用户的头部旋转，控制器290可以根据用户头部旋转的方向来控制显示器230移动第一到第三画面510、520和530。具体地，响应于在如图5A所示的显示器230上显示多个画面510、520和530的同时通过用户界面280的相机281检测到沿向右方向的用户头部旋转，控制器290可以控制显示器230向左侧移动第一到第三画面510、520和530。在这种情况下，如图5B所示，控制器290可以控制显示器230在显示屏上增大位于最右侧的第三画面530的比例。
响应于通过用户界面280检测到沿向左方向的用户头部旋转，控制器290可以控制显示器230，以用第一画面510在显示屏上的比例增大的方式向右侧移动第一到第三画面510、520和530。
此外，控制器290可以根据检测到的用户的头部旋转角度来确定第一到第三画面510、520和530的移动量，并且实时移动第一到第三画面510、520和530。
具体地，响应于在如图5A所示的显示器230上显示多个画面510、520和530的同时通过用户界面280检测到用户头部沿向右方向旋转了第一角度，控制器290可以用第一画面510在显示屏上的比例减小并且第三画面530在显示屏上的比例增大的方式向左侧移动第一到第三画面510、520和530。此外，响应于通过用户界面280检测到用户头部沿向右方向旋转了大于第一角度的第二角度，控制器290可以用从如图5B所示的显示屏中移除第一画面510并且进一步增加第三画面530在显示屏上的比例的方式向左侧移动第一到第三画面510、520和530。此外，如图5C所示，响应于通过用户界面280检测到用户头部沿向右方向旋转了大于第二角度的第三角度，控制器290可以用比图5B中所示进一步增大第三画面530在显示屏上的比例的方式向左侧移动第二和第三画面520和530。
此外，响应于在如图5C所示的显示屏上显示第二画面520和第三画面的同时检测到用户头部再一次沿向左方向旋转了第四角度，控制器290可以用如图5D所示的减小第三画面530在显示屏上的比例的方式沿向右方向移动第二画面520和第三画面530。此外，响应于在如图5D所示的显示屏上显示第二画面520和第三画面的同时检测到用户头部再一次沿向左方向旋转了第五角度以面朝正前方，控制器290可以用第一画面510再次在显示屏上显示并且第三画面530在显示屏上的比例减小的方式沿向右方向移动第一到第三画面510、520和530，如图5E所示。
也就是说，如图5A至图5E中的描述，控制器290可以基于用户头部旋转的方向和角度来实时移动第一到第三画面510、520和530。因此，由于用户根据用户头部的移动来移动多个画面，用户可以更直观地观看用户希望观看的内容。
此外，当第一到第三画面510、520和530显示为如图5A所示时，控制器290可以控制音频输出240，以仅输出被设置为主画面的第二画面520的音频。然而，这仅仅是示例实施例，并且音频输出240可以用低于预设值的输出级别来输出被设置为子画面的第一画面510和第三画面530的音频。此外，控制器290可以通过扬声器输出被设置为主画面的第二画面520的音频，并且向外部装置发送要通过外部装置(例如耳机、移动电话等等)输出的被设置为子画面的第一画面510和第三画面530的音频。此外，控制器290可以通过用户设置来选择音频输出。例如，响应于用户设置要通过用户界面280来输出的第一画面510的音频，控制器290可以控制音频输出240输出第一画面510的音频，而不管主画面的设置如何。
在示例实施例中，控制器290可以控制音频输出240输出在多个画面510、520和530中占据显示屏的高于第一比例的画面的音频。例如，控制器290可以控制音频输出240输出占据显示屏的高于20％的画面的音频。
在另一个示例实施例中，控制器290可以控制音频输出单元240仅输出在多个画面510、520和530中占据显示屏的高于第二比例的画面的音频。例如，响应于画面占据显示屏的高于70％，控制器290可以控制音频输出单元240仅输出占据显示屏的高于70％的画面的音频。
在又一个示例实施例中，控制器290可以控制音频输出240，以根据第一到第三画面510、520和530在显示屏上的比例将多个画面510、520和530的音频加以合成并输出。例如，响应于第二画面520在显示屏上的比例是60％并且第一显示屏510在显示屏上的比例是20％，控制器290可以用第二画面520的输出级别设置为第一画面510的输出级别三倍大的方式来合成音频。
此外，控制器290可以通过用户交互将要显示的多个子画面610和630之一变为新的主画面。具体地，响应于检测到用户头部的旋转角度大于预设值，控制器290可以将根据用户头部的方向而在显示屏上具有增大比例的子画面设置为新的主画面。例如，响应于在用户头部沿向右方向移动的同时检测到用户头部的旋转角度大于预设值，控制器290可以将位于右侧的第三画面630设置为新的主画面。此外，响应于在用户头部沿向左方向移动的同时检测到用户头部的旋转角度大于预设值，控制器290可以将位于左侧的第一画面610设置为新的主画面。
更具体地，响应于在如图6A所示显示第一到第三画面610、620和630的同时检测到用户头部沿向左方向旋转了第六角度，控制器290可以用减小第三画面630在显示屏上的比例并增大第一画面610在显示屏上的比例的方式向右侧移动第一到第三画面610、620和630，如图6B所示。此外，响应于通过用户界面280检测到用户头部沿向左方向旋转了大于第六角度的第七角度，控制器290可以用如图6C所示的从显示屏中去除第三画面630并且进一步增大第一画面610在显示屏上的比例的方式向右侧移动第一到第三画面610、620和630。响应于检测到用户头部沿向左方向旋转了大于预设值的第八角度，控制器290可以用第一画面610在显示屏上的比例大于第二画面620在显示屏上的比例的方式向右侧移动第一和第二画面610和620。在这种情况下，控制器290可以将第一画面610设置为新的主画面。
也就是说，响应于第一画面610在显示屏上的比例变为大于作为初始主画面的第二画面620在显示屏上的比例，控制器290可以将第一画面610设置为新的主画面。响应于第一画面610被设置为新的主画面，控制器290可以控制音频输出单元240仅输出第一画面610的音频。
控制器290可以响应于主画面发生变化来使用各种方法改变音频输出。例如，控制器290可以在子画面变为新的主画面期间使用淡入/淡出效果来改变音频。具体地，控制器290可以通过逐渐增大将变为新的主画面的子画面的音频并且逐渐减小初始主画面的音频来改变音频输出。
同时，虽然在上述示例实施例中描述了响应于用户头部旋转了大于预设值的角度，在用户头部旋转方向上的子画面可以变为新的主画面，但是这仅仅是示例实施例，并且子画面可以使用其它方法来变为新的主画面。例如，在用户沿特定方向旋转他/她的头部之后输入预设的用户交互，在用户头部旋转方向上的子画面可以变为新的主画面。具体地，响应于在如图6A所示显示第一到第三画面610、620和630的同时检测到用户头部沿向左方向旋转之后输入预设的用户交互(例如设置在遥控器上的特定按钮、眨眼、点头等等)，控制器290可以用第一画面610在显示屏上的比例最大的方式向右侧移动第一到第三画面610、620和630，如图6D所示。此外，控制器290可以通过将第一画面610设置为新的主画面来控制音频输出240输出第一画面610的音频。
此外，响应于通过用户界面280输入预设的用户命令，控制器290可以将主画面放大为全屏显示。例如，响应于在如图6D所示将第一画面610显示为新的主画面的同时输入预设的用户命令(例如选择遥控器的画面改变按钮的命令等)，控制器290可以控制显示器230将第一画面610放大为全屏700，如图7所示。
此外，响应于在第一画面610的内容在全屏700中显示的同时通过用户界面280输入了预设的用户命令，控制器290可以控制显示器230转化为显示有多个画面的显示屏。例如，响应于在第一画面610的内容在全屏700中显示(如图7所示)的同时输入了预设的用户命令(例如选择遥控器的画面改变按钮的命令等)，控制器290可以控制显示器230显示多个画面610和620，如图6D所示。
虽然在上述示例实施例中将用户头部旋转交互描述为有向用户交互，这仅仅是示例实施例，并且可以使用其它有向用户交互来移动多个画面510、520和530。例如，显示装置200可以通过跟踪用户眼部的移动根据用户眼部移动的方向来移动多个画面510、520和530。具体地，响应于在如图5A所示在显示器230上显示多个画面510、520和530的同时通过用户界面280的相机281检测到用户的眼部在向右方向上，控制器290可以控制显示器230向左侧移动第一到第三画面510、520和530。在这种情况下，控制器290可以控制显示器230增大位于最右侧的第三画面530在显示屏上的比例，如图5B所示。
在又一个示例实施例中，显示装置200可以通过跟踪用户的手的移动、根据用户的手的移动方向来移动多个画面510、520和530。具体地，响应于在如图5A所示在显示器230上显示多个画面510、520和530的同时通过用户界面280的相机281检测到用户的手向右侧移动，控制器290可以控制显示器230向左侧移动第一到第三画面510、520和530。在这种情况下，控制器290可以控制显示器230增大位于最右侧的第三画面530在显示屏上的比例，如图5B所示。
在又一个示例实施例中，显示装置200可以通过检测指向设备移动的方向根据指向设备的移动方向来移动多个画面510、520和530。具体地，响应于在多个画面510、520和530。具体地，响应于如图5A所示在显示器230上显示多个画面510、520和530的同时检测到选择并向右移动指向设备的预设按钮，控制器290可以控制显示器230向左侧移动第一到第三画面510、520和530。在这种情况下，控制器290可以控制显示器230增大位于最右侧的第三画面530在显示屏上的比例，如图5B所示。
如上所述，由于用户使用有向用户交互来移动多个水平布置的画面，用户可以更直观地在多个画面中选择用户希望观看的内容。
控制器290可以根据有向用户交互，在不实时移动多个画面的情况下直接将子画面设置为新的主画面。例如，响应于在如图8A所示在显示器230上显示多个画面810、820和830的同时检测到用户头部沿向左方向旋转了大于预设值的角度，控制器290可以用将第一画面810设置为新的主画面的方式向右侧移动多个画面810、820和830。在这种情况下，控制器290可以将第一画面810在显示屏上的比例增大为大于第二画面820在显示屏上的比例，如图8B所示。此外，控制器290可以控制音频输出240输出第一画面810的音频。也就是说，虽然控制器290并不根据用户头部旋转来实时移动多个画面810、820和830，但是控制器290可以响应于头部旋转了大于预设角度根据头部旋转的方向将初始子画面直接设置为新的主画面。
下文中，将描述使用直接选择多个画面之一的交互来控制多个画面的方法。
在示例实施例中，响应于作为选择(设置在遥控器中的，分别与第一到第三画面相对应的)第一到第三按钮之一的用户交互的用于控制多个画面的预设用户交互，以及选择了第一到第三按钮之一，控制器290可以将与选择的按钮相对应的画面移动到显示屏的中心区域，已将其设置为新的主画面。
具体地，响应于在如图8A所示显示第一到第三画面810、820和830的同时选择了与第一画面810相对应的遥控器的第一按钮，在经过了如图6B和图6C所示的显示屏之后，控制器290可以用第一画面810在显示屏上的比例大于作为初始主画面的第二画面820在显示屏上的比例(如图8B所示)的方式向右侧移动第一到第三画面810、820和830。此外，控制器290可以将第一画面810设置为新的主画面，并且控制音频输出240输出第一画面810的音频。响应于在如图8A所示显示第一到第三画面810、820和830的同时选择了与第三画面830相对应的遥控器的第三按钮，控制器290可以用从显示屏中移除第一画面810并且第三画面830在显示屏上的比例大于作为初始主画面的第二画面820在显示屏上的比例的方式向左侧移动第一到第三画面810、820和830。此外，控制器290可以将第三画面830设置为新的主画面，并且控制音频输出240输出第三画面830的音频。
在这种情况下，在子画面被设置为新的主画面的同时，控制器290可以使用淡入/淡出效果来改变输出音频，在该淡入/淡出效果中，作为主画面的第二画面820的音频逐渐减小，并且在显示屏上的比例逐渐增大的第一画面810或第三画面830的音频逐渐增大。
此外，响应于第一画面810在显示屏上的比例变得大于第二画面820在显示屏上的比例(如图8B所示)并且在遥控器的多个按钮中选择了与第二画面820相对应的第二按钮，控制器290可以用第二画面820在显示屏上的比例是最大的方式向左侧移动第一到第三画面810、820和830，如图8A所示。
虽然在示例实施例中用户使用遥控器上的按钮直接选择多个画面之一，这仅仅是示例实施例，并且用户可以使用其它方法来直接选择多个画面之一。例如，可以使用用户语音或在显示器230上显示的指针来直接选择多个画面之一。
具体地，响应于在如图8A所示显示第一到第三画面810、820和830的同时通过麦克风282输入用户语音“第一”，控制器290可以分析输入的用户语音，并且将与输入的用户语音相对应的第一画面810设置为新的主画面。在这种情况下，例如，可以显示指示符，例如在第一画面810周围的“第一”、在第二画面820周围的“第二”、以及在第三画面830周围的“第三”。同时，虽然在上述示例实施例中用户说出与多个画面相对应的指示符，这仅仅是示例实施例，并且用户说出与在多个画面上播放的频道相对应的指示符或与语音内容相对应的指示符的示例实施例可以被包括在示例实施例的范围内。
此外，响应于在如图8A所示显示第一到第三画面810、820和830的同时，在第三画面830上布置通过外部输入设备(例如鼠标等等)在显示器230上显示的指针之后输入的进入(enter)命令，控制器290可以将第三画面830设置为新的主画面。
如上所述，由于用户直接选择要显示为主画面的画面，用户可以在多个画面中更直观地选择用户希望观看的画面。
同时，虽然描述了仅显示作为子画面的第一画面和第三画面的一部分，但这仅仅是示例实施例，并且可以显示整个第一画面和第三画面。具体地，显示装置200可以在显示屏的中心区域显示被设置为主画面的第二画面920，并且在主画面920的左侧和右侧分别显示第一画面910和第三画面930，如图9A所示。在这种情况下，如图9A所示，虽然主画面920的大小大于子画面910和930的大小，这仅仅是示例实施例，并且第一到第三画面910、920和930可以具有相同的大小。
响应于在如图9A所示显示第一到第三画面910、920和930的同时检测到用户头部沿向右方向旋转，控制器290可以控制显示器230向左侧移动第一到第三画面910、920和930并显示新的第四画面940，如图9B所示。此外，响应于检测到用户头部沿向右方向旋转了大于预设值的角度，控制器290可以控制显示器230从显示屏中移除第一画面910，将第三画面930设置为新的主画面，并且在新的主画面的左侧将第二画面920显示为新的子画面，并且在新的主画面的右侧显示新的第四画面940，如图9C所示。在这种情况下，控制器290可以控制音频输出240输出被设置为新的主画面的第三画面930的音频。
虽然在上述示例实施例中描述了多个子画面沿主画面的向左和向右方向布置，但是这仅仅是示例实施例，并且可以沿其它方向来布置多个子画面。例如，可以在主画面的上下和对角线方向上布置多个子画面。
具体地，控制器290可以控制显示器230在显示屏的中心区域中将第二画面1020显示为主画面，在第二画面1020的上方显示显示第一画面1010，并且在第二画面1020的下方显示第三画面1030，如图10A所示。在这种情况下，用户选择的视频内容可以在被设置为主画面的第二画面1020上显示，包括与视频内容有关的信息在内的视频可以在第一画面1010上显示，并且被配置为执行网上冲浪的web浏览器可以在第三画面1030上显示。
响应于在如图10A所示沿主画面1020的上下方向显示多个子画面1010和1030的同时检测到用户头部沿上下方向旋转的交互或检测到遥控器按钮选择的交互，控制器290可以根据用户交互将第一画面1010和第三画面1030之一设置为新的主画面。
如上所述，由于子画面沿显示视频内容的主画面的上下方向提供各种视频图像，用户可以通过显示装置200来执行多任务处理。
此外，如图10B所示，控制器290可以控制显示器230，在被设置为主画面的第二画面1050的上下和左右方向上显示第一画面1040、第三画面1060、第四画面1070和第五画面1080。在这种情况下，控制器290可以在相对于第二画面1050的左右方向上布置的多个子画面1070和1080上显示从与第二画面1050不同的视频源接收的视频内容，并且在相对于第二画面1050的上下方向上布置的多个子画面1040和1060上提供附加服务，例如web浏览器或主画面上显示的内容的详细信息。
此外，虽然没有在显示屏上显示，控制器290可以在主画面的对角线方向上显示子画面。在这种情况下，沿对角线方向布置的子画面可以是被配置为改变显示装置200的设置的画面，或者是被配置为显示简易信息聚合(RSS)信息(例如天气预报和股票市场)的画面。此外，响应于在检测到沿向上方向的用户交互之后检测到沿向左方向的用户交互，控制器290可以移动到位于左上方的画面。
此外，响应于显示多个画面，控制器290可以在多个画面周围显示与播放的内容有关的详细信息。具体地，控制器290可以控制显示器230在第一到第三画面1110、1120和1130下方显示与当前画面上播放的视频内容有关的信息，如图11所示。在这种情况下，视频内容的信息可以是各种信息，例如视频内容的标题、视频内容的源(广播站)、视频内容的播放时间等等。
下文中将参照图12至图15更详细的描述示例实施例。
图12是示意性描述了根据示例实施例的显示装置100根据用户交互来控制多个画面的方法的流程图。
首先，显示装置100可以显示多个画面。具体地，显示装置100可以在显示屏的中心区域显示被设置为主画面的第二画面，并且在主画面的左侧和右侧显示梯形的第一和第三画面。在这种情况下，由于显示装置100在第二画面的左侧和右侧将梯形的第一和第三画面显示为具有不同的观看角度，用户可以获得好像他/她在三维空间中查看第一到第三画面的效果。此外，显示装置100可以仅输出被设置为主画面的第二画面的音频。
此外，显示装置100可以确定是否检测到用户交互(S1220)。在这种情况下，用户交互可以是有向用户交互(例如用户头部旋转、眼部移动、手势、以及指向设备)，以及被配置为直接选择画面的用户交互(例如遥控器的按钮选择和语音命令)。
响应于确定检测到用户交互(S1220-Y)，显示装置100可以根据用户交互来移动多个画面，并且改变多个画面中的至少一个画面的音频输出(S1230)。具体地，响应于作为有向用户动作的用户交互，显示装置100可以根据用户交互的方向来移动第一到第三画面。此外，响应于作为直接选择用户交互的用户交互，显示装置100可以用与用户交互相对应的画面定位在中心区域的方式来移动第一到第三画面。
此外，显示装置100可以根据用户交互将初始子画面设置为新的主画面。具体地，响应于作为有向用户交互的预设用户交互以及大于预设阈值的用户交互，控制器290可以将在显示屏具有根据用户交互而增大的比例的子画面显示为新的主画面。此外，用户交互是直接选择预设用户交互的用户交互，控制器290可以将与用户交互相对应的初始子画面设置为新的主画面。
响应于子画面变化为新的主画面，显示装置100可以移除初始主画面的音频，并且输出由用户设置为新的主画面的子画面的音频。
如上所述，由于用户根据用户交互来移动多个画面或设置新的主画面，用户可以在显示屏上显示的多条内容中更直观地选择用户希望观看的内容。
图13是用于描述根据示例实施例的根据用户头部旋转交互来控制多个画面的方法的流程图。
首先，显示装置200可以显示多个画面(S1310)。具体地，显示装置200可以在显示屏的中心区域中显示被设置为主画面的第二画面，并且在第二画面的左侧和右侧将梯形的第一和第二画面显示为具有不同的观看角度。此外，显示装置200可以仅输出作为主画面的第二画面的音频。
接下来，显示装置200可以确定是否检测到用户头部旋转(S1320)。在这种情况下，由于已经参照图16描述了检测用户头部旋转的方法，将省略其详细描述。
响应于检测到用户头部旋转(S1320-Y)，显示装置200可以根据用户的头部旋转的方向来移动多个画面(S1330)。具体地，响应于检测到沿向右方向的用户头部旋转，显示装置200可以通过向左侧移动多个画面来增大第三画面在显示屏上的比例。此外，当检测到沿向左方向的用户头部旋转时，显示装置200可以通过向右侧移动多个画面来增大第一画面在显示屏上的比例。在这种情况下，显示装置200可以根据检测到的用户头部的旋转角度来确定多个画面的移动量，并且实时移动多个画面。
接下来，显示装置200可以确定用户头部的旋转角度是否大于预设值(S1340)。
响应于用户头部的旋转角度小于预设值(S1340-N)，显示装置200可以根据用户头部的旋转方向来继续移动多个画面(S1330)。
然而，响应于用户头部的旋转角度大于预设值(S1340-Y)，显示装置200可以将在显示屏上的比例根据用户头部旋转方向增大的画面设置为新的主画面(S1350)。具体地，在用户头部沿向右方向移动的同时用户头部的旋转角度大于预设值，显示装置200可以将沿向左方向移动的第三画面设置为新的主画面。此外，在用户头部沿向左方向移动的同时用户头部的旋转角度大于预设值，显示装置200可以将沿向右方向移动的第一画面设置为新的主画面。响应于初始子画面变为新的主画面，显示装置200可以移除来自初始主画面的音频输出，并且输出变为新的主画面的子画面的音频。
如上所述，由于多个画面根据用户头部的移动来移动，用户可以在不需要任何附加输入设备的情况下更直观地控制多个画面。
图14是用于描述根据示例实施例的显示装置使用遥控器来控制多个画面的方法的流程图。
首先，显示装置200可以显示多个画面(S1410)。具体地，显示装置200可以在显示屏的中心区域中显示被设置为主画面的第二画面，并且在第二画面的左侧和右侧分别将梯形的第一和第三画面显示为具有不同的观看角度。此外，显示装置200可以仅输出被设置为主画面的第二画面的音频。
接下来，显示装置200可以确定是否选择了遥控器的预设按钮(S1420)。在这种情况下，遥控器可以具有与多个画面相对应的按钮。例如，响应于在显示屏上显示第一到第三画面，遥控器包括与第一画面相对应的第一按钮、与第二画面相对应的第二按钮、以及与第三画面相对应的第三按钮。在这种情况下，第一到第三按钮可以具有与第一到第三画面相同的形状。虽然在上述示例实施例中描述了遥控器50，但这仅仅是示例实施例，并且遥控器50可以在各种便携式设备中实现，例如智能电话和平板PC。
响应于选择了遥控器的预设按钮(S1420-Y)，显示装置200可以将与所选择的按钮相对应的画面移动到显示屏的中心区域，以将其设置为主画面(S1430)。具体地，响应于选择了遥控器的第一按钮，显示装置200可以将与第一按钮相对应的第一画面移动到显示屏的中心区域，并且将该第一画面设置为新的主画面。此外，响应于选择了遥控器的第三按钮，显示装置200可以将与第三按钮相对应的第三画面移动到显示屏的中心区域，并且将该第三画面设置为新的主画面。响应于初始子画面变为新的主画面，显示装置200可以移除来自初始主画面的音频输出，并且输出变为新的主画面的子画面的音频。
如上所述，由于用户使用遥控器的按钮直接选择用户希望观看的画面，用户可以在多个画面上显示的多条内容中更直观地选择用户希望观看的内容。
图15是用于描述根据另一个示例实施例的显示装置100通过用户交互来控制多个画面的方法的流程图。
首先，显示装置100可以显示多个画面(S1510)。在这种情况下，多个画面可以包括主画面和多个子画面。主画面是在显示屏上具有最大比例的画面，显示装置100可以输出在主画面中播放的内容的音频。
接下来，显示装置100可以确定是否检测到预设的用户交互(S1520)。在这种情况下，预设的用户交互可以是有向用户交互(例如用户头部旋转、眼部移动、手势、以及指向设备)，或者是用户直接选择画面的用户交互(例如按钮选择和语音命令)。
响应于检测到预设的用户交互(1520-Y)，显示装置100可以根据预设的用户交互来改变多个画面的位置和大小中的至少一项(S1530)。具体地，响应于作为有向用户交互的预设用户交互，显示装置100可以根据用户交互的方向将画面之一移动到中心区域，并且增大移动到中心区域的画面的大小。此外，响应于预设用户交互是用户直接选择画面的用户交互，显示装置100可以将与用户交互相对应的画面移动到中心区域，并增大移动到中心区域的画面的大小。
如上所述，通过根据用户交互来改变画面的位置和大小，用户可以通过单个显示屏来更直观并更愉快地控制多个画面。
虽然在上述示例实施例中实现了单个控制器，但这仅仅是示例实施例，并且控制器可以实现为多个控制器。如图17所示，控制器1740可以包括显示控制器1741和音频控制器1743。显示控制器1741可以控制显示器110的整体操作。具体地，显示控制器1741可以控制显示器110，根据通过用户界面130检测到的用户交互在显示屏上移动第一到第三画面的位置。音频控制器1743可以控制音频输出120的整体操作。具体地，音频控制器1743可以根据通过用户界面130检测的用户交互来改变第一到第三画面中的至少一项的音频输出。
被配置为执行根据各种示例实施例的控制方法的程序代码可以存储在非暂时性计算机可读存储介质中。非暂时性计算机可读介质可以不指代短时间存储数据的介质(例如寄存器、高速缓存、和存储器等)，而是半永久存储数据的介质以及由设备读取的介质。具体地，上述各种应用或程序可以提供为存储在非暂时性计算机可读介质中，例如CD、DVD、硬盘、Blu-ray discTM、USB、存储卡、以及ROM，并提供。
上述示例实施例和优点仅仅是示例性的，而并不应解释为限制性的。本教导也可以容易地应用于其它类型的装置。此外，对示例实施例的描述预期是说明性的，而不是要限制权利要求的范围，并且很多备选、修改和变化对于本领域技术人员来说将是清楚的。

Claims (13)

1.一种显示装置，所述装置包括：
显示器；
音频输出；以及
控制器，被配置为：控制所述显示器以在主画面上显示第一运动图像，在左子画面上显示第二运动图像，以及在右子画面上显示第三运动图像，以及控制所述音频输出以输出与在所述主画面上显示的第一运动图像相关联的音频，
其中，所述控制器还被配置为：响应于检测到用户交互，控制所述显示器以将所述第一运动图像从所述主画面移动到所述左子画面上以及将所述第三运动图像从所述右子画面移动到所述主画面上，以及控制所述音频输出以输出与在所述主画面上显示的第三运动图像相关联的音频，
其中，所述控制器还被配置为：控制所述音频输出，以响应于检测到所述用户交互而增大所述第一运动图像到所述第三运动图像中在所述显示器上具有增大比例的运动图像的音频输出。
2.根据权利要求1所述的装置，其中，所述显示器被配置为将所述第一运动图像到所述第三运动图像中的一个运动图像置于所述显示器的中心，
其中，所述第一运动图像到所述第三运动图像中的至少两个运动图像具有不同的观看角度。
3.根据权利要求2所述的装置，其中，所述控制器被配置为：通过检测所述用户的头部旋转来控制所述显示器，以响应于所述用户交互是用户头部旋转交互，根据检测到的用户的头部旋转的方向来移动所述第一运动图像到所述第三运动图像。
4.根据权利要求3所述的装置，其中，所述控制器被配置为：控制所述显示器，以响应于检测到所述用户的头部沿向右方向旋转，通过沿向左方向移动所述第一运动图像到所述第三运动图像来增大位于右子画面的所述第三运动图像在所述显示器上的比例，以及
响应于检测到所述用户的头部沿向左方向旋转，通过沿向右方向移动所述第一运动图像到所述第三运动图像来增大位于左子画面的所述第二运动图像在所述显示器上的比例。
5.根据权利要求4所述的装置，其中，所述控制器被配置为：执行控制操作，以根据检测到的所述用户的头部旋转角度来实时移动所述第一运动图像到所述第三运动图像。
6.根据权利要求5所述的装置，其中，所述控制器被配置为：响应于检测到在所述用户的头部沿向右方向移动的同时所述用户的头部旋转角度大于预定值，沿向左方向将所述第三运动图像移动到所述主画面，以及
响应于检测到在所述用户的头部沿向左方向移动的同时所述用户的头部旋转角度大于预定值，沿向右方向将所述第一运动图像移动到所述主画面。
7.根据权利要求1至6中任一项所述的装置，其中，所述控制器被配置为：控制所述音频输出，以仅输出所述左子画面、所述右子画面和所述主画面中占据所述显示器的最大比例的画面上显示的内容的音频。
8.根据权利要求7所述的装置，其中，所述控制器被配置为：响应于检测到所述用户的头部沿向右方向旋转，增大在所述第一运动图像到所述第三运动图像中位于右子画面的运动图像的音频输出，以及
响应于检测到所述用户的头部沿向左方向旋转，增大在所述第一运动图像到所述第三运动图像中位于左子画面的运动图像的音频输出。
9.根据权利要求7所述的装置，其中，所述控制器被配置为：控制所述音频输出，以增大在所述第一运动图像到所述第三运动图像中具有增大的显示器比例的运动图像的音频输出。
10.根据权利要求7所述的装置，其中，所述控制器被配置为：控制所述音频输出，以响应于检测到在所述用户的头部沿向右方向移动的同时所述用户的头部旋转角度大于预定值，将所述第一运动图像到所述第三运动图像中位于右子画面的运动图像移动到主画面，并且仅输出所述运动图像的音频；以及
所述控制器被配置为：响应于检测到在所述用户的头部沿向左方向移动的同时所述用户的头部旋转角度大于预定值，将所述第一运动图像到所述第三运动图像中位于左子画面的运动图像移动到主画面，并且仅输出所述运动图像的音频。
11.根据权利要求2所述的装置，其中，所述控制器被配置为：控制所述显示器，以在按压遥控器中的按钮之后，响应于所述用户交互是旋转遥控器的交互，沿所述显示器中心的方向移动所述第一运动图像到所述第三运动图像中与所述遥控器的旋转方向相对应的运动图像。
12.一种用于控制显示装置的方法，所述方法包括：
在显示器的主画面上显示第一运动图像、在左子画面上显示第二运动图像和在右子画面上显示第三运动图像；
输出与在所述主画面上显示的第一运动图像相关联的音频；
检测用户交互；
将所述第一运动图像从所述主画面移动到所述左子画面并将所述第三运动图像从所述右子画面移动到所述主画面；
输出与在所述主画面上显示的第三运动图像相关联的音频；以及
控制音频输出，以响应于检测到所述用户交互而增大所述第一运动图像到所述第三运动图像中具有增大的显示器比例的运动图像的音频输出。
13.根据权利要求12所述的方法，其中，所述显示包括：将所述第一运动图像到所述第三运动图像中的一个运动图像置于所述显示器的中心，并且显示所述第一运动图像到所述第三运动图像使得所述第一运动图像到所述第三运动图像中的至少两个运动图像具有不同的观看角度。
CN201480026411.6A 2013-05-10 2014-05-09 具有多个画面的显示装置及其控制方法 Active CN105230030B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2013-0053401 2013-05-10
KR1020130053401A KR101799294B1 (ko) 2013-05-10 2013-05-10 디스플레이 장치 및 이의 제어 방법
PCT/KR2014/004134 WO2014182109A1 (en) 2013-05-10 2014-05-09 Display apparatus with a plurality of screens and method of controlling the same

Publications (2)

Publication Number Publication Date
CN105230030A CN105230030A (zh) 2016-01-06
CN105230030B true CN105230030B (zh) 2019-03-29

Family

ID=51864415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480026411.6A Active CN105230030B (zh) 2013-05-10 2014-05-09 具有多个画面的显示装置及其控制方法

Country Status (6)

Country Link
US (1) US9619019B2 (zh)
EP (1) EP2995075B1 (zh)
JP (1) JP2016528574A (zh)
KR (1) KR101799294B1 (zh)
CN (1) CN105230030B (zh)
WO (1) WO2014182109A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170028001A (ko) * 2015-09-03 2017-03-13 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN105898370A (zh) * 2015-11-13 2016-08-24 乐视云计算有限公司 用于多机位的视频播放器、播放系统及播放方法
CN105872569A (zh) * 2015-11-27 2016-08-17 乐视云计算有限公司 视频播放方法、装置及系统
CN106970782A (zh) * 2016-01-14 2017-07-21 阿里巴巴集团控股有限公司 卡片式视图控件的交互处理方法及其装置
US10417021B2 (en) 2016-03-04 2019-09-17 Ricoh Company, Ltd. Interactive command assistant for an interactive whiteboard appliance
US10409550B2 (en) * 2016-03-04 2019-09-10 Ricoh Company, Ltd. Voice control of interactive whiteboard appliances
US11134312B2 (en) * 2017-12-14 2021-09-28 Google Llc Methods, systems, and media for presenting contextual information in connection with media content
GB2571106A (en) * 2018-02-16 2019-08-21 Sony Corp Image processing apparatuses and methods
CN110475122B (zh) * 2018-05-10 2021-10-08 腾讯科技（深圳）有限公司 用于直播视频流播放的方法及装置
US10491940B1 (en) * 2018-08-23 2019-11-26 Rovi Guides, Inc. Systems and methods for displaying multiple media assets for a plurality of users
CN109144393B (zh) 2018-08-28 2020-08-07 维沃移动通信有限公司 一种图像显示方法及移动终端
US10491857B1 (en) * 2018-11-07 2019-11-26 Nanning Fugui Precision Industrial Co., Ltd. Asymmetric video conferencing system and method
JP2019197554A (ja) * 2019-06-13 2019-11-14 株式会社コロプラ コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラム
CN112965773B (zh) * 2021-03-03 2024-05-28 闪耀现实(无锡)科技有限公司 用于信息显示的方法、装置、设备和存储介质
CN113361361B (zh) * 2021-05-31 2023-04-07 上海商汤临港智能科技有限公司 与乘员交互的方法及装置、车辆、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012081803A1 (ko) * 2010-12-14 2012-06-21 엘지전자 주식회사 영상표시기기의 애플리케이션 메뉴 제공 방법 및 그에 따른 영상표시기기
KR101180119B1 (ko) * 2012-02-23 2012-09-05 (주)올라웍스 카메라 모듈을 통해 사용자의 머리를 트래킹하여 화면을 제어하는 방법, 제어장치 및 컴퓨터 판독 가능한 기록 매체

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2672425B2 (ja) * 1991-11-01 1997-11-05 三菱電機株式会社 多重画面磁気記録再生装置
EP0695109B1 (en) * 1994-02-14 2011-07-27 Sony Corporation Device for reproducing video signal and audio signal
US6002403A (en) 1996-04-30 1999-12-14 Sony Corporation Graphical navigation control for selecting applications on visual walls
KR20010100342A (ko) 2000-05-01 2001-11-14 김종민 3차원 공간상에서 시간에 따라 환경을 변화시키는 방법 및시스템
JP3847638B2 (ja) 2002-02-27 2006-11-22 富士写真フイルム株式会社 動画用アイコン生成装置
US7059733B2 (en) * 2003-03-18 2006-06-13 Hitachi, Ltd. Display apparatus
KR100643276B1 (ko) 2004-08-07 2006-11-10 삼성전자주식회사 3차원 모션 그래픽 사용자 인터페이스 및 이를 제공하는방법 및 장치
TWI257251B (en) 2005-02-21 2006-06-21 Asustek Comp Inc Screen display method
US8115869B2 (en) 2007-02-28 2012-02-14 Samsung Electronics Co., Ltd. Method and system for extracting relevant information from content metadata
US8296684B2 (en) * 2008-05-23 2012-10-23 Hewlett-Packard Development Company, L.P. Navigating among activities in a computing device
KR101362314B1 (ko) 2007-01-03 2014-02-12 엘지전자 주식회사 입체 인터페이스를 이용한 이동통신 단말기의 동작방법
EP1944678B1 (en) * 2007-01-10 2018-07-18 Harman Becker Automotive Systems GmbH Calibration of head tracking systems
KR101358813B1 (ko) 2007-02-27 2014-02-06 삼성전자주식회사 정지화면 처리방법 및 이를 적용한 방송수신장치
CN101135945A (zh) * 2007-09-20 2008-03-05 苏勇 头控鼠标
US8195220B2 (en) 2008-02-01 2012-06-05 Lg Electronics Inc. User interface for mobile devices
US8423076B2 (en) 2008-02-01 2013-04-16 Lg Electronics Inc. User interface for a mobile device
KR20100010073A (ko) 2008-07-22 2010-02-01 엘지전자 주식회사 이동 단말기의 컨텐츠 재생 제어 및 편집 방법
KR101536777B1 (ko) 2009-01-06 2015-07-14 엘지전자 주식회사 디지털 방송 수신기 및 채널 브라우져
KR101590331B1 (ko) * 2009-01-20 2016-02-01 삼성전자 주식회사 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법
KR20100122432A (ko) 2009-05-12 2010-11-22 오의진 다면체를 이용한 입체 폴더 사용자 인터페이스 및 이를 적용한 사용자 단말기
KR100981200B1 (ko) * 2009-06-02 2010-09-14 엘지전자 주식회사 움직임 센서를 장착한 이동 단말기 및 제어 방법
US8320623B2 (en) * 2009-06-17 2012-11-27 Lc Technologies, Inc. Systems and methods for 3-D target location
KR101370320B1 (ko) 2009-07-30 2014-03-05 에스케이플래닛 주식회사 사용자 선택 지역에 의한 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기
KR20110038595A (ko) 2009-10-08 2011-04-14 주식회사 오 코스모스 다면체 아이콘으로 구성되는 메뉴 화면을 제공하는 장치 및 방법
KR20110054415A (ko) * 2009-11-17 2011-05-25 삼성전자주식회사 화면 표시 방법 및 장치
KR101657168B1 (ko) 2009-12-01 2016-09-19 삼성전자주식회사 사용자 위치 기반의 디스플레이 방법 및 장치
JP2012083484A (ja) * 2010-10-08 2012-04-26 Seiko Epson Corp 表示装置、表示装置の制御方法、及び、プログラム
KR20140044881A (ko) * 2011-08-05 2014-04-15 톰슨 라이센싱 비디오 피킹
US10182141B2 (en) * 2011-12-22 2019-01-15 Nokia Technologies Oy Apparatus and method for providing transitions between screens

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012081803A1 (ko) * 2010-12-14 2012-06-21 엘지전자 주식회사 영상표시기기의 애플리케이션 메뉴 제공 방법 및 그에 따른 영상표시기기
KR101180119B1 (ko) * 2012-02-23 2012-09-05 (주)올라웍스 카메라 모듈을 통해 사용자의 머리를 트래킹하여 화면을 제어하는 방법, 제어장치 및 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
US9619019B2 (en) 2017-04-11
EP2995075B1 (en) 2021-04-28
EP2995075A4 (en) 2016-12-07
KR20140133342A (ko) 2014-11-19
US20140333531A1 (en) 2014-11-13
EP2995075A1 (en) 2016-03-16
CN105230030A (zh) 2016-01-06
WO2014182109A1 (en) 2014-11-13
KR101799294B1 (ko) 2017-11-20
JP2016528574A (ja) 2016-09-15

Similar Documents

Publication Publication Date Title
CN105230030B (zh) 具有多个画面的显示装置及其控制方法
CN105872683B (zh) 图像显示设备和方法
US9247303B2 (en) Display apparatus and user interface screen providing method thereof
KR102354328B1 (ko) 영상 표시 장치 및 그 동작 방법
KR101768974B1 (ko) 디스플레이 장치 및 그제어 방법
US20150199109A1 (en) Display device and method for controlling the same
RU2658176C2 (ru) Устройство отображения для выполнения множества приложений и способ управления им
US20140337792A1 (en) Display apparatus and user interface screen providing method thereof
CN105230005A (zh) 显示装置及其控制方法
US20140337773A1 (en) Display apparatus and display method for displaying a polyhedral graphical user interface
KR102132390B1 (ko) 사용자 단말 장치 및 이의 디스플레이 방법
US10045066B2 (en) Display apparatus and display method
KR101803311B1 (ko) 디스플레이 장치 및 이의 ui 제공 방법
CN105191330A (zh) 显示装置及其图形用户界面屏幕提供方法
EP2743814A2 (en) Display apparatus and method of providing user interface thereof
KR20160019693A (ko) 사용자 단말 장치, 디스플레이 장치, 시스템 및 그 제어 방법
KR20140141046A (ko) 디스플레이 장치 및 그 제어 방법
KR20160060846A (ko) 디스플레이 장치 및 디스플레이 방법
CN106358079A (zh) 图像显示装置及操作该图像显示装置的方法
KR101713784B1 (ko) 전자 장치 및 그 제어 방법
CN105230031A (zh) 遥控设备、显示装置和用于控制遥控设备和显示装置的方法
CN105872681B (zh) 显示装置和显示方法
KR20140142071A (ko) 전자 기기 및 이의 문서 작성 방법
KR20160139376A (ko) 디스플레이 장치 및 이의 제어 방법
KR102224635B1 (ko) 영상표시장치의 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant