KR20190018914A - Server, display apparatus and control method thereof - Google Patents

Server, display apparatus and control method thereof Download PDF

Info

Publication number
KR20190018914A
KR20190018914A KR1020170103655A KR20170103655A KR20190018914A KR 20190018914 A KR20190018914 A KR 20190018914A KR 1020170103655 A KR1020170103655 A KR 1020170103655A KR 20170103655 A KR20170103655 A KR 20170103655A KR 20190018914 A KR20190018914 A KR 20190018914A
Authority
KR
South Korea
Prior art keywords
image
view
divided
server
divided image
Prior art date
Application number
KR1020170103655A
Other languages
Korean (ko)
Other versions
KR102336997B1 (en
Inventor
김보은
김성현
김용덕
이종인
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170103655A priority Critical patent/KR102336997B1/en
Priority to US16/638,585 priority patent/US11303871B2/en
Priority to EP18846089.3A priority patent/EP3648463A4/en
Priority to PCT/KR2018/008790 priority patent/WO2019035581A1/en
Publication of KR20190018914A publication Critical patent/KR20190018914A/en
Application granted granted Critical
Publication of KR102336997B1 publication Critical patent/KR102336997B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

According to the present invention, a server comprises: a communication unit for communicating with a plurality of display apparatuses; and a control unit for controlling the communication unit to generate a plurality of division images corresponding to an individual angle of view of each screen of the plurality of display apparatuses from each frame of a 360-degree image composed of a plurality of frames, to transmit the plurality of division images generated for each frame to the display apparatus, and to transmit a division image updated by corresponding to a change of the individual angle of view.

Description

서버, 디스플레이장치 및 그 제어방법 {SERVER, DISPLAY APPARATUS AND CONTROL METHOD THEREOF}[0001] DESCRIPTION [0002] SERVER, DISPLAY APPARATUS AND CONTROL METHOD THEREOF [0003]

본 발명은 서버, 디스플레이장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 다중 스크린에서 360도영상을 재생하기 위한 서버, 디스플레이장치 및 그 제어방법에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a server, a display device and a control method thereof, and more particularly, to a server, a display device and a control method thereof for reproducing 360-degree images on multiple screens.

최근 VR(Virtual Reality)에 대한 관심이 증대되고 다양한 개인용 촬영기기가 출시되면서, 방송이나 영화 등에서 360도 컨텐츠의 제작이 기하급수적으로 증가하고 있다. 이러한 360도 컨텐츠는 HMD (Head Mounted Display)뿐만 아니라, PC, TV, 스마트폰 등 여러 디바이스에서 감상이 가능하다. Recently, with the increasing interest in VR (Virtual Reality) and the introduction of various personal photography devices, the production of 360 degree content in broadcasting and movies has increased exponentially. These 360-degree contents can be viewed on various devices such as PC, TV, smart phone as well as HMD (Head Mounted Display).

360도 컨텐츠는 시청자에게 전 방향의 뷰(view)를 감상할 수 있는 경험을 제공한다. 특히, 다중 스크린을 이용하여 360도 컨텐츠를 감상하는 경우 넓은 화각으로 몰입감 있는 시청 경험을 제공할 수 있다. 360 degree content provides viewers with an experience to view omni-directional views. In particular, when viewing 360-degree contents using multiple screens, it is possible to provide an immersive viewing experience with a wide angle of view.

기존의 HMD에서는, 현재 사용자의 시점(viewpoint)에 따라 360도 영상의 일부를 전송 받아 재생하도록 한다. 그러나, 다중 스크린에서 360도 컨텐츠를 재생하기 위해서는, 각 스크린에 서로 다른 시점(view point)의 컨텐츠가 표시되어야 한다. In the existing HMD, a part of the 360 degree image is received and reproduced according to the current user viewpoint. However, in order to reproduce 360 degree content on multiple screens, the contents of different view points must be displayed on each screen.

또한, 한정된 네트워크 상태에서는, 다중 스크린을 이용하여 360도 영상을 고화질로 재생하는 데 제약이 따른다.Further, in a limited network state, there is a restriction in reproducing a 360-degree image at a high image quality using multiple screens.

따라서, 본 발명의 목적은, 다중 스크린에서 360도 영상을 재생하기 위한 서버, 디스플레이장치 및 그 제어방법을 제공하는 것이다.Accordingly, an object of the present invention is to provide a server, a display device, and a control method thereof for reproducing a 360-degree image on multiple screens.

본 발명의 또 다른 목적은, 다중 스크린에서 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상을 재생하기 위한 서버, 디스플레이장치 및 그 제어방법을 제공하는 것이다.It is still another object of the present invention to provide a server, a display device, and a control method thereof for reproducing a 360-degree image in response to a change of viewpoint and angle of view by user control in multiple screens.

또한, 본 발명의 또 다른 목적은, 한정된 네트워크 상태에서도 다중 스크린을 이용하여 360도영상을 고화질로 제공하기 위한 서버, 디스플레이장치 및 그 제어방법을 제공하는 것이다.It is still another object of the present invention to provide a server, a display device, and a control method thereof for providing 360-degree images in high quality using multiple screens even in a limited network state.

상기 목적은, 본 발명에 따라, 서버에 있어서, 복수의 디스플레이장치와 통신하는 통신부와; 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 복수의 디스플레이장치의 각 스크린의 개별화각에 대응하는 복수의 분할영상을 생성하고, 프레임별로 생성된 복수의 분할영상을 대응하는 디스플레이장치로 전송하고, 시점의 이동에 따른 개별화각의 변경에 대응하여 업데이트된 분할영상을 전송하도록 통신부를 제어하는 제어부를 포함하는 서버에 의해 달성될 수 있다. The above object is achieved by a server according to the present invention, comprising: a communication unit for communicating with a plurality of display devices; A plurality of divided images corresponding to the individual view angles of the respective screens of the plurality of display devices are generated from each frame of 360 frames constituted by a plurality of frames and a plurality of divided images generated for each frame are transmitted to the corresponding display device, And a control unit for controlling the communication unit to transmit the updated divided image in response to the change of the individual view angle according to the movement of the display unit.

이와 같은 본 발명의 실시예에 따라, 다중 스크린에서 360도 영상을 재생 가능하도록 한다. 또한, 다중 스크린에 대해 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상의 스트림을 제공할 수 있다. According to the embodiment of the present invention, a 360-degree image can be reproduced from multiple screens. In addition, a stream of a 360-degree image can be provided in response to a change of a viewpoint and an angle of view by user control on multiple screens.

상기 제어부는, 상기 복수의 디스플레이장치 중 적어도 하나로부터 상기 개별화각에 기초하여 해당 스크린에 표시된 프로젝션 영상이 상기 대응하는 분할영상의 경계영역을 초과하여 표시하는지 여부에 관한 정보를 수신하고, 상기 수신된 정보에 기초하여 상기 분할영상을 업데이트할 수 있다. 이에 따라, 사용자컨트롤에 의한 시점 및 화각 변경에 따라 분할영상의 경계 범위를 초과하여 영상이 표시되면, 해당 스크린으로 업데이트된 분할영상을 제공하도록 한다. Wherein the control unit receives from the at least one of the plurality of display devices information on whether or not a projection image displayed on the screen based on the individual view angle exceeds a boundary area of the corresponding divided image, And update the segmented image based on the information. Accordingly, when the image is displayed beyond the boundary range of the divided images according to the viewpoint and the angle of view change by the user control, the updated divided images are provided to the corresponding screen.

상기 제어부는, 상기 복수의 디스플레이장치 중 각 스크린에 표시되는 프로젝션 영상이 해당 분할영상의 경계영역을 초과하여 표시되는 순서에 기초하여, 상기 복수의 디스플레이장치 각각으로 업데이트된 분할영상을 전송할 수 있다. 이에 따라, 사용자컨트롤에 따라 시점 및 화각이 먼저 변경되는 스크린에 대해 우선적으로 업데이트된 분할영상을 제공할 수 있다. The control unit may transmit the updated divided images to each of the plurality of display apparatuses based on the order in which the projection images displayed on each screen of the plurality of display apparatuses are displayed beyond the boundary area of the divided images. Accordingly, it is possible to provide a divided image which is preferentially updated with respect to the screen in which the viewpoint and the view angle are changed first according to the user control.

상기 제어부는, 상기 복수의 디스플레이장치 각각으로 상기 360도영상의 각 프레임에 대한 레이아웃 정보를 전송하고, 상기 전송된 레이아웃 정보에 기초하여 분할영상을 전송할 수 있다. 여기서, 상기 레이아웃 정보는, 360도영상의 해당 프레임 중 복수의 스크린 각각에 대응하는 분할영상의 위치 및 크기에 관한 정보를 포함할 수 있다. 이에 따라, 서버에 대해 다중 스크린이 직렬로 연결되는 경우 레이아웃 정보를 이용하여 각 스크린으로 360도 영상의 분할영상을 제공할 수 있다. The control unit may transmit the layout information for each frame on the 360-degree display to each of the plurality of display devices, and may transmit the divided image based on the transmitted layout information. Here, the layout information may include information on the position and size of the divided images corresponding to the plurality of screens of the corresponding frames on the 360-degree screen. Accordingly, when multiple screens are connected to the server in series, it is possible to provide a 360-degree divided image on each screen using layout information.

상기 제어부는, 상기 각 스크린의 개별화각, 네트워크 상태, 송수신 주기 및 대역폭 중 적어도 하나에 기초하여 상기 디스플레이장치로 전송되는 분할영상의 데이터량을 결정할 수 있다. 이에 따라, 한정된 네트워크 상태에서도 다중 스크린을 이용하여 360동영상을 고화질로 제공할 수 있다. The control unit may determine an amount of data of the divided image transmitted to the display device based on at least one of the individual view angle, the network status, the transmission / reception period, and the bandwidth of each screen. Accordingly, even in a limited network state, 360 videos can be provided in high quality using multiple screens.

상기 목적은, 본 발명에 따라, 컴퓨터프로그램제품에 있어서, 인스트럭션이 저장된 메모리와; 프로세서를 포함하고, 인스트럭션은, 프로세서에 의해 실행되면, 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 복수의 디스플레이장치의 각 스크린의 개별화각에 대응하는 복수의 분할영상을 생성하고, 프레임별로 생성된 복수의 분할영상을 대응하는 디스플레이장치로 전송하고, 개별화각의 변경에 대응하여 업데이트된 분할영상을 전송하는 것을 포함하는 컴퓨터프로그램제품에 의해서도 달성될 수 있다. This object is achieved according to the present invention by a computer program product comprising: a memory in which instructions are stored; Wherein the instructions generate a plurality of divided images corresponding to individual angles of view of each screen of the plurality of display devices from each frame of 360 frames composed of a plurality of frames, Transmitting the plurality of divided images to the corresponding display device, and transmitting the updated divided images corresponding to the change of the individual view angle.

상기 인스트럭션은, 상기 복수의 디스플레이장치 중 적어도 하나로부터 상기 개별화각에 기초하여 해당 스크린에 표시된 프로젝션 영상이 상기 대응하는 분할영상의 경계영역을 초과하여 표시하는지 여부에 관한 정보를 수신하고, 상기 수신된 정보에 기초하여 상기 분할영상을 업데이트하는 것을 포함할 수 있다.Wherein the instruction receives from the at least one of the plurality of display devices information on whether a projection image displayed on the screen based on the individual angle of view exceeds a boundary area of the corresponding divided image, And updating the segmented image based on the information.

상기 목적은, 본 발명에 따라, 디스플레이장치에 있어서, 영상신호를 처리하는 영상처리부와; 디스플레이부와; 서버와 통신하는 통신부와; 사용자입력에 따른 시점에 기초하여 복수의 스크린 중 디스플레이장치에 대응하는 스크린의 개별화각을 결정하고, 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 결정된 개별화각에 대응하여 얻어진 분할영상을 서버로부터 수신하고, 수신된 분할영상을 입체에 매핑하고, 매핑된 분할영상으로부터 개별화각에 대응하는 프로젝션 영상을 생성하여 디스플레이부에 표시하도록 영상처리부를 제어하는 제어부를 포함하는 디스플레이장치에 의해서도 달성될 수 있다. According to an aspect of the present invention, there is provided a display apparatus comprising: an image processing unit for processing a video signal; A display unit; A communication unit for communicating with a server; The individual view angles of the screens corresponding to the display apparatuses are determined based on the viewpoints in accordance with the user input, and the divided images obtained corresponding to the individual view angles determined from the respective frames on the 360-degree frame composed of the plurality of frames are received from the server And a controller for mapping the received divided images to a three-dimensional object, generating a projection image corresponding to the individual angle of view from the mapped divided images, and controlling the image processing unit to display the projection image on the display unit.

이와 같은 본 발명의 실시예에 따라, 다중 스크린에서 360도 영상을 재생 가능하도록 한다. 또한, 다중 스크린에서 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상을 재생할 수 있다. According to the embodiment of the present invention, a 360-degree image can be reproduced from multiple screens. Further, a 360-degree image can be reproduced in response to a change of viewpoint and angle of view by user control on multiple screens.

상기 제어부는, 상기 결정된 개별화각에 관한 정보를 상기 서버로 전송하고, 상기 전송된 개별화각에 관한 정보에 기초하여 생성된 상기 분할영상을 상기 서버로부터 수신할 수 있다. 이에 따라, 스크린의 시점 및 화각 정보를 서버로 제공하여, 360도영상 중 각 스크린에 대응하는 분할영상을 제공받을 수 있다. The control unit may transmit the information about the determined individual angle of view to the server and receive the divided images generated based on the transmitted information about the individual angle of view from the server. Accordingly, the viewpoint and the view angle information of the screen are provided to the server, and the divided images corresponding to the respective screens of the 360-degree images can be provided.

상기 디스플레이장치는 사용자입력을 수신하는 입력수신부를 더 포함할 수 있고, 상기 제어부는, 상기 수신되는 사용자입력에 따라 상기 개별화각이 변경되는 경우, 상기 서버로부터 상기 개별화각의 변경에 대응하여 업데이트된 분할영상을 수신할 수 있다. 이에 따라, 사용자컨트롤에 따라 변경된 스크린의 시점 및 화각 정보를 서버로 제공하여, 업데이트된 분할영상을 제공받을 수 있다. The display apparatus may further include an input receiving unit for receiving a user input, and the control unit may further include an updating unit for updating, when the individual angle of view is changed according to the received user input, A divided image can be received. Accordingly, the viewpoint and the view angle information of the screen changed according to the user control can be provided to the server, and the updated divided image can be provided.

상기 제어부는, 상기 수신된 분할영상을 상기 개별화각에 기초하여 구 형상에 매핑하도록 상기 영상처리부를 제어할 수 있다. 이에 따라, 360도영상의 재생을 위해, 서버로부터 수신한 분할영상을 해당 스크린의 시점에 대응하는 구(Sphere)의 영역에 매핑하도록 한다. The control unit may control the image processing unit to map the received divided image to a sphere shape based on the individual angle of view. Accordingly, in order to reproduce the image of 360 degrees, a divided image received from the server is mapped to an area of a sphere corresponding to a viewpoint of the corresponding screen.

상기 제어부는, 상기 수신된 분할영상 내부에 경계영역을 설정하고, 상기 프로젝션 영상이 상기 분할영상의 경계영역을 초과하여 표시되는 경우, 상기 서버로부터 업데이트된 분할영상을 수신하여 표시할 수 있다. 이에 따라, 사용자컨트롤에 의한 시점 및 화각 변경에 따라 분할영상의 경계 범위를 초과하여 영상이 표시되면, 업데이트된 분할영상을 제공받도록 한다. The control unit sets a boundary area within the received divided image and displays the updated divided image from the server when the projection image is displayed beyond the boundary area of the divided image. Accordingly, when an image is displayed beyond the boundary range of the divided images according to the viewpoint and the angle of view change by the user control, the updated divided images are provided.

상기 제어부는, 상기 복수의 스크린 중 상기 디스플레이장치의 스크린에 표시되는 프로젝션 영상이 해당 분할영상의 경계영역을 초과하여 표시되는 순서에 기초하여, 상기 서버로 상기 해당 분할영상의 업데이트를 요청할 수 있다. 이에 따라, 사용자컨트롤에 따라 시점 및 화각이 먼저 변경되는 스크린의 경우 우선적으로 업데이트된 분할영상을 요청할 수 있다. The control unit may request the server to update the corresponding divided image based on the order in which the projection image displayed on the screen of the display device among the plurality of screens exceeds the boundary area of the divided image. Accordingly, in the case of a screen in which the viewpoint and the angle of view are changed first according to the user control, it is possible to request a divided image which is updated first.

상기 제어부는, 상기 서버로부터 상기 360도영상의 각 프레임에 대한 레이아웃 정보를 수신하고, 상기 수신된 레이아웃 정보에 기초하여 분할영상을 수신할 수 있다. 여기서, 상기 레이아웃 정보는, 360도영상의 해당 프레임 중 복수의 스크린 각각에 대응하는 분할영상의 위치 및 크기에 관한 정보를 포함할 수 있다. 이에 따라, 서버에 대해 다중 스크린이 직렬로 연결되는 경우 각 스크린은 레이아웃 정보를 이용하여 360도 영상의 분할영상을 제공받을 수 있다. The control unit may receive layout information for each frame on the 360-degree drawing from the server, and may receive a divided image based on the received layout information. Here, the layout information may include information on the position and size of the divided images corresponding to the plurality of screens of the corresponding frames on the 360-degree screen. Accordingly, when multiple screens are connected to the server in series, each screen can receive a divided image of a 360-degree image using layout information.

상기 목적은, 본 발명에 따라, 컴퓨터프로그램제품에 있어서, 인스트럭션이 저장된 메모리와; 프로세서를 포함하고, 인스트럭션은, 프로세서에 의해 실행되면, 사용자입력에 따른 시점에 기초하여 복수의 스크린 중 디스플레이장치에 대응하는 스크린의 개별화각을 결정하고, 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 결정된 개별화각에 대응하여 얻어진 분할영상을 서버로부터 수신하고, 수신된 분할영상을 입체에 매핑하고, 매핑된 분할영상으로부터 개별화각에 대응하는 프로젝션 영상을 생성하여 표시하는 것을 포함하는 컴퓨터프로그램제품에 의해서도 달성될 수 있다. This object is achieved according to the present invention by a computer program product comprising: a memory in which instructions are stored; And wherein the instructions, when executed by the processor, determine a respective angle of view of the screen corresponding to the display device of the plurality of screens based on the time point in accordance with the user input, and determine, from each frame on the 360- Receiving a divided image obtained corresponding to the determined individual angle of view from a server, mapping the received divided image to a three-dimensional object, and generating and displaying a projection image corresponding to the individual angle of view from the mapped divided image Can be achieved.

상기 목적은, 본 발명에 따라, 서버의 제어방법에 있어서, 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 복수의 디스플레이장치의 각 스크린의 개별화각에 대응하는 복수의 분할영상을 생성하는 단계와; 프레임별로 생성된 복수의 분할영상을 대응하는 디스플레이장치로 전송하는 단계와; 시점의 이동에 따른 개별화각의 변경에 대응하여 업데이트된 분할영상을 전송하는 단계를 포함하는 서버의 제어방법에 의해서도 달성될 수 있다. According to the present invention, there is provided a control method of a server, comprising: generating a plurality of divided images corresponding to individual view angles of respective screens of a plurality of display devices from each frame of 360 frames constituted of a plurality of frames; Transmitting a plurality of divided images generated for each frame to a corresponding display device; And transmitting the updated divided image corresponding to the change of the individual view angle according to the movement of the viewpoint.

이와 같은 본 발명의 실시예에 따라, 다중 스크린에서 360도 영상을 재생 가능하도록 한다. 또한, 다중 스크린에 대해 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상의 스트림을 제공할 수 있다. According to the embodiment of the present invention, a 360-degree image can be reproduced from multiple screens. In addition, a stream of a 360-degree image can be provided in response to a change of a viewpoint and an angle of view by user control on multiple screens.

상기 업데이트된 분할영상을 전송하는 단계는, 상기 복수의 디스플레이장치 중 적어도 하나로부터 상기 개별화각에 기초하여 해당 스크린에 표시된 프로젝션 영상이 상기 대응하는 분할영상의 경계영역을 초과하여 표시하는지 여부에 관한 정보를 수신하는 단계와; 상기 수신된 정보에 기초하여 상기 분할영상을 업데이트하는 단계를 포함할 수 있다. 이에 따라, 사용자컨트롤에 의한 시점 및 화각 변경에 따라 분할영상의 경계 범위를 초과하여 영상이 표시되면, 해당 스크린으로 업데이트된 분할영상을 제공하도록 한다.The transmitting of the updated divided images may include receiving information about whether a projection image displayed on the screen based on the individual angle of view from at least one of the plurality of display devices exceeds a boundary area of the corresponding divided image ; ≪ / RTI > And updating the divided image based on the received information. Accordingly, when the image is displayed beyond the boundary range of the divided images according to the viewpoint and the angle of view change by the user control, the updated divided images are provided to the corresponding screen.

상기 업데이트된 분할영상을 전송하는 단계는, 상기 복수의 디스플레이장치 중 각 스크린에 표시되는 프로젝션 영상이 해당 분할영상의 경계영역을 초과하여 표시되는 순서에 기초하여, 상기 복수의 디스플레이장치 각각으로 업데이트된 분할영상을 전송하는 단계를 포함할 수 있다. 이에 따라, 사용자컨트롤에 따라 시점 및 화각이 먼저 변경되는 스크린에 대해 우선적으로 업데이트된 분할영상을 제공할 수 있다. Wherein the step of transmitting the updated divided images comprises the step of updating each of the plurality of display devices based on an order in which projection images displayed on each screen of the plurality of display devices are displayed in a manner exceeding a boundary area of the divided images And transmitting the segmented image. Accordingly, it is possible to provide a divided image which is preferentially updated with respect to the screen in which the viewpoint and the view angle are changed first according to the user control.

상기 방법은, 상기 복수의 디스플레이장치 각각으로 상기 360도영상의 각 프레임에 대한 레이아웃 정보를 전송하는 단계와; 상기 전송된 레이아웃 정보에 기초하여 분할영상을 전송하는 단계를 포함할 수 있다. 여기서, 상기 레이아웃 정보는, 360도영상의 해당 프레임 중 복수의 스크린 각각에 대응하는 분할영상의 위치 및 크기에 관한 정보를 포함할 수 있다. 이에 따라, 서버에 대해 다중 스크린이 직렬로 연결되는 경우 레이아웃 정보를 이용하여 각 스크린으로 360도 영상의 분할영상을 제공할 수 있다. The method comprising the steps of: transmitting layout information for each frame on the 360 frames to each of the plurality of display devices; And transmitting the divided image based on the transmitted layout information. Here, the layout information may include information on the position and size of the divided images corresponding to the plurality of screens of the corresponding frames on the 360-degree screen. Accordingly, when multiple screens are connected to the server in series, it is possible to provide a 360-degree divided image on each screen using layout information.

상기 목적은, 본 발명에 따라, 디스플레이장치의 제어방법에 있어서, 사용자입력에 따른 시점에 기초하여 복수의 스크린 중 디스플레이장치에 대응하는 스크린의 개별화각을 결정하는 단계와; 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 결정된 개별화각에 대응하여 얻어진 분할영상을 서버로부터 수신하는 단계와; 수신된 분할영상을 입체에 매핑하는 단계와; 매핑된 분할영상으로부터 개별화각에 대응하는 프로젝션 영상을 생성하여 표시하는 단계를 포함하는 디스플레이장치의 제어방법에 의해서도 달성될 수 있다. According to another aspect of the present invention, there is provided a control method of a display device, the method comprising: determining a respective angle of view of a screen corresponding to a display device among a plurality of screens based on a time point corresponding to a user input; Receiving a divided image obtained from the server corresponding to an individual angle of view determined from each frame on a 360-degree frame composed of a plurality of frames; Mapping the received divided image to a solid; And generating and displaying a projection image corresponding to the individual angle of view from the mapped divided images.

이와 같은 본 발명의 실시예에 따라, 다중 스크린에서 360도 영상을 재생 가능하도록 한다. 또한, 다중 스크린에서 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상을 재생할 수 있다. According to the embodiment of the present invention, a 360-degree image can be reproduced from multiple screens. Further, a 360-degree image can be reproduced in response to a change of viewpoint and angle of view by user control on multiple screens.

상기 방법은, 사용자입력을 수신하는 단계와; 상기 수신되는 사용자입력에 따라 상기 개별화각이 변경되는 경우, 상기 서버로부터 상기 개별화각의 변경에 대응하여 업데이트된 분할영상을 수신하는 단계를 포함할 수 있다. 이에 따라, 사용자컨트롤에 따라 변경된 스크린의 시점 및 화각 정보를 서버로 제공하여, 업데이트된 분할영상을 제공받을 수 있다.The method includes receiving a user input; And receiving an updated divided image corresponding to the change of the individual angle of view from the server when the individual angle of view is changed according to the received user input. Accordingly, the viewpoint and the view angle information of the screen changed according to the user control can be provided to the server, and the updated divided image can be provided.

상기 입체에 매핑하는 단계는, 상기 수신된 분할영상을 상기 개별화각에 기초하여 구 형상에 매핑하는 단계를 포함할 수 있다. 이에 따라, 360도영상의 재생을 위해, 서버로부터 수신한 분할영상을 해당 스크린의 시점에 대응하는 구(Sphere)의 영역에 매핑하도록 한다. The step of mapping to the solid may include mapping the received divided image to a sphere shape based on the individual angle of view. Accordingly, in order to reproduce the image of 360 degrees, a divided image received from the server is mapped to an area of a sphere corresponding to a viewpoint of the corresponding screen.

상기 방법은, 상기 수신된 분할영상 내부에 경계영역을 설정하는 단계와; 상기 프로젝션 영상이 상기 분할영상의 경계영역을 초과하여 표시되는 경우, 상기 서버로부터 업데이트된 분할영상을 수신하여 표시하는 단계를 포함할 수 있다. 이에 따라, 사용자컨트롤에 의한 시점 및 화각 변경에 따라 분할영상의 경계 범위를 초과하여 영상이 표시되면, 업데이트된 분할영상을 제공받도록 한다.The method includes: setting a border area within the received divided image; And receiving and displaying the updated divided image from the server when the projection image is displayed beyond the boundary area of the divided image. Accordingly, when an image is displayed beyond the boundary range of the divided images according to the viewpoint and the angle of view change by the user control, the updated divided images are provided.

상기한 바와 같이, 본 발명에 의하면, 다중 스크린에서 360도 영상을 재생 가능하도록 하는 효과가 있다. 또한, 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상을 제공 가능하다. As described above, according to the present invention, it is possible to reproduce a 360-degree image on multiple screens. In addition, a 360-degree image can be provided in response to a change in viewpoint and angle of view by user control.

또한, 본 발명에 의하면, 한정된 네트워크 상태에서도 다중 스크린을 이용하여 360도영상을 고화질로 제공하는 효과가 있다.In addition, according to the present invention, there is an effect that a 360-degree screen image can be provided at a high image quality by using multiple screens even in a limited network state.

도 1은 본 발명의 일실시예에 따른 서버 및 복수의 디스플레이장치 간 구성을 도시한 예이다.
도 2는 본 발명의 일실시예에 따른 다중 스크린에 360도영상을 프로젝션하는 예를 도시한 것이다.
도 3은 본 발명의 일실시예에 따른 360도영상으로부터 각 스크린에 대응하는 분할영상을 생성하는 예를 도시한 것이다.
도 4는 본 발명의 일실시예에 따른 각 스크린에 대응하는 분할영상을 구에 매핑하는 예를 도시한 것이다.
도 5는 본 발명의 일실시예에 따른 서버의 구성을 도시한 블록도이다.
도 6은 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다.
도 7은 본 발명의 일실시예에 따른 서버 및 디스플레이장치 간 동작의 흐름도이다.
도 8은 본 발명의 일실시예에 따른 서버 및 복수의 디스플레이장치 간 구성을 도시한 예이다.
도 9는 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다.
도 10은 본 발명의 일실시예에 따른 디스플레이장치로 제공되는 분할영상의 예를 도시한 것이다.
도 11은 본 발명의 일실시예에 따른 프로젝션 영상이 분할영상의 범위를 초과하여 표시되는 경우를 도시한 예이다.
도 12는 본 발명의 일실시예에 따른 분할영상의 업데이트 시점을 도시한 예이다.
도 13은 본 발명의 일실시예에 따른 분할영상의 업데이트 시점을 도시한 예이다.
도 14는 본 발명의 일실시예에 따른 사용자컨트롤에 의한 화각의 변경에 대응하여 분할영상을 업데이트하는 예를 도시한 것이다.
도 15는 본 발명의 일실시예에 따른 사용자컨트롤에 따라 프로젝션 영상이 표시되는 예를 도시한 것이다.
도 16은 본 발명의 일실시예에 따른 서버 및 다중 스크린 간 동작의 흐름도이다.FIG. 1 is a diagram illustrating a configuration between a server and a plurality of display devices according to an embodiment of the present invention.
FIG. 2 illustrates an example of projecting a 360-degree image onto multiple screens according to an embodiment of the present invention.
FIG. 3 shows an example of generating a divided image corresponding to each screen from a 360-degree panoramic image according to an embodiment of the present invention.
FIG. 4 illustrates an example of mapping divided images corresponding to each screen to a sphere according to an embodiment of the present invention.
5 is a block diagram showing the configuration of a server according to an embodiment of the present invention.
6 is a block diagram showing the configuration of a display device according to an embodiment of the present invention.
7 is a flowchart of operations between a server and a display apparatus according to an embodiment of the present invention.
FIG. 8 illustrates an example of a configuration between a server and a plurality of display devices according to an embodiment of the present invention.
9 is a block diagram showing the configuration of a display device according to an embodiment of the present invention.
FIG. 10 illustrates an example of a divided image provided to a display device according to an embodiment of the present invention.
FIG. 11 is a diagram illustrating a case where a projection image according to an exemplary embodiment of the present invention is displayed in excess of a range of divided images.
FIG. 12 is an example showing the update time of a divided image according to an embodiment of the present invention.
FIG. 13 shows an example of updating the divided image according to an embodiment of the present invention.
FIG. 14 illustrates an example of updating a divided image in response to a change in angle of view by user control according to an embodiment of the present invention.
FIG. 15 illustrates an example in which a projection image is displayed according to user control according to an embodiment of the present invention.
16 is a flow diagram of a server and multi-screen operation in accordance with one embodiment of the present invention.

이하, 첨부도면을 참조하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may be embodied in many different forms and is not limited to the embodiments described herein.

도 1은 본 발명의 일실시예에 따른 서버 및 복수의 디스플레이장치 간의 구성을 도시한 예이다. 도 1에 도시된 바와 같이, 서버(10)는 스플리터(Splitter)(37)와 연결되고, 복수의 디스플레이장치(20, 30, 31, 32, 33, 34)는 스플리터(37)를 통해 병렬적으로 연결된다. 서버(10)는 LAN 또는 무선 통신방식을 이용하여 스플리터(37)와 통신하고, 상호간 360도영상(도 3의 부호 950 참조)의 컨텐츠 및 정보를 송수신한다. 여기서, 360도영상(950)는 둘 이상의 렌즈를 이용하여 각각 촬영된 둘 이상의 영상을 스티칭(Stitching) 방식으로 이어 붙여 제작한 것으로, 모든 방향에서 시청 가능하다. 1 is a diagram illustrating a configuration between a server and a plurality of display devices according to an embodiment of the present invention. 1, the server 10 is connected to a splitter 37, and the plurality of display devices 20, 30, 31, 32, 33, and 34 are connected in parallel through a splitter 37 Lt; / RTI > The server 10 communicates with the splitter 37 using a LAN or wireless communication method and transmits and receives contents and information of 360 shots (refer to reference numeral 950 in Fig. 3) to each other. Here, the 360-degree projection image 950 is produced by stitching two or more images photographed using two or more lenses, and is viewable in all directions.

스플리터(37)는 복수의 디스플레이장치(20, 30, 31, 32, 33, 34) 각각과 HDMI(High-Definition Multimedia Interface) 또는 DVI(Digital Visual Interface)를 통해 연결된다. The splitter 37 is connected to each of the plurality of display devices 20, 30, 31, 32, 33 and 34 through a high-definition multimedia interface (HDMI) or a digital visual interface (DVI).

스플리터(37)는 서버(10)로부터 360도영상(950)의 각 프레임으로부터 생성된 복수의 분할영상(도 3의 부호 91, 92,... 참조)을 수신하고, 수신된 복수의 분할영상(91, 92, ...)을 대응하는 디스플레이장치(20, 30, 31, 32, 33, 34) 각각으로 분배하여 전송한다. The splitter 37 receives a plurality of divided images (refer to reference numerals 91, 92, ... in FIG. 3) generated from each frame of the 360-degree image 950 from the server 10, 30, 31, 32, 33, and 34 to the corresponding display devices 20, 30, 31, 32, 33, and 34, respectively.

다른 경우에 있어, 스플리터(37)는 360도영상(950)을 저장하고 있는 USB 장치(381)과 연결될 수도 있다. 이 때, 스플리터(37)는 USB 장치(381)에 저장되어 있는 360도영상(950)을 수신하고, 360도영상(950)의 각 프레임으로부터 복수의 디스플레이장치(20, 30, 31, 32, 33, 34) 각각에 대응하는 복수의 분할영상(91, 92, ...)을 생성하는 프로세스를 수행하고, 생성된 분할영상(91, 92, ...)을 대응하는 디스플레이장치(20, 30, 31, 32, 33, 34)로 분배하여 전송할 수 있다. In other cases, the splitter 37 may be coupled to a USB device 381 that stores 360 shaded images 950. At this time, the splitter 37 receives the 360-dots image 950 stored in the USB device 381 and acquires a plurality of display devices 20, 30, 31, 32, ... and the generated divided images 91, 92, ... are displayed on the corresponding display devices 20, 30, 31, 32, 33, 34).

이 외에도 스플리터(37)는 블루레이 디스크(382), PS3(383) 및 랩탑 컴퓨터(384) 등의 장치와 연결되어, 각 장치에 저장된 360도영상(950) 혹은 기 처리된 복수의 분할영상(91, 92, ...)을 제공받아 대응하는 디스플레이장치(20, 30, 31, 32, 33, 34)로 분배하여 전송할 수 있다. In addition, the splitter 37 is connected to devices such as a Blu-ray disc 382, a PS3 383, and a laptop computer 384, and is capable of displaying 360 images 950 or pre- 31, 32, 33, and 34, and transmit them to the corresponding display devices 20, 30, 31, 32, 33,

도 2는 본 발명의 일실시예에 따른 다중 스크린에 360도영상을 프로젝션하는 예를 도시한 것이다. 도 2에 도시된 바와 같이, 다중 스크린(81, 82, 83,...)에서 360도영상(950)을 재생하기 위해, 각 스크린의 시점(813, 823, 833,...)에 대응하는 프로젝션 중심점(812, 822, 832, ...)을 기준으로 프로젝션 영상(811, 821, 831,...)을 생성하고, 이를 스크린(81, 82, 83, ...)에 표시한다. 이 때, 각 스크린의 시점(813, 823, 833,...) 및 화각은 각 스크린(81, 82, 83,...) 사이의 거리 및 스크린(81, 82, 83,...)의 크기를 이용하여 결정된다. FIG. 2 illustrates an example of projecting a 360-degree image onto multiple screens according to an embodiment of the present invention. Corresponding to the viewpoints 813, 823, 833, ... of the respective screens in order to reproduce the 360-degree screen image 950 in the multiple screens 81, 82, 83, The projection images 811, 821, 831, ... are generated based on the projection center points 812, 822, 832, ... and displayed on the screens 81, 82, 83, . At this time, the viewpoints 813, 823, 833, ... of the respective screens and the angle of view are set such that the distances between the screens 81, 82, 83, As shown in FIG.

여기서, 스크린(81, 82, 83,...)에 표시되는 프로젝션 영상(811, 821, 831, ...)은 각 스크린(81, 82, 83,...)의 화각, 스크린의 시점(813, 823, 833,...) 및 다양한 프로젝션(projection) 방법 등을 이용하여 생성된다. Here, the projection images 811, 821, 831, ... displayed on the screens 81, 82, 83, ... indicate the angle of view of each of the screens 81, 82, 83, (813, 823, 833, ...) and various projection methods.

예로서, 도 15에 도시된 바와 같이, 화각이 큰 경우 360도영상(950) 의 넓은 영역에 해당하는 프로젝션 영상(901)을 생성하고, 화각이 작은 경우 360도영상(950)의 좁은 영역에 해당하는 프로젝션 영상(902)을 생성할 수 있다. For example, as shown in FIG. 15, when the angle of view is large, a projection image 901 corresponding to a wide area of the 360-degree image 950 is generated. When the angle of view is small, The corresponding projection image 902 can be generated.

또한, 프로젝션 방법이 직선 투영법(rectilinear projection)인 경우, 구면의 일부분을 평면 이미지에 매핑하는 방식으로 프로젝션 영상(903)을 생성할 수 있다. In addition, when the projection method is a rectilinear projection, the projection image 903 can be generated in such a manner that a part of the spherical surface is mapped to a planar image.

프로젝션 방법이 입체 투영법(stereographic projection)인 경우, 구 전체를 평면에 투사하는 방식으로 프로젝션 영상(904)를 생성할 수 있다. When the projection method is a stereographic projection, the projection image 904 can be generated by projecting the entire sphere onto a plane.

상기와 같이, 각 스크린(81, 82, 83,...)에 사용되는 프로젝션 방법은, 스크린의 종횡비 및 곡률 등을 고려하여 적합한 방법으로 결정할 수 있다. As described above, the projection method used for each screen 81, 82, 83, ... can be determined by a suitable method in consideration of the aspect ratio and the curvature of the screen.

도 3은 본 발명의 일실시예에 따른 360도영상으로부터 각 스크린에 대응하는 분할영상을 생성하는 예를 도시한 것이다. 도 3에 도시된 바와 같이, 서버(10)는 360도영상(950)으로부터 각 스크린(81, 82, ...)에 대응하는 복수의 분할영상(91, 92, ...)을 생성한다. 이 때, 분할영상(91, 92, ...) 각각은 360도영상(950) 중 각 스크린(81, 82, ...)의 시점에 대응하는 영역을 잘라내는(crop) 방식으로 생성된다. FIG. 3 shows an example of generating a divided image corresponding to each screen from a 360-degree panoramic image according to an embodiment of the present invention. 3, the server 10 generates a plurality of divided images 91, 92, ... corresponding to the respective screens 81, 82, ... from the 360-degree image 950 . At this time, each of the divided images 91, 92, ... is generated in such a manner as to crop an area corresponding to the viewpoint of each of the screens 81, 82, ... in the 360- .

예로서, 6개의 스크린(81, 82, ...)으로 구성된 경우, 서버(10)는 8K 해상도를 가진 360도영상(950)이 저장되어 있는 상태에서, 매 프레임마다 4K 해상도를 가진 복수의 분할영상(91, 92, ...)을 각 스크린(81, 82, ...)에 대응하는 복수의 디스플레이장치(도 1의 부호 20, 30, ... 참조)로 전달할 수 있다. 이 때, 분할영상(91, 92, ...)은 360도영상(950)의 전체 영역 중 각 스크린(81, 82, ...)의 시점에 대응하는 위치를 중심점으로 하여 4K해상도에 해당되는 영역을 잘라낸 것이다. For example, in the case where the server 10 is composed of six screens 81, 82, ..., the server 10 stores a plurality of It is possible to transmit the divided images 91, 92, ... to a plurality of display devices corresponding to the respective screens 81, 82, ... (see 20, 30, ... in FIG. At this time, the divided images 91, 92, ... correspond to the 4K resolution with the positions corresponding to the viewpoints of the screens 81, 82, ... as the center points in the entire area of the 360- The area is cut off.

서버(10)는 상기와 같이 360도영상(950)의 각 프레임으로부터 생성한 복수의 분할영상(91, 92, ...)을 대응하는 디스플레이장치(20, 30, ...)로 전송한다. The server 10 transmits the plurality of divided images 91, 92, ... generated from the respective frames of the 360-degree image 950 to the corresponding display devices 20, 30, ... .

여기서, 분할영상(91, 92, ...)의 전송시 스트리밍되는 데이터량을 줄이기 위해, 서버(10)는 360도영상(950)의 중앙 영역에 해당하는 분할영상은 고화질로, 나머지 영역에 해당하는 분할영상은 저화질로 생성할 수 있다. 이와 같은 방법 외에도, 분할영상(91, 92, ...)의 데이터량은 각 스크린(81, 82, ...)에 대응하는 디스플레이장치의 입력 제한 해상도, 네트워크 상태, 송수신 주기, 및 대역폭 중 적어도 하나를 고려하여 결정할 수 있다. Here, in order to reduce the amount of data to be streamed when the divided images 91, 92, ... are transmitted, the server 10 displays the divided images corresponding to the central region of the 360- The corresponding divided image can be generated with a low quality. In addition to the above method, the data amount of the divided images 91, 92, ... is the same as the input limiting resolution, the network status, the sending / receiving period, and the bandwidth of the display device corresponding to each of the screens 81, Can be determined by considering at least one.

또한, 서버(10)는 복수의 디스플레이장치(20, 30, ...)로 복수의 분할영상(91, 92, ...)을 전송함에 있어, 분할영상의 중심점의 각도, 분할영상의 가로 및 세로 화각 등에 관한 정보를 함께 전송한다. 디스플레이장치(20, 30, ...)는 서버(10)로부터 전송된 정보를 이용하여 분할영상(91, 92, ...)을 구 형상(도 4의 부호 120 참조)에 매핑(mapping)하는 동작을 수행할 수 있다. In addition, when transmitting the plurality of divided images 91, 92, ... to the plurality of display devices 20, 30, ..., the server 10 calculates the angle of the center point of the divided images, And the vertical angle of view. The display devices 20, 30, ... map the divided images 91, 92, ... to spherical shapes (see reference numeral 120 in FIG. 4) using the information transmitted from the server 10, Can be performed.

도 4는 본 발명의 일실시예에 따른 각 스크린에 대응하는 분할영상을 구에 매핑하는 예를 도시한 것이다. 도 4에 도시된 바와 같이, 서버(10)에 의해 360도영상(950)으로부터 각 스크린(81, 82, 83, ...)에 대응하는 분할영상(91, 92, 93, ...)이 생성된다. 분할영상(91, 92, 93,...)은 대응하는 각 스크린(81, 82, 83, ...)을 포함하는 디스플레이장치(도1 의 부호 20, 30, 31, ... 참조)로 전송된다. FIG. 4 illustrates an example of mapping divided images corresponding to each screen to a sphere according to an embodiment of the present invention. 92, 93, ...) corresponding to the respective screens 81, 82, 83, ... from the 360-dots image 950 by the server 10, Is generated. The divided images 91, 92, 93, ... are displayed on a display device (reference numerals 20, 30, 31, ... in Fig. 1) including corresponding screens 81, 82, 83, Lt; / RTI >

디스플레이장치(20, 30, 31, ...)는 CPU(Central Processing Unit) 또는 GPU(Graphic Processing Unit)을 이용하여 서버(10)로부터 전송된 분할영상(91, 92, 93, ...)을 구 형상(120)에 텍스처 매핑(texture mapping)한다. 이 때, 디스플레이장치(20, 30, 31, ...)는 서버(10)로부터 제공된 분할영상(91, 92, 93, ...)의 중심점의 각도, 가로 및 세로 화각 등에 관한 정보를 이용하여 구 형상(120)에 각각의 분할영상(91, 92, 93, ...)을 매핑한다. The display apparatuses 20, 30, 31, ... display divided images 91, 92, 93, ... transmitted from the server 10 using a CPU (Central Processing Unit) or a GPU (Graphic Processing Unit) To the sphere shape (120). At this time, the display apparatuses 20, 30, 31, ... use information about the angle, horizontal and vertical angle of view, etc. of the center points of the divided images 91, 92, 93 ... provided from the server 10 And maps the divided images 91, 92, 93, ... to the spherical shape 120. [

여기서, 분할영상(91, 92, 93, ...)이 360도영상(950)의 일부분인 경우 구 형상(12)의 일부분에만 매핑이 이루어지고, 360도영상(950)의 전체에 해당하는 경우 구 형상(120)의 전체에 대해 매핑이 이루어진다. In this case, when the divided images 91, 92, 93, ... are part of the 360-degree projection image 950, mapping is performed only to a part of the spherical shape 12, The mapping is performed for the entirety of the spherical shape 120.

또한, 다른 경우에 있어, 360도영상(950)의 시청 형태, 스크린의 개수 및 배치형태 등에 따라, 분할영상(91, 92, 93, ...)을 구 형상(120)이 아닌 파노라마, 원통 또는 원뿔 형상 등에 매핑할 수도 있다. In other cases, the divided images 91, 92, 93, ... may be divided into a panorama (not a sphere 120), a panorama Or a conical shape or the like.

도 5는 본 발명의 일실시예에 따른 서버의 구성을 도시한 블록도이다. 도 5에 도시된 바와 같이, 서버(10)는 통신부(11), 제어부(12), 및 저장부(15)를 포함하고, 통신부(11)를 통해 복수의 디스플레이장치(20, 30, 31,...)와 통신한다. 이 때, 복수의 디스플레이장치(20, 30, 31,...)는 서버(10)에 대해 병렬적으로 연결된다. 서버(10)의 구성은 이에 한정되지 않고, 예컨대, 서버(10)가 디스플레이장치로 마련되는 경우 영상수신부(미도시), 영상처리부(미도시) 및 디스플레이부(미도시)의 구성을 더 포함할 수 있다. 5 is a block diagram showing the configuration of a server according to an embodiment of the present invention. 5, the server 10 includes a communication unit 11, a control unit 12, and a storage unit 15. The server 10 includes a plurality of display devices 20, 30, 31, ...). At this time, the plurality of display devices 20, 30, 31, ... are connected in parallel to the server 10. The configuration of the server 10 is not limited thereto and may include a configuration of an image receiving unit (not shown), an image processing unit (not shown) and a display unit (not shown) when the server 10 is provided as a display device can do.

통신부(11)는 복수의 디스플레이장치(20, 30, 31,...)와 무선 혹은 유선 통신방식을 이용하여 통신한다. 통신부(11)는 이더넷(Ethernet) 등과 같은 유선 통신방식으로 복수의 디스플레이장치(20, 30, 31,...)와 통신하거나, 와이파이(Wi-Fi) 또는 블루투스(Bluetooth) 등과 같은 무선 통신방식으로 무선공유기를 통해 복수의 디스플레이장치(20, 30, 31,...)와 통신할 수 있다. 통신부(11)가 통신하는 방식은 이에 한정되지 않고, 다른 통신방식을 이용하여 통신할 수도 있다. The communication unit 11 communicates with a plurality of display devices 20, 30, 31, ... using a wireless or wire communication method. The communication unit 11 communicates with a plurality of display devices 20, 30, 31, ... in a wired communication method such as Ethernet or a wireless communication method such as Wi-Fi, Bluetooth, And can communicate with the plurality of display devices 20, 30, 31, ... via the wireless router. The manner in which the communication unit 11 communicates is not limited to this, and communication may be performed using another communication method.

일실시예로서, 통신부(11)는 복수의 디스플레이장치(20, 30, 31,...)와 직접 통신하지 않고, 도 1에 도시된 바와 같이 스플리터(37)와 연결될 수 있다. 이 경우, 통신부(11)는 스플리터(37)로 데이터를 송신하여, 스플리터(37)가 복수의 디스플레이장치(20, 30, 31,...)로 데이터를 분배하여 전송하도록 할 수 있다. The communication unit 11 may be connected to the splitter 37 as shown in FIG. 1 without directly communicating with the plurality of display devices 20, 30, 31,. In this case, the communication unit 11 can transmit data to the splitter 37, and the splitter 37 can distribute the data to the plurality of display devices 20, 30, 31, ... and transmit the data.

저장부(15)는 외부장치로부터 입력된 360도영상(950)을 저장한다. 저장부(15)는 저장된 360도영상(950)의 데이터 각각에 대해 독취(read), 기록(write), 수정(edit), 삭제(delete), 갱신(update) 등이 수행되도록 한다. 저장부(15)는 서버(10)의 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 메모리로 구현된다.The storage unit 15 stores a 360-degree image 950 input from an external device. The storage unit 15 reads, writes, edits, deletes, and updates data of each of the stored 360-degree images 950. The storage unit 15 is implemented as a non-volatile memory such as a flash memory or a hard-disc drive so as to store data regardless of whether or not the system power of the server 10 is provided .

제어부(12)는 각 스크린(81, 82, 83, ...)의 개별화각에 관한 정보를 수신한다. 각 스크린(81, 82, 83, ...)의 개별화각은 사용자컨트롤에 의한 시점에 대응하여 결정된다. The control unit 12 receives information about the individual angle of view of each screen 81, 82, 83, .... The individual view angles of the respective screens 81, 82, 83, ... are determined corresponding to the viewpoint by the user control.

이 때, 각 스크린(81, 82, 83, ...)의 개별화각에 관한 정보는 복수의 디스플레이장치(20, 30, 31, ...) 중 사용자가 컨트롤하는 디스플레이장치(20)에 대한 시점 이동 명령에 따라 수신될 수 있다. 다른 경우에 있어, 개별화각에 관한 정보는 서버(10) 및 복수의 디스플레이장치(20, 30, 31, ...) 중 적어도 하나의 동작을 제어하는 사용자입력 기기, 예컨대 리모컨 등으로부터 수신되는 제어신호에 포함될 수도 있다. At this time, the information about the individual angle of view of each screen 81, 82, 83, ... is displayed on the display device 20 controlled by the user among the plurality of display devices 20, 30, 31, May be received according to a viewpoint movement command. In other cases, the information about the individual angle of view is controlled by a user input device for controlling the operation of at least one of the server 10 and the plurality of display devices 20, 30, 31, ..., Signal.

제어부(12)는 복수의 프레임으로 구성된 360도영상(950)의 각 프레임으로부터 복수의 디스플레이장치(20, 30, 31, ...)의 각 스크린(81, 82, 83, ...)의 개별화각에 대응하는 복수의 분할영상(91, 92, 93, ...)을 생성한다. 이 때, 360도영상(950)은 저장부(15)에 저장되어 있거나, 예컨대 서버(10)에 연결된 USB 장치(381), 블루레이 디스크(382), PS3(383) 및 랩탑 컴퓨터(384) 등으로부터 수신될 수도 있다. The control unit 12 controls the display of each of the screens 81, 82, 83, ... of the plurality of display devices 20, 30, 31, ... from each frame of the 360- A plurality of divided images 91, 92, 93, ... corresponding to the individual view angles are generated. At this time, the 360-degree picture 950 is stored in the storage unit 15, or the USB device 381, the Blu-ray disc 382, the PS3 383, and the laptop computer 384, which are connected to the server 10, Or the like.

제어부(12)는 프레임별로 생성된 복수의 분할영상(91, 92, 93, ...)을 대응하는 디스플레이장치(20, 30, 31, ...)로 전송한다. The control unit 12 transmits a plurality of divided images 91, 92, 93, ... generated for each frame to the corresponding display device 20, 30, 31, ....

또한, 제어부(12)는 디스플레이장치(20, 30, 31, ...)로부터 사용자컨트롤에 따라 변경된 개별화각에 관한 정보를 수신하면, 360도영상(950) 중 변경된 개별화각에 대응하는 영역으로 분할영상(91, 92, 93, ...)을 업데이트한다. When the controller 12 receives the information regarding the changed individual angle of view according to the user control from the display device 20, 30, 31, ..., the controller 12 sets the area corresponding to the changed individual angle of view in the 360- The divided images 91, 92, 93, ... are updated.

도 6은 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다. 도 6에 도시된 바와 같이, 디스플레이장치(20)는 통신부(21), 제어부(22), 영상처리부(23), 디스플레이부(24), 저장부(25) 및 입력수신부(26)를 포함하고, 통신부(21)를 통해 서버(10) 및 복수의 디스플레이장치(30, 31,...)와 통신한다. 이 때, 디스플레이장치(20)와 복수의 디스플레이장치(30, 31,...)는 서버(10)에 대해 병렬적으로 연결된다. 디스플레이장치(20)는 예컨대, TV, 스마트폰, 프로젝터, 및 HMD 등으로 마련될 수 있다. 디스플레이장치(20)의 구성은 이에 한정되지 않고, 다른 구성을 더 포함하여 구현될 수 있다. 6 is a block diagram showing the configuration of a display device according to an embodiment of the present invention. 6, the display device 20 includes a communication unit 21, a control unit 22, an image processing unit 23, a display unit 24, a storage unit 25, and an input receiving unit 26 , And communicates with the server 10 and the plurality of display devices 30, 31, ... through the communication unit 21. [ At this time, the display device 20 and the plurality of display devices 30, 31, ... are connected to the server 10 in parallel. The display device 20 may be, for example, a TV, a smart phone, a projector, and an HMD. The configuration of the display device 20 is not limited to this, and may be implemented by further including other configurations.

통신부(21)는 서버(10)와 무선 혹은 유선 통신방식을 이용하여 통신한다. 통신부(21)는 이더넷(Ethernet) 등과 같은 유선 통신방식으로 서버(10)와 통신하거나, 와이파이(Wi-Fi) 또는 블루투스(Bluetooth) 등과 같은 무선 통신방식으로 무선공유기를 통해 서버(10)와 통신할 수 있다. 통신부(21)가 통신하는 방식은 이에 한정되지 않고, 다른 통신방식을 이용하여 통신할 수도 있다. The communication unit 21 communicates with the server 10 using a wireless or wired communication method. The communication unit 21 communicates with the server 10 by a wired communication method such as Ethernet or communicates with the server 10 through a wireless communication method such as Wi-Fi or Bluetooth can do. The manner in which the communication unit 21 communicates is not limited to this, and communication can be performed using another communication method.

일실시예로서, 통신부(21)는 서버(10)와 직접 통신하지 않고, 도 1에 도시된 바와 같이 스플리터(37)와 연결될 수 있다. 이 경우, 통신부(21)는 서버(10)로부터 수신되는 데이터를 스플리터(37)를 통해 분배하여 제공받을 수 있다. As an example, the communication unit 21 may be connected to the splitter 37 as shown in FIG. 1 without directly communicating with the server 10. [ In this case, the communication unit 21 can distribute the data received from the server 10 through the splitter 37 and receive the data.

입력수신부(26)는 디스플레이장치(20)의 적어도 하나의 기능을 제어하기 위한 사용자입력을 수신한다. 예로서, 입력수신부(26)는 디스플레이부(24)에 표시되는 사용자 인터페이스(User Interface)의 일부를 선택하기 위한 사용자입력을 수신할 수 있다. 입력수신부(26)는 디스플레이장치(20)의 외측에 구비된 입력패널의 형태로 구현되거나 디스플레이장치(20)와 적외선 방식으로 통신하는 리모트 컨트롤러로 구현될 수 있다. 또한, 입력수신부(26)는 디스플레이장치(20)와 연결되는 키보드, 마우스 등으로 구현될 수 있고, 디스플레이장치(20)에 마련되는 터치스크린으로 구현될 수도 있다. The input receiving unit 26 receives a user input for controlling at least one function of the display device 20. [ For example, the input receiving unit 26 may receive a user input for selecting a part of a user interface displayed on the display unit 24. The input receiving unit 26 may be implemented as an input panel provided outside the display device 20 or a remote controller communicating with the display device 20 in an infrared manner. The input receiving unit 26 may be implemented as a keyboard, a mouse, or the like connected to the display device 20, or may be implemented as a touch screen provided in the display device 20.

저장부(25)는 서버(10)로부터 수신되는 분할영상(91)을 저장한다. 분할영상(91)은 360도영상(950)의 전체영역 중 스크린(81)의 개별화각에 대응하는 영역을 잘라내는 방식으로 얻어진다. 저장부(25)는 저장된 분할영상(91)의 데이터 각각에 대해 독취(read), 기록(write), 수정(edit), 삭제(delete), 갱신(update) 등이 수행되도록 한다. 저장부(25)는 디스플레이장치(20)의 시스템 전원의 제공 유무와 무관하게 데이터를 보존할 수 있도록 플래시메모리(flash-memory), 하드디스크 드라이브(hard-disc drive)와 같은 비휘발성 메모리로 구현된다.The storage unit 25 stores the divided image 91 received from the server 10. [ The divided image 91 is obtained by cutting out an area corresponding to the individual view angle of the screen 81 among the entire area of the 360-degree image 950. [ The storage unit 25 reads, writes, edits, deletes, and updates data of each of the stored divided images 91. The storage unit 25 may be implemented as a nonvolatile memory such as a flash memory or a hard disk drive so as to store data regardless of whether the system power of the display device 20 is provided or not. do.

영상처리부(23)는 저장부(25)에 저장된 분할영상(91)에 대해 영상처리 프로세스를 수행한다. 또한, 영상처리부(23)는 구 형상(120)에 매핑된 분할영상(91)으로부터 스크린(81)의 개별화각에 대응하여 생성되는 프로젝션 영상(811)에 대해 영상처리 프로세스를 수행한다. 영상처리부(23)에서 수행하는 영상처리의 예로서, 디멀티플렉싱(demultiplexing), 디코딩(decoding), 디인터레이싱 (de-interlacing), 스케일링(scaling), 노이즈 감소(noise reduction), 디테일 인핸스먼트(detail enhancement) 등이 있으며, 그 종류는 한정되지 않는다. 영상처리부(23)는 이러한 여러 기능을 통합시킨 SOC(System-On-Chip) 또는 각 프로세스를 독자적으로 수행할 수 있는 개별 구성들이 장착된 영상처리보드로 구현될 수 있다.The image processing unit 23 performs an image processing process on the divided image 91 stored in the storage unit 25. [ The image processing unit 23 performs an image processing process on the projection image 811 generated corresponding to the individual angle of view of the screen 81 from the divided image 91 mapped to the spherical shape 120. [ Examples of image processing performed by the image processing unit 23 include demultiplexing, decoding, de-interlacing, scaling, noise reduction, detail enhancement, ), And the kind thereof is not limited. The image processing unit 23 may be implemented as a system-on-chip (SOC) that integrates various functions or an image processing board equipped with individual components capable of independently performing each process.

디스플레이부(24)는 영상처리부(23)에서 처리된 영상신호에 기초하여 영상을 표시하는 스크린(81)을 포함한다. 디스플레이부(24)의 구현 방식은 한정되지 않는 바, PDP(Plasma Display Panel), LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), 플렉시블 디스플레이(flexible display) 등 다양한 형태로 구현될 수 있다. The display unit 24 includes a screen 81 for displaying an image based on the image signal processed by the image processing unit 23. [ The display unit 24 may be implemented in various forms such as a plasma display panel (PDP), a liquid crystal display (LCD), an organic light emitting diode (OLED), and a flexible display .

제어부(22)는 입력수신부(26)에서 수신된 사용자입력에 따른 시점에 기초하여 복수의 스크린(81, 82, 83, ...) 중 디스플레이장치(20)에 대응하는 스크린(81)의 개별화각을 결정한다. The control unit 22 controls the display unit 20 to display the individual screens 81 corresponding to the display device 20 among the plurality of screens 81, 82, 83, ... based on the time point in accordance with the user input received from the input receiving unit 26. [ The angle of view is determined.

제어부(22)는 결정된 개별화각에 대한 정보를 서버(10)로 전송한다. 제어부(22)는 복수의 프레임으로 구성된 360도영상(950)의 각 프레임으로부터 전송된 개별화각에 대응하여 얻어진 분할영상(91)을 서버(10)로부터 수신한다. The control unit 22 transmits information on the determined individual angle of view to the server 10. The control unit 22 receives from the server 10 the divided image 91 obtained corresponding to the individual angle of view transmitted from each frame of the 360-dots image 950 composed of a plurality of frames.

제어부(22)는 서버(19)로부터 수신된 분할영상(91)을 구 형상(120) 에 매핑한다. 이 때, 제어부(22)는 서버(10)로부터 제공되는 분할영상(91)의 중심점의 각도, 가로 및 세로 화각 등에 관한 정보를 이용하여 구 형상(120)의 대응하는 영역에 분할영상(91)을 매핑한다.The control unit 22 maps the segmented image 91 received from the server 19 to the spherical shape 120. At this time, the control unit 22 displays the divided image 91 in the corresponding region of the spherical shape 120 using information about the angle, horizontal and vertical angle of view, etc. of the center point of the divided image 91 provided from the server 10, / RTI >

제어부(22)는 매핑된 분할영상(91)로부터 개별화각에 대응하는 프로젝션 영상(811)을 생성하여 디스플레이부(24)에 표시하도록 영상처리부(23)를 제어한다. The control unit 22 controls the image processing unit 23 to generate a projection image 811 corresponding to the individual angle of view from the mapped divided image 91 and display the projection image 811 on the display unit 24.

여기서, 제어부(22)는 수신되는 사용자입력에 따라 개별화각이 변경되는 경우, 서버(10)로부터 개별화각의 변경에 대응하여 업데이트된 분할영상(91)을 수신한다. 이에 따라, 제어부(22)는 업데이트된 분할영상(91)에 대응하여 변경된 프로젝션 영상(811)을 디스플레이부(24)에 표시하도록 한다. Here, when the individual angle of view is changed according to the received user input, the controller 22 receives the updated divided image 91 corresponding to the change of the individual angle of view from the server 10. Accordingly, the control unit 22 causes the display unit 24 to display the changed projection image 811 corresponding to the updated divided image 91. [

도 7은 본 발명의 일실시예에 따른 서버 및 디스플레이장치 간 동작의 흐름도이다. 도 7에 도시된 바와 같이, 먼저 동작 S701에서, 서버(10)는 디스플레이장치(20)로부터 스크린(81)의 개별화각에 관한 정보를 수신한다. 7 is a flowchart of operations between a server and a display apparatus according to an embodiment of the present invention. As shown in Fig. 7, first in operation S701, the server 10 receives information about the individual angle of view of the screen 81 from the display device 20. Fig.

다음으로, 동작 S702에서, 서버(10)는 360도영상(950)으로부터 스크린(81)의 개별화각에 대응하는 분할영상(91)을 생성한다. 여기서, 스크린(81)의 개별화각은 디스플레이장치(20)에서 사용자의 입력에 따른 시점에 의해 결정된다. Next, in operation S702, the server 10 generates a divided image 91 corresponding to the individual angle of view of the screen 81 from the 360-degree image 950. [ Here, the individual angle of view of the screen 81 is determined by the viewpoint according to the user's input in the display device 20. [

동작 S703에서는, 서버(10)는 프레임별로 생성된 분할영상(91)을 대응하는 디스플레이장치(20)로 전송한다. In operation S703, the server 10 transmits the divided images 91 generated for each frame to the corresponding display device 20.

동작 S704에서, 디스플레이장치(20)는 분할영상(91)을 구 형상(120)에 매핑한다. 다음으로, 동작 S705에서, 디스플레이장치(20)는 매핑된 분할영상(91)으로부터 개별화각에 대응하는 프로젝션 영상(도 2의 부호 811 참조)을 생성하여 표시한다. In operation S704, the display device 20 maps the divided image 91 to the spherical shape 120. [ Next, in operation S705, the display device 20 generates a projection image (see 811 in Fig. 2) corresponding to the individual angle of view from the mapped divided image 91 and displays it.

이 때, 디스플레이장치(20)는 프로젝션 영상(811)을 생성하기 위해, 예컨대 직선 투영법(rectilinear projection) 또는 입체 투영법(stereographic projection)을 적용할 수 있다. 상기와 같은 프로젝션 방법 외에도, 스크린의 종횡비 및 곡률 등을 고려하여 다양한 방법으로 투영할 수 있다. At this time, the display device 20 can apply, for example, a rectilinear projection or a stereographic projection to generate the projection image 811. [ In addition to the above projection method, projection can be performed by various methods in consideration of the aspect ratio and curvature of the screen.

동작 S706에서, 서버(10)는 사용자입력에 따라 변경된 개별화각에 관한 정보를 수신한다. 다음으로, 동작 S707에서, 서버(10)는 개별화각의 변경에 대응하여 분할영상(91)을 업데이트한다. 마지막으로, 동작 S708에서, 서버(10)는 업데이트된 분할영상(91)을 디스플레이장치(20)로 전송한다. In operation S706, the server 10 receives information about the changed individual view angle in accordance with the user input. Next, in operation S707, the server 10 updates the divided image 91 in response to the change of the individual view angle. Finally, in operation S708, the server 10 transmits the updated divided image 91 to the display device 20. [

상기와 같이, 본 발명에 의하면 다중 스크린에서 360도 영상을 각 스크린의 시점에 대응하도록 재생할 수 있다. 또한, 다중 스크린에 대해 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상의 스트림을 제공할 수 있다. As described above, according to the present invention, a 360-degree image can be reproduced in multiple screens corresponding to the viewpoint of each screen. In addition, a stream of a 360-degree image can be provided in response to a change of a viewpoint and an angle of view by user control on multiple screens.

도 8은 본 발명의 일실시예에 따른 서버 및 복수의 디스플레이장치 간 구성을 도시한 예이다. 도 8에 도시된 바와 같이, 서버(10)는 복수의 디스플레이장치(20, 30, 31, 32, 33, 34) 중 하나의 디스플레이장치(20)와 연결된다. 이 때, 복수의 디스플레이장치(20, 30, 31, 32, 33, 34)는 직렬적으로 연결되고, 예컨대 데이지 체인(daisy chain) 방식으로 서버(10)에 연결된 디스플레이장치(20)가 다른 디스플레이장치(30, 31, 32, 33, 34)로 신호를 바이패스(bypass)하도록 한다. FIG. 8 illustrates an example of a configuration between a server and a plurality of display devices according to an embodiment of the present invention. 8, the server 10 is connected to the display device 20 of one of the plurality of display devices 20, 30, 31, 32, 33, and 34. As shown in FIG. At this time, the plurality of display devices 20, 30, 31, 32, 33, and 34 are connected in series, and the display device 20 connected to the server 10 in a daisy- 31, 32, 33, and 34 to bypass the signal.

서버(10)는 LAN 또는 무선 통신방식을 이용하여 디스플레이장치(20)와 통신하고, 상호간 360도영상(950)의 컨텐츠 및 정보를 송수신한다. The server 10 communicates with the display device 20 using a LAN or a wireless communication method and transmits and receives contents and information of 360 images 950 to each other.

일실시예로서, 서버(10)는 8K 해상도를 가지는 360도영상(950)의 하나의 프레임과 360도영상(950)에 대한 레이아웃 정보를 디스플레이장치(20)로 전송할 수 있다. 여기서, 레이아웃 정보는 360도영상(950)의 해당 프레임 중 복수의 스크린(81, 82, 83, ...) 각각에 대응하는 분할영상(91, 92, 93, ...)의 위치 및 크기에 관한 정보를 포함한다. In one embodiment, the server 10 may transmit to the display device 20 layout information for one frame of a 360-degree spreadsheet 950 having a resolution of 8K and a 360-degree spreadsheet 950. Here, the layout information includes the positions and sizes of the divided images 91, 92, 93, ... corresponding to the plurality of screens 81, 82, 83, ... in the corresponding frame of the 360- As shown in FIG.

이 때, 디스플레이장치(20)는 서버(10)로부터 수신된 레이아웃 정보에 기초하여, 360도영상(950)의 프레임으로부터 해당 스크린(81)에 대응하는 영역을 잘라내는 방식으로 분할영상(91)을 생성할 수 있다.At this time, based on the layout information received from the server 10, the display apparatus 20 displays the divided image 91 in a manner of cutting out the area corresponding to the screen 81 from the frame of the 360- Can be generated.

다음으로, 디스플레이장치(20)는 서버(10)로부터 수신한 360도영상(950) 및 레이아웃 정보를 연결되어 있는 제1디스플레이장치(30)로 전달한다. Next, the display device 20 transmits the 360-dots image 950 received from the server 10 and the layout information to the first display device 30 connected thereto.

제1디스플레이장치(30)는 디스플레이장치(20)로부터 전달받은 레이아웃 정보에 기초하여 360도영상(950)의 프레임으로부터 해당 스크린(82)에 대응하는 영역을 잘라내어 분할영상(92)을 생성할 수 있다. The first display device 30 can generate a divided image 92 by cutting out an area corresponding to the screen 82 from the frame of the 360-degree image 950 based on the layout information received from the display device 20 have.

마찬가지로, 제1디스플레이장치(30)는 제2디스플레이장치(31)로 360도영상(950) 및 레이아웃 정보를 전달하여, 제2디스플레이장치(32)가 대응하는 분할영상(93)을 생성할 수 있도록 한다. Likewise, the first display device 30 can transmit the 360 display image 950 and the layout information to the second display device 31 so that the second display device 32 can generate the corresponding divided image 93 .

상기와 같이, 서버(10)에 대해 복수의 디스플레이장치(20, 30, 31, 32, 33, 34)가 직렬적으로 연결된 경우, 하나의 디스플레이장치(20)가 서버(10)로부터 제공된 360도영상(950) 및 레이아웃 정보를 연결되어 있는 다른 제1디스플레이장치(30)로 바이패스하는 방식으로 각 디스플레이장치(20, 30, 31, 32, 33, 34)가 분할영상을 생성하도록 한다. As described above, when a plurality of display devices 20, 30, 31, 32, 33, and 34 are connected in series to the server 10, one display device 20 can display 360- 30, 31, 32, 33, and 34 generate the divided images in such a manner that the display device 950 and the layout information are bypassed to the other first display device 30 connected thereto.

또한, 디스플레이장치(20)는 360도영상(950)을 저장하고 있는 USB 장치(381), 블루레이 디스크(382), PS3(383) 및 랩탑 컴퓨터(384) 등과 연결될 수도 있다. 이 때, 디스플레이장치(20)는 USB 장치(381) 등에 저장되어 있는 360도영상(950)을 수신하고, 서버(10)로부터 수신한 레이아웃 정보에 기초하여 360도영상(950)으로부터 분할영상(91)을 생성할 수 있다. The display device 20 may also be connected to a USB device 381, a Blu-ray disk 382, a PS3 383, and a laptop computer 384, which store a 360- At this time, the display device 20 receives the 360-dots image 950 stored in the USB device 381 or the like, and displays the divided image (image) from the 360-dots image 950 on the basis of the layout information received from the server 10 91).

다른 실시예로서, 네트워크 상태 및 디스플레이장치(20)의 입력 해상도를 고려하여, 서버(10)가 디스플레이장치(20)로 전송하는 360도영상(950)의 데이터량을 조정할 수 있다. As another embodiment, the server 10 may adjust the amount of data of the 360-bit image 950 transmitted to the display device 20, taking into consideration the network status and the input resolution of the display device 20. [

예로서, 도 10에 도시된 바와 같이, 디스플레이장치(20)가 4K 해상도의 영상만을 수신 가능한 경우, 서버(10)는 디스플레이장치(20)로 8K 해상도의 360도영상(950) 중 일부에 해당하는 4K 해상도의 통합영상(도 10의 부호 110 참조)을 전송할 수 있다.10, when the display apparatus 20 is capable of receiving only an image having a resolution of 4K, the server 10 corresponds to a part of 360 display images 950 of 8K resolution to the display apparatus 20 (Refer to reference numeral 110 in FIG.

즉, 서버(10)는 360도영상(950) 중 각각 2/3K 해상도에 해당하는 영역을 잘라내는 방식으로 복수의 분할영상(91, 92, 93, 94, 95, 96)을 생성하고, 이를 통합한 4K 해상도의 통합영상(110)과 레이아웃 정보를 디스플레이장치(20)로 전달할 수 있다. 이에 따라, 디스플레이장치(20)는 레이아웃 정보에 기초하여 통합영상(110) 중 대응하는 2/3K 해상도의 분할영상(91)을 제공받도록 한다. 마찬가지로 다른 디스플레이장치(30, 31, 32, 33, 34) 또한 데이지 체인 방식으로 전달되는 4K 해상도의 통합영상(110)으로부터 해당되는 2/3K 해상도의 분할영상(92, 93, 94, 95, 96)을 제공받을 수 있다. In other words, the server 10 generates a plurality of divided images 91, 92, 93, 94, 95, and 96 in such a manner that regions corresponding to 2 / 3K resolutions are cut out from 360 images 950, The integrated image 110 and the layout information of the integrated 4K resolution can be transmitted to the display device 20. Accordingly, the display device 20 receives the divided image 91 of the 2 / 3K resolution corresponding to the integrated image 110 based on the layout information. Likewise, the other display devices 30, 31, 32, 33, and 34 are also divided into the divided images 92, 93, 94, 95, and 96 of 2 / 3K resolution from the integrated image 110 of 4K resolution transmitted in a daisy- ) Can be provided.

도 9는 본 발명의 일실시예에 따른 디스플레이장치의 구성을 도시한 블록도이다. 도 9에 도시된 바와 같이, 디스플레이장치(20)는 통신부(21), 제어부(22), 영상처리부(23), 디스플레이부(24), 저장부(25) 및 입력수신부(26)를 포함하고, 통신부(21)를 통해 서버(10) 및 디스플레이장치(30)와 통신한다. 디스플레이장치(20)는 예컨대, TV, 스마트폰, 프로젝터, 및 HMD 등으로 마련될 수 있다. 디스플레이장치(20)의 구성은 이에 한정되지 않고, 다른 구성을 더 포함하여 구현될 수 있다. 여기서, 디스플레이장치(20)의 구성 각각은 도 6의 구성과 동일하므로, 반복되는 설명은 생략하고, 차이가 있는 특징에 대해서만 설명하기로 한다. 9 is a block diagram showing the configuration of a display device according to an embodiment of the present invention. 9, the display device 20 includes a communication unit 21, a control unit 22, an image processing unit 23, a display unit 24, a storage unit 25, and an input receiving unit 26 , And communicates with the server (10) and the display device (30) through the communication unit (21). The display device 20 may be, for example, a TV, a smart phone, a projector, and an HMD. The configuration of the display device 20 is not limited to this, and may be implemented by further including other configurations. Here, since each of the configurations of the display device 20 is the same as the configuration of Fig. 6, repeated description will be omitted and only differences will be described.

도시된 구성에서, 디스플레이장치(20)와 복수의 디스플레이장치(30, 31,...)는 서버(10)에 대해 직렬적으로 연결되고, 예컨대, 데이지 체인 방식으로 연결된다. In the shown configuration, the display device 20 and the plurality of display devices 30, 31, ... are connected in series to the server 10, for example, daisy-chained.

즉, 디스플레이장치(20)는 서버(10)로부터 전달받은 신호 및 데이터를 제1디스플레이장치(30)로 전달하고, 제1디스플레이장치(30)는 다시 제2디스플레이장치(31)로 전달한다. That is, the display device 20 transmits signals and data received from the server 10 to the first display device 30, and the first display device 30 transmits the signals and data to the second display device 31 again.

일실시예로서, 제어부(22)는 복수의 디스플레이장치(20, 30, 31, ...)에 대응하는 복수의 분할영상(91, 92, ...)을 통합한 통합영상(도 10의 부호 110 참조)을 서버(10)로부터 수신할 수 있다. The control unit 22 controls the display unit 20 to display an integrated image (see FIG. 10) in which a plurality of divided images 91, 92, ... corresponding to the plurality of display devices 20, 30, 31, (See reference numeral 110) from the server 10.

이 때, 제어부(22)는 통합영상(110)과 함께 통합영상(110)에 관한 레이아웃 정보를 서버(10)로부터 수신할 수 있고, 레이아웃 정보를 이용하여 통합영상(110)으로부터 해당 분할영상(91)을 획득할 수 있다. 여기서, 레이아웃 정보는, 통합영상(110) 중 복수의 스크린(81, 82, ...) 각각에 대응하는 분할영상(91, 92, ...)의 위치 및 크기에 관한 정보를 포함한다. At this time, the control unit 22 can receive the layout information about the integrated image 110 together with the integrated image 110 from the server 10 and can extract the corresponding divided image 110 from the integrated image 110 using the layout information 91). Here, the layout information includes information on the position and size of the divided images 91, 92, ... corresponding to the plurality of screens 81, 82, ... in the integrated image 110.

또한, 제어부(22)는 상기와 같이 서버(10)로부터 수신한 통합영상(110) 및 레이아웃 정보를 연결되어 있는 제1디스플레이장치(30)로 전달한다. 이에 따라, 제1디스플레이장치(30)가 디스플레이장치(20)로부터 전달된 레이아웃 정보를 이용하여 통합영상(110)으로부터 대응하는 분할영상(92)를 획득하도록 한다. In addition, the control unit 22 transmits the integrated image 110 and the layout information received from the server 10 to the first display device 30 connected thereto. This allows the first display device 30 to acquire the corresponding divided image 92 from the integrated image 110 using the layout information transmitted from the display device 20. [

도 11은 본 발명의 일실시예에 따른 프로젝션 영상이 분할영상의 범위를 초과하여 표시되는 경우를 도시한 예이다. 도 11에 도시된 바와 같이, 디스플레이장치(20)는 서버(10)로부터 360도영상(950)의 각 프레임으로부터 생성된 분할영상(91)을 수신한다. FIG. 11 is a diagram illustrating a case where a projection image according to an exemplary embodiment of the present invention is displayed in excess of a range of divided images. As shown in Fig. 11, the display apparatus 20 receives the divided image 91 generated from each frame of the 360-degree image 950 from the server 10.

디스플레이장치(20)는 수신한 분할영상(91) 중 스크린(81)에 표시될 영역을 계산하여 프로젝션 영상(811)을 생성한다. 이 때, 스크린(81)에 표시되는 영역은 스크린(81)의 시점, 화각 및 프로젝션 방법 등을 이용하여 계산된다. The display device 20 calculates an area to be displayed on the screen 81 among the received divided images 91 to generate a projection image 811. [ At this time, the area displayed on the screen 81 is calculated using the viewpoint of the screen 81, the angle of view, the projection method, and the like.

프로젝션 영상(811)을 안정적으로 표시하기 위해, 분할영상(91)의 경계 내측에 일정 폭의 범위를 가지도록 경계영역(102)을 설정한다. In order to stably display the projection image 811, the boundary area 102 is set so as to have a certain width range inside the boundary of the divided image 91. [

즉, 디스플레이장치(20)가 서버(10)로부터 소정 주기로 분할영상(91)을 수신하는 동안 분할영상(91)의 업데이트를 요청한 후 수신할 때까지 소요되는 시간을 보장할 수 정도로, 분할영상(91)의 경계와 경계영역(102) 사이의 폭을 설정한다. That is, the display device 20 can display the divided image 91 (i.e., the divided image 91) at a predetermined interval from the server 10, 91 and the boundary region 102. The widths of the boundary regions 102,

예로서, 10초 주기로 분할영상(91)을 수신하는 경우, 처음 10초 구간에서 수신되는 분할영상(91)이 업데이트되는 다음 10초 구간이 될 때까지 프로젝션 영상(811)을 오류 없이 안정적으로 표시할 수 있도록 분할영상(91)의 경계와 경계영역(102) 사이의 폭을 설정할 수 있다. For example, when the divided image 91 is received every 10 seconds, the projection image 811 is stably displayed without error until the divided image 91 received in the first 10-second period becomes the next 10-second section. The width of the divided image 91 and the width of the boundary region 102 can be set.

도시된 예에서, 사용자컨트롤에 의해 스크린(81)의 시점 또는 화각이 변경되는 경우, 프로젝션 영상(811)은 수신되는 분할영상(91)의 경계영역(102)을 초과하여 표시될 수 있다. 여기서, 프로젝션 영상(811)이 경계영역(102)을 초과하는지 여부는 스크린(81)에서 연산하여 서버(10)로 전달되거나, 서버(10) 자체에서 연산할 수 있다. In the illustrated example, when the viewpoint or angle of view of the screen 81 is changed by the user control, the projection image 811 can be displayed in excess of the boundary area 102 of the received divided image 91. [ Here, whether or not the projection image 811 exceeds the boundary area 102 can be calculated by the screen 81 and transmitted to the server 10 or can be calculated by the server 10 itself.

상기와 같이, 프로젝션 영상(811)이 분할영상(91)의 경계영역(102)을 초과하여 표시되는 경우, 네트워크 상태를 고려하여 분할영상(91)의 업데이트 방식을 결정할 수 있다. As described above, when the projection image 811 is displayed beyond the boundary area 102 of the divided image 91, the updating method of the divided image 91 can be determined in consideration of the network state.

예로서, 도 12에 도시된 바와 같이, 네트워크가 원활하지 않은 상태에서 10초 주기로 단위 프레임의 분할영상(91)을 수신하는 동안 프로젝션 영상(811)이 경계영역(102)을 초과하여 표시되는 경우, 서버(10)로 해당 스크린(81)에 대응하는 분할영상(91)의 업데이트를 우선적으로 요청할 수 있다. For example, as shown in FIG. 12, when the projection image 811 is displayed beyond the boundary area 102 while receiving the divided image 91 of a unit frame at a cycle of 10 seconds in a state where the network is not smooth , The server 10 may preferentially request the update of the segmented image 91 corresponding to the screen 81.

이 때, 서버(10)는 상기 요청에 대해, 해당 스크린(81)의 시점의 변화에 대응하는 분할영상(91)을 업데이트하여 스크린(81)으로 전송한다. At this time, the server 10 updates the divided image 91 corresponding to the change of the viewpoint of the screen 81 and transmits the updated divided image 91 to the screen 81 in response to the request.

이 경우, 해당 스크린(81)을 제외한 나머지 스크린(82, 83)에 대해서는, 10초가 경과된 다음 주기에 업데이트된 분할영상(92, 93)을 수신하거나, 네트워크 상태가 회복된 이후에 수신하도록 한다. In this case, for the remaining screens 82 and 83 excluding the screen 81, the updated divided images 92 and 93 are received in the next cycle after 10 seconds elapse, or received after the network state is restored .

다른 예로서, 도 13에 도시된 바와 같이, 네트워크가 양호한 상태에서 10초 주기로 단위 프레임의 분할영상(91)을 수신하는 동안 프로젝션 영상(811)이 경계영역(102)을 초과하여 표시되는 경우, 서버(10)로 해당 스크린(81)뿐만 아니라, 해당 스크린(81)과 연결되어 있는 나머지 스크린(82, 83)에 대응하는 분할영상(91, 92, 93)의 업데이트를 동시에 요청할 수 있다. As another example, when the projection image 811 is displayed in excess of the border area 102 while receiving the divided image 91 of the unit frame at a cycle of 10 seconds in a state where the network is good, as shown in Fig. 13, The server 10 can simultaneously request not only the screen 81 but also the divided images 91, 92 and 93 corresponding to the remaining screens 82 and 83 connected to the corresponding screen 81.

이 때, 서버(10)는 상기 요청에 대해, 해당 스크린(81)의 시점의 변화에 기초하여 복수의 분할영상(91, 92, 93)을 업데이트하고 이를 각 스크린(81, 82, 83)으로 전송한다. At this time, the server 10 updates the plurality of divided images 91, 92, 93 on the basis of the change of the viewpoint of the screen 81 and transmits the updated images to the respective screens 81, 82, 83 send.

이 경우, 프로젝션 영상(811)이 분할영상의 경계영역(102)를 초과한 스크린(81)뿐만 아니라 나머지 스크린(82, 83)에 대해서도, 10초가 경과되기 이전에 업데이트된 분할영상(91, 92, 93)을 동시에 수신하도록 한다. In this case, not only the screen 81 in which the projection image 811 has exceeded the boundary area 102 of the divided image but also the remaining divided screens 91 and 92 , 93 are simultaneously received.

도 14는 본 발명의 일실시예에 따른 사용자컨트롤에 의한 화각의 변경에 대응하여 분할영상을 업데이트하는 예를 도시한 것이다. 도 14에 도시된 바와 같이, 사용자컨트롤에 의해 줌 인(zoom in) 상태가 되면, 스크린(81)에는 축소된 프로젝션 영상(181)이 표시되고, 줌 아웃(zoom out) 상태가 되면 확대된 프로젝션 영상(182)이 표시된다. FIG. 14 illustrates an example of updating a divided image in response to a change in angle of view by user control according to an embodiment of the present invention. As shown in FIG. 14, when the zoom in state is set by the user control, the reduced projection image 181 is displayed on the screen 81, and when the zoomed out state is reached, The image 182 is displayed.

따라서, 줌 인 상태의 프로젝션 영상(181)은 분할영상(91)의 경계영역(102)을 초과할 가능성이 적어지고, 줌 아웃 상태의 프로젝션 영상(182)은 분할영상(91)의 경계영역(102)을 초과할 가능성이 커지게 된다.The projection image 181 in the zooming state is less likely to exceed the boundary region 102 of the divided image 91 and the projection image 182 in the zooming out state is less likely to exceed the boundary region 102 of the divided image 91 102). ≪ / RTI >

이에 따라, 줌 인 및 줌 아웃 여부에 따라 분할영상(91)의 크기를 조정함에 의해, 스크린(81) 상에 영상이 정상적으로 표시되도록 할 수 있다. Accordingly, by adjusting the size of the divided image 91 according to whether the zooming-in and zooming-out is performed, the image can be normally displayed on the screen 81.

즉, 줌 인 상태의 프로젝션 영상(181)에 대해서는 분할영상(91)의 크기를 축소하고, 줌 아웃 상태의 프로젝션 영상(182)에 대해서는 분할영상(91)의 크기를 확대하도록 서버(10)로 요청한다. 이와 같은 방법에 의해, 줌 인 또는 줌 아웃에 따라 스크린(81)에 영상이 비정상적으로 표시되는 경우가 발생하지 않도록 한다. That is, the size of the divided image 91 is reduced for the projection image 181 in the zoom-in state, and the size of the divided image 91 is enlarged for the projection image 182 in the zoom- request. By this method, it is prevented that the image is displayed abnormally on the screen 81 according to the zoom-in or zoom-out.

도 16은 본 발명의 일실시예에 따른 서버 및 다중 스크린 간 동작의 흐름도이다. 도 16에 도시된 바와 같이, 먼저 동작 S160에서, 다중 스크린의 크기, 곡률 및 연결상태 등을 감지한다. 동작 S161에서는, 감지된 다중 스크린의 정보에 기초하여 각 스크린의 시점, 화각 및 프로젝션 방법을 결정한다. 16 is a flow diagram of a server and multi-screen operation in accordance with an embodiment of the present invention. As shown in FIG. 16, in operation S160, the size, curvature and connection state of multiple screens are detected. In operation S161, the viewpoint, angle of view, and projection method of each screen are determined based on the information of the detected multiple screens.

다음으로, 동작 S162에서, 서버는 결정된 각 스크린의 시점, 화각 및 프로젝션 방법에 기초하여 각 스크린에 전달할 분할영상을 생성하여 전송한다. Next, in operation S162, the server generates and transmits a divided image to be transmitted to each screen based on the determined view point, angle of view, and projection method of each screen.

동작 S163에서는, 각 스크린 또는 서버가 각 스크린에 표시될 영역을 계산하여 프로젝션 영상을 생성한다. In operation S163, each screen or server calculates an area to be displayed on each screen to generate a projection image.

다음으로, 동작 S164에서, 프로젝션 영상이 분할영상의 경계영역을 초과하여 표시되는지 여부를 판단한다. Next, in operation S164, it is determined whether or not the projection image is displayed beyond the boundary area of the divided image.

동작 S164의 판단 결과, 프로젝션 영상이 분할영상의 경계영역을 초과하는 경우, 동작 S162에서, 서버가 각 스크린에 대응하는 분할영상을 다시 생성하여 전송하도록 한다. If it is determined in operation S164 that the projection image exceeds the boundary area of the divided image, the server re-generates and transmits the divided image corresponding to each screen in operation S162.

동작 S164의 판단 결과, 프로젝션 영상이 분할영상의 경계영역을 초과하지 않는 경우, 동작 S165에서, 각 스크린은 분할영상을 이용하여 구에 대해 텍스처 매핑을 수행한다. If it is determined in operation S164 that the projection image does not exceed the boundary area of the divided image, each screen performs texture mapping on the sphere using the divided image in operation S165.

다음으로, 동작 S166에서, 각 스크린은 매핑된 결과로부터 프로젝션 영상을 렌더링하여 표시한다. Next, in operation S166, each screen renders and displays the projection image from the mapped result.

동작 S167에서, 리모컨, 터치 및 모션센서 등에 의한 사용자입력을 수신하면, 동작 S168에서, 사용자입력에 의해 각 스크린의 시점, 화각 및 프로젝션 방법이 변경된다. 이 경우, 동작 S162에서, 서버가 각 스크린에 대응하는 분할영상을 다시 생성하여 전송하도록 한다. In operation S167, when the user input by the remote controller, the touch, and the motion sensor is received, the viewpoint, angle of view and projection method of each screen are changed by user input in operation S168. In this case, in the operation S162, the server regenerates and transmits the divided images corresponding to the respective screens.

상기와 같은 본 발명의 실시예에 따라, 다중 스크린에서 사용자 컨트롤에 의한 시점 및 화각의 변경에 대응하여 360도 영상을 재생할 수 있다. 또한, 각 스크린에서 프로젝션 및 렌더링을 동시에 진행하므로 서버의 부담을 저감시킬 수 있다.According to the embodiment of the present invention as described above, it is possible to reproduce a 360-degree image in response to a change of viewpoint and angle of view by user control on multiple screens. In addition, since the projection and the rendering are simultaneously performed on each screen, burden on the server can be reduced.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 특허청구범위 내에서 다양하게 실시될 수 있다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments.

10: 서버
11: 통신부
12: 제어부
15: 저장부
20: 디스플레이장치
21: 통신부
22: 제어부
23: 영상처리부
24: 디스플레이부
25: 저장부
26: 입력수신부
30: 제1디스플레이장치
31: 제2디스플레이장치
81, 82, 83, ...: 스크린
91, 92, 93, ...: 분할영상
102: 경계영역
120: 구 형상
811: 프로젝션 영상
950: 360도영상10: Server
11:
12:
15:
20: Display device
21:
22:
23:
24:
25:
26:
30: first display device
31: second display device
81, 82, 83, ...: Screen
91, 92, 93, ...: Split image
102: boundary area
120: Sphere shape
811: projection image
950: 360

Claims (20)

서버에 있어서,
복수의 디스플레이장치와 통신하는 통신부와;
복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 상기 복수의 디스플레이장치의 각 스크린의 개별화각에 대응하는 복수의 분할영상을 생성하고, 상기 프레임별로 생성된 복수의 분할영상을 상기 대응하는 디스플레이장치로 전송하고, 시점의 이동에 따른 상기 개별화각의 변경에 대응하여 업데이트된 분할영상을 전송하도록 상기 통신부를 제어하는 제어부를 포함하는 서버.In the server,
A communication unit for communicating with a plurality of display devices;
A plurality of divided images corresponding to individual angles of view of the respective screens of the plurality of display devices are generated from each frame of 360 frames constituted by a plurality of frames and a plurality of divided images generated for each frame are transmitted to the corresponding display device And controls the communication unit to transmit the updated divided image corresponding to the change of the individual angle of view according to the movement of the viewpoint. 제 1항에 있어서,
상기 제어부는, 상기 복수의 디스플레이장치 중 적어도 하나로부터 상기 개별화각에 기초하여 해당 스크린에 표시된 프로젝션 영상이 상기 대응하는 분할영상의 경계영역을 초과하여 표시하는지 여부에 관한 정보를 수신하고, 상기 수신된 정보에 기초하여 상기 분할영상을 업데이트하는 서버.The method according to claim 1,
Wherein the control unit receives from the at least one of the plurality of display devices information on whether or not a projection image displayed on the screen based on the individual view angle exceeds a boundary area of the corresponding divided image, And updates the divided image based on the information. 제 1항에 있어서,
상기 제어부는, 상기 복수의 디스플레이장치 중 각 스크린에 표시되는 프로젝션 영상이 해당 분할영상의 경계영역을 초과하여 표시되는 순서에 기초하여, 상기 복수의 디스플레이장치 각각으로 업데이트된 분할영상을 전송하는 서버. The method according to claim 1,
Wherein the control unit transmits the updated divided images to each of the plurality of display devices based on a sequence in which projection images displayed on each screen of the plurality of display devices are displayed beyond a boundary area of the divided images. 제 1항에 있어서,
상기 제어부는, 상기 복수의 디스플레이장치 각각으로 상기 360도영상의 각 프레임에 대한 레이아웃 정보를 전송하고, 상기 전송된 레이아웃 정보에 기초하여 분할영상을 전송하고,
상기 레이아웃 정보는, 360도영상의 해당 프레임 중 복수의 스크린 각각에 대응하는 분할영상의 위치 및 크기에 관한 정보를 포함하는 서버.The method according to claim 1,
Wherein the control unit transmits layout information for each frame on the 360-degree display to each of the plurality of display devices, transmits a divided image based on the transmitted layout information,
Wherein the layout information includes information about a position and a size of a divided image corresponding to each of a plurality of screens among corresponding frames on 360 shaded regions. 제 1항에 있어서,
상기 제어부는, 상기 각 스크린의 개별화각, 네트워크 상태, 송수신 주기 및 대역폭 중 적어도 하나에 기초하여 상기 디스플레이장치로 전송되는 분할영상의 데이터량을 결정하는 서버.The method according to claim 1,
Wherein the controller determines an amount of data of the divided image transmitted to the display device based on at least one of the individual angle of view, the network status, the transmission / reception period, and the bandwidth of each screen. 컴퓨터프로그램제품에 있어서,
인스트럭션이 저장된 메모리와;
프로세서를 포함하고,
상기 인스트럭션은, 상기 프로세서에 의해 실행되면, 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 복수의 디스플레이장치의 각 스크린의 개별화각에 대응하는 복수의 분할영상을 생성하고, 상기 프레임별로 생성된 복수의 분할영상을 상기 대응하는 디스플레이장치로 전송하고, 시점의 이동에 따른 상기 개별화각의 변경에 대응하여 업데이트된 분할영상을 전송하는 것을 포함하는 컴퓨터프로그램제품.In a computer program product,
A memory for storing an instruction;
A processor,
The instructions, when executed by the processor, generate a plurality of divided images corresponding to individual angles of view of respective screens of a plurality of display devices from each frame on 360 degrees of dots composed of a plurality of frames, Transmitting the segmented image to the corresponding display device, and transmitting the updated segmented image corresponding to the change of the individual angle of view as the movement of the viewpoint. 제 6항에 있어서,
상기 인스트럭션은, 상기 복수의 디스플레이장치 중 적어도 하나로부터 상기 개별화각에 기초하여 해당 스크린에 표시된 프로젝션 영상이 상기 대응하는 분할영상의 경계영역을 초과하여 표시하는지 여부에 관한 정보를 수신하고, 상기 수신된 정보에 기초하여 상기 분할영상을 업데이트하는 것을 포함하는 컴퓨터프로그램제품.The method according to claim 6,
Wherein the instruction receives from the at least one of the plurality of display devices information on whether a projection image displayed on the screen based on the individual angle of view exceeds a boundary area of the corresponding divided image, And updating the segmented image based on the information. 디스플레이장치에 있어서,
영상신호를 처리하는 영상처리부와;
디스플레이부와;
서버와 통신하는 통신부와;
사용자입력에 따른 시점에 기초하여 복수의 스크린 중 상기 디스플레이장치에 대응하는 스크린의 개별화각을 결정하고, 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 상기 결정된 개별화각에 대응하여 얻어진 분할영상을 상기 서버로부터 수신하고, 상기 수신된 분할영상을 입체에 매핑하고, 상기 매핑된 분할영상으로부터 상기 개별화각에 대응하는 프로젝션 영상을 생성하여 상기 디스플레이부에 표시하도록 상기 영상처리부를 제어하는 제어부를 포함하는 디스플레이장치.In the display device,
An image processor for processing a video signal;
A display unit;
A communication unit for communicating with a server;
And determines a divided angle of the screen corresponding to the display device from among the plurality of screens based on a time point in accordance with the user input, and obtains a divided image obtained corresponding to the determined individual angle of view from each frame on 360- And a control unit for controlling the image processing unit to generate a projection image corresponding to the individual angle of view from the mapped divided image and display the projection image on the display unit, . 제 8항에 있어서,
상기 제어부는, 상기 결정된 개별화각에 관한 정보를 상기 서버로 전송하고, 상기 전송된 개별화각에 관한 정보에 기초하여 생성된 상기 분할영상을 상기 서버로부터 수신하는 디스플레이장치. 9. The method of claim 8,
Wherein the control unit transmits information on the determined individual angle of view to the server and receives the divided images generated based on information on the transmitted individual angle of view from the server. 제 8항에 있어서,
사용자입력을 수신하는 입력수신부를 더 포함하고,
상기 제어부는, 상기 수신되는 사용자입력에 따라 상기 개별화각이 변경되는 경우, 상기 서버로부터 상기 개별화각의 변경에 대응하여 업데이트된 분할영상을 수신하는 디스플레이장치.9. The method of claim 8,
Further comprising an input receiving section for receiving user input,
Wherein the control unit receives the updated divided image corresponding to the change of the individual angle of view from the server when the individual angle of view is changed according to the received user input. 제 8항에 있어서,
상기 제어부는, 상기 수신된 분할영상을 상기 개별화각에 기초하여 구 형상에 매핑하도록 상기 영상처리부를 제어하는 디스플레이장치.9. The method of claim 8,
Wherein the control unit controls the image processing unit to map the received divided image to a sphere shape based on the individual angle of view. 제 8항에 있어서,
상기 제어부는, 상기 수신된 분할영상 내부에 경계영역을 설정하고, 상기 프로젝션 영상이 상기 분할영상의 경계영역을 초과하여 표시되는 경우, 상기 서버로부터 업데이트된 분할영상을 수신하여 표시하는 디스플레이장치.9. The method of claim 8,
Wherein the control unit sets a boundary area within the received divided image and receives and displays the updated divided image from the server when the projection image is displayed beyond the boundary area of the divided image. 제 8항에 있어서,
상기 제어부는, 상기 복수의 스크린 중 상기 디스플레이장치의 스크린에 표시되는 프로젝션 영상이 해당 분할영상의 경계영역을 초과하여 표시되는 순서에 기초하여, 상기 서버로 상기 해당 분할영상의 업데이트를 요청하는 디스플레이장치. 9. The method of claim 8,
Wherein the control unit requests the server to update the corresponding divided image based on a sequence in which the projection image displayed on the screen of the display device among the plurality of screens exceeds the boundary area of the divided image, . 제 8항에 있어서,
상기 제어부는, 상기 서버로부터 상기 360도영상의 각 프레임에 대한 레이아웃 정보를 수신하고, 상기 수신된 레이아웃 정보에 기초하여 분할영상을 수신하고,
상기 레이아웃 정보는, 360도영상의 해당 프레임 중 복수의 스크린 각각에 대응하는 분할영상의 위치 및 크기에 관한 정보를 포함하는 디스플레이장치.9. The method of claim 8,
Wherein the control unit receives layout information for each frame on the 360 degrees from the server, receives the divided images based on the received layout information,
Wherein the layout information includes information about a position and a size of a divided image corresponding to each of a plurality of screens among frames corresponding to 360 dots. 컴퓨터프로그램제품에 있어서,
인스트럭션이 저장된 메모리와;
프로세서를 포함하고,
상기 인스트럭션은, 상기 프로세서에 의해 실행되면, 사용자입력에 따른 시점에 기초하여 복수의 스크린 중 디스플레이장치에 대응하는 스크린의 개별화각을 결정하고, 복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 상기 결정된 개별화각에 대응하여 얻어진 분할영상을 서버로부터 수신하고, 상기 수신된 분할영상을 입체에 매핑하고, 상기 매핑된 분할영상으로부터 상기 개별화각에 대응하는 프로젝션 영상을 생성하여 표시하는 것을 포함하는 컴퓨터프로그램제품.In a computer program product,
A memory for storing an instruction;
A processor,
Wherein the instructions, when executed by the processor, determine a respective angle of view of a screen corresponding to a display device of the plurality of screens based on a time point in accordance with a user input, and determine, from each frame on the 360- Receiving a divided image obtained corresponding to an angle of view from a server, mapping the received divided image to a three-dimensional object, and generating and displaying a projection image corresponding to the individual angle of view from the mapped divided image. 서버의 제어방법에 있어서,
복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 복수의 디스플레이장치의 각 스크린의 개별화각에 대응하는 복수의 분할영상을 생성하는 단계와;
상기 프레임별로 생성된 복수의 분할영상을 상기 대응하는 디스플레이장치로 전송하는 단계와;
시점의 이동에 따른 상기 개별화각의 변경에 대응하여 업데이트된 분할영상을 전송하는 단계를 포함하는 서버의 제어방법.In a server control method,
Generating a plurality of divided images corresponding to individual angles of view of each screen of the plurality of display devices from each frame on 360 shots constituted of a plurality of frames;
Transmitting a plurality of divided images generated for each frame to the corresponding display device;
And transmitting the updated divided image corresponding to the change of the individual angle of view according to the movement of the viewpoint. 제 16항에 있어서,
상기 복수의 디스플레이장치 중 적어도 하나로부터 상기 개별화각에 기초하여 해당 스크린에 표시된 프로젝션 영상이 상기 대응하는 분할영상의 경계영역을 초과하여 표시하는지 여부에 관한 정보를 수신하는 단계와;
상기 수신된 정보에 기초하여 상기 분할영상을 업데이트하는 단계를 포함하는 서버의 제어방법.17. The method of claim 16,
Receiving, from at least one of the plurality of display devices, information on whether a projection image displayed on the screen based on the individual angle of view exceeds a boundary area of the corresponding divided image;
And updating the divided image based on the received information. 제 16항에 있어서,
상기 복수의 디스플레이장치 각각으로 상기 360도영상의 각 프레임에 대한 레이아웃 정보를 전송하는 단계와;
상기 전송된 레이아웃 정보에 기초하여 분할영상을 전송하는 단계를 포함하고,
상기 레이아웃 정보는, 360도영상의 해당 프레임 중 복수의 스크린 각각에 대응하는 분할영상의 위치 및 크기에 관한 정보를 포함하는 서버의 제어방법.17. The method of claim 16,
Transmitting layout information for each of the 360 frames on each of the plurality of display devices;
And transmitting a divided image based on the transmitted layout information,
Wherein the layout information includes information about a position and a size of a divided image corresponding to each of a plurality of screens among corresponding frames on a 360-degree screen. 디스플레이장치의 제어방법에 있어서,
사용자입력에 따른 시점에 기초하여 복수의 스크린 중 상기 디스플레이장치에 대응하는 스크린의 개별화각을 결정하는 단계와;
복수의 프레임으로 구성된 360도영상의 각 프레임으로부터 상기 결정된 개별화각에 대응하여 얻어진 분할영상을 서버로부터 수신하는 단계와;
상기 수신된 분할영상을 입체에 매핑하는 단계와;
상기 매핑된 분할영상으로부터 상기 개별화각에 대응하는 프로젝션 영상을 생성하여 표시하는 단계를 포함하는 디스플레이장치의 제어방법.A method of controlling a display device,
Determining a respective angle of view of a screen corresponding to the display device among a plurality of screens based on a time point according to user input;
Comprising the steps of: receiving, from a server, a divided image obtained corresponding to the determined individual angle of view from each frame on a 360-degree frame composed of a plurality of frames;
Mapping the received divided images to stereoscopic images;
And generating and displaying a projection image corresponding to the individual angle of view from the mapped divided images. 제 19항에 있어서,
사용자입력을 수신하는 단계와;
상기 수신되는 사용자입력에 따라 상기 개별화각이 변경되는 경우, 상기 서버로부터 상기 개별화각의 변경에 대응하여 업데이트된 분할영상을 수신하는 단계를 포함하는 디스플레이장치의 제어방법.20. The method of claim 19,
Receiving user input;
And receiving an updated divided image corresponding to the change of the individual angle of view from the server when the individual angle of view is changed according to the received user input.
KR1020170103655A 2017-08-16 2017-08-16 Server, display apparatus and control method thereof KR102336997B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170103655A KR102336997B1 (en) 2017-08-16 2017-08-16 Server, display apparatus and control method thereof
US16/638,585 US11303871B2 (en) 2017-08-16 2018-08-02 Server and display apparatus, and control methods thereof
EP18846089.3A EP3648463A4 (en) 2017-08-16 2018-08-02 Server, display device and control method therefor
PCT/KR2018/008790 WO2019035581A1 (en) 2017-08-16 2018-08-02 Server, display device and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170103655A KR102336997B1 (en) 2017-08-16 2017-08-16 Server, display apparatus and control method thereof

Publications (2)

Publication Number Publication Date
KR20190018914A true KR20190018914A (en) 2019-02-26
KR102336997B1 KR102336997B1 (en) 2021-12-08

Family

ID=65361897

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170103655A KR102336997B1 (en) 2017-08-16 2017-08-16 Server, display apparatus and control method thereof

Country Status (4)

Country Link
US (1) US11303871B2 (en)
EP (1) EP3648463A4 (en)
KR (1) KR102336997B1 (en)
WO (1) WO2019035581A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102119123B1 (en) * 2019-08-14 2020-06-04 (주)모스트 콘텐츠 Manufacturing and controlling method for o.s.t. concert
WO2024058369A1 (en) * 2022-09-15 2024-03-21 삼성전자 주식회사 Projection apparatus and operating method thereof

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112346682A (en) * 2019-08-09 2021-02-09 北京字节跳动网络技术有限公司 Image special effect processing method and device, electronic equipment and computer readable storage medium
KR20220021229A (en) * 2020-08-13 2022-02-22 삼성전자주식회사 Display apparatus
CN111988650B (en) * 2020-08-14 2022-11-04 乐视新生代(北京)文化传媒有限公司 Video playing method, device, equipment and storage medium of three-dimensional screen
CN114416000B (en) * 2021-12-29 2024-02-20 上海赫千电子科技有限公司 Multi-screen interaction method and multi-screen interaction system applied to intelligent automobile

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109160A (en) * 2004-10-06 2006-04-20 Sony Corp Information processing device and method therefor, and program
JP2013030161A (en) * 2011-06-20 2013-02-07 Fujifilm Corp Image processor, image processing method and image processing program
KR20160118868A (en) * 2015-04-03 2016-10-12 한국전자통신연구원 System and method for displaying panorama image using single look-up table
WO2016191467A1 (en) * 2015-05-27 2016-12-01 Google Inc. Capture and render of panoramic virtual reality content

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6669346B2 (en) * 2000-05-15 2003-12-30 Darrell J. Metcalf Large-audience, positionable imaging and display system for exhibiting panoramic imagery, and multimedia content featuring a circularity of action
US8724868B2 (en) 2009-10-12 2014-05-13 Capso Vision, Inc. System and method for display of panoramic capsule images
US20130181901A1 (en) * 2012-01-12 2013-07-18 Kanye Omari West Multiple Screens for Immersive Audio/Video Experience
WO2015126144A1 (en) * 2014-02-18 2015-08-27 엘지전자 주식회사 Method and apparatus for transreceiving broadcast signal for panorama service
GB2523555B (en) 2014-02-26 2020-03-25 Sony Interactive Entertainment Europe Ltd Image encoding and display
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
KR102229927B1 (en) * 2014-08-01 2021-03-22 주식회사 엘지유플러스 Multi-Screen System, Picture Partition Server and Picture Processing Method thereof, Divided Picture Terminal and Multi-Screen Control Method thereof
KR101602879B1 (en) * 2014-09-30 2016-03-21 삼성전자주식회사 Media processing apparatus for multi-display system and method of operation thereof
KR20160054249A (en) * 2014-11-06 2016-05-16 삼성전자주식회사 System and method for multi display
EP3449340A1 (en) * 2016-04-27 2019-03-06 Immersion Device and method for sharing an immersion in a virtual environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006109160A (en) * 2004-10-06 2006-04-20 Sony Corp Information processing device and method therefor, and program
JP2013030161A (en) * 2011-06-20 2013-02-07 Fujifilm Corp Image processor, image processing method and image processing program
KR20160118868A (en) * 2015-04-03 2016-10-12 한국전자통신연구원 System and method for displaying panorama image using single look-up table
WO2016191467A1 (en) * 2015-05-27 2016-12-01 Google Inc. Capture and render of panoramic virtual reality content

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102119123B1 (en) * 2019-08-14 2020-06-04 (주)모스트 콘텐츠 Manufacturing and controlling method for o.s.t. concert
WO2024058369A1 (en) * 2022-09-15 2024-03-21 삼성전자 주식회사 Projection apparatus and operating method thereof

Also Published As

Publication number Publication date
KR102336997B1 (en) 2021-12-08
US20200221061A1 (en) 2020-07-09
WO2019035581A1 (en) 2019-02-21
US11303871B2 (en) 2022-04-12
EP3648463A1 (en) 2020-05-06
EP3648463A4 (en) 2020-06-03

Similar Documents

Publication Publication Date Title
KR102336997B1 (en) Server, display apparatus and control method thereof
US11265603B2 (en) Information processing apparatus and method, display control apparatus and method, reproducing apparatus and method, and information processing system
US9781356B1 (en) Panoramic video viewer
CN107590771B (en) 2D video with options for projection viewing in modeled 3D space
US20180309982A1 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
EP3065049A2 (en) Interactive video display method, device, and system
US8762846B2 (en) Method and system for adaptive viewport for a mobile device based on viewing angle
JP6751205B2 (en) Display device and control method thereof
US11317072B2 (en) Display apparatus and server, and control methods thereof
US20190335166A1 (en) Deriving 3d volumetric level of interest data for 3d scenes from viewer consumption data
TWI572203B (en) Media streaming system, control method and non-transitory computer readable storage medium
KR102257132B1 (en) Methods, systems and media for creating and rendering immersive video content
JP6628343B2 (en) Apparatus and related methods
US20230018560A1 (en) Virtual Reality Systems and Methods
JP2022051978A (en) Image processing device, image processing method, and program
US20220113675A1 (en) Delivering pre-rendered holographic content over a network
TWI501646B (en) Establishing z-axis location of graphics plane in 3d video display
US20120268576A1 (en) Electronic apparatus, display control method and recording medium
US20220239895A1 (en) Display apparatus and control method thereof
KR101923640B1 (en) Method and apparatus for providing virtual reality broadcast
CN117478931A (en) Information display method, information display device, electronic equipment and storage medium
EP3470974A1 (en) Selection of animated viewing angle in an immersive virtual environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right