KR20180013243A - Method and Apparatus for Providing and Storing Streaming Contents - Google Patents
Method and Apparatus for Providing and Storing Streaming Contents Download PDFInfo
- Publication number
- KR20180013243A KR20180013243A KR1020160096668A KR20160096668A KR20180013243A KR 20180013243 A KR20180013243 A KR 20180013243A KR 1020160096668 A KR1020160096668 A KR 1020160096668A KR 20160096668 A KR20160096668 A KR 20160096668A KR 20180013243 A KR20180013243 A KR 20180013243A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- image quality
- providing
- video
- quality
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 238000004891 communication Methods 0.000 claims description 39
- 239000012634 fragment Substances 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
- H04N21/26275—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for distributing content or additional data in a staggered manner, e.g. repeating movies on different channels in a time-staggered manner in a near video on demand system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
본 발명은 스트리밍 컨텐츠 제공 방법 및 이를 위한 장치에 관한 것으로서, 더욱 상세하게는 파노라마 영상이나 360 VR 영상을 기반으로 한 VR(Virtual Reality) 영상 스트리밍 서비스 제공 시, 사용자가 시청하고 있는 시청 좌표를 기준으로 각도 별 영상의 화질을 상이하게 전송하여 360 영상 서비스 제공 시 발생하는 데이터 량을 감소시키기 위한 방법 및 장치에 관한 것이다.The present invention relates to a streaming content providing method and apparatus, and more particularly, to a video streaming service providing method and apparatus for providing streaming content by providing a VR (Virtual Reality) video streaming service based on a panorama image or a 360 VR image, And more particularly, to a method and apparatus for reducing the amount of data generated when a 360-image service is provided by transmitting image quality of angular-resolution images differently.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute the prior art.
최근 특수한 안경과 장갑 등을 사용하여 인간의 시각, 청각 등 감각을 통해 컴퓨터의 소프트웨어 프로그램 내부에서 가능한 것을 현실인 것처럼 유사하게 체험할 수 있는 가상 현실(Virtual Reality; VR) 서비스에 대한 수요가 증가하고 있다.Recently, there is an increasing demand for Virtual Reality (VR) service, which can experience similar things as reality in the computer software program through the use of special glasses and gloves through the sense of human vision and hearing have.
특히, 최근에는 360도 영상을 촬영할 수 있는 카메라가 개발되고 보급되면서, 360도 VR 서비스에 대한 관심이 활발해지고 있으며, 이러한 360도 동영상을 촬영하여 스포츠 경기, 콘서트 등을 녹화하여 제공되는 등, 그 서비스의 활용성이 급격히 넓어지고 있는 실정이다.Particularly, recently, a camera capable of shooting a 360-degree image has been developed and popular, so that interest in 360-degree VR service has been actively actively promoted. Such a 360-degree video is photographed to record sports games and concerts, Service utilization is rapidly expanding.
하지만 현재 360도 동영상 스트리밍 서비스는 기존 영상 서비스 대비 최소 3배 이상의 데이터 량을 요구함으로써, 360도 영상을 모바일 망으로 전송함으로써 발생하는 데이터 소비가 부담되고 있는 실정이다.However, current 360-degree video streaming service requires at least three times the amount of data compared to the existing video service, so data consumption is generated due to transmission of 360-degree video to the mobile network.
이와 동시에 비교적 대용량인 360도 영상의 스트리밍 서비스가 활성화되는 경우, 모바일 망의 트래픽이 증가하는 문제점도 함께 가지고 있어, 이러한 문제점을 해결할 방안이 요구되고 있는 실정이다.At the same time, when the streaming service of a relatively large capacity 360-degree image is activated, there is a problem that the traffic of the mobile network increases. Therefore, a solution is needed to solve such a problem.
본 발명은 상술한 요구를 만족시키기 위하여 제안된 것으로서, 하나 이상의 조각 영상으로 분할된 360도 영상을 전송하는 경우, 사용자의 현재 시청 좌표를 기준으로 각각의 조각 영상의 화질 수준을 서로 다르게 하여 전송함으로써, 영상 서비스 제공 시 발생하는 데이터 량을 감소시키면서 모바일 망의 트래픽 부담을 줄일 수 있는 스트리밍 컨텐츠 제공 방법 및 이를 위한 장치를 제공하고자 한다.The present invention has been proposed in order to satisfy the above-mentioned demand. In the case of transmitting a 360-degree image divided into one or more pieces of image, the image quality level of each piece image is transmitted based on the current viewing coordinates of the user, A method for providing streaming contents in which traffic burden on a mobile network can be reduced while reducing the amount of data generated when a video service is provided, and an apparatus therefor.
그러나, 이러한 본 발명의 목적은 상기의 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.However, the object of the present invention is not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood from the following description.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 컨텐츠 제공 방법은 스트리밍 서버가 기 설정된 각도 범위에 따라 복수의 영상 조각으로 분할된 영상을 스트리밍 방식으로 제공하기 위환 컨텐츠 제공 방법에 있어서, 상기 스트리밍 서버에 컨텐츠 전송 요청을 한 영상 재생 장치로부터 사용자가 시청하고 있는 영상의 시청 좌표를 수신하는 단계 및 상기 시청 좌표를 기반으로 일정 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 제1 화질로 제공하고, 나머지 영상 조각을 상기 제1 화질보다 낮은 화질로 제공하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a content providing method for providing a video streamed by a streaming server divided into a plurality of video segments in a streaming manner according to a predetermined angle range, Receiving viewing coordinates of an image viewed by a user from a video reproducing apparatus that has requested a content transmission to the streaming server; and receiving at least one video piece corresponding to an angle within a certain range on the basis of the viewing coordinates as a first image quality And providing the remaining image segments with a lower image quality than the first image quality.
이때, 상기 수신하는 단계 이전에, 상기 영상 재생 장치로부터 컨텐츠 제공 요청을 수신하면, 기본 좌표로부터 일정 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 상기 제1 화질로 제공하고, 나머지 영상 조각을 상기 제1 화질보다 낮은 화질로 제공하는 단계를 더 포함할 수 있고, 상기 제공하는 단계는 상기 제1 화질로 제공되는 적어도 하나의 영상 조각과, 상기 나머지 영상 조각 간의 동기화를 수행하여 제공 할 수 있다.In this case, when receiving a content provision request from the video playback apparatus, the at least one video segment corresponding to an angle within a certain range from the basic coordinates is provided as the first image quality, And providing the image with a lower image quality than the first image quality, and the providing step may perform synchronization between at least one image piece provided with the first image quality and the remaining image piece.
또한, 상기 수신하는 단계 이후에, 상기 영상 재생 장치로부터 수신한 시청 좌표와, 그 이전에 상기 영상 재생 장치로부터 수신한 이전 시청 좌표를 기반으로 시청 좌표의 변경 속도를 산출하는 단계 및 상기 산출된 변경 속도를 기반으로 상기 일정 범위를 조정하는 단계를 더 포함할 수 있고, 상기 제공하는 단계는 상기 시청 좌표를 기반으로 제1 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 상기 제1 화질로 제공하고, 제2 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 제1 화질보다 낮은 화질인 제2 화질로 제공하며, 나머지 영상 조각을 제2 화질보다 낮은 화질인 제3 화질로 제공할 수 있다.Calculating a rate of change of the viewing coordinates based on the viewing coordinates received from the video reproducing apparatus and the previous viewing coordinates received from the video reproducing apparatus after the receiving step; The method may further include adjusting the predetermined range based on the velocity, wherein the providing step provides at least one image segment corresponding to an angle within the first range to the first image quality based on the viewing coordinates , Providing at least one image segment corresponding to an angle within the second range to a second image quality that is lower in image quality than the first image quality and providing the remaining image segments to a third image quality that is lower than the second image quality.
한편, 상술한 컨텐츠 제공 방법은 상술한 바와 같은 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체로 제공될 수 있고, 상술한 바와 같은 방법을 실행시키도록 구현되어 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램으로 제공될 수도 있다.On the other hand, the above-mentioned content providing method can be provided as a computer-readable recording medium on which a program for executing the above-described method is recorded, and is a computer program that is implemented to execute the method as described above and stored in a computer- ≪ / RTI >
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 영상 컨텐츠 저장 방법은 스트리밍 서버가 영상 촬영 장치를 통해 파노라마 형태로 촬영된 영상을 수신하는 단계 및 상기 수신된 영상을 기 설정된 각도 범위에 따라 복수의 영상 조각으로 분할하여 저장하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method for storing video content, the method comprising: receiving a panorama-captured image from a streaming server through a video image pickup device; And dividing the image into pieces and storing the divided image.
이때, 상기 저장하는 단계는 상기 분할된 각각의 영상 조각에 시간 정보를 삽입하고, 상기 삽입된 시간정보를 기반으로 동기화를 수행하여 저장할 수 있고, 상기 저장하는 단계는 상기 분할된 각각의 영상 조각을 복수의 화질로 변환하여 저장할 수 있다.In this case, the storing step may insert time information into each of the divided image pieces, perform synchronization based on the inserted time information, and store the divided pieces of image pieces, It can be converted into a plurality of image qualities and stored.
상술한 바와 같은 목적을 달성하기 위한 본 발명에 따른 스트리밍 서버는 통신망을 통해 영상 재생 장치와 데이터를 송수신하는 통신모듈, 기 설정된 각도 범위에 따라 복수의 영상 조각으로 분할된 영상을 저장하는 저장모듈 및 상기 통신모듈을 통해 컨텐츠 전송 요청을 한 영상 재생 장치로부터 사용자가 시청하고 있는 영상의 제1 시청 좌표를 수신하면, 상기 제1 시청 좌표를 기반으로 일정 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 제1 화질로 제공하고, 나머지 영상 조각을 상기 제1 화질보다 낮은 화질로 제공하도록 제어하는 제어모듈을 포함할 수 있다.According to an aspect of the present invention, there is provided a streaming server comprising: a communication module for transmitting / receiving data to / from an image reproduction apparatus through a communication network; a storage module for storing images divided into a plurality of image fragments according to a predetermined angle range; When receiving the first viewing coordinates of the image viewed by the user from the image reproducing device that has requested the content transmission through the communication module, generates at least one image fragment corresponding to an angle within a certain range based on the first viewing coordinates And a control module for providing the first image quality to the first image quality and providing the remaining image quality to a lower image quality than the first image quality.
본 발명에 따르면, 360도 카메라를 통하여 촬영된 영상을 기 설정된 각도 범위에 따라 조각 영상으로 분할하여 저장하고, 사용자의 현재 시청 좌표를 기준으로 일정 범위 내에 있는 영상을 고화질로 전송하고, 나머지 영상을 저화질로 전송함으로써, 360도 영상 서비스 제공 시 발생하는 데이터 량을 감소시키면서 모바일 망의 트래픽 부담을 줄일 수 있다.According to the present invention, an image photographed through a 360-degree camera is divided and stored as a sculptured image according to a predetermined angle range, and an image within a certain range is transmitted in a high image quality based on a user's current viewing coordinates, By transmitting the image data with a low quality, it is possible to reduce the traffic burden on the mobile network while reducing the amount of data generated when the 360-degree image service is provided.
아울러, 상술한 효과 이외의 다양한 효과들이 후술될 본 발명의 실시 예에 따른 상세한 설명에서 직접적 또는 암시적으로 개시될 수 있다.In addition, various effects other than the above-described effects can be directly or implicitly disclosed in the detailed description according to the embodiment of the present invention to be described later.
도1은 본 발명의 실시 예에 따른 컨텐츠 제공 시스템의 주요 구성을 나타낸 도면이다.
도2는 본 발명에 따른 컨텐츠 제공 방법의 실시 예를 설명하기 위한 데이터 흐름도이다.
도3은 본 발명에 따른 영상 재생 장치의 주요 구성을 설명하기 위한 블록도이다.
도4는 본 발명에 따른 스트리밍 서버의 주요 구성을 설명하기 위한 블록도이다.
도5는 본 발명의 실시 예에 따른 스트리밍 서버의 동작과정을 설명하기 위한 흐름도이다.
도6a 내지 도6c는 본 발명에 따른 실시 예를 설명하기 위한 예시도이다.1 is a diagram illustrating a main configuration of a content providing system according to an embodiment of the present invention.
2 is a data flow chart for explaining an embodiment of a content providing method according to the present invention.
3 is a block diagram for explaining a main configuration of a video reproducing apparatus according to the present invention.
4 is a block diagram illustrating a main configuration of a streaming server according to the present invention.
5 is a flowchart illustrating an operation of a streaming server according to an embodiment of the present invention.
6A to 6C are illustrations for explaining an embodiment according to the present invention.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.BRIEF DESCRIPTION OF THE DRAWINGS For a more complete understanding of the nature and advantages of the present invention, reference should be made to the following detailed description taken in conjunction with the accompanying drawings, in which:
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. It should be noted that the same constituent elements are denoted by the same reference numerals as possible throughout the drawings.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.The terms and words used in the following description and drawings are not to be construed in an ordinary sense or a dictionary, and the inventor can properly define his or her invention as a concept of a term to be described in the best way It should be construed as meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention, and not all of the technical ideas of the present invention are described. Therefore, It is to be understood that equivalents and modifications are possible.
아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.In addition, embodiments within the scope of the present invention include computer-readable media having computer-executable instructions or data structures stored on computer-readable media. Such computer-readable media can be any available media that is accessible by a general purpose or special purpose computer system. By way of example, and not limitation, such computer-readable media can comprise RAM, ROM, EPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage devices, or in the form of computer- But is not limited to, a physical storage medium such as any other medium that can be used to store or communicate certain program code means of the general purpose or special purpose computer system, .
이하의 설명 및 특허청구범위에서 본 발명에 따라 전송되는 영상은 360도 VR(Virtual Reality) 영상인 것을 가정한다.In the following description and claims, it is assumed that an image transmitted according to the present invention is a 360-degree VR (Virtual Reality) image.
다만 360도 동영상이 아니더라도, 파노라마 영상 등 하나의 영상을 적어도 하나의 영상 조각으로 분할하여 저장할 수 있다면, 어떠한 영상이더라도 본 발명의 실시 예에 따라 스트리밍 서버에서 영상 재생 장치로 전송되는 영상이 될 수 있다.However, if an image such as a panoramic image can be divided into at least one image segment and stored, the image may be transmitted from the streaming server to the image reproduction apparatus according to an embodiment of the present invention .
한편, 본 발명에서 설명하는 시청좌표는 다양한 종류의 좌표계를 기준으로 표현될 수 있다. 예를 들어, 일 실시 예에서는 3차원의 직교 좌표계로 표현되어 (x, y, z)의 형식으로 전송될 수도 있고, 구면 좌표계를 기준으로 한 각도의 정보로 전송될 수도 있다. 아울러, 본 발명에 있어서, 시청좌표는 360도 동영상 중 시청자가 시청하는 영역을 나타내는 정보로서, 영상 재생 장치(300)에서 재생중인 영상의 중심 좌표로 정의될 수 있다.On the other hand, the viewing coordinates described in the present invention can be expressed on the basis of various kinds of coordinate systems. For example, in one embodiment, it may be expressed in a three-dimensional Cartesian coordinate system and transmitted in the form of (x, y, z), or may be transmitted with information of an angle with respect to the spherical coordinate system. In addition, in the present invention, the viewing coordinates may be defined as the center coordinates of the image being reproduced in the
본 발명에서는 설명의 편의상 시청좌표가 해당하는 각도의 정보가 스트리밍 서버에 전송되는 것으로 설명한다.In the present invention, it is assumed that the angle information corresponding to the viewing coordinates is transmitted to the streaming server for convenience of explanation.
다만, (x, y, z)의 형식으로 전송될 경우, 스트리밍 서버에서 상기 좌표를 각도 정보로 변경시킬 수 있다.However, in the case of (x, y, z) format, the streaming server may change the coordinates to angle information.
그러면 이제 본 발명의 실시 예에 따른 컨텐츠 제공 방법 및 영상 컨텐츠 저장 방법에 대하여 도면을 참조하여 상세하게 설명하도록 한다.A content providing method and a video content storing method according to an embodiment of the present invention will now be described in detail with reference to the drawings.
도1은 본 발명의 실시 예에 따른 스트리밍 서비스에서 컨텐츠를 저장 및 제공하기 위한 시스템의 구성을 나타내는 도면이다.1 is a block diagram of a system for storing and providing contents in a streaming service according to an embodiment of the present invention.
도1을 참조하면, 본 실시 예에 따른 컨텐츠를 저장하고 제공하기 위한 시스템은 영상 촬영 장치(200), 영상 재생 장치(300) 및 스트리밍 서버(400)를 포함하여 구성될 수 있으며, 상기 영상 재생 장치(300)와 스트리밍 서버(400)는 통신망(100)을 통해서 데이터를 송수신할 수 있다.Referring to FIG. 1, a system for storing and providing contents according to an exemplary embodiment of the present invention may include a
그러면 도1을 참조하여 각 구성요소에 대해 개략적으로 설명하도록 한다.Each component will now be schematically described with reference to FIG.
먼저, 통신망(100)은 영상 재생 장치(300)와 스트리밍 서버(400)간 데이터 송수신을 위해 데이터를 전달하는 역할을 하며, 시스템 구현 방식에 따라 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식을 이용할 수도 있고, WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access), LTE(Long Term Evolution), LTE-A (Long Term Evolution Advanced) 등의 무선 통신 방식을 이용할 수도 있으며, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.First, the
영상 촬영 장치(200)는 영상을 촬영하여 스트리밍 서버(400)에 전송하는 장치를 의미한다.The
특히, 본 발명에서의 영상 촬영 장치(200)는 360 카메라가 될 수 있는데, 이러한 360 카메라는 360 카메라 장치의 상하좌우에 설치된 복수개의 카메라를 통하여 각 카메라의 화각에 따른 주변 영상을 각각 촬영하고, 이를 조합하여 하나의 영상을 만들게 되며, 사용자가 보고 싶어하는 시점의 영상을 사용자에게 제공할 수 있도록 한다.Particularly, the
또한, 본 발명에서의 영상 촬영 장치(200)가 360 카메라에 한정되는 것은 아니며, 파노라마 영상을 촬영할 수 있는 카메라라면 어떠한 카메라던지 본 발명에서의 영상 촬영 장치(200)가 될 수 있다.In addition, the
이러한 본 발명에서의 영상 촬영 장치(200)는 촬영한 하나의 영상을 기 설정된 각도 범위에 따라 적어도 하나의 영상 조각으로 분할하여 스트리밍 서버(400)에 전송할 수도 있고, 분할하지 않고, 하나의 영상 전체를 스트리밍 서버(400)에 전송할 수도 있다.The
영상 재생 장치(300)는 사용자의 조작에 따라 통신망(100)을 통해 스트리밍 서버(400)와 각종 데이터를 송수신할 수 있는 사용자의 장치를 의미한다.The
이러한 영상 재생 장치(300)는 통신망(100)을 통하여 음성 또는 데이터 통신을 수행할 수 있으며, 데이터의 송수신 및 처리를 위한 프로그램 및 프로토콜을 저장하는 메모리, 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비할 수 있다. 또한, 이러한 본 발명의 영상 재생 장치(300)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 영상 재생 장치(300)는 스마트 폰(smart phone), 타블렛 PC(Tablet PC), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 Player 등의 이동 단말기는 물론, 스마트 TV(Smart TV), 노트북 컴퓨터(Laptop Computer), 데스크탑 컴퓨터 등과 같은 고정 단말기가 사용될 수도 있으며, 본 발명에 따른 데이터를 송수신 할 수 있는 장치라면, 그 어떠한 장치도 본 발명의 실시 예에 따른 영상 재생 장치(300)로 이용될 수 있다.The
한편, 본 발명에 따른 영상 재생 장치(300)는 사용자의 입력에 따라 스트리밍 서버(400)로 컨텐츠 전송 요청을 하여, 스트리밍 서버(400)로부터 스트리밍 방식으로 컨텐츠를 수신할 수 있다.Meanwhile, the
특히, 영상 재생 장치(300)는 주기적 또는 사용자의 시청 좌표가 변경됨을 감지할 때마다, 스트리밍 서버(400)로 현재 사용자가 시청하고 있는 영상의 시청좌표를 전송하여, 상기 시청좌표를 기반으로 일정 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 고화질의 영상으로 제공 받고, 나머지 영상 조각을 저화질의 영상으로 제공받을 수 있다.In particular, each time the
마지막으로 스트리밍 서버(400)는 스트리밍 서버(400)에 저장되어 있거나, 영상 촬영 장치(200) 등의 외부 장치로부터 수신한 동영상 등의 컨텐츠 데이터를 통신망(100)을 통해서 스트리밍 방식으로 영상 재생 장치(300)로 전송하기 위한 장치이다.Lastly, the
특히, 본 발명에 따른 스트리밍 서버(400)는 영상 재생 장치(300)로부터 현재 사용자가 시청하고 있는 영상의 시청 좌표를 수신하면, 이를 기반으로 시청 좌표로부터 일정 범위 내에 있는 적어도 하나의 영상 조각을 고화질로 전송하고, 나머지 영상 조각을 저화질로 전송할 수 있다.In particular, when the
또한, 본 발명에 따른 스트리밍 서버(400)는 영상 촬영 장치(200)로부터 분할되지 않은 하나의 360도 영상 컨텐츠나, 파노라마 영상 컨텐츠를 수신한 경우, 상기 수신된 영상을 기 설정된 각도 범위에 따라 복수의 영상 조각으로 분할하여 저장할 수 있다.In addition, when the
이하, 본 발명에 따른 영상 재생 장치(300)와 스트리밍 서버(400)의 구체적인 동작과정은 후술하도록 한다.Hereinafter, the specific operation of the
도2는 본 발명에 따른 컨텐츠 제공 시스템의 전체 동작 과정을 설명하기 위한 데이터 흐름도이다.FIG. 2 is a data flow diagram for explaining the overall operation of the content providing system according to the present invention.
도2를 참조하면, 영상 촬영 장치(200)는 파노라마 영상을 포함하는 360 동영상을 촬영하여 스트리밍 서버(400)에 업로드한다(S101).Referring to FIG. 2, the
이때, 영상 촬영 장치는 기 설정된 각도 범위에 따라 하나의 영상을 복수의 영상 조각으로 분할하여 스트리밍 서버(400)에 업로드할 수도 있고, 하나의 영상 전체를 스트리밍 서버(400)로 전송하여, 스트리밍 서버(400)가 업로드 할 수 있도록 한다.At this time, the image capturing apparatus may divide one image into a plurality of image fragments according to a predetermined angle range, and upload the divided image fragments to the
만약, 스트리밍 서버(400)가 영상 촬영 장치(200)로부터 하나의 영상을 수신하면, 수신된 하나의 영상을 기 설정된 각도 범위에 따라 복수의 영상 조각으로 분할하여 저장할 수 있다.If the
이때, 스트리밍 서버(400)는 분할된 각각의 영상 조각을 복수의 화질로 변환하여 저장할 수 있고, 분할된 각각의 영상 조각에 시간 정보를 삽입하고, 상기 시간 정보를 기반으로 동기화를 수행하여 저장할 수 있다(S103).At this time, the streaming
예를 들어, 기 설정된 각도 범위가 120도라면, 영상 촬영 장치(200)로부터 360 영상을 수신하여, 정면 120도 (-60도 ~ +60도), 좌측 120도 (-180도~ -60도), 우측 120도 (+60도 ~ +180도)로 분할하여 영상 조각을 생성하고, 분할된 정면 120도 영상, 좌측 120도 영상, 우측 120도 영상을 각각 HD, SD급 화질 등 공간적 해상도를 기준으로 복수의 화질로 변환하거나 30fps, 60fps 등 시간적 해상도를 기준으로 복수의 화질로 변환하여 변환된 복수의 화질을 저장한다. For example, if the predetermined angle range is 120 degrees, 360 images are received from the
즉, 분할된 영상 조각인 정면 120도 영상이 다양한 화질로 스트리밍 서버(400)에 저장되며, 좌측 120도 영상과 우측 120도 영상도 다양한 화질로 스트리밍 서버(400)에 저장된다.That is, the front 120-degree image, which is a divided image fragment, is stored in the
한편, 스트리밍 서버(400)는 각각의 영상 조각에 시간 정보를 삽입하고, 삽입된 시간 정보를 기반으로 동기화를 수행하여 저장할 수 있는데, 예를 들면, 분할된 각 영상 조각이 재생되어야 할 시간 정보를 삽입한 다음 시간 정보를 기반으로 정면 120도 영상에는 'Asset 1-01', 좌측 120도 영상에는 'Asset 1-02', 우측 120도 영상에는 'Asset 1-03'등의 넘버링을 통해 동기화를 수행하고, 이를 저장할 수 있다.Meanwhile, the streaming
그 후, 영상 재생 장치(300)가 스트리밍 서버(400)로 스트리밍 컨텐츠 전송 요청과 함께 현재 사용자가 시청하고 있는 영상의 시청좌표를 전송하면(S105), 스트리밍 서버(400)는 상기 시청좌표를 기반으로 일정 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 고화질인 제1 화질로 제공하고, 나머지 영상 조각을 제1화질보다 낮은 저화질로 제공한다(S107).Thereafter, when the
한편, S105단계에서 사용자가 최초로 스트리밍 전송 요청을 한 경우, 사용자의 시청좌표는 (0, 0, 0)이 될 것이고, 이러한 경우에는 굳이 영상 재생 장치(300)로부터 시청좌표를 수신할 필요는 없으므로, 시청좌표를 수신하지 않고, 스트리밍 서버(400)가 기본 좌표인 (0, 0, 0), 즉, 0도로부터 일정 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 고화질인 제1 화질로 제공하고, 나머지 영상 조각을 제2화질보다 낮은 저화질로 제공할 수도 있다.On the other hand, if the user first makes a streaming transmission request in step S105, the viewing coordinates of the user will be (0, 0, 0). In this case, since it is not necessary to receive viewing coordinates from the
이때, 일정 범위란, 사용자의 움직임에 따라 짧은 시간 내에 시청 영상 조각이 달라질 경우를 대비하여 현재 시청 각도에 해당하는 영상 조각의 주변 조각도 고화질로 전송하기 위한 범위를 의미할 수 있다.In this case, the predetermined range may be a range for transmitting the neighboring pieces of the image pieces corresponding to the current viewing angle with high image quality in case the viewing image pieces are changed within a short time according to the movement of the user.
예를 들어, 영상 조각이 위의 예시와 달리 30도씩 12조각으로 분할 되어 있다고 가정하고, 일정 범위가 100도라면, 0도에서부터 -50도 ~ +50도 각도를 포함하는 5개의 영상 조각을 고화질로 전송하고, 나머지 영상 조각을 저화질로 전송하는 것이다.For example, assuming that the image fragment is divided into 12 pieces by 30 degrees, unlike the above example, if a certain range is 100 degrees, five image fragments including 0 degree to -50 degree to + And transmits the remaining image fragments in a low quality.
그 후, 영상 재생 장치(300)는 지속적으로 사용자가 현재 시청하고 있는 영상의 시청좌표를 스트리밍 서버(400)로 전송하게 되는데(S109), 스트리밍 서버(400)는 시청 좌표가 변경되었는지, 즉, 사용자가 시청하는 지점이 변화하였는지 여부를 판단하여(S111), 좌표가 변경되지 않은 경우, 기 보내던 스트리밍을 계속 제공하고, 좌표가 변경된 경우, 상기 영상 재생 장치(300)가 전송한 시청 좌표를 기반으로 일정 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 고화질인 제1 화질로 제공하고, 나머지 영상 조각을 제1 화질보다 낮은 저화질로 제공한다(S113~S115). Thereafter, the
이때, S113 단계에서 고화질로 제공되는 영상 조각과 저화질로 제공되는 영상 조각 간의 동기화를 수행하여 영상 재생 장치(300)로 컨텐츠를 제공할 수 있는데, 이 때, 동기화는 S103단계에서 상술한 바와 같이 각 데이터 패킷에 기입된 시간 정보 및 넘버링을 기준으로 할 수 있다.At this time, in step S113, the
또한, 좌표가 변경되어, 스트리밍 영상을 전송하는 경우, S113 단계에서 변경되기 전 시청좌표인 제1 시청좌표와 변경된 이후의 시청좌표인 제2 시청 좌표 값과, 변경되는데 걸리는 시간 등을 기반으로 변경 속도를 산출하고, 산출된 변경 속도를 기반으로 몇 개의 영상 조각을 고화질로 제공할 것인지에 대한 기준이 되는 일정 범위를 조정하여, 제2 시청좌표를 기반으로 조정된 일정 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 고화질인 제1 화질로 제공하고, 나머지 영상 조각을 제1 화질보다 낮은 저화질로 제공할 수 있다.In addition, when the streaming video is transmitted by changing the coordinates, the first viewing coordinates, which are the viewing coordinates before the change in step S113, the second viewing coordinates, which are the viewing coordinates after the change, and the time And adjusting a predetermined range as a criterion for how many image segments are to be provided in a high image quality based on the calculated change rate so as to obtain at least one image corresponding to an angle within a predetermined range adjusted based on the second viewing coordinates Can be provided as a first image quality of high image quality and the remaining image pieces can be provided with a low image quality lower than the first image quality.
예를 들어, 영상 조각이 30도씩 12조각으로 분할되어 있다고 가정하고, 초기에 설정된 일정 범위가 100도이고, 시청좌표가 +20도에 해당하는 지점의 좌표라면, -30도 ~ +70도의 좌표를 포함하는 4개의 영상 조각을 고화질로 전송하고 나머지 8조각을 저화질로 전송하게 되는데, 사용자가 좌표의 변경을 빠르게 시도하여, 시청좌표의 변경 속도가 빠르다면, 상기 일정 범위를 넓혀서 충분한 영상을 고화질로 전송함으로써, 사용자의 빠른 시청좌표 변경에 대응할 필요가 있다.For example, assuming that the image segment is divided into twelve pieces by 30 degrees, if the initial predetermined range is 100 degrees and the viewing coordinates are the coordinates corresponding to +20 degrees, the coordinates of -30 degrees to +70 degrees And the remaining 8 pieces are transmitted in a low quality. If the user changes the coordinates quickly and the changing speed of the viewing coordinates is fast, the user can enlarge the predetermined range and enlarge the image with high quality It is necessary to cope with the change of the quick viewing coordinates of the user.
따라서, 이러한 경우에는 일정 범위를 100도 보다 더 넓은 범위인 140도로 변경하여, -50도 ~ +90도의 좌표를 포함하는 6개의 영상 조각을 고화질인 제1 화질로 제공하고 나머지 6개의 영상 조각을 저화질로 제공한다.Therefore, in this case, a certain range is changed to 140 degrees, which is a range wider than 100 degrees, so that six image segments including coordinates of -50 degrees to +90 degrees are provided as a first image quality of high image quality, Provide low quality.
한편, 상술한 일정 범위는 상술한 예시에 한정되는 것은 아니며, 산출된 변경 속도에 따라 동적으로 조정될 수 있다.On the other hand, the above-mentioned certain range is not limited to the above-described example, but can be dynamically adjusted according to the calculated change rate.
이후, 사용자가 영상 재생 장치(300)를 통해 스트리밍 종료 요청을 하거나, 아니면 스트리밍 컨텐츠의 재생이 완료되어, 스트리밍 종료 요청이 있는 경우(S117), 스트리밍 종료 요청을 스트리밍 서버(400)에 전송하고(S119), 스트리밍 종료 요청이 없는 경우에는 S109단계로 돌아가서 지속적으로 스트리밍 서버(400)에 시청좌표를 전송하여, 시청좌표에 대응하는 화질을 가지는 영상 조각을 스트리밍 받는다.If the user requests the streaming end through the
단, 영상 재생 장치(300)는 사용자가 시청하는 시청 좌표가 변경된 경우에만 스트리밍 서버(400)로 시청 좌표를 전송할 수도 있으며, 이러한 경우, S111단계는 생략될 수도 있다.However, the
이상으로 본 발명에 따른 컨텐츠 제공 시스템의 동작 과정에 대해서 살펴보았다.The operation of the content providing system according to the present invention has been described above.
이하, 본 발명에 따른 영상 재생 장치(300) 및 스트리밍 서버(400)의 주요 구성에 대해서 살펴보도록 한다.Hereinafter, a main configuration of the
도3은 본 발명에 따른 영상 재생 장치(300)의 주요 구성을 나타낸 블록도이다.FIG. 3 is a block diagram showing a main configuration of an
도3을 살펴보면, 영상 재생 장치(300)는 입력모듈(310), 출력모듈(330), 저장모듈(350), 통신모듈(370) 및 제어모듈(390)을 포함할 수 있다.3, the
입력모듈(310)은 숫자 및 문자 정보 등의 다양한 정보를 입력 받고, 각종 기능을 설정 및 영상 재생 장치(300)의 기능 제어와 관련하여 입력되는 신호를 제어모듈(390)로 전달한다.The
특히, 본 발명에서 입력모듈(310)은 사용자의 행동 변화 또는 임의 입력을 감지하여, 출력모듈(330)을 통해 출력되는 영상의 시점을 변경하기 위한 신호를 제어모듈(390)로 전달한다.In particular, in the present invention, the
출력모듈(330)은 영상 재생 장치(300)의 기능 수행 중에 발생하는 일련의 동작상태 및 동작결과 등에 대한 정보를 표시한다. 또한, 출력 모듈(330)은 영상 재생 장치(300)의 메뉴 및 사용자가 입력한 사용자 데이터 등을 표시할 수 있다.The
특히, 본 발명에서 출력모듈(330)은 제어모듈(390)에 제어에 의하여 통신모듈(370)을 통해 스트리밍 서버(400)로부터 전송된 영상의 시점을 변경하여 출력한다.In particular, in the present invention, the
저장모듈(350)은 통신모듈(370)을 통해 수신한 스트리밍 컨텐츠를 저장할 수 있다.The
통신모듈(370)은 제1 통신모듈(371)과 제2 통신모듈(373)로 구분될 수 있는데, 제1 통신모듈(371)은 통신망(100)을 통해 스트리밍 서버(400)와 데이터를 송수신하기 위한 것이고, 제2 통신모듈(373)은 근거리 무선 통신 혹은 유선 통신 등을 통해 보조 영상 재생 장치(미도시)와 데이터를 송수신하기 위한 것이다.The
상기 보조 영상 재생 장치는 영상 재생 장치(300)의 출력모듈(330)을 보조하기 위한 것으로서, 출력모듈(330)을 대신하거나 출력모듈(330)과 함께 사용자가 요청한 영상 컨텐츠를 보조 영상 재생장치에서 출력할 수 있다.The auxiliary video reproducing apparatus is provided for assisting the
이때, 보조 영상 재생 장치는 영상 재생 장치(300)와 블루투스(Bluetooth), Zigbee 등의 근거리 무선 통신을 통해 연결될 수 있으며, 사용자의 입력 또는 움직임에 따라 컨텐츠의 시점을 변경하여 영상을 재생할 수 있다.At this time, the auxiliary image reproducing apparatus can be connected to the
이러한 보조 영상 재생 장치에는 가상현실 안경 등의 VR 기기가 있을 수 있다.Such an auxiliary image reproducing apparatus may include a VR apparatus such as virtual reality glasses.
제어모듈(390)은 본 발명에 따른 영상 재생 장치(300)의 동작 과정 전반을 제어하는 장치로서, 스트리밍 서버(400)에 컨텐츠 스트리밍 요청 및 현재 사용자의 시청 좌표를 전송하고, 시청 좌표를 기반으로 선택된 화질의 조각 영상을 수신하여, 사용자가 보조 영상 재생 장치(미도시) 혹은 영상 재생 장치(300)를 통해서 영상 컨텐츠를 시청할 수 있도록 제어할 수 있다.The
이 이외의 구체적인 본 발명에 따른 영상 재생 장치(300)의 제어모듈(390)이 전반적으로 제어하는 영상 재생 장치(300)의 동작과정은 앞서 설명한 도2 및 도2와 관련된 설명을 통해 쉽게 알 수 있으므로 설명을 생략하도록 한다.The operation process of the
도4는 본 발명에 따른 스트리밍 서버(400)의 주요 구성을 나타낸 블록도이다.4 is a block diagram illustrating a main configuration of a
도4를 살펴보면, 스트리밍 서버(400)는 저장모듈(410), 통신모듈(430) 및 제어모듈(450)을 포함하여 구성될 수 있다.4, the streaming
저장모듈(410)은 영상 촬영 장치(200)로부터 촬영된 영상을 수신하여 저장하는 장치로서, 상기 수신한 영상을 기 설정된 각도 범위에 따라 복수의 영상 조각으로 분할하여 저장할 수 있다.The
이때, 분할된 각각의 영상 조각을 여러 화질로 변환하고, 상기 여러 화질로 변환된 영상 조각을 저장할 수 있다.At this time, the divided image pieces can be converted into various image qualities, and the image pieces converted into the various image qualities can be stored.
즉, 각각의 영상 조각을 여러 화질로 저장할 수 있는 것이다.That is, each image piece can be stored in various image quality.
그리고, 분할된 영상 조각에는 시간 정보가 삽입될 수 있고, 이러한 시간 정보는 동기화를 수행하는데 기반이 된다.Time information can be inserted into the divided image fragments, and this time information is based on performing synchronization.
통신모듈(430)은 제1 통신모듈(431)과 제2 통신모듈(433)로 구분될 수 있는데, 제1 통신모듈(431)은 통신망(100)을 통해 영상 재생 장치(300)와 데이터를 송수신하기 위한 것으로서, 조각 영상을 영상 재생 장치(300)로 스트리밍 하거나, 영상 재생 장치(300)로부터 스트리밍 요청 및 시청 좌표를 수신할 수 있다.The
제2 통신모듈(433)은 영상 촬영 장치(200)와 데이터를 송수신하기 위한 것으로서, 영상 촬영 장치(200)가 촬영한 360 동영상 또는 파노라마 영상을 수신할 수 있다.The second communication module 433 is for transmitting and receiving data to and from the
제어모듈(450)은 본 발명에 따른 스트리밍 서버(400)의 동작과정 전반을 제어하는 장치이다.The
이러한 제어모듈(450)이 제어하는 스트리밍 서버(400)의 동작과정 전반에 대하여 도5 내지 도6c를 통해 구체적으로 살펴보도록 한다.The overall operation of the
도5를 보면, 스트리밍 서버(400)는 영상 촬영 장치(200)로부터 360 동영상이나 파노라마 영상을 수신하여, 기 설정된 각도 범위에 따라 복수의 영상 조각으로 분할하고, 분할된 영상 조각을 각각 복수의 화질로 변환하여 저장한다. 5, the streaming
이때, 복수의 화질로 변환된 영상 조각 각각에 시간 정보를 삽입하고, 상기 삽입된 시간 정보를 기반으로 동기화를 수행하여 저장할 수도 있다(S201).At this time, time information may be inserted into each of the image fragments converted into a plurality of image qualities, and synchronization may be performed based on the inserted time information (S201).
여기서, 기 설정된 각도 범위는 영상을 제공하는 스트리밍 서비스 제공자가 하나의 영상을 복수의 영상 조각으로 분할하기 위해 미리 설정한 각도 범위로서, 도5 내지 도6c와 관련된 설명에서는 설명의 편의를 위하여 360 동영상을 72도씩 5조각으로 분할하여 저장한 것을 가정하고 설명한다.Here, the predetermined angle range is a predetermined angle range for dividing one image into a plurality of image fragments by the streaming service provider providing the image. In the description related to Figs. 5 to 6C, Is divided into 5 pieces by 72 degrees and stored.
즉, 기 설정된 각도 범위는 72도인 것으로 가정하고 설명하도록 하겠다.That is, it is assumed that the predetermined angle range is 72 degrees.
하지만 실제 발명의 구현에서 이러한 각도에 제한되는 것은 아니며 스트리밍 서비스 제공자의 필요에 따라 설정되는 각도 범위는 달라질 수 있다.However, the present invention is not limited to such angles, and the range of angles set according to the needs of the streaming service provider may vary.
도6a를 참조하면, 영상 촬영 장치(200)로부터 수신한 영상을 1~5번까지의 영상으로 분할하고, 1~5번까지의 영상을 복수의 화질로 변환하여 저장할 수 있다.Referring to FIG. 6A, an image received from the
이후, 영상 재생 장치(300)로부터 스트리밍 요청 및 현재 사용자가 시청하고 있는 시청 좌표를 수신하면, 상기 시청 좌표를 기반으로 일정 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 고화질인 제1 화질로 제공하고, 나머지 영상 조각을 제1 화질보다 낮은 화질로 제공할 수 있는데(S203~S207), 도6b를 보면, 첫 스트리밍 요청에 의한 시청 좌표는 디폴트 값으로 설정된 0도에 해당할 것인바, 영상 재생 장치(300)로부터 0도에 해당하는 시청좌표를 수신하면, 0도가 포함되는 3번 영상은 고화질인 제1 화질로 전송하고, 그 주변 영상인 2, 4번의 화질은 그보다 낮은 화질인 제2 화질로 전송하며, 3번 영상으로부터 멀리 떨어진 1, 5번 영상은 더 낮은 화질인 제3 화질로 전송할 수 있다.Thereafter, upon receipt of the streaming request and the viewing coordinates currently viewed by the user from the
하지만 서비스 제공자의 정책에 따라, 1, 5번 영상도 제2 화질로 전송할 수 있음은 당연하다.However, according to the policy of the service provider, it is natural that the first and fifth images can be transmitted in the second image quality.
또한, 최초의 스트리밍 요청이 있는 경우, 영상 재생 장치(300)로부터 시청 좌표를 수신하지 않고, 미리 지정된 기본 좌표로부터 일정 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 고화질인 제1화질로 제공하고, 나머지 영상 조각을 제1 화질보다 낮은 화질로 전송할 수 있는데, 여기서, 기본 좌표는 시청자에게 최초로 보여줄 화면이 될 수 있고, 일반적으로 0도를 포함하는 3번 영상이 될 수 있다.If there is an initial streaming request, at least one image fragment corresponding to an angle within a certain range from a predetermined basic coordinate is provided as a first image quality of high image quality without receiving viewing coordinates from the
즉, 최초의 스트리밍 요청을 수신한 경우, 스트리밍 서버(400)는 시청 좌표의 수신 없이 3번 영상을 고화질로, 1, 2, 4, 5번 영상을 저화질로 전송할 수 있는 것이다.That is, when the first streaming request is received, the streaming
한편, 상술한 일정 범위가 기 설정된 각도의 반인 36도를 초과하는 경우, 이를 테면, 일정 범위가 180도인 경우에 스트리밍 서버(400)는 -90도 ~ +90도를 포함하는 영상 조각인 2 내지 4번 영상을 고화질로 전송하고, 1, 5번 영상을 저화질로 전송할 것이다.If the predetermined range is more than 36 degrees, which is half of the predetermined angle, for example, if the predetermined range is 180 degrees, the streaming
그 후에도 스트리밍 서버(400)는 지속적으로 영상 재생 장치(300)로부터 시청좌표를 새롭게 수신한다(S209). 이하, 설명의 편의상 이전에 수신한 시청 좌표를 제1 시청좌표라고 명명하고, 새롭게 수신한 시청 좌표를 제2 시청좌표라고 명명한다.After that, the streaming
영상 재생 장치(300)로부터 제2 시청좌표를 수신한 스트리밍 서버(400)는 제1 시청좌표와 비교하여, 시청좌표가 변경되었는지를 판단하고(S211), 시청좌표가 변경되지 않았다면, 기 전송하던 화질에 맞춰 영상 조각을 계속 스트리밍하고, 시청좌표가 변경된 경우, 제1 시청 좌표와 제2 시청좌표를 기반으로 시청 좌표의 변경 속도를 산출하고, 산출된 변경 속도를 토대로 고화질로 전송할 조각 영상의 일정 범위를 조정한다(S213).The streaming
즉, 제2 시청 좌표가 30도에 해당하고, 변경 속도가 보통인 경우, 일정 범위를 60도로 하여, 도6c와 같이 0도 ~ +60도를 포함하는 3, 4번 영상을 고화질로, 나머지 영상 조각을 저화질로 전송할 수 있다(S215).That is, when the second viewing coordinates correspond to 30 degrees and the changing speed is normal, a certain range is set to 60 degrees, and
이때, 일정 범위를 더 세분화 시켜, 0도~+60도를 포함하는 3, 4번 영상은 고화질로 전송하고, -60도~0도 및 +60도~+120도 범위에 있는 2, 5번 영상은 고화질보다 낮은 중간 정도의 화질로 전송하며, -120도~-60도 범위에 있는 1번 영상은 중간 정도의 화질 보다 낮은 저화질로 전송할 수도 있다.In this case, a certain range is further subdivided and
만약 산출된 변경 속도가 빠름에 해당한다면, 일정 범위를 180도 정도로 넓게 조정하여, -60도 ~ +120도를 포함하는 2번 내지 5번 영상을 고화질로, 나머지 1번 영상을 저화질로 전송할 수도 있다.If the calculated change speed is fast, it is possible to adjust the range to be 180 degrees or so, to transmit the second to fifth images including -60 degrees to +120 degrees to the high image quality and the remaining first image to the low image quality have.
이후에는 스트리밍 전송 종료 요청이 영상 재생 장치(300)로부터 있는지를 살피고(S217), 스트리밍 전송 종료 요청이 있기 전까지 S209 단계부터 S215단계를 반복하면서, 사용자에게 스트리밍 서비스를 제공할 수 있다.Thereafter, it is checked whether the streaming transmission end request is from the video reproducing apparatus 300 (S217), and the streaming service can be provided to the user while repeating steps S209 to S215 until a streaming transmission end request is received.
한편, S209단계에서 영상 재생 장치(300)는 스트리밍 서버(400)에 주기적 또는 실시간으로 시청 좌표를 전송할 수도 있으나, 사용자의 시청 시점, 즉, 시청 좌표에 변경이 생긴 경우에만 시청 좌표를 스트리밍 서버(400)에 전송할 수도 있고, 이러한 경우, S211단계는 생략될 수 있고, 스트리밍 서버(400)는 변경된 시청 좌표가 수신될 때까지 기존에 제공하던 화질로 각각의 영상 조각을 영상 재생 장치(300)에 계속 제공하게 될 것이다.On the other hand, in step S209, the
또한, S205~S207 단계 및 S215 단계에서 영상 조각을 영상 재생 장치(300)에 제공할 때, 스트리밍 서버(400)는 영상 조각들을 동기화하여 제공할 수 있고, 이때, 동기화는 S201단계에서 각 영상 조각에 기입한 시간 정보 및 넘버링을 기초로 수행할 수 있다.In addition, when providing the video segments to the
특히, S201단계에서 동기화를 수행하지 않고, 시간 정보 및 넘버링만을 하여 스트리밍 서버(400)에 영상을 저장한 경우, S205~S207 및 S215단계에서의 동기화 수행은 필요한 작업이라고 할 것이다.In particular, if the image is stored in the
이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. As described above, the present specification contains details of a number of specific implementations, but they should not be construed as being limitations on the scope of any invention or claimability, but rather on the particular embodiment of a particular invention But should be understood as an explanation of the features.
또한, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.Also, while the operations are depicted in the drawings in a particular order, it should be understood that such operations must be performed in that particular order or sequential order shown to achieve the desired result, or that all illustrated acts must be performed. In certain cases, multitasking and parallel processing may be advantageous. Also, the separation of the various system components of the above-described embodiments should not be understood as requiring such separation in all embodiments, and the described program components and systems will generally be integrated together into a single software product or packaged into multiple software products It should be understood.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 통상의 기술자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 통상의 기술자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.The description sets forth the best modes of the present invention and provides examples for the purpose of illustrating the invention and enabling a person skilled in the art to make and use the invention. The written description is not intended to limit the invention to the specific terminology presented. Thus, while the present invention has been described in detail with reference to the above examples, those skilled in the art will recognize that modifications, changes, and modifications can be made thereto without departing from the scope of the present invention.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.Therefore, the scope of the present invention should not be limited by the described embodiments but should be defined by the claims.
본 발명은 스트리밍 컨텐츠 제공 방법 및 이를 위한 장치에 관한 것으로서, 더욱 상세하게는 파노라마 영상이나 360 VR 영상을 기반으로 한 VR(Virtual Reality) 영상 스트리밍 서비스 제공 시, 사용자가 시청하고 있는 시청 좌표를 기준으로 각도 별 영상의 화질을 상이하게 전송하여 360 영상 서비스 제공 시 발생하는 데이터 량을 감소시키기 위한 방법 및 장치에 관한 것이다.The present invention relates to a streaming content providing method and apparatus, and more particularly, to a video streaming service providing method and apparatus for providing streaming content by providing a VR (Virtual Reality) video streaming service based on a panorama image or a 360 VR image, And more particularly, to a method and apparatus for reducing the amount of data generated when 360 image services are provided by transmitting different image qualities of angular images.
본 발명에 따르면, 360도 카메라를 통하여 촬영된 영상을 기 설정된 각도 범위에 따라 조각 영상으로 분할하여 저장하고, 사용자의 현재 시청 좌표를 기준으로 일정 범위 내에 있는 영상을 고화질로 전송하고, 나머지 영상을 저화질로 전송함으로써, 360도 영상 서비스 제공 시 발생하는 데이터 량을 감소시키면서 모바일 망의 트래픽 부담을 줄일 수 있다.According to the present invention, an image photographed through a 360-degree camera is divided and stored as a sculptured image according to a predetermined angle range, and an image within a certain range is transmitted in a high image quality based on a user's current viewing coordinates, By transmitting the image data with a low quality, it is possible to reduce the traffic burden on the mobile network while reducing the amount of data generated when the 360-degree image service is provided.
따라서, 상기의 컨텐츠 전송 방법을 통해 스트리밍 서비스 산업 발전에 이바지 할 수 있고, 더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.Therefore, the present invention can contribute to the development of the streaming service industry through the above-mentioned contents transmission method. In addition, the present invention has a possibility of industrial use because it has a possibility of being commercially available or operating and is practically possible to carry out clearly.
100: 통신망 200: 영상 촬영 장치 300: 영상 재생 장치
400: 스트리밍 서버 310: 영상 재생 장치의 입력모듈
330: 영상 재생 장치의 출력모듈
350: 영상 재생 장치의 저장모듈
370: 영상 재생 장치의 통신모듈
390: 영상 재생 장치의 제어모듈
410: 스트리밍 서버의 저장모듈
430: 스트리밍 서버의 통신모듈
450: 스트리밍 서버의 제어모듈100: communication network 200: image capturing apparatus 300: image reproducing apparatus
400: streaming server 310: input module of video reproducing apparatus
330: Output module of the video reproducing apparatus
350: Storage module of the image reproducing apparatus
370: Communication module of the video reproducing apparatus
390: Control module of video reproducing apparatus
410: Storage module of the streaming server
430: Communication module of the streaming server
450: Control module of the streaming server
Claims (11)
상기 스트리밍 서버에 컨텐츠 전송 요청을 한 영상 재생 장치로부터 사용자가 시청하고 있는 영상의 시청 좌표를 수신하는 단계; 및
상기 시청 좌표를 기반으로 일정 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 제1 화질로 제공하고, 나머지 영상 조각을 상기 제1 화질보다 낮은 화질로 제공하는 단계;
를 포함하는 컨텐츠 제공 방법.A streaming content providing method for providing a video streamed by a streaming server in a streaming manner according to a predetermined angle range,
Receiving viewing coordinates of an image viewed by a user from a video reproducing apparatus which has made a content transmission request to the streaming server; And
Providing at least one image segment corresponding to an angle within a certain range based on the viewing coordinates as a first image quality and providing the remaining image segments with an image quality lower than the first image quality;
The content providing method comprising the steps of:
상기 영상 재생 장치로부터 컨텐츠 제공 요청을 수신하면, 기본 좌표로부터 일정 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 상기 제1 화질로 제공하고, 나머지 영상 조각을 상기 제1 화질보다 낮은 화질로 제공하는 단계;
를 더 포함하는 것을 특징으로 하는 컨텐츠 제공 방법.2. The method of claim 1,
When receiving the content providing request from the video reproducing apparatus, providing at least one video piece corresponding to an angle within a certain range from the basic coordinates to the first video quality and providing the remaining video pieces with a lower video quality than the first video quality step;
The method of claim 1, further comprising:
상기 제1 화질로 제공되는 적어도 하나의 영상 조각과, 상기 나머지 영상 조각 간의 동기화를 수행하여 제공하는 것을 특징으로 하는 컨텐츠 제공 방법.2. The method of claim 1, wherein providing
And synchronizing at least one video piece provided with the first image quality and the remaining video piece with each other.
상기 영상 재생 장치로부터 수신한 시청 좌표와, 그 이전에 상기 영상 재생 장치로부터 수신한 이전 시청 좌표를 기반으로 시청 좌표의 변경 속도를 산출하는 단계; 및
상기 산출된 변경 속도를 기반으로 상기 일정 범위를 조정하는 단계;
를 더 포함하는 것을 특징으로 하는 컨텐츠 제공 방법.2. The method of claim 1,
Calculating a changing rate of the viewing coordinates on the basis of the viewing coordinates received from the image reproducing apparatus and the previous viewing coordinates previously received from the image reproducing apparatus; And
Adjusting the predetermined range based on the calculated change rate;
The method of claim 1, further comprising:
상기 시청 좌표를 기반으로 제1 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 상기 제1 화질로 제공하고, 제2 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 제1 화질보다 낮은 화질인 제2 화질로 제공하며, 나머지 영상 조각을 제2 화질보다 낮은 화질인 제3 화질로 제공하는 것을 특징으로 하는 컨텐츠 제공 방법.2. The method of claim 1, wherein providing
At least one image segment corresponding to an angle within a first range based on the viewing coordinates is provided as the first image quality and at least one image segment corresponding to an angle within a second range is provided as an image segment having an image quality lower than the first image quality, 2 image quality, and the remaining image fragments are provided in a third image quality lower than the second image quality.
상기 수신된 영상을 기 설정된 각도 범위에 따라 복수의 영상 조각으로 분할하여 저장하는 단계;
를 포함하는 영상 컨텐츠 저장 방법.The streaming server receiving an image photographed through the image photographing apparatus; And
Dividing the received image into a plurality of image pieces according to a predetermined angle range, and storing the divided image pieces;
And storing the image content.
상기 분할된 각각의 영상 조각에 시간 정보를 삽입하고, 상기 삽입된 시간정보를 기반으로 동기화를 수행하여 저장하는 것을 특징으로 하는 영상 컨텐츠 저장 방법.9. The method of claim 8, wherein the storing
Inserting time information into each of the divided image segments, and performing synchronization based on the inserted time information and storing the image content.
상기 분할된 각각의 영상 조각을 복수의 화질로 변환하여 저장하는 것을 특징으로 하는 영상 컨텐츠 저장 방법.9. The method of claim 8, wherein the storing
Wherein each of the divided image fragments is converted into a plurality of image qualities and stored.
기 설정된 각도 범위에 따라 복수의 영상 조각으로 분할된 영상을 저장하는 저장모듈; 및
상기 통신모듈을 통해 컨텐츠 전송 요청을 한 영상 재생 장치로부터 사용자가 시청하고 있는 영상의 제1 시청 좌표를 수신하면, 상기 제1 시청 좌표를 기반으로 일정 범위 내의 각도에 해당하는 적어도 하나의 영상 조각을 제1 화질로 제공하고, 나머지 영상 조각을 상기 제1 화질보다 낮은 화질로 제공하도록 제어하는 제어모듈;
을 포함하는 스트리밍 서버.A communication module for transmitting and receiving data to and from the video reproducing apparatus through a communication network;
A storage module for storing an image segmented into a plurality of image segments according to a predetermined angle range; And
When receiving the first viewing coordinates of the image viewed by the user from the image reproducing device that has requested the content transmission through the communication module, generates at least one image fragment corresponding to an angle within a certain range based on the first viewing coordinates A control module for providing the first image quality as a first image quality and providing the remaining image pieces as an image quality lower than the first image quality;
A streaming server comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160096668A KR102524987B1 (en) | 2016-07-29 | 2016-07-29 | Method and Apparatus for Providing and Storing Streaming Contents |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160096668A KR102524987B1 (en) | 2016-07-29 | 2016-07-29 | Method and Apparatus for Providing and Storing Streaming Contents |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180013243A true KR20180013243A (en) | 2018-02-07 |
KR102524987B1 KR102524987B1 (en) | 2023-04-21 |
Family
ID=61204397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160096668A KR102524987B1 (en) | 2016-07-29 | 2016-07-29 | Method and Apparatus for Providing and Storing Streaming Contents |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102524987B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200111410A (en) * | 2019-03-19 | 2020-09-29 | 한국전자기술연구원 | Division video distributed decoding method and system for tiled streaming |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060104811A (en) * | 2005-03-31 | 2006-10-09 | 엘지전자 주식회사 | Method and apparatus for controlling picture quality of (an) image display device |
JP2008072323A (en) * | 2006-09-13 | 2008-03-27 | Fujitsu Ltd | Photographic system |
KR20110110543A (en) * | 2010-04-01 | 2011-10-07 | 엘지전자 주식회사 | Display device and viewing-angle control methods inthe same |
KR101634966B1 (en) | 2016-04-05 | 2016-06-30 | 삼성지투비 주식회사 | Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof |
KR20160079357A (en) * | 2014-12-26 | 2016-07-06 | 주식회사 케이티 | Method for sending video in region of interest from panoramic-video, server and device |
KR20160125708A (en) * | 2015-04-22 | 2016-11-01 | 삼성전자주식회사 | Method and apparatus for transmitting and receiving image data for virtual reality streaming service |
-
2016
- 2016-07-29 KR KR1020160096668A patent/KR102524987B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060104811A (en) * | 2005-03-31 | 2006-10-09 | 엘지전자 주식회사 | Method and apparatus for controlling picture quality of (an) image display device |
JP2008072323A (en) * | 2006-09-13 | 2008-03-27 | Fujitsu Ltd | Photographic system |
KR20110110543A (en) * | 2010-04-01 | 2011-10-07 | 엘지전자 주식회사 | Display device and viewing-angle control methods inthe same |
KR20160079357A (en) * | 2014-12-26 | 2016-07-06 | 주식회사 케이티 | Method for sending video in region of interest from panoramic-video, server and device |
KR20160125708A (en) * | 2015-04-22 | 2016-11-01 | 삼성전자주식회사 | Method and apparatus for transmitting and receiving image data for virtual reality streaming service |
KR101634966B1 (en) | 2016-04-05 | 2016-06-30 | 삼성지투비 주식회사 | Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200111410A (en) * | 2019-03-19 | 2020-09-29 | 한국전자기술연구원 | Division video distributed decoding method and system for tiled streaming |
Also Published As
Publication number | Publication date |
---|---|
KR102524987B1 (en) | 2023-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11483629B2 (en) | Providing virtual content based on user context | |
US10686985B2 (en) | Moving picture reproducing device, moving picture reproducing method, moving picture reproducing program, moving picture reproducing system, and moving picture transmission device | |
US10277890B2 (en) | System and method for capturing and viewing panoramic images having motion parallax depth perception without image stitching | |
CN108769726B (en) | Multimedia data pushing method and device, storage medium and equipment | |
JP2016025633A (en) | Information processing apparatus, management device, information processing method, and program | |
US20220103873A1 (en) | Computer program, method, and server apparatus | |
EP3039476B1 (en) | Head mounted display device and method for controlling the same | |
KR101830786B1 (en) | Apparatus for generating script, apparatus for playing video, and method for controlling screen relating to video based on 360 degree | |
WO2016209438A1 (en) | View interpolation for visual storytelling | |
KR20180052255A (en) | Method and Apparatus for Providing and Storing Streaming Contents | |
US11272224B2 (en) | Information processing device and method | |
KR20180038256A (en) | Method, and system for compensating delay of virtural reality stream | |
CN105939497A (en) | Media streaming system and media streaming method | |
US11568893B2 (en) | Image acquisition system and method | |
EP3465631B1 (en) | Capturing and rendering information involving a virtual environment | |
CN108134928A (en) | VR display methods and device | |
CN113938620B (en) | Image processing method, mobile terminal and storage medium | |
CN111246261A (en) | Content delivery method, device and system | |
CN106954093B (en) | Panoramic video processing method, device and system | |
GB2567136A (en) | Moving between spatially limited video content and omnidirectional video content | |
KR20180013243A (en) | Method and Apparatus for Providing and Storing Streaming Contents | |
WO2018196530A1 (en) | Video information processing method, terminal, and computer storage medium | |
US20140267870A1 (en) | Mixed media from multimodal sensors | |
EP3635958B1 (en) | Image processing device and system | |
KR102542507B1 (en) | Method and Apparatus for Providing Additional Information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |