KR20110019955A - Scalable video playing system and method using resolution signaling - Google Patents

Scalable video playing system and method using resolution signaling Download PDF

Info

Publication number
KR20110019955A
KR20110019955A KR1020090077590A KR20090077590A KR20110019955A KR 20110019955 A KR20110019955 A KR 20110019955A KR 1020090077590 A KR1020090077590 A KR 1020090077590A KR 20090077590 A KR20090077590 A KR 20090077590A KR 20110019955 A KR20110019955 A KR 20110019955A
Authority
KR
South Korea
Prior art keywords
resolution
final
video
scalable video
information
Prior art date
Application number
KR1020090077590A
Other languages
Korean (ko)
Other versions
KR101124723B1 (en
Inventor
배태면
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020090077590A priority Critical patent/KR101124723B1/en
Publication of KR20110019955A publication Critical patent/KR20110019955A/en
Application granted granted Critical
Publication of KR101124723B1 publication Critical patent/KR101124723B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PURPOSE: A scalable video regenerating system using resolution signaling is provided to perform the regeneration of a specific resolution in a decoder and to output the scalable video in the decoder using resolution signaling. CONSTITUTION: A transmitting unit(110) transmits a scalable video that includes final reproduction resolution information. A receiving unit(130) generates scalable video original data by decoding a received scalable video. The receiving unit compares the final regenerating resolution information of the scalable video with the resolution of scalable video original data. The receiving unit interpolates scalable video original data.

Description

해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법{Scalable video playing system and method using resolution signaling}Scalable video playing system and method using resolution signaling

본 발명은 스케일러블 비디오 재생 시스템 및 방법에 관한 것으로서, 더욱 상세하게는 디코더의 최종 해상도와, 재생되는 스케일러블 비디오의 해상도가 다름을 디코더에 알려주기 위해, 인코더 또는 비트스트림 추출기에서 최종 재생 해상도를 나타내는 시그널을 비트스트림에 삽입하여 디코더에 알리고, 디코더가 해당 시그널을 해석하여 최종 재생 해상도에 맞게 스케일러블 비디오를 디코딩하여 출력하도록 된, 해상도 시그널링을 이용한 스케일러블 비디오 재생 시스템 및 방법에 관한 것이다.The present invention relates to a scalable video playback system and method. More particularly, the present invention relates to a decoder or a bitstream extractor to notify a decoder that a resolution of a decoder is different from a resolution of a scalable video to be played back. The present invention relates to a scalable video playback system and method using resolution signaling, by inserting an indicating signal into a bitstream to notify a decoder, and the decoder interprets the corresponding signal to decode and output scalable video according to a final playback resolution.

이동통신 네트워크에서는 PDA, 핸드폰 그리고 노트북에 이르는 다양한 단말에 서비스가 지원되고 있으며, ASDL과 같은 유선 네트워크에서는 PC등이 서비스되고, 머지않아 IP TV와 같은 더욱더 다양한 형태의 단말이 통합되는 네트워크에서 서비스를 지원받게 된다. 멀티미디어 콘텐츠를 다양하고 효율적으로 서비스하기 위 한 MPEG-21 프레임워크에서는 저작권보호와 관련된 DRM(Digital Right Management), 적응변환 DIA(Digital Item Adaptation), 디지털 아이템 기술자 DID(Digital Item Declaration)등의 많은 기능을 통합시켜서 다양한 기능을 지원할 수 있도록 하였다.In mobile communication networks, services are provided to various terminals such as PDAs, mobile phones, and laptops.In wired networks such as ASDL, PCs are serviced, and in the near future, services are being integrated in networks in which more and more types of terminals such as IP TV are integrated. You will be supported. In order to serve multimedia contents efficiently and efficiently, MPEG-21 framework has many functions such as digital rights management (DRM) related to copyright protection, digital item adaptation (DIA), digital item descriptor (DID), etc. It is integrated to support various functions.

이러한 서로 다른 네트워크 환경에서 다양한 단말에 비디오 스트리밍 서비스를 제공하기 위해서는 소비 환경에 맞는 품질의 고려가 필수적이며, 네트워크 대역폭, 단말의 종류 및 소비자의 선호도에 맞는 품질의 콘텐츠를 제공해야만 한다. 보다 효율적으로 다양한 소비환경에 멀티미디어 콘텐츠를 적응시키기 위하여 개발된 스케일러블 비디오 코딩(SVC: Scalable Video Coding) 기술은 비디오를 소비 환경에 적응시키기 위하여 다시 재생산을 수행할 필요 없이 비트스트림에서 직접 적응변환을 수행할 수 있도록 지원한다. 기존의 소비환경에 맞도록 재생산하는 방법에 비하여 더욱 효율적이고 빠르게 네트워크 및 컨텐츠 소비 환경에 맞게 적응변환을 수행할 수 있다.In order to provide video streaming services to various terminals in these different network environments, it is necessary to consider the quality suitable for the consumption environment, and to provide content of quality suitable for the network bandwidth, the type of terminal, and the consumer's preference. Scalable Video Coding (SVC) technology, developed to adapt multimedia contents to various consumption environments more efficiently, does not need to perform re-production to adapt the video to the consumption environment. Support to do it. It is possible to perform adaptive conversion more efficiently and quickly for the network and content consumption environment than the reproduction method for the existing consumption environment.

한편, 대표적인 스케일러블 비디오 코딩(SVC: Scalable Video Coding) 기술인 MPEG-4 AVC/H.264의 Scalable Video Coding(SVC)은 고압축 성능의 MPEG-4 AVC/H.264 비디오 코덱(video codec)에 해상도, 프레임율, 화질에 대한 scalability를 제공할 수 있도록 새로이 표준화된 video coding standard이다. 한 번 encoding된 비디오를 re-encoding이나 transcoding없이 bitstream의 일부를 제거함으로써 해상도, 프레임율, 화질을 변경시킬 수 있어, OSME(One Source Multi-Use)가 가능하고, 네트워크 상황에 맞게 전송하는 adaptive video streaming 기술 에 적용이 가능한 video encoding 기술이다.Meanwhile, the scalable video coding (SVC) of MPEG-4 AVC / H.264, which is a representative scalable video coding (SVC) technology, has a resolution in a high compression performance MPEG-4 AVC / H.264 video codec. It is a newly standardized video coding standard to provide scalability for video, frame rate and picture quality. By removing part of the bitstream without re-encoding or transcoding once encoded video, resolution, frame rate, and quality can be changed, OSME (One Source Multi-Use) is possible, and adaptive video is transmitted according to network conditions. Video encoding technology that can be applied to streaming technology.

SVC는 동적으로 비디오의 해상도를 변경할 수 있다. 이를 위해 EIDR과 같은 동적 해상도 변환과 관련된 부호화 기술이 Nokia에 의해 제안되어 SVC의 표준화 tool로 적용되었으며, 이를 위한 SEI(Supplemental enhancement information) 정보가 표준화되어 있다. 현재 표준화된 SEI는 해상도 변경을 알리는 SEI들이 표준화 되어 있어 decoder에게 해상도가 향상되거나 저하되는 것을 실시간으로 signaling할 수 있다.SVC can dynamically change the resolution of the video. To this end, encoding techniques related to dynamic resolution conversion such as EIDR have been proposed by Nokia and applied as a standardization tool of SVC, and SEI (Supplemental enhancement information) information is standardized for this purpose. Currently, the standardized SEI is standardized SEIs for notifying the change of resolution, so that the decoder can signal in real time that the resolution is improved or decreased.

현재 SVC는 해상도 변경에 대해 decoder에게 bit stream decoding을 위해 signaling해 주는 SEI를 가지고 있다. Bit stream에서 또는 서버로부터 이러한 SEI를 decoder가 받으면 decoder는 해상도가 변경된 것을 알고 이에 맞게 decoder의 최종 해상도를 결정하여 decoding한다. Currently, SVC has an SEI that signals a decoder for bit stream decoding about a resolution change. When the decoder receives this SEI in the bit stream or from the server, the decoder knows that the resolution has changed and determines and decodes the final resolution of the decoder accordingly.

이렇게 decoding된 비디오를 재생하여 실시간으로 시청하면, 해상도가 커졌다 작아지는 현상을 볼 수 있어서 사용자가 시청하는 데 방해가 될 수 있다. 또한 최근의 연구 결과는 고해상도에서 저비트율로 부호화하는 것보다 저해상도에서 저비트율로 부호화하고 이를 보간(interpolation)하여 고해상도에 맞추어 보여주는 경우가 더 나은 주관적 화질을 보이는 경우를 보여 주었다. 위의 두 경우, decoder의 최종 해상도와 재생되는 해상도가 다름을 decoder에 알려줄 수 있는 signaling 기술이 필요하다.When the decoded video is played and viewed in real time, the resolution may be increased or decreased, which may interfere with the user's viewing. In addition, recent research results show that subjective image quality is better than encoding at low bitrate at low resolution and interpolating and displaying at high resolution than encoding at low bitrate at high resolution. In the above two cases, a signaling technique for informing the decoder of the difference between the final resolution and the reproduced resolution is needed.

전술한 문제점을 해결하기 위한 본 발명의 목적은, 디코더의 최종 해상도와, 재생되는 스케일러블 비디오의 해상도가 다름을 디코더에 알려주기 위해, 인코더 또는 비트스트림 추출기에서 최종 재생 해상도를 나타내는 시그널을 비트스트림에 삽입하여 디코더에 알리고, 디코더가 해당 시그널을 해석하여 최종 재생 해상도에 맞게 스케일러블 비디오를 디코딩하여 출력하도록 된, 스케일러블 비디오 재생 시스템 및 방법, 스케일러블 비디오 재생 장치 및 그의 스케일러블 비디오 재생 방법을 제공함에 있다.SUMMARY OF THE INVENTION An object of the present invention for solving the above problems is to bitstream a signal representing a final playback resolution in an encoder or bitstream extractor to inform the decoder that the resolution of the decoder is different from the resolution of the scalable video being played back. A scalable video playback system and method, a scalable video playback device, and a scalable video playback method thereof, which are inserted into a signal to inform the decoder, and the decoder interprets the signal to decode and output the scalable video according to the final playback resolution. In providing.

전술한 목적을 달성하기 위한 본 발명에 따른 스케일러블 비디오 재생 시스템은, 최종 재생 해상도 정보가 포함된 스케일러블 비디오를 네트워크를 통해 송출하는 송신 장치; 및 상기 송신 장치로부터 네트워크를 통해 수신된 스케일러블 비디오를 디코딩하여 스케일러블 비디오 원본 데이터를 생성하고, 상기 스케일러블 비디오로부터 상기 최종 재생 해상도 정보를 추출하여 상기 스케일러블 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교한 후, 상기 스케일러블 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간하여 출력하는 수신 장치를 포함한다.According to an aspect of the present invention, there is provided a scalable video playback system comprising: a transmission device for transmitting a scalable video including final playback resolution information through a network; And generating scalable video original data by decoding scalable video received from the transmitting apparatus through a network, extracting the final reproduction resolution information from the scalable video, and resolving the resolution and the final reproduction of the scalable video original data. And a reception device for comparing the resolution information and interpolating the scalable video original data according to the final reproduction resolution information.

한편, 전술한 목적을 달성하기 위한 본 발명에 따른 스케일러블 비디오 재생 장치는, 송신측으로부터 네트워크를 통해 전송된 스케일러블 비디오로부터 비디오 정보를 파싱하여 최종 재생 해상도 정보를 얻는 시그널 디코딩부; 상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부에 전달하는 시그널링부; 상기 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부에 시그널링하는 부호화부; 상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터를 출력하는 디코딩부; 및 상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간하여 출력하는 비디오 출력부를 포함한다.On the other hand, the scalable video playback apparatus according to the present invention for achieving the above object includes a signal decoding unit for parsing video information from the scalable video transmitted from the transmitting side through the network to obtain the final playback resolution information; A signaling unit for inserting the final reproduction resolution information into a bitstream of the scalable video and transferring the final reproduction resolution information to a decoding unit; An encoder which signals a decoding unit to output the scalable video at the same resolution without changing the resolution; A decoding unit for decoding the scalable video based on the signaling and outputting final video original data by decoding the scalable video at the same resolution according to the final resolution information without changing the resolution; And a video output unit which compares the resolution of the decoded final video original data with the final reproduction resolution information and interpolates the final video original data according to the final reproduction resolution information.

또한, 상기 비디오 정보는, 타깃 해상도 SEI 또는 SPS를 포함한다.In addition, the video information includes a target resolution SEI or SPS.

또한, 상기 시그널 디코딩부는, 상기 SPS를 파싱하여 fixed_resolution_flag 값이 1이면 상기 SPS의 해상도 값을 상기 최종 재생 해상도 정보로 결정한다.The signal decoding unit parses the SPS, and if the fixed_resolution_flag value is 1, determines the resolution value of the SPS as the final reproduction resolution information.

그리고, 상기 시그널 디코딩부는, 상기 최종 재생 해상도에 대하여, 상기 타깃 해상도 SEI를 파싱하여 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정한다.The signal decoding unit parses the target resolution SEI with respect to the final reproduction resolution to determine pic_width_minus1 + 1 as the horizontal resolution and pic_height_minus1 + 1 as the vertical resolution.

한편, 전술한 목적을 달성하기 위한 본 발명에 따른 스케일러블 비디오 재생 장치는, 송신측으로부터 네트워크를 통해 전송된 스케일러블 비디오로부터 비디오 정보를 파싱하여 최종 재생 해상도 정보를 얻는 시그널 디코딩부; 부호화된 스케일러블 비디오에서 불필요한 계층을 제거하여 해상도에 맞는 비트스트림을 추출하는 비트스트림 추출부; 상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트 스트림에 삽입하여 디코딩부에 전달하는 시그널링부; 상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터를 출력하는 디코딩부; 및 상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간하여 출력하는 비디오 출력부를 포함한다.On the other hand, the scalable video playback apparatus according to the present invention for achieving the above object includes a signal decoding unit for parsing video information from the scalable video transmitted from the transmitting side through the network to obtain the final playback resolution information; A bitstream extracting unit extracting a bitstream suitable for a resolution by removing an unnecessary layer from the encoded scalable video; A signaling unit which inserts the final reproduction resolution information into a bit stream of the scalable video and delivers the decoding unit to a decoding unit; A decoding unit for decoding the scalable video based on the signaling and outputting final video original data by decoding the scalable video at the same resolution according to the final resolution information without changing the resolution; And a video output unit which compares the resolution of the decoded final video original data with the final reproduction resolution information and interpolates the final video original data according to the final reproduction resolution information.

또한, 상기 비트스트림 추출부는, 상기 스케일러블 비디오의 계층적 B 픽처 구조에서 프레임율에 맞게 불필요한 B 픽처를 제거하거나, 상기 스케일러블 비디오가 MGS로 부호화된 경우에 타깃 전송율에 맞게 불필요한 계층을 제거하여 비트스트림을 추출한다.The bitstream extractor may remove unnecessary B pictures according to a frame rate from the hierarchical B picture structure of the scalable video, or remove unnecessary layers according to a target bit rate when the scalable video is encoded by MGS. Extract the bitstream.

또한, 상기 비디오 정보는, 타깃 해상도 SEI 또는 SPS를 포함한다.In addition, the video information includes a target resolution SEI or SPS.

또한, 상기 시그널 디코딩부는, 상기 SPS를 파싱하여 fixed_resolution_flag 값이 1이면 상기 SPS의 해상도 값을 상기 최종 재생 해상도 정보로 결정한다.The signal decoding unit parses the SPS, and if the fixed_resolution_flag value is 1, determines the resolution value of the SPS as the final reproduction resolution information.

그리고, 상기 시그널 디코딩부는, 상기 최종 재생 해상도에 대하여, 상기 타깃 해상도 SEI를 파싱하여 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정한다.The signal decoding unit parses the target resolution SEI with respect to the final reproduction resolution to determine pic_width_minus1 + 1 as the horizontal resolution and pic_height_minus1 + 1 as the vertical resolution.

한편, 전술한 목적을 달성하기 위한 본 발명에 따른 비디오 재생 장치의 스케일러블 비디오 재생 방법은, 송신측으로부터 네트워크를 통해 스케일러블 비디오를 수신하는 비디오 재생 장치의 스케일러블 비디오 재생 방법으로서, (a) 상기 스케일러블 비디오로부터 비디오 정보를 파싱(Parsing)하여 최종 재생 해상도 정보를 얻는 단계; (b) 상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부에 전달하는 단계; (c) 상기 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부에 시그널링하는 단계; (d) 상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터(raw data)를 출력하는 단계; 및 (e) 상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력하는 단계를 포함한다.On the other hand, the scalable video playback method of the video playback apparatus according to the present invention for achieving the above object is a scalable video playback method of the video playback apparatus for receiving a scalable video from the transmitting side via a network, (a) Parsing video information from the scalable video to obtain final playback resolution information; (b) inserting the final reproduction resolution information into a bitstream of the scalable video and transmitting the final reproduction resolution information to a decoding unit; (c) signaling a decoding unit to output the scalable video at the same resolution without changing the resolution; (d) decoding the scalable video at the same resolution according to the final resolution information without changing the resolution and outputting final video raw data based on the signaling; And (e) comparing the resolution of the decoded final video original data with the final reproduction resolution information to interpolate and output the final video original data according to the final reproduction resolution information.

또한, 상기 (a) 단계에서 상기 비디오 정보는, 타깃 해상도 SEI 또는 SPS를 포함한다.In addition, in the step (a), the video information includes a target resolution SEI or SPS.

또한, 상기 (a) 단계는 상기 SPS를 파싱하여 fixed_resolution_flag 값이 1이면 상기 SPS의 해상도 값을 상기 최종 재생 해상도 정보로 결정한다.In addition, the step (a) parses the SPS and if the fixed_resolution_flag value is 1, the resolution value of the SPS is determined as the final reproduction resolution information.

또한, 상기 (a) 단계는 상기 최종 재생 해상도에 대하여, 상기 타깃 해상도 SEI를 파싱하여 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정한다.In the step (a), the target resolution SEI is parsed for the final reproduction resolution to determine pic_width_minus1 + 1 as the horizontal resolution and pic_height_minus1 + 1 as the vertical resolution.

또한, 상기 (b) 단계는 부호화된 스케일러블 비디오에서 불필요한 계층을 제거하여 해상도에 맞는 상기 비트스트림을 추출하고, 상기 최종 재생 해상도 정보를 상기 비트스트림에 삽입하여 디코딩부에 전달한다.In the step (b), the unnecessary stream is extracted from the encoded scalable video to extract the bitstream suitable for the resolution, and the final playback resolution information is inserted into the bitstream and transmitted to the decoding unit.

그리고, 상기 (b) 단계는 상기 스케일러블 비디오의 계층적 B 픽처 구조에서 프레임율에 맞게 불필요한 B 픽처를 제거하거나, 상기 스케일러블 비디오가 MGS로 부호화된 경우에 타깃 전송율에 맞게 불필요한 계층을 제거하여 비트스트림을 추출한다.In the step (b), the unnecessary B picture is removed according to the frame rate from the hierarchical B picture structure of the scalable video, or the unnecessary layer is removed according to a target transmission rate when the scalable video is encoded by MGS. Extract the bitstream.

한편, 본 발명에 따른 비디오 재생 장치의 스케일러블 비디오 재생 방법을 CD나 USB 메모리 등 컴퓨터로 읽을 수 있는 매체에 프로그램으로 기록할 수 있다.On the other hand, the scalable video playback method of the video playback apparatus according to the present invention can be recorded as a program on a computer-readable medium such as a CD or a USB memory.

본 발명에 의하면, 디코더에 비트스트림의 실제 해상도가 다이나믹(dynamic)하게 변하는 경우에도 재생되는 스케일러블 비디오의 해상도는 변경되지 않고 특정 해상도로 재생하도록 디코더에 알릴 수 있다.According to the present invention, even when the actual resolution of the bitstream changes dynamically, the decoder can be notified that the resolution of the scalable video to be played back is not changed and is reproduced at a specific resolution.

따라서, 디코더가 스케일러블 비디오를 해당 단말기나 장치의 해상도에 맞는 출력할 수 있게 됨에 따라, 사용자는 사용자 환경에 맞게 추출된 스케일러블 비디오를 동일한 해상도로 시청할 수 있다.Therefore, as the decoder can output the scalable video corresponding to the resolution of the terminal or the device, the user can watch the scalable video extracted according to the user environment at the same resolution.

본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 스케일러블 비디오 재생 시스템의 구성을 개략적으로 나타낸 구성도이다.1 is a configuration diagram schematically showing the configuration of a scalable video playback system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 스케일러블 비디오 재생 시스템(100)은, 송신 장치(110), 통신망(120) 및 수신 장치(130)를 포함한다.Referring to FIG. 1, the scalable video playback system 100 according to the present invention includes a transmitter 110, a communication network 120, and a receiver 130.

송신 장치(110)는 최종 재생 해상도 정보가 포함된 스케일러블 비디오를 통신망(120)을 통해 송출하는 예컨대, 스트리밍 서버 등이 될 수 있다.The transmitting device 110 may be, for example, a streaming server that transmits the scalable video including the final reproduction resolution information through the communication network 120.

통신망(120)은 송신 장치(110)로부터 송출된 스케일러블 비디오를 수신 장치(130)로 전달하는 네트워크이다. 여기서, 통신망(120)은 수신 장치(130)가 컴퓨터 단말기와 같이 유선 단말기일 경우에 인터넷과 같은 유선 통신망일 수 있고, 수신 장치(130)가 이동 단말기와 같이 무선 단말기일 경우에 이동 통신망과 같은 무선 통신망일 수 있다.The communication network 120 is a network that delivers the scalable video transmitted from the transmitting device 110 to the receiving device 130. Here, the communication network 120 may be a wired communication network such as the Internet when the receiving device 130 is a wired terminal, such as a computer terminal, or may be a mobile communication network when the receiving device 130 is a wireless terminal, such as a mobile terminal. It may be a wireless communication network.

수신 장치(130)는 스케일러블 비디오를 수신하여 재생하는 스케일러블 비디오 재생 장치로써, 예컨대, 컴퓨터 단말기가 될 수 있고, PDA나 휴대폰 등 이동 단말기가 될 수 있다. The reception device 130 is a scalable video playback device that receives and plays scalable video. For example, the reception device 130 may be a computer terminal or a mobile terminal such as a PDA or a mobile phone.

수신 장치(130)는 송신 장치(110)로부터 통신망(120)을 통해 수신된 스케일러블 비디오를 디코딩하여 스케일러블 비디오 원본 데이터를 생성하고, 스케일러블 비디오로부터 최종 재생 해상도 정보를 추출하여 스케일러블 비디오 원본 데이터의 해상도와 최종 재생 해상도 정보를 비교한 후, 스케일러블 비디오 원본 데이터를 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력한다.The receiving device 130 decodes the scalable video received from the transmitting device 110 through the communication network 120 to generate scalable video original data, extracts final playback resolution information from the scalable video, and extracts the scalable video original. After comparing the resolution of the data and the final playback resolution information, the scalable video original data is interpolated to output the final playback resolution information.

이하, 수신 장치(130)로써의 스케일러블 비디오 재생 장치에 대하여 상세하게 설명한다.Hereinafter, the scalable video reproduction apparatus as the reception apparatus 130 will be described in detail.

도 2는 본 발명의 실시예에 따른 스케일러블 비디오 재생 장치의 기능 블럭을 나타낸 구성도이다.2 is a block diagram showing a functional block of a scalable video playback apparatus according to an embodiment of the present invention.

도 2에 도시된 스케일러블 비디오 재생 장치는, 스케일러블 비디오의 인코딩시 시그널링하는 장치로써, 부호화부(encoding part)(210), 디코딩부(decoding part)(220), 시그널 디코딩부(signal decoding part)(230), 시그널링부(signaling part)(240) 및 비디오 출력부(video output part)(250)를 포함한다.The scalable video reproduction apparatus illustrated in FIG. 2 is an apparatus for signaling at the time of encoding scalable video, and includes an encoding part 210, a decoding part 220, and a signal decoding part. 230, a signaling part 240, and a video output part 250.

부호화부(210)는 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부(220)에 시그널링한다.The encoder 210 signals the decoder 220 to output the scalable video at the same resolution without changing the resolution.

디코딩부(220)는 시그널링을 근거로 스케일러블 비디오를 해상도 변경없이 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터(raw data)를 출력한다.The decoding unit 220 outputs the final video original data (raw data) by decoding the scalable video at the same resolution according to the final resolution information without changing the resolution based on the signaling.

시그널 디코딩부(230)는 송신 장치(110)부터 통신망(120)을 전송된 스케일러블 비디오로부터 비디오 정보를 파싱(Parsing)하여 최종 재생 해상도 정보를 얻는다. 여기서, 비디오 정보는, 타깃 해상도 SEI(Target Resolution Supplemental Enhancement information) 또는 SPS(Sequence Parameter Set)를 포함한다.The signal decoder 230 parses video information from the scalable video transmitted from the transmitter 110 to the communication network 120 to obtain final reproduction resolution information. In this case, the video information includes target resolution supplemental enhancement information (SEI) or sequence parameter set (SPS).

또한, 시그널 디코딩부(230)는 SPS를 파싱하여 fixed_resolution_flag 값이 1이면 SPS의 해상도 값을 최종 재생 해상도 정보로 결정한다.In addition, the signal decoding unit 230 parses the SPS and if the fixed_resolution_flag value is 1, determines the resolution value of the SPS as final reproduction resolution information.

또한, 시그널 디코딩부(230)는 최종 재생 해상도에 대하여, 타깃 해상도 SEI를 파싱하여 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정한다.In addition, the signal decoding unit 230 parses the target resolution SEI with respect to the final reproduction resolution to determine pic_width_minus1 + 1 as the horizontal resolution and pic_height_minus1 + 1 as the vertical resolution.

또한, 시그널 디코딩부(230)는 비트스트림 분리기(bitstream parser)의 일부가 된다.In addition, the signal decoding unit 230 becomes part of a bitstream parser.

시그널링부(240)는 최종 재생 해상도 정보를 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부(220)에 전달한다.The signaling unit 240 inserts the final reproduction resolution information into the bitstream of the scalable video and transmits the final reproduction resolution information to the decoding unit 220.

비디오 출력부(250)는 디코딩된 최종 비디오 원본 데이터의 해상도와 최종 재생 해상도 정보를 비교하여 최종 비디오 원본 데이터를 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력한다.The video output unit 250 compares the resolution of the decoded final video original data with the final reproduction resolution information and interpolates the final video original data according to the final reproduction resolution information and outputs the interpolated image.

도 3은 본 발명의 다른 실시예에 따른 스케일러블 비디오 재생 장치의 기능 블럭을 나타낸 구성도이다.3 is a block diagram showing a functional block of a scalable video playback apparatus according to another embodiment of the present invention.

도 3에 도시된 스케일러블 비디오 재생 장치는, 비트스트림 추출기를 포함해 시그널링하는 장치로써, 도 2의 부호화부(210)가 비트스트림 추출부(310)로 대체되고 나머지 구성은 도 2에 도시된 구성 요소와 동일하며 동일한 기능을 갖는다. 따라서, 도 3에서 도 2와 동일한 구성 요소에 대해 도 2와 동일한 도면부호를 사용한다.The scalable video reproducing apparatus shown in FIG. 3 is a signal including a bitstream extractor, and the encoder 210 of FIG. 2 is replaced by the bitstream extractor 310 and the rest of the configuration is shown in FIG. It is the same as the component and has the same function. Therefore, the same reference numerals as those of FIG. 2 are used for the same components as those of FIG.

도 3에서 비트스트림 추출부(bitstream extractor)(310)는 부호화된 스케일러블 비디오에서 불필요한 계층을 제거하여 해상도에 맞는 비트스트림을 추출한다.In FIG. 3, the bitstream extractor 310 extracts a bitstream suitable for resolution by removing an unnecessary layer from the encoded scalable video.

즉, 비트스트림 추출부(310)는, 인코딩된 스케일러블 비디오를 해상도에 맞게 공간 계층(spatial layer)을 잘라내어 비트스트림을 추출한다.That is, the bitstream extractor 310 extracts the bitstream by cutting the spatial layer according to the resolution of the encoded scalable video.

또한, 비트스트림 추출부(310)는 스케일러블 비디오의 계층적 B 픽처 구 조(hirarchical B picture structure)에서 프레임율에 맞게 불필요한 B 픽처를 제거하거나, 스케일러블 비디오가 MGS로 부호화된 경우에 타깃 전송율(target bit rate)에 맞게 불필요한 계층을 제거하여 비트스트림을 추출한다.In addition, the bitstream extractor 310 removes an unnecessary B picture according to the frame rate from the hierarchical B picture structure of the scalable video, or the target bit rate when the scalable video is encoded with MGS. The bitstream is extracted by removing unnecessary layers according to the target bit rate.

비트스트림 추출부(310)는 스케일러블 비디오, 즉 SVC 비디오를 다양한 디바이스(device)에 제공하거나 실시간으로 네트워크의 상황에 맞게 전송하는 경우, 디바이스나 네트워크 상황에 맞게 SVC 비디오를 맞추어 준다.When the bitstream extractor 310 provides scalable video, that is, SVC video to various devices or transmits them in real time according to the network situation, the bitstream extractor 310 matches the SVC video according to the device or network situation.

만약, 서비스 제공자가 해상도를 동적으로 변경하면서 SVC 비디오를 제공하지만 실제로 디바이스에서는 동일한 해상도로 재생되기를 원하는 경우, 비트스트림 추출부(310)는 최종 재생 해상도에 대한 시그널을 비트스트림에 삽입하여 디코딩부(220)로 전달한다.If the service provider provides SVC video while dynamically changing the resolution but actually wants to play the same resolution in the device, the bitstream extractor 310 inserts a signal for the final playback resolution into the bitstream to decode the decoder ( To 220).

도 4는 본 발명의 실시예에 따른 스케일러블 비디오 재생 장치의 스케일러블 비디오 재생 방법을 설명하기 위한 동작 흐름도이다.4 is a flowchart illustrating a scalable video reproduction method of a scalable video reproduction apparatus according to an embodiment of the present invention.

도 4를 참조하면, 본 발명에 따른 스케일러블 비디오 재생 장치는 송신 장치(110)로부터 통신망(120)을 통해 수신된 스케일러블 비디오로부터 비디오 정보를 파싱(Parsing)하여 최종 재생 해상도 정보를 얻는다(S410).Referring to FIG. 4, the scalable video reproducing apparatus parses video information from the scalable video received from the transmitting apparatus 110 through the communication network 120 to obtain final reproduction resolution information (S410). ).

여기서, 비디오 정보는, 타깃 해상도 SEI(Target Resolution Supplemental Enhancement information) 또는 SPS(Sequence Parameter Set)를 포함한다.In this case, the video information includes target resolution supplemental enhancement information (SEI) or sequence parameter set (SPS).

이때, 스케일러블 비디오 재생 장치는 시그널 디코딩부(230)를 통해 SPS를 파싱(parsing)하여 도 5에 도시된 바와 같이 fixed_resolution_flag 값이 1이면 SPS의 해상도 값을 최종 재생 해상도 정보로 결정한다. 여기서, 도 5는 본 발명의 실시예에 따라 SPS 정보에 최종 재생 해상도를 시그널링하는 스케일러블 비디오의 비트스트림 신택스(syntax)를 나타낸 도면이다. SPS는 인코딩 시 결정되므로 비트스트림 추출부(310)에서는 그 값을 바꾸는 것이 쉽지 않다. In this case, the scalable video reproducing apparatus parses the SPS through the signal decoding unit 230 and determines the resolution value of the SPS as the final reproduction resolution information when the fixed_resolution_flag value is 1 as shown in FIG. 5. 5 is a diagram illustrating a bitstream syntax of scalable video signaling a final playback resolution in SPS information according to an embodiment of the present invention. Since the SPS is determined at the time of encoding, it is not easy to change the value in the bitstream extractor 310.

또한, 스케일러블 비디오 재생 장치는 시그널 디코딩부(230)를 통해 최종 재생 해상도에 대하여, 타깃 해상도 SEI를 파싱하여 도 6에 도시된 바와 같이 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정한다. 여기서, 도 6은 본 발명의 실시예에 따른 스케일러블 비디오의 시그널링을 위한 타깃 해상도 SEI의 신택스(syntax)를 나타낸 도면이다.In addition, the scalable video reproducing apparatus parses the target resolution SEI with respect to the final playback resolution through the signal decoding unit 230, and determines pic_width_minus1 + 1 as the horizontal resolution and pic_height_minus1 + 1 as the vertical resolution as shown in FIG. do. 6 is a diagram illustrating syntax of a target resolution SEI for signaling scalable video according to an embodiment of the present invention.

이어, 스케일러블 비디오 재생 장치는 이렇게 얻은 최종 재생 해상도 정보를 시그널링부(240)를 통해 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부(220)에 전달한다(S420).Subsequently, the scalable video reproducing apparatus inserts the final reproduction resolution information thus obtained into the bitstream of the scalable video through the signaling unit 240 and transmits it to the decoding unit 220 (S420).

이때, 스케일러블 비디오 재생 장치는 비트스트림 추출부(310)에서 시그널링하는 경우, 부호화된 스케일러블 비디오에서 비트스트림 추출부(310)를 통해 불필요한 계층을 제거하여 해상도에 맞는 비트스트림을 추출하고, 최종 재생 해상도 정보를 비트스트림에 삽입하여 디코딩부(220)에 전달할 수 있다.In this case, when the scalable video reproducing apparatus signals the bitstream extractor 310, the scalable video reproducing apparatus removes an unnecessary layer from the encoded scalable video through the bitstream extractor 310 to extract a bitstream suitable for a resolution. The reproduction resolution information may be inserted into the bitstream and transmitted to the decoding unit 220.

또한, 스케일러블 비디오 재생 장치는 비트스트림 추출부(310)를 통해 스케일러블 비디오의 계층적 B 픽처 구조(hirarchical B picture structure)에서 프레임율에 맞게 불필요한 B 픽처를 제거하거나, 스케일러블 비디오가 MGS로 부호화된 경우에 타깃 전송율(target bit rate)에 맞게 불필요한 계층을 제거하여 비트스트 림을 추출할 수 있다.In addition, the scalable video reproducing apparatus removes unnecessary B pictures according to the frame rate from the hierarchical B picture structure of the scalable video through the bitstream extractor 310, or the scalable video is transferred to the MGS. In the case of encoding, a bitstream may be extracted by removing an unnecessary layer according to a target bit rate.

스케일러블 비디오의 비트스트림은 기본 계층(Basic Layer)과 기본 계층 위에 연속적으로 쌓을 수 있는 하나 이상의 확장 계층(Enhancement Layer)들로 이루어진다. 각 확장 계층은 하위 계층 정보를 기반으로 각각에게 주어진 최대의 비트율(bit rate), 프레임율(frame rate) 및 해상도(resolution)를 표현할 수 있다. SVC에서는 확장 계층을 연속적으로 많이 쌓을수록 다양한 비트율, 화면율, 해상도의 지원이 가능하다.The bitstream of the scalable video is composed of a base layer and one or more enhancement layers that can be stacked on the base layer consecutively. Each enhancement layer may express a maximum bit rate, frame rate, and resolution given to each other based on lower layer information. In SVC, as more layers are continuously stacked, various bit rates, screen rates, and resolutions can be supported.

이처럼, SVC는 각종 방송망과 통신망이 혼재하는 다양한 망 환경에서 발생하는 대역폭의 다양성 문제, 수신 단말기 성능과 해상도의 다양성 문제, 콘텐츠 소비자의 다양한 선호도 문제 등을 복합적으로 해결할 수 있는 부호화 기술이다.As such, SVC is an encoding technology that can solve a combination of bandwidth diversity, receiving terminal performance and resolution, and various preference problems of content consumers in various network environments in which various broadcasting networks and communication networks are mixed.

이러한 SVC 비디오 비트스트림은 아래의 예시와 같이, 해상도, 비트율, 프레임율 정보를 제공하는 SEI 데이터를 포함한다. SVC 비디오 데이터를 사용하는 스트리밍 서비스 제공을 위해서는 전체 해상도를 가지는 SVC 비디오 데이터를 분석하여 사용자가 요구하는 사양의 비디오 데이터를 추출하는 비트스트림 추출기가 필요하다.The SVC video bitstream includes SEI data providing resolution, bit rate, and frame rate information, as in the following example. In order to provide a streaming service using SVC video data, a bitstream extractor that analyzes SVC video data having a full resolution and extracts video data having a specification required by a user is required.

이어, 스케일러블 비디오 재생 장치는 부호화부(210)를 통해 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부(220)에 시그널링한다(S430).Subsequently, the scalable video reproduction apparatus signals the decoding unit 220 to output the scalable video at the same resolution without changing the resolution through the encoder 210 (S430).

이어, 스케일러블 비디오 재생 장치는 시그널링을 근거로 스케일러블 비디오를 디코딩부(220)를 통해 해상도의 변경없이 최종 해상도 정보에 따라 동일한 해상 도로 디코딩하여 최종 비디오 원본 데이터(raw data)를 출력한다(S440).Subsequently, the scalable video reproducing apparatus decodes the scalable video to the same resolution according to the final resolution information without changing the resolution through the decoding unit 220 based on the signaling and outputs final video raw data (raw data) (S440). ).

그리고, 스케일러블 비디오 재생 장치는 디코딩된 최종 비디오 원본 데이터의 해상도와 최종 재생 해상도 정보를 비교하여 최종 비디오 원본 데이터를 비디오 출력부(250)를 통해 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력한다(S450).The scalable video reproducing apparatus compares the resolution of the decoded final video original data with the final reproduction resolution information and interpolates the final video original data according to the final reproduction resolution information through the video output unit 250 to output the interpolated image. (S450).

전술한 바와 같이 본 발명에 의하면, 디코더의 최종 해상도와, 재생되는 스케일러블 비디오의 해상도가 다름을 디코더에 알려주기 위해, 인코더 또는 비트스트림 추출기에서 최종 재생 해상도를 나타내는 시그널을 비트스트림에 삽입하여 디코더에 알리고, 디코더가 해당 시그널을 해석하여 최종 재생 해상도에 맞게 스케일러블 비디오를 디코딩하여 출력하도록 된, 스케일러블 비디오 재생 시스템 및 방법, 스케일러블 비디오 재생 장치 및 그의 스케일러블 비디오 재생 방법을 실현할 수 있다.As described above, according to the present invention, in order to inform the decoder that the final resolution of the decoder and the resolution of the scalable video to be reproduced are different, the encoder or the bitstream extractor inserts a signal representing the final playback resolution into the bitstream to decode the decoder. And a scalable video reproducing system and method, a scalable video reproducing apparatus, and a scalable video reproducing method thereof, wherein the decoder interprets the corresponding signal to decode and output the scalable video according to the final reproduction resolution.

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.As those skilled in the art to which the present invention pertains may implement the present invention in other specific forms without changing the technical spirit or essential features, the embodiments described above should be understood as illustrative and not restrictive in all aspects. Should be. The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention. do.

본 발명은 서버나 송신 장치에서 통신망을 통해 수신 장치나 단말기로 스케일러블 비디오를 전송하는 서비스나 시스템에 적용할 수 있다.The present invention can be applied to a service or a system for transmitting scalable video from a server or a transmitting device to a receiving device or a terminal through a communication network.

또한, 서비스 제공자가 해상도를 동적으로 변경하면서 스케일러블 비디오를 제공하여 수신측에서 해상도를 변경하여 디코딩하는 단말기나 장치에 적용할 수 있다.In addition, the service provider may provide a scalable video while dynamically changing the resolution, and apply the same to a terminal or an apparatus for changing and decoding the resolution at the receiving end.

그리고, 서버나 송신 장치에서 전송해 준 스케일러블 비디오에 대해 해상도 변경없이 동일한 해상도로 출력할 수 있도록 하는 비디오 재생 서비스나 장치 및 시스템 등에 적용할 수 있다.In addition, the present invention can be applied to a video reproducing service, an apparatus, a system, and the like, capable of outputting the scalable video transmitted from a server or a transmission apparatus at the same resolution without changing the resolution.

도 1은 본 발명의 실시예에 따른 스케일러블 비디오 재생 시스템의 구성을 개략적으로 나타낸 구성도이다.1 is a configuration diagram schematically showing the configuration of a scalable video playback system according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따른 스케일러블 비디오 재생 장치의 기능 블럭을 나타낸 구성도이다.2 is a block diagram showing a functional block of a scalable video playback apparatus according to an embodiment of the present invention.

도 3은 본 발명의 다른 실시예에 따른 스케일러블 비디오 재생 장치의 기능 블럭을 나타낸 구성도이다.3 is a block diagram showing a functional block of a scalable video playback apparatus according to another embodiment of the present invention.

도 4는 본 발명의 실시예에 따른 스케일러블 비디오 재생 장치의 스케일러블 비디오 재생 방법을 설명하기 위한 동작 흐름도이다.4 is a flowchart illustrating a scalable video reproduction method of a scalable video reproduction apparatus according to an embodiment of the present invention.

도 5는 본 발명의 실시예에 따라 SPS 정보에 최종 재생 해상도를 시그널링하는 스케일러블 비디오의 비트스트림 신택스를 나타낸 도면이다. 5 is a diagram illustrating a bitstream syntax of scalable video signaling a final playback resolution in SPS information according to an embodiment of the present invention.

도 6은 본 발명의 실시예에 따른 스케일러블 비디오의 시그널링을 위한 타깃 해상도 SEI의 신택스를 나타낸 도면이다.6 is a diagram illustrating syntax of a target resolution SEI for signaling scalable video according to an embodiment of the present invention.

< 도면의 주요 부분에 대한 부호의 설명 ><Description of Symbols for Main Parts of Drawings>

100 : 스케일러블 비디오 재생 시스템 110 : 송신 장치100: scalable video playback system 110: transmitting device

120 : 통신망 130 : 수신 장치120: communication network 130: receiving device

210 : 부호화부 220 : 디코딩부210: encoder 220: decoder

230 : 시그널 디코딩부 240 : 시그널링부230: signal decoding unit 240: signaling unit

250 : 비디오 출력부 310 : 비트스트림 추출부250: video output unit 310: bitstream extraction unit

Claims (17)

최종 재생 해상도 정보가 포함된 스케일러블 비디오를 네트워크를 통해 송출하는 송신 장치; 및A transmitter for transmitting a scalable video including final reproduction resolution information through a network; And 상기 송신 장치로부터 네트워크를 통해 수신된 스케일러블 비디오를 디코딩하여 스케일러블 비디오 원본 데이터를 생성하고, 상기 스케일러블 비디오로부터 상기 최종 재생 해상도 정보를 추출하여 상기 스케일러블 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교한 후, 상기 스케일러블 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간(Interpolation)하여 출력하는 수신 장치;Decoding scalable video received from the transmitting apparatus through a network to generate scalable video original data, extracting the final playback resolution information from the scalable video, and resolving the resolution and the final playback resolution of the scalable video original data. A reception device for comparing the information and interpolating the scalable video original data according to the final reproduction resolution information and outputting the interpolated information; 를 포함하는 스케일러블 비디오 재생 시스템.Scalable video playback system comprising a. 송신측으로부터 네트워크를 통해 전송된 스케일러블 비디오로부터 비디오 정보를 파싱(Parsing)하여 최종 재생 해상도 정보를 얻는 시그널 디코딩부;A signal decoding unit for parsing video information from scalable video transmitted from a transmitting side through a network to obtain final reproduction resolution information; 상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부에 전달하는 시그널링부;A signaling unit for inserting the final reproduction resolution information into a bitstream of the scalable video and transferring the final reproduction resolution information to a decoding unit; 상기 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부에 시그널링하는 부호화부;An encoder which signals a decoding unit to output the scalable video at the same resolution without changing the resolution; 상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터(raw data)를 출력하는 디코딩부; 및A decoder configured to decode the scalable video to the same resolution according to the final resolution information without changing the resolution and output final video raw data based on the signaling; And 상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력하는 비디오 출력부;A video output unit which compares the resolution of the decoded final video original data with the final reproduction resolution information and interpolates the final video original data according to the final reproduction resolution information to output the interpolated image; 를 포함하는 스케일러블 비디오 재생 장치.Scalable video playback device comprising a. 제 2 항에 있어서,The method of claim 2, 상기 비디오 정보는, 타깃 해상도 SEI(Target Resolution Supplemental Enhancement information) 또는 SPS(Sequence Parameter Set)를 포함하는 것을 특징으로 하는 스케일러블 비디오 재생 장치.And the video information includes target resolution supplemental enhancement information (SEI) or sequence parameter set (SPS). 제 3 항에 있어서,The method of claim 3, wherein 상기 시그널 디코딩부는, 상기 SPS를 파싱하여 fixed_resolution_flag 값이 1이면 상기 SPS의 해상도 값을 상기 최종 재생 해상도 정보로 결정하는 것을 특징으로 하는 스케일러블 비디오 재생 장치.And the signal decoding unit parses the SPS and determines a resolution value of the SPS as the final reproduction resolution information when the fixed_resolution_flag value is 1. 제 3 항에 있어서,The method of claim 3, wherein 상기 시그널 디코딩부는, 상기 최종 재생 해상도에 대하여, 상기 타깃 해상도 SEI를 파싱하여 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정하는 것을 특징으로 하는 스케일러블 비디오 재생 장치.And the signal decoding unit parses the target resolution SEI and determines pic_width_minus1 + 1 as the horizontal resolution and pic_height_minus1 + 1 as the vertical resolution with respect to the final playback resolution. 송신측으로부터 네트워크를 통해 전송된 스케일러블 비디오로부터 비디오 정보를 파싱(Parsing)하여 최종 재생 해상도 정보를 얻는 시그널 디코딩부;A signal decoding unit for parsing video information from scalable video transmitted from a transmitting side through a network to obtain final reproduction resolution information; 부호화된 스케일러블 비디오에서 불필요한 계층을 제거하여 해상도에 맞는 비트스트림을 추출하는 비트스트림 추출부;A bitstream extracting unit extracting a bitstream suitable for a resolution by removing an unnecessary layer from the encoded scalable video; 상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부에 전달하는 시그널링부;A signaling unit for inserting the final reproduction resolution information into a bitstream of the scalable video and transferring the final reproduction resolution information to a decoding unit; 상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터(raw data)를 출력하는 디코딩부; 및A decoder configured to decode the scalable video to the same resolution according to the final resolution information without changing the resolution and output final video raw data based on the signaling; And 상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력하는 비디오 출력부;A video output unit which compares the resolution of the decoded final video original data with the final reproduction resolution information and interpolates the final video original data according to the final reproduction resolution information to output the interpolated image; 를 포함하는 스케일러블 비디오 재생 장치.Scalable video playback device comprising a. 제 6 항에 있어서,The method of claim 6, 상기 비트스트림 추출부는, 상기 스케일러블 비디오의 계층적 B 픽처 구조(hirarchical B picture structure)에서 프레임율에 맞게 불필요한 B 픽처를 제거하거나, 상기 스케일러블 비디오가 MGS로 부호화된 경우에 타깃 전송율(target bit rate)에 맞게 불필요한 계층을 제거하여 비트스트림을 추출하는 것을 특징으로 하는 스케일러블 비디오 재생 장치.The bitstream extractor may remove an unnecessary B picture according to a frame rate from the hierarchical B picture structure of the scalable video, or target bitrate when the scalable video is encoded by MGS. and a bitstream is extracted by removing an unnecessary layer in accordance with a rate). 제 6 항에 있어서,The method of claim 6, 상기 비디오 정보는, 타깃 해상도 SEI(Target Resolution Supplemental Enhancement information) 또는 SPS(Sequence Parameter Set)를 포함하는 것을 특징으로 하는 스케일러블 비디오 재생 장치.And the video information includes target resolution supplemental enhancement information (SEI) or sequence parameter set (SPS). 제 8 항에 있어서,The method of claim 8, 상기 시그널 디코딩부는, 상기 SPS를 파싱하여 fixed_resolution_flag 값이 1이면 상기 SPS의 해상도 값을 상기 최종 재생 해상도 정보로 결정하는 것을 특징으로 하는 스케일러블 비디오 재생 장치.And the signal decoding unit parses the SPS and determines a resolution value of the SPS as the final reproduction resolution information when the fixed_resolution_flag value is 1. 제 8 항에 있어서,The method of claim 8, 상기 시그널 디코딩부는, 상기 최종 재생 해상도에 대하여, 상기 타깃 해상도 SEI를 파싱하여 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정하는 것을 특징으로 하는 스케일러블 비디오 재생 장치.And the signal decoding unit parses the target resolution SEI and determines pic_width_minus1 + 1 as the horizontal resolution and pic_height_minus1 + 1 as the vertical resolution with respect to the final playback resolution. 송신측으로부터 네트워크를 통해 스케일러블 비디오를 수신하는 비디오 재생 장치의 스케일러블 비디오 재생 방법으로서,A scalable video reproducing method of a video reproducing apparatus for receiving scalable video from a transmitting side via a network, (a) 상기 스케일러블 비디오로부터 비디오 정보를 파싱(Parsing)하여 최종 재생 해상도 정보를 얻는 단계;(a) parsing video information from the scalable video to obtain final playback resolution information; (b) 상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부에 전달하는 단계;(b) inserting the final reproduction resolution information into a bitstream of the scalable video and transmitting the final reproduction resolution information to a decoding unit; (c) 상기 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부에 시그널링하는 단계;(c) signaling a decoding unit to output the scalable video at the same resolution without changing the resolution; (d) 상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터(raw data)를 출력하는 단계; 및(d) decoding the scalable video at the same resolution according to the final resolution information without changing the resolution and outputting final video raw data based on the signaling; And (e) 상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력하는 단계;(e) comparing the resolution of the decoded final video original data with the final reproduction resolution information and interpolating and outputting the final video original data according to the final reproduction resolution information; 를 포함하는 비디오 재생 장치의 스케일러블 비디오 재생 방법.Scalable video playback method of the video playback device comprising a. 제 11 항에 있어서,The method of claim 11, 상기 (a) 단계에서 상기 비디오 정보는, 타깃 해상도 SEI(Target Resolution Supplemental Enhancement information) 또는 SPS(Sequence Parameter Set)를 포함하는 것을 특징으로 하는 비디오 재생 장치의 스케일러블 비디오 재생 방법.The video information in the step (a), the target resolution Supplemental Enhancement information (SEI) or SPS (Sequence Parameter Set) characterized in that the scalable video playback method of the video playback device. 제 12 항에 있어서,13. The method of claim 12, 상기 (a) 단계는 상기 SPS를 파싱하여 fixed_resolution_flag 값이 1이면 상 기 SPS의 해상도 값을 상기 최종 재생 해상도 정보로 결정하는 것을 특징으로 하는 비디오 재생 장치의 스케일러블 비디오 재생 방법.In the step (a), if the fixed_resolution_flag value is 1, the resolution of the SPS is determined as the final playback resolution information. 제 12 항에 있어서,13. The method of claim 12, 상기 (a) 단계는 상기 최종 재생 해상도에 대하여, 상기 타깃 해상도 SEI를 파싱하여 pic_width_minus1+1을 가로 해상도, pic_height_minus1+1을 세로 해상도로 결정하는 것을 특징으로 하는 비디오 재생 장치의 스케일러블 비디오 재생 방법.In the step (a), the target resolution SEI is parsed with respect to the final playback resolution to determine pic_width_minus1 + 1 as the horizontal resolution and pic_height_minus1 + 1 as the vertical resolution. 제 11 항에 있어서,The method of claim 11, 상기 (b) 단계는 부호화된 스케일러블 비디오에서 불필요한 계층을 제거하여 해상도에 맞는 상기 비트스트림을 추출하고, 상기 최종 재생 해상도 정보를 상기 비트스트림에 삽입하여 디코딩부에 전달하는 것을 특징으로 하는 비디오 재생 장치의 스케일러블 비디오 재생 방법.In the step (b), the video stream is extracted by extracting the bitstream suitable for the resolution by removing unnecessary layers from the encoded scalable video, and inserting the final playback resolution information into the bitstream and transferring the video to the decoding unit. How to play scalable video on your device. 제 15 항에 있어서,The method of claim 15, 상기 (b) 단계는 상기 스케일러블 비디오의 계층적 B 픽처 구조(hirarchical B picture structure)에서 프레임율에 맞게 불필요한 B 픽처를 제거하거나, 상기 스케일러블 비디오가 MGS로 부호화된 경우에 타깃 전송율(target bit rate)에 맞게 불필요한 계층을 제거하여 비트스트림을 추출하는 것을 특징으로 하는 비디오 재생 장치의 스케일러블 비디오 재생 방법.Step (b) may remove a unnecessary B picture according to a frame rate from the hierarchical B picture structure of the scalable video, or target bit rate when the scalable video is encoded by MGS. and extracting a bitstream by removing an unnecessary layer in accordance with a rate). 송신측으로부터 네트워크를 통해 스케일러블 비디오를 수신하는 비디오 재생 장치의 스케일러블 비디오 재생 방법을 프로그램으로 기록한 매체로서,A medium recording a scalable video reproduction method of a video reproducing apparatus for receiving scalable video from a transmitting side via a network, the program comprising: (a) 상기 스케일러블 비디오로부터 비디오 정보를 파싱(Parsing)하여 최종 재생 해상도 정보를 얻는 단계;(a) parsing video information from the scalable video to obtain final playback resolution information; (b) 상기 최종 재생 해상도 정보를 상기 스케일러블 비디오의 비트스트림에 삽입하여 디코딩부에 전달하는 단계;(b) inserting the final reproduction resolution information into a bitstream of the scalable video and transmitting the final reproduction resolution information to a decoding unit; (c) 상기 스케일러블 비디오를 해상도 변경없이 동일한 해상도로 출력하도록 디코딩부에 시그널링하는 단계;(c) signaling a decoding unit to output the scalable video at the same resolution without changing the resolution; (d) 상기 시그널링을 근거로 상기 스케일러블 비디오를 해상도 변경없이 상기 최종 해상도 정보에 따라 동일한 해상도로 디코딩하여 최종 비디오 원본 데이터(raw data)를 출력하는 단계; 및(d) decoding the scalable video at the same resolution according to the final resolution information without changing the resolution and outputting final video raw data based on the signaling; And (e) 상기 디코딩된 최종 비디오 원본 데이터의 해상도와 상기 최종 재생 해상도 정보를 비교하여 상기 최종 비디오 원본 데이터를 상기 최종 재생 해상도 정보에 맞게 보간(interpolation)하여 출력하는 단계;(e) comparing the resolution of the decoded final video original data with the final reproduction resolution information and interpolating and outputting the final video original data according to the final reproduction resolution information; 를 포함하는 비디오 재생 장치의 스케일러블 비디오 재생 방법을 프로그램으로 기록한 컴퓨터로 읽을 수 있는 매체.A computer-readable medium having recorded thereon a scalable video playback method of a video playback device comprising a program.
KR1020090077590A 2009-08-21 2009-08-21 Scalable video playing system and method using resolution signaling KR101124723B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090077590A KR101124723B1 (en) 2009-08-21 2009-08-21 Scalable video playing system and method using resolution signaling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090077590A KR101124723B1 (en) 2009-08-21 2009-08-21 Scalable video playing system and method using resolution signaling

Publications (2)

Publication Number Publication Date
KR20110019955A true KR20110019955A (en) 2011-03-02
KR101124723B1 KR101124723B1 (en) 2012-03-23

Family

ID=43929379

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090077590A KR101124723B1 (en) 2009-08-21 2009-08-21 Scalable video playing system and method using resolution signaling

Country Status (1)

Country Link
KR (1) KR101124723B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157828A1 (en) * 2012-04-16 2013-10-24 한국전자통신연구원 Decoding method and device for bit stream supporting plurality of layers
WO2015060699A1 (en) * 2013-10-26 2015-04-30 삼성전자 주식회사 Method and apparatus for encoding multilayer video and method and apparatus for decoding multilayer video
WO2018004239A1 (en) * 2016-06-27 2018-01-04 가천대학교 산학협력단 Image decoding method, image encoding method, image decoding device, and image encoding device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090161762A1 (en) 2005-11-15 2009-06-25 Dong-San Jun Method of scalable video coding for varying spatial scalability of bitstream in real time and a codec using the same
KR101431543B1 (en) * 2008-01-21 2014-08-21 삼성전자주식회사 Apparatus and method of encoding/decoding video

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11490100B2 (en) 2012-04-16 2022-11-01 Electronics And Telecommunications Research Institute Decoding method and device for bit stream supporting plurality of layers
EP2840788A4 (en) * 2012-04-16 2016-07-06 Korea Electronics Telecomm Image information decoding method, image decoding method, and device using same
WO2013157828A1 (en) * 2012-04-16 2013-10-24 한국전자통신연구원 Decoding method and device for bit stream supporting plurality of layers
US10595026B2 (en) 2012-04-16 2020-03-17 Electronics And Telecommunications Research Institute Decoding method and device for bit stream supporting plurality of layers
US10602160B2 (en) 2012-04-16 2020-03-24 Electronics And Telecommunications Research Institute Image information decoding method, image decoding method, and device using same
US10958918B2 (en) 2012-04-16 2021-03-23 Electronics And Telecommunications Research Institute Decoding method and device for bit stream supporting plurality of layers
US10958919B2 (en) 2012-04-16 2021-03-23 Electronics And Telecommunications Resarch Institute Image information decoding method, image decoding method, and device using same
US11949890B2 (en) 2012-04-16 2024-04-02 Electronics And Telecommunications Research Institute Decoding method and device for bit stream supporting plurality of layers
US11483578B2 (en) 2012-04-16 2022-10-25 Electronics And Telecommunications Research Institute Image information decoding method, image decoding method, and device using same
WO2015060699A1 (en) * 2013-10-26 2015-04-30 삼성전자 주식회사 Method and apparatus for encoding multilayer video and method and apparatus for decoding multilayer video
US10827197B2 (en) 2013-10-26 2020-11-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding multilayer video and method and apparatus for decoding multilayer video
WO2018004239A1 (en) * 2016-06-27 2018-01-04 가천대학교 산학협력단 Image decoding method, image encoding method, image decoding device, and image encoding device
US11184584B2 (en) 2016-06-27 2021-11-23 Gachon University Of Industry-Academic Cooperation Foundation Method for image decoding, method for image encoding, apparatus for image decoding, apparatus for image encoding

Also Published As

Publication number Publication date
KR101124723B1 (en) 2012-03-23

Similar Documents

Publication Publication Date Title
KR101927016B1 (en) Multimedia file live broadcasting method, system and server
AU2007319699B2 (en) Techniques for variable resolution encoding and decoding of digital video
JP6414062B2 (en) Image decoding apparatus and method
KR102464061B1 (en) Method and device for sending and receiving media data
EP3148200B1 (en) Information processing device and method selecting content files based on encoding parallelism type
JPWO2009128515A1 (en) Gateway apparatus and method
CN103069828A (en) Providing sequence data sets for streaming video data
JP6508206B2 (en) INFORMATION PROCESSING APPARATUS AND METHOD
KR101296059B1 (en) System and method for storing multi­source multimedia presentations
US20190166170A1 (en) Video Streaming Delivery
JP6481206B2 (en) Information processing apparatus, content request method, and computer program
JP2019110542A (en) Server device, client device, content distribution method, and computer program
KR20120094273A (en) Streaming service and device playing system using svc server
JPWO2018142946A1 (en) Information processing apparatus and method
KR101124723B1 (en) Scalable video playing system and method using resolution signaling
JP6501127B2 (en) INFORMATION PROCESSING APPARATUS AND METHOD
KR20110025367A (en) Method and device for multimedia transcoding client
US20110150073A1 (en) Scalable video transcoding device
KR20120012089A (en) System and method for proving video using scalable video coding
JP2006525731A (en) Multi-layer coding to support transition to new standards
EP4270968A1 (en) Media file generation/reception method and device for signaling subpicture id information, and computer-readable recording medium in which media file is stored
EP4266689A1 (en) Method and device for generating/receiving media file including nal unit information, and method for transmitting media file
KR101684705B1 (en) Apparatus and method for playing media contents
KR20120058373A (en) Video transmission and device playing system based on http streaming using svc server

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170203

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180202

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190207

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200204

Year of fee payment: 9