KR20090037689A - Scalable video encoding method and apparatus and scalable video decoding method and apparatus - Google Patents

Scalable video encoding method and apparatus and scalable video decoding method and apparatus Download PDF

Info

Publication number
KR20090037689A
KR20090037689A KR1020070103163A KR20070103163A KR20090037689A KR 20090037689 A KR20090037689 A KR 20090037689A KR 1020070103163 A KR1020070103163 A KR 1020070103163A KR 20070103163 A KR20070103163 A KR 20070103163A KR 20090037689 A KR20090037689 A KR 20090037689A
Authority
KR
South Korea
Prior art keywords
base layer
encoding
codec
bitstream
image
Prior art date
Application number
KR1020070103163A
Other languages
Korean (ko)
Other versions
KR101345287B1 (en
Inventor
최웅일
조대성
김대희
김현문
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070103163A priority Critical patent/KR101345287B1/en
Priority to US12/076,126 priority patent/US8160158B2/en
Publication of KR20090037689A publication Critical patent/KR20090037689A/en
Priority to US13/417,847 priority patent/US8588313B2/en
Application granted granted Critical
Publication of KR101345287B1 publication Critical patent/KR101345287B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

A scalable image encoding method and apparatus and a scalable image decoding method and apparatus are provided to apply features that each codec has to prediction between layers, thereby providing an image of better quality. A down scaling unit(110) controls picture quality about an inputted original image. A basic layer encoding unit(120) produces a basic layer restoration image by decoding a basic layer bit stream. An up scaling unit increases resolution of the restoration image by using interpolation with regard to the restoration image. The up scaling unit produces new frames by using the frames of the restoration image. The up scaling unit inserts generated frames into a frame of the restoration image.

Description

스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화 방법 및 장치{Scalable video encoding method and apparatus and scalable video decoding method and apparatus}Scalable video encoding method and apparatus and apparatus and method for decoding the same {Scalable video encoding method and apparatus and scalable video decoding method and apparatus}

본 발명은 스케일러블 영상 부호화 방법 및 장치와 그 영상 복호화 방법 및 장치에 관한 것이다.The present invention relates to a scalable video encoding method and apparatus, and a video decoding method and apparatus.

스케일러블 영상 부호화(SVC:Scalable Video Coding)는 영상을 여러 개의 계층(layer)을 가진 비트스트림으로 부호화하는 것을 말한다. 그리고, 이러한 스케일러블 영상 부호화 비트스트림은 복호화부가 비트스트림 중 선택적으로 몇 개의 계층을 이용하여 복호화하는 것을 가능하게 해준다. 이러한 비트스트림은 기본 계층(base layer)과 하나 또는 그 이상의 확장 계층(enhancement layer)로 구성되는데, 기본 계층 비트스트림은 가장 기본이 되는 비트스트림으로, 이를 가지고는 최소한의 화질로 영상을 복원할 수 있고, 만일 기본 계층 비트스트림 이외에 확장 계층 비트스트림도 함께 이용하면 더 좋은 화질로 영상을 복원할 수 있다. 그리고 이때, 사용 가능한 전송대역폭이나 사용자의 단말기에 따라 기본 계층 비트스트림만을 복호화하거나, 아니면 기본 계층 비트스트림과 확장 계층 비트스트림을 모두 복 호화한다.Scalable video coding (SVC) refers to encoding an image into a bitstream having multiple layers. The scalable video encoding bitstream enables the decoder to decode using several layers selectively among the bitstreams. This bitstream is composed of a base layer and one or more enhancement layers. The base layer bitstream is the most basic bitstream, which can be used to reconstruct the image with minimal image quality. If the enhancement layer bitstream is used in addition to the base layer bitstream, the image can be reconstructed with better image quality. At this time, only the base layer bitstream is decoded according to the available transmission bandwidth or the user terminal, or both the base layer bitstream and the enhancement layer bitstream are decoded.

이러한 스케일러블 영상 부호화 기술은 MPEG-2, MPEG-4, H.263 및 H.264 등 다양한 영상 압축 표준들에 활용되고 있으며, 향후에는 더욱 다양한 영상 코덱들에 적용될 전망이다.Such scalable video encoding technology is used in various video compression standards such as MPEG-2, MPEG-4, H.263 and H.264, and is expected to be applied to more various video codecs in the future.

본 발명이 이루고자 하는 기술적 과제는 다수의 코덱들 중 어느 하나의 코덱을 기본 계층으로 하면서 각 코덱들이 공통으로 갖는 특성을 계층간 예측에 적용하여 부호화하는 스케일러블 영상 부호화 방법 및 장치를 제공하는데 있다. 본 발명이 이루고자 하는 다른 기술적인 과제는 임의의 코덱을 기본 계층으로 하면서 각 코덱들이 공통으로 갖는 특성을 계층간 예측에 적용하여 복호화하는 스케일러블 영상 복호화 방법 및 장치를 제공하는데 있다. 또한, 상기된 방법들을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.An object of the present invention is to provide a scalable image encoding method and apparatus for encoding by applying one of a plurality of codecs as a base layer and applying characteristics common to each codec to inter-layer prediction. Another technical problem to be solved by the present invention is to provide a scalable video decoding method and apparatus for decoding by applying an arbitrary codec as a base layer and applying characteristics common to each codec to inter-layer prediction. Further, the present invention provides a computer-readable recording medium having recorded thereon a program for executing the above-described methods on a computer.

상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 영상 부호화 방법은 다수의 코덱들 중 어느 하나를 사용하여 영상에 대한 기본 계층 비트 스트림을 생성하는 단계; 상기 기본 계층 비트 스트림 생성에 사용된 코덱이 확장 계층 부호화가 지원되는 코덱인지 여부를 판단하는 단계; 상기 판단 결과에 따라 상기 기본 계층 비트스트림을 복호화함으로써 상기 기본 계층 비트스트림 생성에 사용된 부호화 정보를 추출하는 단계; 및 상기 추출된 부호화 정보를 이용하여 원 영상에 대한 확장 계층 비트스트림을 생성하는 단계를 포함한다.According to an aspect of the present invention, there is provided a scalable video encoding method comprising: generating a base layer bit stream for an image using any one of a plurality of codecs; Determining whether a codec used for generating the base layer bit stream is a codec for which enhancement layer encoding is supported; Extracting encoding information used to generate the base layer bitstream by decoding the base layer bitstream according to the determination result; And generating an enhancement layer bitstream for the original image by using the extracted encoding information.

상기 또 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 영상 부호화 장치는 다수의 코덱들 중 어느 하나를 사용하여 영상에 대한 기본 계층 비트 스트림을 생성하는 기본 계층 부호화부; 상기 기본 계층 비트 스트림 생성에 사용된 코덱이 확장 계층 부호화가 지원되는 코덱인지 여부를 판단하는 코덱 판별부; 상기 판단 결과에 따라 상기 기본 계층 비트스트림을 복호화함으로써 상기 기본 계층 비트스트림 생성에 사용된 부호화 정보를 추출하는 심볼 추출부; 및 상기 추출된 부호화 정보를 이용하여 원 영상에 대한 확장 계층 비트스트림을 생성하는 확장 계층 부호화부를 포함한다.According to another aspect of the present invention, there is provided a scalable video encoding apparatus comprising: a base layer encoder for generating a base layer bit stream for an image using any one of a plurality of codecs; A codec determination unit that determines whether a codec used for generating the base layer bit stream is a codec for which enhancement layer encoding is supported; A symbol extraction unit configured to extract encoding information used to generate the base layer bitstream by decoding the base layer bitstream according to the determination result; And an enhancement layer encoder for generating an enhancement layer bitstream of the original image by using the extracted encoding information.

상기 또 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 영상 복호화 방법은 입력된 비트스트림을 기본 계층 비트스트림과 확장 계층 비트스트림으로 분리하는 단계; 상기 분리된 기본 계층 비트스트림의 부호화에 사용된 코덱이 확장 계층 복호화가 지원되는 코덱인지 여부를 판단하는 단계; 상기 판단 결과에 따라, 상기 분리된 기본 계층 비트스트림을 복호화하여 소정 정보를 추출하는 단계; 및 상기 추출된 소정 정보를 이용하여, 상기 분리된 확장 계층 비트스트림에 대하여 복호화를 수행하는 단계를 포함한다.According to another aspect of the present invention, there is provided a scalable video decoding method comprising: separating an input bitstream into a base layer bitstream and an enhancement layer bitstream; Determining whether the codec used for encoding the separated base layer bitstream is a codec for which enhancement layer decoding is supported; Extracting predetermined information by decoding the separated base layer bitstream according to the determination result; And performing decoding on the separated enhancement layer bitstream using the extracted predetermined information.

상기 또 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 스케일러블 영상 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.In order to solve the above further technical problem, the present invention provides a computer-readable recording medium that records a program for executing the scalable image decoding method on a computer.

상기 기술적 과제를 이루기 위한 본 발명에 따른 스케일러블 영상 복호화 장치는 입력된 비트스트림을 기본 계층 비트스트림과 확장 계층 비트스트림을 분리하는 비트스트림 분리부; 상기 분리된 기본 계층 비트스트림에 사용된 코덱이 확장 계층 복호화가 지원되는 코덱인지 여부를 판단하는 코덱 판별부; 상기 판단 결과에 따라, 상기 분리된 기본 계층 비트스트림을 복호화하여 소정 정보를 추출하는 정보 추출부; 및 상기 추출된 소정 정보를 이용하여, 상기 분리된 확장 계층 비트스트림 에 대하여 복호화를 수행하는 확장 계층 복호화부를 포함한다.According to an aspect of the present invention, there is provided a scalable video decoding apparatus comprising: a bitstream separator configured to separate an input bitstream from a base layer bitstream and an enhancement layer bitstream; A codec determination unit that determines whether a codec used for the separated base layer bitstream is a codec for which enhancement layer decoding is supported; An information extracting unit which extracts predetermined information by decoding the separated base layer bitstream according to the determination result; And an enhancement layer decoder configured to perform decoding on the separated enhancement layer bitstream using the extracted predetermined information.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 스케일러블 영상 부호화 장치의 구성을 블록도로 도시한 것이다.1 is a block diagram illustrating a configuration of a scalable video encoding apparatus according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 실시예에 따른 스케일러블 영상 부호화 장치(10)는 다운 스케일링부(110), 기본 계층 부호화부(120), 업 스케일링부(130), 감산부(140), 코덱 판별부(150), 심볼 추출부(160), 확장 계층 부호화부(170) 및 비트스트림 통합부(180)로 구성된다.As illustrated in FIG. 1, the scalable video encoding apparatus 10 according to the present exemplary embodiment may include a downscaling unit 110, a base layer encoder 120, an upscaling unit 130, a subtracting unit 140, A codec discrimination unit 150, a symbol extractor 160, an enhancement layer encoder 170, and a bitstream integrator 180 are included.

다운 스케일링부(110)는 입력되는 원 영상에 대하여, 화질을 조정하는 다운 스케일링을 수행한다. 특히, 다운 스케일링부(110)는 스케일러블 영상 부호화 장치(10)가 어떠한 스케일러빌리티(scalability)를 이용하여 원 영상을 부호화할 것인지에 따라 여러 가지의 다운 스케일링을 사용할 수 있다.The down scaling unit 110 performs down scaling for adjusting the image quality of the input original image. In particular, the downscaling unit 110 may use various downscaling depending on the scalability of the scalable video encoding apparatus 10 to use the scalability.

일 예로서, 다운 스케일링부(110)는 원 영상의 프레임을 수평 방향과 수직 방향으로 서브 샘플링함으로써 화면의 해상도를 낮출 수 있다. 다른 일 예로서, 다운 스케일링부(110)는 원 영상을 구성하는 프레임들 중 일부 프레임들을 제거함으로써 원 영상의 프레임률을 낮춘다. 또 다른 일 예로서, 다운 스케일링부(110)는 영상 포맷을 변환시키는 것도 가능한데, 원 영상이 4:4:4 영상 포맷인 경우, 색차 블럭에 대하여 다운 샘플링(down sampling)을 수행함으로써 원 영상을 4:2:2 혹은 4:2:0 영상 포맷으로 변환시킬 수 있다. 이때, 4:4:4 영상 포맷은 세 가지 성분인 휘도 성분 Y, 색차성분 Cb 및 Cr이 모든 픽셀의 위치에 각각의 성분이 존재하는 것을 의미하고, 4:2:2 영상 포맷은 색차 성분인 Cb, Cr 은 수평 방향으로는 휘도 성분 Y와 동일한 해상도를 갖지만, 수직 방향으로는 휘도 성분 Y의 1/2의 해상도는 가지는 것을 의미하고, 4:2:0 영상 포맷은 색차 성분인 Cb, Cr은 휘도 성분 Y에 비해 수평과 수직 방향으로 1/2의 해상도를 가지는 것을 의미한다. 또 다른 일 예로서, 다운 스케일링부(110)는 원 영상을 구성하는 화소들의 비트 깊이(bit depth)를 8비트에서 6비트로 변경하는 등의 비트 깊이를 줄일 수도 있다. 이러한 다운 스케일링부(110)에 의한 다운 스케일링은 스케일러블 영상 부호화 기술에 따라 여러 가지 다른 기능을 수행할 수 있으며, 본 실시예에 따른 다운 스케일링부(110)는 위에 열거한 방법에 제한되지 않는다. 그리고, 이러한 다운 스케일링부(110)는 경우에 따라 생략될 수 있는 구성 요소이다.As an example, the downscaling unit 110 may lower the screen resolution by subsampling a frame of an original image in a horizontal direction and a vertical direction. As another example, the downscaling unit 110 lowers the frame rate of the original image by removing some of the frames constituting the original image. As another example, the downscaling unit 110 may convert an image format. When the original image is a 4: 4: 4 image format, the downscaling unit 110 performs down sampling on the chrominance block to perform an original image. You can convert to 4: 2: 2 or 4: 2: 0 video format. In this case, the 4: 4: 4 image format means that three components, luminance component Y, chrominance component Cb, and Cr, respectively exist at positions of all pixels, and the 4: 2: 2 image format is a chrominance component. Cb and Cr have the same resolution as the luminance component Y in the horizontal direction, but have a half resolution of the luminance component Y in the vertical direction, and the 4: 2: 0 image format is Cb and Cr as the chrominance component. Means that the resolution is 1/2 in the horizontal and vertical directions compared to the luminance component Y. As another example, the down scaling unit 110 may reduce the bit depth such as changing the bit depth of the pixels constituting the original image from 8 bits to 6 bits. The downscaling by the downscaling unit 110 may perform various other functions according to the scalable video encoding technique, and the downscaling unit 110 according to the present embodiment is not limited to the above-listed methods. The downscaling unit 110 may be omitted in some cases.

기본 계층 부호화부(120)는 다운 스케일링부(110)에 의해 다운 스케일링된 영상을 예측 부호화, 움직임 보상, 직교 변환, 양자화 및 엔트로피 부호화 등을 통해 부호화함으로써 기본 계층 비트스트림을 생성하고, 이 생성된 기본 계층 비트스트림을 복호화함으로써 기본 계층 복원 영상을 생성한다. 특히, 기본 계층 비트스트림의 생성을 위한 부호화를 수행하기 위해, 기본 계층 부호화부(120)는 H.264 baseline 프로파일, H.264 main 프로파일, VC-1 simple 프로파일, VC-1 advanced 프로파일, MPEG-4 part2 simple 프로파일, MPEG-4 part2 advanced simple 프로파일, MPEG-4 part2 main 프로파일 및 H.263 baseline 프로파일 등 중 기존 비디오 압축 표준과 호환되는 어느 하나의 토덱을 사용할 수 있다.The base layer encoder 120 generates a base layer bitstream by encoding the down-scaled image by the down scaler 110 through predictive encoding, motion compensation, orthogonal transformation, quantization, and entropy encoding. A base layer reconstruction image is generated by decoding the base layer bitstream. In particular, in order to perform encoding for generation of a base layer bitstream, the base layer encoder 120 may include an H.264 baseline profile, an H.264 main profile, a VC-1 simple profile, a VC-1 advanced profile, and an MPEG- You can use any one of the following tokcode compatible with existing video compression standards: 4 part2 simple profile, MPEG-4 part2 advanced simple profile, MPEG-4 part2 main profile, and H.263 baseline profile.

업 스케일링부(130)는 기본 계층 부호화부(120)에 의해 생성된 기본 계층 복원 영상에 대하여, 다운 스케일링부(110)의 다운 스케일링하는 과정의 반대 과정인 업 스케일링을 수행함으로써 업 스케일링된 복원 영상을 생성한다. 즉, 다운 스케일링부(110)에 의해 영상의 해상도가 낮아졌다면, 업 스케일링부(130)는 복원 영상에 대해 보간을 이용하여 복원 영상의 해상도를 다시 높인다. 그리고, 다운 스케일링부(110)에 의해 프레임률이 낮아졌다면, 업 스케일링부(130)는 복원 영상의 프레임들을 이용하여 새로운 프레임들을 생성한 후, 생성된 프레임들을 복원 영상의 프레임에 삽입함으로써 복원 영상의 프레임률을 높인다. 또한, 다운 스케일링부(110)에 의해 원 영상의 영상 포맷이 변환되었다면, 복원 영상의 영상 포맷을 원 영상의 영상 포맷에 맞게 변환한다. 그리고, 다운 스케일링부(110)에 의해 비트 깊이(bit depth)가 줄었다면, 업 스케일링부(130)는 비트 깊이를 다시 복원한다. 이러한 업 스케일링부(130)에 의한 업 스케일링은 스케일러블 영상 부호화 기술에 따라 여러 가지 다른 기능을 수행할 수 있으며, 본 실시예에 따른 업 스케일링부(130)는 위에 열거한 방법에 제한되지 않는다. 그리고, 이러한 업 스케일링부(130)는 다운 스케일링부(110)와 마찬가지로 경우에 따라 생략될 수 있는 구성 요소이다.The upscaling unit 130 performs the upscaling on the base layer reconstructed image generated by the base layer encoder 120, which is the opposite process of downscaling of the downscaling unit 110. Create That is, if the resolution of the image is lowered by the down scaling unit 110, the upscaling unit 130 increases the resolution of the reconstructed image by using interpolation for the reconstructed image. If the frame rate is lowered by the downscaling unit 110, the upscaling unit 130 generates new frames using the frames of the reconstructed image, and then inserts the generated frames into the frames of the reconstructed image. To increase the frame rate. In addition, if the image format of the original image is converted by the downscaling unit 110, the image format of the reconstructed image is converted to match the image format of the original image. If the bit depth is reduced by the down scaling unit 110, the up scaling unit 130 restores the bit depth again. The upscaling by the upscaling unit 130 may perform various other functions according to the scalable video encoding technique, and the upscaling unit 130 according to the present embodiment is not limited to the above-listed methods. The upscaling unit 130 is a component that may be omitted in some cases, like the downscaling unit 110.

감산부(140)는 원 영상과 업 스케일링부(130)에 의해 생성된 업 스케일링된 복원 영상 간의 차이 영상을 구한다.The subtractor 140 obtains a difference image between the original image and the upscaled reconstructed image generated by the upscaling unit 130.

코덱 판별부(150)는 기본 계층 부호화부(120)에 사용된 코덱을 판별하여 상위 계층 비트스트림의 헤더어 기본 계층의 부호화에 사용된 코덱을 식별할 수 있게 하는 코덱 식별자를 기록한다. 특히, 도 2는 코덱 식별자에 따른 기본 계층 부호화부(120)에 의해 사용되는 코덱들의 일 예를 도시한 것으로서, 각각 코덱 식별자 1은 H.264 baseline, 코덱 식별자 2는 H.264 main, 코덱 식별자 3은 VC-1 simple, 코덱 식별자 4는 VC-1 advanced, 코덱 식별자 N은 H.263 baseline을 의미한다. 즉, 여기서 1~N까지 N가지 코덱의 경우 식별이 가능한 경우이며, 지원되지 않는 코덱의 경우 코덱 식별자 N+1로 기록한다. 이때 코덱 식별자를 기록하면서 기본 계층에 사용된 코덱이 지원되는 코덱, 즉, 심볼 추출이 가능한 코덱인지 여부를 판단한다.The codec determination unit 150 records a codec identifier for identifying a codec used for the base layer encoder 120 to identify a codec used for encoding a header base layer of an upper layer bitstream. In particular, FIG. 2 illustrates an example of codecs used by the base layer encoder 120 according to the codec identifier, where codec identifier 1 is H.264 baseline, codec identifier 2 is H.264 main, and codec identifier, respectively. 3 means VC-1 simple, codec identifier 4 means VC-1 advanced, and codec identifier N means H.263 baseline. In other words, in the case of N codecs from 1 to N, identification is possible, and in the case of unsupported codecs, the codec identifier N + 1 is recorded. At this time, while recording the codec identifier, it is determined whether the codec used for the base layer is a supported codec, that is, a codec capable of symbol extraction.

심볼 추출부(160)는 코덱 판별부(150)의 판단 결과 기본 계층 부호화를 수행하는데 사용된 코덱이 확장 계층 부호화가 지원되는 코덱인 경우, 기본 계층 부호화부(120)에 의해 생성된 기본 계층 비트스트림을 엔트로피 복호화함으로써 기본 계층 비트스트림의 부호화에 사용된 심볼을 추출하고, 추출된 심볼을 확장 계층 부호화부(170)에 의해 사용될 수 있도록 보정한다. 이때, 심볼을 보정하는 것은 기본 계층에서 사용된 코덱에 따라 각 심볼의 특징이 서로 다를 수 있으며, 또한 특징이 서로 같다고 하더라도 스케일러블 부호화 특성상 기본 계층과 확장 계층 간에 프레임 크기나 매크로블록 내의 움직임 벡터의 개수 등의 부호화 환경에 있어서 차이가 날 수 있기 때문에, 기본 계층 비트스트림으로부터 추출된 심볼을 그대로 확장 계층에 사용할 수 없는 경우가 발생한다. 기본 계층 비트스트림으로부터 추출 가능한 심볼들은 기존 모든 비디오 포준이 공통적으로 갖는 신택스 정보에 해당하며, 일 예로 매크로블록의 타입 정보, 움직임 벡터, 부호화 블록 패턴(CBP:Coded Block Pattern) 및 양자화된 변환 계수 값과 변환 계수 값을 역양자화한 잉여(residue) 정보 등이 될 수 있다. 이때, 매크로블록의 타입 정보는 현 매크로블록의 부호화 모드를 나타내는 것으로 매크로블록이 움직임 예측 및 보상이 적용되는 인터 모드(inter mode) 타입인지, 공간 예측이 적용되는 인트라 모드(intra mode)타입인지에 대한 정보를 말한다. 또한, 인터 모드 타입에 있어서는 경우에 따라 움직임 보상에 대한 정보, 예를 들어 16x16, 16x8, 8x16, 8x8 등 움직임 벡터의 블록 크기를 나타내기도 하고, 또는 순방향, 역방향, 양방향 및 다이렉트 모드 등 움직임 벡터의 방향이나 종류를 나타내기도 한다. 움직임 벡터는 프레임 간 예측에서 현재 매크로블록과 이에 대응하는 참조 매크로 블록 간의 변위를 말하며, 부호화 블록 패턴(CBP)은 매크로블록 내 양자화된 변환 계수가 존재하는 블록의 위치를 가리키는 것으로, 적어도 하나 이상의 양자화된 변환 계수가 매크로블록을 구성하는 블록 내에 있는지를 나타낸다.The symbol extractor 160 determines the base layer bits generated by the base layer encoder 120 when the codec used to perform the base layer encoding is a codec for which enhancement layer encoding is supported. Entropy decoding the stream extracts the symbols used for encoding the base layer bitstream, and corrects the extracted symbols so that they can be used by the enhancement layer encoder 170. In this case, the symbol correction may be different from each other depending on the codec used in the base layer, and even if the characteristics are the same, the scalable vector may be used to determine the size of the motion vector in the frame size or macroblock between the base layer and the enhancement layer. Since there may be a difference in the encoding environment such as the number, a symbol extracted from the base layer bitstream cannot be used for the enhancement layer as it is. Symbols that can be extracted from the base layer bitstream correspond to syntax information common to all existing video criteria. For example, macroblock type information, a motion vector, a coded block pattern (CBP), and a quantized transform coefficient value. And residual information obtained by inverse quantization of transform coefficient values. In this case, the type information of the macroblock indicates the encoding mode of the current macroblock, and whether the macroblock is an inter mode type to which motion prediction and compensation are applied or an intra mode type to which spatial prediction is applied. Say information about it. In addition, in the inter mode type, information about motion compensation, for example, 16x16, 16x8, 8x16, 8x8, etc. may also indicate the block size of the motion vector, or the motion vector such as the forward, reverse, bidirectional, and direct modes. It can also indicate direction or type. The motion vector refers to the displacement between the current macroblock and the corresponding reference macroblock in inter-frame prediction, and the coding block pattern (CBP) indicates the position of a block in which the quantized transform coefficients exist in the macroblock, and at least one quantization Indicates whether the converted transform coefficient is within a block constituting the macroblock.

이러한 심볼 추출부(160)는 도 3에 도시된 바와 같이, 제 1 스위치(312), 제 2 스위치(313), H.264 baseline 코덱을 이용하여 기본 계층 비트스트림을 복호화하는 제 1 비트스트림 복호화부(310-1), 제 1 심볼 보정부(311-1), H.264 main 코덱을 이용하여 기본 계층 비트스트림을 복호화하는 제 2 비트스트림 복호화부(310-2), 제 2 심볼 보정부(311-2), VC-1 simple 코덱을 이용하여 기본 계층 비트스트림을 복호화하는 제 3 비트스트림 복호화부(310-3), 제 3 심볼 보정부(311-3) ..., H.263 baseline 코덱을 이용하여 기본 계층 비트스트림을 복호화하는 제 N 비트스트림 복호화부(310-N) 및 제 N 심볼 보정부(311-N)로 구성된다.As shown in FIG. 3, the symbol extractor 160 decodes a first bitstream that decodes a base layer bitstream using a first switch 312, a second switch 313, and an H.264 baseline codec. A second bitstream decoder 310-2, a second symbol corrector, which decodes the base layer bitstream using the H.264 main codec; 311-2, the third bitstream decoder 310-3, which decodes the base layer bitstream using the VC-1 simple codec, the third symbol corrector 311-3, ..., H.263 The N-th bitstream decoding unit 310-N and the N-th symbol correcting unit 311-N decode the base layer bitstream using the baseline codec.

이때, 일 예로서 기본 계층 부호화에 사용된 코덱이 VC-simple 인 경우를 중 심으로 심볼 추출부(160)에 대해 상세히 설명하기로 한다. 다음에 설명될 내용은 기본 계층 부호화부에 사용된 코덱이 H.264 baseline, H.264 main 및 VC-1 advanced 등에서도 모두 적용이 가능하다.In this case, as an example, the symbol extractor 160 will be described in detail based on the case where the codec used for the base layer encoding is VC-simple. In the following description, the codec used in the base layer encoder may be applied to H.264 baseline, H.264 main and VC-1 advanced.

기본 계층 부호화에 사용된 코덱이 VC-1 simple 이면, 제 1 스위치(312)는 기본 계층 부호화부(120)을 제 3 비트스트림 복호화부(310-3)와 연결하고, 제 2 스위치(313)는 제 3 심볼 보정부(311-3)를 확장 계층 부호화부(170)와 연결한다. 그러면, 제 3 비트스트림 복호화부(310-3)가 기본 계층 비트스트림에 대해 엔트로피 복호화를 수행하여 기본 계층 비트스트림으로부터 매크로블록의 타입 정보, 움직임 벡터, 부호화 블록 패턴 및 양자화된 변환 계수 값등의 심볼을 추출한다. 그리고, 제 3 심볼 보정부(311-3)는 이 추출된 심볼을 확장 계층 부호화부(170)에 의해 사용될 수 있도록 보정한다.If the codec used for base layer encoding is VC-1 simple, the first switch 312 connects the base layer encoder 120 with the third bitstream decoder 310-3 and the second switch 313. Connects the third symbol corrector 311-3 to the enhancement layer encoder 170. Then, the third bitstream decoder 310-3 performs entropy decoding on the base layer bitstream, and thus, symbols such as macroblock type information, motion vectors, coding block patterns, and quantized transform coefficient values from the base layer bitstream. Extract The third symbol correction unit 311-3 corrects the extracted symbols so that they can be used by the enhancement layer encoder 170.

이러한 보정의 일 예로서, 기본 계층의 프레임의 크기와 확장 계층의 프레임의 크기가 다르다면, 제 3 심볼 보정부(311-3)는 도 4에 도시된 바와 같이 프레임들의 크기를 고려하여 추출된 기본 계층 매크로블록의 심볼을 확장 계층 매크로블록에 맞게 매핑함으로써 보정을 수행한다.As an example of such correction, if the size of the frame of the base layer is different from the size of the frame of the enhancement layer, the third symbol correction unit 311-3 is extracted in consideration of the sizes of the frames as shown in FIG. 4. Correction is performed by mapping the symbols of the base layer macroblocks to the enhancement layer macroblocks.

그리고, 제 3 비트스트림 복호화부(310-3)에 의해 추출된 심볼이 움직임 벡터인 경우, 이 움직임 벡터를 보정하는 방법의 일 예를 도 5a 내지 5c를 참조하여 상세히 설명한다.If the symbol extracted by the third bitstream decoder 310-3 is a motion vector, an example of a method of correcting the motion vector will be described in detail with reference to FIGS. 5A to 5C.

만일, 확장 계층의 매크로블록 내의 움직임 벡터의 개수와 기본 계층의 매크로블록 내의 움직임 벡터의 개수가 동일하다면, 제 3 심볼 보정부(311-3)는 제 3 비트스트림 복호화부(310-3)에 의해 추출된 기본 계층의 움직임 벡터를 보정하지 않는다.If the number of motion vectors in the macroblock of the enhancement layer and the number of motion vectors in the macroblock of the base layer are the same, the third symbol corrector 311-3 sends the third bitstream decoder 310-3 to the third bitstream decoder 310-3. The motion vectors of the extracted base layer are not corrected.

그러나, 도 5a 와 도 5b에 도시된 바와 같이, 확장 계층의 매크로블록 내의 움직임 벡터의 개수와 기본 계층의 매크로블록 내의 움직임 벡터의 개수가 서로 다르다면, 제 3 심볼 보정부(311-3)는 추출된 기본 계층의 움직임 벡터를 확장 계층의 매크로블록에 맞게 보정한다.However, as shown in FIGS. 5A and 5B, when the number of motion vectors in the macroblock of the enhancement layer and the number of motion vectors in the macroblock of the base layer are different from each other, the third symbol correction unit 311-3 may The motion vector of the extracted base layer is corrected to fit the macroblock of the enhancement layer.

상세하게는, 확장 계층의 매크로블록 내의 움직임 벡터의 개수와 기본 계층의 매크로블록 내의 움직임 벡터의 개수가 다르다면, 추출된 기본 계층의 매크로블록 내의 움직임 벡터를 이용하여 확장 계층의 매크로블록 내의 움직임 벡터의 개수에 맞는 새로운 움직임 벡터를 구한다. 이 경우 일 예로서, 확장 계층 매크로블록 내의 움직임 벡터의 개수가 기본 계층 매크로블록 내의 움직임 벡터의 개수보다 많다면, 도 5a에 도시된 바와 같이 추출된 기본 계층 매크로블록 내의 움직임 벡터를 복사하여 대응하는 확장 계층 매크로블록 내의 움직임 벡터들로 할 수 있다. 반대로, 다른 일 예로서 확장 계층 매크로블록 내의 움직임 벡터의 개수가 기본 계층 매크로블록 내의 움직임 벡터의 개수보다 적다면, 도 5b에 도시된 바와 같이 추출된 움직임 벡터들의 평균을 계산하고, 이 평균을 확장 계층의 매크로블록의 움직임 벡터로 할 수 있다.Specifically, if the number of motion vectors in the macroblock of the enhancement layer is different from the number of motion vectors in the macroblock of the base layer, the motion vector in the macroblock of the enhancement layer is obtained by using the motion vector in the extracted macroblock of the base layer. Find a new motion vector for the number of. In this case, as an example, if the number of motion vectors in the enhancement layer macroblock is greater than the number of motion vectors in the base layer macroblock, the motion vectors in the extracted base layer macroblock are copied as shown in FIG. Motion vectors in the enhancement layer macroblock. Conversely, as another example, if the number of motion vectors in the enhancement layer macroblock is less than the number of motion vectors in the base layer macroblock, the average of the extracted motion vectors is calculated as shown in FIG. 5B and the mean is expanded. It can be set as the motion vector of the macroblock of the layer.

그리고, 확장 계층의 프레임의 크기와 기본 계층의 프레임의 크기가 다르다면, 이 프레임의 크기를 고려하여 확장 계층의 매크로블록의 움직임 벡터의 크기를 조절하는데, 예를 들면, 도 5c에 도시된 바와 같이 확장 계층의 프레임의 크기가 기본 계층의 프레임의 크기의 2배라면, 기본 계층에서 추출된 움직임 벡터에 2를 곱함으로써 확장 계층의 움직임 벡터를 구할 수 있다.If the size of the frame of the enhancement layer is different from that of the base layer, the size of the motion vector of the macroblock of the enhancement layer is adjusted in consideration of the size of the frame, for example, as shown in FIG. 5C. Likewise, if the size of the frame of the enhancement layer is twice the size of the frame of the base layer, the motion vector of the enhancement layer can be obtained by multiplying the motion vector extracted from the base layer by two.

확장 계층 부호화부(170)는 심볼 추출부(160)로부터 추출된 심볼, 즉 기본 계층 부호화부(120)에 의해 기본 계층 비트스트림의 부호화에 사용된 정보를 이용하여 원 영상 또는 감산부(140)에 의해 구해진 원 영상과 업스케일링된 기본 계층의 복원 영상간의 차이 영상에 대한 부호화를 수행한다. 본 실시예에 따르면, 기본 계층 비트스트림의 부호화에 사용된 정보의 예로는 매크로블록의 타입 정보, 부호화 블록 패턴 정보, 움직임 벡터, 양자화된 변환 계수 등을 들 수 있다. 다만, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 상기된 정보들 외에 다른 정보가 더 포함될 수 있음을 이해할 수 있다.The enhancement layer encoder 170 uses the symbols extracted from the symbol extractor 160, that is, the original image or the subtractor 140 by using the information used for encoding the base layer bitstream by the base layer encoder 120. The encoding is performed on the difference image between the original image obtained by and the reconstructed image of the upscaled base layer. According to the present embodiment, examples of information used for encoding the base layer bitstream may include macroblock type information, coded block pattern information, motion vectors, and quantized transform coefficients. However, one of ordinary skill in the art may understand that other information may be included in addition to the above-described information.

보다 상세하게 설명하면, 확장 계층 부호화부(170)는 원 영상 또는 감산부(140)에 의해 구해진 차이 영상을 예측 부호화, 움직임 보상, 변환 및 양자화 등을 통해 부호화함으로써 움직임 벡터 및 양자화된 변환 계수 등을 포함하는 비트스트림을 생성한다. 그리고, 확장 계층 부호화부(170)는 심볼 추출부(160)로부터 추출된 매크로블록의 타입 정보와 부호화 블록 패턴 정보를 참조하여, 이와 같이 생성된 움직임 벡터 및 양자화된 변환 계수와 심볼 추출부(160)로부터 추출된 움직임 벡터 및 양자화된 변환 계수가 서로 대응되는지를 판단한다. 그리고, 확장 계층 부호화부(170)는 서로 대응되는 것으로 판단된 경우, 심볼 추출부(160)로부터 추출된 움직임 벡터 및 양자화된 변환 계수들을 예측치로 하여 예측부호화에 활용한다. 즉, 각 움직임 벡터들간의 감산 결과 및 양자화된 변환 계수들간의 감산 결과를 엔 트로피 부호화함으로써 확장 계층 비트스트림을 생성한다. In more detail, the enhancement layer encoder 170 encodes the original image or the difference image obtained by the subtractor 140 through predictive encoding, motion compensation, transform and quantization, and the like, such as a motion vector and a quantized transform coefficient. Generates a bitstream comprising a. In addition, the enhancement layer encoder 170 refers to the macroblock type information and the coding block pattern information extracted from the symbol extractor 160, and thus generates the motion vector, the quantized transform coefficients, and the symbol extractor 160. It is determined whether the motion vector and the quantized transform coefficients extracted from R 1 correspond to each other. When it is determined that the enhancement layer encoder 170 corresponds to each other, the enhancement layer encoder 170 uses the motion vector and the quantized transform coefficients extracted from the symbol extractor 160 as prediction values to use the prediction encoding. That is, an enhancement layer bitstream is generated by entropy encoding a subtraction result between each motion vector and a subtraction result between quantized transform coefficients.

이때, 심볼 추출부(160)에 의해 추출된 움직임 벡터 및 양자화된 변환 계수가 확장 계층 부호화부(170)에 의해 생성된 움직임 벡터 및 양자화된 변환 계수와 비슷한 경우에는 더욱 부호화 효율이 향상될 수 있다.In this case, when the motion vector and the quantized transform coefficients extracted by the symbol extractor 160 are similar to the motion vector and the quantized transform coefficients generated by the enhancement layer encoder 170, the coding efficiency may be further improved. .

비트스트림 통합부(180)는 기본 계층 부호화부(120)에 의해 생성된 기본 계층 비트스트림과 확장 계층 부호화부(170)에 의해 생성된 확장 계층 비트스트림을 통합함으로써 통합된 비트스트림을 생성한다.The bitstream integrator 180 generates an integrated bitstream by integrating the base layer bitstream generated by the base layer encoder 120 and the enhancement layer bitstream generated by the enhancement layer encoder 170.

상술한 바와 같이, 본 실시예에 따른 스케일러블 영상 부호화 장치는 기본 계층 비트스트림을 복호화하여 확장 계층 부호화에 필요한 정보를 추출하고, 이 추출된 정보를 이용하여 원 영상 혹은 원 영상과 복원 영상간의 차이 영상에 대하여 확장 계층 부호화를 수행함으로써 기존의 다양한 코덱들을 활용하면서 동시에 높은 화질의 서비스와 높은 부호화 효율을 제공한다.As described above, the scalable video encoding apparatus according to the present embodiment decodes the base layer bitstream to extract information necessary for enhancement layer encoding, and uses the extracted information to determine a difference between the original video or the original video and the reconstructed video. By performing enhancement layer encoding on an image, a variety of existing codecs are utilized while providing a high quality of service and a high encoding efficiency.

도 6은 본 발명의 일 실시예에 따른 스케일러블 영상 복호화 장치의 구성을 블록도로 도시한 것이다.6 is a block diagram illustrating a configuration of a scalable video decoding apparatus according to an embodiment of the present invention.

도 6에 도시된 바와 같이, 본 실시예에 따른 스케일러블 영상 복호화 장치(60)는 비트스트림 식별부(610), 기본 계층 복호화부(620), 업 스케일링부(630),코덱 판별부(640), 심볼 추출부(650), 확장 계층 복호화부(660) 및 가산부(670)로 구성된다.As shown in FIG. 6, the scalable video decoding apparatus 60 according to the present embodiment includes a bitstream identification unit 610, a base layer decoder 620, an upscaling unit 630, and a codec determination unit 640. ), A symbol extractor 650, an enhancement layer decoder 660, and an adder 670.

비트스트림 식별부(610)는 입력되는 비트스트림에 확장 계층 비트스트림이 포함되어 있는지 여부를 식별하고, 식별 결과 확장 계층 비트스트림이 포함되어 있 으면 비트스트림을 기본 계층 비트스트림과 확장 계층 비트스트림으로 분리한다.The bitstream identification unit 610 identifies whether the input layer includes the enhancement layer bitstream, and if the identification result includes the enhancement layer bitstream, the bitstream is divided into a base layer bitstream and an enhancement layer bitstream. Separate.

기본 계층 복호화부(620)는 기본 계층 비트스트림을 복호화함으로써 기본 계층 복원 영상을 생성하고, 업 스케일링부(630)는 이 기본 계층 복원 영상에 업 스케일링을 수행함으로써 업 스케일링된 복원 영상을 생성한다. 특히, 기본 계층 복호화부(620)는 H.264 baseline 프로파일, H.264 main 프로파일, VC-1 simple 프로파일, VC-1 advanced 프로파일, MPEG-4 part2 simple 프로파일, MPEG-4 part2 advanced simple 프로파일, MPEG-4 part2 main 프로파일 및 H.263 baseline 프로파일 등 기존 비디오 압축 표준과 호환되는 어느 하나의 코덱을 사용할 수 있다.The base layer decoder 620 generates a base layer reconstructed image by decoding the base layer bitstream, and the upscaling unit 630 generates an upscaled reconstructed image by performing upscaling on the base layer reconstructed image. In particular, the base layer decoder 620 includes an H.264 baseline profile, an H.264 main profile, a VC-1 simple profile, a VC-1 advanced profile, an MPEG-4 part2 simple profile, an MPEG-4 part2 advanced simple profile, and an MPEG. You can use any codec that is compatible with existing video compression standards, such as the -4 part2 main profile and the H.263 baseline profile.

코덱 판별부(640)는 확장 계층 비트스트림의 헤더를 파싱함으로써 기본 계층의 부호화에 사용된 코덱을 식별할 수 있게 하는 코덱 식별자를 추출하고, 이 추출된 코덱 식별자에 따른 코덱이 확장 계층 복호화가 지원되는 코덱인지 여부를 판단한다.The codec determination unit 640 extracts a codec identifier for identifying a codec used for encoding the base layer by parsing a header of the enhancement layer bitstream, and the codec according to the extracted codec identifier is supported by enhancement layer decoding. Determine whether or not the codec.

심볼 추출부(650)는 코덱 판별부(640)의 판단 결과 기본 계층 부호화를 수행하는데 사용된 코덱이 확장 계층 부호화시 활용 가능한 지원 코덱이면, 기본 계층 비트스트림을 엔트로피 복호화함으로써 기본 계층 비트스트림의 부호화에 사용된 심볼을 추출하고, 추출된 심볼을 확장 계층 복호화부(660)에 의해 사용될 수 있도록 보정한다. 이때의 심볼로는 매크로블록의 타입 정보, 움직임 벡터, 부호화 블록 패턴 및 양자화된 변환 계수 등이 될 수 있다. 이러한 심볼 추출부(650)는 도 3에 도시된 바와 같이, 제 1 스위치(312), 제 2 스위치(313), H.264 baseline 코덱에 의한 기본 계층 비트스트림으로부터 심볼을 추출하는 제 1 비트스트림 복호화 부(310-1)와 제 1 심볼 보정부(311-1), H.264 main 코덱에 의한 기본 계층 비트스트림으로부터 심볼을 추출하는 제 2 비트스트림 복호화부(310-2)와 제 2 심볼 보정부(311-2), VC-1 simple 코덱에 의한 기본 계층 비트스트림으로부터 심볼을 추출하는 제 3 비트스트림 복호화부(310-3), 제 3 심볼 보정부(311-3) ... 및 H.263 baseline 코덱에 의한 기본 계층 비트스트림으로부터 심볼을 추출하는 제 N 비트스트림 복호화부(310-N), 제 N 심볼 보정부(311-N)로 구성되며, 이에 대한 설명은 도 1의 스케일러블 영상 부호화 장치(10)의 심볼 추출부(160)에서 설명한 바와 동일하므로 생략한다.The symbol extractor 650 encodes the base layer bitstream by entropy decoding the base layer bitstream if the codec used to perform the base layer encoding is a support codec available for enhancement layer encoding. A symbol used in the AX is extracted and the extracted symbol is corrected to be used by the enhancement layer decoder 660. The symbol at this time may be type information of a macroblock, a motion vector, an encoding block pattern, and a quantized transform coefficient. As shown in FIG. 3, the symbol extractor 650 extracts a symbol from a base layer bitstream by a first switch 312, a second switch 313, and an H.264 baseline codec. The second bitstream decoder 310-2 and the second symbol that extract symbols from the base layer bitstream by the decoder 310-1, the first symbol corrector 311-1, and the H.264 main codec. A third bitstream decoder 310-3 which extracts a symbol from a base layer bitstream by the VC-1 simple codec, a third symbol corrector 311-3, and the like. The N-th bitstream decoding unit 310-N and the N-th symbol correcting unit 311-N extracting symbols from the base layer bitstream by the H.263 baseline codec. Since it is the same as that described in the symbol extractor 160 of the flexible video encoding apparatus 10, it is omitted.

확장 계층 복호화부(660)는 심볼 추출부(650)에 의해 추출 및 보정된 매크로블록의 타입, 움직임 벡터, 부호화 블록 패턴 및 양자화된 변환 계수 등의 심볼을 예측 복호화하는데 이용하여, 확장 계층 비트스트림을 복호화함으로써 차이 영상을 복원한다.The enhancement layer decoder 660 uses the enhancement layer bitstream to predict and decode symbols such as the type, motion vector, coding block pattern, and quantized transform coefficients of the macroblock extracted and corrected by the symbol extractor 650. The difference image is reconstructed by decoding.

가산부(670)는 확장 계층 복호화부(660)에 의해 복원된 차이 영상과 업 스케일링부(630)에 의해 업 스케일링된 복원 영상을 가산함으로써 최종 복원 영상을 생성한다.The adder 670 generates a final reconstructed image by adding the difference image reconstructed by the enhancement layer decoder 660 and the reconstructed image upscaled by the upscaling unit 630.

도 7은 본 발명의 일 실시예에 따른 스케일러블 영상 부호화 방법을 흐름도로 도시한 것이다. 도 7을 참조하면, 본 실시예에 따른 스케일러블 영상 부호화 방법은 도 1에 도시된 스케일러블 영상 부호화 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 스케일러블 영상 부호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 스케일러블 영상 부호화 방법에도 적용된다.7 is a flowchart illustrating a scalable video encoding method according to an embodiment of the present invention. Referring to FIG. 7, the scalable video encoding method according to the present embodiment includes steps that are processed in time series in the scalable video encoding apparatus illustrated in FIG. 1. Therefore, although omitted below, the above descriptions of the scalable video encoding apparatus shown in FIG. 1 also apply to the scalable video encoding method according to the present embodiment.

710 단계에서 스케일러블 영상 부호화 장치(10)는 입력되는 원 영상에 대하여 화질을 조정하는 다운 스케일링을 수행한다. 스케일러블 영상 부호화 장치(10)가 어떠한 스케일러빌리티(scalability)를 이용하여 원 영상을 부호화할 것인지에 따라 화면의 해상도를 낮추는 방법, 원 영상의 프레임률을 낮추는 방법, 영상 포맷을 변환하는 방법 및 비트 깊이(bit depth)를 줄이는 방법 등의 여러 가지의 다운 스케일링을 수행할 수 있다.In operation 710, the scalable image encoding apparatus 10 performs downscaling for adjusting image quality of an input original image. A method of lowering a screen resolution, a method of lowering a frame rate of an original image, a method of converting an image format, and a bit depth according to a scalability of the scalable image encoding apparatus 10 to encode an original image by using scalability You can do several downscaling methods, such as reducing the bit depth.

720 단계에서 스케일러블 영상 부호화 장치(10)는 710 단계에서 다운스케일된 영상을 부호화함으로써 기본 계층 비트스트림을 생성하고, 이 생성된 기본 계층 비트스트림을 복호화함으로써 기본 계층 복원 영상을 생성한다. 이때, 기본 계층 비트스트림의 생성을 위한 부호화를 수행하기 위해, H.264 baseline 프로파일, H.264 main 프로파일, VC-1 simple 프로파일, VC-1 advanced 프로파일, MPEG-4 part2 simple 프로파일, MPEG-4 part2 advanced simple 프로파일, MPEG-4 part2 main 프로파일 및 H.263 baseline 프로파일 등 기존 비디오 압축 표준과 호환되는 어느 하나의 코덱을 사용할 수 있다.In operation 720, the scalable image encoding apparatus 10 generates a base layer bitstream by encoding the downscaled image, and generates a base layer reconstructed image by decoding the generated base layer bitstream. At this time, in order to perform encoding for generation of a base layer bitstream, an H.264 baseline profile, an H.264 main profile, a VC-1 simple profile, a VC-1 advanced profile, an MPEG-4 part2 simple profile, and an MPEG-4 You can use any codec that is compatible with existing video compression standards, such as the part2 advanced simple profile, the MPEG-4 part2 main profile, and the H.263 baseline profile.

730 단계에서 스케일러블 영상 부호화 장치(10)는 720 단계에서 생성된 기본 계층 복원 영상에 대하여 업 스케일링을 수행함으로써 업 스케일링된 복원 영상을 생성한다. 이때, 업 스케일링은 710 단계에서 다운 스케일링하는 것의 반대 과정을 수행하는 것을 말한다.In operation 730, the scalable image encoding apparatus 10 generates an upscaled reconstructed image by performing upscaling on the base layer reconstructed image generated in operation 720. In this case, upscaling refers to performing an opposite process to downscaling in step 710.

740 단계에서 스케일러블 영상 부호화 장치(10)는 원 영상과 730 단계에서 생성된 업 스케일링된 복원 영상 간의 차이 영상을 구한다.In operation 740, the scalable image encoding apparatus 10 obtains a difference image between the original image and the upscaled reconstructed image generated in operation 730.

750 단계에서 스케일러블 영상 부호화 장치(10)는 720 단계에서 사용된 기본 계층 코덱에 따라 확장 계층 부호화시 활용 가능한 지원 코덱인지 판단하고, 상위 계층 비트스트림의 헤더에 기본 계층의 부호화에 사용된 코덱을 식별할 수 있게 하는 코덱 식별자를 기록한다.In operation 750, the scalable video encoding apparatus 10 determines whether the support codec is available for enhancement layer encoding according to the base layer codec used in operation 720, and sets the codec used for encoding the base layer in the header of the higher layer bitstream. Record the codec identifier that allows you to identify it.

760 단계에서 스케일러블 영상 부호화 장치(10)는 750 단계에서의 판단 결과 추출된 코덱 식별자에 따른 코덱이 지원되는 코덱이면, 720 단계에서 생성된 기본 계층 비트스트림을 엔트로피 복호화함으로써 기본 계층 비트스트림의 부호화에 사용된 심볼을 추출하고, 추출된 심볼을 확장 계층 부호화하는데 사용될 수 있도록 보정한다. 이때의 심볼로는 매크로블록의 타입 정보, 움직임 벡터, 부호화 블록 패턴(CBP:Coded Block Pattern) 및 양자화된 변환 계수 등이 될 수 있다.In operation 760, if the codec supports the codec according to the extracted codec identifier as a result of the determination in operation 750, the scalable image encoding apparatus 10 encodes the base layer bitstream by entropy decoding the base layer bitstream generated in operation 720. A symbol used in the step S is extracted and corrected so that the extracted symbol can be used for enhancement layer encoding. In this case, the symbol may include type information of a macroblock, a motion vector, a coded block pattern (CBP), a quantized transform coefficient, and the like.

770 단계에서 스케일러블 영상 부호화 장치(10)는 760 단계에서 추출 및 보정된 심볼을 예측 부호화하는데 이용하여, 740 단계에서 구한 차이 영상을 부호화함으로써 확장 계층 비트스트림을 생성한다.In operation 770, the scalable image encoding apparatus 10 generates an enhancement layer bitstream by encoding the difference image obtained in operation 740, using prediction encoding on the extracted and corrected symbols.

780 단계에서 스케일러블 영상 부호화 장치(10)는 720 단계에서 생성된 기본 계층 비트스트림과 770 단계에서 생성된 확장 계층 비트스트림을 통합함으로써 통합된 비트스트림을 생성한다.In operation 780, the scalable image encoding apparatus 10 generates an integrated bitstream by integrating the base layer bitstream generated in operation 720 and the enhancement layer bitstream generated in operation 770.

도 8은 본 발명의 일 실시예에 따른 스케일러블 영상 복호화 방법을 흐름도로 도시한 것이다. 도 8을 참조하면, 본 실시예에 따른 스케일러블 영상 복호화 방법은 도 6에 도시된 스케일러블 영상 복호화 장치에서 시계열적으로 처리되는 단계 들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 6에 도시된 스케일러블 영상 복호화 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 스케일러블 영상 복호화 방법에도 적용된다.8 is a flowchart illustrating a scalable video decoding method according to an embodiment of the present invention. Referring to FIG. 8, the scalable video decoding method according to the present embodiment includes steps that are processed in time series in the scalable video decoding apparatus illustrated in FIG. 6. Therefore, although omitted below, the above descriptions of the scalable video decoding apparatus illustrated in FIG. 6 also apply to the scalable video decoding method according to the present embodiment.

810 단계에서 스케일러블 영상 복호화 장치(60)는 입력되는 비트스트림을 기본 계층 비트스트림과 확장 계층 비트스트림으로 분리한다.In operation 810, the scalable image decoding apparatus 60 separates an input bitstream into a base layer bitstream and an enhancement layer bitstream.

820 단계에서 스케일러블 영상 복호화 장치(60)는 810 단계에서 분리된 기본 계층 비트스트림을 복호화함으로써 기본 계층 복원 영상을 생성한다. In operation 820, the scalable image decoding apparatus 60 generates a base layer reconstruction image by decoding the base layer bitstream separated in operation 810.

830 단계에서 스케일러블 영상 복호화 장치(60)는 820 단계에서 생성된 기본 계층 복원 영상에 업 스케일링을 수행함으로써 업 스케일링된 복원 영상을 생성한다. In operation 830, the scalable image decoding apparatus 60 generates an upscaled reconstructed image by performing upscaling on the base layer reconstructed image generated in operation 820.

840 단계에서 스케일러블 영상 복호화 장치(60)는 810 단계에서 분리된 확장 계층 비트스트림의 헤더를 파싱함으로써 기본 계층의 부호화에 사용된 코덱을 식별할 수 있게 하는 코덱 식별자를 추출하고, 이 추출된 코덱 식별자에 따른 코덱이 확장 계층 복호화가 지원되는 코덱인지 여부를 판단한다. In operation 840, the scalable image decoding apparatus 60 extracts a codec identifier for identifying a codec used for encoding a base layer by parsing a header of the enhancement layer bitstream separated in operation 810. It is determined whether the codec according to the identifier is a codec for which enhancement layer decoding is supported.

850 단계에서 스케일러블 영상 복호화 장치(60)는 840 단계에서의 판단 결과 기본 계층 부호화를 수행하는데 사용된 코덱이 지원되는 코덱이면, 기본 계층 비트스트림을 엔트로피 복호화함으로써 기본 계층 비트스트림의 부호화에 사용된 심볼을 추출하고, 추출된 심볼을 확장 계층 복호화에 사용될 수 있도록 보정한다.In operation 850, if the codec used to perform base layer encoding is a codec supported by the scalable image decoding apparatus 60, the scalable image decoding apparatus 60 may be used to encode the base layer bitstream by entropy decoding the base layer bitstream. A symbol is extracted and corrected so that the extracted symbol can be used for enhancement layer decoding.

860 단계에서 스케일러블 영상 복호화 장치(60)는 840 단계에서 기본 계층 코덱이 지원 가능한 코덱으로 판단된 경우, 850 단계에서 추출 및 보정된 심볼을 예측 복호화하는데 이용하고, 기본 계층 코덱이 지원되지 않는 코덱으로 판단된 경우에는 심볼 추출 없이, 810 단계에서 분리된 확장 계층 비트스트림을 복호화함으로써 차이 영상을 복원한다. In step 860, when the scalable image decoding apparatus 60 determines that the base layer codec is a codec that can be supported in step 840, the scalable image decoding apparatus 60 uses the codec to predict and decode a symbol extracted and corrected in step 850 and does not support the base layer codec. If it is determined that the symbol is extracted, the difference image is reconstructed by decoding the separated enhancement layer bitstream in step 810.

870 단계에서 스케일러블 영상 복호화 장치(60)는 860 단계에서 복원된 차이 영상과 830 단계에서 생성된 업 스케일링된 복원 영상을 가산함으로써 최종 복원 영상을 생성한다.In operation 870, the scalable image decoding apparatus 60 generates a final reconstructed image by adding the difference image reconstructed in operation 860 and the upscaled reconstructed image generated in operation 830.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

도 1은 본 발명의 일 실시예에 따른 스케일러블 영상 부호화 장치의 구성을 블록도로 도시한 것이다.1 is a block diagram illustrating a configuration of a scalable video encoding apparatus according to an embodiment of the present invention.

도 2는 코덱 식별자에 따른 기본 계층 부호화부(120)에 의해 사용되는 코덱들의 일 예를 도시한 것이다. 2 illustrates an example of codecs used by the base layer encoder 120 according to a codec identifier.

도 3은 본 발명의 일 실시예에 따른 심볼 추출부(160)의 보다 상세한 구성을 블록도로 도시한 것이다.3 is a block diagram illustrating a more detailed configuration of the symbol extraction unit 160 according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 제 3 심볼 보정부(311-3)가 기본 계층 프레임과 확장 계층 프레임의 크기를 고려하여 심볼을 추출하는 일 예를 도시한 것이다.4 illustrates an example of extracting a symbol by considering a size of a base layer frame and an extended layer frame by the third symbol corrector 311-3 according to an embodiment of the present invention.

도 5a 내지 5c는 본 발명의 일 실시예에 따른 제 3 심볼 보정부(311-3)가 추출된 움직임 벡터를 보정하는 일 예를 설명하기 위한 도면이다.5A to 5C are diagrams for describing an example of correcting the extracted motion vector by the third symbol corrector 311-3 according to an embodiment of the present invention.

도 6은 본 발명의 일 실시예에 따른 스케일러블 영상 복호화 장치의 구성을 블록도로 도시한 것이다.6 is a block diagram illustrating a configuration of a scalable video decoding apparatus according to an embodiment of the present invention.

도 7은 본 발명의 일 실시예에 따른 스케일러블 영상 부호화 방법을 흐름도로 도시한 것이다.7 is a flowchart illustrating a scalable video encoding method according to an embodiment of the present invention.

도 8은 본 발명의 일 실시예에 따른 스케일러블 영상 복호화 방법을 흐름도로 도시한 것이다.8 is a flowchart illustrating a scalable video decoding method according to an embodiment of the present invention.

Claims (15)

다수의 코덱들 중 어느 하나를 사용하여 영상에 대한 기본 계층 비트 스트림을 생성하는 단계;Generating a base layer bit stream for an image using any one of a plurality of codecs; 상기 기본 계층 비트 스트림 생성에 사용된 코덱이 확장 계층 부호화에 활용 가능한 지원 코덱인지 여부를 판단하는 단계;Determining whether the codec used for generating the base layer bit stream is a support codec available for enhancement layer encoding; 상기 판단 결과에 따라 상기 기본 계층 비트스트림을 복호화함으로써 상기 기본 계층 비트스트림 생성에 사용된 부호화 정보를 추출하는 단계; 및Extracting encoding information used to generate the base layer bitstream by decoding the base layer bitstream according to the determination result; And 상기 추출된 부호화 정보를 이용하여 원 영상에 대한 확장 계층 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 방법.And generating an enhancement layer bitstream of the original image by using the extracted encoding information. 제 1 항에 있어서, 상기 부호화 정보는 The method of claim 1, wherein the encoding information 매크로블록의 타입 정보, 부호화 블록 패턴 정보, 움직임 벡터, 양자화된 변환 계수 중 적어도 하나를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 방법.And at least one of macroblock type information, coded block pattern information, a motion vector, and a quantized transform coefficient. 제 1 항에 있어서, 상기 판단하는 단계는The method of claim 1, wherein the determining 상기 기본 계층 비트스트림을 파싱함으로써 부호화에 사용된 코덱의 종류를 판별하는 단계; 및Determining a type of codec used for encoding by parsing the base layer bitstream; And 상기 판별된 코덱의 종류가 확장 계층 부호화가 활용 가능한 지원 코덱에 해 당하는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 방법.And determining whether the type of the determined codec corresponds to a supported codec for which enhancement layer encoding is available. 제 1 항에 있어서, 상기 확장 계층 비트스트림을 생성하는 단계는The method of claim 1, wherein generating the enhancement layer bitstream 상기 추출된 정보를 이용하여, 원 영상과 상기 원 영상으부터 복원된 영상과의 차이 영상에 대하여 부호화를 수행함으로써 확장 계층 비트스트림을 생성하는 것을 특징으로 하는 스케일러블 영상 부호화 방법.And an enhancement layer bitstream is generated by performing encoding on the difference image between the original image and the image reconstructed from the original image by using the extracted information. 제 1 항에 있어서,The method of claim 1, 입력되는 원 영상을 다운스케일링하는 단계; 및Downscaling the input original image; And 상기 다운스케일링된 영상을 부호화함으로써 기본 계층 비트스트림을 생성하는 단계를 더 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 방법.And generating a base layer bitstream by encoding the downscaled image. 입력된 비트스트림을 기본 계층 비트스트림과 확장 계층 비트스트림으로 분리하는 단계;Dividing the input bitstream into a base layer bitstream and an enhancement layer bitstream; 상기 분리된 기본 계층 비트스트림의 부호화에 사용된 코덱이 확장 계층 복호화에 활용 가능한 지원 코덱인지 여부를 판단하는 단계;Determining whether the codec used for encoding the separated base layer bitstream is a support codec available for enhancement layer decoding; 상기 판단 결과에 따라, 상기 분리된 기본 계층 비트스트림을 복호화함으로써 상기 기본 계층 비트스트림의 부호화에 사용된 정보를 추출하는 단계; 및Extracting information used for encoding the base layer bitstream by decoding the separated base layer bitstream according to the determination result; And 상기 추출된 정보를 이용하여, 상기 분리된 확장 계층 비트스트림에 대하여 복호화를 수행하는 단계를 포함하는 것을 특징으로 하는 스케일러블 영상 복호화 방법.And decoding the separated enhancement layer bitstream using the extracted information. 제 6 항에 있어서, 상기 추출된 정보는The method of claim 6, wherein the extracted information is 블록의 타입 정보, 움직임 벡터, 부호화 블록 패턴 및 양자화된 변환 계수 중 적어도 하나를 포함하는 것을 특징으로 하는 스케일러블 영상 복호화 방법.And at least one of block type information, a motion vector, a coding block pattern, and a quantized transform coefficient. 다수의 코덱들 중 어느 하나를 사용하여 영상에 대한 기본 계층 비트스트림을 생성하는 기본 계층 부호화부;A base layer encoder for generating a base layer bitstream for an image using any one of a plurality of codecs; 상기 기본 계층 비트스트림 생성에 사용된 코덱이 확장 계층 부호화에 활용 가능한 지원 코덱인지 여부를 판단하는 코덱 판별부;A codec discrimination unit for determining whether a codec used for generating the base layer bitstream is a support codec available for enhancement layer encoding; 상기 판단 결과에 따라 상기 기본 계층 비트스트림을 복호화함으로써 상기 기본 계층 비트스트림 생성에 사용된 부호화 정보를 추출하는 심볼 추출부; 및A symbol extraction unit configured to extract encoding information used to generate the base layer bitstream by decoding the base layer bitstream according to the determination result; And 상기 추출된 부호화 정보를 이용하여 원 영상에 대한 확장 계층 비트스트림을 생성하는 확장 계층 부호화부를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 장치.And an enhancement layer encoder configured to generate an enhancement layer bitstream of the original image by using the extracted encoding information. 제 8 항에 있어서, 상기 추출된 정보는The method of claim 8, wherein the extracted information is 블록의 타입 정보, 움직임 벡터, 부호화 블록 패턴 및 양자화된 변환 계수 중 적어도 하나를 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 장치.And at least one of block type information, a motion vector, a coding block pattern, and a quantized transform coefficient. 제 8 항에 있어서, 상기 코덱 판별부는The method of claim 8, wherein the codec discrimination unit 상기 기본 계층 부호화에 사용된 코덱의 종류를 판별하고, 상기 판별된 코덱의 종류가 확장 계층 부호화에 활용 가능한 지원 코덱에 해당하는지 여부를 판단하는 것을 특징으로 하는 스케일러블 영상 부호화 장치.And determining a type of the codec used for the base layer encoding, and determining whether the type of the determined codec corresponds to a supported codec available for enhancement layer encoding. 제 8 항에 있어서, 상기 확장 계층 부호화부는The method of claim 8, wherein the enhancement layer encoder 상기 추출된 정보를 이용하여, 원 영상과 상기 원 영상으부터 복원된 영상과의 차이 영상에 대하여 부호화를 수행함으로써 확장 계층 비트스트림을 생성하는 것을 특징으로 하는 스케일러블 영상 부호화 장치.And an enhancement layer bitstream is generated by performing encoding on the difference image between the original image and the image reconstructed from the original image by using the extracted information. 제 8 항에 있어서,The method of claim 8, 입력되는 원 영상을 다운스케일링하는 다운 스케일링부; 및A down scaling unit for downscaling the input original image; And 상기 다운스케일링된 영상을 부호화함으로써 기본 계층 비트스트림을 생성하는 기본 계층 부호화부를 더 포함하는 것을 특징으로 하는 스케일러블 영상 부호화 장치.And a base layer encoder configured to generate a base layer bitstream by encoding the downscaled image. 입력된 비트스트림을 기본 계층 비트스트림과 확장 계층 비트스트림을 분리하는 비트스트림 분리부;A bitstream separator for separating the input bitstream from the base layer bitstream and the enhancement layer bitstream; 상기 분리된 기본 계층 비트스트림에 사용된 코덱이 확장 계층 복호화에 활 용 가능한 지원 코덱인지 여부를 판단하는 코덱 판별부;A codec determination unit that determines whether a codec used in the separated base layer bitstream is a support codec that can be used for enhancement layer decoding; 상기 판단 결과에 따라, 상기 분리된 기본 계층 비트스트림을 복호화함으로써 상기 기본 계층 비트스트림의 부호화에 사용된 정보를 추출하는 정보 추출부; 및An information extraction unit for extracting information used for encoding the base layer bitstream by decoding the separated base layer bitstream according to the determination result; And 상기 추출된 정보를 이용하여, 상기 분리된 확장 계층 비트스트림에 대하여 복호화를 수행하는 확장 계층 복호화부를 포함하는 것을 특징으로 하는 스케일러블 영상 복호화 장치.And an enhancement layer decoder configured to perform decoding on the separated enhancement layer bitstream by using the extracted information. 제 13 항에 있어서, 상기 추출된 정보는The method of claim 13, wherein the extracted information is 블록의 타입 정보, 움직임 벡터, 부호화 블록 패턴 및 양자화된 변환 계수 중 적어도 하나를 포함하는 것을 특징으로 하는 스케일러블 영상 복호화 장치.And at least one of block type information, a motion vector, a coding block pattern, and a quantized transform coefficient. 제 6 항 내지 제 7 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the method of claim 6 on a computer.
KR1020070103163A 2007-10-12 2007-10-12 Scalable video encoding method and apparatus and scalable video decoding method and apparatus KR101345287B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020070103163A KR101345287B1 (en) 2007-10-12 2007-10-12 Scalable video encoding method and apparatus and scalable video decoding method and apparatus
US12/076,126 US8160158B2 (en) 2007-10-12 2008-03-13 Scalable video coding method and apparatus and scalable video decoding method and apparatus
US13/417,847 US8588313B2 (en) 2007-10-12 2012-03-12 Scalable video coding method and apparatus and scalable video decoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070103163A KR101345287B1 (en) 2007-10-12 2007-10-12 Scalable video encoding method and apparatus and scalable video decoding method and apparatus

Publications (2)

Publication Number Publication Date
KR20090037689A true KR20090037689A (en) 2009-04-16
KR101345287B1 KR101345287B1 (en) 2013-12-27

Family

ID=40534163

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070103163A KR101345287B1 (en) 2007-10-12 2007-10-12 Scalable video encoding method and apparatus and scalable video decoding method and apparatus

Country Status (2)

Country Link
US (2) US8160158B2 (en)
KR (1) KR101345287B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157828A1 (en) * 2012-04-16 2013-10-24 한국전자통신연구원 Decoding method and device for bit stream supporting plurality of layers
WO2014107069A1 (en) * 2013-01-07 2014-07-10 한국전자통신연구원 Image encoding/decoding method and device
WO2015060699A1 (en) * 2013-10-26 2015-04-30 삼성전자 주식회사 Method and apparatus for encoding multilayer video and method and apparatus for decoding multilayer video
KR20160034926A (en) * 2013-07-18 2016-03-30 퀄컴 인코포레이티드 Device and method for scalable coding of video information

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011037933A1 (en) * 2009-09-22 2011-03-31 Panasonic Corporation Image coding apparatus, image decoding apparatus, image coding method, and image decoding method
JP5916624B2 (en) * 2010-01-06 2016-05-11 ドルビー ラボラトリーズ ライセンシング コーポレイション Scalable decoding and streaming with adaptive complexity for multi-layered video systems
WO2013171173A1 (en) 2012-05-14 2013-11-21 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
CN102740078B (en) * 2012-07-12 2014-10-22 北方工业大学 Adaptive spatial scalable coding based on HEVC (high efficiency video coding) standard
CN102740079B (en) * 2012-07-12 2014-10-01 北方工业大学 Quality scalable coding based on HEVC (High Efficiency Video Coding) standard rate distortion optimization
US9124899B2 (en) 2012-09-28 2015-09-01 Sharp Laboratories Of America, Inc. Motion derivation and coding for scaling video
KR101835358B1 (en) 2012-10-01 2018-03-08 지이 비디오 컴프레션, 엘엘씨 Scalable video coding using inter-layer prediction contribution to enhancement layer prediction
US10375405B2 (en) * 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
CN103916670B (en) * 2013-01-07 2017-08-04 华为技术有限公司 A kind of coding of image, coding/decoding method and device
CN103281533B (en) * 2013-05-14 2016-02-24 芯原微电子(北京)有限公司 For equipment and the method for enhancement layer estimation in scalable video
US9560358B2 (en) * 2013-07-22 2017-01-31 Qualcomm Incorporated Device and method for scalable coding of video information
US9219924B2 (en) 2013-07-26 2015-12-22 Hong Kong Applied Science and Technology Research Institute Company Limited Spatial scalable video coding using non-scalable video CODEC
GB2544800A (en) * 2015-11-27 2017-05-31 V-Nova Ltd Adaptive bit rate ratio control
US10764588B2 (en) 2018-08-10 2020-09-01 Apple Inc. Deep quality enhancement of adaptive downscaled coding for image compression
KR20230158519A (en) * 2021-04-02 2023-11-20 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 About Scalability Dimensions in Video Coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2195110A1 (en) * 1994-07-14 1996-02-01 Stephen G. Johnson Method and apparatus for compressing images
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US7380028B2 (en) * 2003-06-13 2008-05-27 Microsoft Corporation Robust delivery of video data
US20050254575A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Multiple interoperability points for scalable media coding and transmission
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
WO2006108917A1 (en) * 2005-04-13 2006-10-19 Nokia Corporation Coding, storage and signalling of scalability information
WO2007081177A1 (en) * 2006-01-12 2007-07-19 Lg Electronics Inc. Processing multiview video
WO2008084424A1 (en) * 2007-01-08 2008-07-17 Nokia Corporation System and method for providing and using predetermined signaling of interoperability points for transcoded media streams

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958919B2 (en) 2012-04-16 2021-03-23 Electronics And Telecommunications Resarch Institute Image information decoding method, image decoding method, and device using same
US10958918B2 (en) 2012-04-16 2021-03-23 Electronics And Telecommunications Research Institute Decoding method and device for bit stream supporting plurality of layers
US11949890B2 (en) 2012-04-16 2024-04-02 Electronics And Telecommunications Research Institute Decoding method and device for bit stream supporting plurality of layers
US11490100B2 (en) 2012-04-16 2022-11-01 Electronics And Telecommunications Research Institute Decoding method and device for bit stream supporting plurality of layers
US10602160B2 (en) 2012-04-16 2020-03-24 Electronics And Telecommunications Research Institute Image information decoding method, image decoding method, and device using same
US11483578B2 (en) 2012-04-16 2022-10-25 Electronics And Telecommunications Research Institute Image information decoding method, image decoding method, and device using same
WO2013157828A1 (en) * 2012-04-16 2013-10-24 한국전자통신연구원 Decoding method and device for bit stream supporting plurality of layers
US10595026B2 (en) 2012-04-16 2020-03-17 Electronics And Telecommunications Research Institute Decoding method and device for bit stream supporting plurality of layers
US10455241B2 (en) 2013-01-07 2019-10-22 Electronics And Telecommunications Research Institute Image encoding/decoding method and device
US10841598B2 (en) 2013-01-07 2020-11-17 Electronics And Telecommunications Research Institute Image encoding/decoding method and device
US9843814B2 (en) 2013-01-07 2017-12-12 Electronics And Telecommunications Research Institute Image encoding/decoding method and device
WO2014107069A1 (en) * 2013-01-07 2014-07-10 한국전자통신연구원 Image encoding/decoding method and device
US10116946B2 (en) 2013-01-07 2018-10-30 Electronics And Telecommunications Research Institute Image encoding/decoding method and device
KR20160034926A (en) * 2013-07-18 2016-03-30 퀄컴 인코포레이티드 Device and method for scalable coding of video information
US10827197B2 (en) 2013-10-26 2020-11-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding multilayer video and method and apparatus for decoding multilayer video
WO2015060699A1 (en) * 2013-10-26 2015-04-30 삼성전자 주식회사 Method and apparatus for encoding multilayer video and method and apparatus for decoding multilayer video

Also Published As

Publication number Publication date
KR101345287B1 (en) 2013-12-27
US20090097573A1 (en) 2009-04-16
US8588313B2 (en) 2013-11-19
US8160158B2 (en) 2012-04-17
US20120170661A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
KR101345287B1 (en) Scalable video encoding method and apparatus and scalable video decoding method and apparatus
KR100725407B1 (en) Method and apparatus for video signal encoding and decoding with directional intra residual prediction
KR100772882B1 (en) Deblocking filtering method considering intra BL mode, and video encoder/decoder based on multi-layer using the method
KR100791299B1 (en) Multi-layer based video encoding method and apparatus thereof
KR100727969B1 (en) Apparatus for encoding and decoding image, and method theroff, and a recording medium storing program to implement the method
KR100727970B1 (en) Apparatus for encoding and decoding image, and method theroff, and a recording medium storing program to implement the method
US20060120450A1 (en) Method and apparatus for multi-layered video encoding and decoding
KR101215614B1 (en) Apparatus for encoding and decoding image, and method theroff, and a recording medium storing program to implement the method
JP7343668B2 (en) Method and apparatus for color conversion in VVC
KR20060088461A (en) Method and apparatus for deriving motion vectors of macro blocks from motion vectors of pictures of base layer when encoding/decoding video signal
KR20060085157A (en) Method and apparatus for encoding/decoding video signal using prediction information of intra-mode macro blocks of base layer
CN105850124B (en) Method and apparatus for encoding and decoding video signal using additional control of quantization error
JP6055098B2 (en) Video decoding method and apparatus using the same
EP1817911A1 (en) Method and apparatus for multi-layered video encoding and decoding
KR100883591B1 (en) Method and apparatus for encoding/decoding video signal using prediction information of intra-mode macro blocks of base layer
CN115486077A (en) Improved entropy coding for a symbol map of transform coefficients
CN116076074A (en) Method and apparatus for temporal filtering in video coding
KR20120126500A (en) Multi-view distributed video codec and side information generation method on foreground segmentation
KR101072728B1 (en) Apparatus and Method for transcoding SVC bitstream into H.264 bitstream
CN113395524B (en) Video decoding method and device and electronic equipment
JP2012070249A (en) Image encoding method, image decoding method, image encoding device, image decoding device, and program
CN117693934A (en) Luminance and chrominance prediction based on merged chrominance blocks
CN116325751A (en) Method and apparatus for video coding
CN116998153A (en) Cross channel prediction based on multiple prediction modes
CN116584097A (en) Joint motion vector difference codec

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee