KR100718121B1 - A image encoding/decoding methods and apparatus using residue prediction of image - Google Patents
A image encoding/decoding methods and apparatus using residue prediction of image Download PDFInfo
- Publication number
- KR100718121B1 KR100718121B1 KR1020030072810A KR20030072810A KR100718121B1 KR 100718121 B1 KR100718121 B1 KR 100718121B1 KR 1020030072810 A KR1020030072810 A KR 1020030072810A KR 20030072810 A KR20030072810 A KR 20030072810A KR 100718121 B1 KR100718121 B1 KR 100718121B1
- Authority
- KR
- South Korea
- Prior art keywords
- residue
- image
- component
- prediction
- components
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및 장치에 관한 것으로서, 그 부호화 방법은 원영상의 각 성분에 대해 원영상과 예측영상의 차에 해당하는 레지듀를 구하는 단계; 원영상의 소정 성분에 대한 레지듀를 부호화하는 단계; 부호화된 레지듀를 복원하여 소정의 값으로 변환하는 단계; 및 부호화되지 않은 성분의 레지듀와 복원되어 소정 값으로 변환된 레지듀의 차에 해당하는 예측 레지듀를 부호화하는 단계를 포함함을 특징으로 한다. 그 복호화방법은 부호화된 원영상의 소정 성분의 레지듀를 복호화하는 단계; 상기 복호화된 레지듀를 소정의 값으로 변환하는 단계; 복호화되지 않은 각 성분의 예측 레지듀를 복호화하는 단계; 소정의 값으로 변환된 값과 예측 레지듀를 더하여 복호화되지 않은 성분의 레지듀를 구하는 단계; 및 각 성분의 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 한다.The present invention relates to a method and apparatus for image encoding / decoding using residue prediction of an image, the encoding method comprising: obtaining residues corresponding to a difference between an original image and a predicted image for each component of an original image; Encoding a residue for a predetermined component of the original image; Restoring the encoded residue to a predetermined value; And encoding the predicted residue corresponding to the difference between the residue of the uncoded component and the residue which is reconstructed and converted into a predetermined value. The decoding method includes decoding a residue of a predetermined component of an encoded original image; Converting the decoded residue to a predetermined value; Decoding the prediction residue of each undecoded component; Obtaining a residue of an undecoded component by adding a predicted residue and a value converted to a predetermined value; And reconstructing the original image by adding the predictive image to the residue of each component.
본 발명에 의하면, 영상성분의 레지듀와 영상성분간의 상관성을 이용하여 예측 레지듀를 부호화 및 복호화 하므로써 데이터 량을 크게 감소시킬 수 있고, RGB 영역에서 직접 부호화하면 Y-Cr-Cb 영역으로 변환 할 때 생기는 영상 품질 손실이 없으므로 고품질의 영상정보를 얻을 수 있다. According to the present invention, the amount of data can be greatly reduced by encoding and decoding the predicted residue by using the correlation between the residue of the image component and the image component, and converting to the Y-Cr-Cb region when directly encoded in the RGB region. Since there is no loss of image quality, high quality image information can be obtained.
Description
도 1은 본 발명에 의한 영상의 레지듀 예측을 이용한 영상 부호화 장치의 일실시예에 대한 구성을 블록도로 도시한 것이다.1 is a block diagram illustrating a configuration of an embodiment of an image encoding apparatus using residue prediction of an image according to the present invention.
도 2는 본 발명에 의한 영상의 레지듀 예측을 이용한 영상 복호화 장치의 구성에 대한 일실시예를 블록도로 도시한 것이다.2 is a block diagram illustrating an embodiment of a configuration of an image decoding apparatus using residue prediction of an image according to the present invention.
도 3은 본 발명에서 이용한 R-G-B 칼라 영상의 레지듀(residue) 예측 방법에 대한 개념을 블록도로 도시한 것이다.3 is a block diagram illustrating a concept of a method of predicting a residue of an R-G-B color image used in the present invention.
도 4는 도 1에서 영상의 시간상 예측을 위한 움직임추정부 및 움직임 예측부 및 도 3의 시간상 예측을 위한 움직임의 기본단위로 사용하는 매크로 블럭의 분할방법을 도시한 것이다.FIG. 4 illustrates a motion estimation and motion estimation unit for temporal prediction of an image in FIG. 1, and a macroblock segmentation method used as a basic unit of motion for temporal prediction in FIG. 3.
도 5A는 도 1에서 공간상 예측을 위한 공간추정부 및 공간예측부 및 도 3의 공간상 예측을 위한 인접화소의 위치와 예측할 현재 블럭의 화소의 위치를 도시한 것이다.FIG. 5A illustrates a position estimation and spatial prediction unit for spatial prediction in FIG. 1 and positions of adjacent pixels for spatial prediction in FIG. 3 and positions of pixels of a current block to be predicted.
도 5B는 공간상 인접한 화소로부터 투영하여 현재 블럭을 예측하기 위한 0부터 8까지의 9가지 예측 방향을 나타낸다.5B shows nine prediction directions from 0 to 8 for predicting the current block by projecting from adjacent pixels in space.
도 6은 R-G-B Crew (1280×720) 영상과 이 영상에 대해서 도 1의 움직임추 정부 및 움직임예측부에 의한 시간상 예측에 의한 레지듀 영상을 나타낸 것이다.FIG. 6 shows an R-G-B Crew (1280 × 720) image and a residual image by temporal prediction by the motion estimation unit and the motion prediction unit of FIG. 1.
도 7은 R-G-B 영상의 시/공간상 예측에 의한 레지듀 사이의 상관도를 도시한 것이다.FIG. 7 illustrates a correlation between residues by spatial / spatial prediction of R-G-B images.
도 8은 R-G-B 칼라 영상의 레지듀 예측에 의한 복호화 결과를 기존의 방법과 비교한 결과를 도시한 것이다.8 illustrates a result of comparing a decoding result by residue prediction of an R-G-B color image with a conventional method.
본 발명은 영상의 부호화 및 복호화에 관한 것으로서, 특히 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다.The present invention relates to encoding and decoding of an image, and more particularly, to an image encoding / decoding method and apparatus using residual prediction of an image.
일반적으로 비디오 압축의 경우 압축률을 높이기 위해 기기로부터 바로 취득할 수 있는 R-G-B 등의 영상 형식을 압축에 적합한 형식인 Y-Cr-Cb 등의 영상 형식으로 변환한다. 그러나 Y-Cr-Cb로 변환할 때 근본적으로 영상의 품질이 손실된다. 그리고 일반적으로 Y-Cr-Cb 영상을 압축할 때 압축 효율을 위해 Cr 및 Cb 성분을 4배만큼 크기를 줄여 부호화하게 된다. 따라서 Y-Cr-Cb 영상을 부호화할 때는 원 영상에 가까운 고품질의 영상 복원이 어렵다.In general, video compression converts an image format such as R-G-B, which can be directly obtained from a device, to an image format such as Y-Cr-Cb, which is suitable for compression, in order to increase the compression ratio. However, when converting to Y-Cr-Cb, the image quality is fundamentally lost. In general, when compressing a Y-Cr-Cb image, Cr and Cb components are reduced in size by 4 times for encoding efficiency. Therefore, when encoding the Y-Cr-Cb image, it is difficult to restore a high quality image close to the original image.
또 다른 한가지 문제점으로는 이러한 Y-Cr-Cb로 변환 손실을 줄이기 위해 R-G-B 칼라 성분을 기존의 Y-Cr-Cb 부호화기에서 각각의 성분을 독립적으로 부호화하면 R-G-B 성분 상호간에 남아있는 상관관계(correlation)를 이용하지 못하므로 부호화 효율이 떨어진다. 이러한 방법으로 대표적인 것이 국제 표준화 기구인 ISO/IEC MPEG 및 ITU-T VCEG의 Joint Video Team의 AVC/H.264 표준화 기술이다 ("Text of ISO/IEC FDIS 14496-10: Information Technology - Coding of audio-visual objects - Part 10: Advanced Video Coding", ISO/IEC JTC 1/SC 29/WG 11, N5555, March, 2003).Another problem is that if the RGB color components are encoded independently of the existing Y-Cr-Cb encoder in order to reduce the conversion loss with these Y-Cr-Cb, the correlation between the RGB components remains. Since coding is not used, the coding efficiency is low. Typical of this method is AVC / H.264 standardization technology of Joint Video Team of ISO / IEC MPEG and ITU-T VCEG ("Text of ISO / IEC FDIS 14496-10: Information Technology-Coding of audio-"). visual objects-Part 10: Advanced Video Coding ", ISO / IEC JTC 1 / SC 29 / WG 11, N5555, March, 2003).
본 발명이 이루고자 하는 기술적 과제는 R-G-B 칼라 성분을 고화질로 부호화하기 위해서 Y-Cr-Cb로 변환하지 않고 R-G-B 성분을 직접 부호화하되 R-G-B 사이의 중복되는 정보를 효과적으로 제거하여 부호화하기 위해, 영상의 레지듀 예측을 이용한 영상의 부호화/복호화 방법 및 장치를 제공하는 것이다.The technical problem to be achieved by the present invention is to directly encode the RGB components without converting them to Y-Cr-Cb in order to encode the RGB color components in high quality, but to effectively remove and encode the overlapping information between the RGB images. The present invention provides a method and apparatus for encoding / decoding an image using prediction.
상술한 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 방법은, 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 부호화하는 방법에 있어서 상기 원영상의 각 성분에 대해, 원영상과 예측영상의 차에 해당하는 레지듀를 구하는 단계; 상기 원영상의 소정 성분에 대한 레지듀를 부호화하는 단계; 상기 소정 성분의 부호화된 레지듀를 복원하여 상기 복원된 레지듀 값을 포함하는 소정의 값으로 변환하는 단계; 및 상기 원영상 중 부호화되지 않은 성분의 레지듀와 상기 복원되어 소정 값으로 변환된 레지듀의 차에 해당하는 예측 레지듀를 부호화하는 단계를 포함함을 특징으로 한다. 상기 레지듀의 소정 값으로의 변환은, 상기 원영상을 구성하는 각 성분 간의 상관관계를 이용하여 변환됨이 바람직하다. 상기 원영상은 R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영 상 중 어느 하나일 수 있다.According to the present invention for achieving the above-described technical problem, a method of encoding an image using residual prediction of an image, in the method of encoding an original image consisting of at least two components, for each component of the original image, Obtaining a residue corresponding to the difference between the original image and the predicted image; Encoding a residue for a predetermined component of the original image; Restoring the encoded residue of the predetermined component and converting the encoded residue into a predetermined value including the restored residue value; And encoding a prediction residue corresponding to a difference between a residue of an uncoded component of the original image and a residue which is reconstructed and converted into a predetermined value. Preferably, the residue is converted to a predetermined value by using correlation between components of the original image. The original image may be any one of an R-G-B format, a Y-Cb-Cr format, and an X-Y-Z format.
상술한 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 방법은, 칼라영상의 R-G-B 성분 각각에 대해, 이전 프레임과 현재 프레임사이에 움직임을 추정한 예측영상과 원 영상의 차에 해당하는 시간적 레지듀를 구하는 단계; 상기 G 성분의 레지듀를 부호화하는 단계; 상기 G 성분의 부호화된 레지듀를 복원하여 상기 복원된 레지듀 값을 포함하는 소정의 값으로 변환하는 단계; 및 상기 원영상 중 부호화되지 않은 R 성분 및 B 성분의 레지듀와 상기 소정값으로 변환된 G 성분 레지듀의 차에 해당하는 예측 레지듀를 부호화하는 단계를 포함하는 것을 특징으로 한다. 상기 움직임 추정은According to the present invention for achieving the above-described technical problem, an image encoding method using residual prediction of an image includes a predicted image and a source estimated by a motion between a previous frame and a current frame, for each of the RGB components of the color image. Obtaining a temporal residue corresponding to the difference of the images; Encoding a residue of the G component; Restoring the encoded residue of the G component and converting the encoded residue into a predetermined value including the restored residue value; And encoding a prediction residue corresponding to a difference between an uncoded R component and a B component residue in the original image and a G component residue converted into the predetermined value. The motion estimation
소정 크기의 블록단위로 움직임 추정됨이 바람직하다. 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은, 상기 G, R, B 성분 간의 상관관계를 이용하여 변환됨이 바람직하다. 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은, 상기 G성분의 복원된 레지듀 값에 일정 크기의 값으로 곱하고 옵셋 만큼 더하는 선형함수에 의한 선형 변환임이 바람직하다. 상기 선형함수는 이전 프레임으로부터 블록단위로 움직임을 보상할 때 사용한 블록의 크기별로 다르게 정의하여 사용함을 특징으로 한다. Preferably, the motion estimation is performed in units of blocks of a predetermined size. Preferably, the G component is converted into a predetermined value of the restored residue, using the correlation between the G, R, and B components. The conversion of the restored component of the G component to a predetermined value is preferably a linear transformation by a linear function that multiplies the restored residue value of the G component by a value of a predetermined size and adds it by an offset. The linear function is characterized by using different definitions for each block size used when compensating for motion in units of blocks from a previous frame.
상술한 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 방법은, 칼라영상의 R-G-B 성분 각각에 대해, 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정한 예측영상과 원 영상의 차에 해당하는 공간적 레지듀를 구하는 단계; 상기 G 성분의 레지듀를 부호화하는 단계; 상기 G 성분의 부호화된 레지듀를 복원하여 상기 복원된 레지듀값을 포함하는 소정의 값으로 변환하는 단계; 및 상기 원영상 중 부호화되지 않은 R 성분 및 B 성분의 레지듀와 상기 소정값으로 변환된 G 성분 레지듀의 차에 해당하는 예측 레지듀를 부호화하는 단계를 포함하는 것을 특징으로 한다. 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은 상기 G성분의 복원된 레지듀 값에 일정 크기의 값으로 곱하고 옵셋 만큼 더하는 선형함수에 의한 선형 변환임이 바람직하다. 상기 선형함수는 G, R, B 각 성분의 레지듀를 구할 때 사용한 인접화소의 공간적 예측 방향마다 다르게 정의하여 사용함을 특징으로 한다.According to the present invention for achieving the above-described technical problem, an image encoding method using residual prediction of an image is estimated for each RGB component of a color image from a pixel spatially close to a pixel block of a current frame. Obtaining a spatial residue corresponding to the difference between one prediction image and the original image; Encoding a residue of the G component; Restoring the encoded residue of the G component and converting the encoded residue into a predetermined value including the restored residue; And encoding a prediction residue corresponding to a difference between an uncoded R component and a B component residue in the original image and a G component residue converted into the predetermined value. The conversion of the restored component of the G component to a predetermined value is preferably a linear transformation by a linear function of multiplying the restored residue value of the G component by a value of a predetermined size and adding an offset value. The linear function may be defined and used differently for the spatial prediction directions of adjacent pixels used to obtain residues of the G, R, and B components.
상술한 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 방법은, R-G-B 칼라 영상을 부호화하는 방법에 있어서 (1) 인터 방식이면, 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 구하는 단계; (2) 인트라 방식이면, 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 공간적 레지듀를 구하는 단계; (3) G 성분의 레지듀를 부호화하고, 상기 부호화된 G 성분의 레지듀 영상을 복원하는 단계; (4) 상기 (1) 및 (2)단계에서 생성된 R 및 B 성분의 레지듀에 대해 상기 (3)단계에서 복원된 G 성분의 레지듀를 사용하여 R 및 B 성분에 대한 예측된 레지듀를 얻는 단계; (5) 상기 (4)단계에서 구한 R 및 B 성분의 예측 레지듀 값을 부호화하고, 상기 부호화된 R 및 B 성분의 예측 레지듀 영상을 복원하는 단계; 및 (6) 상기 G의 복원된 레지듀 영상과 상기 R 및 B의 복원된 예측 레지듀 영상에서 G, R, 및 B의 복원된 레지듀 값을 얻고 이 값을 상기 예측영상 값에 더하여 G, R, 및 B의 복원된 영상을 얻는 단계를 포함함을 특징으로 한다. 상기 (3)단계는 G 성분의 레지듀는 압축하기 위해 주파수 공간 변환, 양자화 및 가변장 부호화하고, 양자화된 값은 다시 역 양자화 및 역 주파수 변환을 하여 G 값의 복원된 레지듀 영상을 얻는 단계이고, 상기 (5)단계는 상기 (4)단계에서 구한 R 및 B 성분의 예측 레지듀 값을 주파수 공간 변환, 양자화 및 가변장 부호화 하고, 양자화된 값은 다시 역 양자화 및 역 주파수 공간 변환을 하여 R 및 B 값의 복원된 예측 레지듀 영상을 얻는 단계이 바람직하다. 상기 (4)단계는 상기 G성분의 복원된 레지듀 값에 일정 크기의 값으로 곱하고 옵셋 만큼 더하는 선형함수에 의한 선형 변환하는 단계; 및 상기 원영상 중 부호화되지 않은 R 성분 및 B 성분의 레지듀와 상기 선형 변환된 G 성분 레지듀의 차에 해당하는 예측 레지듀를 구하는 단계로 이루어짐이 바람직하다.According to the present invention for achieving the above-described technical problem, the method of encoding an image using residual prediction of an image is a method of encoding an RGB color image. Estimating the motion in units of blocks of a predetermined size between frames to obtain a prediction image, and obtaining a temporal residue obtained by subtracting the prediction image from the original image; (2) an intra method, obtaining a prediction image by estimating a prediction direction from pixels spatially close to a pixel block of a current frame of each color component, and obtaining a spatial residue obtained by subtracting the prediction image from an original image; (3) encoding a residue of the G component and reconstructing the residue image of the encoded G component; (4) Predicted residue for R and B components using the residue of G component reconstructed in step (3) for the residues of R and B components generated in steps (1) and (2) above. Obtaining; (5) encoding the prediction residual values of the R and B components obtained in step (4) and reconstructing the predicted residual images of the encoded R and B components; And (6) obtaining the reconstructed residue values of G, R, and B from the reconstructed residual image of G and the reconstructed predicted residue images of R and B, and adding the values to the predicted image values to G, And obtaining a reconstructed image of R, and B. Step (3) is a step of obtaining a reconstructed residual image of a G value by performing frequency-space transform, quantization, and variable-length coding to compress the residue of the G component, and performing inverse quantization and inverse frequency transformation on the quantized value. In step (5), the prediction residue values of the R and B components obtained in step (4) are frequency-space transformed, quantized, and variable-length coded, and the quantized values are inverse quantized and inverse-frequency space transformed again. Obtaining a reconstructed predictive residual image of the R and B values is preferred. Step (4) comprises: performing a linear transformation by a linear function that multiplies the restored residue value of the G component by a predetermined size and adds an offset value; And calculating a predicted residue corresponding to a difference between an uncoded R component and a B component in the original image and the linearly transformed G component residue.
상술한 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 장치는, 적어도 두가지 이상의 성분으로 이루어지는 원영상을 부호화하는 장치에 있어서 상기 원영상의 각 성분에 대해, 원영상과 예측영상의 차를 생성하는 레지듀 생성부; 상기 레지듀생성부에서 생성된 원영상의 소정 성분에 대한 레지듀와 하기 예측 레지듀생성부에서 생성된 예측 레지듀를 부호화하는 레지듀부호화부; 상기 소정 성분의 부호화된 레지듀를 복원하여 원영상을 구성하는 각 성분 간의 상관관계를 이용하여 상기 복원된 레지듀 값을 포함하는 소정의 값으로 변환하는 레지듀변환부; 및 상기 원영상 중 부호화되지 않은 성분의 레지듀와 상기 복원되어 소정 값으로 변환된 레지듀의 차를 생성하는 예측 레지듀 생성부를 포함함을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for encoding an image using residual prediction of an image, wherein the apparatus for encoding an original image including at least two components is provided for each component of the original image. A residue generator for generating a difference between the original image and the predicted image; A residue encoding unit encoding residues of a predetermined component of the original image generated by the residue generation unit and prediction residues generated by the following prediction residue generation unit; A residue conversion unit for reconstructing the encoded residue of the predetermined component and converting the encoded residue into a predetermined value including the reconstructed residue value by using correlation between components of the original image; And a prediction residue generator configured to generate a difference between a residue of an uncoded component of the original image and a residue which is reconstructed and converted into a predetermined value.
상술한 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 장치는, R-G-B 칼라 영상을 부호화하는 장치에 있어서, 이전 프레임과 현재 프레임 간에 소정 크기의 블록단위로 움직임을 추정하여 해당 블록을 출력하는 움직임예측영상생성부; 칼라영상의 R-G-B 성분 각각에 대해, 상기 움직임예측영상생성부의 영상과 현재 프레임의 해당 블록의 차에 해당하는 공간적 레지듀를 생성하는 레지듀 생성부; 상기 레지듀 생성부의 G 성분의 레지듀와 하기 예측 레지듀생성부의 R 및 B 성분 예측레지듀를 압축하여 부호화하는 압축부호화부; 상기 압축부호화된 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부; 상기 복원된 G 성분의 레지듀를 상기 G, R, B 성분 간의 상관관계를 이용하여 상기 복원된 G성분의 레지듀 갑을 포함하는 소정의 값으로 변환하는 레지듀 변환부; 및 상기 레지듀 생성부에서 생성된 R 성분 및 B 성분의 레지듀와 상기 레지듀 변환부에서 변환된 G 성분 레지듀의 차를 생성하는 예측 레지듀 생성부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for encoding an image using residue prediction of an image, wherein the apparatus for encoding an RGB color image moves in a unit of a predetermined size between a previous frame and a current frame. A motion prediction image generator for estimating the output of the block; A residue generator for generating a spatial residue corresponding to the difference between the image of the motion prediction image generator and the corresponding block of the current frame, for each of the R-G-B components of the color image; A compression encoder for compressing and encoding the residue of the G component of the residue generation unit and the R and B component prediction residues of the following prediction residue generation unit; A decompression decoder configured to decode the compressed coded data to generate a reconstructed residual image of G component and a reconstructed prediction residue of B and R component; A residue converter configured to convert the residue of the restored G component to a predetermined value including the residue of the restored G component by using correlations between the G, R, and B components; And a prediction residue generator configured to generate a difference between the residues of the R and B components generated by the residue generator and the G component residues converted by the residue converter.
상술한 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 장치는, R-G-B 칼라 영상을 부호화하는 장치에 있어서, 현재 프레임의 화소블럭과 공간적으로 근접한 화소로부터 예측방향을 추정하여 해당 블록을 출력하는 공간예측영상생성부; 칼라영상의 R-G-B 성분 각각에 대해, 상기 공간예측영상생성부의 영상과 현재 프레임의 해당 블록의 차에 해당하는 공간 적 레지듀를 생성하는 레지듀 생성부; 상기 레지듀생성부의 G 성분의 레지듀와 하기 예측 레지듀생성부의 R 및 B 성분 예측레지듀를 압축하여 부호화하는 압축부호화부; 상기 압축부호화된 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부; 상기 복원된 G 성분의 레지듀를 상기 G, R, B 성분 간의 상관관계를 이용하여 상기 복원된 G 성분의 레지듀 값을 포함하는 소정의 값으로 변환하는 레지듀 변환부; 및 상기 레지듀 생성부에서 생성된 R 성분 및 B 성분의 레지듀와 상기 레지듀 변환부에서 변환된 G 성분 레지듀의 차를 생성하는 예측 레지듀 생성부를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for encoding an image using residual prediction of an image, wherein the apparatus for encoding an RGB color image includes a prediction direction from a pixel spatially close to a pixel block of a current frame. A spatial predictive image generation unit for estimating a value and outputting a corresponding block; A residue generator for generating a spatial residue corresponding to the difference between the image of the spatial prediction image generator and the corresponding block of the current frame, for each of the R-G-B components of the color image; A compression encoder for compressing and encoding the residue of the G component of the residue generation unit and the R and B component prediction residues of the following prediction residue generation unit; A decompression decoder configured to decode the compressed coded data to generate a reconstructed residual image of G component and a reconstructed prediction residue of B and R component; A residue converter configured to convert the residue of the restored G component to a predetermined value including the residue value of the restored G component by using a correlation between the G, R, and B components; And a prediction residue generator configured to generate a difference between the residues of the R and B components generated by the residue generator and the G component residues converted by the residue converter.
상술한 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 장치는, R-G-B 칼라 영상을 부호화하는 장치에 있어서, 이전 프레임과 현재 프레임 간에 소정 크기의 블록단위로 움직임을 추정하여 해당 블록을 출력하는 움직임예측영상생성부; 현재 프레임의 화소블럭과 공간적으로 근접한 화소로부터 예측방향을 추정하여 해당 블록을 출력하는 공간예측영상생성부; 인터방식이면 상기 움직임예측영상생성부의 영상과 현재 프레임의 해당 블록과의 차에 해당하는 시간적 레지듀를 생성하고, 인트라방식이면 상기 공간예측영상생성부의 영상과 현재 프레임의 해당 블록의 차에 해당하는 공간적 레지듀를 생성하는 레지듀 생성부; 상기 레지듀 생성부에서 생성된 G 성분의 레지듀, 하기 예측레지듀생성부에서 생성된 R 및 B 성분의 예측레지듀를 압축하여 부호화하는 압축부호화부; 상기 압축부호화된 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부; 상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시키는 레지듀변환부; 상기 레지듀변환부에서 변환된 값과 상기 레지듀생성부에서 생성된 R 및 B성분의 레지듀와의 차를 생성하는 예측레지듀생성부; 상기 역압축복호호부의 B 성분 및 R 성분의 예측 레지듀와 상기 선형변환부의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀를 생성하는 레지듀보상부; 상기 레지듀보상부의 R 및 B 성분의 레지듀와 상기 역압축복호화부에서 생성된 G성분의 레지듀에, 인터모드이면 상기 움직임예측영상생성부에서 생성된 예측영상을 더하고, 인트라모드이면 상기 공간예측영상생성부에서 생성된 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 한다. 상기 움직임예측영상생성부는 이전 프레임과 현재 프레임 간에 소정 크기의 블록단위로 움직임을 추정하는 움직임 추정부; 및 상기 움직임 추정부로부터 생성된 움직임 벡터에 해당하는 블록을 출력하는 움직임 예측부로 이루어지고, 상기 공간예측영상생성부는 현재 프레임의 화소블럭과 공간적으로 근접한 화소로부터 예측방향을 추정하는 공간추정부; 및 상기 공간추정부로부터 추정된 방향에 해당하는 블록을 출력하는 공간 예측부로 이루어짐이 바람직하다. 상기 압축부호화부는 상기 레지듀생성부에서 생성된 G 성분의 레지듀, 예측레지듀생성부에서 생성된 R 및 B 성분의 예측레지듀를 압축하는 주파수공간변환부; 상기 주파수공간변환부에서 압축된 데이터를 양자화하는 양자화부; 및 상기 양자화된 데이터를 부호화하는 부호화부로 이루어지고, 상기 역압축복호화부는 상기 양자화된 데이터를 역양자화하는 역양자화부; 및 상기 역양자자화된 데이터를 역 주파수공간변환하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역주파수공간변환부로 이루어짐 이 바람직하다.According to an aspect of the present invention, an apparatus for encoding an image using residue prediction of an image includes: an apparatus for encoding an RGB color image, wherein a motion is performed in units of blocks having a predetermined size between a previous frame and a current frame. A motion prediction image generator for estimating and outputting a corresponding block; A spatial prediction image generator for estimating a prediction direction from pixels spatially close to the pixel block of the current frame and outputting a corresponding block; In the inter method, a temporal residue corresponding to the difference between the image of the motion prediction image generator and the corresponding block of the current frame is generated. In the intra method, the temporal residue corresponding to the difference between the image of the spatial prediction image generator and the corresponding block of the current frame is generated. A residue generation unit generating spatial residue; A compression encoder for compressing and encoding the residues of the G component generated by the residue generator and the predicted residues of the R and B components generated by the following prediction residue generator; A decompression decoder configured to decode the compressed coded data to generate a reconstructed residual image of G component and a reconstructed prediction residue of B and R component; A residue conversion unit for linearly transforming the residue of the restored G component of the inverse compression and decoding unit; A predicted residue generator configured to generate a difference between a value converted by the residue converter and a residue of R and B components generated by the residue generator; A residue compensator configured to add the predicted residues of the B component and the R component of the inverse compression decoding unit and the converted values of the linear transform unit to generate the restored residues of the B and R components; The residue of the R and B components of the residue compensation unit and the residue of the G component generated by the decompression decoding unit are added to the prediction image generated by the motion prediction image generator in the inter mode, and the space in the intra mode. And an original image generator for generating an original image by adding the predicted image generated by the predictive image generator. The motion prediction image generator includes: a motion estimator for estimating motion in units of blocks having a predetermined size between a previous frame and a current frame; And a motion estimator for outputting a block corresponding to the motion vector generated from the motion estimator, wherein the spatial predictive image generating unit estimates a prediction direction from pixels spatially close to the pixel block of the current frame; And a spatial predictor for outputting a block corresponding to the direction estimated from the spatial estimation. The compression encoding unit may include: a frequency-space converter for compressing the residues of the G component generated by the residue generator and the predicted residues of the R and B components generated by the predicted residue generator; A quantizer for quantizing the data compressed by the frequency-space converter; And an encoding unit encoding the quantized data, wherein the decompression decoding unit comprises: an inverse quantization unit which dequantizes the quantized data; And an inverse frequency-space transform unit for inverse frequency-space transforming the inverse quantized data to generate a reconstructed residual image of the G component and a reconstructed prediction residue of the B and R components.
상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 복호화 방법은, 부호화된 적어도 두가지 이상의 성분으로 이루어지는 원영상을 복호화하는 방법에 있어서 상기 원영상과 예측영상의 차를 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 원영상의 각 성분의 레지듀와의 차를 예측 레지듀라 할 때, 상기 부호화된 원영상의 소정 성분의 레지듀를 복호화하는 단계; 상기 복호화된 레지듀를 소정의 값으로 변환하는 단계; 상기 복호화되지 않은 각 성분의 예측 레지듀를 복호화하는 단계; 상기 소정의 값으로 변환된 값과 상기 예측 레지듀를 더하여 복호화되지 않은 성분의 레지듀를 구하는 단계; 및 상기 각 성분의 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 한다. 상기 복호화된 레지듀의 소정 값으로의 변환은 상기 원영상을 구성하는 각 성분 간의 상관관계를 이용하여 변환됨이 바람직하다. 상기 원영상은 In accordance with another aspect of the present invention, there is provided a method of decoding an image using residual prediction of an image, wherein the original image and the predicted image are decoded in a method of decoding an original image comprising at least two encoded components. The difference between the encoded original image and the residual of the encoded predetermined component after reconstructing the encoded residual is converted into a predetermined value and the residual of each component of the original image is predicted. Decoding residues of predetermined components; Converting the decoded residue to a predetermined value; Decoding the prediction residue of each undecoded component; Obtaining a residue of an undecoded component by adding the value converted into the predetermined value and the prediction residue; And reconstructing the original image by adding a predictive image to the residue of each component. Preferably, the decoded residue is converted into a predetermined value by using correlation between components of the original image. The original image
R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임을 특징으로 한다.Characterized in one of the image of the R-G-B format, Y-Cb-Cr format, X-Y-Z format.
상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 복호화 방법은, 부호화된 G-R-B 성분의 원 영상을 복호화하는 방법에 있어서 상기 G-R-B 성분 각각에 대해 이전 프레임과 현재 프레임사이에 움직임을 추정한 예측영상과 원 영상의 차를 시간적 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 변환하지 않은 성 분의 레지듀와의 차를 예측 레지듀라 할 때, 상기 부호화된 G-R-B 영상으로부터 G 성분의 시간적 레지듀를 복호화하는 단계; 상기 복호화된 G 성분의 레지듀를 소정의 값으로 변환하는 단계; 상기 복호화되지 않은 R 및 B 성분의 예측 레지듀를 복호화하는 단계; 상기 소정의 값으로 변환된 값과 상기 예측 레지듀를 더하여 R 및 B 성분의 레지듀를 구하는 단계; 및 상기 G, R, B 성분의 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 한다. 상기 움직임 추정은 소정 크기의 블록단위로 움직임 추정됨을 특징으로 한다. 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은 상기 G, R, B 성분 간의 상관관계를 이용하여 변환됨이 바람직하다. 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은 상기 G성분의 복원된 레지듀 값에 일정 크기의 값으로 곱하고 옵셋 만큼 더하는 선형함수에 의한 선형 변환임이 바람직하다. 상기 선형함수는 이전 프레임으로부터 블록단위로 움직임을 보상할 때 사용한 블록의 크기별로 다르게 정의하여 사용함을 특징으로 한다.In accordance with another aspect of the present invention, there is provided a method of decoding an image using residual prediction of an image, the method of decoding an original image of an encoded GRB component, with respect to each previous GRB component. The difference between the predicted image and the original image which estimated the motion between the current frames is called temporal residue, and the value obtained by reconstructing the encoded residue of the predetermined component and converting it to the predetermined value and the residue of the unconverted component. Decoding a temporal residue of a G component from the encoded GRB image when the difference is predicted residual; Converting the residue of the decoded G component to a predetermined value; Decoding the prediction residues of the undecoded R and B components; Obtaining a residue of R and B components by adding the predicted residue and the value converted to the predetermined value; And reconstructing the original image by adding a predictive image to the residues of the G, R, and B components. The motion estimation may be a motion estimation in units of blocks having a predetermined size. Preferably, the G component is converted into a predetermined value of the restored residue by using correlation between the G, R, and B components. The conversion of the restored component of the G component to a predetermined value is preferably a linear transformation by a linear function of multiplying the restored residue value of the G component by a value of a predetermined size and adding an offset value. The linear function is characterized by using different definitions for each block size used when compensating for motion in units of blocks from a previous frame.
상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 복호화 방법은, 부호화된 G-R-B 성분의 원 영상을 복호화하는 방법에 있어서 상기 G-R-B 성분 각각에 대해 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정한 예측영상과 원 영상의 차를 공간적 레지듀라 하고, 부호화된 소정 성분의 상기 공간적 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 변환하지 않은 성분의 레지듀와의 차를 예측 레지듀라 할 때, 상기 G 성분의 레지듀를 복호화하는 단계; 상기 복호화된 G 성분의 레지듀를 상기 복호화된 G성분의 레지듀 값을 포함하는 소정의 값으로 변환하는 단계; 상기 복호 화되지 않은 R 및 B 성분의 예측 레지듀를 복호화하는 단계; 상기 G 성분 레지듀의 소정의 값으로 변환된 값과 상기 예측 레지듀를 더하여 R 및 B 성분의 레지듀를 구하는 단계; 및 상기 G, R, B 성분의 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 한다. 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은 상기 G, R, B 성분 간의 상관관계를 이용하여 변환됨이 바람직하다. 상기 G성분의 복원된 레지듀의 소정 값으로의 변환은 상기 G성분의 복원된 레지듀 값에 일정 크기의 값으로 곱하고 옵셋 만큼 더하는 선형함수에 의한 선형 변환임이 바람직하다. 상기 선형함수는 G, R, B 각 성분의 레지듀를 구할 때 사용한 인접화소의 공간적 예측 방향마다 다르게 정의하여 사용함을 특징으로 한다.In accordance with another aspect of the present invention, there is provided a method of decoding an image using residue prediction of an image. The method of decoding an original image of an encoded GRB component may include: The difference between the predicted image estimated from the pixel that is spatially close to the pixel block and the original image and the original image is referred to as spatial residue, and after reconstructing the spatial residue of the encoded predetermined component, the value is converted into a predetermined value and not converted. Decoding the residue of the G component when a difference with the residue of the component is a prediction residue; Converting the residue of the decoded G component to a predetermined value including the residue value of the decoded G component; Decoding the prediction residues of the undecoded R and B components; Obtaining residues of the R and B components by adding the predicted residues and the converted values to the predetermined values of the G component residues; And reconstructing the original image by adding a predictive image to the residues of the G, R, and B components. Preferably, the G component is converted into a predetermined value of the restored residue by using correlation between the G, R, and B components. The conversion of the restored component of the G component to a predetermined value is preferably a linear transformation by a linear function of multiplying the restored residue value of the G component by a value of a predetermined size and adding an offset value. The linear function may be defined and used differently for the spatial prediction directions of adjacent pixels used to obtain residues of the G, R, and B components.
상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 부호화 방법은, R-G-B 칼라 영상을 복호화 하는 방법에 있어서, 상기 칼라영상과 예측영상의 차를 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 원영상의 각 성분의 레지듀와의 차를 예측 레지듀라 할 때, (1) 부호화된 영상 데이터로부터 G 성분의 레지듀 영상을 복원하는 단계; (2) 부호화된 영상 데이터로부터 R 및 B 성분의 예측 레지듀 영상을 얻고, 상기 (1)에서 얻은 복원된 레지듀 값의 선형변환된 값과 더하여 R 및 B 성분의 복원된 레지듀 영상을 얻는 단계; (4) 인터 방식이면, 상기 (1) 단계 및 (2) 단계에서 복원된 R-G-B 성분의 레지듀 값에 이전 프레임의 각 칼라 성분을 시간적으로 움직임 보상한 예측 영상에 더하여 R-G-B 성분의 칼라 성분을 복원하는 단계; 및 (5) 인트라 방식이면, 상기 (1) 및 (2)에서 복원된 R-G-B 성분의 레지듀 값에 공간적으로 근접한 화소로부터 예측 방향을 추정하여 얻은 예측 영상에 더하여 R-G-B 성분의 칼라 성분을 복원하는 단계를 포함하는 것을 특징으로 한다. 상기 (1)단계는 부호화된 데이터를 역 가변장 복호화, 역양자화, 역 주파수 공간 변환을 통해 G 성분의 복원된 레지듀 영상을 얻는 단계이고, 상기 (2)단계는 역 가변장 복호화, 역양자화, 역 주파수 공간 변환을 통해 R 및 B 성분의 예측 레지듀 영상을 얻고 상기 (1)에서 얻은 복원된 레지듀 값의 선형변환 값과 더하여 R 및 B 성분의 복원된 레지듀 영상을 얻는 단계임이 바람직하다.According to another aspect of the present invention, there is provided a method of encoding an image using residual prediction of an image, wherein the difference between the color image and the predicted image is referred to as a method of decoding an RGB color image. When a difference between a value obtained by reconstructing a residue of an encoded predetermined component and then converted to a predetermined value and a residue of each component of the original image is a predictive residual, (1) the residue of the G component from the encoded image data Restoring the Dew image; (2) obtaining a predicted residual image of the R and B components from the encoded image data, and obtaining a reconstructed residual image of the R and B components by adding a linear transformed value of the reconstructed residual value obtained in (1). step; (4) In the inter scheme, the color components of the RGB components are reconstructed by adding the residual values of the RGB components reconstructed in the above steps (1) and (2) to the predictive image obtained by temporally motion-compensating each color component of the previous frame. Doing; And (5) restoring the color component of the RGB component in addition to the predicted image obtained by estimating a prediction direction from a pixel spatially close to the residue values of the RGB components reconstructed in the above (1) and (2). Characterized in that it comprises a. Step (1) is a step of obtaining a reconstructed residual image of the G component through inverse variable length decoding, inverse quantization, and inverse frequency spatial transform on the encoded data, and step (2) is inverse variable length decoding and inverse quantization It is preferable to obtain a reconstructed residual image of the R and B components by obtaining a predicted residual image of the R and B components through inverse frequency spatial transform and adding the linear transform value of the reconstructed residual value obtained in the above (1). Do.
상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 복호화 장치는, 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 복호화하는 장치에 있어서 상기 원영상과 예측영상의 차를 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 원영상의 각 성분의 레지듀와의 차를 예측 레지듀라 할 때, 상기 부호화된 영상 데이터를 복호화하여 상기 영상의 소정 성분의 복원된 레지듀 영상과 복원되지 않은 레지듀에 해당하는 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부; 상기 역압축복호화부의 복원된 성분의 레지듀를 상기 복원된 성분의 레지듀 값을 포함하는 소정의 값으로 변환하는 레지듀변환부; 상기 역압축복호화부에서 생성된 예측 레지듀와 상기 레지듀변환부의 변환된 값을 더하여 복원된 레지듀를 생성하는 레지듀보상부; 상기 레지듀보상부에서 생성된 레지듀와 상기 역압축복호화부에서 생성된 소정 성분의 레지듀 각각에 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 한다.In accordance with another aspect of the present invention, there is provided an apparatus for decoding an image using residual prediction of an image, the apparatus for decoding an original image including at least two encoded components, the original image and the prediction. When the difference between the image is called a residual and the difference between the value obtained by reconstructing the encoded residue of the predetermined component and the residual value of each component of the original image is a prediction residual, the encoded image data A decompression decoder configured to decode and generate a reconstructed residual image of a predetermined component of the image and a reconstructed prediction residue of a component corresponding to an unreconstructed residue; A residue conversion unit for converting the residue of the restored component of the decompression decoding unit to a predetermined value including the residue value of the restored component; A residue compensator for generating a reconstructed residue by adding the predicted residue generated by the decompression decoder and the converted value of the residue transform unit; And an original image generating unit generating a original image by adding a prediction image to each of the residue generated by the residue compensation unit and the residue of a predetermined component generated by the decompression decoding unit.
상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 복호화 장치는, 부호화된 G-R-B 성분의 원 영상을 복호화하는 장치에 있어서 상기 G-R-B 성분 각각에 대해 이전 프레임과 현재 프레임사이에 움직임을 추정한 예측영상과 원 영상의 차를 시간적 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 변환하지 않은 성분의 레지듀와의 차를 예측 레지듀라 할 때, 시간적으로 움직임 보상한 예측영상을 생성하는 움직임 보상부; 공간적으로 근접한 화소로부터 예측방향을 추정하여 얻은 예측영상을 생성하는 공간예측부; 상기 부호화된 영상 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부; 상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시키는 레지듀변환부; 상기 역압축복호화부에서 생성된 B 성분 및 R 성분의 예측 레지듀와 상기 레지듀변환부의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀를 생성하는 레지듀보상부; 상기 레지듀보상부의 R 및 B 성분의 레지듀와 상기 역압축복호화부에서 생성된 G성분의 레지듀와 상기 움직임보상부에서 생성된 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 한다.In accordance with another aspect of the present invention, there is provided an apparatus for decoding an image using residual prediction of an image. The apparatus for decoding an original image of an encoded GRB component includes a previous frame for each of the GRB components. The difference between the predicted image and the original image which estimated the motion between the current frames is called temporal residue, and the difference between the value obtained by reconstructing the encoded residue of the predetermined component and converting it to a predetermined value and the residue of the unconverted component. A motion compensator for generating a predictive image that is temporally motion compensated when performing the prediction residual; A spatial prediction unit generating a predictive image obtained by estimating a prediction direction from spatially adjacent pixels; A decompression decoder configured to decode the encoded image data to generate a reconstructed residual image of G component and a reconstructed prediction residue of B and R component; A residue conversion unit for linearly transforming the residue of the restored G component of the inverse compression and decoding unit; A residue compensator configured to generate a residual of the B and R components by adding the predicted residues of the B and R components generated by the decompression decoding unit and the converted values of the residue transform unit; And an original image generator for generating the original image by adding the residues of the R and B components of the residue compensation unit, the residues of the G component generated by the reverse compression decoding unit, and the prediction image generated by the motion compensation unit. It features.
상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 복호화 장치는, 부호화된 G-R-B 성분의 원 영상을 복호화하는 장치에 있어서 상기 G-R-B 성분 각각에 대해 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정한 예측영상과 원 영상의 차를 공간적 레지듀라 하고, 부호화된 소정 성분의 상기 공간적 레지듀를 복원한 후 소정 값으 로 변환한 값과 상기 변환하지 않은 성분의 레지듀와의 차를 예측 레지듀라 할 때, 공간적으로 근접한 화소로부터 예측방향을 추정하여 얻은 예측영상을 생성하는 공간예측부; 상기 부호화된 영상 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부; 상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시키는 레지듀변환부; 상기 역압축복호화부에서 생성된 B 성분 및 R 성분의 예측 레지듀와 상기 레지듀변환부의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀를 생성하는 레지듀보상부; 상기 레지듀보상부의 R 및 B 성분의 레지듀와 상기 역압축복호화부에서 생성된 G성분의 레지듀와 상기 공간예측부에서 생성된 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 한다.In accordance with another aspect of the present invention, there is provided an apparatus for decoding an image using residue prediction of an image, wherein the apparatus for decoding an original image of an encoded GRB component includes a current frame of each GRB component. The difference between the predicted image estimated from the pixel that is spatially close to the pixel block and the original image and the original image is referred to as spatial residue, and after reconstructing the spatial residue of the encoded predetermined component, the value is converted into a predetermined value and not converted. A spatial prediction unit for generating a prediction image obtained by estimating a prediction direction from a spatially adjacent pixel when the difference between the residual of the component is a prediction residual; A decompression decoder configured to decode the encoded image data to generate a reconstructed residual image of G component and a reconstructed prediction residue of B and R component; A residue conversion unit for linearly transforming the residue of the restored G component of the inverse compression and decoding unit; A residue compensator configured to generate a residual of the B and R components by adding the predicted residues of the B and R components generated by the decompression decoding unit and the converted values of the residue transform unit; And an original image generator for generating the original image by adding the residues of the R and B components of the residue compensation portion, the residues of the G component generated by the reverse compression decoding unit, and the prediction image generated by the spatial prediction unit. It features.
상술한 또 다른 기술적 과제를 달성하기 위한 본 발명에 의한, 영상의 레지듀 예측을 이용한 영상의 복호화 장치는, 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 복호화하는 장치에 있어서 상기 원영상과 예측영상의 차를 레지듀라 하고, 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 원영상의 각 성분의 레지듀와의 차를 예측 레지듀라 할 때, 시간적으로 움직임 보상한 예측영상을 생성하는 움직임 보상부; 공간적으로 근접한 화소로부터 예측방향을 추정하여 얻은 예측영상을 생성하는 공간예측부; 상기 부호화된 영상 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역압축복호화부; 상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시키는 레지듀변환부; 상기 역압축복호화부에서 생성된 B 성분 및 R 성분의 예측 레지듀와 상기 레지듀변환부의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀를 생성하는 레지듀보상부; 상기 레지듀보상부의 R 및 B 성분의 레지듀와 상기 역압축복호화부에서 생성된 G성분의 레지듀를, 인터모드이면 상기 움직임보상부에서 생성된 예측영상을 더하고, 인트라모드이면 상기 공간예측부에서 생성된 예측영상을 더하여 원영상을 생성하는 원영상생성부를 포함함을 특징으로 한다. 상기 역압축복호화부는 상기 부호화된 영상데이터를 엔트로피 복호화하는 엔트로피복호화부; 상기 엔트로피 복호화된 데이터를 역양자화하는 역양자화부; 및 상기 역양자자화된 데이터를 역 주파수공간변환하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하는 역주파수공간변환부로 이루어짐이 바람직하다.In accordance with another aspect of the present invention, there is provided an apparatus for decoding an image using residual prediction of an image, the apparatus for decoding an original image including at least two encoded components, the original image and the prediction. When the difference between the image is called a residual and the difference between the value obtained by reconstructing the encoded residue of the predetermined component and the residual of the component of the original image is converted to a predetermined value, the motion compensation is performed temporally. A motion compensator for generating a predictive image; A spatial prediction unit generating a predictive image obtained by estimating a prediction direction from spatially adjacent pixels; A decompression decoder configured to decode the encoded image data to generate a reconstructed residual image of G component and a reconstructed prediction residue of B and R component; A residue conversion unit for linearly transforming the residue of the restored G component of the inverse compression and decoding unit; A residue compensator configured to generate a residual of the B and R components by adding the predicted residues of the B and R components generated by the decompression decoding unit and the converted values of the residue transform unit; The residue of the R and B components of the residue compensation unit and the residue of the G component generated by the decompression decoding unit are added to the prediction image generated by the motion compensation unit in the inter mode, and the spatial prediction unit in the intra mode. And an original image generator for generating the original image by adding the predictive image generated by the. The decompression decoding unit includes an entropy decoding unit for entropy decoding the encoded image data; An inverse quantizer for inversely quantizing the entropy decoded data; And an inverse frequency-space transform unit for inverse frequency-space transforming the inverse quantized data to generate a reconstructed residual image of the G component and a reconstructed prediction residue of the B and R components.
그리고 상기 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.A computer readable recording medium having recorded thereon a program for executing the invention described above is provided.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하기로 한다. 본 발명은 영상기기로부터 바로 취득할 수 있는 R-G-B 비디오 영상을 기존의 Y-Cr-Cb 영역으로의 변환없이 직접 압축할 수 있다. R-G-B 세 가지 성분 중 하나는 기존의 Y의 방식대로 부호화하고 나머지 두 성분은 공간상 인접한 화소(pixel)나 시간상으로 인접한 화소에서 예측한 뒤 발생한 레지듀(residue) 영상을 Y의 방식으로 부호화한 칼라성분의 복원 레지듀(residue) 값으로부터 예측하여 부호화한다.Hereinafter, with reference to the accompanying drawings will be described in detail the present invention. The present invention can directly compress an R-G-B video image obtained directly from an imaging device without converting the existing Y-Cr-Cb region. One of the three RGB components is encoded according to the conventional method of Y, and the other two components are encoded by the method of Y, encoding the residual image generated after predicting from adjacent pixels in space or adjacent pixels in time. It predicts and encodes from the reconstruction residue value of a component.
도 1은 본 발명에 의한 영상의 레지듀 예측을 이용한 영상 부호화 장치의 일실시예에 대한 구성을 블록도로 도시한 것이다. 도 1의 실시예에서는 G, R, B 성분으로 이루어지는 칼라 영상을 부호화한다. 먼저 레지듀와 예측레지듀에 대한 용어를 설명하기로 한다. 상기 레지듀라 함은 상기 원영상과 예측영상의 차를 말하고, 상기 예측레지듀라 함은 부호화된 소정 성분의 레지듀를 복원한 후 소정 값으로 변환한 값과 상기 원영상의 각 성분의 레지듀와의 차를 말한다,1 is a block diagram illustrating a configuration of an embodiment of an image encoding apparatus using residue prediction of an image according to the present invention. In the embodiment of Fig. 1, a color image composed of G, R, and B components is encoded. First, terms for residue and prediction residue will be described. The residue refers to the difference between the original image and the predicted image, and the predicted residue is a value obtained by reconstructing the encoded residue of the predetermined component and converting it to a predetermined value and the residue of each component of the original image. Says the car,
상기 본 발명의 일실시예에 해당하는 부호화 장치는 현재영상저장부(Fn, 100), 이전영상저장부(F'n-1, 105), 움직임예측영상생성부(10), 공간예측영상생성부(20), 레지듀생성부(130), 압축부호화부(30), 역압축복호화부(40), 레지듀변환부(165), 예측레지듀생성부(135), 레지듀보상부(170), 원영상생성부(175), 루프필터(180), 복원영상저장부(185)를 포함하여 이루어진다.The encoding apparatus according to the embodiment of the present invention includes a current image storage unit F n , 100, a previous image storage unit F ′ n-1 , 105, a motion
상기 현재영상저장부(100)는 G,B,R 성분의 칼라 영상을 받아들여 저장한다. 상기 이전영상저장부(105)는 복호화된 G,B,R 성분의 이전 칼라 영상을 저장한다.The current
상기 움직임예측영상생성부(10)는 이전 프레임과 현재 프레임 간에 블록단위로 움직임을 추정하여 해당 블록을 출력하며, 움직임추정부(110)와 움직임예측부(115)로 이루어진다. 상기 블록은 도 4에 도시된 바와 같이 기본적으로 가로x세로(16x16) 크기의 매크로 블럭을 16×16, 16×8, 8×16, 8×8의 다양한 크기로 나누어 각각 움직임 벡터를 구하여 시간상으로 영상 값을 예측한다. 특히 8×8 크기의 블럭은 다시 8×8, 8×4, 4×8, 4×4 크기로 나누어 세밀한 움직임도 정확히 감지하게 해준다. The motion
상기 움직임추정부(110)는 이전 프레임과 현재 프레임 간에 블록단위로 움직임을 추정한다. 상기 움직임예측부(115)는 상기 움직임추정부로부터 생성된 움직임 벡터에 해당하는 블록을 출력한다.The
상기 공간예측영상생성부(20)는 현재 프레임의 화소블럭과 공간적으로 근접한 화소로부터 예측방향을 추정하여 해당 블록을 출력하며, 공간추정부(120) 및 공간예측부(125)로 이루어진다. The spatial
상기 공간추정부(120)는 현재 프레임의 화소블럭과 공간적으로 근접한 화소로부터 예측방향을 추정한다. 상기 공간예측부(125)는 상기 공간추정부로부터 추정된 방향에 해당하는 블록을 출력한다. 상기 공간추정 및 공간예측은 도 5에 도시되어 있으며, 이에 대한 자세한 설명은 후술하기로 한다.The
상기 레지듀생성부(130)는 인터(inter)방식이면 상기 움직임예측영상생성부(10)의 영상과 현재 프레임의 해당 블록과의 차에 해당하는 시간적 레지듀를 생성하고, 인트라(intra)방식이면 상기 공간예측영상생성부(20)의 영상과 현재 프레임의 해당 블록의 차에 해당하는 공간적 레지듀를 생성한다.The
압축부호화부(30)는 상기 레지듀생성부(130)에서 생성된 G 성분의 레지듀, 예측레지듀생성부(135)에서 생성된 R 및 B 성분의 예측레지듀를 압축하여 부호화하며, 주파수공간변환부(140)와 양자화부(145) 및 엔트로피부호화부(150)로 이루어진다. 상기 주파수공간변환부(140)는 상기 레지듀생성부(130)에서 생성된 G 성분의 레지듀, 예측레지듀생성부(135)에서 생성된 R 및 B 성분의 예측레지듀를 압축한다. 상기 양자화부(145)는 상기 주파수공간변환부(140)에서 압축된 데이터를 양자화한 다. 상기 엔트로피 부호화부(150)는 상기 양자화된 데이터를 엔트로피(entropy) 부호화한다.The
역압축복호화부(40)는 상기 압축부호화된 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하며, 역양자화부(155)와 역주파수공간변환부(160)로 이루어진다. 상기 역양자화부(155)는 상기 양자화된 데이터를 역양자화한다. 상기 역주파수공간변환부(160)는 상기 역양자자화된 데이터를 역 주파수공간변환하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성한다.The
레지듀변환부(165)는 상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시킨다. 상기 선형변환된 값에는 상기 복원된 G성분의 레지듀 값 그 자체도 포함된다. 상기 레지듀변환부(165)는 원영상을 구성하는 각 성분(본 실시예에서는 G,B,R 영상성분)의 상관관계(correlation)을 이용하여 변환된다. 이를 위해 구체적으로는 G 성분의 복원된 레지듀 값()에 일정 크기의 값(a, c)으로 곱하고 옵셋(offset, b, d) 만큼 더하는 선형함수에 의한 선형변환을 행한다. 상기 a,b,c,d 값은 본 실시예에서는 후술할 수학식 4 내지 9에 의해 결정된다.The
예측레지듀생성부(135)는 상기 레지듀변환부(165)에서 변환된 값과 상기 레지듀생성부(110)에서 생성된 B 및 R 성분의 레지듀()와의 차()를 생성한다.The
레지듀보상부(170)는 상기 역압축복호화부의 B 성분 및 R 성분의 예측 레지듀와 상기 선형변환부의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀를 생성 한다.The residue compensator 170 generates the residuals of the B and R components by adding the predicted residues of the B and R components of the decompression decoding unit and the converted values of the linear transformation unit.
원영상생성부(175)는 상기 레지듀보상부의 R 및 B 성분의 레지듀와 상기 역압축복호화부에서 생성된 G성분의 레지듀에, 인터모드이면 상기 움직임예측영상생성부에서 생성된 예측영상을 더하고, 인트라모드이면 상기 공간예측영상생성부에서 생성된 예측영상을 더하여 원영상을 생성한다. 상기 루프필터(180)는 복원된 영상의 블록효과를 줄여준다.The
본 발명에 의한 상기 실시예를 보다 구체적으로 설명하기로 한다. 부호화 장치의 칼라 입력 영상 Fn(100)은 R-G-B 영상을 사용한 것이다. 상기 영상은 부호화 장치에서 블럭 단위로 처리된다. 부호화 장치는 부호화 효율을 높이기 위해 인터(inter)방법과 인트라(intra)방법을 사용하여 예측한다. 상기 인터방법은 이전 프레임 영상 F'n-1(105)에서 움직임을 추정하여 예측하는 움직임추정부(motion estimation, ME, 110) 및 움직임예측부(motion prediction, MP, 115)를 사용한다. 상기 인트라방법은 공간적으로 인접해 있는 블럭에서 예측하는 공간추정부(Spatial Estimation, SE, 120) 및 공간예측부 (Spatial Prediction, SP, 125)를 사용한다.The embodiment according to the present invention will be described in more detail. The color
먼저, 입력영상과 상기의 방법으로 예측된 영상 사이의 레지듀(residue) 값을 얻는다(Rn, 130). 상기 레지듀(residue) 값을 R, G 및 B의 3개 성분에 대해 각각 구한다. 이들 세 가지 성분간의 상관관계(correlation)를 이용하기 위하여 RP(Residue Prediction, 135) 및 RC(Residue Compensation, 170) 방법을 사용한다. 세 성분 중 G 성분의 레지듀(residue)값 △Gn은 주파수공간변환부(140)에서 이산 코사인 변환(DCT) 혹은 이산 정수 변환되고, 양자화부(145)에서 양자화, 엔트로피부호화부(150)에서 엔트로피 부호화를 거쳐 압축된다. 상기 이산 코사인 변환은 ISO/IEC의 MPEG-4 part 2 표준화 기술을, 이산 정수 변환은 ISO/IEC MPEG 및 ITU-T VCEG의 Joint Video Team의 AVC/H.264 표준화 기술을 참조하면 된다. 이 값은 공간적으로 근접한 블록 혹은 시간적으로 나중에 오는 영상에서 예측에 사용할 수 있게 이 압축된 값을 역양자화부(155)에서 역 양자화되고, 역주파수공간변환부(160)에서 역 이산 코사인 변환(IDCT) 혹은 역 이산 정수 변환 되어 복원된 G 성분의 레지듀(residue) 값 △G'n을 얻는다.First, a residue value between an input image and an image predicted by the above method is obtained (Rn, 130). The residue value is obtained for each of the three components R, G and B. In order to use the correlation between these three components, Residue Prediction (RP) and RC (Residue Compensation, 170) methods are used. Residue value ΔGn of the G component of the three components is discrete cosine transform (DCT) or discrete integer transformed by the frequency-
나머지 두 성분 R 및 B의 레지듀 값의 경우에는 바로 부호화하지 않고 상기에서 복원된 G 성분의 레지듀(residue) 값 △G'n 을 사용하여 부호화한다. 보다 자세하게는 예측레지듀생성부(135)를 통해 상기 B 성분과 R 성분의 예측레지듀( )를 생성한다. 상기 예측레지듀는 상기 레지듀생성부(130)에서 생성된 B 성분 및 R 성분의 레지듀(△Bn,△Rn)에다가, 상기 △G'n을 선형변환하여 생성된 값을 빼면 생성된다. 상기 △G'n의 선형변환된 값에는 △G'n 값 그 자체도 포함된다. 상기 예측레지듀를 주파수공간변환부(140)에서 이산 코사인 변환(DCT) 혹은 이산정수변환, 양자화부(145)에서 양자화, 엔트로피 부호화부(150)에서 엔트로피 부호화를 거쳐 압축한다.In the case of the residual values of the remaining two components R and B, the residual values of the remaining two components R and B are not immediately encoded, and are encoded by using the residual value ΔG'n of the reconstructed G component. More specifically, the prediction
그리고 나서 상기 G성분의 레지듀(residue)값과 마찬가지로 예측에 이용하기 위하여 다시 이 압축된 값을 역양자화부(155)에서 역양자화하고 역주파수공간변환부(160)에서 역이산코사인 변환(DCT) 혹은 역이산정수 변환을 하여 복원된 예측 레지듀(predicted residue) 값 을 얻는다. 그리고 상기 복원된 예측 레지듀(predicted residue) 값 은 레지듀보상부(170)를 통해 상기 레지듀변환부(165)에서 변환된 값과 더해져 R 및 B 성분의 복원된 레지듀 값()을 얻는다.Then, in addition to the residual value of the G component, the compressed value is dequantized by the inverse quantization unit 155 again for use in prediction, and the inverse discrete cosine transform (DCT) by the inverse frequency
복원된 세 가지 칼라 성분 레지듀(residue) 값()은 원영상생성부(175)를 통해 움직임추정부(110)와 움직임예측부(115) 혹은 공간추정부(120)와 공간예측부(125)에서 사용된 인터 혹은 인트라 예측방식에 의해 예측된 블럭 값에 더해지고, 블럭효과를 줄여 주는 루프필터(180)를 거쳐 복호화기에서 복원되어질 영상 F'n 을 얻을 수 있다. 상기 영상 F'n은 복원영상저장부(180)에 저장되어 움직임추정부(110)와 움직임예측부(15), 공간 추정부(120)와 공간예측부(125)에서 이전 프레임 영상으로 사용된다.Reconstructed three color component residue values ( ) Is predicted by the inter prediction or intra prediction method used in the
도 1에서 참조번호 50이 가리키는 부분이 본 발명에서 R-G-B 성분의 부호화 효율을 높이기 위하여 사용한 칼라 성분의 레지듀(residue) 예측 방법을 사용하는 핵심부분을 나타낸다.In FIG. 1, a portion indicated by
상술한 본 발명에 의한 컬러 영상의 레지듀를 이용한 영상 부호화 방법 및 부호화 장치는 G,R,B의 순서로 입력되고 G에 대해 먼저 레지듀를 구하고, B 및 R 에 대해서는 예측 레지듀를 구해 부호화하였지만, 이는 G 성분이 부호화할 영상 정보를 가장 많이 가지고 있을 때 효과적이다. 따라서 본 발명은 R 성분이 부호화할 영상 정보를 가장 많이 가지고 있을 때, 즉 R 성분이 주된(dominant) 성분일 경우 에는 R 성분에 대해 레지듀를 구하고, G 와 B 성분에 대해 상기 R 성분의 레지듀를 이용하여 예측레지듀를 구할 수 있다. 마찬가지로 B 성분이 주된 성분일 경우에는 B성분에 대해 레지듀를 구하고 이를 이용하여 G 와 R 성분에 대해 예측레지듀를 구해 본 발명의 기술적 사상을 동일하게 적용될 수 있다.The image encoding method and encoding apparatus using the residue of the color image according to the present invention described above are input in the order of G, R, and B, and the residue is first obtained for G, and the prediction residue is obtained for B and R. However, this is effective when the G component has the most image information to be encoded. Therefore, in the present invention, when the R component has the most image information to be encoded, that is, when the R component is the dominant component, the residue is obtained for the R component, and the residue of the R component for the G and B components is obtained. The predicted residue can be obtained using the dew. Likewise, when the B component is the main component, the residuals of the B component may be obtained, and the prediction residuals of the G and R components may be obtained using the same.
그리고 상술한 실시예는 G,R,B 성분으로 된 컬러영상에 대한 것이지만, Y,Cr,Cb 또는 X,Y,Z 형식의 영상에도 동일하게 적용될 수 있다. In addition, although the above-described embodiment is for a color image composed of G, R, and B components, it may be equally applied to an image of Y, Cr, Cb, or X, Y, Z format.
도 2는 본 발명에 의한 영상의 레지듀 예측을 이용한 영상 복호화 장치의 구성에 대한 일실시예를 블록도로 도시한 것이다.2 is a block diagram illustrating an embodiment of a configuration of an image decoding apparatus using residue prediction of an image according to the present invention.
상기 복호화 장치는 도 1의 부호화 과정과 반대의 과정을 거쳐 압축된 비트스트림(Bitstream)으로부터 영상을 복원하는 역할을 한다.The decoding apparatus restores an image from a compressed bitstream through a process opposite to that of FIG. 1.
도 2의 실시예에서는 부호화된 G, R, B 성분으로 이루어지는 칼라 영상을 복호화한다. 상기 본 발명의 일실시예에 해당하는 복호화 장치는 움직임 보상부(240), 공간예측부(245), 역압축복호화부(280), 레지듀변환부(225), 레지듀보상부(230), 원영상생성부(235), 루프필터(255), 복원영상저장부(260)를 포함하여 이루어진다.In the embodiment of Fig. 2, a color image consisting of encoded G, R, and B components is decoded. The decoding apparatus corresponding to the embodiment of the present invention includes a
상기 움직임보상부(240)는 시간적으로 움직임 보상한 예측영상을 생성한다. 상기 공간예측부(245)는 공간적으로 근접한 화소로부터 예측방향을 추정하여 얻은 예측영상을 생성한다.The
역압축복호화부(280)는 상기 부호화된 영상 데이터를 복호화하여 G 성분의 복원된 레지듀 영상과 B 및 R 성분의 복원된 예측 레지듀를 생성하며, 엔트로피복 호화부(200), 역양자화부(205), 역주파수공간변환부(210)로 이루어진다. 상기 엔트로피복호화부(200)는 상기 부호화된 영상데이터를 엔트로피 복호화한다. 상기 역양자화부(205)는 상기 엔트로피 복호화된 데이터를 역양자화한다. 상기 역주파수공간변환부(210)는 상기 역양자자화된 데이터를 역 주파수공간변환하여 G 성분의 복원된 레지듀 영상()과 B 및 R 성분의 복원된 예측 레지듀( )를 생성한다.The
레지듀변환부(225)는 상기 역압축복호화부의 복원된 G 성분의 레지듀를 선형 변환시킨다. 상기 선형변환된 값에는 상기 복원된 G성분의 레지듀 값 그 자체일 수도 있다. 상기 레지듀변환부(225)는 원영상을 구성하는 각 성분(본 실시예에서는 G,B,R 영상성분)의 상관관계(correlation)를 이용하여 변환된다. 이를 위해 구체적으로는 G 성분의 복원된 레지듀 값()에 일정 크기의 값(a, c)을 곱하고 옵셋(offset, b, d) 만큼 더하는 선형함수에 의한 선형변환을 행한다. 상기 a,b,c,d 값은 본 실시예에서는 후술할 수학식 4 내지 9에 의해 결정된다.The residue transform unit 225 linearly transforms the residue of the restored G component of the inverse compression and decoding unit. The linearly transformed value may be a residual value of the restored G component itself. The residue transform unit 225 is transformed using the correlation of each component constituting the original image (G, B, R image component in this embodiment). For this purpose, specifically, the restored residue value of the ) Is multiplied by a constant value (a, c) and linearly transformed by a linear function that is added by an offset (b, d). The a, b, c, and d values are determined by
레지듀보상부(230)는 상기 역압축복호화부(280)에서 복원된 B 성분 및 R 성분의 예측 레지듀( )와 상기 레지듀변환부(225)의 변환된 값을 더하여 복원된 B 및 R 성분의 레지듀()를 생성한다.
원영상생성부(235)는 상기 레지듀보상부(230)에서 복원된 R 및 B 성분의 레지듀()와 상기 역압축복호화부(280)에서 생성된 G성분의 레지듀()를, 인터모드이면 상기 움직임보상부(240)에서 생성된 예측영상을 더하고, 인트라모드 이면 상기 공간예측부(245)에서 생성된 예측영상을 더하여 블록효과가 존재하는 원영상을 생성한다. 상기 원영상은 블럭효과를 줄여 주는 루프필터(180)를 거쳐 블록효과가 감소된 원영상 F'n 을 얻을 수 있다.The original
복호화 장치의 동작을 설명하기로 좀 더 구체적으로 설명하기로 한다. 압축된 데이터는 엔트로피 복호화부(200), 역양자화부(205), 역이산정수변환부(210)를 거쳐 먼저 G 성분의 복원된 레지듀(residue) 값 △G'n을 얻는다. 인터 모드의 경우 이전 영상 F'n-1을 움직임보상부(motion compensation, 240)에 의해 예측한 값에, 그리고 인트라 모드의 경우는 공간적으로 인접한 블럭 값을 공간예측부(spatial prediction, 245)에 의해 예측한 값에 G 성분의 레지듀(residue) 값을 더하여 G 성분의 복원된 값을 얻는다. 이 값은 블록 효과를 줄여 주는 루프필터(255)를 거쳐 G성분의 복원 영상 F'n (260)을 얻는다.The operation of the decoding apparatus will be described in more detail. The compressed data is first obtained through the
R 및 B 성분을 복원하기 위하여, 비트스트림에서 엔트로피 복호화부(200)를 통해 엔트로피 복호화되고, 역양자화부(205)에서 역양자화된 후, 역주파수공간변환부(210)에서 역이산코사인 변환(IDCT) 혹은 역이산정수 변환를 거쳐 B 및 R 성분의 복원된 예측 레지듀( )를 생성한다. 상기 복원된 예측 레지듀(predicted residue) 값 은 레지듀보상부(230)를 통해 상기 레지듀변환부(225)에서 변환된 값과 더해져 R 및 B 성분의 복원된 레지듀 값()을 얻는다.In order to restore the R and B components, it is entropy decoded by the
복원된 R 및 B 성분 레지듀(residue) 값()은 원영상생성부(235)를 통해 움직임보상부(240)와 공간예측부(245)에서 사용된 인터 혹은 인트라 예측방식에 의해 예측된 블럭 값에 더해지고, 블럭효과를 줄여 주는 루프필터(255)를 거쳐 R 및 B의 복원 영상 F'n 을 얻을 수 있다. Restored R and B component residue values ( ) Is added to the block value predicted by the inter or intra prediction method used in the
상술한 본 발명에 의한 컬러 영상의 레지듀를 이용한 영상 복호화 방법 및 복호화 장치는 G,R,B의 순서로 입력되고 G에 대한 레지듀를 먼저 복호화하고, B 및 R 에 대해 예측 레지듀를 복호화한 후 상기 G에 대한 레지듀를 이용하여 R 및 B 성분의 레지듀를 구하여 원영상을 복원하였지만, 이는 G 성분이 영상 정보를 가장 많이 가지고 있을 때 효과적이다. 따라서 본 발명은 R 성분이 부호화할 영상 정보를 가장 많이 가지고 있을 때, 즉 R 성분이 주된(dominant) 성분일 경우에는 R 성분에 대해 레지듀를 구하고, G 와 B 성분에 대해 상기 R 성분의 레지듀를 이용하여 예측레지듀를 구할 수 있다. 마찬가지로 B 성분이 주된 성분일 경우에는 B성분에 대해 레지듀를 구하고 이를 이용하여 G 와 R 성분에 대해 예측레지듀를 구해 본 발명의 기술적 사상을 동일하게 적용될 수 있다.The image decoding method and decoding apparatus using the residue of the color image according to the present invention described above are input in the order of G, R, and B, and the residue for G is first decoded, and the prediction residue for B and R is decoded. After reconstruction of the R and B components using the residue for G, the original image is reconstructed, but this is effective when the G component has the most image information. Therefore, in the present invention, when the R component has the most image information to be encoded, that is, when the R component is the dominant component, the residue is obtained for the R component, and the residue of the R component for the G and B components is obtained. The predicted residue can be obtained using the dew. Likewise, when the B component is the main component, the residuals of the B component may be obtained, and the prediction residuals of the G and R components may be obtained using the same.
그리고 상술한 실시예는 G,R,B 성분으로 된 컬러영상에 대한 것이지만, Y,Cr,Cb 또는 X,Y,Z 형식의 영상에도 동일하게 적용될 수 있다.In addition, although the above-described embodiment is for a color image composed of G, R, and B components, it may be equally applied to an image of Y, Cr, Cb, or X, Y, Z format.
도 3은 본 발명에서 이용한 R-G-B 칼라 영상의 레지듀(residue) 예측 방법에 대한 개념을 블록도로 도시한 것이다. 즉 도 1의 참조번호 50에 해당하는 블록과 도 2의 참조번호 270에 해당하는 블록의 자세한 동작 원리를 나타낸다. 3 is a block diagram illustrating a concept of a method of predicting a residue of an R-G-B color image used in the present invention. That is, the detailed operation principle of the block corresponding to the
먼저 G 성분(G plane, 300)은 기존의 부호화기와 마찬가지로 공간적으로 인접한 영상 혹은 시간적으로 인접한 영상 값 (310)을 이용하여 예측한 값을 빼서 G 값의 레지듀 (residue)(315)를 얻는다. 이 레지듀 값은 수학식 1과 같이 나타낼 수 있다.First, the
여기서 Gp는 도 3에서 참조번호 310에 해당한다. 이 레지듀 값이 실제 엔트로피 부호화된다. Here, Gp corresponds to reference numeral 310 in FIG. 3. This residue value is actually entropy coded.
Y-Cr-Cb 성분과 달리 G 및 R, B 성분 사이에는 여전히 상관도(correlation)가 크다. 이 성분간의 유사성을 이용하기 위해 R 및 G 성분은 먼저 G 성분과 마찬가지로 시/공간상 예측(325, 360)을 한다. 여기서 나온 레지듀 값은 수학식 2와 수학식 3과 같다.Unlike the Y-Cr-Cb component, the correlation is still large between the G, R, and B components. In order to take advantage of the similarity between these components, the R and G components first make spatio-temporal predictions (325, 360) like the G components. Here, the residue value is the same as
여기서 Rp 및 Bp는 R 및 B 성분을 공간적으로 인접한 영상 혹은 시간적으로 인접한 영상 값으로 예측한 것이다(330, 365). 여기서 나온 레지듀(residue) 값을 G 성분의 레지듀(residue)가 복원된 값(345, 380)을 선형 변환한 값(340, 375)을 이용하여 다시 한번 예측한 레지듀(predicted residue) 값(350, 385)을 수학식 4 및 수학식 5와 같이 얻는다. Here, Rp and Bp are predictions of the R and B components as spatially adjacent images or temporally adjacent image values (330 and 365). Here, the residue value predicted once again by linearly converting the residue value (345, 380) from which the residue of the G component is restored (345, 380). (350, 385) are obtained as in
이 값은 R과 B 성분의 시/공간상 예측 오차에 비해 부호화할 데이터의 양이 줄어들어 부호화 효율이 개선된다. 이것은 △G, △R, △B 사이에 상관도가 크므로 △G와 △R 및 △G와 △B의 관계를 선형의 함수로 표현하여 △R과 △B를 △G의 함수로 근사화 할 수 있기 때문이다. 여기서 a 및 b는 R성분의 레지듀(residue)를 G성분의 레지듀로 예측할 때 근사화한 선형 함수의 기울기와 편차가 되고 c와 d는 B성분의 레지듀(residue)를 G성분의 레지듀로 예측할 때 근사화한 선형 함수의 기울기와 편차가 된다. 상기 a, b, c, d는 수학식 6, 수학식 7, 수학식 8, 수학식 9로 나타낼 수 있다.This value reduces the amount of data to be encoded compared to the spatial and spatial prediction errors of the R and B components, thereby improving the coding efficiency. Since this has a high correlation between ΔG, ΔR, and ΔB, the relationship between ΔG and ΔR and ΔG and ΔB can be expressed as a linear function to approximate ΔR and ΔB as a function of ΔG. Because there is. Where a and b are the slope and deviation of the linear function approximated when the residual of R component is predicted as the residue of G component, and c and d are the residue of G component. It is the slope and deviation of the approximated linear function when predicting. A, b, c, and d may be represented by
여기서, 이 값은 △G과 △R,△B의 값을 이용하여 다음과 같이 구할 수 있다. cov(ㆍ)는 covariance를 나타내고 E(ㆍ)는 값의 평균 그리고 σ2는 분산 (variance)을 나타낸다. 그리고 상기 a 및 c 는 1 이 될 수 있고, b 및 d 는 0 이 될 수도 있다. 즉 이 때는 복원된 G 성분의 레지듀 값 그 자체이다. Here, this value can be obtained as follows using the values of? G,? R,? B. cov (·) represents the covariance, E (·) represents the mean of the values, and σ 2 represents the variance. And a and c may be 1, b and d may be 0. In this case, it is the residue value of the restored G component itself.
도 4는 도 1에서 영상의 시간상 예측을 위한 움직임추정부(ME, 110) 및 움직임 예측부(MC, 115) 및 도 3의 시간상 예측(305, 325, 360)을 위한 움직임의 기본단위로 사용하는 매크로 블럭(Macroblock)의 분할방법을 도시한 것이다. 이 방법은 ISO/IEC 14496-10 2002 및 ITU-T Rec H.264 표준 부호화 방식에서 사용하는 방법과 같다. 다른 표준과는 달리 다양한 크기의 블럭 분할을 허용하고 있다. 기본적으로 가로/세로 16 크기의 매크로 블럭을 16×16, 16×8, 8×16, 8×8의 다양한 크기로 나누어 각각 움직임 벡터를 구하여 시간상으로 영상 값을 예측한다. 특히 8×8 크기의 블럭은 다시 8×8, 8×4, 4×8, 4×4 크기로 나누어 세밀한 움직임도 정확히 감지하게 해준다. 4 is used as a basic unit of motion for the motion estimation unit (ME, 110) and the motion prediction unit (MC, 115) and the temporal prediction (305, 325, 360) of FIG. A method of dividing a macroblock is shown. This method is the same as that used in the ISO / IEC 14496-10 2002 and ITU-T Rec H.264 standard coding schemes. Unlike other standards, it allows block division of various sizes. Basically, macro blocks of 16 widths and 16 widths are divided into various sizes of 16 × 16, 16 × 8, 8 × 16, and 8 × 8 to obtain motion vectors, respectively, to predict image values in time. In particular, 8 × 8 blocks can be divided into 8 × 8, 8 × 4, 4 × 8, and 4 × 4 sizes to accurately detect fine movements.
도 5A는 도 1에서 공간상 예측을 위한 공간추정부(SE, 120) 및 공간예측부(SP, 125) 및 도 3의 공간상 예측(305, 325, 360)을 위한 인접 화소(Pixel)의 위치와 예측할 현재 블럭의 화소(pixel)의 위치를 도시한 것이다. 이 방법은 ISO/IEC 14496-10 2002 및 ITU-T Rec H.264 표준 부호화 방식에서 사용 하는 방법과 같다. 도 5A에서는 4×4 크기의 블럭 데이터 (Pa, Pb, ..., Pq)를 예측하기 위해 이전에 부호화 되어 복원된 공간상의 인접한 데이터 (P0, P1, ..., P12)를 이용한다. 도 5B는 공간상 인접한 화소로부터 투영(projection)하여 현재 블럭을 예측하기 위한 0부터 8까지의 9가지 예측 방향을 나타낸다. 예를 들어 0의 방향의 경우는 인접한 화소 값 P1, P2, P3, 및 P4를 수직 방향으로 투영하여 Pa, Pe, Pi ,및 Pm은 P1값, Pb, Pf, Pj, 및 Pn은 P2값, Pc, Pg, Pk, 및 Po은 P3값, Pd, Ph, Pl, 및 Pq은 P4값으로 예측한다. 다른 방향의 경우도 마찬가지로 투영을 통해 예측한다.FIG. 5A illustrates the
도 6은 R-G-B Crew (1280×720) 영상과 이 영상에 대해서 도 1의 움직임추정부(ME, 110) 및 움직임예측부(MC, 115)에 의한 시간상 예측에 의한 레지듀(residue) 영상을 나타낸 것이다. 도 6에서 보듯이 R-G-B 영상 값 자체는 유사성이 떨어지지만 레지듀 영상간에는 대부분의 영역에서 유사성이 상당히 높은 것을 볼 수 있다. 도 1의 공간추정부(SE, 120) 및 공간예측부(SP, 125)의 예측으로 생기는 레지듀 값도 R-G-B 성분 사이에 유사성이 상당히 높다.FIG. 6 shows an RGB Crew (1280 × 720) image and a residual image by temporal prediction by the motion estimation unit ME 110 and the motion
도 7은 R-G-B 영상의 시/공간상 예측에 의한 레지듀 사이의 상관도를 도시한 것이다.. 도 7의 (a)와 (b)는 도 1의 움직임 추정부(ME, 110) 및 움직임 예측부(MC, 115)에 의한 시간상 예측에 의한 각 성분의 레지듀 값 사이의 관계를 그래프로 나타낸 것이다. (a)는 G 성분의 레지듀 값을 가로축으로 R성분의 레지듀 값을 세로축으로 하여 값을 도시하였다. 그리고 (b)는 G 성분의 레지듀 값을 가로축으로 B성분의 레지듀값을 세로축으로 하여 값을 도시하였다. 도 7 (a) 및 (b)에 서 보듯이 R 및 B 성분의 레지듀 값은 G 성분의 레지듀 값과 상관도가 크고 G성분의 레지듀 값의 선형 예측(linear regression)으로 예측이 가능이 함을 알 수 있다. 도 7 (c) 및 (d)는 도 1의 공간 추정부(SE, 120) 및 공간 예측부(SP, 125)에 의한 공간상 예측에 의한 각 성분의 레지듀 값 사이의 관계를 그래프로 나타내었다. 도 7의 (c)와 (d)는 R 및 B 성분에 대해 도 7의 (a)와 (b)에서와 마찬가지로 G 성분의 레지듀 값에 대한 상관도를 나타내었다. 공간상 예측 방식에서도 R 및 B 성분의 레지듀 값은 G 성분의 레지듀 값과 상관도가 크고 G성분의 레지듀 값의 선형예측(Linear regression)으로 예측이 가능이 함을 알 수 있다. 이러한 R-G-B 성분의 레지듀 간의 선형 예측은 상기 수학식 6, 수학식 7, 수학식 8 및 수학식 9와 같이 나타낼 수 있다.FIG. 7 illustrates a correlation between residues based on spatio-temporal and spatial prediction of RGB images. FIGS. 7A and 7B illustrate a motion estimation unit (ME) 110 and motion prediction of FIG. 1. The relationship between the residue values of each component by the temporal prediction by MC (115) is shown graphically. (a) shows the value by making the residue value of the G component the horizontal axis and the residue value of the R component the vertical axis. And (b) shows the value with the residual value of the B component as the vertical axis and the residual value of the G component as the horizontal axis. As shown in FIGS. 7A and 7B, the residue values of the R and B components are highly correlated with the residue values of the G component, and can be predicted by linear regression of the residue values of the G component. This can be seen. 7 (c) and (d) graphically show the relationship between the residue values of each component by spatial prediction by the spatial estimating units SE and 120 and the spatial predicting units SP and 125 of FIG. It was. (C) and (d) of FIG. 7 show correlations of the residue values of the G component with respect to the R and B components as in FIG. 7 (a) and (b). In the spatial prediction method, the residue values of the R and B components have a high correlation with the residue values of the G components, and thus, the prediction values of the R and B components can be predicted by linear regression of the residue values of the G components. The linear prediction between the residues of the R-G-B components may be represented as in
도 8은 본 발명에 의한 칼라성분의 시/공간상 예측에 의한 RGB 칼라 성분의 레지듀 간의 예측에 의한 방식(proposed)과 기존의 방식(conventional)을 비교한 결과를 도시한 것이다. 도 8은 HD(High Definition)영상인 Crew(1280x720, 60hz)영상에 대한 결과를 4가지 비트율(bitrate)에서 PSNR로 표시하였다. (a)는 공간상 예측 만을 사용한 인트라(intra) 모드 만을 사용한 것이고, (b) 시/공간상 예측을 모두 사용한 결과이다. 도 8에서 보듯이 같은 비트율에서 3~4dB이상의 이득이 발생함을 알 수 있다. FIG. 8 shows the result of comparing the proposed method with the conventional method between the residues of the RGB color components by the spatial / spatial prediction of the color components according to the present invention. FIG. 8 shows the results of Crew (1280x720, 60hz) images, which are HD (High Definition) images, in PSNR at four bit rates. (a) is an intra mode using only spatial prediction and (b) is a result of using both spatial and spatial prediction. As shown in FIG. 8, it can be seen that a gain of 3 to 4 dB or more occurs at the same bit rate.
한편, 상술한 실시예서는 인터모드와 인트라모드가 같이 사용될 경우를 설명하였지만, 상황에 따라서는 인터모드 또는 인트라 모드 중 하나만 사용될 수 있다. 이에 대한 설명은 상술한 실시예에 대한 설명에서 인터모드 또는 인트라 모드 하나 만을 고려하면 동일하게 적용될 수 있으며 이는 당업자에게는 명백히 자명한 것이라 하겠다.Meanwhile, the above-described embodiment has been described in the case where the inter mode and the intra mode are used together, but according to circumstances, only one of the inter mode and the intra mode may be used. The description thereof may be equally applicable in consideration of only the inter mode or the intra mode in the description of the above-described embodiment, which will be apparent to those skilled in the art.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다. Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific preferred embodiments described above, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Various modifications can be made by those skilled in the art, and such changes are within the scope of the claims.
본 발명에 의하면, 영상성분의 레지듀와 영상성분간의 상관성을 이용하여 예측 레지듀를 부호화 및 복호화 하므로 데이터 량을 크게 감소시킬 수 있다.According to the present invention, since the prediction residue is encoded and decoded using the correlation between the residue of the image component and the image component, the amount of data can be greatly reduced.
또한 RGB 영역에서 직접 부호화하면 Y-Cr-Cb 영역으로 변환 할 때 생기는 영상 품질 손실이 없으므로 고품질의 영상정보를 얻을 수 있다. 따라서 이러한 고 품질의 영상이 필요한 디지탈 영화(Digital Cinema) 및 디지탈 아카이브(Digital Archive) 등의 응용에 적합하다.In addition, when encoding directly in the RGB region, high quality image information can be obtained because there is no loss of image quality when converting to the Y-Cr-Cb region. Therefore, it is suitable for applications such as digital cinemas and digital archives that require such high quality images.
그리고 본 발명에서 사용한 칼라성분의 시/공간상 예측에 의한 RGB 칼라 성분의 레지듀 간의 예측에 의한 방식을 그렇지 않은 기존의 방식과 비교하였을 때 같은 비트율에서 3dB 이상의 PSNR (Peak Signal to Noise Ratio) 이득이 발생하였다. In addition, when the method of the residue between the RGB color components by the temporal / spatial prediction of the color components used in the present invention is compared with the conventional method, the PSNR gain of 3 dB or more at the same bit rate is obtained. This occurred.
Claims (49)
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/845,256 US7469069B2 (en) | 2003-05-16 | 2004-05-14 | Method and apparatus for encoding/decoding image using image residue prediction |
EP20040252804 EP1478189A3 (en) | 2003-05-16 | 2004-05-14 | Method and apparatus for encoding/decoding image using image residue prediction |
CN2004100684021A CN1574970B (en) | 2003-05-16 | 2004-05-16 | Method and apparatus for encoding/decoding image using image residue prediction |
JP2004146373A JP2004343774A (en) | 2003-05-16 | 2004-05-17 | Video encoding/decoding method and apparatus using residue prediction of video |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20030031322 | 2003-05-16 | ||
KR1020030031322 | 2003-05-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20040099086A KR20040099086A (en) | 2004-11-26 |
KR100718121B1 true KR100718121B1 (en) | 2007-05-15 |
Family
ID=37376754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020030072810A KR100718121B1 (en) | 2003-05-16 | 2003-10-18 | A image encoding/decoding methods and apparatus using residue prediction of image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100718121B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010035993A2 (en) * | 2008-09-25 | 2010-04-01 | 에스케이텔레콤 주식회사 | Apparatus and method for image encoding/decoding considering impulse signal |
KR101213704B1 (en) | 2007-12-05 | 2012-12-18 | 삼성전자주식회사 | Method and apparatus for video coding and decoding based on variable color format |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100964401B1 (en) * | 2003-10-23 | 2010-06-17 | 삼성전자주식회사 | Intra coding/decoding method and apparatus for color image |
EP1679902A3 (en) * | 2005-01-06 | 2012-04-25 | Qualcomm Incorporated | Residual coding in compliance with a video standard using non-standardized vector quantization coder |
KR100701740B1 (en) * | 2005-01-11 | 2007-03-29 | 엘지전자 주식회사 | Apparatus and Method for encoding and decoding PI frame of digital visual data |
KR100723403B1 (en) * | 2005-02-28 | 2007-05-30 | 삼성전자주식회사 | A prediction image generating method and apparatus using using single coding mode among color components, and an image and video encoding/decoding method and apparatus using it |
KR101246915B1 (en) * | 2005-04-18 | 2013-03-25 | 삼성전자주식회사 | Method and apparatus for encoding or decoding moving picture |
KR101138393B1 (en) * | 2005-07-15 | 2012-04-26 | 삼성전자주식회사 | Apparatus and method for encoding/decoding of color image and video using different prediction among color components according to coding modes |
KR100813963B1 (en) * | 2005-09-16 | 2008-03-14 | 세종대학교산학협력단 | Method and apparatus for loseless encoding and decoding image |
KR100873636B1 (en) | 2005-11-14 | 2008-12-12 | 삼성전자주식회사 | Method and apparatus for encoding/decoding image using single coding mode |
KR101256548B1 (en) * | 2005-12-30 | 2013-04-19 | 삼성전자주식회사 | Image encoding and decoding apparatuses and methods |
KR101356653B1 (en) * | 2006-05-15 | 2014-02-04 | 세종대학교산학협력단 | Intra prediction process, method and apparatus for image encoding and decoding process using the intra prediction process |
KR100846795B1 (en) * | 2006-11-24 | 2008-07-16 | 삼성전자주식회사 | Method for transmitting and receiving moving picture based on RGB codec, and apparatus thereof |
KR100906243B1 (en) * | 2007-06-04 | 2009-07-07 | 전자부품연구원 | Video coding method of rgb color space signal |
KR101362757B1 (en) * | 2007-06-11 | 2014-02-14 | 삼성전자주식회사 | Method and apparatus for image encoding and decoding using inter color compensation |
KR101483497B1 (en) | 2008-09-25 | 2015-01-20 | 에스케이텔레콤 주식회사 | Video Encoding/Decoding Apparatus and Method of Considering Impulse Signal |
KR101294364B1 (en) * | 2011-01-31 | 2013-08-06 | 전자부품연구원 | Lossless Image Compression and Decompression Method for High Definition Image and electronic device using the same |
CN110335218B (en) * | 2019-07-10 | 2022-11-22 | 李小平 | Confidential image recovery method based on redundant remainder system |
CN115662346B (en) * | 2022-10-14 | 2024-01-19 | 格兰菲智能科技有限公司 | Demura compensation value compression method and system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR970073156A (en) * | 1996-04-26 | 1997-11-07 | 김광호 | A moving picture encoding / decoding method and a coding / decoding device capable of processing on an object-by-object basis |
KR970078656A (en) * | 1996-05-02 | 1997-12-12 | 김광호 | Method for processing time-lag error and image encoding apparatus using the same |
US5703649A (en) * | 1995-09-08 | 1997-12-30 | Sony Corporation | Digital video signal coding apparatus and method, and coded video signal decoding apparatus and method |
KR19990025488A (en) * | 1997-09-12 | 1999-04-06 | 구본준 | Moving vector coding method of MPEG-4 (MPEG-4) |
-
2003
- 2003-10-18 KR KR1020030072810A patent/KR100718121B1/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5703649A (en) * | 1995-09-08 | 1997-12-30 | Sony Corporation | Digital video signal coding apparatus and method, and coded video signal decoding apparatus and method |
KR970073156A (en) * | 1996-04-26 | 1997-11-07 | 김광호 | A moving picture encoding / decoding method and a coding / decoding device capable of processing on an object-by-object basis |
KR970078656A (en) * | 1996-05-02 | 1997-12-12 | 김광호 | Method for processing time-lag error and image encoding apparatus using the same |
KR19990025488A (en) * | 1997-09-12 | 1999-04-06 | 구본준 | Moving vector coding method of MPEG-4 (MPEG-4) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101213704B1 (en) | 2007-12-05 | 2012-12-18 | 삼성전자주식회사 | Method and apparatus for video coding and decoding based on variable color format |
WO2010035993A2 (en) * | 2008-09-25 | 2010-04-01 | 에스케이텔레콤 주식회사 | Apparatus and method for image encoding/decoding considering impulse signal |
WO2010035993A3 (en) * | 2008-09-25 | 2010-07-08 | 에스케이텔레콤 주식회사 | Apparatus and method for image encoding/decoding considering impulse signal |
Also Published As
Publication number | Publication date |
---|---|
KR20040099086A (en) | 2004-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7469069B2 (en) | Method and apparatus for encoding/decoding image using image residue prediction | |
KR100718121B1 (en) | A image encoding/decoding methods and apparatus using residue prediction of image | |
KR100723403B1 (en) | A prediction image generating method and apparatus using using single coding mode among color components, and an image and video encoding/decoding method and apparatus using it | |
KR101127221B1 (en) | Apparatus and method for encoding/decoding of color image and video using prediction of color components in frequency domain | |
KR101138393B1 (en) | Apparatus and method for encoding/decoding of color image and video using different prediction among color components according to coding modes | |
JP4815107B2 (en) | Lossless video encoding / decoding method and apparatus using color plane prediction | |
KR101088375B1 (en) | apparatus and method for adaptive variable block-size transform and the appartus and the method for video encoding/decoding thereof. | |
JP4898111B2 (en) | Color video residue conversion / inverse conversion method and apparatus, and color video encoding / decoding method and apparatus using the same | |
US20080008238A1 (en) | Image encoding/decoding method and apparatus | |
KR100694137B1 (en) | Apparatus for encoding or decoding motion image, method therefor, and recording medium storing a program to implement thereof | |
EP2555523A1 (en) | Image encoding device, image decoding device, image encoding method, and image decoding method | |
KR20080088046A (en) | Method and apparatus for video encoding and decoding using motion compensation filtering | |
KR100718122B1 (en) | Lossless color image coding method and apparatus using inter-plane prediction | |
KR101244309B1 (en) | Method and apparatus for encoding/decoding video data | |
KR100738075B1 (en) | Apparatus and method for encoding and decoding image | |
KR101426271B1 (en) | Method and apparatus for Video encoding and decoding | |
KR20090090152A (en) | Method and apparatus for video encoding and decoding | |
KR100964401B1 (en) | Intra coding/decoding method and apparatus for color image | |
US10104389B2 (en) | Apparatus, method and non-transitory medium storing program for encoding moving picture | |
KR100647297B1 (en) | Image coding method and apparatus using residue transform | |
KR20050112587A (en) | Video encoding and decoding apparatus, and method thereof | |
US20060181650A1 (en) | Encoding method and device | |
US20220217339A1 (en) | Deblocking filter device, decoding device and program | |
KR0130167B1 (en) | Mpeg apparatus | |
KR20070069309A (en) | Moving image coder and decoder device and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130429 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20140429 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20150429 Year of fee payment: 9 |
|
LAPS | Lapse due to unpaid annual fee |