KR0149938B1 - Moving image compressing apparatus and method using fractal and motion compensation - Google Patents
Moving image compressing apparatus and method using fractal and motion compensation Download PDFInfo
- Publication number
- KR0149938B1 KR0149938B1 KR1019950007036A KR19950007036A KR0149938B1 KR 0149938 B1 KR0149938 B1 KR 0149938B1 KR 1019950007036 A KR1019950007036 A KR 1019950007036A KR 19950007036 A KR19950007036 A KR 19950007036A KR 0149938 B1 KR0149938 B1 KR 0149938B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- fractal
- motion
- block
- compression
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Abstract
본 발명은 프랙탈과 움직임 보상을 이용하는 동영상 압축 장치 및 그 압축 방법에 관한 것으로, 움직임 보상 수행 후 예측 오차가 작은 블럭에서는 움직임 벡터만을 전송하고 예측 오차가 큰 블럭은 원영상을 프랙탈 압축하여 전송하는 프랙탈과 움직임 보상을 이용한 동영상 압축 장치 및 그 압축 방법을 제공하기 위하여, 움직임을 추정하는 움직임 추정 수단(11); 움직임을 보상하는 움직임 보상 수단(12); 예측 오차와 매스크를 설정하는 영역 결정 수단(13); 매스크에 따라 각 블럭의 압축 모드를 결정하는 영상 생성 수단(14); 프랙탈 압축하는 프랙탈 근사 압축 수단(15); 블럭을 재생하는 프랙탈 재생 수단(16); 및 재생된 영상을 저장하는 영상 저장 수단(17)을 구비하고, 상기 장치에 적용되는 방법에 있어서, 움직임 추정과 보상을 수행하여 예측 영상을 생성하는 제1 단계(21,22); 예측 오차를 계산하여 임계치와 비교하는 제2 단계(23,24); 예측 오차가 임계치보다 작은 블럭은 움직임 벡터만 외부로 전송하는 제3 단계(25,28); 및 예측 오차가 임계치보다 큰 블럭은 상기 입력 영상을 프랙탈 압축하여 프랙탈 계수를 생성하여 외부로 전송하는 제4 단계(26 내지 28)를 포함하여 낮은 비트율에서 빠르고 간단하게 동영상을 압축하여 블럭 현상이 크게 줄어든 좋은 화질의 재생 영상을 얻을 수 있는 효과가 있다.The present invention relates to a video compression apparatus using a fractal and motion compensation, and a compression method thereof. A fractal that transmits only a motion vector in a block having a small prediction error and performs a fractal compression on the original image in a block having a small prediction error after performing motion compensation. Motion estimation means (11) for estimating motion in order to provide a video compression apparatus using motion compensation and motion compression method thereof; Motion compensation means 12 for compensating for the motion; Area determining means (13) for setting a prediction error and a mask; Image generating means (14) for determining a compression mode of each block according to the mask; Fractal approximation compression means 15 for fractal compression; Fractal reproduction means 16 for reproducing the block; And image storage means (17) for storing the reproduced image, the method applied to the apparatus comprising: a first step (21, 22) of performing a motion estimation and compensation to generate a predicted image; A second step (23, 24) of calculating a prediction error and comparing it with a threshold; A third step (25, 28) of transmitting only a motion vector to a block whose prediction error is smaller than a threshold; And a fourth step (26 to 28) of fractal block compressing the input image to generate fractal coefficients and transmitting them to the outside. The effect is that a reduced quality image can be obtained.
Description
제1도는 본 발명에 따른 동영상 압축 장치의 구성도.1 is a block diagram of a video compression apparatus according to the present invention.
제2도는 본 발명에 따른 동영상 압축 흐름도.2 is a video compression flowchart according to the present invention.
제3도는 프랙탈 압축되는 블럭 및 쿼드트리(quad-tree)방식에 의한 블럭도.3 is a block diagram of a block that is fractal compressed and a quad-tree method.
제4도는 본 발명에 따른 실험 결과의 예시도.4 is an illustration of experimental results according to the present invention.
* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings
11 : 움직임 추정부 12 : 움직임 보상부11: motion estimation unit 12: motion compensation unit
13 : 영역화부 14 : 영상 생성부13: region generator 14: image generator
15 : 프랙탈 근사화부 16 : 프랙탈 재생부15: fractal approximation unit 16: fractal reproduction unit
17 : 영상 저장부 18 : 버퍼17: image storage unit 18: buffer
본 발명은 프랙탈과 움직임 보상을 이용하여 낮은 비트율에서도 빠르고 간단하게 동영상을 압축할 수 있는 동영상 압축 장치 및 그 압축 방법에 관한 것이다.The present invention relates to a video compression apparatus and a compression method thereof capable of compressing a video quickly and simply even at a low bit rate using fractals and motion compensation.
DCT(Discrete Cosine Transform)와 움직임 보상을 사용하는 H.261[CCITT Recommendation H.261, Video Codec for Audio-Visual Services at px64 Kbits, May 1989]을 기본으로 하는 종래의 압축 방식들은 매우 낮은 비트율을 요구하는 미래의 다양한 응용 분야에서는 점차 그 성능면에서 한계를 드러내고 있다.Conventional compression schemes based on H.261 [CCITT Recommendation H.261, Video Codec for Audio-Visual Services at px64 Kbits, May 1989] using Discrete Cosine Transform (DCT) and motion compensation require very low bit rates. In the future, various applications are gradually showing limitations in performance.
따라서, 낮은 비트율에서도 좋은 성능을 얻기 위하여 종래의 틀에서 벗어난 여러가지 새로운 압축 방식들이 소개되고 있다.Therefore, a variety of new compression schemes are introduced to get good performance even at low bit rates.
이러한 새로운 압축 방식중 프랙탈 영상 압축 방식은 복잡하게 보이는 영상들을 간단한 규칙에 의해 표현함으로써 높은 압축률을 얻는 새로운 방식으로 최근 이에 대한 연구가 활발히 이루어지고 있다.Among these new compression methods, the fractal image compression method is a new method of obtaining a high compression rate by expressing complicated images by simple rules.
정지 영상을 위한 종래의 프랙탈 영상 압축 방식으로는 재킨(Jacquin)[Image Coding Based on a Fractal Theory of Iterated Contractive Image Transformations, IEEE Trans. on Image Processing, Vol.1, pp.18-30, 1992]과 먼로(Monro)[Fractal Approximation of Image Blocks, ICASSP, pp.485-488, 1992]의 방식을 들 수 있다.Conventional fractal image compression methods for still images include Jaquin (Image Coding Based on a Fractal Theory of Iterated Contractive Image Transformations, IEEE Trans. on Image Processing, Vol. 1, pp. 18-30, 1992] and Monro (Fractal Approximation of Image Blocks, ICASSP, pp. 485-488, 1992).
재킨의 압축 방식은 영상을 적당한 크기의 레인지(range)블럭들로 분할한 후에 각 레인지 블럭과 가장 유사한 블럭을 도메인(domain)블럭들로 이루어진 집합에서 찾아내는 것이다.Jakin's compression method divides an image into range blocks of appropriate size and then finds the block most similar to each range block in a set of domain blocks.
반면, 먼로는 독립적인 블럭 단위로 부호화를 수행하는 방법을 제안하여 탐색 과정을 없앰으로써 부호화 속도를 빠르게 하였다.Monroe, on the other hand, proposed a method to perform encoding in units of independent blocks, thereby speeding up encoding by eliminating a search process.
또한, 휘트켄(Hurtgen)[Fractal Approach to Low Rate Video Coding, Proc SPIE, Vol.2094, pp.120-131, 1993]은 DPCM(Differential Pulse Code Modulation)과 프랙탈 압축을 사용한 하이브리드 방식의 동영상 프랙탈 압축 방식을 제안하였다. 여기서는 시간 방향의 중복성을 제거하기 위해 DPCM을 사용하고 예측 에러가 큰 블럭에서는 재킨의 방식에서 사용한 것과 유사한 프랙탈 압축을 수행한다.In addition, Hurtgen [Fractal Approach to Low Rate Video Coding, Proc SPIE, Vol. 2094, pp. 120-131, 1993] also described a hybrid video fractal compression using differential pulse code modulation (DPCM) and fractal compression. The method was proposed. In this case, we use DPCM to remove the redundancy in the time direction and perform fractal compression similar to that used in Jakin's method in blocks with large prediction error.
상기와 같은 종래의 프랙탈 영상 압축 방법중 재킨의 방법은 닮은 블럭을 찾기 위한 탐색 과정이 필요하기 때문에 이로 인해 계산량이 증가하고 인코딩 과정에 많은 시간이 소요되는 문제점이 있고, 먼로의 방법은 독립적인 블럭 단위로 압축을 수행하여 넓은 블럭을 찾기 위한 탐색 과정을 없앰으로써 압축 속도를 빠르게 하였으나 이 방법 역시 동일한 크기의 블럭 단위로 압축하므로 영상의 국부적인 특성을 압축 과정에 반영하지 못하는 문제점이 있으며, 휘트켄의 방법은 DPCM을 사용하여 빠르고 간단한 압축 장치를 구현할 수는 있지만 예측 효율이 떨어지고 재킨 방식의 프랙탈 압축을 사용하므로 탐색 과정을 거치게 되어 인코딩시 많은 시간이 소요되는 문제점이 있었다.Among the conventional fractal image compression methods described above, Jackkin's method requires a search process to find similar blocks, which increases computational complexity and requires a lot of time in the encoding process. Monroe's method is an independent block. Compression speed is increased by eliminating the search process to find wide blocks by compressing by unit, but this method also compresses by block unit of the same size, which does not reflect local characteristics of the image in the compression process. The method can achieve fast and simple compression using DPCM, but it has a problem that it takes a lot of time when encoding because it is inferior in prediction efficiency and goes through the search process because it uses the fractal compression of Jackkin method.
상기 제반 문제점을 해결하기 위하여 안출된 본 발명은 움직임 보상 수행 후 예측 오차가 작은 블럭에서는 움직임 벡터(motion vector)만을 전송하고 예측 오차가 큰 블럭은 원영상을 프랙탈 압축하여 전송하며, 레인지 블럭과 가장 근사한 도메인 블럭을 찾는 탐색과정을 없애기 위해 최소자승 근사화(least-aquares approximation)를 기본으로 하는 프랙탈 압축 기법을 사용하여 초저속 전송시 낮은 비트율에서 빠르고 간단한 압축을 수행하는 프랙탈과 움직임 보상을 이용한 동영상 압축 장치 및 그 압축 방법을 제공하는 데 그 목적이 있다.In order to solve the above problems, the present invention transmits only a motion vector in a block having a small prediction error after performing motion compensation, and transmits a block having a large prediction error by fractal compression of the original image, Fractal compression technique based on least-aquares approximation to eliminate the search process to find the approximate domain block. Fractal and motion compensation using fast and simple compression at low bitrates for very low transmission rates. It is an object of the present invention to provide an apparatus and a compression method thereof.
상기 목적을 달성하기 위한 본 발명의 장치는, 외부로 부터 현재 입력되는 입력 영상과 이전에 부호화된 영상 사이에서 움직임을 추정하여 움직임 벡터를 출력하는 움직임 추정 수단(Motion Estimation); 상기 움직임 추정 수단에서 구한 움직임 벡터와 상기 이전에 부호화된 영상을 입력받아 움직임을 보상하여 예측 영상을 출력하는 움직임 보상 수단(Motion Compensation); 상기 입력 영상과 상기 움직임 보상 수단에서 출력되는 움직임 보상된 예측 영상과의 차이 영상을 통하여 예측 오차를 계산한 후에 상기 예측 오차와 미리 정하여진 임계치를 비교하여 매스크를 설정하는 영역 결정 수단(Segmentation); 상기 입력 영상, 상기 움직임 보상 수단에서 출력되는 예측 영상 및 상기 움직임 추정 수단에서 출력되는 움직임 벡터를 입력받아 상기 영역 결정 수단에서 결정된 매스크에 따라 각 블럭의 압축 모드를 결정하는 영상 생성 수단(Image Generation); 상기 영상 생성 수단으로부터 출력되는 상기 입력 영상의 블럭을 최소자승 프랙탈 근사화를 이용하여 압축하는 프랙탈 근사 압축 수단(Fractal Approximation); 프랙탈 압축되는 블럭들에 대하여 상기 프랙탈 근사 압축 수단에서 구한 프랙탈 계수들을 이용하여 블럭을 재생하는 프랙탈 재생 수단(Fractal Reconstruction); 및 상기 프랙탈 재생 수단의 출력 블럭과 상기 영상 생성 수단로 부터 움직임 보상을 이용하여 이전 프레임의 움직임 벡터 위치의 블럭으로 대치된 블럭을 입력받아 상기 움직임 추정 수단의 움직임 추정과 상기 움직임 보상 수단의 움직임 보상시 이전 프레임 영상으로 사용하기 위하여 재생된 영상을 저장하는 영상 저장 수단(Frame Store)을 구비하는 것을 특징으로 한다.The apparatus of the present invention for achieving the above object comprises: motion estimation means (Motion Estimation) for estimating the motion between the current input image and the previously encoded image from the outside; Motion compensation means for receiving a motion vector obtained from the motion estimation means and the previously encoded image and compensating for the motion to output a predicted image; Region determination means for calculating a prediction error based on a difference image between the input image and the motion compensated prediction image output from the motion compensation means, and then setting a mask by comparing the prediction error with a predetermined threshold value; Image generation means for receiving the input image, the prediction image output from the motion compensation means, and the motion vector output from the motion estimation means, to determine the compression mode of each block according to the mask determined by the region determination means. ; Fractal approximation compression means for compressing a block of the input image output from the image generating means using least square fractal approximation; Fractal Reconstruction for reproducing the block using the fractal coefficients obtained by the fractal approximation compression means for the blocks that are fractal compressed; And a block substituted with a block of a motion vector position of a previous frame using motion compensation from the output block of the fractal reproducing means and the image generating means, and the motion estimation of the motion estimation means and the motion compensation of the motion compensation means. And a video storage means for storing the reproduced video for use as a previous frame image.
또한, 상기 다른 목적을 달성하기 위한 본 발명의 방법은, 외부로 부터 현재 입력되는 입력 영상과 이전에 부호화된 영상 사이에서 움직임을 추정하여 움직임 벡터를 출력하는 움직임 추정 수단(Motion Estimation); 상기 움직임 추정 수단에서 구한 움직임 벡터와 상기 이전에 부호화된 영상을 입력받아 움직임을 보상하여 예측 영상을 출력하는 움직임 보상 수단(Motion Compensation); 상기 입력 영상과 상기 움직임 보상 수단에서 출력되는 움직임 보상된 예측 영상과의 차이 영상을 통하여 예측 오차를 계산한 후에 상기 예측 오차와 미리 정하여진 임계치를 비교하여 매스크를 설정하는 영역 결정 수단(Segmentation); 상기 입력 영상, 상기 움직임 보상 수단에서 출력되는 예측 영상 및 상기 움직임 추정 수단에서 출력되는 움직임 벡터를 입력받아 상기 영역 결정 수단에서 결정된 매스크에 따라 각 블럭의 압축 모드를 결정하는 영상 생성 수단(Image Generation); 상기 영상 생성 수단으로부터 출력되는 상기 입력 영상의 블럭을 최소자승 프랙탈 근사화를 이용하여 압축하는 프랙탈 근사 압축 수단(Fractal Approximation); 프랙탈 압축되는 블럭들에 대하여 상기 프랙탈 근사 압축 수단에서 구한 프랙탈 계수들을 이용하여 블럭을 재생하는 프랙탈 재생 수단(Fractal Reconstruction); 및 상기 프랙탈 재생 수단의 출력 블럭과 상기 영상 생성 수단로 부터 움직임 보상을 이용하여 이전 프레임의 움직임 벡터 위치의 블럭으로 대치된 블럭을 입력받아 상기 움직임 추정 수단의 움직임 추정과 상기 움직임 보상 수단의 움직임 보상시 이전 프레임 영상으로 사용하기 위하여 재생된 영상을 저장하는 영상 저장 수단(Frame Store)을 구비하는 장치에 적용되는 방법에 있어서, 상기 입력 영상을 입력받아 이전 영상과 비교하여 각 블럭 단위로 움직임 추정과 움직임 보상을 수행하여 예측 영상을 생성하는 제1 단계; 상기 제1 단계 수행 후, 상기 입력 영상과 예측 영상의 차이 영상을 통하여 예측 오차를 계산하고 미리 정하여진 임계치를 수신하여 상기 예측 오차와 임계치를 비교하는 제2 단계; 상기 제2 단계 수행 후, 예측 오차가 임계치보다 작은 블럭은 움직임 벡터만 외부로 전송하고 상기 입력 영상의 현재 블럭을 이전 프레임의 움직임 벡터 위치의 블럭으로 대치한 후에 영상을 저장하는 제3 단계; 및 상기 제2 단계 수행 후, 예측 오차가 임계치보다 큰 블럭은 상기 입력 영상을 프랙탈 압축하여 프랙탈 계수를 생성하여 외부로 전송하고, 상기 프랙탈 계수를 이용하여 블럭을 재생한 후에 재생된 영상을 저장하는 제4 단계를 포함하는 것을 특징으로 한다.In addition, a method of the present invention for achieving the above object comprises: motion estimation means for outputting a motion vector by estimating a motion between an input image currently input from the outside and a previously encoded image; Motion compensation means for receiving a motion vector obtained from the motion estimation means and the previously encoded image and compensating for the motion to output a predicted image; Region determination means for calculating a prediction error based on a difference image between the input image and the motion compensated prediction image output from the motion compensation means, and then setting a mask by comparing the prediction error with a predetermined threshold value; Image generation means for receiving the input image, the prediction image output from the motion compensation means, and the motion vector output from the motion estimation means, to determine the compression mode of each block according to the mask determined by the region determination means. ; Fractal approximation compression means for compressing a block of the input image output from the image generating means using least square fractal approximation; Fractal Reconstruction for reproducing the block using the fractal coefficients obtained by the fractal approximation compression means for the blocks that are fractal compressed; And a block substituted with a block of a motion vector position of a previous frame using motion compensation from the output block of the fractal reproducing means and the image generating means, and the motion estimation of the motion estimation means and the motion compensation of the motion compensation means. A method applied to an apparatus having an image storage means (Frame Store) for storing a reproduced image for use as a previous frame image, the method comprising: receiving the input image and comparing the previous image with motion estimation in units of blocks; Generating a predictive image by performing motion compensation; A second step of calculating a prediction error through a difference image between the input image and the prediction image and receiving a predetermined threshold value after performing the first step, and comparing the prediction error with a threshold value; A third step of transmitting a block whose prediction error is smaller than a threshold after performing the second step, and storing the image after replacing the current block of the input image with the block of the motion vector position of the previous frame; And after performing the second step, a block having a prediction error larger than a threshold value fractal-compresses the input image to generate a fractal coefficient, and transmits it to the outside, and stores the reproduced image after reproducing the block using the fractal coefficient. And a fourth step.
이하, 첨부된 도면을 참조하여 본 발명에 따른 일실시예를 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described an embodiment according to the present invention;
제1도는 본 발명에 따른 동영상 압축 장치의 구성도로서, 11은 움직임 추정부, 12는 움직임 보상부, 13은 영역화부, 14는 영상 생성부, 15는 프랙탈 근사화부, 16은 프랙탈 재생부, 17은 영상 저장부, 18은 버퍼를 각각 나타낸다.1 is a block diagram of a video compression apparatus according to the present invention, 11 is a motion estimation unit, 12 is a motion compensator, 13 is a localization unit, 14 is an image generator, 15 is a fractal approximation unit, 16 is a fractal reproduction unit, 17 denotes an image storage unit, and 18 denotes a buffer.
그 구체적인 구성을 살펴보면, 움직임 추정부(Motion Estimation)(11)는 외부로 부터 현재 입력되는 입력 영상과 영상 저장부(17)에서 출력된 이전에 부호화된 영상 사이에서 움직임을 추정하여 움직임 벡터를 움직임 보상부(12)와 영상 생성부(14)로 출력한다. 이때, 움직임 추정은 16x16 블럭 단위로 이루어지며 탐색 영역은 수평과 수직 방향으로 각각 ±8 화소로 하고, 현재 입력되는 입력 영상의 블럭과 탐색 영역내 블럭들의 차이를 계산하여 가장 작은 오차를 갖는 블럭을 찾은 다음에 현재 입력되는 입력 영상의 블럭과 가장 작은 오차를 갖는 블럭과의 x좌표와 y좌표의 차이를 움직임 벡터로 한다.In detail, the motion estimator 11 estimates the motion between an input image currently input from the outside and a previously encoded image output from the image storage unit 17 to move the motion vector. Outputs to the compensator 12 and the image generating unit 14. At this time, the motion estimation is performed in units of 16x16 blocks, and the search area is ± 8 pixels in the horizontal and vertical directions, respectively, and the block having the smallest error is calculated by calculating the difference between the block of the input image and the blocks in the search area. After finding, the difference between the x coordinate and the y coordinate between the block of the input image currently input and the block having the smallest error is used as the motion vector.
움직임 보상부(Motion Compensation)(12)에서는 움직임 추정부(11)에서 구한 움직임 벡터와 영상 저장부(17)로 부터 출력되는 이전에 부호화된 영상을 입력받아 움직임을 추정하여 예측 영상을 영역화부(13)와 영상 생성부(14)로 출력한다.The motion compensator 12 receives a motion vector obtained from the motion estimator 11 and a previously encoded image output from the image storage unit 17, estimates the motion, and then estimates the motion. 13) and the image generator 14 to output.
영역화부(Segmentation)(13)에서는 상기 입력 영상과 움직임 보상부(12)에서 출력되는 움직임 보상된 예측 영상과의 차이 영상을 통하여 예측 오차를 계산한 후에 상기 예측 오차와 버퍼(18)로 부터 출력되는 임계치를 비교하여 각 블럭의 압축 모드를 결정하는 매스크를 설정하여 영상 생성부(14)로 출력한다. 이때, 임계치는 버퍼(18) 상태에 따라 조정된다.A segmentation unit 13 calculates a prediction error through a difference image between the input image and the motion compensated prediction image output from the motion compensator 12, and then outputs the prediction error from the buffer 18. By comparing the threshold values, a mask for determining the compression mode of each block is set and output to the image generator 14. At this time, the threshold is adjusted according to the buffer 18 state.
영상 생성부(Image Generation)(14)에서는 상기 입력 영상, 움직임 보상부(12)에서 출력되는 예측 영상 및 움직임 추정부(11)에서 출력되는 움직임 벡터를 입력받아 영역화부(13)에서 결정된 매스크에 따라 각 블럭의 압축 모드를 결정한다. 즉, 예측 오차가 정하여진 임계치보다 큰 상기 입력 영상의 블럭은 프랙탈 근사화부(15)에서 프랙탈 압축 방법에 의하여 압축되는 압축되는 모드를 갖게되고, 예측 오차가 임계치보다 작은 상기 입력 영상의 블럭(움직임이 없는 배경 부분)은 움직임 추정부(11)의 움직임 벡터에 따라 움직임 보상부(12)로 부터 출력되는 이전 프레임 영상인 예측 영상인 움직임 벡터 위치에 있는 블럭으로 대치하여 영상 저장부(17)로 출력하고, 이때, 움직임 벡터를 버퍼(18)를 통하여 외부로 전송한다.The image generation unit 14 receives the input image, the predicted image output from the motion compensator 12, and the motion vector output from the motion estimator 11, and inputs the mask to the mask determined by the localization unit 13. The compression mode of each block is determined accordingly. That is, the block of the input image having a larger prediction threshold than the predetermined threshold has a compressed mode that is compressed by the fractal compression method in the fractal approximation unit 15, and the block of the input image having the prediction error smaller than the threshold (movement). The background part without any) is replaced with a block located at a motion vector position that is a predicted image which is a previous frame image output from the motion compensator 12 according to the motion vector of the motion estimator 11, to the image storage unit 17. In this case, the motion vector is transmitted to the outside through the buffer 18.
프랙탈 근사화부(Fractal Approximation)(15)에서는 영상 생성부(14)로 부터 출력되는 상기 입력 영상의 블럭을 최소자승 프랙탈 근사화를 이용하여 압축한다. 본 발명에서는 각 레인지 블럭에 대하여 가장 작은 근사화 오차를 갖는 도메인 블럭을 찾는 탐색 과정에 많은 시간이 소요되는 문제점을 극복하기 위하여 먼로의 방식에서와 같이 압축하고자 하는 레인지 블럭의 상위 블럭을 적합한 도메인 블럭으로 가정한다. 또한, 한 영상안에서도 블럭마다 통계적 특성이 다르므로 동일한 크기의 블럭 단위로 압축하는 것은 비효율적이다. 따라서, 본 발명에서는 쿼드트리(quad-tree) 분할 방식[D. J. Vaisy and A. Gersho, Variable Block-size Image Coding, ICASSP, pp.1051-1054, 1987]에 의하여 각 블럭을 복잡도에 따라 세단계의 분할 과정을 거쳐 16x16, 8x8, 4x4 크기의 블럭으로 나누어 압축한다. 블럭 분할 후 각 하위 블럭에서는 블럭의 특성에 따라 아래와 같은 0차식 또는 1차식을 이용하여 블럭을 근사화한다.The fractal approximation unit 15 compresses the block of the input image output from the image generating unit 14 using least-squares fractal approximation. In the present invention, in order to overcome the problem that the time-consuming process of searching for a domain block having the smallest approximation error for each range block takes much time, the upper block of the range block to be compressed is replaced with a suitable domain block. Assume In addition, since the statistical characteristics are different for each block in one image, it is inefficient to compress them in blocks of the same size. Therefore, in the present invention, quad-tree partitioning scheme [D. According to J. Vaisy and A. Gersho, Variable Block-size Image Coding, ICASSP, pp.1051-1054, 1987], each block is divided into 16x16, 8x8, and 4x4 blocks by three steps according to the complexity. Compress. After subdivision, each lower block is approximated by using the 0 or 1 equation according to the characteristics of the block.
여기서, x, y는 각각 블럭의 x 좌표와 y 좌표를 의미하며, g(x,y)는 (x,y) 위치의 화소값을 나타낸다. 측도(metric)로는 제곱근 평균 자승 오차(root mean square error)를 사용하며, 위 식의 계수들은 주어진 측도에 대하여 최소 자승법에 의한 선형 연립 방정식을 풀어 구한다. 이렇게 하여 구한 프랙탈 계수들은 비트율 조정을 위하여 버퍼(18)를 통하여 외부의 채널로 전송되며, 또한 움직임 보상시 이전 프레임 영상을 재생하기 위하여 프랙탈 재생부(16)로 입력된다.Here, x and y represent x and y coordinates of the block, respectively, and g (x, y) represents a pixel value at the position (x, y). The root mean square error is used as a metric, and the coefficients of the above equation are obtained by solving a linear system of equations by the least square method for a given measure. Fractal coefficients obtained in this way are transmitted to an external channel through the buffer 18 for bit rate adjustment, and are also input to the fractal reproducing unit 16 to reproduce the previous frame image during motion compensation.
프랙탈 재생부(Fractal Reconstruction)(16)에서는 프랙탈 압축되는 블럭들에 대하여 프랙탈 근사화부(15)에서 구한 프랙탈 계수들을 이용하여 블럭을 재생하여 영상 재생부(17)로 출력한다.The fractal reconstruction 16 reproduces the block by using the fractal coefficients obtained by the fractal approximation unit 15 and outputs the blocks to the image reproducing unit 17 using the fractal coefficients obtained by the fractal approximation unit 15.
영상 저장부(Frame Store)(17)에서는 움직임 추정부(11)의 움직임 추정과 움직임 보상부(12)의 움직임 보상시 이전 프레임 영상으로 사용하기 위하여 재생된 영상을 저장한다. 상기 재생 영상은 각 블럭의 압축 모드에 따라 프랙탈근사화를 통하여 구한 프랙탈 계수를 사용하여 복원된 블럭과 움직임 보상을 이용하여 이전 프레임의 움직임 벡터 위치의 블럭으로 대치된 블럭으로 이루어진다.The frame store 17 stores the reproduced image for use as the previous frame image when the motion estimation unit 11 estimates the motion and compensates the motion of the motion compensator 12. The reproduced image is composed of a block reconstructed using a fractal coefficient obtained through fractal approximation according to the compression mode of each block and a block replaced with a block of a motion vector position of a previous frame using motion compensation.
제2도는 본 발명에 따른 동영상 압축 흐름도이다.2 is a video compression flowchart according to the present invention.
그 구체적인 동작을 살펴보면, 먼저 입력 영상을 입력받아(21) 16x16 크기의 블럭으로 분할한 후에 이전 영상과 비교하여 각 블럭 단위로 움직임 추정과 움직임 보상을 하여 예측 영상을 생성한다(22). 이때, 움직임 추정은 16x16 블럭 단위로 이루어지며 탐색 영역은 수평과 수직 방향으로 각각 ±8 화소로 하고, 현재 입력되는 입력 영상의 블럭과 탐색 영역내 블럭들의 차이를 계산하여 가장 작은 오차를 갖는 블럭을 찾은 다음에 현재 입력되는 입력 영상의 블럭과 가장 작은 오차를 갖는 블럭과의 x좌표와 y좌표의 차이를 움직임 벡터로 한다.Referring to the specific operation, first, the input image is received (21), divided into blocks of 16x16 size, and the prediction image is generated by performing motion estimation and motion compensation for each block unit by comparing with the previous image (22). At this time, the motion estimation is performed in units of 16x16 blocks, and the search area is ± 8 pixels in the horizontal and vertical directions, respectively, and the block having the smallest error is calculated by calculating the difference between the block of the input image and the blocks in the search area. After finding, the difference between the x coordinate and the y coordinate between the block of the input image currently input and the block having the smallest error is used as the motion vector.
이후, 상기 입력 영상과 예측 영상의 차이 영상을 통하여 예측 오차를 계산하고 미리 정하여진 임계치를 수신하여(23) 예측 오차와 임계치를 비교한다(24).Subsequently, a prediction error is calculated using the difference image between the input image and the prediction image, and a predetermined threshold value is received (23), and the prediction error is compared with the threshold value (24).
움직임 보상 후 예측 오차가 미리 정하여진 임계치보다 작은 블럭에서는 움직임 벡터만 외부로 전송하고 상기 입력 영상의 현재 블럭을 이전 프레임의 움직임 벡터 위치의 블럭으로 대치한 후에(25) 영상을 저장한다(28). 이러한 블럭은 대부분 움직임이 없는 배경 부분이므로 움직임 벡터만 전송해도 재생 영상의 화질에는 큰 영향을 주지 않는다.After the motion compensation, in a block whose prediction error is smaller than a predetermined threshold, only the motion vector is transmitted to the outside, and the image is stored after replacing the current block of the input image with the block of the motion vector position of the previous frame (25). . Since most of these blocks are background parts without motion, transmitting only a motion vector does not significantly affect the quality of the reproduced video.
움직임 보상 후 예측 오차가 임계치보다 큰 블럭에서는 상기 입력 영상을 프랙탈 압축하여 프랙탈 계수를 생성하여 외부로 전송한다(26). 이때, 본 발명에서는 쿼드트리(quad-tree) 분할 방식[D. J. Vaisy and A. Gersho, Variable Block-size Image Coding, ICASSP, pp.1051-1054, 1987]에 의하여 각 블럭을 복잡도에 따라 세단계의 분할 과정을 거쳐 16x16, 8x8, 4x4 크기의 블럭으로 나누어 압축한다. 블럭 분할 후 각 하위 블럭에서는 블럭의 특성에 따라 아래와 같은 0차식 또는 1차식을 이용하여 블럭을 근사화한다.After the motion compensation, in a block having a prediction error larger than a threshold, the input image is fractal compressed to generate a fractal coefficient and transmit it to the outside (26). In this case, in the present invention, a quad-tree splitting method [D. According to J. Vaisy and A. Gersho, Variable Block-size Image Coding, ICASSP, pp.1051-1054, 1987], each block is divided into 16x16, 8x8, and 4x4 blocks by three steps according to the complexity. Compress. After subdivision, each lower block is approximated by using the 0 or 1 equation according to the characteristics of the block.
여기서, x, y는 각각 블럭의 x 좌표와 y 좌표를 의미하며, g(x,y)는 (x,y) 위치의 화소값을 나타낸다. 측도(metric)로는 제곱근 평균 자승 오차(root mean square error)를 사용하며, 위 식의 계수들은 주어진 측도에 대하여 최소 자승법에 의한 선형 연립 방정식을 풀어 구한다. 이렇게 하여 구한 프랙탈 계수들은 비트율 조정을 위하여 버퍼를 통하여 외부의 채널로 전송된다.Here, x and y represent x and y coordinates of the block, respectively, and g (x, y) represents a pixel value at the position (x, y). The root mean square error is used as a metric, and the coefficients of the above equation are obtained by solving a linear system of equations by the least square method for a given measure. The fractal coefficients thus obtained are transmitted to an external channel through a buffer for bit rate adjustment.
이후, 상기 프랙탈 계수를 이용하여 블럭을 재생한 후에(27) 재생된 영상을 저장한다(28).Thereafter, after the block is reproduced using the fractal coefficients (27), the reproduced image is stored (28).
제3도는 프랙탈 압축되는 블럭 및 쿼드트리(quad-tree)방식에 의한 블럭도로서, 최대 상위 블럭의 크기가 16x16이고 최소 하위 블럭의 크기가 4x4 일 때의 쿼드트리 방식에 대한 블럭 분할을 나타낸다.FIG. 3 is a block diagram of a block and a quad-tree that are fractal-compressed and shows block division for a quadtree when a maximum upper block is 16x16 and a minimum lower block is 4x4.
여기서, 프랙탈 방법으로 압축되는 블럭은 움직임이 큰 얼굴 부분에 집중되는 것을 볼 수 있다.Here, the block compressed by the fractal method can be seen that the movement is concentrated on the large face part.
본 발명에 따른 실험에는 352x288 크기의 CIF(Common Intemediate Format) 영상 Miss America 100 프레임을 사용하였다. 프레임 레이트는 10Hz로 세 프레임마다 한 프레임(즉 1, 4, 7,...프레임)을 부호화하였다. 아래의 [표 1]은 64Kbps에서 본 발명에 따라 부호화했을 때의 결과를 나타낸다. 여기서, 움직임 보상 블럭은 움직임 보상 후 예측 오차가 정해진 임계치보다 작은 블럭으로 움직임 벡터만 전송된다. 이때, 임계치는 버퍼 상태에 따라 조정된다. 프랙탈 블럭은 예측 오차가 임계치보다 큰 블럭으로 입력 영상을 프랙탈 압축 방법으로 압축하여 전송한다.In the experiment according to the present invention, a 352x288 Common Intemediate Format (CIF) image of Miss America 100 frame was used. The frame rate is 10Hz, and one frame is encoded every three frames (that is, 1, 4, 7, ... frames). Table 1 below shows the results of encoding according to the present invention at 64 Kbps. Here, only the motion vector is transmitted to the motion compensation block in a block whose prediction error is smaller than a predetermined threshold after motion compensation. At this time, the threshold is adjusted according to the buffer state. The fractal block is a block whose prediction error is larger than the threshold, and the input image is compressed and transmitted using a fractal compression method.
제4도는 본 발명에 따른 실험 결과의 예시도로서, 64Kbps에서 압축했을 때의 Miss Amenica 원영상과 복원된 영상이다. 실험 결과에서 볼 수 있듯이 본 발명에 따른 압축 방식을 사용하여 낮은 비트율에서 만족할 만한 화질의 재생 영상을 얻을 수 있었다.4 is an exemplary view of the experimental results according to the present invention, which is a Miss Amenica original image and a reconstructed image when compressed at 64 Kbps. As can be seen from the experimental results, it was possible to obtain a satisfactory image quality at a low bit rate using the compression method according to the present invention.
상기와 같은 본 발명은 프랙탈과 움직임 보상을 사용하여 낮은 비트율에서 빠르고 간단하게 동영상을 압축하여 블럭 현상이 크게 줄어든 좋은 화질의 재생 영상을 얻을 수 있는 효과가 있다.As described above, the present invention has the effect of quickly and simply compressing a video at a low bit rate using fractals and motion compensation to obtain a high quality playback image with a large reduction in block phenomenon.
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950007036A KR0149938B1 (en) | 1995-03-30 | 1995-03-30 | Moving image compressing apparatus and method using fractal and motion compensation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019950007036A KR0149938B1 (en) | 1995-03-30 | 1995-03-30 | Moving image compressing apparatus and method using fractal and motion compensation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR960036722A KR960036722A (en) | 1996-10-28 |
| KR0149938B1 true KR0149938B1 (en) | 1999-05-01 |
Family
ID=19410908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019950007036A KR0149938B1 (en) | 1995-03-30 | 1995-03-30 | Moving image compressing apparatus and method using fractal and motion compensation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR0149938B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100449397B1 (en) * | 2001-11-13 | 2004-09-18 | 아이마스터 주식회사 | Apparatus to improve compression rate for digital motion images |
| KR100681833B1 (en) * | 2000-03-31 | 2007-02-12 | 삼성테크윈 주식회사 | Apparatus compressing data in the data recording system and method therefor |
| US7454072B2 (en) | 2000-03-09 | 2008-11-18 | Samsung Techwin Co., Ltd. | Image recording and compression based on sound detection and image change |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010058887A (en) * | 1999-12-30 | 2001-07-06 | 구자홍 | Apparatus for 3-d recursive motion vector estimation using the gradient of video signal |
-
1995
- 1995-03-30 KR KR1019950007036A patent/KR0149938B1/en active IP Right Grant
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7454072B2 (en) | 2000-03-09 | 2008-11-18 | Samsung Techwin Co., Ltd. | Image recording and compression based on sound detection and image change |
| KR100681833B1 (en) * | 2000-03-31 | 2007-02-12 | 삼성테크윈 주식회사 | Apparatus compressing data in the data recording system and method therefor |
| KR100449397B1 (en) * | 2001-11-13 | 2004-09-18 | 아이마스터 주식회사 | Apparatus to improve compression rate for digital motion images |
Also Published As
| Publication number | Publication date |
|---|---|
| KR960036722A (en) | 1996-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4849810A (en) | Hierarchial encoding method and apparatus for efficiently communicating image sequences | |
| KR100203710B1 (en) | Improved image coding system having functions for controlling generated amount of coded bit stream | |
| US4703350A (en) | Method and apparatus for efficiently communicating image sequences | |
| US4727422A (en) | Method and apparatus for efficiently communicating image sequence having improved motion compensation | |
| KR100242406B1 (en) | Method for motion estimation using trajectory in a digital video encoder | |
| JP2007523525A (en) | Video coding apparatus and method for predicting motion using rotational matching | |
| JP4417054B2 (en) | Motion estimation method and apparatus referring to discrete cosine transform coefficient | |
| JP3651706B2 (en) | Video encoding device | |
| KR0149938B1 (en) | Moving image compressing apparatus and method using fractal and motion compensation | |
| KR0157465B1 (en) | Quantization level decision method and device according to image characteristic | |
| KR100203709B1 (en) | Improved image coding system having functions for controlling generated amount of coded bit stream | |
| KR100203682B1 (en) | Improved image coding system having functions for controlling generated amount of coded bit stream | |
| JPH0646411A (en) | Picture coder | |
| JP3652889B2 (en) | Video encoding method, video encoding device, recording medium, and video communication system | |
| KR100203676B1 (en) | Improved image coding system having functions for controlling generated amount of coded bit stream | |
| KR0129579B1 (en) | Image encoder using a prefilter | |
| KR100203685B1 (en) | Improved image coding system having functions for controlling generated amount of coded bit stream | |
| KR100229791B1 (en) | Adaptive image coding system having functions for controlling bandpath of video signals | |
| KR100203659B1 (en) | Improved image coding system having functions for controlling generated amount of coded bit stream | |
| KR100207397B1 (en) | Method and apparatus for estimating motion of image in image encoder | |
| KR100203625B1 (en) | An improved image coding system having functions for controlling generated amount of coded bit stream | |
| KR100229792B1 (en) | Improved image coding system having functions for adaptively determining image coding mode | |
| KR100207388B1 (en) | Image encoder using adaptive vector quantization | |
| KR100203703B1 (en) | Improved image coding system having functions for controlling generated amount of coded bit stream | |
| KR100229793B1 (en) | Improved image coding system having functions for adaptively determining image coding mode |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130603 Year of fee payment: 16 |
|
| FPAY | Annual fee payment |
Payment date: 20140602 Year of fee payment: 17 |