KR20000037945A - Apparatus for efficiently tracing motion considering contour of image - Google Patents
Apparatus for efficiently tracing motion considering contour of image Download PDFInfo
- Publication number
- KR20000037945A KR20000037945A KR1019980052771A KR19980052771A KR20000037945A KR 20000037945 A KR20000037945 A KR 20000037945A KR 1019980052771 A KR1019980052771 A KR 1019980052771A KR 19980052771 A KR19980052771 A KR 19980052771A KR 20000037945 A KR20000037945 A KR 20000037945A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- contour
- motion
- motion estimation
- inputted
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
본 발명은 영상을 압축/부호화 하는 장치에 관한 것으로서, 특히 블록정합(block matching)을 통해 이전 영상으로 부터 현재 영상의 움직임을 추정하고, 추정된 움직임 추정값(motion vector)에 따라 영상을 부호화하도록 하는 영상 부호화 장치에 있어, 영상의 윤곽선을 고려한 움직임 추정장치에 관한 것이다.The present invention relates to an apparatus for compressing / encoding an image. In particular, the present invention relates to estimating a motion of a current image from a previous image through block matching and to encoding an image according to an estimated motion vector. In the video encoding apparatus, the present invention relates to a motion estimation apparatus considering the contour of an image.
일반적인 영상 부호화에 관한 국제 규격안인 H.261, H.263, MPEG1, MPEG2, MPEG4에서는 움직임 보상 및 이산여현 변환(DCT ; Discrete Cosine Transform)의 결합에 의해서 영상 신호를 압축한다.H.261, H.263, MPEG1, MPEG2, and MPEG4, which are international standards for general video encoding, compress video signals by combining motion compensation and Discrete Cosine Transform (DCT).
이와 같은 영상 부호화는 영상 시퀀스(sequence)에 존재하는 중복성을 다음의 두가지 과정을 통해서 제거하는 데,Such image encoding removes the redundancy in the image sequence through the following two processes.
그 첫번째 과정에서는 시간적으로 인접한 두 영상에서 블록정합(block matching)을 이용하여 움직임 벡터를 추정하고, 이를 이용하여 움직임 보상(motion compensation) 영상을 생성하고, 이를 이전 영상과 비교하여 두 영상간의 차영상을 구하여 시간적인 중복성을 제거한다.In the first process, a motion vector is estimated by using block matching in two adjacent temporal images, and a motion compensation image is generated by using the same, and the difference between the two images is compared with the previous image. To eliminate the temporal redundancy.
두번째 과정에서는 차영상을 DCT 변환하고 양자화(Quantization)를 실행하므로써, 공간적인 중복성을 제거한다.In the second process, spatial redundancy is eliminated by performing DCT conversion and quantization of the difference image.
여기서, 영상 부호화에 할당되는 비트율(bit rate)이 낮아질 수록 큰 간격으로 양자화를 해주어야 하므로, 차영상에 할당되는 비트량은 작아지게 되고, 따라서 움직임 추정 및 보상의 중요도는 커진다.In this case, as the bit rate allocated to the video encoding is lowered, quantization must be performed at a larger interval, so that the amount of bits allocated to the difference video becomes smaller, and therefore, the importance of motion estimation and compensation becomes larger.
특히, 초저비트율을 지향하는 H.263, MPEG4와 같은 영상 부호화에서는 효율적인 움직임 추정이 필요하게 된다.In particular, video coding such as H.263 and MPEG4, which are oriented to ultra low bit rates, requires efficient motion estimation.
도 1은 상기에서 설명한 바와 같은 일반적인 종래 영상 부호화 장치의 구성을 나타낸 블록도로서, 도 1을 참조하여 그 동작을 개략적으로 설명하면 다음과 같다.FIG. 1 is a block diagram illustrating a structure of a conventional conventional video encoding apparatus as described above. Referring to FIG. 1, the operation thereof will be described below.
필드 또는 프레임 단위로 원영상을 영상 메모리(1)에 저장하고, 메모리 영상과 재구성 영상의 차분신호를 얻기위한 감산기(2)와, 차분신호의 DCT변환을 수행하는 DCT변환부(3)를 가진다.A subtractor 2 for storing the original image in the field or frame unit in the image memory 1, obtaining a difference signal between the memory image and the reconstructed image, and a DCT converter 3 for performing DCT conversion of the difference signal. .
DCT변환된 결과치(DCT계수)를 양자화기(4)에서 양자화하고, 여기서 양자화된 신호를 역양자화기(5)에서 역양자화(Q-1)하여 IDCT변환부(6)를 통해 역DCT변환된 이미지를 구한다.The DCT transformed result (DCT coefficient) is quantized by the quantizer 4, and the quantized signal is inversely quantized by the inverse quantizer 5 (Q −1 ) and inversely DCT-converted through the IDCT converter 6. Get the image.
즉, 현재의 입력된 영상을 복원하게 되는 것이다.That is, the current input image is restored.
이 신호는 가산기(7)에서 움직임 보상된 신호와 가산되어 메모리(8)에 저장되고, 메모리(8)에 저장되어 있는 영상정보는 움직임추정부(9)에서 추정된 움직임 벡터(MV)에 따라 움직임보상부(10)에서 움직임 보상되어 다시 감산기(2) 및 가산기(7)로 전달되는 바,This signal is added to the motion-compensated signal in the adder 7 and stored in the memory 8, and the image information stored in the memory 8 is in accordance with the motion vector MV estimated by the motion estimation 9. The motion compensation in the motion compensation unit 10 is passed back to the subtractor (2) and the adder (7),
상기 움직임추정부(9)에서는 영상 메모리(1)로 부터 출력되는 다음 부호화하고자 하는 영상의 움직임을 예측하게 되는 데, 현재의 영상과 움직임 예측을 하고자 하는 영상과의 블록 매칭(block matching)을 하여 가장 잘 매칭이 이루어지는 움직임 벡터(MV)를 구하게 되고, 이와 같이 구하여진 움직임 벡터(MV)값에 따라서 움직임보상부(10)에서는 움직임보상된 즉, 재구성된 영상을 출력하게 된다.The motion estimation unit 9 predicts the motion of the next image to be encoded, which is output from the image memory 1, and performs block matching between the current image and the image to be predicted. The best matched motion vector MV is obtained, and the motion compensator 10 outputs a motion-compensated, reconstructed image according to the motion vector MV obtained as described above.
한편, 가변길이 코딩부(VLC; Variable Length Encoding)(11)는 양자화 제어된 최종 정보를 가변장부호화하고 움직임벡터 정보와 함께 버퍼(12)에 입력되어 비트스트림 데이타 형태로 디코더(복호화기)측으로 전송된다.On the other hand, the variable length coding unit (VLC) 11 performs variable length encoding on the quantized controlled final information and is input to the buffer 12 together with the motion vector information to the decoder (decoder) in the form of bitstream data. Is sent.
여기서, 비트율제어기(13)는 출력단 버퍼(타겟 메모리; target memory)(12)의 용량을 고려한 정보로부터 상기 양자화기(4)의 양자화율을 제어하게 된다.Here, the bit rate controller 13 controls the quantization rate of the quantizer 4 from information in consideration of the capacity of the output buffer (target memory) 12.
이와 같은 블록정합을 이용한 움직임 추정에서는 정합오차로써, SAD(Sum of Absolute Difference)가 주로 사용되고 있으며, 이를 최저로 하는 위치에서 움직임 벡터(MV)를 결정한다.In the motion estimation using block matching, a sum of absolute difference (SAD) is mainly used as a matching error, and a motion vector (MV) is determined at the lowest position.
그러나, 이는 영상에서 중요한 요소인 윤곽선에 대한 고려가 부족하다.However, this lacks consideration of the contour, which is an important factor in the image.
윤곽선을 포함하는 블록에서의 움직임 추정이 정확하지 않으면 차영상에서 고주파 성분이 많이 나타나게 되고, 이는 DCT 변환 및 양자화에서 부호화 효율의 감소를 유발하게 된다.If the motion estimation in the block including the contour is not accurate, many high frequency components appear in the difference image, which causes a reduction in coding efficiency in DCT transform and quantization.
또한, 복호(decoding)된 영상에서는 윤곽선 부근에서의 떨림 현상(ringing effect)이나 블록화 현상(blocking artifect)을 일으키는 요인이 된다.In addition, in a decoded image, it causes a ringing effect or a blocking artifect in the vicinity of an outline.
본 발명에서는 움직임을 추정함에 있어서, 움직임 벡터를 결정하는 인수로 윤곽선에 대한 정보를 정합오차(SAD)와 함께 고려함으로써, 효율적인 움직임 추정이 이루어질 수 있도록 한 것이다.In the present invention, in estimating motion, efficient motion estimation can be performed by considering information on the contour along with the matching error (SAD) as a factor for determining the motion vector.
도 1은 일반적인 영상 부호화 장치의 구성을 나타낸 블록도.1 is a block diagram showing a configuration of a general video encoding apparatus.
도 2는 본 발명이 적용된 영상 부호화 장치의 구성을 나타낸 블록도.2 is a block diagram showing a configuration of a video encoding apparatus to which the present invention is applied.
도 3a 움직임 추정에서 사용되는 현재 영상의 매크로 블록을 나타낸 도면.3A illustrates a macroblock of a current image used in motion estimation.
도 3b는 이전 영상의 탐색영역에 나타낸 도면.3B is a view showing a search region of a previous image.
도 4a는 본 발명에 있어서, 도 3a의 영상을 제 1윤곽선검출부에서 윤곽선 정보를 추출한 영상을 나타낸 도면.FIG. 4A is a view showing an image of contour information extracted from a first contour detection unit of the image of FIG. 3A according to the present invention; FIG.
도 4b는 본 발명에 있어서, 도 3b의 영상을 제 2윤곽선검출부에서 윤곽선 정보를 추출한 영상을 나타낸 도면.FIG. 4B is a view showing an image of contour information extracted from the second contour detection unit of the image of FIG. 3B according to the present invention; FIG.
본 발명 영상의 윤곽선을 고려한 움직임 추정장치는 구성은,In the motion estimation apparatus considering the contour of the image of the present invention,
블록 정합을 통해 움직임 추정을 하고, 움직임 추정을 통해 영상을 보상하는 영상 부호화 장치의 움직임 추정 장치에 있어서,A motion estimation apparatus of an image encoding apparatus for performing motion estimation through block matching and compensating an image through motion estimation,
입력되는 영상을 저장하는 영상 메모리 수단으로 부터 입력되는 현재 움직임을 예측하고자 하는 영상의 윤곽선을 검출하는 제 1의 윤곽선 검출수단과,First contour detection means for detecting an outline of an image for which a current motion to be input is predicted from an image memory means for storing the input image;
현재의 영상의 바로 이전 영상을 저장하는 영상 메모리 수단으로 부터 입력되는 이전 영상의 윤곽선을 검출하는 제 2의 윤곽선 검출수단을 더 포함하여 구성하여,And further comprising second contour detecting means for detecting the contour of the previous image inputted from the image memory means for storing the image immediately before the current image,
이전 영상과 현재 영상의 블록정합을 통해 정합오차를 탐색시 제 1의 윤곽선 검출수단 및 제 2의 윤곽선 검출수단으로 부터 입력된 이전 영상 및 현재 영상의 윤곽선 검출정보를 입력받아 탐색영역내에서 윤곽선이 검출된 영역(pixel)에서는 윤곽선이 검출된 영상에 가중치를 두어 정합오차를 구하여, 최소가 되는 정합오차를 탐색하여 움직임 벡터를 추정하도록 함을 특징으로 한다.When searching for a matching error through block matching between the previous image and the current image, contour detection information of the previous image and the current image inputted from the first contour detection means and the second contour detection means is inputted. In the detected pixel, a matching error is obtained by giving weight to the image of which the contour is detected, searching for a minimum matching error, and estimating a motion vector.
이와 같은 특징을 갖는 본 발명 영상의 윤곽선을 고려한 움직임 추정장치의 구성을 첨부된 도면 도 2를 참조하여 종래와 동일부분에 대하여서는 동일부호로 처리하고, 중복되는 설명은 생략하여 설명하면 다음과 같다.The configuration of the motion estimation apparatus considering the contour of the image of the present invention having such a feature will be described with the same reference numerals as in the prior art with reference to the accompanying drawings. .
영상 메모리부(1)로 부터 입력되는 현재 영상과 메모리(8)로 부터 입력되는 블록정합을 통해 최소가 되는 정합오차를 탐색하여 움직임 벡터(MV)를 추정하는 움직임 추정부(9')를 포함하는 영상 부호화 장치에 있어서,A motion estimation unit 9 'that searches for a minimum matching error by matching the current image input from the image memory unit 1 and block matching input from the memory 8 and estimates a motion vector (MV). In the video encoding apparatus,
영상 메모리부(1)로 부터 입력되는 현재 영상의 윤곽선을 검출하는 제 1윤곽선검출부(100)와, 메모리(8)로 부터 입력되는 이전 영상의 윤곽선을 검출하는 제 2윤곽선검출부(200)를 더 포함하여 구성하여,The first contour detector 100 detects the contour of the current image input from the image memory unit 1, and the second contour detector 200 detects the contour of the previous image input from the memory 8. Including including
움직임 추정부(9')에서 이전 영상과 현재 영상의 블록 정합을 통해 최소가 되는 정합오차를 탐색시 상기 제 1윤곽선검출부(100) 및 제 2윤곽선검출부(200)로 부터 입력되는 윤곽선 검출정보를 입력받아 윤곽선이 있는 영상에 가중치(α,β)를 주어 정합오차를 구하도록 함을 특징으로 한다.When the motion estimation unit 9 'searches for a minimum matching error through block matching between the previous image and the current image, contour detection information input from the first contour detection unit 100 and the second contour detection unit 200 is searched for. It is characterized in that the matching error is obtained by giving weights (α, β) to the contoured image.
이와 같은 구성의 특징을 갖는 본 발명 움직임 추정장치의 작용을 설명하면 다음과 같다.Referring to the operation of the motion estimation apparatus of the present invention having such a configuration as follows.
종래의 움직임 추정에 있어서의 16*16 블록 정합을 통해 정합오차를 탐색시 정합오차(SAD)는 다음의 수학식 1과 같이 나타낼 수 있다.In the case of searching for a matching error through 16 * 16 block matching in the conventional motion estimation, a matching error (SAD) may be expressed by Equation 1 below.
이때, 앞서 설명한 바와 같이, SAD만을 고려했을 때는 윤곽선과 일치하지 않는 블록이 가장 움직임을 잘 표현하는 최적정합 블록으로 결정되어 물체의 경계부분에서의 블록화 현상이 더욱 두드러지게 나타날 수 있다.In this case, as described above, when only the SAD is considered, the block that does not coincide with the contour may be determined as an optimal matching block that best expresses the movement, and thus the blocking at the boundary of the object may appear more prominently.
또한, 부분적인 조명의 밝기 변화가 있을 때에는 SAD 만으로는 정확한 움직임 추정을 할 수 없다.In addition, when there is a partial light brightness change, SAD alone cannot accurately estimate motion.
따라서, 본 발명에서는 SAD와 함께 윤곽선정보를 이용하게 되는 바,Therefore, in the present invention, the contour information is used together with the SAD,
제 1윤곽선검출부(100)와 제 2윤곽선검출부(200)를 구성하여 각각의 윤곽선검출부(100,200)에서 윤곽선을 검출하여, 그 윤곽선정보를 움직임 추정부(9')로 알려주게 된다.The first contour detection unit 100 and the second contour detection unit 200 are configured to detect the contour lines in each of the contour detection units 100 and 200, and the contour information is notified to the motion estimation unit 9 ′.
움직임 추정부(9')에서는 이와 같은 윤곽선정보를 입력받아 윤곽선이 검출된 부분의 영역(pixel)에서는 가중치(α,β)를 두어 SAD를 구하게 된다.The motion estimation unit 9 'receives such contour information and calculates SAD by giving weights α and β in the pixel of the portion where the contour is detected.
도 3a는 움직임 추정에서 사용되는 현재 영상의 매크로 블록을 나타낸 것이고, 도 3b는 이전 영상의 탐색영역에 나타낸 도면이고,3A illustrates a macroblock of a current image used in motion estimation, and FIG. 3B illustrates a search region of a previous image.
도 4a는 도 3a의 영상을 제 1윤곽선검출부(100)에서 윤곽선 정보를 추출한 영상이고, 도 4b는 도 3b의 영상을 제 2윤곽선검출부(200)에서 윤곽선 정보를 추출한 영상을 나타낸 것이다.4A is an image obtained by extracting contour information from the first contour detector 100 of the image of FIG. 3A, and FIG. 4B is an image extracted by contour information from the second contour detector 200 of the image of FIG. 3B.
즉, 움직임 추정부(9')에서는 움직임 오차의 척도로써, 윤곽선 정보를 고려한 SAD를 사용하게 되는 바, SAD를 구하게 될 때, 윤곽선에 위치하고 있으면, 가중치(α,β)를 곱하게 되는데, 이를 식으로 표현한 것이 다음의 수학식 2와 같다.That is, the motion estimation unit 9 'uses the SAD considering the contour information as a measure of the motion error. When the SAD is obtained, the motion estimation unit 9' multiplies the weights (α, β) if it is located on the contour. The expression is expressed by the following equation (2).
이와 같이, α,β는 해당화소
즉, 윤곽선에 위치할 경우 1보다 큰 값으로 가중치를 준다는 것을 의미하는 것이며, 현재 영상 화소
이상에서 설명한 바와 같이, 움직임을 추정함에 있어서, 예측에러(정합오차)를 구할때, 윤곽선의 정보를 이용하여 정합오차를 구하도록 하므로써, 더욱 정확한 움직임 추정이 가능하게 되는 것이다.As described above, in estimating the motion, when the prediction error (matching error) is obtained, the matching error is calculated using the information of the contour, so that more accurate motion estimation is possible.
Claims (2)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019980052771A KR20000037945A (en) | 1998-12-03 | 1998-12-03 | Apparatus for efficiently tracing motion considering contour of image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1019980052771A KR20000037945A (en) | 1998-12-03 | 1998-12-03 | Apparatus for efficiently tracing motion considering contour of image |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20000037945A true KR20000037945A (en) | 2000-07-05 |
Family
ID=19561153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1019980052771A KR20000037945A (en) | 1998-12-03 | 1998-12-03 | Apparatus for efficiently tracing motion considering contour of image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20000037945A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100464004B1 (en) * | 2002-01-30 | 2005-01-03 | 엘지전자 주식회사 | Quantization method for video using weight of interest region |
KR100684009B1 (en) * | 2005-09-28 | 2007-02-20 | 엘지전자 주식회사 | Compensation apparatus and method for motion in the mobile terminal |
US9674547B2 (en) | 2013-03-15 | 2017-06-06 | Samsung Electronics Co., Ltd. | Method of stabilizing video, post-processing circuit and video decoder including the same |
-
1998
- 1998-12-03 KR KR1019980052771A patent/KR20000037945A/en not_active Application Discontinuation
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100464004B1 (en) * | 2002-01-30 | 2005-01-03 | 엘지전자 주식회사 | Quantization method for video using weight of interest region |
KR100684009B1 (en) * | 2005-09-28 | 2007-02-20 | 엘지전자 주식회사 | Compensation apparatus and method for motion in the mobile terminal |
US9674547B2 (en) | 2013-03-15 | 2017-06-06 | Samsung Electronics Co., Ltd. | Method of stabilizing video, post-processing circuit and video decoder including the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100739281B1 (en) | Motion estimation method and appratus | |
US7444026B2 (en) | Image processing apparatus and method of motion vector detection in a moving picture, and recording medium used therewith | |
KR100378902B1 (en) | A method and an apparatus for processing pixel data and a computer readable medium | |
KR100619377B1 (en) | Motion estimation method and device | |
KR20030014716A (en) | Dynamic complexity prediction and regulation of mpeg2 decoding in a media processor | |
KR20130115186A (en) | Method of estimating motion vector using multiple motion vector predictors, apparatus, encoder, decoder and decoding method | |
JP2007523525A (en) | Video coding apparatus and method for predicting motion using rotational matching | |
KR20090095012A (en) | Method and apparatus for encoding and decoding image using consecutive motion estimation | |
JP2004336369A (en) | Moving image encoder, moving image decoder, moving image encoding method, moving image decoding method, moving image encoding program and moving image decoding program | |
KR100560843B1 (en) | Method and Apparatus for Determining Search Range for Adaptive Motion Vector for Use in Video Encoder | |
KR20050119422A (en) | Method and apparatus for estimating noise of input image based on motion compenstion and, method for eliminating noise of input image and for encoding video using noise estimation method, and recording medium for storing a program to implement the method | |
JP2007531345A (en) | Motion estimation using fast search block matching | |
KR20050089838A (en) | Video encoding with skipping motion estimation for selected macroblocks | |
JP4494803B2 (en) | Improved noise prediction method and apparatus based on motion compensation, and moving picture encoding method and apparatus using the same | |
US20080123733A1 (en) | Method and Apparatus for Selecting a Reference Frame for Motion Estimation in Video Encoding | |
US20070025438A1 (en) | Elastic storage | |
KR20030020466A (en) | Stochastic sampling based pel motion estimation method | |
KR100508975B1 (en) | Motion estimation method using multilevel successive elimination altorithm | |
KR20000037945A (en) | Apparatus for efficiently tracing motion considering contour of image | |
KR100613732B1 (en) | Image Compression System for Digital Video Surveillance and Method for controlling the Same | |
KR100295327B1 (en) | Motion Estimation System Using Adaptive Threshold | |
KR100635009B1 (en) | Mothod and apparatus for motion estimation considering total moving of image | |
JPH10191347A (en) | Motion detector, motion detecting method and storage medium | |
KR19990058255A (en) | Video compression method using 1/4 pixel motion vector. | |
KR100196827B1 (en) | Method for compressing motion vector in image encoder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application |