KR20010034374A - Device and method for detecting moving vector - Google Patents
Device and method for detecting moving vector Download PDFInfo
- Publication number
- KR20010034374A KR20010034374A KR1020007008125A KR20007008125A KR20010034374A KR 20010034374 A KR20010034374 A KR 20010034374A KR 1020007008125 A KR1020007008125 A KR 1020007008125A KR 20007008125 A KR20007008125 A KR 20007008125A KR 20010034374 A KR20010034374 A KR 20010034374A
- Authority
- KR
- South Korea
- Prior art keywords
- motion vector
- field
- detecting
- pseudo
- frame
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
Abstract
동화상의 움직임 보상 예측 부호화에서, 적은 연산량으로 고정밀도로 움직임 벡터를 검출하기 위한 장치 및 방법이 제공된다. 인터레이스 동화상에 있어서 프레임 움직임 벡터와 필드 움직임 벡터를 검출하여, 양자를 적응적으로 전환하여 움직임 보상을 행한다. 움직임 벡터를 검출할 때에, 서브샘플 필터(10)에서 원화상을 축소하여 벡터 검출기(14)에서 움직임 벡터를 검출한다. 그 후, 그 위치를 중심으로 하여 벡터 검출기(30)∼(38)에서 참 움직임 벡터 (프레임 및 필드)를 검출한다. 원화상 내에서 움직임 벡터를 검출할 때, 축소 화상 내에서의 탐색 범위를 포함하도록 탐색 범위를 확대하여 움직임 벡터를 검출한다. 탐색 범위를 확대함으로써 검출 정밀도를 향상할 수가 있다.In motion compensated predictive coding of moving images, an apparatus and method for detecting a motion vector with high precision with a small amount of computation are provided. In interlaced video, a frame motion vector and a field motion vector are detected, and both are adaptively switched to compensate for motion. When detecting the motion vector, the subsample filter 10 reduces the original image to detect the motion vector by the vector detector 14. Thereafter, true motion vectors (frames and fields) are detected by the vector detectors 30 to 38 around the position. When detecting the motion vector in the original image, the search range is expanded to include the search range in the reduced image to detect the motion vector. By expanding the search range, the detection accuracy can be improved.
Description
종래부터, 동화상을 압축 부호화하는 방법으로서 움직임 보상 예측 부호화가 있다. 이 방법은, 움직임 벡터 검출기에 의해 복수의 화소로 구성되는 블록 단위 (16 화소×16 화소)로 움직임 벡터를 검출하여, 화상 사이의 상관을 이용하여 화상 데이터의 부호량을 삭감하는 방법이다.Background Art Conventionally, motion compensation predictive encoding is a method of compressing and encoding a moving image. This method is a method of detecting a motion vector in block units (16 pixels x 16 pixels) composed of a plurality of pixels by a motion vector detector, and reducing the code amount of image data by using correlation between images.
일반적으로, 움직임 벡터로서는 시간적으로 인접하는 프레임 간 프레임 움직임 벡터가 이용되지만, 일반의 비디오 신호와 같이 1개의 프레임이 2개의 필드로 구성되는 인터레이스 신호가 대상이 되는 경우, 프레임 움직임 벡터 외에, 필드 단위로 움직임 벡터 (필드 움직임 벡터)를 검출하여, 프레임 움직임 벡터와 필드 움직임 벡터의 양자를 적응적으로 전환하여 움직임 보상을 행하고 있다.In general, inter-frame frame motion vectors that are adjacent in time are used as motion vectors. However, when an interlaced signal composed of two fields in one frame, such as a general video signal, is a target, a unit of fields other than the frame motion vector is used. The motion vector (field motion vector) is detected, and the motion compensation is performed by adaptively switching both the frame motion vector and the field motion vector.
프레임 움직임 벡터나 필드 움직임 벡터를 검출할 때에는, 상술한 바와 같이 16 화소×16 화소의 합계 256개의 화소를 1개의 단위 (매크로 블록)로 하여 움직임 벡터를 검출하지만, 화상 내의 모든 범위에 걸쳐 움직임 벡터를 탐색하는 것은 하드웨어 상의 제약으로 인해 곤란하고, 또한 처리에 장시간을 요하게 된다. 그래서, 종래부터, 원화상을 축소하여, 축소 화상 내에서 움직임 벡터를 검출하는 소위 계층형 움직임 벡터 검출법이 제안되고 있다. 이 계층형 움직임 벡터 검출 방법에서는, 원화상을 예를 들면 1/2로 축소하여 화상 데이터를 적게 하여, 이 축소 화상 내에서 움직임 벡터를 검출한다. 이 움직임 벡터는, 참 움직임 벡터를 검출할 때의 목표가 되는 것으로, 여기서는 의사 움직임 벡터로 칭한다. 그 후, 검출한 의사 움직임 벡터를 스케일링 (축소율이 1/2의 경우에는 검출된 의사 움직임 벡터의 x 좌표치 및 y 좌표치를 2배함)하고, 이 스케일링된 의사 움직임 벡터로 도시되는 위치를 중심으로 하여 그 근방 (±1 화소 정도)을 탐색하여, 참 움직임 벡터를 검출하는 것이다.When detecting a frame motion vector or a field motion vector, as described above, the motion vector is detected by using 256 pixels in total of 16 pixels x 16 pixels in one unit (macro block), but the motion vector is distributed over all ranges in the image. Searching is difficult due to hardware limitations and also requires a long time for processing. Thus, a so-called hierarchical motion vector detection method has been conventionally proposed in which an original image is reduced and a motion vector is detected in the reduced image. In this hierarchical motion vector detection method, an original image is reduced to, for example, 1/2 to reduce image data, and a motion vector is detected within this reduced image. This motion vector becomes a target when detecting a true motion vector, and is referred to herein as a pseudo motion vector. Then, the detected pseudo motion vector is scaled (when the reduction factor is 1/2, the x coordinate value and the y coordinate value of the detected pseudo motion vector are doubled), and centered on the position shown by the scaled pseudo motion vector. It searches for the neighborhood (about ± 1 pixel) and detects a true motion vector.
또, 이러한 계층형 움직임 벡터 검출에 대해서는, 예를 들면 특개평 7-107486호 공보나 특개평 8-98186호 공보에 개시되어 있다.Such hierarchical motion vector detection is disclosed in, for example, Japanese Patent Laid-Open Nos. 7-107486 and 8-98186.
그러나, 축소 화상 내에서 의사 움직임 벡터를 검출하고 (이하 이것을 편의상 제1 단계로 칭한다), 검출된 의사 움직임 벡터를 스케일링하여 원화상 내에서 참 움직임 벡터를 검출하는 (이하 이것을 제2 단계로 칭한다) 경우, 제2 단계에 있어서의 탐색 범위의 중심 위치는 제1 단계에서 검출된 의사 움직임 벡터를 축소율만 확대한 (즉, 축소율이 1/2의 경우에는 2배에 확대) 것이기 때문에, 가령 원화상 내에서 그 위치를 중심으로 하여 ±1 화소 정도를 탐색하였다고 해도, 정밀도가 높게 참 움직임 벡터를 검출할 수 없다는 문제가 있었다. 즉, 제1 단계에서 검출된 의사 움직임 벡터를 예를 들면 2배한 경우에는, 제2 단계에 있어서의 탐색의 중심 위치를 도시하는 벡터는 짝수 벡터 (짝수를 성분으로 하는 벡터) 밖에 존재하지 않게 되어, 이것은 단순히 원화상 내에서 2 화소씩 매크로 블록을 변이하여 움직임 벡터를 검출하는 처리에 등가이어서, 참 움직임 벡터를 고정밀도로 검출할 수 없다는 문제가 있었다.However, a pseudo motion vector is detected in the reduced image (hereinafter referred to as first step for convenience), and the detected pseudo motion vector is scaled to detect a true motion vector in the original image (hereinafter referred to as second step). In this case, since the center position of the search range in the second stage is an enlargement of the pseudo motion vector detected in the first stage by only the reduction ratio (that is, twice the magnification when the reduction ratio is 1/2), for example, Even if about ± 1 pixel was searched about the position in the inside, there was a problem that a true motion vector could not be detected with high precision. That is, when the pseudo motion vector detected in the first step is doubled, for example, the vector showing the center position of the search in the second step will exist only in even numbers (vectors with even components). This is equivalent to a process of simply detecting a motion vector by shifting a macroblock by 2 pixels in the original image, and there is a problem that a true motion vector cannot be detected with high precision.
특히, 제1 단계에 있어서 의사 움직임 벡터를 검출할 때에, 인접하는 2개의 의사 움직임 벡터 A, B의 평가치, 즉 예측 오차의 차이가 근소한 경우, 평가치로서는 A 쪽이 좋기 (예측 오차가 적기) 때문에 의사 움직임 벡터로서 채용하더라도, 참 움직임 벡터는 실제로는 B 근방에 존재하는 경우도 많다. 그런데, 종래 기술에서는 제2 단계에 있어서 의사 움직임 벡터 A의 근방 (의사 움직임 벡터로 도시되는 위치를 중심으로 하는 ±1 화소 또는 수 화소) 밖에 탐색하지 않기 때문에, B 근방에 있는 참 움직임 벡터를 검출할 수 없다는 문제가 있었다.In particular, when detecting a pseudo motion vector in the first step, when the evaluation values of two adjacent pseudo motion vectors A and B, that is, the difference in prediction error are small, A is better as the evaluation value (the prediction error is less. Even if it is adopted as a pseudo motion vector, the true motion vector is often present in the vicinity of B. By the way, since the conventional technique searches only the vicinity of the pseudo motion vector A (± 1 pixel or several pixels centered on the position shown by the pseudo motion vector) in the second step, the true motion vector near B is detected. There was a problem that can not.
본 발명은 움직임 벡터 검출 장치 및 방법, 특히 동화상 데이터를 예측 부호화할 때에 이용되는 움직임 벡터를 검출하기 위한 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for detecting motion vectors, and more particularly, to an apparatus and method for detecting a motion vector used when predicting and encoding moving image data.
도 1은 본 발명의 실시예의 회로의 구성도.1 is a block diagram of a circuit of an embodiment of the present invention.
도 2는 본 발명의 실시예에 있어서의 제1 단계와 제2 단계의 탐색 범위를 도시하는 설명도.2 is an explanatory diagram showing search ranges of a first step and a second step in the embodiment of the present invention;
도 3은, 본 발명의 실시예에 있어서의 프레임 움직임 벡터로부터 필드 움직임 벡터를 작성하는 처리를 도시하는 설명도.3 is an explanatory diagram showing a process of creating a field motion vector from a frame motion vector in the embodiment of the present invention;
본 발명은, 상기 종래 기술이 갖는 과제에 감안하여 이루어진 것으로, 그 목적은, 연산량을 증대시키지 않고, 고정밀도로 움직임 벡터를 검출하는 것이 가능하고, 이에 따라 고 정밀도의 움직임 보상을 실행할 수 있는 움직임 벡터 검출 장치 및 방법을 제공하는 것에 있다.This invention is made | formed in view of the subject which the said prior art has, The objective is the motion vector which can detect a motion vector with high precision, without increasing a computation amount, and can perform a high precision motion compensation by this, It is providing the detection apparatus and method.
상기 목적을 달성하기 위해서, 본 발명은, 원화상으로부터 움직임 벡터를 검출하는 움직임 벡터 검출 장치에서, 상기 원화상 보다 적은 화상 데이터를 갖는 화상으로부터 의사 움직임 벡터를 검출하는 제1 검출 수단과, 상기 제1 검출 수단에서 검출된 상기 의사 움직임 벡터로 결정되는 위치를 중심으로 하여, 상기 의사 움직임 벡터를 검출할 때에 탐색한 범위를 포함하는 범위를 상기 원화상 내에서 탐색함으로써 상기 움직임 벡터를 검출하는 제2 검출 수단을 갖는 것을 특징으로 한다. 탐색 범위를 중복 (오버랩)시키는 것으로, 확실하게 움직임 벡터를 검출할 수가 있다.In order to achieve the above object, the present invention provides a motion vector detecting apparatus for detecting a motion vector from an original image, comprising: first detecting means for detecting a pseudo motion vector from an image having less image data than the original image; A second detecting the motion vector by searching within the original image a range including a range searched when detecting the pseudo motion vector centered on the position determined by the pseudo motion vector detected by the first detecting means; It is characterized by having a detection means. By overlapping (overlapping) the search range, the motion vector can be detected reliably.
여기서, 원화상보다 적은 화상 데이터를 갖는 화상은 축소 화상인 것이 바람직하다. 또한, 축소 화상의 축소 비율을 1/N으로 한 경우, 상기 원화상 내에서 탐색하는 범위는, 상기 의사 움직임 벡터로 결정되는 위치를 중심으로 하는 적어도 ±N 화소인 것이 바람직하다. 적어도 ±N 화소로 하는 것으로, 중복하여 탐색할 수가 있다. 또, ±N 화소 이상의 탐색 범위로 하는 기술도 당연히 본 발명에 포함된다.Here, it is preferable that the image having less image data than the original image is a reduced image. When the reduction ratio of the reduced image is 1 / N, it is preferable that the range searched in the original image is at least ± N pixels centered on the position determined by the pseudo motion vector. By using at least ± N pixels, the search can be repeated. Moreover, of course, the technique which makes a search range more than +/- N pixel is also included in this invention.
또한, 본 발명은, 원화상으로부터 프레임 움직임 벡터 및 필드 움직임 벡터를 검출하는 움직임 벡터 검출 장치로서, 상기 원화상으로부터 프레임 움직임 벡터를 검출하는 검출 수단과, 상기 검출 수단으로 검출한 상기 프레임 움직임 벡터를 이용하여 상기 필드 움직임 벡터를 산출하는 연산 수단을 갖는 것을 특징으로 한다. 필드 움직임 벡터를 실제로 검출하는 것은 아니고, 검출한 프레임 움직임 벡터로부터 연산에 의해 산출함으로써, 실제로 검출하는 경우에 비교하여 연산량을 삭감할 수가 있다.Further, the present invention is a motion vector detecting apparatus for detecting a frame motion vector and a field motion vector from an original image, comprising: detecting means for detecting a frame motion vector from the original image, and the frame motion vector detected by the detecting means. And calculating means for calculating the field motion vector using the same. Instead of actually detecting the field motion vector, it is possible to calculate the calculation amount from the detected frame motion vector, thereby reducing the amount of computation compared with the case of actually detecting the field motion vector.
여기서, 상기 연산 수단은, 상기 필드 움직임 벡터 내의 짝수 패리티 벡터를 상기 프레임 움직임 벡터에 대하여 평행이라고 하고 산출함과 함께, 상기 필드 내 움직임 벡터 내의 홀수 패리티 벡터를 상기 프레임 움직임 벡터 및 필드 사이 거리에 기초하여 산출하는 것이 바람직하다.Here, the calculating means calculates an even parity vector in the field motion vector to be parallel to the frame motion vector, and calculates an odd parity vector in the motion vector in the field based on the distance between the frame motion vector and the field. It is preferable to calculate by.
또한, 본 발명은, 원화상으로부터 프레임 움직임 벡터 및 필드 움직임 벡터를 검출하는 움직임 벡터 검출 장치로서, 상기 원화상으로부터 필드 움직임 벡터를 검출하는 검출 수단과, 상기 검출 수단으로 검출한 상기 필드 움직임 벡터를 이용하여 상기 프레임 움직임 벡터를 산출하는 연산 수단을 갖는 것을 특징으로 한다. 프레임 움직임 벡터를 실제로 검출하는 것은 아니고, 검출한 필드 움직임 벡터로부터 연산에 의해 산출함으로써, 실제로 검출하는 경우에 비교하여 연산량을 삭감할 수가 있다.Further, the present invention is a motion vector detecting apparatus for detecting a frame motion vector and a field motion vector from an original image, comprising: detecting means for detecting a field motion vector from the original image, and the field motion vector detected by the detecting means; And calculating means for calculating the frame motion vector using the same. By not calculating the frame motion vector actually, but calculating it by calculation from the detected field motion vector, the amount of calculation can be reduced as compared with the case of actually detecting the frame motion vector.
또한, 본 발명은, 원화상으로부터 프레임 움직임 벡터 및 필드 움직임 벡터를 검출하는 움직임 벡터 검출 장치로서, 상기 원화상보다 적은 화상 데이터를 갖는 화상으로부터 의사 움직임 벡터로서 의사 프레임 움직임 벡터를 검출하는 제1 검출 수단과, 상기 의사 움직임 벡터로 결정되는 위치를 중심으로 하여 상기 의사 움직임 벡터를 검출할 때에 탐색한 범위를 포함하는 범위를 상기 원화상 내에서 탐색함으로써 상기 프레임 움직임 벡터를 검출하는 제2 검출 수단과, 상기 의사 움직임 벡터를 이용하여 상기 필드 움직임 벡터를 산출하는 연산 수단을 갖는 것을 특징으로 한다. 탐색 범위를 중복시키는 것으로 프레임 움직임 벡터 및 필드 움직임 벡터를 확실하게 검출할 수가 있음과 동시에, 필드 움직임 벡터를 의사 프레임 움직임 벡터로부터 산출함으로써 연산량의 저감을 도모할 수 있다.In addition, the present invention is a motion vector detecting apparatus for detecting a frame motion vector and a field motion vector from an original image, the first detection detecting a pseudo frame motion vector as a pseudo motion vector from an image having less image data than the original image. Means, and second detection means for detecting the frame motion vector by searching within the original image a range including a range searched when detecting the pseudo motion vector around the position determined by the pseudo motion vector; And calculating means for calculating the field motion vector using the pseudo motion vector. By overlapping the search range, the frame motion vector and the field motion vector can be detected reliably, and the computation amount can be reduced by calculating the field motion vector from the pseudo frame motion vector.
여기서, 상기 원화상 보다 적은 화상 데이터를 갖는 화상은 축소 화상인 것이 바람직하거, 상기 축소의 비율을 1/N으로 한 경우, 상기 원화상 내에서 탐색하는 범위는, 상기 의사 움직임 벡터로 결정되는 위치를 중심으로 하는 적어도 ±N 화소인 것이 바람직하다.Here, it is preferable that the image having less image data than the original image is a reduced image, or when the reduction ratio is 1 / N, the range searched within the original image is a position determined by the pseudo motion vector. It is preferably at least ± N pixels centered at.
또한, 본 발명은, 원화상으로부터 움직임 벡터를 검출하는 방법이고, 원화상 보다 적은 화상 데이터를 갖는 화상으로부터 의사 움직임 벡터를 검출하는 제1 단계와, 상기 제1 단계에서 검출된 의사 움직임 벡터에 기초하여 원화상으로부터 움직임 벡터를 검출하는 제2 단계를 포함하고, 상기 제2 단계에서는 상기 의사 움직임 벡터로 결정되는 위치를 중심으로 하여, 상기 제1 단계에서 탐색한 범위를 포함하는 범위를 탐색 범위로서 상기 움직임 벡터를 검출하는 것을 특징으로 한다.In addition, the present invention is a method for detecting a motion vector from an original image, and based on a first step of detecting a pseudo motion vector from an image having less image data than the original image, and based on the pseudo motion vector detected in the first step. And a second step of detecting a motion vector from the original image, wherein the second step includes a range including the range searched in the first step, centering on the position determined as the pseudo motion vector. The motion vector is detected.
여기서, 상기 제1 단계에 있어서의 상기 원화상보다 적은 화상 데이터를 갖는 화상은 축소 화상인 것이 바람직하고, 상기 축소의 비율을 1/N으로 한 경우, 상기 제2 단계에서는 상기 의사 움직임 벡터로 결정되는 위치를 중심으로 하는 적어도 ±N 화소의 범위를 탐색하는 것이 바람직하다.Here, it is preferable that the image having less image data than the original image in the first step is a reduced image. When the reduction ratio is 1 / N, the second step determines the pseudo motion vector. It is desirable to search for a range of at least ± N pixels centered on the position.
또한, 본 발명은, 원화상으로부터 프레임 움직임 벡터 및 필드 움직임 벡터를 검출하는 움직임 벡터 검출 방법으로서, 상기 원화상으로부터 상기 프레임 움직임 벡터를 검출하는 검출 단계와, 검출된 상기 프레임 움직임 벡터를 이용하여 상기 필드 움직임 벡터를 산출하는 산출 단계를 갖는 것을 특징으로 한다. 여기서, 상기 산출 단계에서는, 상기 필드 움직임 벡터 내의 짝수 패리티 벡터를 상기 프레임 움직임 벡터에 대하여 평행으로 산출하고, 상기 필드 움직임 벡터 내의 홀수 패리티 벡터를 상기 프레임 움직임 벡터 및 필드 사이 거리에 기초하여 산출하는 것이 바람직하다.In addition, the present invention is a motion vector detection method for detecting a frame motion vector and a field motion vector from an original image, comprising: a detecting step of detecting the frame motion vector from the original image and using the detected frame motion vector; And a calculating step of calculating a field motion vector. In the calculating step, calculating an even parity vector in the field motion vector in parallel with the frame motion vector and calculating an odd parity vector in the field motion vector based on the distance between the frame motion vector and the field. desirable.
또한, 본 발명은, 원화상으로부터 프레임 움직임 벡터 및 필드 움직임 벡터를 검출하는 움직임 벡터 검출 방법으로, 상기 원화상으로부터 상기 필드 움직임 벡터를 검출하는 검출 단계와, 검출된 상기 필드 움직임 벡터를 이용하여 상기 프레임 움직임 벡터를 산출하는 산출 단계를 포함하는 것을 특징으로 한다.In addition, the present invention is a motion vector detection method for detecting a frame motion vector and a field motion vector from an original image, the detecting step of detecting the field motion vector from the original image and using the detected field motion vector. And calculating a frame motion vector.
또한, 본 발명은, 원화상으로부터 프레임 움직임 벡터와 필드 움직임 벡터를 검출하는 움직임 벡터 검출 방법으로, 원화상보다 적은 화상 데이터를 갖는 화상으로부터 의사 움직임 벡터를 검출하는 제1 단계와, 검출된 의사 움직임 벡터에 기초하여 상기 프레임 움직임 벡터와 상기 필드 움직임 벡터를 검출하는 제2 단계를 지니고, 상기 제1 단계에서는 상기 의사 움직임 벡터로서 의사 프레임 움직임 벡터를 검출하고, 상기 제2 단계에서는 상기 의사 움직임 벡터로 결정되는 위치를 중심으로 하여, 상기 제1 단계에서 탐색한 범위를 포함하는 범위를 탐색함으로써 상기 프레임 움직임 벡터를 검출함과 함께, 상기 의사 움직임 벡터를 이용하여 상기 필드 움직임 벡터를 산출하는 것을 특징으로 한다.In addition, the present invention is a motion vector detection method for detecting a frame motion vector and a field motion vector from an original image, comprising: a first step of detecting a pseudo motion vector from an image having less image data than the original image; And a second step of detecting the frame motion vector and the field motion vector based on a vector, wherein in the first step a pseudo frame motion vector is detected as the pseudo motion vector, and in the second step, the pseudo motion vector is detected. Based on the determined position, the frame motion vector is detected by searching for a range including the range searched in the first step, and the field motion vector is calculated using the pseudo motion vector. do.
여기서, 상기 원화상보다 적은 화상 데이터를 갖는 화상을 비율 1/N의 축소 화상으로 한 경우, 상기 제2 단계에 있어서의 탐색 범위를 상기 의사 움직임 벡터로 결정되는 위치를 중심으로 하는 적어도 ±N 화소로 하는 것이 바람직하다. 또한, 상기 제2 단계에서는 상기 필드 움직임 벡터 내의 짝수 패리티 벡터를 상기 프레임 움직임 벡터에 대하여 평행이라고 산출하고, 상기 필드 움직임 벡터 내의 홀수 패리티 벡터를 상기 프레임 움직임 벡터 및 필드 사이 거리에 기초하여 산출하는 것이 바람직하다.Here, when an image having less image data than the original image is a reduced image having a ratio of 1 / N, at least ± N pixels centering on the position determined by the pseudo motion vector in the search range in the second step. It is preferable to set it as. In the second step, the even parity vector in the field motion vector is calculated to be parallel to the frame motion vector, and the odd parity vector in the field motion vector is calculated based on the distance between the frame motion vector and the field. desirable.
이하, 도면에 기초하여 본 발명의 실시의 형태에 관해서 설명한다.EMBODIMENT OF THE INVENTION Hereinafter, embodiment of this invention is described based on drawing.
도 1에는, 본 실시예의 구성 블록도가 도시되고 있다. 또, 이 구성 블록도는 종래의 계층형 움직임 벡터 검출에 대응하는 것으로, 계층 구조를 이용하여 프레임 움직임 벡터와 필드 움직임 벡터를 검출하여, 양자를 적응적으로 전환하여 움직임 보상을 행하는 프레임/필드 적응형 움직임 보상 검출기이다.1 shows a block diagram of the present embodiment. In addition, this configuration block diagram corresponds to conventional hierarchical motion vector detection, and uses a hierarchical structure to detect a frame motion vector and a field motion vector, and adaptively switches both to perform frame / field adaptation. Type motion compensation detector.
서브샘플 필터(10)는, 입력 화상을 1/4의 축소 화상으로 변환하는 것으로, 입력 화상의 x 방향 및 y 방향 각각을 1/4로 축소한다. 서브샘플 필터(10)로 축소된 화상 데이터는, 프레임 메모리(12)에 공급됨과 동시에, 벡터 검출기(14)에 공급된다.The subsample filter 10 converts the input image into a 1/4 reduced image, and reduces each of the x and y directions of the input image to 1/4. The image data reduced by the subsample filter 10 is supplied to the frame memory 12 and to the vector detector 14.
프레임 메모리(12)는 축소 화상을 참조 화상으로서 저장한다. 저장된 축소 화상 데이터는, 적절한 타이밍에서 순차 벡터 검출기(14)에 공급된다.The frame memory 12 stores the reduced picture as a reference picture. The stored reduced image data is supplied to the vector detector 14 sequentially at an appropriate timing.
벡터 검출기(14)는 제1 단계에 있어서의 의사 움직임 벡터를 검출하는 회로로서, 본 실시예에서는 의사 프레임 움직임 벡터를 검출한다. 구체적으로는, 참조 매크로 블록 판독 회로(14a)에서 프레임 메모리(12)에 저장되어 있는 참조 화상 (축소 화상)을 4 화소×4 화소의 축소 매크로 블록 단위로 판독하고, 또한 처리 매크로 블록 생성 회로(14d)에서 서브샘플 필터(10)로부터 출력된 처리 화상으로부터 축소 매크로 블록을 추출하여, 양 매크로 블록을 AE 계산기(14c)에 공급한다. 또, 의사 움직임 벡터를 검출할 때의 단위인 매크로 블록을 16 화소 ×16 화소가 아니고 4 화소 ×4 화소로 한 것은, 원화상을 1/4로 축소하고 있기 때문에, 매크로 블록도 이것에 대응시켜 1/4로 축소한 것이다. 또한, 참조 매크로 블록을 판독할 때는, 벡터 생성기(14b)에서 (0, 0)를 중심으로 하는 검색 범위를 설정하여 순차 벡터를 생성하여, 그 벡터로 지정되는 매크로 블록을 판독하여 간다.The vector detector 14 is a circuit for detecting the pseudo motion vector in the first step, and detects the pseudo frame motion vector in this embodiment. Specifically, the reference macro block reading circuit 14a reads the reference image (reduced image) stored in the frame memory 12 in units of reduced macroblocks of 4 pixels x 4 pixels, and further processes macroblock generating circuits ( In 14d), the reduced macroblock is extracted from the processed image output from the subsample filter 10, and both macroblocks are supplied to the AE calculator 14c. In addition, if the macroblock, which is the unit for detecting the pseudo motion vector, is 4 pixels x 4 pixels instead of 16 pixels x 16 pixels, the original image is reduced to 1/4, the macro block also corresponds to this. It is reduced to 1/4. When reading the reference macroblock, the vector generator 14b sets a search range centering on (0, 0) to generate a sequential vector, and then reads the macroblock designated by the vector.
AE 계산기(14c)에서는, 참조 매크로 블록과 처리 매크로 블록 (부호화 대상 매크로 블록)의 오차를 산출한다. 구체적으로는, 참조 매크로 블록의 각 화소를 Aij, 처리 매크로 블록의 각 화소를 Xij로 하면, 평가치 (예측 오차)=Σ│Xij-Aij│로 산출된다. 산출된 평가치 (예측 오차)는, 최소치 비교기(14e)에 공급된다.The AE calculator 14c calculates an error between the reference macro block and the processing macro block (encoding target macro block). Specifically, when each pixel of the reference macroblock is Aij and each pixel of the processing macroblock is Xij, the evaluation value (prediction error) = Σ | Xij-Aij | is calculated. The calculated evaluation value (prediction error) is supplied to the minimum value comparator 14e.
최소치 비교기(14e), 벡터 생성기(14b)에서 생성된 벡터마다 산출된 평가치를 상호 비교하여, 가장 작은 평가치를 선택한다. 또한, 이 때의 벡터가 의사 움직임 벡터 (의사 프레임 움직임 벡터 MV)로서 검출된다. 검출된 의사 움직임 벡터는, 벡터 확대기(28)에 공급된다.The smallest evaluation value is selected by comparing each evaluation value calculated for each vector generated by the minimum comparator 14e and the vector generator 14b. In addition, the vector at this time is detected as a pseudo motion vector (pseudo frame motion vector MV). The detected pseudo motion vector is supplied to the vector expander 28.
벡터 확대기(28)는, 입력된 의사 움직임 벡터를 스케일링하는 것으로, 구체적으로는 x 성분 및 y 성분을 함께 축소율만큼 확대한다. 본 실시예에서는, 서브샘플 필터(10)로 원화상을 1/4로 축소하고 있기 때문에, 여기서는 의사 움직임 벡터를 4배로 확대한다.The vector enlarger 28 scales the input pseudo motion vector, and specifically expands the x component and the y component by the reduction ratio. In the present embodiment, since the original image is reduced to 1/4 by the subsample filter 10, the pseudo motion vector is enlarged four times.
한편, 프레임 메모리(16), 필드 메모리(18), 필드 메모리(20)가 설치되고, 각각 입력 화상 (원화상)을 프레임 단위 및 필드 단위로 저장한다. 또, 필드 메모리(18)에는 홀수 필드 데이터가 저장되고, 필드 메모리(20)에는 짝수 필드 데이터가 저장된다. 이것들의 메모리는, 제2 단계에 있어서의 참 프레임 움직임 벡터 및 참 필드 움직임 벡터를 검출하기 위한 참조 프레임, 혹은 참조 필드로서 이용된다. 즉, 프레임 메모리(16)에 저장된 프레임 화상 데이터는 벡터 검출기(30)에 공급되어 참조 프레임으로서 이용되고, 필드 메모리(18)에 저장된 홀수 필드 화상 데이터는 벡터 검출기(32)에 공급되어 참조 필드로서 이용되고, 필드 메모리(20)에 저장된 짝수 필드 화상 데이터는 벡터 검출기(34)에 공급되어 참조 필드로서 이용된다.On the other hand, the frame memory 16, the field memory 18, and the field memory 20 are provided, and store the input image (original image) in frame units and field units, respectively. In addition, odd field data is stored in the field memory 18, and even field data is stored in the field memory 20. These memories are used as reference frames or reference fields for detecting true frame motion vectors and true field motion vectors in the second step. That is, the frame image data stored in the frame memory 16 is supplied to the vector detector 30 to be used as a reference frame, and the odd field image data stored in the field memory 18 is supplied to the vector detector 32 to serve as a reference field. Even field image data stored in the field memory 20 is supplied to the vector detector 34 and used as a reference field.
벡터 검출기(30)는 참 프레임 움직임 벡터를 검출하기 위한 것으로, 프레임 메모리(16)로부터의 참조 프레임, 지연기(22)로 지연된 입력 화상 (처리 대상 원화상), 및 벡터 확대기(28)로 4배로 확대된 의사 움직임 벡터 (의사 프레임 움직임 벡터)를 입력하여 프레임 움직임 벡터를 검출한다. 또, 프레임 움직임 벡터를 검출할 때의 처리 단위는 통상의 매크로 블록 단위 (16 화소×16 화소)이고, 또한 지연기(22)로 지연시키는 것은 제1 단계 후에 제2 단계를 실행하기 위해서, 즉 벡터 검출기(14)로 의사 움직임 벡터를 검출한 후에 벡터 검출기(30)로 프레임 움직임 벡터를 검출하기 위해서이다. 프레임 움직임 벡터를 검출할 때의 탐색 범위에 대해서는 후술한다.The vector detector 30 is for detecting the true frame motion vector, and the reference frame from the frame memory 16, the input image delayed by the delay unit 22 (the original image to be processed), and the vector expander 28 are used as four. A frame motion vector is detected by inputting a pseudo motion vector (pseudo frame motion vector) enlarged to a double. Incidentally, the processing unit at the time of detecting the frame motion vector is a normal macroblock unit (16 pixels x 16 pixels), and the delaying with the retarder 22 is for executing the second step after the first step, that is, This is for detecting the frame motion vector with the vector detector 30 after detecting the pseudo motion vector with the vector detector 14. The search range when detecting the frame motion vector will be described later.
벡터 검출기(32)는, 참 필드 움직임 벡터 (4개의 필드 움직임 벡터의 안의 짝수 패리티 벡터를 검출하기 위한 것으로, 필드 메모리(18)로부터의 참조 홀수 필드, 지연기(24)에서 지연된 입력 홀수 필드 (원화상 홀수 필드), 및 벡터 확대기(28)에서 확대된 의사 움직임 벡터를 입력하여 필드 움직임 벡터를 검출한다. 또, 처리하는 블록은, 필드 단위이기 때문에 16 화소× 8 화소이다.The vector detector 32 is a true field motion vector (for detecting even parity vectors in four field motion vectors, which is a reference odd field from the field memory 18 and an input odd field delayed by the delay unit 24). The field motion vector is detected by inputting the original image odd field) and the enlarged pseudo motion vector in the vector expander 28. The block to be processed is 16 pixels x 8 pixels because it is a field unit.
벡터 검출기(34)는, 참 필드 움직임 벡터 (4개의 필드 움직임 벡터의 안의 홀수 패리티 벡터)를 검출하기 위한 것으로, 필드 메모리(20)로부터의 참조 짝수 필드, 지연기(24)로 지연된 입력 홀수 필드, 및 벡터 확대기(28)로 확대되고, 또한 1/2배된 의사 움직임 벡터를 입력하여 필드 움직임 벡터를 검출한다. 의사 움직임 벡터를 1/2배 하는 것은, 참조 짝수 필드와 입력 (처리 대상) 홀수 필드의 필드 간 거리를 고려한 것으로, 세부 사항에 대해서는 후술한다.The vector detector 34 is for detecting a true field motion vector (odd parity vector in four field motion vectors), the reference even field from the field memory 20, and the input odd field delayed by the delay unit 24. And a pseudo motion vector, which is enlarged by the vector expander 28 and also halved, is input to detect the field motion vector. The doubling of the pseudo motion vector takes into account the distance between the fields of the reference even field and the input (processing) odd field. Details will be described later.
벡터 검출기(36)는, 참 필드 움직임 벡터 (4개의 필드 움직임 벡터 내의 다른 홀수 패리티 벡터)를 검출하기 위한 것으로, 필드 메모리(20)로부터의 참조 짝수 필드, 지연기(26)에서 지연된 입력 짝수 필드, 및 벡터 확대기(28)에서 확대되고 3/2배된 의사 움직임 벡터를 입력하여 필드 움직임 벡터를 검출한다. 의사 움직임 벡터를 3/2배하는 것은, 참조 홀수 필드와 입력 (처리 대상) 짝수 필드의 필드 간 거리를 고려한 것이다.The vector detector 36 is for detecting a true field motion vector (another odd parity vector in the four field motion vectors), the reference even field from the field memory 20, and the input even field delayed in the delay 26. And a pseudo motion vector magnified 3/2 times in the vector expander 28 to detect a field motion vector. 3/2 times the pseudo motion vector takes into account the distance between the fields of the reference odd field and the input (processing) even field.
벡터 검출기(38)는, 참 필드 움직임 벡터 (4개의 필드 움직임 벡터 내의 다른 짝수 패리티 벡터)를 검출하기 위한 것으로, 필드 메모리(20)로부터의 참조 짝수 필드, 지연기(26)에서 지연된 입력 짝수 필드, 및 벡터 확대기(28)에서 확대된 의사 움직임 벡터를 입력하여 필드 움직임 벡터를 검출한다.The vector detector 38 is for detecting a true field motion vector (another even parity vector in the four field motion vectors), the reference even field from the field memory 20, the input even field delayed in the delay 26. And a pseudo motion vector magnified by the vector expander 28 to detect a field motion vector.
또, 도면 중 부호 50으로 도시되는 회로 구성이 제1 단계를 실행하는 회로이고, 부호 60으로 도시되는 회로 구성이 제2 단계를 실행하는 회로이다.In addition, the circuit structure shown by the code | symbol 50 is a circuit which performs a 1st step, and the circuit structure shown by the code | symbol 60 is a circuit which performs a 2nd step.
본 실시예의 움직임 벡터 검출 장치는 이러한 구성을 갖고 있고, 종래에서는 원화상을 예를 들면 1/2로 축소하여, 이 축소 화상 내에서 프레임 움직임 벡터 (의사 프레임 움직임 벡터)와 필드 움직임 벡터 (의사 필드 움직임 벡터)를 검출하여, 이들의 의사 움직임 벡터를 스케일링하여 원화상 내에서 ±1 화소 정도의 범위를 탐색 범위로 하여 참 프레임 움직임 벡터와 참 필드 움직임 벡터를 검출했었지만, 본 실시예에 있어서는, 이하의 2개의 처리를 이용하여 참 프레임 움직임 벡터와 참 필드 움직임 벡터를 검출하고 있다. 즉,The motion vector detection apparatus of the present embodiment has such a configuration, and conventionally, the original image is reduced to, for example, 1/2, and a frame motion vector (pseudo frame motion vector) and a field motion vector (pseudo field) are reduced in this reduced image. Motion vectors) were detected, and the pseudo motion vectors were scaled to detect a true frame motion vector and a true field motion vector with a range of about 1 pixel in the original image as the search range. The two processes of to detect the true frame motion vector and the true field motion vector. In other words,
(1) 제1 단계에 있어서 원화상을 종래 이상으로 축소 (예를 들면 1/4에 축소)하고, 제2 단계에 있어서 탐색 범위를 종래 이상으로 확대하여 ±16 화소로 하여 제1 단계에서 이미 탐색 종료된 범위도 포함하는 범위를 탐색함으로써 움직임 벡터를 검출한다.(1) In the first step, the original image is reduced to the conventional one or more (e.g., reduced to 1/4), and in the second step, the search range is enlarged to more than the conventional one to be ± 16 pixels. The motion vector is detected by searching a range that also includes the search-ended range.
(2) 제1 단계에 있어서 종래와 같이 축소 화상으로부터 의사 프레임 움직임 벡터 및 의사 필드 움직임 벡터를 검출하는 것은 아니고, 제1 단계에 있어서는 의사 프레임 움직임 벡터만을 검출하고 (의사 필드 움직임 벡터는 검출하지 않음), 제2 단계에 있어서 검출한 의사 프레임 움직임 벡터로부터 참 프레임 움직임 벡터 및 참 필드 움직임 벡터를 검출한다.(2) In the first step, the pseudo frame motion vector and the pseudo field motion vector are not detected from the reduced image as in the prior art. In the first step, only the pseudo frame motion vector is detected (the pseudo field motion vector is not detected). ), The true frame motion vector and the true field motion vector are detected from the pseudo frame motion vector detected in the second step.
이와 같이, 본 실시예로서는 제2 단계의 탐색 범위를 확대하여 제1 단계로써 의사 움직임 벡터를 검출했을 때의 범위도 재차 탐색하는 (즉, 제1 단계와 제2 단계의 탐색 범위를 오버랩시키는) 것으로, 참 움직임 벡터 검출 정밀도를 향상시킬 수 있다. 또한, 제1 단계로써 의사 프레임 움직임 벡터만을 검출하고, 이 의사 프레임 움직임 벡터로부터 참 프레임 움직임 벡터 및 참 필드 움직임 벡터를 검출함으로써, 제1 단계로써 의사 프레임 움직임 벡터와 의사 필드 움직임 벡터를 함께 검출하는 경우에 비교하여 연산량을 삭감할 수가 있고, 또한, 단순히 프레임 움직임 벡터만으로 움직임 보상을 행하는 경우에 비교하여 고 정밀도의 움직임 보상을 행하는 것이 가능해진다.As described above, in this embodiment, the search range of the second step is expanded, and the range when the pseudo motion vector is detected as the first step is also searched again (that is, overlapping the search range of the first step and the second step). Therefore, the true motion vector detection accuracy can be improved. In addition, only the pseudo frame motion vector is detected as the first step, and the pseudo frame motion vector and the pseudo field motion vector are detected together as the first step by detecting the true frame motion vector and the true field motion vector from the pseudo frame motion vector. Compared to the case, the amount of calculation can be reduced, and it is possible to perform motion compensation with high precision as compared with the case where motion compensation is performed only by the frame motion vector alone.
이하, 본 실시예에 있어서의 특징인 이들 2개의 처리에 관해서, 상세히 설명한다.Hereinafter, these two processes which are the characteristic in this Example are demonstrated in detail.
도 2에는, 제1 단계에 있어서의 움직임 벡터 탐색 범위와 제2 단계에 있어서의 움직임 벡터 탐색 범위의 관계가 도시되고 있다. 도면에 있어서, x 표시는 화소를 도시하고 있고, 원화상에 있어서의 화소이다. 또한, A, B, C, ···, O는, 원 화상을 1/4로 축소한 경우에 제1 단계에서 탐색되는 화소 (즉, 4개 걸른 화소)이다. 1/4의 축소 화상으로 의사 움직임 벡터를 검출한 결과, 도면 중 A가 의사 움직임 벡터가 도시하는 위치로 한다. 이 때, 제2 단계에서는, 원화상에 있어서 A 위치를 중심으로 하여 참 움직임 벡터를 탐색하지만, 종래 기술에 있어서는 상술한 바와 같이 A의 위치를 중심으로 하여 ±1 화소 또는 많아야 ±2, ±3 화소를 탐색하고 있는 것에 불과하다. A의 위치를 중심으로 하여 ±3 화소를 탐색 범위로 한 경우가 도면 중 파선으로 도시되고, 부호 100로 도시되고 있다. 이 탐색 범위(100)는, 제1 단계의 탐색 범위와 중첩하지 않는 범위이고, 만일 B 위치와 C 위치의 사이에 참 움직임 벡터가 존재하더라도, 이러한 탐색 범위를 설정하고 있었다면 참 움직임 벡터를 검출하는 것은 불가능하다.2 shows a relationship between the motion vector search range in the first step and the motion vector search range in the second step. In the figure, the x marks indicate pixels and are pixels in the original image. In addition, A, B, C, ..., O are pixels searched in a 1st step (namely four pixels) when the original image is reduced to 1/4. As a result of detecting the pseudo motion vector with a 1/4 reduced image, A is the position shown by the pseudo motion vector in the figure. At this time, in the second step, the true motion vector is searched for the original image centered on the A position, but in the prior art, as described above, ± 1 pixel or at most ± 2, ± 3 at most. It's just searching for pixels. The case where ± 3 pixels are set as the search range centering on the position of A is shown by a broken line in the figure, and is indicated by the reference numeral 100. This search range 100 is a range which does not overlap with the search range of the first step, and if a true motion vector is set between the B position and the C position, the true motion vector is detected. It is impossible.
그래서, 본 실시예에서는, 제1 단계에서 탐색한 범위도 포함하는 범위를 제2 단계에서 탐색하기 위해, A의 위치를 중심으로 하여 적어도 ±4 화소를 탐색 범위로 설정한다. 본 실시예에 있어서의 최소의 탐색 범위는 도면 중 일점쇄선으로 도시되고, 부호 102로 도시되고 있다. 이러한 탐색 범위(102)를 설정함으로써, 제1 단계에서는 예측 오차가 크다고 해서 의사 움직임 벡터로부터 제외된 B점 근방 또는 C점 근방도 제2 단계에서 재차 탐색할 수가 있고, 예를 들면 참 움직임 벡터가 B점과 C점의 사이에 존재하는 경우라도 확실하게 이것을 검출할 수가 있다.Therefore, in the present embodiment, at least ± 4 pixels are set as the search range around the position of A in order to search the range including the range searched in the first step in the second step. The minimum search range in this embodiment is shown by the dashed-dotted line in the figure, and is indicated by 102. By setting such a search range 102, near the point B or near the point C, which are excluded from the pseudo motion vector because the prediction error is large in the first step, can be searched again in the second step. Even if it exists between B point and C point, this can be detected reliably.
또, 제1 단계와 제2 단계의 탐색 범위를 중복(오버랩)시키기 위해서 필요한 화소수는 상술한 바와 같이 ±4 화소이지만 (물론, 축소율이 1/N의 경우에는 ±N 화소가 최소의 화소수가 된다), 이 이상의 범위를 탐색 범위로 하는 것도 가능하다.The number of pixels required to overlap (overlap) the search ranges of the first and second stages is ± 4 pixels as described above. (Of course, when the reduction ratio is 1 / N, the minimum pixel count is ± N pixels. It is also possible to set this or more range as a search range.
예를 들면, 제1 단계에서 의사 움직임 벡터를 검출할 때에, 도면 중 A점과 B점에서의 평가치 (예측 오차)에 큰 차가 없고, 간신히 A ＜ B 인 경우에는 제1 단계에서는 의사 움직임 벡터로서 A가 채용되게 되지만, 평가치의 차가 이와 같이 근소한 경우에는, 참 움직임 벡터는 A의 위치 근방이 아니고 B의 위치 근방에 존재하는 경우도 충분히 생각된다. 따라서, 이러한 경우에는, B의 위치 근방도 재차 제2 단계에서 탐색하기 위해, 탐색 범위를 A의 위치를 중심으로 하여 ±7 화소로 하는 것이 적합이다. 도면에 있어서는, ±7 화소로 한 경우의 탐색 범위가 실선으로 도시되고, 부호 104로 도시되고 있다. 이러한 탐색 범위(104)를 설정함으로써, 예를 들면 참 움직임 벡터가 도면 중 b에서 도시되는 위치에 있다고 해도, 이것을 확실하게 검출하는 것이 가능해진다. 또, 탐색 범위의 상한은, 하드웨어 구성으로부터 결정되지만, 본 실시예로서는 상술한 바와 같이 A의 위치를 중심으로 하여 ±16 화소를 탐색 범위로 하고 있기 때문에, 연산량을 증대시키는 일없이 제2 단계에 있어서 b의 위치도 확실하게 검출할 수 있다.For example, when detecting a pseudo motion vector in the first step, there is no significant difference in the evaluation value (prediction error) at point A and B in the figure, and when A <B is barely at the first step, the pseudo motion vector As A is adopted, however, when the difference in the evaluation values is so small, the case where the true motion vector exists in the vicinity of the position of B rather than the position of A is sufficiently considered. Therefore, in this case, in order to search near the position of B again in the second step, it is appropriate to set the search range to ± 7 pixels centering on the position of A. In the figure, the search range in the case of ± 7 pixels is shown by solid line, and is indicated by numeral 104. By setting such a search range 104, it is possible to reliably detect this even if the true motion vector is at the position shown in b in the figure, for example. The upper limit of the search range is determined from the hardware configuration. However, in the present embodiment, since the search range is ± 16 pixels centered on the position of A as described above, in the second step without increasing the amount of calculation. The position of b can also be detected reliably.
한편, 도 3에는, 제1 단계에서 검출된 의사 프레임 움직임 벡터로부터 참 필드 움직임 벡터를 검출 (산출)하는 처리가 모식적으로 도시되고 있다. 도면에 있어서, 참조 프레임 및 부호화 대상 프레임도 홀수 필드 (odd) 및 짝수 필드 (even)로 구성되어 있고, 각 필드의 화소는 편의상 흰 동그라미로 도시되고 있다. 또한, 참조 프레임 및 부호화 대상 프레임도 odd와 even의 사이에 가상적으로 프레임이 도시되어 있다. 이 가상 프레임 상의 화소는, odd에서의 화소와 even에서의 화소를 합하여 구성된다.3, a process of detecting (calculating) a true field motion vector from the pseudo frame motion vector detected in the first step is schematically illustrated. In the figure, the reference frame and the frame to be encoded are also composed of odd fields (odd) and even fields (even), and pixels of each field are shown in white circles for convenience. Also, a frame is virtually shown between the reference frame and the encoding target frame between odd and even. The pixel on this virtual frame is comprised of the pixel in odd and the pixel in even.
이러한 인터레이스 구성에 있어서, 제1 단계에서 의사 프레임 움직임 벡터를 검출한 결과, 의사 프레임 움직임 벡터 MV의 y 성분 (도면 중 상하 방향 성분)이 y=10이라고 한다. 본 실시예에 있어서는, 이 의사 프레임 움직임 벡터 MV (y=10)로부터 제2 단계에서 참 프레임 움직임 벡터 MV 및 참 필드 움직임 벡터를 검출한다. 참 프레임 움직임 벡터는, 이미 진술한 바와 같이 제1 단계에서 검출된 의사 프레임 움직임 벡터 MV(y= 10)를 스케일링하여, 원래의 화상 내에서 ±16 화소를 탐색 범위로서 탐색함으로써 검출할 수가 있다.In such an interlace configuration, as a result of detecting the pseudo frame motion vector in the first step, it is assumed that the y component (up-down component in the figure) of the pseudo frame motion vector MV is y = 10. In this embodiment, the true frame motion vector MV and the true field motion vector are detected in the second step from this pseudo frame motion vector MV (y = 10). As already stated, the true frame motion vector can be detected by scaling the pseudo frame motion vector MV (y = 10) detected in the first step and searching for ± 16 pixels in the original image as a search range.
한편, 참 필드 움직임 벡터는, 다음과 같이 하여 프레임 움직임 벡터로 작성한다. 즉, 참 필드 움직임 벡터에는, 참조 프레임의 odd (홀수 필드)와 부호화 대상 프레임의 odd로부터 검출되는 필드 움직임 벡터 MVoo (짝수 패리티 벡터), 참조 프레임의 even과 부호화 대상 프레임의 odd에서 검출되는 필드 움직임 벡터 MVoe (홀수 패리티 벡터), 참조 프레임의 odd와 부호화 대상 프레임의 even으로부터 검출되는 필드 움직임 벡터 MVeo (홀수 패리티 벡터), 참조 프레임의 even과 부호화 대상 프레임의 even으로부터 검출되는 필드 움직임 벡터 MVee (짝수 패리티 벡터)의 4개가 존재하지만, 각각 다음과 같이 하여 의사 프레임 움직임 벡터 MV로부터 작성된다.On the other hand, a true field motion vector is created as a frame motion vector as follows. That is, in the true field motion vector, the field motion vector MVoo (even parity vector) detected from the odd (odd field) of the reference frame and the odd of the encoding target frame, the field motion detected from even of the reference frame and the odd of the encoding target frame The field motion vector MVeo (odd parity vector) detected from the vector MVoe (odd parity vector), the odd of the reference frame and the even of the frame to be encoded, the field motion vector MVee (even) detected from the even of the reference frame and even of the frame to be encoded. Four parity vectors) exist, but are each created from a pseudo frame motion vector MV as follows.
＜짝수 패리티 벡터의 필드 움직임 벡터 MVoo＞<Field motion vector MVoo of even parity vector>
도 3에 도시한 바와 같이, 의사 프레임 움직임 벡터 MV를 평행 이동하여 작성할 수가 있다.As shown in Fig. 3, the pseudo frame motion vector MV can be moved in parallel to be created.
필드 움직임 벡터 (MVoo)y = 의사 프레임 움직임 벡터 (MV)y/2 … (1)Field motion vector (MVoo) y = pseudo frame motion vector (MV) y / 2... (One)
또, 1/2는 필드 움직임 벡터의 y 방향에의 1 화소분의 변이는 프레임 움직임 벡터의 y 방향에의 2 화소분의 변이에 상당하는 것을 고려한 것이다. 또한, 필드 움직임 벡터 MVoo의 x 성분 (MVoo)x는 (MV)x와 동일하다.Further, 1/2 is considered that the shift of one pixel in the y direction of the field motion vector corresponds to the shift of two pixels in the y direction of the frame motion vector. In addition, the x component (MVoo) x of the field motion vector MVoo is equal to (MV) x.
＜짝수 패리티 벡터의 필드 움직임 벡터 MVee＞<Field Motion Vector MVee of Even Parity Vectors>
필드 움직임 벡터 MVoo과 마찬가지로 의사 프레임 움직임 벡터 MV를 평행 이동함으로써 작성할 수가 있다.Similar to the field motion vector MVoo, the pseudo frame motion vector MV can be created by parallel movement.
필드 움직임 벡터 (MVee)y = 의사 프레임 움직임 벡터 (MV)y/2 = 필드 움직임 벡터 (MVoo)y … (2)Field motion vector (MVee) y = pseudo frame motion vector (MV) y / 2 = field motion vector (MVoo) y... (2)
또, 필드 움직임 벡터 MVee의 x 성분 (MVee)x는 (MV)x와 동일하다.The x component (MVee) x of the field motion vector MVee is equal to (MV) x.
＜홀수 패리티 벡터의 필드 움직임 벡터 MVoe＞<Field Motion Vector MVoe of Odd Parity Vectors>
의사 프레임 움직임 벡터 MV를 필드 간 거리에 따라서 신축함으로써 산출할 수가 있다. 구체적으로는, 도 3에 도시한 바와 같이, 참 필드 움직임 벡터 MVoo와 참조 프레임의 even의 교점을 종단으로 하는 움직임 벡터로서 작성할 수가 있다.The pseudo frame motion vector MV can be calculated by stretching according to the distance between fields. Specifically, as shown in Fig. 3, it can be created as a motion vector ending at the intersection of the true field motion vector MVoo and even of the reference frame.
필드 움직임 벡터 (MVoe)y = 1/2(MVoo)y + 필드 패리티 오프셋 = 1/2(MVoo)y - 0.5 … (3)Field motion vector (MVoe) y = 1/2 (MVoo) y + field parity offset = 1/2 (MVoo) y-0.5. (3)
또, 필드 움직임 벡터 MVoe의 x 성분 (MVoe)x는, 1/2(MV)x와 동일하다. 또한, 필드 패리티 오프셋은 MPEG2 특유의 양이고, (MVoo)y = 0에 평행한 홀수 패리티 필드 움직임 벡터 (MVoe)y가 -0.5 (도면 중 하향이 플러스)가 되는 것을 고려한 것이다.The x component (MVoe) x of the field motion vector MVoe is equal to 1/2 (MV) x. In addition, the field parity offset is an amount peculiar to MPEG2 and takes into account that the odd parity field motion vector (MVoe) y parallel to (MVoo) y = 0 is -0.5 (plus downward in the figure).
＜홀수 패리티 벡터의 필드 움직임 벡터 MVeo＞<Field Motion Vector MVeo of Odd Parity Vectors>
의사 프레임 움직임 벡터 MV를 필드 간 거리에 따라서 신축함으로써 산출할 수가 있다. 구체적으로는, 도 3에 도시한 바와 같이, 필드 움직임 벡터 MVee를 연장하여 참조 프레임의 odd의 교점을 종단으로 하는 벡터로서 작성할 수가 있다.The pseudo frame motion vector MV can be calculated by stretching according to the distance between fields. Specifically, as shown in Fig. 3, the field motion vector MVee can be extended to be created as a vector ending the intersection of odds of the reference frame.
필드 움직임 벡터 (MVeo)y = 3/2(MVoo)y + 필드 패리티 오프셋 = 3/2(MVoo)y + 0.5 … (4)Field motion vector (MVeo) y = 3/2 (MVoo) y + field parity offset = 3/2 (MVoo) y + 0.5. (4)
또, 필드 움직임 벡터 MVeo의 x 성분 (MVeo)x는 3/2(MV)x 와 동일하다. 또한, 필드 패리티 오프셋은, (MVoo)y = 0에 평행한 홀수 패리티 필드 움직임 벡터 (MVeo)y가 0.5가 되는 것을 고려한 것이다.The x component (MVeo) x of the field motion vector MVeo is equal to 3/2 (MV) x. In addition, the field parity offset takes into account that the odd parity field motion vector (MVeo) y parallel to (MVoo) y = 0 is 0.5.
이와 같이, 의사 프레임 움직임 벡터로부터 4개의 필드 움직임 벡터를 작성함으로써, 종래와 같이 실제로 소정의 탐색 범위를 탐색하여 프레임 움직임 벡터와 필드 움직임 벡터를 검출하는 경우에 비교하여, 연산량을 삭감하는 것이 가능해진다.Thus, by creating four field motion vectors from the pseudo frame motion vectors, it is possible to reduce the amount of computation as compared with the case of actually searching for a predetermined search range and detecting the frame motion vector and the field motion vector as in the prior art. .
이상, 본 발명의 실시예에 관해서, 프레임 움직임 벡터와 필드 움직임 벡터를 함께 이용하여 양자를 적응적으로 전환하여 움직임 보상을 행하는 프레임/필드 적응형 움직임 보상의 경우에 관해서 설명하였지만, 본 발명은 필드 움직임 벡터를 검출하지 않고 단순히 프레임 움직임 벡터만을 검출하여 움직임 보상을 행하는 경우에도 적용할 수가 있다. 구체적으로는, 제1 단계에서 의사 프레임 움직임 벡터만을 검출하고, 제2 단계에서 검출한 의사 프레임 움직임 벡터에 기초하여 참 프레임 움직임 벡터만을 검출하여, 이 프레임 움직임 벡터에 기초하여 움직임 보상을 행하여 부호화할 수 있다. 단지, 프레임 움직임 벡터에만 기초하여 부호화한 경우에는, 프레임 움직임 벡터와 필드 움직임 벡터를 함께 이용하여 부호화한 경우에 비교하여, 예측 정밀도가 낮다는 것에 주의하여야 한다.As mentioned above, the embodiment of the present invention has been described in the case of the frame / field adaptive motion compensation in which both the frame motion vector and the field motion vector are adaptively switched to perform motion compensation. It is also applicable to the case where motion compensation is performed by simply detecting the frame motion vector without detecting the motion vector. Specifically, only the pseudo frame motion vector is detected in the first step, only the true frame motion vector is detected based on the pseudo frame motion vector detected in the second step, and motion compensation is performed on the basis of the frame motion vector. Can be. However, it should be noted that, when encoding based only on the frame motion vector, the prediction accuracy is low as compared with the case of encoding by using the frame motion vector and the field motion vector together.
일반적으로, 계층 구조를 이용하여 움직임 벡터를 검출하여 동화상을 부호화하는 경우, 그 정밀도의 고저는, 프레임 움직임 벡터 단독 ＜ 프레임 움직임 벡터 + 프레임 움직임 벡터로부터 산출한 필드 움직임 벡터 (본 실시예의 경우) ＜ 프레임 움직임 벡터 + 필드 움직임 벡터 (실제로 탐색하여 검출)가 되고, (프레임 움직임 벡터+ 프레임 움직임 벡터로부터 산출한 필드 움직임 벡터 (본 실시예의 경우))와 (프레임 움직임 벡터 + 필드 움직임 벡터 (실제로 탐색하고 검출))에서는 그 정밀도에 거의 차이가 없고, 연산량이 적은 만큼, 본 실시예의 예측 부호화가 우수하다.In general, in the case of encoding a moving image by detecting a motion vector using a hierarchical structure, the high and low precision is obtained by using the frame motion vector alone <frame motion vector + field motion vector calculated from frame motion vector (in this embodiment) < Frame motion vector + field motion vector (actually search and detect), (field motion vector + field motion vector calculated from frame motion vector + frame motion vector (in this embodiment)) and (frame motion vector + field motion vector (in fact search Detection)) has almost no difference in the precision, and the predictive encoding of the present embodiment is excellent as the calculation amount is small.
또한, 본 실시예에 있어서는 계층형 움직임 벡터 검출에 관해서 설명하였지만, 본 실시예에 있어서의 프레임 움직임 벡터로부터 필드 움직임 벡터를 작성하는 처리는 비계층형 움직임 벡터 검출에도 응용하는 것이 가능하다. 즉, 원화상을 축소하지 않고 소정의 탐색 범위를 탐색하여 프레임 움직임 벡터만을 검출하여, 이 프레임 움직임 벡터로부터 필드 움직임 벡터를 작성하여 프레임/필드 적응형 움직임 보상을 행하는 것도 가능하다.Although the hierarchical motion vector detection has been described in this embodiment, the process of creating a field motion vector from the frame motion vector in this embodiment can be applied to non-hierarchical motion vector detection as well. That is, it is also possible to search for a predetermined search range without reducing the original image to detect only the frame motion vector, create a field motion vector from the frame motion vector, and perform frame / field adaptive motion compensation.
흔히, 본 실시예에 있어서는 제1 단계에서 의사 프레임 움직임 벡터를 검출하고, 이 의사 프레임 움직임 벡터에 기초하여 제2 단계에서 참 프레임 움직임 벡터 및 참 필드 움직임 벡터를 검출하였지만, 제1 단계에서 의사 필드 움직임 벡터를 검출하고, 이 의사 필드 움직임 벡터에 기초하여 제2 단계에서 참 프레임 움직임 벡터 및 참 필드 움직임 벡터를 검출하는 것도 가능하다. 예를 들면, 제1 단계에서 4개의 필드 움직임 벡터 중, 의사 필드 움직임 벡터 MVoo만을 검출하고, 이 의사 필드 움직임 벡터 MVoo를 스케일링하고 제2 단계에서 원화상으로부터 프레임 움직임 벡터를 작성함과 함께, 의사 필드 움직임 벡터 MVoo에서 4개의 참 필드 움직임 벡터 MVoo, MVoe, MVeo, MVee를 작성하는 것도 가능하다. 4개의 필드 벡터는,Frequently, in the present embodiment, a pseudo frame motion vector is detected in the first step, and a true frame motion vector and a true field motion vector are detected in the second step based on the pseudo frame motion vector. It is also possible to detect the motion vector and to detect the true frame motion vector and the true field motion vector in the second step based on this pseudo field motion vector. For example, in the first step, only the pseudo field motion vector MVoo is detected among the four field motion vectors, the pseudo field motion vector MVoo is scaled, and the frame motion vector is created from the original image in the second step. It is also possible to create four true field motion vectors MVoo, MVoe, MVeo and MVee from the field motion vectors MVoo. The four field vectors are
필드 움직임 벡터 (MVoo)y = 의사 필드 움직임 벡터 (MVoo)y … (5)Field motion vector (MVoo) y = pseudo field motion vector (MVoo) y... (5)
필드 움직임 벡터 (MVeo)y = 3/2 의사 필드 움직임 벡터 (MVoo)y + 0.5 …(6)Field motion vector (MVeo) y = 3/2 pseudo field motion vector (MVoo) y + 0.5... (6)
필드 움직임 벡터 (MVoe)y = 1/2 의사 필드 움직임 벡터 (MVoo)y - 0.5 … (7)Field motion vector (MVoe) y = 1/2 pseudo field motion vector (MVoo) y-0.5... (7)
필드 움직임 벡터 (MVee)y = 의사 필드 움직임 벡터 (MVee)y … (8)Field motion vector (MVee) y = pseudo field motion vector (MVee) y... (8)
로 하면 좋다. 단, 필드 움직임 벡터는 화상 내의 이동 방향에 크게 의존하기 때문에 (특히 상하 방향으로 이동한 경우), 의사 필드 움직임 벡터로부터 프레임 움직임 벡터를 작성한 경우에는 그 정밀도가 저하할 우려가 있다. 따라서, 일반적으로는 제1 단계에서 의사 프레임 움직임 벡터를 검출하고, 그 후 필드 움직임 벡터를 이 의사 프레임 움직임 벡터로부터 산출하는 것이 바람직하다.It is good to do. However, since the field motion vector largely depends on the moving direction in the image (particularly when moving in the up and down direction), the precision of the frame motion vector from the pseudo field motion vector may be degraded. Therefore, it is generally desirable to detect the pseudo frame motion vector in the first step and then calculate the field motion vector from this pseudo frame motion vector.
또, 본 실시예에서는, 원화상보다 화상 데이터가 적은 화상으로서 원화상을 1/4로 축소한 화상에 관해서 설명하였지만, 원화상으로부터 수 화소마다 단순히 추출하는 것으로 화상 데이터가 적은 화상을 얻는 것도 가능하다.In the present embodiment, an image in which the original image is reduced to 1/4 as an image having less image data than the original image has been described. However, it is also possible to obtain an image having less image data by simply extracting the original image every few pixels. Do.
이상 설명한 바와 같이, 본 발명에 따르면 적은 연산량으로 고정밀도로 움직임 벡터를 검출할 수가 있어, 이에 따라 효율적으로 동화상을 예측 부호화할 수가 있다.As described above, according to the present invention, a motion vector can be detected with high precision with a small amount of calculation, and accordingly, the moving picture can be predictively encoded.
Claims (18)
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1467598A JPH11215502A (en) | 1998-01-27 | 1998-01-27 | Motion vector detector and its method |
| JP1998-014675 | 1998-01-27 | ||
| PCT/JP1999/000317 WO1999038331A1 (en) | 1998-01-27 | 1999-01-26 | Device and method for detecting moving vector |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20010034374A true KR20010034374A (en) | 2001-04-25 |
Family
ID=11867807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020007008125A KR20010034374A (en) | 1998-01-27 | 1999-01-26 | Device and method for detecting moving vector |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JPH11215502A (en) |
| KR (1) | KR20010034374A (en) |
| WO (1) | WO1999038331A1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070053402A (en) * | 2005-11-21 | 2007-05-25 | 주식회사 대우일렉트로닉스 | Method for compensating motion of video compression system |
| KR100901173B1 (en) * | 2001-05-10 | 2009-06-04 | 소니 가부시끼 가이샤 | Moving picture encoding apparatus, moving picture encoding method and moving picture encoding program storage medium |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100506864B1 (en) | 2002-10-04 | 2005-08-05 | 엘지전자 주식회사 | Method of determining motion vector |
| JP2010161712A (en) * | 2009-01-09 | 2010-07-22 | Sharp Corp | Frame rate converting device and frame rate converting method |
| CN112672158A (en) * | 2020-12-10 | 2021-04-16 | 博流智能科技（南京）有限公司 | Motion detection system and method |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06153181A (en) * | 1992-10-31 | 1994-05-31 | Sony Corp | Prediction coding method, prediction decoding method, prediction coder and prediction decoder |
| JPH06339135A (en) * | 1993-05-31 | 1994-12-06 | Nippon Telegr & Teleph Corp <Ntt> | Motion vector detection circuit |
| JPH08107557A (en) * | 1994-10-05 | 1996-04-23 | Mitsubishi Electric Corp | Video signal encoding system |
| JPH07322268A (en) * | 1994-05-25 | 1995-12-08 | Sony Corp | Coder |
| JP2853973B2 (en) * | 1995-03-24 | 1999-02-03 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | Hierarchical motion vector detection method and apparatus |
| JP2963369B2 (en) * | 1995-07-12 | 1999-10-18 | 株式会社グラフィックス・コミュニケーション・ラボラトリーズ | Motion vector search device |
-
1998
- 1998-01-27 JP JP1467598A patent/JPH11215502A/en active Pending
-
1999
- 1999-01-26 WO PCT/JP1999/000317 patent/WO1999038331A1/en not_active Application Discontinuation
- 1999-01-26 KR KR1020007008125A patent/KR20010034374A/en not_active Application Discontinuation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100901173B1 (en) * | 2001-05-10 | 2009-06-04 | 소니 가부시끼 가이샤 | Moving picture encoding apparatus, moving picture encoding method and moving picture encoding program storage medium |
| KR20070053402A (en) * | 2005-11-21 | 2007-05-25 | 주식회사 대우일렉트로닉스 | Method for compensating motion of video compression system |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11215502A (en) | 1999-08-06 |
| WO1999038331A1 (en) | 1999-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100534207B1 (en) | Device and method for motion estimating of video coder | |
| US7889795B2 (en) | Method and apparatus for motion estimation | |
| US6549576B1 (en) | Motion vector detecting method and apparatus | |
| US6418168B1 (en) | Motion vector detection apparatus, method of the same, and image processing apparatus | |
| EP1775963A1 (en) | Motion vector detecting device, and motion vector detecting method | |
| JP2001169288A (en) | Device and method for searching motion vector | |
| KR20040035777A (en) | Motion estimation and/or compensation | |
| KR19990088182A (en) | Motion vector search method and apparatus | |
| JP2007166038A (en) | Device and method for detecting motion vector | |
| KR100727795B1 (en) | Motion estimation | |
| KR20070033345A (en) | How to retrieve global motion vector | |
| KR20010034374A (en) | Device and method for detecting moving vector | |
| JPH06351001A (en) | Motion vector detecting method and movement compensation predicting method and device therefor | |
| JP2005051460A (en) | Apparatus and method for processing video signal | |
| US20040247032A1 (en) | Motion vector detection device and motion vector detection method | |
| JPH0262178A (en) | Motion detection system for picture processor | |
| US6968011B2 (en) | Motion vector detecting device improved in detection speed of motion vectors and system employing the same devices | |
| JP2006217486A (en) | Motion compensation type ip conversion processor and processing method | |
| KR100451184B1 (en) | Method for searching motion vector | |
| KR970003107B1 (en) | Motion vector detecting method through stepwise segmentation | |
| KR0185940B1 (en) | Method for guessing a fine movement in its apparatus | |
| JP2006254347A (en) | Image encoding device | |
| KR100208984B1 (en) | Moving vector estimator using contour of object | |
| JPH1042300A (en) | Motion vector detection device | |
| JP3210828B2 (en) | Motion vector detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |