KR20170057209A - Method and Apparatus for effective motion vector decision for motion estimation - Google Patents
Method and Apparatus for effective motion vector decision for motion estimation Download PDFInfo
- Publication number
- KR20170057209A KR20170057209A KR1020170059539A KR20170059539A KR20170057209A KR 20170057209 A KR20170057209 A KR 20170057209A KR 1020170059539 A KR1020170059539 A KR 1020170059539A KR 20170059539 A KR20170059539 A KR 20170059539A KR 20170057209 A KR20170057209 A KR 20170057209A
- Authority
- KR
- South Korea
- Prior art keywords
- search
- image
- motion
- motion information
- component
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
본 발명은 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치에 관한 것이다.The present invention relates to an efficient motion vector extraction method and apparatus for motion search.
근래 동영상의 디지털화와 그 이용이 급속히 이루어지고 있다. TV방송은 지상파가 디지털화되고, DVD레코더나 디지털비디오카메라 등의 가정용기기도 널리 보급되고 있다. 또, 인터넷에서의 동영상 배급이나 휴대전화에 의한 동영상 메일, 화상전화나 화상회의의 이용도 이루어지고 있다.Recently, the digitization of the video and its use are rapidly proceeding. Terrestrial waves are digitized in TV broadcasting, and home appliances such as DVD recorders and digital video cameras are widely used. Video distribution on the Internet, video mail by mobile phone, video phone and video conference are also available.
동영상의 디지털화에 있어서 핵심이 되는 기술로 위치하고 있는 것이 동영상부호화기술이다. H.264로 대표되는 기술의 진보나 HDTV로 대표되는 고해상도화 요구에 의해, 동영상부호화처리 연산량이 날로 증가하고 있다. 그 중에서 연산량의 대부분을 점하는 움직임탐색(block matching) 연산량 증가는 심각한 문제로 되고 있다.Video encoding technology is one of the key technologies for digitizing video. Due to the progress of the technology represented by H.264 and the demand for high definition represented by HDTV, the amount of video encoding processing is increasing day by day. Among them, the increase in the amount of computation of block matching, which accounts for most of the computation amount, becomes a serious problem.
특히, 소프트웨어 인코더에서는 불완전한 움직임탐색 밖에 수행할 수 없어 화질열화의 주된 요인으로 됨에 따라, 대폭의 연산량 저하와 높은 탐색정도를 모두 만족할 수 있는 고효율의 탐색 알고리즘의 실현이 요구되고 있다.In particular, a software encoder can not perform only an incomplete motion search, which is a major factor of deterioration in image quality. Therefore, it is required to realize a highly efficient search algorithm that can satisfy both a large amount of calculation and a high degree of search.
움직임탐색에 관하여, 다양한 탐색방법이 제안되고 있다. 그러나, 움직임탐색이 용이한 영상에서는 전탐색(full search) 정도의 화질을 달성할 수 있으나, 일부의 영상에서는 1dB이상의 화질열화가 온다. 이것이 인코더에서의 화질안정성을 해치는 큰 요인으로 되고 있다. Various search methods have been proposed for motion search. However, it is possible to achieve an image quality of about a full search in an image which is easy to search for a motion, but an image quality deterioration of 1 dB or more in some images. This is a major factor in deteriorating image quality stability in the encoder.
예를 들어, 연산량이 적기 때문에 소프트웨어 인코더의 탐색법으로서 주로 사용되는 나선형 움직임탐색은, 영상에 따라서는 검출정도의 커다란 열화를 가져 온다. 미리 정하여 둔 규칙에 따라 탐색을 중단하는 것으로 연산량을 극소화하는 것이 나쁘게 작용하여, 국소적인 최적점에 트랩되면, 큰 영역에서의 최적점에 도달할 수 없게 된다.For example, since the amount of computation is small, the spiral motion search, which is mainly used as a search method of a software encoder, causes a large deterioration in the degree of detection depending on the image. It is difficult to minimize the amount of computation by stopping the search according to a predetermined rule, and if the locus is trapped at the optimum point, the optimum point in the large region can not be reached.
이에 반하여, 전탐색 범주의 계층탐색은 연산량 절감 측면에서는 나쁘지만 극단의 검출정도의 열화가 일어나지 않기 때문에, 하드웨어 인코더의 탐색수법으로 널리 이용되고 있다. 그러나, 개개의 매칭 정도(accuracy)가 낮아지기 때문에 움직임의 대부분이 일정한 영상에서는 나선형탐색보다 검출정도가 낮아지기 쉽다.On the other hand, hierarchical search of all search categories is bad in terms of reduction of computational load, but deterioration of extreme detection degree does not occur, and therefore it is widely used as a search method of hardware encoder. However, since individual matching accuracy is lowered, the degree of detection is likely to be lower than that of the spiral search in a constant image.
움직임탐색은, 부호화대상 영상내의 블록마다, 참조영상 내에서 가장 일치하는 위치를 찾는 처리를 말한다. 일치정도의 평가기준으로서 일반적으로 차분절대치 합이 이용된다. 부호화 대상 영상 내의 블록을 B, 후보 벡터를 v 부호화 대상 영상 내에서 위치 r에 존재하는 화소의 화소치를 Icur(r), 참조영상 상의 그것을 Iref(r)로 하면, 블록 B에 있어서 후보 벡터 v에 대한 차분절대치 합 SAD는 식 (1)로 표현된다.The motion search refers to a process for finding a position that coincides with the most in the reference image for each block in the video to be coded. Generally, a difference absolute value sum is used as an evaluation criterion of the degree of correspondence. When the blocks in the video image B, the candidate vector v to the encoded image location r pixel value I cur (r), that I ref (r) on the reference image of the pixel that exists in the candidate in the block B vector The difference absolute value sum SAD for v is expressed by equation (1).
몇 개의 벡터에 대하여 SAD(B,v)를 구하고, SAD(B,v)가 최소로 되는 v를 최종적으로 움직임 벡터로 한다.SAD (B, v) is obtained for several vectors, and v for which SAD (B, v) is minimized is finally determined as a motion vector.
SAD는 비교기준으로서는 가장 효율이 좋다. 그래도 탐색범위 중의 탐색점 전체를 평가하는 전탐색에서는 연산량이 방대해 진다. 이 때문에, 3-step search, 4-step search, diamond search 등의 연산량 경감 알고리즘이 제안되고 있다. SAD is the most efficient as a comparison standard. However, the amount of computation is large in all searches that evaluate the entire search points in the search range. For this reason, a computation reduction algorithm such as 3-step search, 4-step search, and diamond search has been proposed.
나선형 움직임탐색에서는 영상 내의 임의의 점으로부터 주위로 향하여 나선상으로 탐색하여 가고, 미리 정해진 일정 조건을 만족한 점에서 탐색을 중단하는 방법이다. 탐색개시 위치를 정확히 예측하는 것으로, 보다 효율적으로 탐색을 행할 수 있다. 탐색개시점을 결정하는 방법으로서는 이전 영상에 있어서 움직임탐색처리에서 구한 벡터나 현재의 블록에 있어서의 주위의 블록에서 구한 벡터를 참조하는 방법이나, 참조한 벡터를 조합하는 방법이 제안되고 있다. 또, 탐색중단 규칙으로서는 순번에 의해 차분절대치의 합을 구하고, 값이 일단 내려갔다 상승할 때 중단하는 방아니 제안되고 있다. 이 방법은, 영상의 특정영역만을 탐색하는 것으로, 탐색점 수를 극소화할 수 있지만, 예측 미스가 발생하면, 화질의 열화나 연산량 절감효과가 충분히 생기지 않는 요인으로 된다.In the spiral motion search, a spiral search is performed from an arbitrary point in the image toward the periphery, and the search is stopped at a point satisfying a predetermined condition. By accurately predicting the search start position, it is possible to search more efficiently. As a method of determining a search starting point, there has been proposed a method of referring to a vector obtained by the motion search processing in the previous image or a vector obtained by the neighboring block in the current block, or a method of combining referenced vectors. It is also suggested that the search termination rule is to calculate the sum of the absolute differences by the order and stop when the value goes up and down. This method minimizes the number of search points by searching only a specific region of an image. However, if a miss occurs, it causes a deterioration in image quality and a reduction in the amount of calculation.
계층탐색은, 움직임을 구하는 영상에 대하여, 서브 샘플링 영상을 작성함에 의해 해상도를 낮추어, 탐색 대상점 수와 개개의 블록매칭 연산량을 삭감하는 방법이다. 가장 낮은 해상도의 영상에서 전탐색을 행하고, 이 결과를 이용하여 해상도가 높은 영상을 탐색한다. 차츰 해상도를 높여가, 최종적으로 원영상에서의 움직임벡터를 구하기 때문에 계층탐색이라 부른다. 이 방법에서는 서브 샘플링 영상의 해상도를 낮추는 것으로, 탐색대상점 수를 낮추기 때문에 영상의 특성에 상관없이 연산량을 일정비율로 낮추는 것과 함께, 영상전체를 탐색하기 때문에, 대폭의 화질 열화는 생기기 어렵다. 그 한편으로, 연산량을 대폭으로 낮춤에는 해상도를 크게 낮추지 않으면 안되므로, 영상의 세부 영상정보량이 줄어들어 탐색정도가 낮아진다. 이 문제점을 보완하기 위해, 주위의 블록탐색결과를 참조하는 방법, 서브 샘플링 영상에 필터링처리를 행하는 수법이나, 움직임을 구할 때의 비교영역(template)을 확장하는 것에 의해 영상정보 탈락을 보완하는 방안이 제안되고 있다.The hierarchical search is a method of reducing the resolution by creating a sub-sampling image for an image for which motion is to be sought, thereby reducing the number of search target points and the individual block matching calculation amount. The entire search is performed on the image having the lowest resolution, and the image having a high resolution is searched using the result. Since the resolution is gradually increased and the motion vector in the original image is finally obtained, it is called a hierarchical search. In this method, since the resolution of the subsampling image is lowered, the number of search target points is lowered so that the calculation amount is reduced to a certain rate irrespective of the characteristics of the image, and the entire image is searched. On the other hand, in order to greatly reduce the amount of computation, the resolution must be greatly reduced, so that the amount of detailed image information of the image is reduced and the degree of search is lowered. In order to solve this problem, a method of referring to the surrounding block search result, a method of performing a filtering process on the sub-sampling image, a method of supplementing the missing video information by expanding a comparison region (template) Has been proposed.
원영상 및 서브 샘플링 영상의 각각에 대하여 행하는 나선형움직임탐색의 효율화를 위해 (1) 단계적인 탐색개시위치 결정, (2) 이중의 탐색범위 설정, (3) 적응적인 중단조건 결정 등의 기법을 조합시킨다.In order to improve the efficiency of the spiral motion search for each of the original image and the subsampling image, a combination of techniques such as (1) stepwise search start position determination, (2) double search range setting, and (3) .
탐색개시위치의 결정은 몇 개의 후보 벡터를 설정하고, 각각의 후보벡터가 가리키는 위치 및 그 상하좌우 1화소 이동한 위치에서 일치도(SAD)를 구하고, 가장 일치도가 높은(SAD가 작은) 위치를 탐색개시위치로 한다. 이 때, 후보의 수를 늘려 탐색개시 위치를 보다 최적위치에 근접시킬 수 있지만, 다량의 후보를 한꺼번에 비교하면 연산량의 증가로 귀결된다. 그래서, 한 번에 전 후보를 비교하는 것이 아니라 후보를 몇 개의 그룹으로 나누어 비교한다.The search start position is determined by setting several candidate vectors, finding a match degree (SAD) at a position indicated by each candidate vector, a position shifted by one pixel above and below, and searching for a position with the highest degree of match (small SAD) The start position. At this time, although the number of candidates may be increased to bring the search start position closer to the optimum position, a large amount of candidates may be compared at one time, resulting in an increase in the amount of calculation. So, instead of comparing all the candidates at once, we divide the candidates into several groups and compare them.
제일 먼저, 제 1 후보 그룹에 대하여, 각각의 후보가 가리키는 위치의 일치도를 구한다. 가장 많이 일치한 위치의 일치도가 threshold 값보다 높은 경우, 그 일치도가 얻어진 위치를 탐색개시위치로 한다. 가장 많이 일치한 위치의 일치도가 threshold 값보다 낮은 경우는 다음의 후보그룹으로 이동하여 그 그룹의 후보에 의해 주어진 위치에서 일치도를 구한다.First, the degree of agreement of the position indicated by each candidate is obtained for the first candidate group. If the match degree of the most matching position is higher than the threshold value, the position at which the match degree is obtained is set as the search start position. If the match degree of the most matching position is lower than the threshold value, the next candidate group is moved to obtain the match degree at the given position by the candidate of the group.
이하, 도중에 일치도가 threshold 값보다 높은 후보가 나타날 때까지 전 후보에 대한 일치도 계산이 끝날 때까지 반복한다.Hereinafter, it is repeated until the matching degree for all candidates is calculated until a candidate whose agreement degree is higher than the threshold value appears on the way.
탐색개시위치결정을 위한 후보 벡터에 대한 그룹 분류는 얻어진 후보 벡터를, 서브 샘플링 영상탐색, 서브 샘플링 영상탐색이 일어난 원영상탐색, 혹은, 서브 샘플링 영상탐색이 없는 원영상탐색에 의하여 행한다.The grouping of the candidate vectors for the search start position is performed by the obtained candidate vectors by performing an original image search without subsampling image search, an original image search with sub-sampling image search, or a subsampling image search.
서브 샘플링 영상에서의 탐색시는, 영상의 공간적인 상관성을 이용하여 얻어진 후보를 3개의 그룹으로 나누어 제 1, 제 2, 제 3 그룹으로 하고, 영상 중의 소정의 위치를 제 4 그룹으로 한다.At the time of searching in the subsampling image, the candidates obtained by using the spatial correlation of the images are divided into three groups to be the first, second, and third groups, and the predetermined position in the image is set as the fourth group.
원영상에서의 탐색시는 미리 서브 샘플링 영상에서의 탐색을 행하고 있는 경우, 그 결과를 제 1, 제 2그룹으로 하고, 공간적인 상관성을 이용하여 얻어진 후보를 제 3그룹, 시간적인 상관성을 이용하여 얻어진 후보를 제 4그룹, 영상 중의 소정의 위치를 제 5그룹으로 한다. 또, 서브 샘플링 영상에서의 탐색을 행하지 않는 경우는 공간적인 상관성을 이용하여 얻어진 후보를 제 1그룹, 시간적인 상관성을 이용하여 얻어진 후보를 제 2그룹, 영상 중의 소정의 위치를 제 3그룹으로 한다. When the search is performed in the original image, when the search is performed in the sub-sampling image in advance, the result is set as the first and second groups, and candidates obtained by using the spatial correlation are classified into the third group, The obtained candidate is set as the fourth group, and the predetermined position in the image is set as the fifth group. When the search is not performed in the sub-sampling image, candidates obtained by using spatial correlation are referred to as a first group, candidates obtained using temporal correlation are regarded as a second group, and predetermined positions in the image are regarded as a third group .
또, 각 그룹의 후보추출시에, 새로이 취득한 후보벡터가 미리 취득한 후보벡터에 비하여, X 성분, Y 성분 모두 3화소 이내의 차이 밖에 나지 않게 되면, 그 후보는 그룹에 추가하지 않는다. When candidates of each group are extracted, if the difference between the newly obtained candidate vector and the previously obtained candidate vector is less than three pixels in all of the X component and Y component, the candidate is not added to the group.
중단조건이 영상의 특성에 대하여 적절히 설정되지 않은 경우는, 최적의 해가 구해지기 전에 중단되어, 화질의 대폭적인 열화가 발생한다. 혹은, 최적의 해를 지나쳐도 탐색이 계속되어 연산량의 대폭적인 증가로 연결된다. 그래서, 탐색개시위치를 중심으로 탐색범위를 이중으로 설정하는 것으로 한다, 내측의 작은 탐색범위에서는 중단판정을 행하지 않고 탐색을 행하는 것으로, 화질의 대폭 열화를 방지한다. 또, 외측의 큰 탐색범위에서는 중단판정을 행하면서 탐색을 행한다. 이 큰 탐색범위는 본래의 탐색범위(전탐색 탐색범위) 보다는 작게 설정되기 때문에 중단되지 않고 탐색범위 전체의 탐색을 행한다고 해도, 연산량은 소폭 증가에 그치게 된다. 영상이 전체적으로 일정방향으로 이동하고 있는 경우는, 최적의 위치가 예측위치로부터 벗어날 가능성이 높다고 할 수 있다. 그래서, 탐색범위의 크기를 결정하는 지표에는 움직임탐색에서 구해진 움직임벡터의 표준편차를 이용한다. If the interruption condition is not appropriately set for the characteristics of the image, it is interrupted before the optimal solution is obtained, resulting in a significant deterioration of the image quality. Or, the search continues beyond the optimal solution, leading to a significant increase in computation volume. Therefore, it is assumed that the search range is set to be double around the search start position. In the inner small search range, search is performed without performing the stop determination, thereby preventing deterioration of image quality. In addition, in the outer large search range, the search is performed while the stop determination is made. Since this large search range is set to be smaller than the original search range (full search search range), the amount of calculation is only slightly increased, even if the entire search range is not searched. If the image is moving in a certain direction as a whole, there is a high possibility that the optimal position deviates from the predicted position. Therefore, the standard deviation of the motion vector obtained from the motion search is used as an index for determining the size of the search range.
중단조건은 threshold 값을 이용한 중단조건을 채택한다. 탐색 중에 threshold 값을 밑도는 차분절대치 합을 가지는 점이 나타난 시점에서 탐색을 중단하는 방법이다. 도, 서브 샘플링 영상에서의 탐색에서는 1 블록 당 13종류의 template에 대한 탐색을 행하지만, 중단판정에는 최대 template(4블록 결합 template) 값을 이용하는 것으로 한다.The stop condition adopts the stop condition using the threshold value. The search is stopped when the point having the absolute value sum of the differences below the threshold value appears during the search. In searching for sub-sampled images, 13 types of templates are searched per block, but the maximum template (4-block combined template) value is used for the stop determination.
탐색중단의 threshold 값은 탐색개시위치를 결정할 때에 이용한 후보 벡터의 바탕이 되었던 움직임벡터가 결정되었을 때의 차분절대치 합을 바탕으로 결정한다. 동영상 중에서의 움직임이 유사하게 되면, 최소 차분절대치 합도 비슷한 값으로 생각할 수 있고, 탐색개시위치로 된 후보벡터가 결정되었을 때의 차분절대치 합에, 허용량으로서, 각 후보벡터가 결정되었을 때의 차분절대치 합의 최대치와 최소치의 차이를 더한다. The threshold value of the search interruption is determined based on the sum of the absolute values of the differences when a motion vector on which the candidate vector used in the search start position is determined is determined. When the motion in the moving image becomes similar, the absolute value sum of the minimum differences can be considered as a similar value, and the difference in the sum of absolute values when the candidate vector at the search start position is determined as the allowable amount, Add the difference between the maximum and minimum of the absolute sum.
차분절대치 합이 threshold 값을 밑돌지 않더라도 나선을 2회전하는 사이에 벡터의 갱신이 없었던 경우도 탐색을 중단한다.Even if the vector update is not performed during two rotations of the helix, the search is stopped even if the sum of absolute differences does not fall below the threshold value.
본 발명은 서브 샘플링 영상을 이용하면서 나선형움직임탐색, 확장 탬플릿의 복수 병용이라는 방안을 조합한 새로운 계층 나선형 움직임탐색방법인 서브 샘플링탐색에 의한 다수의 움직임벡터후보 검출에 의해 탐색 정도(accuracy)를 개선할 수 있는 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치를 제공하기 위한 것이다. The present invention improves the accuracy by detecting a plurality of motion vector candidates by a sub-sampling search, which is a new layered helical motion search method combining a combination of spiral motion search and multiple template combinations using sub-sampling images. The present invention relates to a motion vector extraction method and apparatus for efficiently detecting a motion vector.
본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.The technical problems other than the present invention can be easily understood from the following description.
본 발명에 따른 실시예에 의하면, 나선형 움직임탐색은, 영상에 따라서는 검출정도의 커다란 열화를 가져 온다. 미리 정하여 둔 규칙에 따라 탐색을 중단하는 것으로 연산량을 극소화하는 것이 나쁘게 작용하여, 국소적인 최적점에 트랩되면, 큰 영역에서의 최적점에 도달할 수 없게 된다. 전탐색 범주의 계층탐색은 연산량 절감 측면에서는 나쁘지만 극단의 검출정도의 열화가 일어나지 않기 때문에, 하드웨어 인코더의 탐색수법으로 널리 이용되고 있다. 그러나, 움직임의 대부분이 일정한 영상에서는 나선형탐색보다 검출정도가 낮아지기 쉽다. 2가지의 대표적인 방법이 가지고 있는 약점을 양쪽 기법의 적절한 조합에 의해 해소하고자 한다. According to the embodiment of the present invention, the spiral motion search leads to a large deterioration in the degree of detection depending on the image. It is difficult to minimize the amount of computation by stopping the search according to a predetermined rule, and if the locus is trapped at the optimum point, the optimum point in the large region can not be reached. The hierarchical search of all search categories is bad in terms of the reduction in the amount of computation, but does not deteriorate the degree of extreme detection, and is widely used as a search method for hardware encoders. However, the detection accuracy is more likely to be lower than the spiral search in the case of most of the motion. We want to solve the weaknesses of the two representative methods by an appropriate combination of both techniques.
본 발명의 일 측면에 따르면, 원영상에서 탐색 개시 위치를 결정하여 나선형 움직임 탐색을 수행하는 단계; 및 P 픽처 탐색시 서브 샘플링 영상에서의 탐색 수행 여부를 판정하는 단계를 포함하는 움직임 벡터 추출 방법이 제공된다.According to an aspect of the present invention, there is provided a method of searching for an image, the method comprising: performing a spiral motion search by determining a search start position in an original image; And determining whether to perform a search in a sub-sampling image in a P-picture search.
*여기서, 상기 탐색 수행 여부 판정 단계는, P 픽처, B 픽처, B 픽처의 3픽처 단위로 상기 서브 샘플링 영상에서의 탐색 수행 여부를 판정할 수 있다. Here, the step of determining whether to perform the search may determine whether to perform the search in the sub-sampling image in units of three pictures of the P picture, the B picture, and the B picture.
또한, 상기 탐색 수행 여부 판정 단계는, 상기 P 픽처 탐색을 마칠 때마다 산출된 움직임 벡터의 X 성분 및 Y 성분의 표준 편차를 산출하는 단계; 상기 산출된 표준 편차를 소정의 임계치와 비교하는 단계; 및 상기 표준 편차가 상기 임계치보다 작은 경우 상기 서브 샘플링 영상을 대상으로 움직임을 탐색하는 단계를 포함할 수 있다. In addition, the step of determining whether to perform the search may include calculating a standard deviation of an X component and a Y component of a motion vector calculated each time the P picture search is completed; Comparing the calculated standard deviation with a predetermined threshold value; And searching the motion of the subsampling image when the standard deviation is smaller than the threshold value.
또한, 상기 표준 편차가 상기 임계치보다 큰 경우 다음의 P 픽처의 B픽처 탐색시까지 상기 서브 샘플링 영상을 탐색하지 않는 단계를 더 포함할 수 있다.If the standard deviation is greater than the threshold value, the sub-sampled image may not be searched until the next B-picture of the P-picture is searched.
여기서, 상기 서브 샘플링 영상은 상기 원영상에 대하여 가로 및 세로가 1/2로 해상도가 낮아진 영상일 수 있다. Here, the subsampling image may be an image whose resolution is reduced by 1/2 in the horizontal and vertical directions with respect to the original image.
또한, 본 실시예는 상기 원영상의 16*16 화소 블록을 8*8 화소 블록으로 분할하는 단계; 상기 16*16 화소 블록당 13종류의 탬플릿을 형성하는 단계; 및 상기 탬플릿으로부터 산출된 13종류의 움직임 벡터를 상기 원영상 탐색에서 탐색 개시 위치 지정시 후보 벡터로 사용하는 단계를 포함할 수 있다. In addition, the embodiment may further include: dividing the 16 * 16 pixel block of the original image into 8 * 8 pixel blocks; Forming 13 types of templates per 16 * 16 pixel block; And using 13 types of motion vectors calculated from the template as candidate vectors when designating the search start position in the original image search.
본 발명의 다른 측면에 따르면, 원영상에서 탐색 개시 위치를 결정하여 나선형 움직임 탐색을 수행하는 탐색 수행부; 및 P 픽처 탐색시 서브 샘플링 영상에서의 탐색 수행 여부를 판정하는 탐색범위 결정부를 포함하는 움직임 벡터 추출 장치가 제공된다.According to another aspect of the present invention, there is provided an image processing apparatus including a search execution unit for determining a search start position in an original image and performing a spiral motion search; And a search range determination unit for determining whether to perform a search in the sub-sampling image in the P-picture search.
여기서, 상기 탐색범위 결정부는, 상기 P 픽처 탐색을 마칠 때마다 산출된 움직임 벡터의 X 성분 및 Y 성분의 표준 편차를 산출하는 표준편차 산출부; 상기 산출된 표준 편차를 소정의 임계치와 비교하는 표준편차 비교부를 포함하되, 상기 탐색 수행부는 상기 표준 편차가 상기 임계치보다 작은 경우 상기 서브 샘플링 영상을 대상으로 움직임을 탐색할 수 있다.Here, the search range determining unit may include: a standard deviation calculating unit for calculating a standard deviation of the X component and the Y component of the motion vector calculated each time the P picture search is completed; And a standard deviation comparing unit for comparing the calculated standard deviation with a predetermined threshold value, wherein the search performing unit can search for a motion of the subsampling image when the standard deviation is smaller than the threshold value.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명에 따른 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치는 서브 샘플링 영상을 이용하면서 나선형움직임탐색, 확장 탬플릿의 복수 병용이라는 방안을 조합한 새로운 계층 나선형 움직임탐색방법인 서브 샘플링탐색에 의한 다수의 움직임벡터후보 검출에 의해 탐색 정도(accuracy)를 개선할 수 있는 효과가 있다.The method and apparatus for efficiently extracting a motion vector in motion search according to the present invention is a method for extracting a plurality of motion vectors by a sub-sampling search, which is a new layered spiral motion search method that combines a spiral motion search, There is an effect that the search accuracy can be improved by motion vector candidate detection.
또한, 본 발명에 따른 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치에 따르면, 서브 샘플링 영상을 이용하여 나선형 움직임탐색을 행하여, 탐색정도(accuracy)를 대폭으로 개선하는 방안을 제시하여, 서브 샘플링 영상에서의 탐색을 행함에 의해 연산량의 대폭 증가없이 탐색범위를 확대할 수 있으며, 템플릿의 확장에 의하여 탐색정도(accuracy)를 향상시킬 수 있음과 함께, 단계적으로 후보 벡터를 선택함에 의하여 연산량의 증가를 억제할 수 있고, 이들 이점에 의하여 연산량을 종래의 방법과 동일한 정도의 연산량으로 억제하고 화질을 향상시킬 수 있다.According to another aspect of the present invention, there is provided a method and apparatus for efficiently extracting a motion vector, and a method for searching for a spiral motion using a sub-sampling image, It is possible to expand the search range without significantly increasing the amount of computation and to improve the accuracy of search by expanding the template and to increase the amount of computation by selecting the candidate vector step by step It is possible to suppress the computation amount to the same amount of computation as that in the conventional method and to improve the image quality by virtue of these advantages.
도 1은 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 블록 구성도.
도 2는 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 서브 샘플링을 적용한 영상탐색의 절환을 나타내는 도면.
도 3은 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 서브 샘플링 영상과 탐색 템플릿을 나타내는 도면.
도 4는 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 8x8 화소 블록의 조합에 의한 13 종류의 템플릿을 나타내는 도면. 1 is a block diagram of a motion vector extracting apparatus according to an embodiment of the present invention;
2 is a diagram illustrating switching of an image search using sub-sampling of a motion vector extracting apparatus according to an embodiment of the present invention.
3 is a diagram illustrating a sub-sampling image and a search template of a motion vector extracting apparatus according to an embodiment of the present invention.
4 is a diagram showing 13 kinds of templates by combination of 8x8 pixel blocks of a motion vector extraction apparatus according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.
또한, 명세서에 기재된 "…부", "…모듈", "…수단" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.The term " part, "" module," " means, "or the like, which is described in the specification, refers to a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software .
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.
도 1은 본 발명의 실시예에 따른 움직임 벡터 추출 장치의 블록 구성도이다. 도 1을 참조하면, 움직임 벡터 추출 장치(100), 탐색 수행부(110), 탐색범위 결정부(120), 표준편차 산출부(121), 표준편차 비교부(122) 및 제어 유닛(130)이 도시된다. 1 is a block diagram of a motion vector extracting apparatus according to an embodiment of the present invention. 1, a motion
동영상 부호화처리기술은, H.264로 대표되는 기술의 진보나 HDTV로 대표되는 대상영상의 고해상도화 요구에 의해, 그 연산량이 날로 증가하고 있다. 이 때문에 연산량의 대부분을 점하는 움직임탐색에 관하여, 종래로부터 연산량삭감에 관한 연구가 많이 진행되고 있었다. 그 중에서 나선형 움직임탐색은 효율적인 방안으로 개량이 도모되어 왔지만, 실제의 탐색이 탐색범위 내의 극히 일부로 제한되는 것에 기인하는 특정영상에서의 극단적인 검출정도(accuracy)의 저하 등의 문제점을 나타내고 있다. The video encoding processing technology has been increasing in the amount of computation due to the progress of the technology represented by H.264 or the demand for high resolution of the target image represented by HDTV. For this reason, with respect to the motion search that accounts for most of the computation amount, research on the reduction of the computation amount has conventionally been advanced. Among them, the spiral motion search has been improved in an efficient manner, but it shows problems such as extreme accuracy in the specific image due to the fact that the actual search is limited to a very small extent within the search range.
연산량이 적기 때문에 소프트웨어 인코더의 탐색법으로서 주로 사용되는 나선형 움직임탐색은, 영상에 따라서는 검출정도의 커다란 열화를 가져 온다. 미리 정하여 둔 규칙에 따라 탐색을 중단하는 것으로 연산량을 극소화하는 것이 나쁘게 작용하여, 국소적인 최적점에 트랩되면, 큰 영역에서의 최적점에 도달할 수 없게 된다. 전탐색 범주의 계층탐색은 연산량 절감 측면에서는 나쁘지만 극단의 검출정도의 열화가 일어나지 않기 때문에, 하드웨어 인코더의 탐색수법으로 널리 이용되고 있다. 그러나, 움직임의 대부분이 일정한 영상에서는 나선형탐색보다 검출정도가 낮아지기 쉽다. Since the amount of computation is small, the spiral motion search, which is mainly used as a search method of a software encoder, causes a large deterioration in the degree of detection depending on the image. It is difficult to minimize the amount of computation by stopping the search according to a predetermined rule, and if the locus is trapped at the optimum point, the optimum point in the large region can not be reached. The hierarchical search of all search categories is bad in terms of the reduction in the amount of computation, but does not deteriorate the degree of extreme detection, and is widely used as a search method for hardware encoders. However, the detection accuracy is more likely to be lower than the spiral search in the case of most of the motion.
본 실시예에 따르면, 2가지의 대표적인 방법이 가지고 있는 약점을 양쪽 기법의 적절한 조합에 의해 해소하고자 한다. 구체적으로는 서브 샘플링 영상을 이용하면서 나선형움직임탐색, 확장 탬플릿의 복수 병용이라는 방안을 조합한 새로운 계층 나선형 움직임탐색방법인 서브 샘플링탐색에 의한 다수의 움직임벡터후보추출에 의해 이 문제를 해결하고자 한다. 이 제안의 적용으로, 연산량을 기존의 고속탐색방법과 동일한 수준으로 유지하면서 탐색정도(accuracy)를 개선할 수 있다.According to the present embodiment, the weaknesses of the two representative methods are solved by an appropriate combination of both techniques. Specifically, we solve this problem by extracting a plurality of motion vector candidates by a sub-sampling search, which is a new hierarchical spiral motion search method that combines a spiral motion search and a combination of a plurality of extension templates while using a sub-sampling image. By applying this proposal, it is possible to improve the accuracy while keeping the amount of computation at the same level as that of the existing fast searching method.
탐색 수행부(110)는 원영상에서 탐색 개시 위치를 결정하여 나선형 움직임 탐색을 수행한다. 탐색범위 결정부(120)는 소정 영역, 예를 들면, P 픽처 탐색시 서브 샘플링 영상에서의 탐색 수행 여부를 판정한다. The
표준편차 산출부(121)는 P 픽처 탐색을 마칠 때마다 산출된 움직임 벡터의 X 성분 및 Y 성분의 표준 편차를 산출하고, 표준편차 비교부(122)는 산출된 표준 편차를 소정의 임계치와 비교한다. 제어 유닛(130)은 탐색 수행부(110), 탐색범위 결정부(120), 표준편차 산출부(121), 표준편차 비교부(122)를 각각 제어한다. The standard
본 실시예에 따르면, 서브 샘플링 영상 이용에 의한 나선형 움직임탐색 성능을 개선할 수 있다. 나선형움직임탐색은, 영상의 특정영역만을 탐색하는 것으로, 탐색점수를 극소화할 수 있다. 그러나, 탐색개시위치 예측에 실패하면, 화질이 크게 열화하고, 잘못하면, 연산량이 대폭으로 증가한다고 하는 문제를 가지고 있다.According to the present embodiment, it is possible to improve the spiral motion search performance by using the sub-sampling image. In the spiral motion search, only the specific region of the image is searched, and the search score can be minimized. However, if the prediction of the search start position fails, the image quality is greatly deteriorated, and if it is wrong, the calculation amount is greatly increased.
이 문제를 해결하기 위해, 중단하기 어렵게 설정하여, 탐색의 범위가 넓어지도록 하면 연산량이 대폭으로 증가하여 나선형움직임탐색의 이점을 상실하게 된다.In order to solve this problem, it is difficult to stop the search, and if the search range is widened, the amount of calculation greatly increases, and the advantage of spiral motion search is lost.
그래서, 연산량 증가없이 탐색범위를 확대하는 것을 목표로 한 계층형 탐색방법으로서, 서브 샘플링 영상계층탐색을 수행하게 할까 없게 할까를 P 픽처 주기단위로 적응적으로 절환하는 나선형탐색을 제안한다.Therefore, as a hierarchical search method aiming at enlarging the search range without increasing the amount of computation, we propose a spiral search that adaptively switches whether to perform sub-sampling image layer search or not in P picture period units.
계층형 움직임탐색에서 문제가 되는 서브 샘플링 영상계층에서의 탐색정도 열화에 대하여는 복수의 확장 탬플릿을 병용함과 함께, 시간적, 공간적으로 상관하는 타 블록 움직임검출결과를 탐색개시위치후보로서 적극적으로 활용하여 해결을 도모한다.For the degradation of the search quality in the sub-sampling image layer, which is a problem in hierarchical motion search, a plurality of extension templates are used together and other block motion detection results that temporally and spatially correlate are actively utilized as search start position candidates Resolution.
서브 샘플링 영상탐색의 절환을 살펴보면 다음과 같다. 서브 샘플링 영상에서의 탐색은, 원영상과 이중으로 탐색을 행하는 것으로 되기 때문에 연산량 증가로 연결된다. 탐색이 용이한 영상에서, 종래 기법에서도 충분한 화질이 유지되는 경우에는 서브 샘플링 영상에서의 탐색을 반드시 행할 필요는 없다.The switching of subsampling image search is as follows. The search in the subsampling image leads to an increase in the computation amount because the search is performed in duplicate with the original image. In an image which can be easily searched, if a sufficient image quality is maintained even in the conventional technique, it is not always necessary to search for the sub-sampling image.
따라서, 영상의 특성에 의해, 서브 샘플링 영상에서의 탐색 수행 여부를, P, B, B의 3 픽처 단위로 판정하여, 탐색의 사용을 적응적으로 절환하는 것으로 한다. P픽처 탐색을 마칠 때마다, 구해진 움직임벡터의 X성분, Y성분의 표준편차를 구한다.Therefore, it is determined whether or not the search in the subsampling image is performed in units of three pictures of P, B, and B based on the characteristics of the image, and the use of the search is adaptively switched. Every time the P picture search is completed, the standard deviation of the X component and Y component of the obtained motion vector is found.
제안 기법은 나선형 움직임탐색을 기본으로 함에 따라, 주위 블록의 움직임이나 시간적인 블록의 움직임을 예측벡터로서 참조하고 있다. 이 때, 편차가 작다고 함은 일정하게 비슷한 예측벡터 들만을 취득하고 만다는 것이고, 부분적으로 다른 움직임이 포함되어 있으면, 그 움직임에 대응할 수 없다. 역으로, 표준편차가 커지면 여러 방향에 걸쳐 예측벡터가 얻어져, 광범위하게 분포하는 복수의 개소를 탐색할 수 있다. 이 사실로부터, 제안기법에서는 표준편차가 작을 때에 서브 샘플링 영상을 이용하여 넓은 범위를 탐색하는 것으로 한다. 표준편차의 합이 임계치(threshold) 값 이상이 되면, 다음의 P 및 다음의 P까지의 B픽처 탐색시의 서브 샘플링 영상에서의 탐색을 생략한다. 임계치는 실험적으로 구해진 값으로 40으로 하였다. Based on the spiral motion search, the proposed method refers to the motion of neighboring blocks or the motion of temporal blocks as a prediction vector. In this case, if the deviation is small, it means that only similar predictive vectors are constantly obtained, and if the motion is partially included, the motion can not be coped with. Conversely, when the standard deviation becomes large, a predicted vector is obtained in various directions, and a plurality of widely distributed points can be searched. From this fact, it is assumed that the proposed method searches for a wide range using a subsampling image when the standard deviation is small. If the sum of the standard deviations becomes equal to or greater than the threshold value, the search in the subsampling image at the time of the B-picture search up to the next P and the next P is omitted. The threshold value was set to 40 as an experimentally obtained value.
도 2에 따르면, 단계 S210에서, P 픽처에서의 탐색을 수행하고, 단계 S220에서, 움직임에 대한 표준편차를 산출하며, 단계 S230에서, 표준편차와 임계치를 비교한다. 비교 결과, 표준편차가 임계치 보다 큰 경우 단계 S240에서, 원영상만에서의 탐색을 수행하고, 만약, 표준편차가 임계치 보다 작은 경우 단계 S250에서, 서브 샘플링 영상 및 원영상에서 탐색을 수행한다. 여기서, 표준 편차가 임계치보다 큰 경우 다음의 P 픽처의 B픽처 탐색시까지 서브 샘플링 영상을 탐색하지 않을 수 있다.According to Fig. 2, a search in a P picture is performed in step S210, a standard deviation on a motion is calculated in step S220, and a standard deviation and a threshold are compared in step S230. If the standard deviation is greater than the threshold value, the search is performed only in the original image in step S240. If the standard deviation is smaller than the threshold value, the sub-sampling image and the original image are searched in step S250. Here, if the standard deviation is larger than the threshold value, the sub-sampling image may not be searched until the next P-picture B-picture search.
본 실시예에 따르면, 서브 샘플링 영상의 설정은 다음과 같다. 상술한 바와 같이, 해상도를 낮추면, 탐색점이 줄고, 연산량을 줄일 수 있지만, 해상도를 크게 낮춘 경우, 영상의 세부가 깨지고 말아 탐색정도가 저하되는 위험성이 있다. 일반적으로 계층탐색에서는, 최대 가로세로 1/4까지 해상도를 낮추지만, 나선형탐색에 바탕을 둔 본 실시예에서는 종래의 계층탐색과 다른, 탐색범위의 일부분만의 탐색으로 끝마치게 된다. 따라서, 일반적인 계층탐색에 비하여 연산량삭감율이 크기 때문에, 해상도를 크게 낮출 필요는 없다. 그래서, 탐색을 행하는 서브 샘플링 영상은 원영상에 대하여, 가로세로 1/2, 전체적으로 해상도 1/4의 영상으로 한다.According to the present embodiment, the setting of the subsampling image is as follows. As described above, if the resolution is lowered, the number of search points can be reduced and the amount of calculation can be reduced. However, if the resolution is greatly reduced, there is a risk that the detail of the image is broken and the search accuracy is deteriorated. Generally, in the hierarchical search, the resolution is lowered to a maximum of about one-fourth of the horizontal and vertical. However, in the present embodiment based on the spiral search, the search ends at a portion of the search range different from the conventional hierarchical search. Therefore, it is not necessary to greatly reduce the resolution because the computation amount reduction ratio is larger than that in the general hierarchical search. Thus, the sub-sampling image to be searched is an image having a resolution of 1/4 of the original image, which is 1/2 of the original size.
본 실시예에 따르면, 서브 샘플링 영상 탐색에 있어서 탬플릿이 확장될 수 있다. 서브 샘플링 영상에서의 움직임탐색에 대하여, 해상도를 낮추면, 탐색정도의 저하로 연결된다. 그래서, 블록끼리를 비교할 때의 비교영역(template)을 주위로 확장한다. 탬플릿을 확장함에 의해, 본래의 움직임검출대상 블록주위의 화소까지 비교되고, 그 결과로서 탐색 정도가 향상한다.According to the present embodiment, the template can be extended in the sub-sampling image search. For a motion search in a subsampling image, lowering the resolution leads to a reduction in the search precision. Therefore, the comparison region (template) for comparing the blocks is expanded around. By expanding the template, the pixels around the original motion detection target block are compared, and as a result, the degree of search is improved.
단순히 탬플릿을 주위로 확장하면 비교연산에 중복되는 부분이 발생하고 연산량이 증가하게 된다. 따라서, 도 3에 도시된 바와 같이, 16 x 16 화소블록(310)을 가지는 원영상(a)으로부터 가로 및 세로가 1/2로 되며 8 x 8 화소블록(320)을 가지는 서브 샘플링 영상(b)을 생성하고, 서브 샘플링 영상(c)을 16 x 16 화소블록(330)으로 분할하고, 이 블록단위로 움직임을 구하는 것으로 한다. 결국 원영상의 4블록 분의 움직임탐색을 동시에 행하게 된다. 이에 의해 비교연산의 중복없이 탬플릿 확장이 실현된다. If you simply extend the template around it, the overlapping part of the comparison operation will occur and the amount of computation will increase. 3, a sub-sampling image b (x, y) having an 8 x 8
확장한 탬플릿이 영상 중의 다른 움직임의 물체 간의 경계선에 걸치게 되면, 탐색정도의 저하가 야기된다. 그래서, 확장하는 방향이 다른 탬플릿을 복수 개 설치, 어떤 것이라도 경계에 걸치지 않도록 한다. 구체적으로는 16 x 16 화소블록(330)을 본래의 크기인 8 x 8 화소블록(340) 4개로 분할하여, 이 조합에 의해, 1 블록당 도 4에 도시된 바와 같은 13종류의 탬플릿을 구성한다. If the expanded template is placed on the boundary line between the objects of other movements in the image, the search accuracy is lowered. Therefore, a plurality of templates to be extended in different directions are installed, so that none of them are bound to the boundary. More specifically, the 16 x 16
도 4의 (a)는 1블록, (b)는 2블록, (c)는 3블록, (d)는 4블록의 템플릿이다. 비교할 때에는 이들 탬플릿에서 일치도가 제일 높은 움직임을 검출한다. 이 결과로부터 얻어진 13종류의 움직임벡터를, 원영상에서의 탐색시에 탐색개시위치로 지정하는 후보벡터로 사용한다.4A is a block, FIG. 4B is a block, FIG. 4C is a template, and FIG. 4D is a template of 4 blocks. In comparison, a movement with the highest degree of agreement in these templates is detected. The 13 kinds of motion vectors obtained from this result are used as candidate vectors to be designated as the search start positions at the time of searching in the original image.
그 외 본 발명의 실시예에 따른 움직임 벡터 추출 장치에 대한 구체적인 장치 구성도, 임베디드 시스템, O/S 등의 공통 플랫폼 기술과 통신 프로토콜, I/O 인터페이스 등 인터페이스 표준화 기술 등에 대한 구체적인 설명은 본 발명이 속하는 기술 분야의 통상의 지식을 가진자에게 자명한 사항이므로 생략하기로 한다.Other specific configurations of the motion vector extracting apparatus according to the embodiment of the present invention, a common platform technology such as an embedded system, an O / S, a communication protocol, an interface standardization technology such as an I / O interface, Will be omitted because they are obvious to those having ordinary skill in the art.
본 발명에 따른 움직임 벡터 추출 방법 은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 즉, 기록 매체는 컴퓨터에 상술한 각 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 될 수 있다.The motion vector extraction method according to the present invention may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer readable medium. That is, the recording medium may be a computer-readable recording medium having recorded thereon a program for causing a computer to execute the steps described above.
상기한 바에서, 각 실시예에서 설명한 각 구성요소 및/또는 기능은 서로 복합적으로 결합하여 구현될 수 있으며, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.In the above description, the respective components and / or functions described in the embodiments may be combined and combined, and those skilled in the art will understand that the present invention It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention.
100 : 움직임 벡터 추출 장치
110 : 탐색 수행부
120 : 탐색범위 결정부
121 : 표준편차 산출부
122 : 표준편차 비교부100: motion vector extraction device
110:
120: Search range determining unit
121: Standard deviation calculation unit
122: Standard deviation comparison section
Claims (5)
상기 분할된 복수의 블록 중 대상 블록에 대한 복수의 움직임 정보 후보를 유도하는 단계; 및
상기 복수의 움직임 정보 후보를 기초로 상기 대상 블록의 움직임 정보를 결정하는 단계를 포함하되,
상기 복수의 움직임 정보 후보를 유도하는 단계는,
기 도출된 제1 움직임 정보 성분 및 제2 움직임 정보 성분에 기초한 차이를 확인하는 단계; 및
상기 확인 결과에 기초하여 상기 대상 블록의 움직임 정보 후보를 유도하는 단계를 포함하되,
상기 복수의 움직임 정보 후보 중 적어도 하나는 상기 대상 블록의 공간적 이웃 블록 또는 상기 대상 블록의 시간적 이웃 블록으로부터 유도되는 것을 특징으로 하는 움직임 정보 결정 방법.Dividing a pixel block of a predetermined size into a plurality of blocks;
Deriving a plurality of motion information candidates for a target block among the plurality of divided blocks; And
And determining motion information of the target block based on the plurality of motion information candidates,
Wherein the step of deriving the plurality of motion information candidates comprises:
Identifying a difference based on the first motion information component and the second motion information component; And
And deriving a motion information candidate of the target block based on the check result,
Wherein at least one of the plurality of motion information candidates is derived from a spatially neighboring block of the target block or a temporally neighboring block of the target block.
상기 복수의 움직임 정보 후보 중 어느 하나는, 상기 원 영상보다 낮은 해상도를 갖는 서브 샘플링 영상에서의 탐색을 통해 유도되는 것을 특징으로 하는, 움직임 정보 결정 방법.The method according to claim 1,
Wherein one of the plurality of motion information candidates is derived through a search in a sub-sampling image having a resolution lower than that of the original image.
상기 제1 움직임 정보 성분은 기 도출된 움직임 벡터의 X 성분이고, 상기 제2 움직임 정보 성분은, 기 도출된 움직임 벡터의 Y 성분이고, 상기 제1 움직임 정보 성분 및 상기 제2 움직임 정보 성분에 기초한 차이는, 상기 제1 움직임 정보 성분 및 상기 제2 움직임 정보 성분 사이의 표준 편차이고,
상기 표준 편차 및 임계치의 비교 결과에 따라, 상기 서브 샘플링 영상에서의 탐색을 수행할 것인지 여부가 결정되는 것을 특징으로 하는 움직임 정보 결정 방법.3. The method of claim 2,
Wherein the first motion information component is an X component of a previously derived motion vector, the second motion information component is a Y component of a previously derived motion vector, and the first motion information component The difference is a standard deviation between the first motion information component and the second motion information component,
And determining whether to perform the search in the subsampling image according to the comparison result of the standard deviation and the threshold value.
상기 서브 샘플링 영상은 상기 원 영상에 대하여 가로 및 세로가 1/2로 해상도가 낮아진 영상인 것을 특징으로 하는 움직임 정보 결정 방법.3. The method of claim 2,
Wherein the subsampling image is a video image whose resolution is reduced to 1/2 of a width and a height of the original image.
상기 움직임 정보는, 움직임 벡터 및 참조 픽처 인덱스 정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 움직임 정보 결정 방법.The method according to claim 1,
Wherein the motion information includes at least one of a motion vector and reference picture index information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170059539A KR101769575B1 (en) | 2017-05-12 | 2017-05-12 | Method and Apparatus for effective motion vector decision for motion estimation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170059539A KR101769575B1 (en) | 2017-05-12 | 2017-05-12 | Method and Apparatus for effective motion vector decision for motion estimation |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170020693A Division KR101737606B1 (en) | 2017-02-15 | 2017-02-15 | Method and Apparatus for effective motion vector decision for motion estimation |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170102495A Division KR101867885B1 (en) | 2017-08-11 | 2017-08-11 | Method and Apparatus for effective motion vector decision for motion estimation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170057209A true KR20170057209A (en) | 2017-05-24 |
| KR101769575B1 KR101769575B1 (en) | 2017-08-30 |
Family
ID=59051673
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170059539A KR101769575B1 (en) | 2017-05-12 | 2017-05-12 | Method and Apparatus for effective motion vector decision for motion estimation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101769575B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102005848B1 (en) | 2019-01-21 | 2019-10-08 | 진종신 | Earthquake resistant tower for power transmission line |
| KR102174737B1 (en) | 2020-05-14 | 2020-11-05 | 주식회사 에이스이디씨 | Earthquake resistant tower for power transmission line |
-
2017
- 2017-05-12 KR KR1020170059539A patent/KR101769575B1/en active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102005848B1 (en) | 2019-01-21 | 2019-10-08 | 진종신 | Earthquake resistant tower for power transmission line |
| KR102174737B1 (en) | 2020-05-14 | 2020-11-05 | 주식회사 에이스이디씨 | Earthquake resistant tower for power transmission line |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101769575B1 (en) | 2017-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7311619B2 (en) | Codec method and apparatus, encoding device and decoding device | |
| US9066099B2 (en) | Methods for efficient implementation of skip/direct modes in digital video compression algorithms | |
| CN108419082B (en) | Motion estimation method and device | |
| Liu et al. | H. 264/AVC video error concealment algorithm by employing motion vector recovery under cloud computing environment | |
| KR101769575B1 (en) | Method and Apparatus for effective motion vector decision for motion estimation | |
| US8804830B2 (en) | Method for performing motion estimation | |
| KR101677696B1 (en) | Method and Apparatus for effective motion vector decision for motion estimation | |
| CN111901590B (en) | Refined motion vector storage method and device for inter-frame prediction | |
| KR20080048384A (en) | Apparatus and method for the fast full search motion estimation using the partitioned search window | |
| KR101867885B1 (en) | Method and Apparatus for effective motion vector decision for motion estimation | |
| KR101737606B1 (en) | Method and Apparatus for effective motion vector decision for motion estimation | |
| KR101708905B1 (en) | Method and Apparatus for effective motion vector decision for motion estimation | |
| US11303903B2 (en) | Method and system for encoding an image of a video sequence involving calculation of a cost for encoding a coherent region | |
| WO2020049512A1 (en) | Two-step inter prediction | |
| KR20180068910A (en) | Method and Apparatus for effective motion vector decision for motion estimation | |
| JP4516088B2 (en) | Motion search method, motion search device, motion search program, and computer-readable recording medium recording the program | |
| KR20190117461A (en) | Method and Apparatus for effective motion vector decision for motion estimation | |
| US9948932B2 (en) | Image processing apparatus and control method of image processing apparatus | |
| JPH10304371A (en) | Moving vector detecting device | |
| KR102089433B1 (en) | Multidirectional hierarchical motion estimation method for video coding tool | |
| KR100413002B1 (en) | Apparatus and method for block matching by using dispersed accumulate array in video coder | |
| CN115955572A (en) | Encoding method, decoding method, electronic device, and computer-readable storage medium | |
| KR20120071247A (en) | Method for motion search | |
| KR20120103837A (en) | Apparatus and method for estmating motion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |