JP2000050282A - Motion detector, motion detection method and recording medium with its program recorded therein - Google Patents

Motion detector, motion detection method and recording medium with its program recorded therein

Info

Publication number
JP2000050282A
JP2000050282A JP21921398A JP21921398A JP2000050282A JP 2000050282 A JP2000050282 A JP 2000050282A JP 21921398 A JP21921398 A JP 21921398A JP 21921398 A JP21921398 A JP 21921398A JP 2000050282 A JP2000050282 A JP 2000050282A
Authority
JP
Japan
Prior art keywords
block
difference
motion vector
motion
detection target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP21921398A
Other languages
Japanese (ja)
Inventor
Toshio Kondo
利夫 近藤
Toshihiro Minami
俊宏 南
Mitsuro Ikeda
充郎 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP21921398A priority Critical patent/JP2000050282A/en
Publication of JP2000050282A publication Critical patent/JP2000050282A/en
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To obtain the difference between a motion detection object block obtained by sequentially segmenting a block from an image and a prediction block in a reference image through a simple hardware configuration in which same processing is repeated for each processing cycle in the unit of blocks. SOLUTION: An evaluated position closer to a range of a motion of an adjacent block and with a small difference is made easy to be left in a minimum value and evaluation position storage device 60 as a prediction block providing a minimum difference. First a corrected correction consolidated difference is generated, which is obtained by summing a difference A of a single detection object block (output signal of a difference evaluation device 10) and a difference Bf of an adjacent block, whose motion vector is the same as that of the detection object block and processing the sum. A difference A or the corrected consolidated difference, whichever is the smaller is used as the final difference. Then a minimum final difference and the evaluation position providing the minimum difference are left in the minimum value and evaluation position storage device 60 for each processing cycle in the unit of blocks, and they are outputted at the end of the processing cycle in the unit of blocks.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、対象ブロックが、
それを含む画像に対して、時系列上、前方あるいは後方
にある画像のどこから移動してきたかを予測し、その予
測したブロック(予測ブロック)から対象ブロックに向
かうベクトルを動きベクトルとして求める動き検出器及
び動き検出方法及びそのためのプログラムを記録した記
録媒体に関する。
[0001] The present invention relates to a method for producing a target block, comprising:
A motion detector that predicts from the image in front of or behind in time series the image that includes it, and calculates a vector from the predicted block (predicted block) to the target block as a motion vector; The present invention relates to a motion detection method and a recording medium on which a program for the method is recorded.

【0002】ここでいう動き検出は、動き補償を利用し
た映像圧縮機の中核機能として重要である外、画像の特
徴抽出、認識等にも有用な機能である。
[0002] The motion detection referred to here is not only important as a core function of a video compressor using motion compensation, but also a useful function for image feature extraction and recognition.

【0003】[0003]

【従来の技術】図1は従来の動き検索を説明する図であ
る。図中の符号1は参照画像、2は動き検出対象画像、
3は探索領域、4は動き検出対象ブロックを表わしてい
る。
2. Description of the Related Art FIG. 1 is a diagram for explaining a conventional motion search. In the figure, reference numeral 1 denotes a reference image, 2 denotes a motion detection target image,
Reference numeral 3 denotes a search area, and reference numeral 4 denotes a motion detection target block.

【0004】従来、動き検出では、図1に示すように検
出対象ブロック4のみを、差異度評価用テンプレートと
し、参照画像1の一定の領域(探索領域)内で最も差異
度の小さいブロックを探索し、その結果を移動元ブロッ
クとして予測していた。
Conventionally, in motion detection, as shown in FIG. 1, only a detection target block 4 is used as a difference evaluation template, and a block having the smallest difference is searched for in a fixed area (search area) of the reference image 1. Then, the result was predicted as the movement source block.

【0005】この方法では、空、壁、芝生などのように
明るさ、模様が一様な場合には、移動元のブロックが必
ずしも最小の差異度を持つわけではなく、そのために、
移動元のブロックを正しく予測できなくなり、一様な動
きにも関わらず動きベクトルがばらつくことがあった。
In this method, when the brightness and the pattern are uniform, such as in the sky, on a wall, or on a lawn, the source block does not necessarily have the minimum degree of difference.
In some cases, the source block cannot be predicted correctly, and the motion vector varies in spite of uniform motion.

【0006】特に、演算量低減のためにサブサンプリン
グした画像に対して動き探索を行うような場合には、探
索精度が低下し、この傾向が強く現れる。それでも、動
き検出を符号化の動き補償に用いる場合では、移動元ブ
ロックの検出を誤っても、予測ブロックの差異度が移動
元との差異度より小さいわけであるから、圧縮率や画質
に悪影響は与えないとして、これまであまり問題視され
てこなかった。
In particular, when a motion search is performed on a sub-sampled image in order to reduce the amount of calculation, the search accuracy is reduced, and this tendency appears strongly. Nevertheless, when motion detection is used for motion compensation in coding, even if the source block is erroneously detected, the degree of difference between the predicted block and the source block is smaller than that of the source block. Has not been considered a problem so far.

【0007】しかし、この動きベクトルの誤検出は、決
して無視できる問題ではない。その理由は、もともと一
様な動きをしている領域に対して、不揃いの動きベクト
ルが大量に出ると、動きベクトルの符号化に必要な符号
量が大幅に増加して、その結果、圧縮率が低下したり、
画質が低下してしまうからである。
However, this false detection of a motion vector is not a problem that can be ignored. The reason is that if a large number of irregular motion vectors appear in a region that originally moves uniformly, the amount of code required to encode the motion vector will increase significantly, and as a result, the compression ratio Decreases,
This is because the image quality is reduced.

【0008】[0008]

【発明が解決しようとする課題】最近、このような認識
のもとに考案された隣接する動きベクトルを半強制的に
揃える図2に示す動きベクトル検出法により、映像符号
化時の画質が大きく改善されることが示された(199
8年電子情報通信学会総合全国大会 D−11−50
MPEG2ビデオ符号化における画質改善の検討)。こ
の方法では、符号化対象ブロックの動きベクトルを求め
る際に、あらかじめ自身n(図1におけるブロックn)
とそれに対して符号化順で前後の近傍に位置するいくつ
かのブロックn−5〜n−1およびn+1〜n+5(図
1におけるn−2,n−1,n+1,n+2など)のそ
れぞれについて、最小の差異度に定数倍した値以下の差
異度内に納まる予測ブロック候補の動きベクトル(動き
ベクトルの候補)を求めておき、その中から近傍ブロッ
クの予測ブロックと動きベクトルが互いに揃う予測ブロ
ック候補を差異度の小ささより優先して最終的な動きベ
クトルを決定する。
Recently, the motion vector detecting method shown in FIG. 2, which has been devised based on such recognition and semi-forcibly aligns adjacent motion vectors, has a large image quality at the time of video encoding. (199)
2008 IEICE General Conference D-11-50
Study of image quality improvement in MPEG2 video coding). In this method, when the motion vector of the encoding target block is obtained, n (block n in FIG. 1) is determined in advance.
And several blocks n-5 to n-1 and n + 1 to n + 5 (n-2, n-1, n + 1, n + 2, etc. in FIG. 1) located in front and behind in the coding order. A motion vector of a predicted block candidate (candidate of a motion vector) that falls within a difference value equal to or less than a value obtained by multiplying the minimum difference value by a constant is obtained, and a predicted block candidate and a motion vector of a neighboring block are aligned with each other. Is prioritized over the small degree of difference to determine the final motion vector.

【0009】図2において、 ブロックn−5の動きベクトル候補:C,D,E,G,
H,I→E とあるのは、ブロックn−5が(i)あるブロックから
ベクトルCで表される動きによって得られた可能性があ
り、(ii)また他のあるブロックからベクトルDで表さ
れる動きによって得られた可能性があり、…(vi)また
他のあるブロックからベクトルIで表される動きによっ
て得られた可能性があったが最終的に近傍のブロックの
動きベクトルを考慮した結果でベクトルEで表される動
きによって得られたものとされることとなったことを表
現している。勿論、他のブロックn−4,n−3,…
n,…,n+4,n+5についても同様であると考えて
よい。
In FIG. 2, motion vector candidates for block n-5: C, D, E, G,
H, I → E means that block n-5 may have been obtained by (i) the motion represented by vector C from one block, and (ii) represented by vector D from some other block. (Vi) may have been obtained by a motion represented by a vector I from another certain block, but finally consider the motion vector of a neighboring block. The result indicates that the result is obtained by the motion represented by the vector E. Of course, the other blocks n-4, n-3,...
The same applies to n,..., n + 4, and n + 5.

【0010】しかし、図2に示す動きベクトル検出法に
よる、この方法では、近傍ブロックと動きベクトルを揃
えるために、近傍ブロックの動きベクトルの決定と同時
でないと、動きベクトルの決定ができなくなり、ブロッ
ク単位の規則的なパイプライン処理を乱してしまう。即
ち、近傍ブロックとの同時決定を矛盾なく行おうとする
と、動きベクトルが似通う可能性のあるブロックのすべ
てについて、同時決定を行わねばならず、通常は1スラ
イス(画像がm行、n列のブロックからなるとすれば、
その1行分のこと)を単位に動きベクトルを決定しなけ
ればならなくなるからである。
However, in this method based on the motion vector detection method shown in FIG. 2, in order to align the motion vector with the neighboring block, the motion vector cannot be determined unless the motion vector of the neighboring block is determined at the same time. Disrupts the regular pipeline processing of the unit. That is, if simultaneous determination with neighboring blocks is to be performed without inconsistency, simultaneous determination must be performed for all blocks that may have similar motion vectors, and usually one slice (image having m rows and n columns) is required. If it consists of blocks,
This is because it is necessary to determine a motion vector in units of one row).

【0011】このために、動き検出処理がスライスの最
後のブロックまで終わってからでないと、そのスライス
の各ブロックの動き検出以降の処理が始められなくな
り、ブロック単位で規則的なパイプライン処理可能な従
来処理に比べて、ハードウェア構成が複雑化してしま
う。また、画像の内容によっては、動きベクトル候補が
大量に出て、この中から最も適切な動きベクトルを実時
間で選択しようとすると、かなりのハードウェアが必要
になる欠点もある。
For this reason, the processing after the motion detection of each block of the slice cannot be started until the motion detection processing has been completed up to the last block of the slice, and regular pipeline processing can be performed in block units. The hardware configuration is complicated as compared with the conventional processing. In addition, there is a drawback that depending on the contents of the image, a large number of motion vector candidates appear, and considerable hardware is required to select the most appropriate motion vector from the motion vectors in real time.

【0012】本発明は、動き検出対象ブロックと参照画
像内の予測ブロックとの間の差異度を増加させることな
く、互いに隣接するブロック間の動きベクトルの差分を
必要最小限にまで低減する動き検出器を、ブロック単位
の処理サイクルごとに同一処理を繰り返す単純なハード
ウェア構成で実現することを目的としている。
According to the present invention, motion detection is performed to reduce the difference between motion vectors between adjacent blocks to a necessary minimum without increasing the degree of difference between a motion detection target block and a prediction block in a reference image. It is an object of the present invention to realize a device with a simple hardware configuration that repeats the same processing for each processing cycle in block units.

【0013】[0013]

【課題を解決するための手段】本発明では、従来のよう
に動き検出対象のブロックを単独でテンプレートとして
参照画像中を探索するだけでなく、検出順で直前に位置
する隣接ブロック(先行隣接ブロック)あるいは直後に
位置する隣接ブロック(後行隣接ブロック)と検出対象
ブロックとを連結したものをテンプレートとして参照画
像中を探索するようにし、単独テンプレートに比べて差
異度がわずかに上回るだけの場合には、連結テンプレー
トの探索結果が優先的に選ばれるようにすることで、隣
接ブロック間で動きベクトルが揃うようにしようとする
ものである。また、これに加えて、連結テンプレートの
探索結果の中でも、先行隣接ブロックの動きベクトルに
近い動きベクトルを優先的に選択するようにして、隣接
ブロック間で動きベクトルがさらに揃いやすくしてい
る。
According to the present invention, not only a conventional motion detection block alone is used as a template to search in a reference image, but also an adjacent block (preceding adjacent block) located immediately before in the detection order. ) Or a block obtained by connecting the immediately adjacent block (subsequent adjacent block) and the block to be detected is used as a template to search the reference image. If the difference is slightly higher than that of the single template, Is to make the search result of the connected template preferentially selected so that the motion vectors are aligned between adjacent blocks. In addition, a motion vector closer to the motion vector of the preceding adjacent block is preferentially selected from the search results of the connected template, so that the motion vectors are more easily aligned between the adjacent blocks.

【0014】なお連結テンプレートの探索は、そのまま
正直に行うと、演算量が倍以上に増加する。これを避け
るために、隣接ブロックの動き検出で求めた単独の差異
度を全て保持しておき、動き検出対象について単独の差
異度を求めると同時に、その得られた差異度と保持して
ある隣接ブロックの同一の動きベクトルを与える予測ブ
ロック候補の差異度とを加算することで、連結テンプレ
ートの差異度を求める。これは、連結テンプレートを単
位とした探索を一々行わないことを意味している。
If the search for a linked template is performed directly and honestly, the amount of calculation is more than doubled. In order to avoid this, all the single difference degrees obtained by the motion detection of the adjacent block are held, and the single difference degree is obtained for the motion detection target, and at the same time, the obtained difference and the stored adjacent difference are stored. The difference degree of the connected template is obtained by adding the difference degree of the prediction block candidate giving the same motion vector of the block. This means that the search is not performed for each connected template.

【0015】この隣接ブロックの差異度との加算結果に
対しては、隣接ブロックの差異度が検出対象のそれと同
程度に小さい場合に、連結テンプレートに対する差異度
が検出対象ブロック単独に対する差異度より小さくなる
ように適当に重み付けを行って、連結時に差異度の小さ
くなる評価位置が優先的に選ばれるようにする。
With respect to the result of addition with the difference degree of the adjacent block, when the difference degree of the adjacent block is as small as that of the detection target, the difference degree of the connected template is smaller than the difference degree of the detection target block alone. Weighting is appropriately performed so that the evaluation position with the smaller degree of difference at the time of connection is preferentially selected.

【0016】[0016]

【発明の実施の形態】(第1の実施例)図3は、探索の
テンプレートとして、本来の検出対象ブロックに、先行
隣接ブロックを等価的に連結したものを用いることがで
きるようにした本発明の第1の実施例のブロック図であ
る。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS (First Embodiment) FIG. 3 shows an embodiment of the present invention in which an original block to be detected is equivalently connected to a preceding adjacent block as a search template. FIG. 3 is a block diagram of a first embodiment of FIG.

【0017】この図で、10は、参照画像の探索領域の
必要な位置を各ブロックサイクル毎に決まった順番で予
測ブロック候補Pとして切り出し、動き検出の対象ブロ
ック単体に対する差異度Aを計算し、その結果の差異度
Aと切り出し位置とを評価位置(動きベクトルに対応)
として出力する差異度評価器である。20は、差異度評
価結果を1ブロックサイクル遅延させ、差異度Bfとし
て出力する遅延器である。30は、差異度Bfと外部か
ら入力する重み係数Mとの積をとり、差異度B'fとして
出力する乗算器である。
In this figure, reference numeral 10 denotes a necessary position of a search area of a reference image, which is cut out as a predicted block candidate P in a predetermined order for each block cycle, and calculates a difference A with respect to a single target block for motion detection; The difference A of the result and the cutout position are evaluated at the evaluation position (corresponding to the motion vector).
Is a difference degree evaluator output as A delay unit 20 delays the difference evaluation result by one block cycle and outputs the result as the difference Bf. Reference numeral 30 denotes a multiplier that takes the product of the difference Bf and a weight coefficient M input from the outside and outputs the product as the difference B'f.

【0018】40は、差異度評価器10から直接入力さ
れる差異度Aと、差異度B'fとの和を計算して出力する
加算器である。32は、加算器40からの入力と外部か
ら入力する重み係数Nとの積をとり、補正差異度として
出力する乗算器である。
Reference numeral 40 denotes an adder for calculating and outputting the sum of the difference A directly input from the difference evaluator 10 and the difference B'f. A multiplier 32 calculates a product of an input from the adder 40 and a weight coefficient N input from the outside, and outputs the result as a correction difference degree.

【0019】50は、その補正差異度と、差異度評価器
10から直接出力される差異度Aとを比較し、小さい方
をその評価位置に対する最終的な差異度として出力する
比較選択器である。60は、毎ブロックサイクルで、評
価位置が更新されるごとに比較選択器50から送られて
くる最終差異度が、それまでの最小値として保持してい
る差異度より小さければ、新たな最小差異度として、評
価位置と対で置き換える最小値&評価位置保持器であ
る。ここでブロックサイクルとは、1つの検出対象ブロ
ックに対して、探索の必要な位置の全ての差異度を評価
する処理サイクルのことである。
Reference numeral 50 denotes a comparison selector which compares the corrected difference with the difference A directly output from the difference evaluator 10, and outputs the smaller one as the final difference with respect to the evaluation position. . In each block cycle, if the final difference sent from the comparison selector 50 every time the evaluation position is updated is smaller than the difference held as the previous minimum value, the new minimum difference 60 The degree is a minimum value & evaluation position holder to be replaced with the evaluation position as a pair. Here, the block cycle is a processing cycle for evaluating all the degrees of difference at the positions requiring search with respect to one detection target block.

【0020】この実施例は、検出対象ブロックと参照画
像とが入力される毎に、差異度評価器10は参照画像の
必要な位置のブロックを検出対象ブロックの予測ブロッ
ク候補Pとして順次切り出し、検出対象ブロックに対す
る差異度を計算し、出力する。また、同時にその切り出
し位置を評価位置として出力する。
In this embodiment, every time a detection target block and a reference image are input, the difference degree evaluator 10 sequentially cuts out a block at a required position of the reference image as a prediction block candidate P of the detection target block, and performs detection. Calculate and output the difference degree for the target block. At the same time, the cutout position is output as an evaluation position.

【0021】遅延器20は、差異度評価器10から受け
取る差異度Aを丁度1ブロックサイクルだけ遅延させ
る。その結果、加算器40には、差異度評価器10から
直接与えられる差異度Aと、差異度B'fとが、同じタイ
ミングで入力される。ここで、差異度B'fとは、動き検
出が丁度1ブロックサイクル先行する所の評価位置が同
一の先行隣接ブロックに対して得られている予測ブロッ
ク候補Qfの差異度が、遅延器20で1ブロックサイク
ル遅れて差異度Bfとなり、それに重み係数Mが乗じら
れたものである。
The delay unit 20 delays the difference A received from the difference evaluator 10 by exactly one block cycle. As a result, the difference A directly supplied from the difference evaluator 10 and the difference B′f are input to the adder 40 at the same timing. Here, the difference B′f is the difference of the predicted block candidate Qf obtained with respect to the preceding adjacent block having the same evaluation position where the motion detection precedes by one block cycle, The difference Bf is obtained by delaying by one block cycle and multiplied by the weight coefficient M.

【0022】加算器40では、これら2つの差異度の和
をとる。この和は、検出対象ブロックと先行隣接ブロッ
クとを連結したテンプレートに対する差異度であり、連
結差異度と呼ぶ、このままでは、連結差異度が単独の差
異度Aに比べ大きくなってしまう。したがって乗算器3
2では、連結差異度の重みが差異度Aと同等になるよう
に、重み係数Nと積をとり、補正連結差異度として、比
較選択器50に出力する。
The adder 40 calculates the sum of these two degrees of difference. This sum is a difference degree with respect to the template in which the detection target block and the preceding adjacent block are linked, and is called a connection difference degree. In this state, the connection difference degree becomes larger than the single difference degree A. Therefore, multiplier 3
In step 2, the product is multiplied by the weight coefficient N so that the weight of the connection difference is equal to the difference A, and is output to the comparison selector 50 as the corrected connection difference.

【0023】比較選択器50では、乗算器32からの補
正連結差異度と差異度評価器10からの直接の差異度A
とを比較し、小さい方(等しい場合にはいずれか一方
を)を最小値&評価位置保持器60に出力する。最小値
&評価位置保持器60では、その比較選択器50からの
入力が、自身で保持している同一ブロックサイクル内で
のこれまでの最小の差異度より小さければ、その入力の
最終差異度とそれに対応する評価位置(差異度評価器1
0より直接入力される)を新たな最小差異度とその評価
位置として、保持し直す。さもなくば、最小差異度と評
価位置はそのまま以前からの値を保持している。
In the comparison selector 50, the corrected connection difference from the multiplier 32 and the direct difference A from the difference evaluator 10 are calculated.
And outputs the smaller one (if equal, one of them) to the minimum value & evaluation position holder 60. In the minimum value & evaluation position holding unit 60, if the input from the comparison / selection unit 50 is smaller than the previously stored minimum difference in the same block cycle, the final difference of the input is determined. The corresponding evaluation position (difference evaluator 1
(Directly input from 0) as a new minimum difference and its evaluation position. Otherwise, the minimum difference and the evaluation position retain their previous values.

【0024】探索の1ブロックサイクルが完了すると、
検出対象ブロックに対して、探索の必要な位置の全ての
評価が完了し、最小値&評価位置保持器60には、その
検出対象ブロックに対する最終的な最小差異度とそれに
対応する評価位置とが得られる。最小値&評価位置保持
器60からは、ブロックサイクルごとに、その最小差異
度を与える評価位置を、予測ブロックの位置として、そ
のまま、あるいは動きベクトルに換算して出力する。
When one block cycle of the search is completed,
With respect to the detection target block, all the evaluations of the positions required for the search are completed, and the minimum value & evaluation position holder 60 stores the final minimum difference degree for the detection target block and the evaluation position corresponding thereto. can get. From the minimum value & evaluation position holding unit 60, the evaluation position giving the minimum degree of difference is output as the position of the prediction block as it is or converted into a motion vector for each block cycle.

【0025】ここで、乗算器30,32と加算器40と
からなる部分は、検出対象ブロックの差異度と先行隣接
ブロックの差異度との両者の寄与度が可変の平均器を構
成して補正連結差異度を求めており、重み係数Mを
「1」、重み係数Nを「1/2」に設定すれば、補正連
結差異度が両方の差異度の単純な平均となる。重み係数
Nを「1/2」より小さ目な値に設定すれば、補正連結
差異度は単純平均より小さい値になるので、差異度Bf
が差異度Aと同程度に小さい場合、差異度Aの代わりに
補正連結差異度が最終的な差異度として最小値&評価位
置保持器60に出力されることになる。
Here, the portion composed of the multipliers 30 and 32 and the adder 40 is corrected by forming an averager in which the contribution of both the difference between the detection target block and the difference between the preceding adjacent block is variable. The connection difference degree is obtained, and if the weight coefficient M is set to "1" and the weight coefficient N is set to "1/2", the corrected connection difference degree becomes a simple average of both the difference degrees. If the weight coefficient N is set to a value smaller than "1/2", the corrected connection difference degree becomes smaller than the simple average, so that the difference degree Bf
Is as small as the difference A, the corrected connection difference is output to the minimum value & evaluation position holder 60 as the final difference instead of the difference A.

【0026】以上の動作から明らかなように、本実施例
では、補正連結差異度として、検出対象ブロック自身の
差異度に加え、評価位置が同一の先行隣接ブロックの予
測ブロック候補Qfの差異度も同時に評価することで、
検出対象ブロック単独の差異度Aが最小の差異度Aに比
べて等しいか若干大きくとも、その先行隣接ブロックの
差異度の小さい評価位置が、優先的に選ばれるようにな
る。
As is apparent from the above operation, in the present embodiment, in addition to the difference degree of the detection target block itself, the difference degree of the predicted block candidate Qf of the preceding adjacent block having the same evaluation position is used as the corrected connection difference degree. By evaluating at the same time,
Even if the difference A of the detection target block alone is equal to or slightly larger than the minimum difference A, an evaluation position with a small difference of the preceding adjacent block is preferentially selected.

【0027】従って、空、壁、芝生など明るさや模様が
一様な画像に対しても、単に動き検出対象ブロック単体
の差異度で評価する場合に比べると、動きベクトルは暴
れ難くなり、隣接ブロック間の動きベクトルも揃いやす
くなる。
Therefore, even for an image having a uniform brightness or pattern such as the sky, walls, and lawn, the motion vector is less likely to be violent than in the case of simply evaluating the difference of the motion detection target block alone. The motion vectors between them can be easily aligned.

【0028】当然ながら、この効果は検出精度が低下し
易く、動きベクトルのばらつき易いサブサンプリング画
像に対する動き探索でより有効に働く。また、明るさ、
模様等の違いが明確で、検出対象ブロックの移動元ブロ
ックが1つに限定される場合には、差異度Aが、連結差
異度より小さくなり、実効的に差異度Aで評価されるこ
とになるので、常に連結差異度で評価する場合のように
予測が正しくできなくなるということもない。さらに、
実施例の構成と動作とから明らかなように、全体が常に
ブロック単位の処理で成り立っており、従来例のよう
に、近傍ブロックの動きベクトルが出揃うのを待つ必要
も無く、映像符号化のようにブロック単位の処理装置と
の整合性が高い。
As a matter of course, this effect works more effectively in a motion search for a sub-sampled image in which the detection accuracy tends to decrease and the motion vector tends to vary. Also, brightness,
In the case where the difference of the pattern or the like is clear and the source block of the detection target block is limited to one, the difference A becomes smaller than the connection difference and is effectively evaluated with the difference A. Therefore, there is no possibility that prediction cannot be made correctly unlike the case of always evaluating based on the degree of consolidation difference. further,
As is clear from the configuration and operation of the embodiment, the whole is always constituted by processing in units of blocks, and it is not necessary to wait for the motion vectors of neighboring blocks to be completed as in the conventional example. The consistency with the processing unit in units of blocks is high.

【0029】図4は図3示す第1の実施例についてパイ
プライン処理によって処理が行われてゆく状況を説明す
る図である。なお図4において、(i)A1K, 2K
…………は図3に示される差異度Aに対応し、(ii)A
1K' , 2K' …………は図3に示される差異度Bfに対
応し、(iii) MA1K' ,MA2K' ……は図3に示される
差異度B'fに対応している。差異度評価器10は、時間
の経過に対応するサイクル毎に、(A1K,1K),(A
2K, 2K),(A3K, 3K),(A4K, 4K),(A
5K, 5K)を出力する。遅延器20は、乗算器30、加
算器40、乗算器32は、夫々のサイクル毎に、図示の
出力を発することになる。比較選択器50は、図示の如
く、例えばN(MA1K' +A2K)とA2Kとの小さい方を
出力する。また最小値&評価位置保持器60は、図示の
如く、例えばB2KとSh2との小さい方を出力する。そし
て1ブロックサイクル完了後に、評価位置Ph2を、その
ままか、動きベクトルに変換して出力する。
FIG. 4 is a diagram for explaining a situation in which processing is performed by pipeline processing in the first embodiment shown in FIG. In FIG. 4, (i) A 1K, A 2K
... Correspond to the degree of difference A shown in FIG.
1K ', A 2K' ............ corresponds to the difference of Bf shown in FIG. 3, in response to (iii) MA 1K ', MA 2K' differential degrees B'f ...... is illustrated in FIG. 3 I have. The difference degree evaluator 10 calculates (A 1K, P 1K ), (A
2K, P2K ), ( A3K, P3K ), ( A4K, P4K ), (A
5K, P 5K ) is output. The delay unit 20, the multiplier 30, the adder 40, and the multiplier 32 emit the output shown in each cycle. The comparison selector 50 outputs, for example, the smaller one of N (MA 1K ′ + A 2K ) and A 2K as shown in the figure. Minimum & Rating position retainer 60 also, as shown, and outputs the smaller, for example, B 2K and S h2. Then, after one block cycle is completed, the evaluation position Ph2 is output as it is or converted into a motion vector.

【0030】(第2の実施例)図5は、探索のテンプレ
ートを、検出対象のブロックに加えて、先行隣接ブロッ
クと後行隣接ブロックとの両方を等価的に連結して構成
する本発明の第2の実施例のブロック図である。図3の
第1の実施例に対する相異点は、 遅延器20を1個追加し、もともとの遅延器20と
直列接続とし、その前段の遅延器20から差異度Aを引
き出し、後段の遅延器20から差異度Bfを引き出すよ
うにしたこと、 差異度評価器10からの直接の出力を差異度Bbと
して引き出し、追加した乗算器31を介し、入力数を
「2」から「3」に増やした加算器41に入力するよう
にしたこと、 遅延器20’を追加し、最小値&評価位置保持器6
0へ入力する評価位置が1ブロックサイクル遅れるよう
にしたことの3点である。
Second Embodiment FIG. 5 shows a search template according to the present invention in which a search template is constructed by equivalently connecting both a preceding adjacent block and a succeeding adjacent block in addition to a block to be detected. It is a block diagram of a 2nd example. The difference from the first embodiment shown in FIG. 3 is that one delay unit 20 is added, the original delay unit 20 is connected in series, the difference A is extracted from the preceding delay unit 20, and the subsequent delay unit is added. The difference Bf is derived from 20. The direct output from the difference evaluator 10 is drawn as the difference Bb, and the number of inputs is increased from “2” to “3” via the added multiplier 31. The input to the adder 41, the delay unit 20 'is added, and the minimum value & evaluation position holder 6
The three points are that the evaluation position input to 0 is delayed by one block cycle.

【0031】これらの変更により、差異度Aは差異度B
bに対して1ブロックサイクル遅れた差異度、差異度B
fは差異度Aに対して1ブロックサイクル遅れた差異度
の関係になる。同一タイミングで見れば、差異度Aを検
出対象ブロックに対する予測ブロック候補Pの差異度と
すると、差異度Bfは先行隣接ブロックに対する予測ブ
ロック候補Qfの差異度、差異度Bbは後行隣接ブロッ
クに対する予測ブロック候補Qbの差異度となる。各遅
延器の遅延量を丁度1ブロックサイクルに設定している
ので、それぞれの予測ブロック候補P,Qf,Qbの評
価位置は全て等しくなる。
Due to these changes, the difference A becomes the difference B
b, one block cycle later than b, difference B
f has a relationship of the difference A delayed by one block cycle with respect to the difference A. At the same timing, assuming that the difference A is the difference between the prediction block candidate P and the detection target block, the difference Bf is the difference between the prediction block candidate Qf with respect to the preceding adjacent block and the difference Bb is the prediction with respect to the succeeding adjacent block. The difference is the difference between the block candidates Qb. Since the delay amount of each delay unit is set to exactly one block cycle, the evaluation positions of the predicted block candidates P, Qf, and Qb are all equal.

【0032】これは、予測ブロック候補Pから検出対象
ブロックへの動きベクトルと、予測ブロック候補Qfか
ら先行隣接ブロックへの動きベクトルと、予測ブロック
候補Qbから後行隣接ブロックへの動きベクトルとが、
すべて同じになること、換言すると、検出対象ブロッ
ク、先行隣接ブロック、後行隣接ブロックを連結し、そ
れをテンプレートとしてある動きベクトルを与える評価
位置に対する差異度を評価していることを意味してい
る。
This is because the motion vector from the predicted block candidate P to the detection target block, the motion vector from the predicted block candidate Qf to the preceding adjacent block, and the motion vector from the predicted block candidate Qb to the succeeding adjacent block are:
In other words, it means that the detection target block, the preceding neighboring block, and the succeeding neighboring block are connected to each other, and the degree of difference with respect to the evaluation position at which a certain motion vector is given as a template is evaluated. .

【0033】差異度BfとBbとは、それぞれ乗算器3
0と31とで重み係数Mb,Mcとの積をとり、差異度
Aはそのままで、加算器に入力される。乗算器30,3
1,32,加算器41は、入力の寄与度可変の平均器で
あり、重み係数Mb,Mc,Nを適切に設定することに
より、差異度Bf,Bbが差異度Aと同程度に小さい場
合に、差異度Aより小さい値が補正連結差異度として、
最小値&評価位置保持器60に入力されるようになる。
The differences Bf and Bb are calculated by the multiplier 3
The product of the weighting factors Mb and Mc is calculated by using 0 and 31, and the difference A is input to the adder as it is. Multipliers 30, 3
1, 32 and the adder 41 are variable averagers of the input contribution. When the difference coefficients Bf and Bb are as small as the difference A by appropriately setting the weighting coefficients Mb, Mc and N. The value smaller than the difference A is the corrected connection difference,
It is input to the minimum value & evaluation position holder 60.

【0034】その結果として、差異度Bf,Bbが差異
度Aと同程度に小さい場合、すなわち先行隣接ブロック
と後行隣接ブロックに対する差異度が、検出対象ブロッ
クに対する差異度と同程度に小さい場合、補正連結差異
度が、検出対象ブロック単独に対する差異度Aより小さ
くなり、そうでない場合に比べ優先されて最小値&評価
位置保持器に残ることになる。この第2の実施例では、
連結ブロックのサイズが大きくなるので、参照画像の明
るさや模様が一様な場合では、動きベクトルのばらつき
を第1の実施例以上に抑圧することができる。同じ効果
で、前後のベクトルが第1の実施例より一層揃いやすく
なる。
As a result, when the differences Bf and Bb are as small as the difference A, that is, when the difference between the preceding adjacent block and the succeeding adjacent block is as small as the difference between the detection target block and The corrected connection difference degree becomes smaller than the difference degree A for the detection target block alone, and remains in the minimum value & evaluation position holder with higher priority than in the case where it is not the case. In this second embodiment,
Since the size of the concatenated block becomes large, the variation of the motion vector can be suppressed more than in the first embodiment when the brightness and the pattern of the reference image are uniform. With the same effect, the front and rear vectors are more easily aligned than in the first embodiment.

【0035】図6は図5に示す第2の実施例についてパ
イプライン処理によって処理が行われてゆく状況を説明
する図である。なお図6において、(i)C1K, 2K
………………は図5に示される差異度Bbに対応し、
(ii)C1K' , 2K' ………………は図5に示される差
異度Aに対応し、(iii) C1K" , 2K" ……………は
図5に示される差異度Bfに対応し、(iv) MbC1K"
, MbC2K" ……は図5に示される差異度B'fに対応
し、(v)McC1K, McC2K ………は図5に示され
る差異度B'bに対応している。差異度評価器10ないし
最小値&評価位置保持器60が夫々出力する値は、図4
の場合と同様に、図6における枠内に示されている。
FIG. 6 is a view for explaining a situation in which processing is performed by pipeline processing in the second embodiment shown in FIG. In FIG. 6, (i) C 1K, C 2K
... Correspond to the degree of difference Bb shown in FIG.
(Ii) C 1K, C 2K ′... Correspond to the difference A shown in FIG. 5, and (iii) C 1K, C 2K ”... (Iv) MbC 1K "corresponding to the degree of difference Bf
, MbC 2K "... Correspond to the degree of difference B'f shown in FIG. 5, and (v) McC 1K, McC 2K ... Correspond to the degree of difference B'b shown in FIG. The values output by the degree evaluator 10 or the minimum value & evaluation position holder 60 are shown in FIG.
6 is shown in the frame in FIG.

【0036】(第3の実施例)第1,2の実施例は、動
きベクトルがばらつき難くなる反面、領域の境界部分に
連結テンプレートが重なると補正連結差異度が大きくな
って、連結テンプレートの評価位置が残り難くなり、動
きベクトルを揃える効果が低下する問題がある。
(Third Embodiment) In the first and second embodiments, although the motion vector is less likely to vary, when the connected template overlaps the boundary of the area, the corrected connection difference degree increases, and the evaluation of the connected template is increased. There is a problem that the position is hardly left and the effect of aligning the motion vectors is reduced.

【0037】図7は、この問題を解決するために、先行
隣接ブロックと検出対象ブロックとの連結、後行隣接ブ
ロックと検出対象ブロックとの連結、両方の隣接ブロッ
クと検出対象ブロックとの連結、検出対象ブロック単独
の4種類のテンプレートを同時に評価するようにした第
3の実施例のブロック図である。この図に示されるよう
に、第2の実施例との違いは、 先行隣接ブロックと検出対象ブロックとの連結テン
プレートに対する差異度を評価するための加算器42と
乗算器34とを追加したこと、 後行隣接ブロックと検出対象ブロックとの連結テン
プレートに対する差異度を評価するための加算器43と
乗算器35とを追加したこと、 比較選択器51を、2入力から4入力に拡張したこ
との3点である。
To solve this problem, FIG. 7 shows a connection between a preceding adjacent block and a detection target block, a connection between a subsequent adjacent block and a detection target block, a connection between both adjacent blocks and a detection target block, FIG. 13 is a block diagram of a third embodiment in which four types of templates of a detection target block alone are simultaneously evaluated. As shown in this figure, the difference from the second embodiment is that an adder 42 and a multiplier 34 for evaluating the degree of difference between the preceding adjacent block and the detection target block with respect to the connected template are added. Adding an adder 43 and a multiplier 35 for evaluating the degree of difference between the succeeding adjacent block and the detection target block with respect to the connected template; and expanding the comparison selector 51 from two inputs to four inputs. Is a point.

【0038】この構成から明らかなように、追加した乗
算器34,35に与える重み係数N2,N3を適切に設
定することで領域の境界が一方の隣接ブロックとだけ重
なり、その境界側の隣接ブロックを含むテンプレートの
補正連結差異度が大きくなっても、境界と反対側の隣接
ブロックとの連結テンプレートに対する補正連結差異度
が小さくなり易いままで残る。従って、隣接ブロックに
境界が重なる場合でも、検出対象ブロックの動きベクト
ルが、境界とは反対側の隣接ブロックの動きベクトルに
揃い易くすることが可能になる。
As is apparent from this configuration, by appropriately setting the weighting factors N2 and N3 to be applied to the added multipliers 34 and 35, the boundary of the area overlaps only one adjacent block, and the adjacent block on the boundary side is overlapped. Even if the corrected connection difference degree of the template including is large, the corrected connection difference degree of the connection template with the adjacent block on the opposite side to the boundary remains easily reduced. Therefore, even when the boundary overlaps with the adjacent block, the motion vector of the detection target block can be easily aligned with the motion vector of the adjacent block on the opposite side of the boundary.

【0039】図8は図7に示す第3の実施例についてパ
イプライン処理によって処理が行われてゆく状況を説明
する図である。なお図8において、(i)C1K, 2K
……………は図7に示される差異度Bbに対応し、
(ii)C1K' , 2K' ……………は図7に示される差異
度Aに対応し、(iii) C1K" , 2K" …………は図7
に示される差異度Bfに対応し、(iv) MbC1K" ,
bC2K" …は図7に示される差異度B'fに対応し、
(v)McC1K, McC2K………は図7に示される差異
度B'bに対応している。差異度評価器10ないし最小値
&評価位置保持器60が夫々出力する値は、図4や図6
の場合と同様に、図8における枠内に示されている。
FIG. 8 is a diagram for explaining a situation in which processing is performed by pipeline processing in the third embodiment shown in FIG. In FIG. 8, (i) C 1K, C 2K
... Correspond to the degree of difference Bb shown in FIG.
(Ii) C 1K, C 2K ′... Correspond to the degree of difference A shown in FIG. 7, and (iii) C 1K, C 2K ”.
(Iv) MbC 1K, M
bC 2K "... corresponds to the degree of difference B'f shown in FIG.
(v) McC 1K, McC 2K ... correspond to the degree of difference B′b shown in FIG. The values output by the difference degree evaluator 10 or the minimum value & evaluation position holder 60 are shown in FIGS.
8 is shown in the frame in FIG.

【0040】(第4の実施例)図9は本発明の第4の実
施例である。第1の実施例との違いは、乗算器33、保
持器65、距離計算器70、変換テーブル80で構成す
る差異度修飾機構を追加している点である。
(Fourth Embodiment) FIG. 9 shows a fourth embodiment of the present invention. The difference from the first embodiment is that a difference degree modification mechanism including a multiplier 33, a holder 65, a distance calculator 70, and a conversion table 80 is added.

【0041】この差異度修飾機構では、保持器65に保
持している先行隣接ブロックの予測ブロックの位置(動
きベクトルに相当)と検出対象ブロックの評価位置との
距離を計算する距離計算器70からの出力を、変換テー
ブル80を介して、乗算器33に与えている。
In this difference degree modification mechanism, a distance calculator 70 for calculating a distance between a position of a prediction block (corresponding to a motion vector) of a preceding adjacent block held in a holder 65 and an evaluation position of a detection target block. Is provided to the multiplier 33 via the conversion table 80.

【0042】変換テーブル80は、距離が所定の閾値を
下回ったならば、距離値が小さいほど小さい値が乗算器
に与えられるように設定することで、先行隣接ブロック
の動きベクトルに近い評価位置で、最終的な差異度が小
さくなりやすくして、先行隣接ブロックの動きベクトル
に近い位置の予測ブロック候補が予測ブロックとして選
ばれ易くする。
If the distance falls below a predetermined threshold, the conversion table 80 is set so that the smaller the distance value is, the smaller the value is given to the multiplier. , The final difference degree is likely to be small, and the prediction block candidate at a position close to the motion vector of the preceding adjacent block is easily selected as the prediction block.

【0043】この機能によって、第1の実施例以上に隣
接するブロックの動きベクトルを揃いやすくすることが
できる。もちろん、検出対象ブロックの差異度に加え
て、先行や後行の隣接ブロックとの連結テンプレートの
差異度をも評価する第2、第3の実施例に対しても、本
実施例で組み込んでいる重み係数切替機構を組み込むこ
とは可能で、それによって、隣接するブロックの動きベ
クトルを一層揃いやすくすることができる。
With this function, the motion vectors of adjacent blocks can be more easily aligned than in the first embodiment. Of course, this embodiment incorporates the second and third embodiments in which the difference between the linked template with the preceding or succeeding adjacent block is evaluated in addition to the difference between the detection target blocks. It is possible to incorporate a weighting factor switching mechanism, thereby making it easier to align the motion vectors of adjacent blocks.

【0044】図10は図9に示す第4の実施例について
パイプライン処理によって処理が行われてゆく状況を説
明する図である。なお図10において、(i)A1K,
2K …………は図9に示される差異度Aに対応し、(i
i)A1K' , 2K' ………は図9に示される差異度Bf
に対応し、(iii) MA1K' ,MA2K' …は図9に示され
る差異度B'fに対応している。差異度評価器10ないし
最小値&評価位置保持器60が夫々出力する値は、図4
や図6や図8の場合と同様に、図10における枠内に示
されている。
FIG. 10 is a diagram for explaining a situation in which processing is performed by pipeline processing in the fourth embodiment shown in FIG. In FIG. 10, (i) A 1K, A
2K ... Correspond to the degree of difference A shown in FIG.
i) A 1K, A 2K ′... are the degrees of difference Bf shown in FIG.
(Iii) MA 1K ′, MA 2K ′... Correspond to the difference B′f shown in FIG. The values output by the difference degree evaluator 10 or the minimum value & evaluation position holder 60 are shown in FIG.
As in the case of FIG. 6, FIG. 6 and FIG. 8, it is shown in the frame in FIG.

【0045】なお、以上の4つの実施例では、各差異度
に対する重み付けあるいは補正を、理解が容易なように
いずれも乗算器を用いて、重み係数を乗ずることで実現
している。しかし、乗算器の多用は、ハードウェア規模
増加の原因となる。ハードウェア規模を優先する場合に
は、乗算器の代わりに減算器を用いて入力の差異度から
それの2のべき乗分の1を減ずる方法がある。この方法
では、任意の重み係数を与えられなくなるものの、ハー
ドウェア規模は大幅に低減できる。
In the above four embodiments, weighting or correction for each difference is realized by multiplying by a weight coefficient using a multiplier for easy understanding. However, heavy use of the multiplier causes an increase in hardware scale. When priority is given to the hardware scale, there is a method in which a subtracter is used instead of a multiplier to subtract one power of 2 from the input difference degree. With this method, an arbitrary weighting factor cannot be given, but the hardware scale can be significantly reduced.

【0046】また、以上の4つの実施例では、隣接ブロ
ックに対して検出対象ブロックの場合と同一の動きベク
トルを与える予測ブロックの差異度の参照についても、
理解が容易なように、いずれも遅延器を用いて、1ブロ
ックサイクル、あるいは、2ブロックサイクル遅らせる
ことで、実現している。
Further, in the above four embodiments, the reference of the difference degree of the prediction block which gives the same motion vector to the adjacent block as that of the detection target block is also performed.
In order to make it easy to understand, they are realized by delaying one block cycle or two block cycles using a delay device.

【0047】確かに、この方法は、検出対象ブロックに
対する探索範囲がいつも固定の場合に適した方法であ
る。しかし、画像の動きに応じて探索範囲を適応的にず
らすような探索では、検出対象ブロックと探索領域の関
係がブロックサイクルごとに異なるために、探索範囲内
を固定的な順番で走査したとしても、遅延時間一定の遅
延器では、動きベクトルが同一の差異度を参照すること
はできない。
Indeed, this method is suitable for a case where the search range for the detection target block is always fixed. However, in a search in which the search range is adaptively shifted according to the motion of the image, the relationship between the detection target block and the search area differs for each block cycle, so even if the search range is scanned in a fixed order. In a delay unit having a fixed delay time, motion vectors cannot refer to the same degree of difference.

【0048】この場合には、評価位置と差異度との対応
テーブルをメモリで構成し、隣接ブロックの対応テーブ
ルから評価位置が検出対象ブロックと同一の差異度を読
み出すことで実現することができる。ただし、この方法
では、探索範囲が隣接ブロックと異なる場合に、隣接ブ
ロックの対応テーブルには、同一の評価位置が存在しな
いことがある。この場合には、最大の差異度が読み出さ
れるようにして、その位置の連結補正差異度が、単独の
差異度を大きく上回るようにして、最終的な差異度とし
て残らないようにする。こうすることによって、同一の
評価位置が隣接ブロックの探索に存在した場合にだけ、
連結補正差異度が、単独の差異度より小さくなりうるよ
うにすることができる。
In this case, the correspondence table between the evaluation position and the degree of difference can be realized by a memory, and the difference degree whose evaluation position is the same as that of the detection target block is read from the correspondence table of the adjacent block. However, in this method, when the search range is different from the adjacent block, the same evaluation position may not exist in the correspondence table of the adjacent block. In this case, the maximum degree of difference is read out, and the linked correction degree of difference at that position is made to greatly exceed the degree of difference alone, so as not to remain as the final degree of difference. By doing so, only when the same evaluation position exists in the search for the adjacent block,
It is possible that the connection correction difference degree can be smaller than the single difference degree.

【0049】上記説明において、第1の実施例ないし第
4の実施例について本発明を実現するための装置として
の構成を説明した。しかし、本発明は当該装置して実現
可能であるだけでなく、第1の実施例を実現する第3図
図示のブロック図、第2の実施例を実現する第5図図示
のブロック図、第3の実施例を実現する第7図図示のブ
ロック図、および第4の実施例を実現する第9図図示の
ブロック図の夫々について、当該各ブロック図に示され
る処理の流れをいわばそのままフローチャートの形に書
き替えることが可能であり、このようなフローチャート
したがって処理の流れをもって、本発明に対応する動き
検出方法を具現化した方法とみなすことができる。本発
明は当該動き検出方法も権利範囲に含むものであり、請
求項6ないし請求項10に記述されている。
In the above description, the configuration of the first to fourth embodiments as an apparatus for realizing the present invention has been described. However, the present invention can be realized not only by the device, but also by the block diagram shown in FIG. 3 for realizing the first embodiment, the block diagram shown in FIG. 5 for realizing the second embodiment, and FIG. For each of the block diagram shown in FIG. 7 for realizing the third embodiment and the block diagram shown in FIG. 9 for realizing the fourth embodiment, the flow of the processing shown in each block diagram will be described as it is. It is possible to rewrite the shape, and such a flowchart and a flow of the process can be regarded as a method embodying the motion detection method according to the present invention. The present invention also includes the motion detection method within the scope of rights, and is described in claims 6 to 10.

【0050】また更に、当該動き検出方法は、データ処
理装置が実行可能なプログラムをもって表現することが
可能である。したがって、本発明は当該動き検出方法の
プログラムを記録した記録媒体も権利範囲に含むもので
あり、請求項11ないし請求項15に記述されている。
Further, the motion detection method can be expressed by a program executable by the data processing device. Therefore, the present invention also includes a recording medium on which the program of the motion detection method is recorded, as described in claims 11 to 15.

【0051】[0051]

【発明の効果】以上説明したように、本発明によれば、
画像の明るさや模様が一様な場合、検出対象ブロックに
隣接ブロックを連結したテンプレートで評価されること
になるので、このような場合に動きベクトルがばらつき
難くなると共に、隣接するブロック間の動きベクトルも
揃い易くなる。また、明るさや模様の違いがはっきりし
て、移動元のブロックが1つに特定される場合には、検
出対象ブロック単独のテンプレートで評価されることに
なるので、常に連結したテンプレートしか用いない場合
のように予測ブロックの検出に失敗し易くなる心配もな
い。さらに、ブロック単位の処理で実現可能であり、映
像符号化のようにブロック単位のパイプライン処理で実
現する装置との整合性が高い。このように、本発明は、
ハードウェアの規模増や複雑化を最小限に押さえて、隣
接するブロック間の動きベクトルを揃いやすくできるの
で、高性能な動き検出器を経済的に実現するのに極めて
有用である。
As described above, according to the present invention,
If the brightness or pattern of the image is uniform, the evaluation is performed using a template in which the adjacent block is connected to the detection target block. In such a case, the motion vector is less likely to vary, and the motion vector between the adjacent blocks is reduced. Also become easier. Also, when the difference in brightness and pattern is clear and the source block is specified as one, the block to be detected is evaluated using the template of the detection target block alone. As described above, there is no concern that detection of a prediction block is likely to fail. Furthermore, it can be realized by processing in units of blocks, and is highly compatible with devices realized by pipeline processing in units of blocks, such as video coding. Thus, the present invention provides
Since the increase in the size and complexity of the hardware can be minimized and the motion vectors between the adjacent blocks can be easily aligned, it is extremely useful for economically realizing a high-performance motion detector.

【図面の簡単な説明】[Brief description of the drawings]

【図1】従来の標準的な動き検索の例である。FIG. 1 is an example of a conventional standard motion search.

【図2】近傍ブロックの動きベクトル候補が出揃ってか
ら行う動きベクトルの決定を示す図である。
FIG. 2 is a diagram illustrating determination of a motion vector performed after all motion vector candidates of neighboring blocks are available.

【図3】探索のテンプレートとして検出対象ブロック単
独とそれに先行隣接ブロックを連結したものの両方を評
価する本発明の第1の実施例のブロック図である。
FIG. 3 is a block diagram of a first embodiment of the present invention for evaluating both a detection target block alone and a block obtained by linking a preceding adjacent block to the detection target block as a search template;

【図4】図3示す第1の実施例についてパイプライン処
理によって処理が行われてゆく状況を説明する図であ
る。
FIG. 4 is a diagram illustrating a situation in which processing is performed by pipeline processing for the first embodiment shown in FIG. 3;

【図5】探索のテンプレートとして検出対象ブロック単
独とそれに先行隣接ブロックと後行隣接ブロックを連結
したものの両方を評価する本発明の第2の実施例のブロ
ック図である。
FIG. 5 is a block diagram of a second embodiment of the present invention which evaluates both a detection target block alone and a block obtained by connecting a preceding adjacent block and a succeeding adjacent block as a search template.

【図6】図5に示す第2の実施例についてパイプライン
処理によって処理が行われてゆく状況を説明する図であ
る。
FIG. 6 is a diagram illustrating a situation in which processing is performed by pipeline processing in the second embodiment illustrated in FIG. 5;

【図7】探索のテンプレートとして検出対象ブロック単
独と、先行隣接ブロックを連結したものと、後行隣接ブ
ロックを連結したものと、先行隣接ブロックと後行隣接
ブロックを連結したものの4種類を評価する本発明の第
3の実施例のブロック図である。
FIG. 7 evaluates four types of search templates: a detection target block alone, a connection of a preceding adjacent block, a connection of a subsequent adjacent block, and a connection of a preceding adjacent block and a subsequent adjacent block. FIG. 11 is a block diagram of a third embodiment of the present invention.

【図8】図7に示す第3の実施例についてパイプライン
処理によって処理が行われてゆく状況を説明する図であ
る。
FIG. 8 is a diagram illustrating a situation in which processing is performed by pipeline processing in the third embodiment illustrated in FIG. 7;

【図9】検出対象の動きベクトルを先行隣接ブロックの
動きベクトルに揃いやすくする本発明の第4の実施例の
ブロック図である。
FIG. 9 is a block diagram of a fourth embodiment of the present invention for making it easy to align a motion vector to be detected with a motion vector of a preceding adjacent block.

【図10】図9に示す第4の実施例についてパイプライ
ン処理によって処理が行われてゆく状況を説明する図で
ある。
FIG. 10 is a diagram for explaining a situation in which processing is performed by pipeline processing in the fourth embodiment shown in FIG. 9;

【符号の説明】[Explanation of symbols]

10 差異度評価器 20,20’ 遅延器 30,31,32,33,34,35 乗算器 40,41,42,43 加算器 50,51 比較選択器 60 最小値&評価位置保持器 65 保持器 70 距離計算器 80 変換テーブル Reference Signs List 10 difference degree evaluator 20, 20 'delay unit 30, 31, 32, 33, 34, 35 multiplier 40, 41, 42, 43 adder 50, 51 comparison selector 60 minimum value & evaluation position holder 65 holder 70 distance calculator 80 conversion table

───────────────────────────────────────────────────── フロントページの続き (72)発明者 池田 充郎 東京都新宿区西新宿三丁目19番2号 日本 電信電話株式会社内 Fターム(参考) 5C059 KK19 NN10 NN11 NN28  ────────────────────────────────────────────────── ─── Continuing on the front page (72) Inventor Mitsuro Ikeda 3-19-2 Nishi-Shinjuku, Shinjuku-ku, Tokyo F-term in Nippon Telegraph and Telephone Corporation (reference) 5C059 KK19 NN10 NN11 NN28

Claims (15)

【特許請求の範囲】[Claims] 【請求項1】 画像内のブロックについて、差異度の小
ささから別の参照画像中から移動元とみなせるブロック
を予測ブロックとして見つけ出し、該予測ブロックから
前記画像内ブロックへの動きベクトルを求める動き検出
器において、 予測ブロックとするか否かの判定に、参照画像の予測ブ
ロック候補Pの検出対象ブロックに対する差異度Aの単
独の小ささよりも、この予測ブロック候補Pから検出対
象ブロックへの動きベクトルと同一の動きベクトルを検
出順で隣接する先行隣接ブロックに対して与える参照画
像内予測ブロック候補Qの該先行隣接ブロックに対する
差異度Bと前記差異度Aの両方の小ささを優先する手段
を有することを特徴とする動き検出器。
1. A motion detection for finding, as a prediction block, a block which can be regarded as a movement source from another reference image from a small difference degree of a block in an image, and obtaining a motion vector from the prediction block to the block in the image. The motion vector from the prediction block candidate P to the detection target block is smaller than the single degree of difference A of the prediction block candidate P of the reference image with respect to the detection target block in the determination as to whether or not to be the prediction block. Means for giving the same motion vector to a preceding neighboring block adjacent in the detection order and prioritizing both the difference B and the difference A of the intra prediction block candidate Q with respect to the preceding neighboring block. A motion detector, characterized in that:
【請求項2】 先行隣接ブロックに対する差異度Bとし
て、先行隣接ブロックが検出対象として処理される際に
求められた予測ブロック候補Pから検出対象ブロックへ
の動きベクトルと同一の動きベクトルを先行隣接ブロッ
クに対して与える予測ブロック候補Qの先行隣接ブロッ
クに対する差異度を用いることを特徴とする請求項1記
載の動き検出器。
2. A motion vector identical to a motion vector from a prediction block candidate P obtained when a preceding adjacent block is processed as a detection target to a detection target block is determined as a difference B with respect to the preceding adjacent block. 2. The motion detector according to claim 1, wherein a difference degree of a predicted block candidate Q with respect to a preceding adjacent block is used.
【請求項3】 前記差異度Aと差異度Bとの両方の小さ
さとして、差異度Aの平均値と差異度Bの平均値との定
数倍を用いることを特徴とする請求項1記載の動き検出
器。
3. The method according to claim 1, wherein a constant multiple of the average value of the difference A and the average value of the difference B is used as the smallness of both the difference A and the difference B. Motion detector.
【請求項4】 予測ブロックの判定に、前記差異度Aに
加え、検出対象ブロックの予測ブロック候補Pが検出対
象ブロック候補に対して与える動きベクトルと同一の動
きベクトルを先行隣接ブロックに対して与える予測ブロ
ック候補Qfの先行隣接ブロックに対する差異度Bf
と、前記同一の動きベクトルを検出順で直後に位置する
後行隣接ブロックに対して与える予測ブロック候補Qb
の該後行隣接ブロックに対する差異度Bbの3つの差異
度の小ささを、前記検出対象ブロックに対する予測ブロ
ック候補の差異度A単独の小ささよりも優先する手段を
有することを特徴とする請求項1記載の動き検出器。
4. In the determination of a prediction block, the same motion vector as the motion vector given by the prediction block candidate P of the detection target block to the detection target block candidate is given to the preceding adjacent block in addition to the difference A. Difference degree Bf of predicted block candidate Qf with respect to the preceding adjacent block
And a predicted block candidate Qb that gives the same motion vector to a succeeding adjacent block located immediately after in the detection order.
Means for prioritizing the smaller of the three different degrees of difference Bb with respect to the succeeding adjacent block than the single difference A of the predicted block candidate with respect to the detection target block. 2. The motion detector according to 1.
【請求項5】 前記差異度A,Bの小ささに加え、先行
隣接ブロックの動きベクトルに対する検出対象ブロック
の動きベクトルの近さを優先する手段を有することを特
徴とする請求項1記載の動き検出器。
5. The motion according to claim 1, further comprising means for giving priority to the proximity of the motion vector of the detection target block to the motion vector of the preceding adjacent block, in addition to the small difference degrees A and B. Detector.
【請求項6】 画像内のブロックについて、差異度の小
ささから別の参照画像中から移動元とみなせるブロック
を予測ブロックとして見つけ出し、該予測ブロックから
前記画像内ブロックへの動きベクトルを求める動き検出
方法において、 予測ブロックとするか否かの判定に当たって、参照画像
の予測ブロック候補Pの検出対象ブロックに対する差異
度Aの単独の小ささよりも、この予測ブロック候補Pか
ら検出対象ブロックへの動きベクトルと同一の動きベク
トルを検出順で隣接する先行隣接ブロックに対して与え
る参照画像内予測ブロック候補Qの該先行隣接ブロック
に対する差異度Bと前記差異度Aの両方の小ささを優先
するようにしたことを特徴とする動き検出方法。
6. For a block in an image, a block that can be regarded as a movement source is found as a prediction block from another reference image because of a small degree of difference, and motion estimation for obtaining a motion vector from the prediction block to the block in the image is performed. In the method, when determining whether or not to be a prediction block, a motion vector from the prediction block candidate P to the detection target block is smaller than the single degree of difference A of the prediction block candidate P of the reference image with respect to the detection target block. The same motion vector as that given in the detection order is given to the adjacent preceding block adjacent to the preceding adjacent block in the reference image, and the difference B between the preceding adjacent block and the small difference A to the preceding adjacent block is prioritized. A motion detection method characterized in that:
【請求項7】 先行隣接ブロックに対する差異度Bを得
るに当たって、先行隣接ブロックが検出対象として処理
される際に求められた予測ブロック候補Pから検出対象
ブロックへの動きベクトルと同一の動きベクトルを先行
隣接ブロックに対して与える予測ブロック候補Qの先行
隣接ブロックに対する差異度を得るようにしたことを特
徴とする請求項6記載の動き検出方法。
7. When obtaining a degree of difference B with respect to a preceding adjacent block, a motion vector identical to the motion vector from the prediction block candidate P obtained when the preceding neighboring block is processed as a detection target to the detection target block is obtained. 7. The motion detection method according to claim 6, wherein a degree of difference of a prediction block candidate Q given to an adjacent block with respect to a preceding adjacent block is obtained.
【請求項8】 前記差異度Aと差異度Bとの両方の小さ
さとして、差異度Aの平均値と差異度Bの平均値との定
数倍を用いることを特徴とする請求項6記載の動き検出
方法。
8. The method according to claim 6, wherein a constant multiple of the average value of the difference A and the average value of the difference B is used as the smallness of both the difference A and the difference B. Motion detection method.
【請求項9】 予測ブロックの判定に当たって、前記差
異度Aに加え、検出対象ブロックの予測ブロック候補P
が検出対象ブロック候補に対して与える動きベクトルと
同一の動きベクトルを先行隣接ブロックに対して与える
予測ブロック候補Qfの先行隣接ブロックに対する差異
度Bfと、前記同一の動きベクトルを検出順で直後に位
置する後行隣接ブロックに対して与える予測ブロック候
補Qbの該後行隣接ブロックに対する差異度Bbの3つ
の差異度の小ささを、前記検出対象ブロックに対する予
測ブロック候補の差異度A単独の小ささよりも優先する
ようにしたことを特徴とする請求項6記載の動き検出方
法。
9. In determining a prediction block, a prediction block candidate P of a detection target block is added to the difference degree A.
Is given to the preceding neighboring block the same motion vector as the motion vector given to the detection target block candidate, and the difference Bf of the predicted block candidate Qf from the preceding neighboring block, and the same motion vector is located immediately after in the detection order. Of the three different degrees of difference Bb of the predicted block candidate Qb given to the succeeding adjacent block to be performed with respect to the succeeding adjacent block is smaller than the difference A alone of the difference A of the predicted block candidate to the detection target block. 7. The motion detecting method according to claim 6, wherein priority is given also to the motion detection.
【請求項10】 前記差異度A,Bの小ささに加え、先
行隣接ブロックの動きベクトルに対する検出対象ブロッ
クの動きベクトルの近さを優先するようにしたことを特
徴とする請求項6記載の動き検出方法。
10. The motion according to claim 6, wherein the proximity of the motion vector of the detection target block to the motion vector of the preceding adjacent block is prioritized in addition to the small difference degrees A and B. Detection method.
【請求項11】 画像内のブロックについて、差異度の
小ささから別の参照画像中から移動元とみなせるブロッ
クを予測ブロックとして見つけ出し、該予測ブロックか
ら前記画像内ブロックへの動きベクトルを求める動き検
出方法に対応するプログラムを記録した記録媒体におい
て、 予測ブロックとするか否かの判定に当たって、参照画像
の予測ブロック候補Pの検出対象ブロックに対する差異
度Aの単独の小ささよりも、この予測ブロック候補Pか
ら検出対象ブロックへの動きベクトルと同一の動きベク
トルを検出順で隣接する先行隣接ブロックに対して与え
る参照画像内予測ブロック候補Qの該先行隣接ブロック
に対する差異度Bと前記差異度Aの両方の小ささを優先
するようにしたことを特徴とする動き検出方法に対応し
たプログラムを記録した記録媒体。
11. A motion detection for finding, as a prediction block, a block which can be regarded as a movement source from another reference image from a small difference degree of a block in an image, and obtaining a motion vector from the prediction block to the block in the image. In a recording medium on which a program corresponding to the method is recorded, when determining whether or not to be a predicted block, the predicted block candidate P of the reference image is smaller than the difference degree A of the detected block with respect to the detection target block. Both the difference B and the difference A of the prediction block candidate Q in the reference image with respect to the preceding adjacent block which gives the same motion vector as the motion vector from P to the detection target block in the detection order to the preceding adjacent block Program corresponding to a motion detection method characterized by giving priority to smallness Recorded recording medium.
【請求項12】 先行隣接ブロックに対する差異度Bを
得るに当たって、先行隣接ブロックが検出対象として処
理される際に求められた予測ブロック候補Pから検出対
象ブロックへの動きベクトルと同一の動きベクトルを先
行隣接ブロックに対して与える予測ブロック候補Qの先
行隣接ブロックに対する差異度を得るようにしたことを
特徴とする請求項11記載の動き検出方法に対応したプ
ログラムを記録した記録媒体。
12. When obtaining a difference B with respect to a preceding adjacent block, the same motion vector as a motion vector from the prediction block candidate P obtained when the preceding neighboring block is processed as a detection target to the detection target block is used. 12. A recording medium storing a program corresponding to the motion detection method according to claim 11, wherein a degree of difference of a predicted block candidate Q given to an adjacent block with respect to a preceding adjacent block is obtained.
【請求項13】 前記差異度Aと差異度Bとの両方の小
ささとして、差異度Aの平均値と差異度Bの平均値との
定数倍を用いることを特徴とする請求項11記載の動き
検出方法に対応したプログラムを記録した記録媒体。
13. The method according to claim 11, wherein a constant multiple of the average value of the difference A and the average value of the difference B is used as the smallness of both the difference A and the difference B. A recording medium on which a program corresponding to the motion detection method is recorded.
【請求項14】 予測ブロックの判定に当たって、前記
差異度Aに加え、検出対象ブロックの予測ブロック候補
Pが検出対象ブロック候補に対して与える動きベクトル
と同一の動きベクトルを先行隣接ブロックに対して与え
る予測ブロック候補Qfの先行隣接ブロックに対する差
異度Bfと、前記同一の動きベクトルを検出順で直後に
位置する後行隣接ブロックに対して与える予測ブロック
候補Qbの該後行隣接ブロックに対する差異度Bbの3
つの差異度の小ささを、前記検出対象ブロックに対する
予測ブロック候補の差異度A単独の小ささよりも優先す
るようにしたことを特徴とする請求項11記載の動き検
出方法に対応したプログラムを記録した記録媒体。
14. In determining a prediction block, the same motion vector as the motion vector given by the prediction block candidate P of the detection target block to the detection target block candidate is given to the preceding adjacent block in addition to the difference A. The difference Bf of the prediction block candidate Qf with respect to the preceding adjacent block and the difference Bb of the prediction block candidate Qb with respect to the succeeding adjacent block immediately after the same motion vector in the detection order are given to the succeeding block. 3
12. A program corresponding to the motion detection method according to claim 11, wherein the smaller of the two degrees of difference is prioritized over the smaller of the degree of difference A alone of the prediction block candidate with respect to the detection target block. Recording medium.
【請求項15】 前記差異度A,Bの小ささに加え、先
行隣接ブロックの動きベクトルに対する検出対象ブロッ
クの動きベクトルの近さを優先するようにしたことを特
徴とする請求項11記載の動き検出方法に対応したプロ
グラムを記録した記録媒体。
15. The motion according to claim 11, wherein the proximity of the motion vector of the detection target block to the motion vector of the preceding adjacent block is prioritized in addition to the small difference degrees A and B. A recording medium on which a program corresponding to the detection method is recorded.
JP21921398A 1998-08-03 1998-08-03 Motion detector, motion detection method and recording medium with its program recorded therein Pending JP2000050282A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21921398A JP2000050282A (en) 1998-08-03 1998-08-03 Motion detector, motion detection method and recording medium with its program recorded therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21921398A JP2000050282A (en) 1998-08-03 1998-08-03 Motion detector, motion detection method and recording medium with its program recorded therein

Publications (1)

Publication Number Publication Date
JP2000050282A true JP2000050282A (en) 2000-02-18

Family

ID=16731987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21921398A Pending JP2000050282A (en) 1998-08-03 1998-08-03 Motion detector, motion detection method and recording medium with its program recorded therein

Country Status (1)

Country Link
JP (1) JP2000050282A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115312A (en) * 2004-10-15 2006-04-27 Mie Tlo Co Ltd Motion detector and motion detecting method
JP2006245932A (en) * 2005-03-02 2006-09-14 Toshiba Corp Moving picture processing apparatus, method, and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006115312A (en) * 2004-10-15 2006-04-27 Mie Tlo Co Ltd Motion detector and motion detecting method
JP2006245932A (en) * 2005-03-02 2006-09-14 Toshiba Corp Moving picture processing apparatus, method, and program
JP4504230B2 (en) * 2005-03-02 2010-07-14 株式会社東芝 Moving image processing apparatus, moving image processing method, and moving image processing program
US7885331B2 (en) 2005-03-02 2011-02-08 Kabushiki Kaisha Toshiba Moving picture processor, method for processing a moving picture, and computer program product for executing an application for a moving picture processor

Similar Documents

Publication Publication Date Title
US20060126942A1 (en) Method of and apparatus for retrieving movie image
US6671319B1 (en) Methods and apparatus for motion estimation using neighboring macroblocks
US8422558B2 (en) Motion estimation technique for digital video encoding applications
US6990148B2 (en) Apparatus for and method of transforming scanning format
US6483876B1 (en) Methods and apparatus for reduction of prediction modes in motion estimation
US20090167959A1 (en) Image processing device and method, program, and recording medium
US6456660B1 (en) Device and method of detecting motion vectors
US20050243928A1 (en) Motion vector estimation employing line and column vectors
EP1389016A2 (en) Motion estimation and block matching pattern using minimum measure of combined motion and error signal data
US20040258154A1 (en) System and method for multi-stage predictive motion estimation
US20090136146A1 (en) Image processing device and method, program, and recording medium
US6690728B1 (en) Methods and apparatus for motion estimation in compressed domain
US20200374526A1 (en) Method, device, apparatus for predicting video coding complexity and storage medium
US7145950B2 (en) Method of motion vector determination in digital video compression
US20060098886A1 (en) Efficient predictive image parameter estimation
US5721595A (en) Motion estimation block matching process and apparatus for video image processing
KR100732683B1 (en) Image conversion apparatus to compensate motion and method thereof
US20050002569A1 (en) Method and apparatus for processing images
US9167132B2 (en) System and method of estimating motion of image using block sampling
US8244055B2 (en) Image processing apparatus and method, and program
KR980003999A (en) Histogram equalization circuit based on CDF computation domain and its method
JPH0795591A (en) Digital picture signal processing unit
US20170214935A1 (en) Method and device for processing a video sequence
JP2006521740A (en) Motion vector determination method
JP2000050282A (en) Motion detector, motion detection method and recording medium with its program recorded therein