JP2004200984A

JP2004200984A - Motion vector detecting apparatus

Info

Publication number: JP2004200984A
Application number: JP2002366506A
Authority: JP
Inventors: Toshihiro Minami; 俊宏南
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-12-18
Filing date: 2002-12-18
Publication date: 2004-07-15

Abstract

<P>PROBLEM TO BE SOLVED: To provide a motion vector detecting apparatus for detecting a motion vector corresponding to templates having a variety of sizes with relatively small amount of hardware and at a low cost. <P>SOLUTION: The apparatus evaluates a difference of values among pixels at positions corresponding to one another between a pixel block to be coded corresponding to one template included in a template group with a variety of sizes and a pixel block with the same size as the template included a pixel block cut out from a retrieval area, and detects the position of the pixel block having a minimum evaluation value as the motion vector for all templates included in the template groups. The apparatus has an evaluation value calculating circuit 102 corresponding to each of a plurality of minimum size templates included in the template groups, and a prescribed number of adder circuit 103 for calculating the evaluation values of all templates having bigger sizes than the minimum size templates by adding outputs from the calculating circuit 102. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は，動画像符号化処理において，画像間における動きを検出するために用いられる動きベクトル検出装置に関するものであり，特に，１６画素×１６ラインや８画素×８ライン等，複数種類の大きさの画素ブロックの動きを検出する動きベクトル検出装置に関するものである。
【０００２】
【従来の技術】
動画像には，時間的に連続した複数の画像が存在する。動きベクトル検出装置とは，動画像において，ある画像中の画素ブロックが他の画像中のどの位置から動いてきたかを検出する装置である。
【０００３】
図１６は，動き検出の対象となる画素ブロック（以下，テンプレートと呼ぶ）１と探索領域２の例を示す。ここで，テンプレート１は，ある画像中の画素ブロック，探索領域２は，他の画像中の画素ブロックである。テンプレート１と探索領域２の両方とも任意の大きさの矩形領域が考えられるが，以下では，テンプレート１が４画素×４ライン，探索領域２は１１画素×１１ラインの場合について説明する。この場合，探索領域２の中心の４画素×４ラインの領域を動きベクトル（０，０）と設定すると，探索範囲は，水平方向，垂直方向とも−３〜＋４となる。ａ_0,0〜ａ_3,3はテンプレート１中の画素を表し，ｘ_0,0〜ｘ_a,a（添え字は１６進数で表す）は探索領域２中の画素を表す。なお，本明細書では，水平方向の画素数の単位を画素，垂直方向の画素数の単位をラインと呼ぶ。
【０００４】
図１７は，全探索法による動き検出の方法を説明するための図である。探索領域２から取り得る全ての４画素×４ラインの領域を切り出し，その４画素×４ラインの領域中の画素とテンプレート１中の対応する位置にある画素との値の違いを差分絶対値の総和または差分自乗値の総和等で評価する。１画素または１ラインずれた４画素×４ラインの領域全部，すなわち８×８＝６４個の領域についてこの総和を計算し，この総和が最も小さい領域からテンプレート１が動いてきたものとする。
【０００５】
なお，評価式として何を用いるかは本発明の本質ではないので，以下では，差分絶対値の総和を用いる場合について説明する。また，本発明による動きベクトル検出装置は，同期式回路で実現される場合が多いが，同期式回路は通常クロック（以下，ＣＫと記す）に同期して動作する。そこで，以下では動作の単位をＣＫと呼ぶ。
【０００６】
図１８は，第１の従来例の動きベクトル検出装置における差分絶対値和計算回路（例えば，特許文献１の段落［０００６］〜［０００８］および図６，または非特許文献１の９１６ページ，９１７ページおよび図７参照）の構成を示す図である。符号３で示すＰ_i,j（ｉ＝０〜３，ｊ＝０〜３）は，テンプレート１と探索領域２の対応する画素の間で差分絶対値を計算する回路であり，テンプレート１中の画素と１対１に対応しており，そのテンプレート１中の画素ａ_i,jを保持し，各行ごとに放送（供給）される探索領域２中の画素をＣＫごとに取り込み，差分絶対値を計算する。４はレジスタ，５は加算器，６は総和回路である。
【０００７】
図１９は，図１８の差分絶対値和計算回路において，探索領域２の左上の角から切り出された４画素×４ラインの領域とテンプレート１中の画素間で差分絶対値和Ｓ_0,0を計算するときのタイミングを表した図である。図示したように，０ＣＫ目，１ＣＫ目，２ＣＫ目，３ＣＫ目に，それぞれ１列目，２列目，３列目，４列目の差分絶対値和が計算され，４ＣＫ目に各行の部分和Ｓ_iの総和が計算され，５ＣＫで１行目から４行目までの各行の部分和Ｓ_iの和Ｓ_0,0が出力される。
【０００８】
図２０は，第２の従来例の動きベクトル検出装置における差分絶対値和計算回路（例えば，特許文献１の段落［００１０］〜［００１２］および図９，または非特許文献１の９１９ページ，９２０ページおよび図１４参照）の構成を示す図である。Ｐ_i,j３，レジスタ４，加算器５の機能は，上述した第１の従来例と同一である。
【０００９】
図２１は，図２０の差分絶対値和計算回路において，探索領域２の左上の角から切り出された４画素×４ラインの領域とテンプレート１中の画素間で差分絶対値和Ｓ_0,0を計算するときのタイミングを表した図である。図中のＳ_0:jは１行目から（ｊ＋１）行目までの各行の部分和Ｓ_iの和を意味する。上記図２０に示した差分絶対値和計算回路では，探索領域２中の画素の入力を各行ごとに１ＣＫずつ遅らせることにより，各行の部分和Ｓ_iが出力されるタイミングを各行ごとに１ＣＫずつ遅らせ，ＣＫごとに各行の部分和Ｓ_iを加算する。
【００１０】
図２２は，第３の従来例の動きベクトル検出装置における差分絶対値和計算回路（例えば，特許文献１の段落［００１９］〜［００２１］および図１，または非特許文献１の９２０ページ，９２１ページおよび図１５参照）の構成を示す図である。Ｐ_i,j３，レジスタ４，加算器５の機能は，上述した第１，第２の従来例と同一である。個々のＰ_i,j３の出力は，加算器５によって前段の加算器５から送られてくる計算結果と加算され，次段の加算器５に送られる。この次段への送りは，レジスタ４を介してＣＫごとに行なわれる。
【００１１】
図２３は，図２２の差分絶対値和計算回路において，探索領域２の左上の角から切り出された４画素×４ラインの領域とテンプレート１中の画素間で差分絶対値和Ｓ_0,0を計算するときのタイミングを説明するための図である。本従来例の差分絶対値和計算回路では，探索領域２中の画素の入力を各行ごとに４ＣＫずつ遅らせることにより，各行の部分和Ｓ_iが得られるタイミングを行ごとに４ＣＫずつ遅らせる。この場合，各行の部分和Ｓ_iが得られる次のＣＫで，その一つ下の行の計算が始まることになる。したがって，本従来例では，各行の部分和Ｓ_iを次の行の先頭の差分絶対値と加算することができるので，行間を連続させた１次元アレイ構造とすることができる。
【００１２】
ここで，上述した第１〜第３の従来例の差分絶対値和計算回路では，計算対象である探索領域２から切り出された４画素×４ラインの領域が探索領域の右端から左端に移るとき無効サイクルが生じる。図２４は，無効サイクルが生じる場合の探索領域２からの画素読み出し例を示す。探索領域２の左上の角から切り出された４画素×４ラインの領域とテンプレート１中の画素間の差分絶対値和をＳ_0,0，右横に１画素ずれた領域とテンプレート１中の画素間の差分絶対値和をＳ_0,1，以下順次Ｓ_0,2，Ｓ_0,3とし，探索領域２の左上の角の４画素×４ラインの領域から１ライン下にずれた領域とテンプレート１中の画素間の差分絶対値和をＳ_1,0とすると，差分絶対値和Ｓ_0,0からＳ_0,7までは連続して計算される。しかし，Ｓ_0,7の計算に必要な画素ｘ_0,a，ｘ_1,a，ｘ_2,a，ｘ_3,aの供給が終わらなければ，Ｓ_1,0の計算に使われるｘ_1,0，ｘ_2,0，ｘ_3,0，ｘ_4,0は供給できない。そのため，Ｓ_1,0の計算を開始するまでに３（テンプレートの横方向の画素数−１）ＣＫ無効サイクルが生じる。なお，探索領域から切り出された４画素×４ラインの領域が探索領域の下端から上端に移るときには，同様の理由で１５ＣＫの無効サイクルが生じる。
【００１３】
図２５は，第４の従来例の動きベクトル検出装置における差分絶対値和計算回路（例えば，非特許文献１の９２２ページおよび図１６参照）の構成を示す図である。外部から入力される２画素からいずれか１画素を選択するためのセレクタ７が付加された以外は，第３の従来例と同一の構成である。本従来例においては，ｘ_0,8，ｘ_1,8，ｘ_2,8，ｘ_3,8等の探索領域右端の画素と同時にｘ_1,0，ｘ_2,0，ｘ_3,0，ｘ_4,0等の探索領域左端の画素が供給され，セレクタ７により選択される。このため，Ｓ_0,7に続いて連続してＳ_1,0の計算を開始でき，上記無効サイクルを削除できる。
【００１４】
図２６は，第５の従来例の動きベクトル検出装置における差分絶対値和計算回路（例えば，特許文献２の段落［００４１］〜［００４３］および図２〜図４，または非特許文献１の９２２ページおよび図１７参照）の構成を示す図である。また，図２７は，本従来例における探索領域からの画素読み出し例を示す図である。Ｐ_i,j３，レジスタ４，加算器５，セレクタ７の機能は，上述した第１〜第４の従来例と同一である。ここで，後述する実施例での説明の都合上，セレクタ７を除き，Ｐ_i,j３，レジスタ４および加算器５からなる部分を演算器と呼び，該演算器で構成される評価値計算回路をＰＥアレイ８と呼ぶ。
【００１５】
本従来例では，探索する水平方向の動きベクトル数をテンプレートの水平方向の画素数と一致させる。この構成において，ｘ_0,4，ｘ_1,4，ｘ_2,4，ｘ_3,4等の探索領域右端の画素と同時にｘ_1,0，ｘ_2,0，ｘ_3,0，ｘ_4,0等の探索領域左端の画素を供給することにより無効サイクルを削除でき，さらに同一の列に属するＰ_i,j（ｉ＝０〜３）に供給する探索領域中の画素が同一となるという効果が得られる。
【００１６】
図２８は，本従来例において図１６に示した探索領域２中の動きベクトルを検出する場合の例を示す。水平方向の動きベクトルを−３〜０と１〜４の２回に分けて探索することにより探索領域２中の動きベクトルを全て検出できる。
【００１７】
【特許文献１】
特許第３１２７９８０号公報
【特許文献２】
特許第２８３８８１７号公報
【非特許文献１】
南俊宏，近藤利夫，村主一仁，笠井良太，“１次元シストリックアレー型全探索動きベクトル検出器の提案”，信学論（Ｄ−Ｉ），ｖｏｌ．Ｊ７８−Ｄ−Ｉ，ｎｏ．１２，ｐｐ．９１３−９２５，Ｄｅｃ．１９９５．
【００１８】
【発明が解決しようとする課題】
ところが，最近の動画像符号化の国際標準規格では，テンプレートとして複数の大きさの画素ブロックを用いるものがある。例えば，Ｈ．２６３では，テンプレートとして１６画素×１６ラインと８画素×８ラインの２種類の画素ブロックを用いる。また，Ｈ．２６Ｌでは，４画素×４ライン，４画素×８ライン，８画素×４ライン，８画素×８ライン，８画素×１６ライン，１６画素×８ラインおよび１６画素×１６ラインの７種類の画素ブロックを用いる。これら各大きさのテンプレートごとに動きベクトル検出装置を別々に設けると，ハード量およびコストが増大するという問題がある。
【００１９】
本発明は上述した点に鑑みてなされたもので，その目的は，複数の大きさのテンプレートに対応した動きベクトルを検出できる動きベクトル検出装置を，最小のテンプレートの動きベクトルを検出する動きベクトル検出装置と同程度のハード量およびコストで提供することである。
【００２０】
【課題を解決するための手段】
このために本発明における動きベクトル検出装置は，動画像符号化の対象である動画像から選択した第１の画像中の所定の大きさの画素ブロックを分割して得られるテンプレート群に含まれる一つのテンプレートと，前記動画像符号化の対象である動画像から選択した第２の画像中における探索領域内から切り出した画素ブロック群に含まれる前記一つのテンプレートと同じ大きさの画素ブロックとの間で，対応する位置にある画素間の値の違いを評価し，評価値が最小となる画素ブロックの位置を動きベクトルとして検出することを，前記テンプレート群に含まれる全てのテンプレートについて行う動きベクトル検出装置において，前記テンプレート群に含まれる複数の最小のテンプレートの各々に対応した評価値計算回路と，前記評価値計算回路の出力を加算して，前記最小のテンプレートより大きな全てのテンプレートの評価値を計算する所定の数の加算回路とを含むことを特徴とする。
【００２１】
さらに，本発明における動きベクトル検出装置は，前記評価値計算回路において，水平方向について，水平方向がａ画素，垂直方向がｂラインであるテンプレートの画素数と同じａ個の画素ブロックの評価を行うことを繰り返すことにより，探索範囲に含まれる水平方向がａ画素，垂直方向がｂラインである全ての画素ブロックの評価を行うか，または前記評価値計算回路において，垂直方向について，水平方向がａ画素，垂直方向がｂラインであるテンプレートのライン数と同じｂ個の画素ブロックの評価を行うことを繰り返すことにより，探索範囲に含まれる水平方向がａ画素，垂直方向がｂラインである全ての画素ブロックの評価を行うことを特徴とする。
【００２２】
図１は，本発明の構成例を説明するためのブロック図である。図１において，参照画像メモリ１００は，動画像符号化の際に参照される画像データが格納されているメモリである。探索領域読み出し回路１０１は，参照画像メモリ１００に格納された動画像の探索領域内から画素ブロック群を読み出し，各評価値計算回路１０２に供給する回路である。
【００２３】
各評価値計算回路１０２は，複数の大きさのテンプレート群に含まれる最小のテンプレートの大きさに対応する動画像符号化の対象の画素ブロックと，探索領域読み出し回路１０１から供給される探索領域内から切り出した画素ブロック群に含まれる最小のテンプレートと同じ大きさの画素ブロックとの間で，対応する位置にある画素間の値の違いを評価する回路である。
【００２４】
例えば水平方向がａ画素，垂直方向がｂラインであるテンプレートから，水平方向が（ｍ×ａ）画素，垂直方向が（ｎ×ｂ）ラインの大きさのテンプレートまでの複数種類の大きさのテンプレートによる動きベクトルの検出を行う場合，それぞれの評価値計算回路１０２は，水平方向がａ画素，垂直方向がｂラインの大きさの動画像符号化の対象である画素ブロックと，参照画像中の探索領域内から切り出した同じ大きさの画素ブロックとの間で，対応する位置にある画素間の値の違いを評価する回路であり，ｍ×ｎ個（ｍ，ｎは整数で，ｍ×ｎ≧２）設けられる。
【００２５】
加算回路１０３は，評価値計算回路１０２の出力を加算して，最小のテンプレートより大きな全てのテンプレートの評価値を計算する回路である。
【００２６】
ｍ×ｎ個の個々の評価値計算回路１０２としては，従来例として説明した図１８，図２０，図２２，図２５または図２６の差分絶対値和計算回路と同様な構成の回路を用いることができる。
【００２７】
本発明は以上のように構成されるので，複数の大きさのテンプレートに対応した動きベクトルを検出できる動きベクトル検出装置を，最小のテンプレートの動きベクトルを検出する動きベクトル検出装置と同程度のハード量およびコストで実現することができる。
【００２８】
【発明の実施の形態】
本実施形態では，テンプレートの大きさが４画素×４ライン，４画素×８ライン，８画素×４ライン，８画素×８ラインの４種類の場合について説明する。
【００２９】
図２は，隣接した４画素×４ラインのテンプレート４個と探索領域の対応を示す。８画素×８ラインのテンプレートは，４画素×４ラインのテンプレート１０，１１，１２および１３の４個に分割される。図２中の左上，右上，左下，右下のテンプレート１０，１１，１２，１３の探索領域は，それぞれ２０，２１，２２，２３である。
【００３０】
ここで，探索領域２０の左上の角から切り出された４画素×４ラインの領域とテンプレート１０中の画素間の差分絶対値和をＳ_0,0（４×４左上），右横に１画素ずれた領域とテンプレート１０中の画素間の差分絶対値和をＳ_0,1（４×４左上），以下順次Ｓ_0,2（４×４左上），Ｓ_0,3（４×４左上）とし，探索領域２０の左上の角の４画素×４ラインの領域から１ライン下にずれた領域とテンプレート１０中の画素間の差分絶対値和をＳ_1,0（４×４左上）とする。
【００３１】
同様に，探索領域２１，２２，２３の左上の角からそれぞれ切り出された４画素×４ラインの領域とテンプレート１１，１２，１３中の画素間の差分絶対値和を，それぞれＳ_0,0（４×４右上），Ｓ_0,0（４×４左下），Ｓ_0,0（４×４右下）とする。このとき，Ｓ_0,4（４×４左上）とＳ_0,0（４×４右上）を計算するための探索領域中の画素は一致する。同様に，Ｓ_4,0（４×４左上）とＳ_0,0（４×４左下）を計算するための探索領域中の画素も一致する。また，Ｓ_4,4（４×４左上），Ｓ_0,4（４×４左下），Ｓ_4,0（４×４右上）およびＳ_0,0（４×４右下）を計算するための探索領域中の画素は一致する。
【００３２】
図３は，テンプレートの大きさが８画素×４ラインのときのテンプレートと探索領域の対応を示す。８画素×８ラインのテンプレートは，８画素×４ラインのテンプレート１４と１５の２個に分割される。上，下のテンプレート１４と１５の探索領域はそれぞれ２４と２５である。探索領域２４の左上の角から切り出された８画素×４ラインの領域とテンプレート１４中の画素間の差分絶対値和をＳ_0,0（８×４上），右横に１画素ずれた領域とテンプレート１４中の画素間の差分絶対値和をＳ_0,1（８×４上），以下順次Ｓ_0,2（８×４上），Ｓ_0,3（８×４上）とし，探索領域２４の左上の角の８画素×４ラインの領域から１ライン下にずれた領域とテンプレート１４中の画素間の差分絶対値和をＳ_1,0（８×４上）とする。同様に，探索領域２５の左上の角から切り出された８画素×４ラインの領域とテンプレート１５中の画素間の差分絶対値和をＳ_0,0（８×４下）とする。
【００３３】
図２と図３とを比較すると分かるように，Ｓ_0,0（８×４上）は，上記Ｓ_0,0（４×４左上）およびＳ_0,0（４×４右上）との間に以下の関係がある。
【００３４】
Ｓ_0,0（８×４上）＝Ｓ_0,0（４×４左上）＋Ｓ_0,0（４×４右上）
同様に，Ｓ_0,0（８×４下）は，上記Ｓ_0,0（４×４左下）およびＳ_0,0（４×４右下）との間に以下の関係がある。
【００３５】
Ｓ_0,0（８×４下）＝Ｓ_0,0（４×４左下）＋Ｓ_0,0（４×４右下）
一般化すると，次式の関係がある。
【００３６】
Ｓ_i,j（８×４上）＝Ｓ_i,j（４×４左上）＋Ｓ_i,j（４×４右上）……（１）
Ｓ_i,j（８×４下）＝Ｓ_i,j（４×４左下）＋Ｓ_i,j（４×４右下）……（２）
図４は，テンプレートの大きさが４画素×８ラインのときのテンプレートと探索領域の対応を示す。８画素×８ラインの画素ブロックは，４画素×８ラインのテンプレート１６と１７の２個に分割される。左と右のテンプレート１６と１７の探索領域は，それぞれ２６と２７である。探索領域２６の左上の角から切り出された４画素×８ラインの領域とテンプレート１６中の画素間の差分絶対値和をＳ_0,0（４×８左），右横に１画素ずれた領域とテンプレート１６中の画素間の差分絶対値和をＳ_0,1（４×８左），以下順次Ｓ_0,2（４×８左），Ｓ_0,3（４×８左）とし，探索領域２６の左上の角の４画素×８ラインの領域から１ライン下にずれた領域とテンプレート１６中の画素間の差分絶対値和をＳ_1,0（４×８左）とする。同様に，探索領域２７の左上の角から切り出された４画素×８ラインの領域とテンプレート１７中の画素間の差分絶対値和をＳ_0,0（４×８右）とする。
【００３７】
図２と図４とを比較すると分かるように，Ｓ_0,0（４×８左）は，上記Ｓ_0,0（４×４左上）およびＳ_0,0（４×４左下）との間に以下の関係がある。
【００３８】
Ｓ_0,0（４×８左）＝Ｓ_0,0（４×４左上）＋Ｓ_0,0（４×４左下）
同様に，Ｓ_0,0（４×８右）は，上記Ｓ_0,0（４×４右上）およびＳ_0,0（４×４右下）との間に以下の関係がある。
【００３９】
Ｓ_0,0（４×８右）＝Ｓ_0,0（４×４右上）＋Ｓ_0,0（４×４右下）
一般化すると，次式の関係がある。
【００４０】
Ｓ_i,j（４×８左）＝Ｓ_i,j（４×４左上）＋Ｓ_i,j（４×４左下）……（３）
Ｓ_i,j（４×８右）＝Ｓ_i,j（４×４右上）＋Ｓ_i,j（４×４右下）……（４）
図５は，テンプレートの大きさが８画素×８ラインのときのテンプレート１８と探索領域２８の対応を示す。探索領域２８の左上の角から切り出された８画素×８ラインの領域とテンプレート１８中の画素間の差分絶対値和をＳ_0,0（８×８），右横に１画素ずれた領域とテンプレート１８中の画素間の差分絶対値和をＳ_0,1（８×８），以下順次Ｓ_0,2（８×８），Ｓ_0,3（８×８）とし，探索領域２８の左上の角の８画素×８ラインの領域から１ライン下にずれた領域とテンプレート１８中の画素間の差分絶対値和をＳ_1,0（８×８）とする。
【００４１】
図２〜図５を比較すると分かるように，Ｓ_0,0（８×８）は，上記Ｓ_0,0（４×４左上），Ｓ_0,0（４×４右上），Ｓ_0,0（４×４左下），Ｓ_0,0（４×４右下），Ｓ_0,0（８×４上），Ｓ_0,0（８×４下），Ｓ_0,0（４×８左）およびＳ_0,0（４×８右）との間に以下の関係がある。
【００４２】
Ｓ_0,0（８×８）＝Ｓ_0,0（４×４左上）＋Ｓ_0,0（４×４右上）＋Ｓ_0,0（４×４左下）＋Ｓ0。₀（４×４右下）
＝Ｓ_0,0（８×４上）＋Ｓ_0,0（８×４下）
＝Ｓ_0,0（４×８左）＋Ｓ_0,0（４×８右）
一般化すると，次式の関係がある。
【００４３】
Ｓ_i,j（８×８）＝Ｓ_i,j（４×４左上）＋Ｓ_i,j（４×４右上）
＋Ｓ_i,j（４×４左下）＋Ｓ_i,j（４×４右下）
＝Ｓ_i,j（８×４上）＋Ｓ_i,j（８×４下）
＝Ｓ_i,j（４×８左）＋Ｓ_i,j（４×８右）……（５）
上記（１）式〜（５）式より，４画素×４ラインのテンプレート１０〜１３についての差分絶対値和を計算し，それらを加算することにより，８画素×４ライン，４画素×８ラインおよび８画素×８ラインのテンプレート１４，１５，１６，１７および１８についての差分絶対値和を算出できることが分かる。本発明では，４画素×４ラインの４個のテンプレート１０〜１３に，ＰＥアレイを個別に割り当てて差分絶対値和を計算し，その結果から他の大きさのテンプレートの差分絶対値和を算出する。
【００４４】
図６は，本発明の第１の実施形態の動きベクトル検出装置における差分絶対値和計算回路の構成を示す。図７は，図６に示す差分絶対値和計算回路へ入力する画素のタイミングを表した図である。ＰＥアレイ_i,j８の構成を図８に示す。
【００４５】
第１の実施形態のＰＥアレイ_i,j８は，第５の従来例におけるＰＥアレイ８と同一構造であり，第５の従来例と同様に水平方向の動きベクトルを−３〜０と１〜４の２回に分けて探索する。この点は後述する第２および第３の実施形態も同様であるが，第１の実施形態では，ＰＥアレイ_0,0，ＰＥアレイ_1,0，ＰＥアレイ_0,1，ＰＥアレイ_1,1に対し，図７に示すように，探索領域中の画素を別々に供給する点が第２および第３の実施形態と異なる。
【００４６】
この構成により，４個のＰＥアレイ_i,j８を並列に動作させ，ＰＥアレイ_0,0でＳ_i,j（４×４左上），ＰＥアレイ_1,0でＳ_i,j（４×４左下），ＰＥアレイ_0,1でＳ_i,j（４×４右上），ＰＥアレイ_1,1でＳ_i,j（４×４右下）を同時に計算し，これらを加算器５で加算することにより，Ｓ_i,j（８×４上），Ｓ_i,j（８×４下），Ｓ_i,j（４×８左），Ｓ_i,j（４×８右），Ｓ_i,j（８×８）を計算する。
【００４７】
図９は，本発明の第２の実施形態の動きベクトル検出装置における差分絶対値和計算回路の構成を示す。図１０は，図９に示す差分絶対値和計算回路へ入力する画素のタイミングを表した図である。遅延回路Ａ３０は，入力した画素を１６ＣＫ遅延させて出力する回路である。
【００４８】
図２で説明したように，左上のテンプレート１０の探索領域２０を下方に４ラインずらすと左下のテンプレート１２の探索領域２２となるため，Ｓ_4,0（４×４左上）を計算するための探索領域中の画素とＳ_0,0（４×４左下）を計算するための探索領域中の画素は一致する。一般化すると，Ｓ_i,j（４×４左上）を計算するための探索領域中の画素とＳ_i-4,j（４×４左下）を計算するための探索領域中の画素は一致する。
【００４９】
本実施形態では，この点に着目し，ＰＥアレイ_0,0とＰＥアレイ_1,0に同一の探索領域中の画素を入力して，Ｓ_i,j（４×４左上）とＳ_i-4,j（４×４左下）を同時に計算する。ただし，ｉは０以上１１以下の整数であり，ｉ＜４のとき，Ｓ_i-4,j（４×４左下）は計算されず，また，ｉ＞７のとき，Ｓ_i,j（４×４左上）は計算されないものとする。なお，ｊは０以上７以下の整数である。
【００５０】
本実施形態において，Ｓ_i,j（４×４左下）は，Ｓ_i,j（４×４左上）がＰＥアレイ_0,0から出力された後，１６ＣＫ遅れてＰＥアレイ_1,0から出力される。このため，遅延回路Ａ３０によりＳ_i,j（４×４左上）を１６ＣＫ遅延させて，加算器５によりＳ_i,j（４×４左下）と加算することにより，Ｓ_i,j（４×８左）を算出できる。
【００５１】
同様に，ＰＥアレイ_0,1とＰＥアレイ_1,1にも同一の探索領域中の画素を入力して，Ｓ_i,j（４×４右上）とＳ_i-4,j（４×４右下）を同時に計算する。ただし，ｉは０以上１１以下の整数であり，ｉ＜４のとき，Ｓ_i-4,j（４×４右下）は計算されず，また，ｉ＞７のとき，Ｓ_i,j（４×４右上）は計算されないものとする。なお，ｊは０以上７以下の整数である。本実施形態においては，Ｓ_i,j（４×４右上）がＰＥアレイ_0,1から出力された後，１６ＣＫ遅れてＳ_i,j（４×４右下）がＰＥアレイ_1,1から出力される。このため，遅延回路Ａ３０によりＳ_i,j（４×４右上）を１６ＣＫ遅延させて，Ｓ_i,j（４×４右下）と加算することにより，Ｓ_i,j（４×８右）を算出できる。
【００５２】
図１１は，本発明の第３の実施形態の動きベクトル検出装置における差分絶対値和計算回路の構成を示す。図１２は，図１１に示す差分絶対値和計算回路へ入力する画素のタイミングを表した図である。遅延回路Ａ３０，遅延回路Ｂ３１および遅延回路Ｃ３２は，それぞれ入力した画素を１６ＣＫ，４８ＣＫおよび６４ＣＫ遅延させて出力する回路である。
【００５３】
図２で説明したように，Ｓ_4,4（４×４左上），Ｓ_0,4（４×４左下），Ｓ_4,0（４×４右上）およびＳ_0,0（４×４右下）を計算するための探索領域中の画素は一致する。すなわち，Ｓ_i,j（４×４左上），Ｓ_i-4,j（４×４左下），Ｓ_i,j-4（４×４右上）およびＳ_i-4,j-4（４×４右下）を計算するための探索領域中の画素は一致する。ただし，ｉは０以上１１以下の整数であり，ｉ＜４のとき，Ｓ_i-4,j（４×４左下）とＳ_i-4,j-4（４×４右下）は計算されず，ｉ＞７のとき，Ｓ_i,j（４×４左上）とＳ_i,j-4（４×４右上）は計算されないものとする。同様に，ｊは０以上１１以下の整数であり，ｊ＜４のとき，Ｓ_i,j-4（４×４右上）とＳ_i-4,j-4（４×４右下）は計算されず，ｊ＞７のとき，Ｓ_i,j（４×４左上）とＳ_i-4,j（４×４左下）は計算されないものとする。
【００５４】
図１３は，各テンプレート１０〜１３の１回目と２回目の探索範囲を示す図である。図中の５０はテンプレート１０の１回目の探索範囲，５１はテンプレート１０の２回目の探索範囲とテンプレート１１の１回目の探索範囲，５２はテンプレート１１の２回目の探索範囲，５３はテンプレート１２の１回目の探索範囲，５４はテンプレート１２の２回目の探索範囲とテンプレート１３の１回目の探索範囲，５５はテンプレート１３の２回目の探索範囲を表している。
【００５５】
本実施形態では，最初にＰＥアレイ_0,0とＰＥアレイ_1,0のみ動作させてテンプレート１０の１回目の探索範囲とテンプレート１２の１回目の探索範囲を探索し，次にＰＥアレイ_0,0，ＰＥアレイ_1,0，ＰＥアレイ_0,1およびＰＥアレイ_1,1を全て動作させてテンプレート１０の２回目の探索範囲とテンプレート１１の１回目の探索範囲，およびテンプレート１２の２回目の探索範囲とテンプレート１３の１回目の探索範囲を探索し，最後にＰＥアレイ_0,1とＰＥアレイ_1,1のみ動作させてテンプレート１１の２回目の探索範囲とテンプレート１３の２回目の探索範囲を探索する。
【００５６】
この構成により，ＰＥアレイ_0,0，ＰＥアレイ_1,0，ＰＥアレイ_0,1およびＰＥアレイ_1,1に同一の画素を入力して，Ｓ_i,j（４×４左上），Ｓ_i-4,j（４×４左下），Ｓ_i,j-4（４×４右上）およびＳ_i-4,j-4（４×４右下）を同時に計算することができる。
【００５７】
ただし，Ｓ_i,j（４×４左下）は，Ｓ_i,j（４×４左上）がＰＥアレイ_0,0から出力された後，１６ＣＫ遅れてＰＥアレイ_1,0から出力される。また，第１〜第３の従来例の動きベクトル検出装置同様，探索領域から切り出された４画素×４ラインの領域が探索領域の下端から上端に移るとき１５ＣＫの無効サイクルが生じるため，Ｓ_i,j（４×４右上）とＳ_i,j（４×４右下）は，Ｓ_i,j（４×４左上）がＰＥアレイ_0,0から出力された後，それぞれ４８ＣＫと６４ＣＫ遅れでＰＥアレイ_0,1とＰＥアレイ_1,1から出力される。
【００５８】
そこで，本実施形態においては，遅延回路Ｃ３２によりＳ_i,j（４×４左上）を６４ＣＫ遅延させ，遅延回路Ｂ３１によりＳ_i,j（４×４左下）を４８ＣＫ遅延させ，遅延回路Ａ３０によりＳ_i,j（４×４右上）を１６ＣＫ遅延させた後，Ｓ_i,j（４×４左上），Ｓ_i,j（４×４左下），Ｓ_i,j（４×４右上）およびＳ_i,j（４×４右下）を加算することにより，Ｓ_i,j（８×４上），Ｓ_i,j（８×４下），Ｓ_i,j（４×８左），Ｓ_i,j（４×８右），Ｓ_i,j（８×８）を算出する。
【００５９】
上記第３の実施形態では，探索領域から切り出された４画素×４ラインの領域が探索領域の下端から上端に移るときの無効サイクルを無視すると，水平方向の探索範囲が−３〜＋４の場合，ＰＥアレイ_0,0，ＰＥアレイ_1,0，ＰＥアレイ_0,1およびＰＥアレイ_1,1が全て動作するのは全体のＣＫ数の１／３である。しかし，探索範囲が広くなれば，ＰＥアレイ_0,0，ＰＥアレイ_1,0，ＰＥアレイ_0,1およびＰＥアレイ_1,1が全て動作する割合は増加する。例えば，水平方向の探索範囲が−７〜＋８の場合，全体のＣＫ数の３／５，水平方向の探索範囲が−１１〜＋１２の場合，全体のＣＫ数の５／７だけ，ＰＥアレイ_0,0，ＰＥアレイ_1,0，ＰＥアレイ_0,1およびＰＥアレイ_1,1が全て動作する。
【００６０】
なお，上記第１〜第３の実施形態においては，テンプレートの大きさが４画素×４ライン，４画素×８ライン，８画素×４ライン，８画素×８ラインの４種類の場合についてのみ示したが，本発明は，いろいろな大きさのテンプレートの組み合わせに対して適用できる。例えば，本発明は，４画素×４ライン，４画素×８ライン，８画素×４ライン，８画素×８ライン，８画素×１６ライン，１６画素×８ラインおよび１６画素×１６ラインの大きさのテンプレートの組み合わせに対しても適用できる。
【００６１】
図１４は，これらのテンプレートの組み合わせに適用した場合における本発明の第２の実施形態の差分絶対値和計算回路の構成を示す図である。ここで，遅延回路Ａ３０，遅延回路Ｄ３３および遅延回路Ｂ３１は，それぞれ入力した画素を１６ＣＫ，３２ＣＫおよび４８ＣＫ遅延させて出力する回路である。ただし，図１４では，最小のテンプレートの評価値であるＰＥアレイ_i,jの出力を加算して，より大きなテンプレートの評価値を算出するための加算器は，図示を省略している。
【００６２】
また，図１５は，４画素×４ライン，４画素×８ライン，８画素×４ライン，８画素×８ライン，８画素×１６ライン，１６画素×８ラインおよび１６画素×１６ラインの大きさのテンプレートの組み合わせに適用した場合における本発明の第３の実施形態の差分絶対値和計算回路の構成を示す図である。ここで，遅延回路Ａ３０，遅延回路Ｄ３３および遅延回路Ｂ３１は，それぞれ入力した画素を１６ＣＫ，３２ＣＫおよび４８ＣＫ遅延させて出力する回路であり，遅延回路Ｅ３４，遅延回路Ｆ３５，遅延回路Ｇ３６および遅延回路Ｈ３７は，それぞれ入力した画素を８０ＣＫ，９６ＣＫ，１１２ＣＫおよび１２８ＣＫ遅延させて出力する回路である。同様に，遅延回路Ｉ３８〜遅延回路Ｐ４５は，入力した画素を１６０ＣＫ〜２８８ＣＫ遅延させて出力する回路である。ただし，図１５でも，最小のテンプレートの評価値であるＰＥアレイ_i,jの出力を加算して，より大きなテンプレートの評価値を算出するための加算器は，図示を省略している。
【００６３】
また，上記第１〜第３の実施形態においては，水平方向について最小のテンプレートの画素数と同じ個数の動きベクトルの評価を行うことを繰り返すことにより探索範囲内の全動きベクトルを検出する構成のみを示したが，垂直方向について最小のテンプレートのライン数と同じ個数の動きベクトルの評価を行うことを繰り返すことにより探索範囲内の全動きベクトルを検出する構成とすることもできる。
【００６４】
さらに，第２および第３の実施形態で用いた遅延回路Ａ〜Ｐはレジスタを直列に接続することにより実現しても良いし，ファースト・イン・ファースト・アウト・メモリによって実現しても良く，入力画素を所定のＣＫだけ遅延して出力するものであれば，実現手段は問わない。
【００６５】
【発明の効果】
以上説明したように，本発明によれば，複数の大きさのテンプレートに対応した動きベクトルを検出できる動きベクトル検出装置を，最小のテンプレートの動きベクトルを検出する動きベクトル検出装置と同程度のハード量およびコストで実現することができる効果がある。
【図面の簡単な説明】
【図１】本発明の構成例を説明するためのブロック図である。
【図２】隣接した４画素×４ラインのテンプレート４個と探索領域の対応を示す図である。
【図３】テンプレートの大きさが８画素×４ラインのときのテンプレートと探索領域の対応を示す図である。
【図４】テンプレートの大きさが４画素×８ラインのときのテンプレートと探索領域の対応を示す図である。
【図５】テンプレートの大きさが８画素×８ラインのときのテンプレートと探索領域の対応を示す図である。
【図６】第１の実施形態の動きベクトル検出装置における差分絶対値和計算回路の構成を示す図である。
【図７】第１の実施形態の差分絶対値和計算回路へ入力する画素のタイミングを表した図である。
【図８】第１の実施形態の差分絶対値和計算回路の中のＰＥアレイ_i,jの構成を示す図である。
【図９】第２の実施形態の動きベクトル検出装置における差分絶対値和計算回路の構成を示す図である。
【図１０】第２の実施形態の差分絶対値和計算回路へ入力する画素のタイミングを表した図である。
【図１１】第３の実施形態の動きベクトル検出装置における差分絶対値和計算回路の構成を示す図である。
【図１２】第３の実施形態の差分絶対値和計算回路へ入力する画素のタイミングを表した図である。
【図１３】第３の実施形態における各テンプレートの１回目と２回目の探索範囲を示す図である。
【図１４】４画素×４ライン，４画素×８ライン，８画素×４ライン，８画素×８ライン，８画素×１６ライン，１６画素×８ラインおよび１６画素×１６ラインの大きさのテンプレートの組み合わせに適用した場合における本発明の第２の実施形態の差分絶対値和計算回路の構成を示す図である。
【図１５】４画素×４ライン，４画素×８ライン，８画素×４ライン，８画素×８ライン，８画素×１６ライン，１６画素×８ラインおよび１６画素×１６ラインの大きさのテンプレートの組み合わせに適用した場合における本発明の第３の実施形態の差分絶対値和計算回路の構成を示す図である。
【図１６】動き検出の対象となるテンプレートと探索領域の例を示す図である。
【図１７】全探索法による動き検出の方法を説明するための図である。
【図１８】第１の従来例の動きベクトル検出装置における差分絶対値和計算回路の構成を示す図である。
【図１９】第１の従来例の差分絶対値和計算回路において，探索領域の左上の角から切り出された４画素×４ラインの領域とテンプレート中の画素間で差分絶対値和を計算するときのタイミングを表した図である。
【図２０】第２の従来例の動きベクトル検出装置における差分絶対値和計算回路の構成を示す図である。
【図２１】第２の従来例の差分絶対値和計算回路において，探索領域の左上の角から切り出された４画素×４ラインの領域とテンプレート中の画素間で差分絶対値和を計算するときのタイミングを表した図である。
【図２２】第３の従来例の動きベクトル検出装置における差分絶対値和計算回路の構成を示す図である。
【図２３】第３の従来例の差分絶対値和計算回路において，探索領域の左上の角から切り出された４画素×４ラインの領域とテンプレート中の画素間で差分絶対値和を計算するときのタイミングを説明するための図である。
【図２４】無効サイクルが生じる場合の探索領域からの画素読み出し例を示す図である。
【図２５】第４の従来例の動きベクトル検出装置における差分絶対値和計算回路の構成を示す図である。
【図２６】第５の従来例の動きベクトル検出装置における差分絶対値和計算回路の構成を示す図である。
【図２７】第５の従来例における探索領域からの画素読み出し例を示す図である。
【図２８】第５の従来例において図１６に示した探索領域中の動きベクトルを検出する場合の例を示す図である。
【符号の説明】
１，１０，１１，…，１８テンプレート
２，２０，２１，…，２８探索領域
３差分絶対値を計算する回路
４レジスタ
５加算器
６総和回路
７セレクタ
８ＰＥアレイ
３０，３１，…，４５遅延回路
１００参照画像メモリ
１０１探索領域読み出し回路
１０２評価値計算回路
１０３加算回路[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a motion vector detecting device used for detecting motion between images in a moving image encoding process, and in particular, to a plurality of types of large-size images such as 16 pixels × 16 lines and 8 pixels × 8 lines. The present invention relates to a motion vector detecting device for detecting the motion of a pixel block of a motion vector.
[0002]
[Prior art]
A moving image includes a plurality of temporally continuous images. The motion vector detection device is a device that detects, from a moving image, a position in a certain image at which a pixel block in a certain image has moved.
[0003]
FIG. 16 shows an example of a pixel block (hereinafter, referred to as a template) 1 to be subjected to motion detection and a search area 2. Here, the template 1 is a pixel block in a certain image, and the search area 2 is a pixel block in another image. Both the template 1 and the search area 2 may be rectangular areas of an arbitrary size. Hereinafter, the case where the template 1 has 4 pixels × 4 lines and the search area 2 has 11 pixels × 11 lines will be described. In this case, if the area of 4 pixels × 4 lines at the center of the search area 2 is set as the motion vector (0, 0), the search range becomes −3 to +4 in both the horizontal and vertical directions. a _0,0 ~ A _3,3 Represents a pixel in template 1 and x _0,0 ~ X _{a, a} (Subscripts are represented by hexadecimal numbers) represent pixels in the search area 2. In this specification, the unit of the number of pixels in the horizontal direction is called a pixel, and the unit of the number of pixels in the vertical direction is called a line.
[0004]
FIG. 17 is a diagram for explaining a method of motion detection by the full search method. The entire area of 4 pixels × 4 lines that can be taken from the search area 2 is cut out, and the difference between the value of the pixel in the area of 4 pixels × 4 lines and the pixel at the corresponding position in the template 1 is calculated as the difference absolute value. The evaluation is made based on the sum or the sum of the squared differences. It is assumed that the sum is calculated for the entire area of 4 pixels × 4 lines shifted by one pixel or one line, that is, 8 × 8 = 64 areas, and that the template 1 moves from the area having the smallest sum.
[0005]
Since what is used as the evaluation formula is not the essence of the present invention, a case where the sum of absolute difference values is used will be described below. The motion vector detecting device according to the present invention is often realized by a synchronous circuit, but the synchronous circuit operates in synchronization with a normal clock (hereinafter, referred to as CK). Therefore, the unit of operation is hereinafter referred to as CK.
[0006]
FIG. 18 is a diagram illustrating a sum of absolute difference value calculation circuit (for example, paragraphs [0006] to [0008] of Patent Document 1 and FIG. 6, or pages 916 and 917 of Non-Patent Document 1) in the motion vector detecting device of the first conventional example. FIG. 8 is a diagram showing the configuration of a page and FIG. 7). P indicated by reference numeral 3 _{i, j} (I = 0-3, j = 0-3) is a circuit for calculating the absolute value of the difference between the corresponding pixels in the template 1 and the search area 2, and has a one-to-one correspondence with the pixels in the template 1. Pixel a in the template 1 _{i, j} , And the pixels in the search area 2 broadcasted (supplied) for each row are fetched for each CK, and the absolute difference value is calculated. 4 is a register, 5 is an adder, and 6 is a summing circuit.
[0007]
FIG. 19 shows a difference absolute value sum S between a pixel of 4 pixels × 4 lines cut out from the upper left corner of the search area 2 and the pixels in the template 1 in the difference absolute value sum calculation circuit of FIG. _0,0 FIG. 9 is a diagram showing timings when calculating the following. As shown in the figure, the difference absolute value sums of the first column, the second column, the third column, and the fourth column are calculated at the 0CK, the 1CK, the 2CK, and the 3CK, respectively, and the partial sum of each row is calculated at the 4CK. S _i Is calculated, and the partial sum S of each row from the first row to the fourth row is calculated by 5CK. _i Sum S _0,0 Is output.
[0008]
FIG. 20 shows a sum of absolute difference value calculating circuit (for example, paragraphs [0010] to [0012] of Patent Document 1 and FIG. 9 or Non-Patent Document 1, pages 919 and 920) in a second conventional motion vector detecting device. 15 is a diagram showing the configuration of a page and FIG. 14). P _{i, j} The functions of the register 3, the register 4, and the adder 5 are the same as those of the first conventional example.
[0009]
FIG. 21 shows a difference absolute value sum S between the pixel of the template 1 and the area of 4 pixels × 4 lines cut out from the upper left corner of the search area 2 in the difference absolute value sum calculation circuit of FIG. _0,0 FIG. 9 is a diagram showing timings when calculating the following. S in the figure _{0: j} Is the partial sum S of each row from the first row to the (j + 1) th row _i Means the sum of In the absolute difference sum calculating circuit shown in FIG. 20, the input of the pixels in the search area 2 is delayed by 1 CK for each row, thereby obtaining the partial sum S of each row. _i Is delayed by 1 CK for each row, and the partial sum S of each row is delayed for each CK. _i Is added.
[0010]
FIG. 22 shows a sum of absolute difference calculating circuit (for example, paragraphs [0019] to [0021] of Patent Document 1 and FIG. 1 or Non-Patent Document 1, page 920, 921) in the motion vector detecting device of the third conventional example. FIG. 16 is a diagram showing the configuration of a page and FIG. 15). P _{i, j} The functions of the register 3, the register 4, and the adder 5 are the same as those of the first and second conventional examples. Individual P _{i, j} The output of 3 is added by the adder 5 to the calculation result sent from the previous adder 5 and sent to the next adder 5. The transmission to the next stage is performed for each CK via the register 4.
[0011]
FIG. 23 shows the difference absolute value sum S between the pixel of the template 1 and the area of 4 pixels × 4 lines cut out from the upper left corner of the search area 2 in the difference absolute value sum calculation circuit of FIG. _0,0 FIG. 9 is a diagram for explaining timing when calculating the value of. In the circuit for calculating the sum of absolute differences in the conventional example, the input of the pixels in the search area 2 is delayed by 4CK for each row, thereby obtaining the partial sum S of each row. _i Is delayed by 4CK for each row. In this case, the partial sum S of each line _i , The calculation of the next lower row starts. Therefore, in this conventional example, the partial sum S _i Can be added to the difference absolute value at the head of the next row, so that a one-dimensional array structure having continuous rows can be obtained.
[0012]
Here, in the above-described first to third conventional sum-of-absolute-difference calculating circuits, when the area of 4 pixels × 4 lines cut out from the search area 2 to be calculated moves from the right end to the left end of the search area Invalid cycles occur. FIG. 24 shows an example of pixel reading from the search area 2 when an invalid cycle occurs. The sum of absolute differences between the region of 4 pixels × 4 lines cut out from the upper left corner of the search region 2 and the pixels in the template 1 is represented by S _0,0 , The sum of the absolute differences between the pixel shifted in the template 1 _0,1 , Then S _0,2 , S _0,3 The sum of absolute differences between an area shifted one line below the area of 4 pixels × 4 lines at the upper left corner of the search area 2 and the pixels in the template 1 is represented by S _1,0 Then, the sum of absolute differences S _0,0 To S _0,7 Until is calculated continuously. However, S _0,7 Pixel x required to calculate _{0, a} , X _{1, a} , X _{2, a} , X _{3, a} If the supply of _1,0 X used to calculate _1,0 , X _2,0 , X _3,0 , X _4,0 Cannot be supplied. Therefore, S _1,0 3 (the number of pixels in the horizontal direction of the template −1) CK invalid cycle occurs before the calculation of (1) starts. When the area of 4 pixels × 4 lines cut out from the search area moves from the lower end to the upper end of the search area, an invalid cycle of 15CK occurs for the same reason.
[0013]
FIG. 25 is a diagram showing a configuration of a sum-of-absolute-difference value calculation circuit (see, for example, page 922 of Non-Patent Document 1 and FIG. 16) in the fourth conventional motion vector detecting device. The configuration is the same as that of the third conventional example except that a selector 7 for selecting any one pixel from two pixels input from the outside is added. In this conventional example, x _0,8 , X _1,8 , X _2,8 , X _3,8 X at the same time as the rightmost pixel of the search area _1,0 , X _2,0 , X _3,0 , X _4,0 Are supplied to the search area and are selected by the selector 7. Therefore, S _0,7 Followed by S _1,0 Can be started, and the invalid cycle can be deleted.
[0014]
FIG. 26 is a diagram showing a sum of absolute difference value calculation circuit (for example, paragraphs [0041] to [0043] of Patent Document 2 and FIGS. 2 to 4 or 922 of Non-Patent Document 1) in a fifth conventional motion vector detecting device. FIG. 18 is a diagram showing the configuration of a page and FIG. 17). FIG. 27 is a diagram showing an example of reading pixels from a search area in the conventional example. P _{i, j} The functions of the register 3, the register 4, the adder 5, and the selector 7 are the same as those of the above-described first to fourth conventional examples. Here, for convenience of description in the embodiment described later, except for the selector 7, P _{i, j} 3, a register 4 and an adder 5 are referred to as a computing unit, and an evaluation value calculation circuit constituted by the computing unit is referred to as a PE array 8.
[0015]
In this conventional example, the number of horizontal motion vectors to be searched is matched with the number of horizontal pixels of the template. In this configuration, x _0,4 , X _1,4 , X _2,4 , X _3,4 X at the same time as the rightmost pixel of the search area _1,0 , X _2,0 , X _3,0 , X _4,0 The invalid cycle can be eliminated by supplying the pixel at the left end of the search area such as _{i, j} The effect is obtained that the pixels in the search area supplied to (i = 0 to 3) become the same.
[0016]
FIG. 28 shows an example in which a motion vector in the search area 2 shown in FIG. 16 is detected in the conventional example. All the motion vectors in the search area 2 can be detected by searching for the horizontal motion vector separately in two times of -3 to 0 and 1 to 4.
[0017]
[Patent Document 1]
Japanese Patent No. 3127980
[Patent Document 2]
Japanese Patent No. 2838817
[Non-patent document 1]
Toshihiro Minami, Toshio Kondo, Kazuhito Murashimi, Ryota Kasai, "Proposal of One-Dimensional Systolic Array Type Full-Search Motion Vector Detector", IEICE (D-I), vol. J78-DI, no. 12, pp. 913-925, Dec. 1995.
[0018]
[Problems to be solved by the invention]
However, in recent international standards for video coding, there are some which use pixel blocks of a plurality of sizes as templates. For example, H. In H.263, two types of pixel blocks of 16 pixels × 16 lines and 8 pixels × 8 lines are used as templates. Also, H. In 26L, seven types of pixel blocks of 4 pixels × 4 lines, 4 pixels × 8 lines, 8 pixels × 4 lines, 8 pixels × 8 lines, 8 pixels × 16 lines, 16 pixels × 8 lines, and 16 pixels × 16 lines Is used. If a motion vector detection device is separately provided for each template of each size, there is a problem that the amount of hardware and cost increase.
[0019]
SUMMARY OF THE INVENTION The present invention has been made in view of the above points, and an object of the present invention is to provide a motion vector detection device capable of detecting a motion vector corresponding to a plurality of sizes of templates. It is to provide the same amount of hardware and cost as the device.
[0020]
[Means for Solving the Problems]
For this reason, the motion vector detecting device according to the present invention includes a template group obtained by dividing a pixel block of a predetermined size in a first image selected from a moving image to be encoded. Between one template and a pixel block of the same size as the one template included in a pixel block group cut out from the search area in the second image selected from the moving image to be encoded with the moving image A motion vector detecting unit that evaluates a difference between values of pixels at corresponding positions and detects a position of a pixel block having a minimum evaluation value as a motion vector for all templates included in the template group. An evaluation value calculation circuit corresponding to each of a plurality of minimum templates included in the template group; By adding the outputs of the calculation circuit, characterized in that it comprises a summing circuit having a predetermined number of calculating an evaluation value of the smallest template big all templates from.
[0021]
Further, in the motion vector detecting device according to the present invention, the evaluation value calculation circuit evaluates a pixel blocks in the horizontal direction that are the same as the number of pixels of the template having a pixel in the horizontal direction and b lines in the vertical direction. By repeating this, all the pixel blocks included in the search range and whose horizontal direction is a pixels and whose vertical direction is b lines are evaluated, or in the evaluation value calculation circuit, the horizontal direction is a in the vertical direction. By repeating the evaluation of b pixel blocks having the same number of pixels and the number of lines of the template whose vertical direction is b lines, all pixels whose horizontal direction is a pixel and whose vertical direction is b lines are included in the search range. It is characterized in that a pixel block is evaluated.
[0022]
FIG. 1 is a block diagram for explaining a configuration example of the present invention. In FIG. 1, a reference image memory 100 is a memory in which image data to be referred to at the time of moving image encoding is stored. The search area readout circuit 101 is a circuit that reads out a pixel block group from the search area of the moving image stored in the reference image memory 100 and supplies the pixel block group to each evaluation value calculation circuit 102.
[0023]
Each of the evaluation value calculation circuits 102 includes a pixel block to be subjected to video coding corresponding to the minimum template size included in the template group having a plurality of sizes, and a search area supplied from the search area readout circuit 101. This is a circuit for evaluating the difference in the value between the pixels at the corresponding positions between the smallest template included in the pixel block group extracted from and the pixel block of the same size.
[0024]
For example, templates of a plurality of sizes ranging from a template having a pixel in the horizontal direction and b lines in the vertical direction to a template having a size of (m × a) pixels in the horizontal direction and (n × b) lines in the vertical direction In the case of detecting a motion vector based on a motion vector, each evaluation value calculation circuit 102 searches for a pixel block to be subjected to video coding with a pixel size in the horizontal direction and a b line size in the vertical direction, and a search in the reference image. A circuit for evaluating a difference in value between pixels at corresponding positions between a pixel block of the same size cut out from the area, and m × n (m and n are integers and m × n ≧ m) 2) Provided.
[0025]
The addition circuit 103 is a circuit that adds the outputs of the evaluation value calculation circuit 102 and calculates the evaluation values of all templates larger than the minimum template.
[0026]
As the m × n individual evaluation value calculation circuits 102, a circuit having the same configuration as that of the difference absolute value sum calculation circuit of FIG. 18, FIG. 20, FIG. 22, FIG. 25, or FIG. Can be.
[0027]
Since the present invention is configured as described above, a motion vector detecting device capable of detecting a motion vector corresponding to a template of a plurality of sizes is required to be as hard as a motion vector detecting device detecting a motion vector of a minimum template. It can be realized in quantity and cost.
[0028]
BEST MODE FOR CARRYING OUT THE INVENTION
In the present embodiment, four types of template sizes of 4 pixels × 4 lines, 4 pixels × 8 lines, 8 pixels × 4 lines, and 8 pixels × 8 lines will be described.
[0029]
FIG. 2 shows the correspondence between four adjacent 4 pixel × 4 line templates and the search area. The template of 8 pixels × 8 lines is divided into four templates 10, 11, 12 and 13 of 4 pixels × 4 lines. The search areas of the upper left, upper right, lower left, and lower right templates 10, 11, 12, and 13 in FIG. 2 are 20, 21, 22, and 23, respectively.
[0030]
Here, the sum of absolute differences between the area of 4 pixels × 4 lines cut out from the upper left corner of the search area 20 and the pixels in the template 10 is represented by S _0,0 (4 × 4 upper left), the sum of the absolute differences between the region shifted by one pixel to the right and the pixels in the template 10 is represented by S _0,1 (4 × 4 upper left), then S _0,2 (4 × 4 upper left), S _0,3 (4 × 4 upper left), and the sum of absolute differences between the pixel shifted from the area of 4 pixels × 4 lines at the upper left corner of the search area 20 and one line below is S _1,0 (4 × 4 upper left).
[0031]
Similarly, the sum of absolute differences between the areas of 4 pixels × 4 lines cut out from the upper left corners of the search areas 21, 22, 23 and the pixels in the templates 11, 12, and 13 is represented by S, respectively. _0,0 (4 × 4 upper right), S _0,0 (4 × 4 lower left), S _0,0 (4 × 4 lower right). At this time, S _0,4 (4x4 upper left) and S _0,0 Pixels in the search area for calculating (4 × 4 upper right) match. Similarly, S _4,0 (4x4 upper left) and S _0,0 Pixels in the search area for calculating (4 × 4 lower left) also match. Also, S _4,4 (4 × 4 upper left), S _0,4 (4 × 4 lower left), S _4,0 (4x4 upper right) and S _0,0 Pixels in the search area for calculating (4 × 4 lower right) match.
[0032]
FIG. 3 shows the correspondence between the template and the search area when the size of the template is 8 pixels × 4 lines. The template of 8 pixels × 8 lines is divided into two templates 14 and 15 of 8 pixels × 4 lines. The search areas of the upper and lower templates 14 and 15 are 24 and 25, respectively. The sum of absolute differences between the area of 8 pixels × 4 lines cut out from the upper left corner of the search area 24 and the pixels in the template 14 is represented by S _0,0 (8 × 4 above), the sum of absolute differences between the area shifted by one pixel to the right and the pixels in the template 14 is represented by S _0,1 (8 × 4 above), then S _0,2 (8 × 4 above), S _0,3 (8 × 4 above), and the sum of absolute differences between an area shifted one line below the area of 8 pixels × 4 lines at the upper left corner of the search area 24 and the pixels in the template 14 is represented by S _1,0 (8 × 4 above). Similarly, the sum of absolute differences between an area of 8 pixels × 4 lines cut out from the upper left corner of the search area 25 and the pixels in the template 15 is represented by S _0,0 (8 × 4 below).
[0033]
As can be seen by comparing FIG. 2 and FIG. _0,0 (8 × 4 above) is the S _0,0 (4x4 upper left) and S _0,0 (4 × 4 upper right) has the following relationship.
[0034]
S _0,0 (8 × 4 above) = S _0,0 (4 × 4 upper left) + S _0,0 (4x4 upper right)
Similarly, S _0,0 (8 × 4 bottom) is the above S _0,0 (4x4 lower left) and S _0,0 (4 × 4 lower right) has the following relationship.
[0035]
S _0,0 (8 × 4 bottom) = S _0,0 (4 × 4 lower left) + S _0,0 (4x4 lower right)
In general, there is the following relationship.
[0036]
S _{i, j} (8 × 4 above) = S _{i, j} (4 × 4 upper left) + S _{i, j} (4x4 upper right) ... (1)
S _{i, j} (8 × 4 bottom) = S _{i, j} (4 × 4 lower left) + S _{i, j} (4x4 lower right) ... (2)
FIG. 4 shows the correspondence between the template and the search area when the size of the template is 4 pixels × 8 lines. The pixel block of 8 pixels × 8 lines is divided into two templates 16 and 17 of 4 pixels × 8 lines. The search areas of the left and right templates 16 and 17 are 26 and 27, respectively. The sum of absolute differences between the area of 4 pixels × 8 lines cut out from the upper left corner of the search area 26 and the pixels in the template 16 is represented by S _0,0 (4 × 8 left), the sum of absolute differences between the area shifted by one pixel to the right and the pixels in the template 16 is represented by S _0,1 (4 × 8 left), then S _0,2 (4 × 8 left), S _0,3 (4 × 8 left), and the sum of the absolute differences between the region shifted by one line from the region of 4 pixels × 8 lines at the upper left corner of the search region 26 and the pixels in the template 16 is represented by S _1,0 (4 × 8 left). Similarly, the sum of absolute differences between the area of 4 pixels × 8 lines cut out from the upper left corner of the search area 27 and the pixels in the template 17 is represented by S _0,0 (4 × 8 right).
[0037]
As can be seen by comparing FIG. 2 and FIG. _0,0 (4 × 8 left) is the above S _0,0 (4x4 upper left) and S _0,0 (4 × 4 lower left) has the following relationship.
[0038]
S _0,0 (4 × 8 left) = S _0,0 (4 × 4 upper left) + S _0,0 (4x4 lower left)
Similarly, S _0,0 (4x8 right) is the above S _0,0 (4x4 upper right) and S _0,0 (4 × 4 lower right) has the following relationship.
[0039]
S _0,0 (4 × 8 right) = S _0,0 (4 × 4 upper right) + S _0,0 (4x4 lower right)
In general, there is the following relationship.
[0040]
S _{i, j} (4 × 8 left) = S _{i, j} (4 × 4 upper left) + S _{i, j} (4x4 lower left) ... (3)
S _{i, j} (4 × 8 right) = S _{i, j} (4 × 4 upper right) + S _{i, j} (4x4 lower right) ... (4)
FIG. 5 shows the correspondence between the template 18 and the search area 28 when the size of the template is 8 pixels × 8 lines. The sum of absolute differences between the 8 pixel × 8 line area cut out from the upper left corner of the search area 28 and the pixels in the template 18 is represented by S _0,0 (8 × 8), the sum of the absolute differences between the region shifted by one pixel to the right and the pixels in the template 18 is represented by S _0,1 (8 × 8), then S _0,2 (8 × 8), S _0,3 (8 × 8), and the sum of absolute differences between an area shifted one line below the area of 8 pixels × 8 lines at the upper left corner of the search area 28 and the pixels in the template 18 is represented by S _1,0 (8 × 8).
[0041]
As can be seen by comparing FIGS. _0,0 (8 × 8) is the above S _0,0 (4 × 4 upper left), S _0,0 (4 × 4 upper right), S _0,0 (4 × 4 lower left), S _0,0 (4x4 lower right), S _0,0 (8 × 4 above), S _0,0 (8 × 4 below), S _0,0 (4 × 8 left) and S _0,0 (4 × 8 right) has the following relationship.
[0042]
S _0,0 (8 × 8) = S _0,0 (4 × 4 upper left) + S _0,0 (4 × 4 upper right) + S _0,0 (4 × 4 lower left) + S0. ₀ (4x4 lower right)
= S _0,0 (8 × 4 above) + S _0,0 (8x4 bottom)
= S _0,0 (4 × 8 left) + S _0,0 (4x8 right)
In general, there is the following relationship.
[0043]
S _{i, j} (8 × 8) = S _{i, j} (4 × 4 upper left) + S _{i, j} (4x4 upper right)
+ S _{i, j} (4 × 4 lower left) + S _{i, j} (4x4 lower right)
= S _{i, j} (8 × 4 above) + S _{i, j} (8x4 bottom)
= S _{i, j} (4 × 8 left) + S _{i, j} (4x8 right) ... (5)
From the above equations (1) to (5), the sum of absolute differences of the templates 10 to 13 of 4 pixels × 4 lines is calculated, and these are added to obtain 8 pixels × 4 lines and 4 pixels × 8 lines. It can be seen that the sum of absolute differences can be calculated for the templates 14, 15, 16, 17 and 18 of 8 pixels × 8 lines. In the present invention, a PE array is individually allocated to four templates 10 to 13 of 4 pixels × 4 lines, and the sum of absolute differences is calculated. From the result, the sum of absolute differences of templates of other sizes is calculated. I do.
[0044]
FIG. 6 shows a configuration of a difference absolute value sum calculation circuit in the motion vector detection device according to the first embodiment of the present invention. FIG. 7 is a diagram illustrating timings of pixels input to the sum of absolute difference calculating circuit illustrated in FIG. 6. PE array _{i, j} 8 is shown in FIG.
[0045]
PE array according to first embodiment _{i, j} Reference numeral 8 has the same structure as that of the PE array 8 in the fifth conventional example, and the horizontal motion vector is searched for twice in the order of -3 to 0 and 1 to 4 similarly to the fifth conventional example. This point is the same in the second and third embodiments described later, but in the first embodiment, the PE array _0,0 , PE array _1,0 , PE array _0,1 , PE array _1,1 On the other hand, as shown in FIG. 7, the point that the pixels in the search area are separately supplied is different from the second and third embodiments.
[0046]
With this configuration, four PE arrays _{i, j} 8 are operated in parallel and the PE array _0,0 In S _{i, j} (4 × 4 upper left), PE array _1,0 In S _{i, j} (4x4 lower left), PE array _0,1 In S _{i, j} (4 × 4 upper right), PE array _1,1 In S _{i, j} (4 × 4 lower right) are simultaneously calculated, and these are added by the adder 5, so that S _{i, j} (8 × 4 above), S _{i, j} (8 × 4 below), S _{i, j} (4 × 8 left), S _{i, j} (4 × 8 right), S _{i, j} Calculate (8 × 8).
[0047]
FIG. 9 shows a configuration of a difference absolute value sum calculation circuit in the motion vector detection device according to the second embodiment of the present invention. FIG. 10 is a diagram showing the timing of the pixel input to the absolute difference sum calculating circuit shown in FIG. The delay circuit A30 is a circuit that delays an input pixel by 16CK and outputs it.
[0048]
As described with reference to FIG. 2, if the search area 20 of the upper left template 10 is shifted downward by four lines, the search area 22 of the lower left template 12 becomes the search area 22. _4,0 Pixels in the search area for calculating (4 × 4 upper left) and S _0,0 Pixels in the search area for calculating (4 × 4 lower left) match. Generalized, S _{i, j} Pixels in the search area for calculating (4 × 4 upper left) and S _{i-4, j} Pixels in the search area for calculating (4 × 4 lower left) match.
[0049]
In the present embodiment, focusing on this point, the PE array _0,0 And PE arrays _1,0 Input the pixels in the same search area to _{i, j} (4x4 upper left) and S _{i-4, j} (4 × 4 lower left) is calculated simultaneously. Here, i is an integer from 0 to 11, and when i <4, S _{i-4, j} (4 × 4 lower left) is not calculated, and when i> 7, S _{i, j} (4 × 4 upper left) shall not be calculated. Here, j is an integer of 0 or more and 7 or less.
[0050]
In the present embodiment, S _{i, j} (4x4 lower left) is S _{i, j} (4x4 upper left) is PE array _0,0 16 CK delay after being output from PE array _1,0 Output from For this reason, S _{i, j} (4 × 4 upper left) is delayed by 16 CK, and S _{i, j} (4 × 4 lower left) to add S _{i, j} (4 × 8 left) can be calculated.
[0051]
Similarly, PE array _0,1 And PE arrays _1,1 Also, input the pixels in the same search area to _{i, j} (4x4 upper right) and S _{i-4, j} (4 × 4 lower right) is calculated simultaneously. Here, i is an integer from 0 to 11, and when i <4, S _{i-4, j} (4 × 4 lower right) is not calculated, and when i> 7, S _{i, j} (4 × 4 upper right) is not calculated. Here, j is an integer of 0 or more and 7 or less. In the present embodiment, S _{i, j} (4x4 upper right) is PE array _0,1 Is delayed by 16CK after output from _{i, j} (4x4 lower right) is PE array _1,1 Output from For this reason, S _{i, j} (4 × 4 upper right) is delayed by 16CK and S _{i, j} (4 × 4 lower right) to add S _{i, j} (4 × 8 right) can be calculated.
[0052]
FIG. 11 shows a configuration of a difference absolute value sum calculation circuit in the motion vector detection device according to the third embodiment of the present invention. FIG. 12 is a diagram illustrating timings of pixels input to the sum of absolute difference value calculation circuit illustrated in FIG. 11. The delay circuit A30, the delay circuit B31, and the delay circuit C32 are circuits that delay input pixels by 16CK, 48CK, and 64CK, respectively, and output the delayed pixels.
[0053]
As described with reference to FIG. _4,4 (4 × 4 upper left), S _0,4 (4 × 4 lower left), S _4,0 (4x4 upper right) and S _0,0 Pixels in the search area for calculating (4 × 4 lower right) match. That is, S _{i, j} (4 × 4 upper left), S _{i-4, j} (4 × 4 lower left), S _{i, j-4} (4x4 upper right) and S _{i-4, j-4} Pixels in the search area for calculating (4 × 4 lower right) match. Here, i is an integer from 0 to 11, and when i <4, S _{i-4, j} (4x4 lower left) and S _{i-4, j-4} (4 × 4 lower right) is not calculated, and when i> 7, S _{i, j} (4x4 upper left) and S _{i, j-4} (4 × 4 upper right) is not calculated. Similarly, j is an integer from 0 to 11, and when j <4, S _{i, j-4} (4x4 upper right) and S _{i-4, j-4} (4 × 4 lower right) is not calculated, and when j> 7, S _{i, j} (4x4 upper left) and S _{i-4, j} (4 × 4 lower left) shall not be calculated.
[0054]
FIG. 13 is a diagram showing the first and second search ranges of the templates 10 to 13. In the drawing, 50 is the first search range of the template 10, 51 is the second search range of the template 10 and the first search range of the template 11, 52 is the second search range of the template 11, and 53 is the search range of the template 12. The first search range, 54 represents the second search range of the template 12 and the first search range of the template 13, and 55 represents the second search range of the template 13.
[0055]
In this embodiment, first, the PE array _0,0 And PE arrays _1,0 Only the first search range of the template 10 and the first search range of the template 12 are searched by operating only _0,0 , PE array _1,0 , PE array _0,1 And PE arrays _1,1 Are operated to search the second search range of the template 10 and the first search range of the template 11, and the second search range of the template 12 and the first search range of the template 13, and finally the PE array _0,1 And PE arrays _1,1 Only the second search range of the template 11 and the second search range of the template 13 are searched by operating only.
[0056]
With this configuration, the PE array _0,0 , PE array _1,0 , PE array _0,1 And PE arrays _1,1 Input the same pixel to _{i, j} (4 × 4 upper left), S _{i-4, j} (4 × 4 lower left), S _{i, j-4} (4x4 upper right) and S _{i-4, j-4} (4 × 4 lower right) can be calculated simultaneously.
[0057]
Where S _{i, j} (4x4 lower left) is S _{i, j} (4x4 upper left) is PE array _0,0 16 CK delay after being output from PE array _1,0 Output from Similarly to the first to third conventional motion vector detecting devices, when a region of 4 pixels × 4 lines cut out from the search area moves from the lower end to the upper end of the search area, an invalid cycle of 15CK occurs. _{i, j} (4x4 upper right) and S _{i, j} (4x4 lower right) is S _{i, j} (4x4 upper left) is PE array _0,0 PE array with 48CK and 64CK delay after output from _0,1 And PE arrays _1,1 Output from
[0058]
Therefore, in the present embodiment, S _{i, j} (4 × 4 upper left) is delayed by 64CK, and S is delayed by the delay circuit B31. _{i, j} (4 × 4 lower left) is delayed by 48CK, and S is delayed by delay circuit A30. _{i, j} (4 × 4 upper right) after 16CK delay, S _{i, j} (4 × 4 upper left), S _{i, j} (4 × 4 lower left), S _{i, j} (4x4 upper right) and S _{i, j} By adding (4 × 4 lower right), S _{i, j} (8 × 4 above), S _{i, j} (8 × 4 below), S _{i, j} (4 × 8 left), S _{i, j} (4 × 8 right), S _{i, j} (8 × 8) is calculated.
[0059]
In the third embodiment, when the invalid cycle when the area of 4 pixels × 4 lines cut out from the search area shifts from the lower end to the upper end of the search area is ignored, the horizontal search range is −3 to +4. , PE array _0,0 , PE array _1,0 , PE array _0,1 And PE arrays _1,1 Operate only for 1/3 of the total number of CKs. However, if the search range becomes wider, the PE array _0,0 , PE array _1,0 , PE array _0,1 And PE arrays _1,1 Are all activated. For example, if the search range in the horizontal direction is -7 to +8, 3/5 of the total number of CKs, and if the search range in the horizontal direction is -11 to +12, 5/5 of the total number of CKs, the PE array _0,0 , PE array _1,0 , PE array _0,1 And PE arrays _1,1 All work.
[0060]
In the first to third embodiments, only four types of template sizes of 4 pixels × 4 lines, 4 pixels × 8 lines, 8 pixels × 4 lines, and 8 pixels × 8 lines are shown. However, the present invention can be applied to combinations of templates of various sizes. For example, according to the present invention, the size of 4 pixels × 4 lines, 4 pixels × 8 lines, 8 pixels × 4 lines, 8 pixels × 8 lines, 8 pixels × 16 lines, 16 pixels × 8 lines, and 16 pixels × 16 lines It can also be applied to combinations of templates.
[0061]
FIG. 14 is a diagram showing a configuration of a difference absolute value sum calculation circuit according to the second embodiment of the present invention when applied to a combination of these templates. Here, the delay circuit A30, the delay circuit D33, and the delay circuit B31 are circuits that delay the input pixels by 16CK, 32CK, and 48CK, respectively, and output the delayed pixels. However, in FIG. 14, the PE array which is the evaluation value of the minimum template is used. _{i, j} The adder for calculating the evaluation value of the larger template by adding the outputs of (1) and (2) is not shown.
[0062]
FIG. 15 shows the sizes of 4 pixels × 4 lines, 4 pixels × 8 lines, 8 pixels × 4 lines, 8 pixels × 8 lines, 8 pixels × 16 lines, 16 pixels × 8 lines, and 16 pixels × 16 lines. FIG. 11 is a diagram illustrating a configuration of a sum of absolute difference value calculation circuit according to a third embodiment of the present invention when applied to the combination of the templates. Here, the delay circuit A30, the delay circuit D33, and the delay circuit B31 are circuits that delay the input pixels by 16CK, 32CK, and 48CK, respectively, and output the delayed pixels. The delay circuits E34, F35, G36, and H37 Is a circuit for delaying the input pixels by 80CK, 96CK, 112CK and 128CK, respectively, and outputting them. Similarly, the delay circuits I38 to P45 are circuits that delay input pixels by 160CK to 288CK and output the delayed signals. However, also in FIG. 15, the PE array which is the evaluation value of the minimum template is used. _{i, j} The adder for calculating the evaluation value of the larger template by adding the outputs of (1) and (2) is not shown.
[0063]
In the first to third embodiments, only the configuration for detecting all the motion vectors within the search range by repeating the evaluation of the same number of motion vectors as the number of pixels of the minimum template in the horizontal direction. However, it is possible to detect all the motion vectors in the search range by repeating the evaluation of the same number of motion vectors as the minimum number of template lines in the vertical direction.
[0064]
Further, the delay circuits A to P used in the second and third embodiments may be realized by connecting registers in series, or may be realized by a first-in first-out memory. As long as the input pixel is output after being delayed by a predetermined CK, any means can be used.
[0065]
【The invention's effect】
As described above, according to the present invention, a motion vector detecting device capable of detecting a motion vector corresponding to a template of a plurality of sizes is as hard as a motion vector detecting device detecting a motion vector of the smallest template. There is an effect that can be realized in quantity and cost.
[Brief description of the drawings]
FIG. 1 is a block diagram for explaining a configuration example of the present invention.
FIG. 2 is a diagram illustrating a correspondence between four templates of adjacent 4 pixels × 4 lines and a search area;
FIG. 3 is a diagram showing a correspondence between a template and a search area when the size of the template is 8 pixels × 4 lines.
FIG. 4 is a diagram showing a correspondence between a template and a search area when the size of the template is 4 pixels × 8 lines.
FIG. 5 is a diagram showing a correspondence between a template and a search area when the size of the template is 8 pixels × 8 lines.
FIG. 6 is a diagram illustrating a configuration of a difference absolute value sum calculation circuit in the motion vector detection device according to the first embodiment.
FIG. 7 is a diagram illustrating timings of pixels input to a sum of absolute difference value calculating circuit according to the first embodiment.
FIG. 8 is a diagram showing a PE array in the sum of absolute difference calculating circuit according to the first embodiment; _{i, j} FIG. 3 is a diagram showing the configuration of FIG.
FIG. 9 is a diagram illustrating a configuration of a sum-of-absolute-difference calculation circuit in the motion vector detection device according to the second embodiment.
FIG. 10 is a diagram illustrating timings of pixels input to a difference absolute value sum calculation circuit according to the second embodiment.
FIG. 11 is a diagram illustrating a configuration of a difference absolute value sum calculation circuit in a motion vector detection device according to a third embodiment.
FIG. 12 is a diagram illustrating timings of pixels input to a sum-of-absolute-difference calculating circuit according to the third embodiment.
FIG. 13 is a diagram illustrating first and second search ranges of each template according to the third embodiment.
FIG. 14 shows a template having a size of 4 pixels × 4 lines, 4 pixels × 8 lines, 8 pixels × 4 lines, 8 pixels × 8 lines, 8 pixels × 16 lines, 16 pixels × 8 lines, and 16 pixels × 16 lines. FIG. 9 is a diagram illustrating a configuration of a sum of absolute difference value calculation circuit according to a second embodiment of the present invention when applied to a combination of.
FIG. 15 shows a template having a size of 4 pixels × 4 lines, 4 pixels × 8 lines, 8 pixels × 4 lines, 8 pixels × 8 lines, 8 pixels × 16 lines, 16 pixels × 8 lines, and 16 pixels × 16 lines. FIG. 14 is a diagram illustrating a configuration of a sum of absolute difference value calculation circuit according to a third embodiment of the present invention when applied to a combination of.
FIG. 16 is a diagram illustrating an example of a template to be subjected to motion detection and a search area.
FIG. 17 is a diagram for explaining a method of motion detection by a full search method.
FIG. 18 is a diagram showing a configuration of a sum-of-absolute-difference value calculating circuit in the motion vector detecting device of the first conventional example.
FIG. 19: When calculating the sum of absolute differences between the area of 4 pixels × 4 lines cut out from the upper left corner of the search area and the pixels in the template in the first sum of absolute differences calculation circuit of the first conventional example FIG.
FIG. 20 is a diagram showing a configuration of a difference absolute value sum calculation circuit in a motion vector detection device of a second conventional example.
FIG. 21 illustrates a case where the sum of absolute differences is calculated between a pixel of 4 × 4 lines cut out from the upper left corner of the search area and a pixel in the template in the second sum of absolute difference calculation circuit of the conventional example. FIG.
FIG. 22 is a diagram showing a configuration of a sum-of-absolute-difference value calculation circuit in a motion vector detecting device of a third conventional example.
FIG. 23 shows a case where the sum of absolute differences is calculated between a region of 4 pixels × 4 lines cut out from the upper left corner of the search area and a pixel in the template in the third sum of absolute differences calculation circuit of the third conventional example. FIG. 4 is a diagram for explaining the timing of FIG.
FIG. 24 is a diagram illustrating an example of pixel reading from a search area when an invalid cycle occurs.
FIG. 25 is a diagram showing a configuration of a sum-of-absolute-difference calculating circuit in a motion vector detecting device of a fourth conventional example.
FIG. 26 is a diagram showing a configuration of a difference absolute value sum calculation circuit in a fifth conventional motion vector detection device.
FIG. 27 is a diagram showing an example of reading pixels from a search area in a fifth conventional example.
FIG. 28 is a diagram showing an example of detecting a motion vector in the search area shown in FIG. 16 in the fifth conventional example.
[Explanation of symbols]
1, 10, 11, ..., 18 templates
2,20,21, ..., 28 Search area
3 Circuit to calculate absolute difference
4 registers
5 Adder
6. Summation circuit
7 Selector
8 PE array
30, 31, ..., 45 delay circuits
100 Reference image memory
101 Search area readout circuit
102 Evaluation value calculation circuit
103 Addition circuit

Claims

One template included in a template group obtained by dividing a pixel block of a predetermined size in a first image selected from a moving image to be encoded with a moving image, A value of a value between pixels at corresponding positions between the one template and a pixel block of the same size included in a pixel block group cut out from a search area in a second image selected from a certain moving image. In a motion vector detecting apparatus that evaluates a difference and detects a position of a pixel block having a minimum evaluation value as a motion vector for all templates included in the template group,
An evaluation value calculation circuit corresponding to each of a plurality of minimum templates included in the template group;
A predetermined number of addition circuits for adding outputs of the evaluation value calculation circuit and calculating evaluation values of all templates larger than the minimum template.

A template group obtained by dividing a pixel block in which a horizontal direction is (m × a) pixels and a vertical direction is (n × b) lines in a first image selected from a moving image to be encoded. From a template having a pixel in the horizontal direction and b lines in the vertical direction to a template having a size of (m × a) pixels in the horizontal direction and (n × b) lines in the vertical direction. One of templates of a plurality of sizes, and the one template included in a pixel block group cut out from a search area in a second image selected from the moving image to be encoded with the moving image. The above-described technique is to evaluate the difference in value between pixels at corresponding positions between pixel blocks of the same size and to detect the position of a pixel block having the smallest evaluation value as a motion vector. In the motion vector detection apparatus which performs all of the templates included in the plate group,
M × n evaluation value calculation circuits corresponding to individual templates included in a template group having a pixel in the horizontal direction and b lines in the vertical direction;
A predetermined number of adder circuits for adding outputs of the m × n evaluation value calculation circuits and calculating an evaluation value of a template larger than a template having a pixel in the horizontal direction and b lines in the vertical direction. A motion vector detecting device characterized by the following.

The motion vector detecting device according to claim 2,
The evaluation value calculation circuit repeats the evaluation of a pixel blocks in the horizontal direction, which is the same as the number of pixels of the template whose horizontal direction is a pixel and whose vertical direction is b line, is included in the search range. A motion vector detection device for evaluating all pixel blocks in which a pixel is in a horizontal direction and b lines is in a vertical direction.

The motion vector detecting device according to claim 3,
The evaluation value calculation circuit is composed of a group of b arithmetic units composed of a arithmetic units of the same configuration in order to evaluate an evaluation value of a template having a pixel in the horizontal direction and b lines in the vertical direction, The a pixels formed by selecting any one of the two pixels in the pixel block cut out from the search area are input from the outside, and the same is applied to all the b arithmetic units belonging to the same column. Pixel supply means for supplying pixels;
The computing unit comprises: a unit for holding pixels in a template having a pixel in the horizontal direction and a b line in the vertical direction, the pixels being present at corresponding positions; and a search area supplied by the pixel supply unit. Means for calculating, as an evaluation value, a difference in value between a pixel in a pixel block cut out from the inside and a pixel in a template held in the arithmetic unit, and a sum of evaluation values input from an arithmetic unit in a preceding stage A means for adding the evaluation value of the arithmetic unit itself to the arithmetic unit, and means for sending the result of the addition to the next arithmetic unit after one unit time.

The motion vector detecting device according to claim 4, wherein
Means for supplying 2 × m × n pixels to the m × n evaluation value calculation circuits, two pixels in each of the pixel blocks cut out from the search area,
Means for supplying, for each evaluation value calculation circuit, a number of pixels formed by selecting any one of the two pixels to the arithmetic unit in the evaluation value calculation circuit. Characteristic motion vector detection device.

The motion vector detecting device according to claim 4, wherein
Means for supplying a total of 2.times.m pixels, each of which is composed of n evaluation value calculation circuits in the vertical direction, each of which is two pixels in a pixel block cut out from the search area,
Means for supplying, to each of the n evaluation value calculation circuits in the vertical direction, a pixels formed by selecting one of the two pixels to the arithmetic unit in the evaluation value calculation circuit When,
The output of the j-th (j = 1, 2,..., N) evaluation value calculation circuit in the vertical direction is calculated as (a × b) × y unit time (y = n−1, n−2,. 1,0) a predetermined number of delay means for delaying,
Operate the j-th evaluation value calculation circuit in the vertical direction and (a × b) × (j−1) unit time after the first evaluation value calculation circuit (j = 1) in the vertical direction starts operating. A motion vector detecting device for starting the motion vector detection.

The motion vector detecting device according to claim 4, wherein
Means for supplying only two pixels in the pixel block cut out from the search area to the entirety of the m × n evaluation value calculation circuits;
A means common to the entirety of the m × n evaluation value calculation circuits, wherein a number of pixels formed by selecting any one of the two pixels are calculated by the operation in the evaluation value calculation circuit. Means for supplying to the vessel;
The output of the evaluation value calculation circuit at the i-th position in the horizontal direction and the j-th position (i = 1, 2,..., M; j = 1, 2,..., N) in the vertical direction is represented by (a × b) × (m + 1) ) × (x−1) + (a × b) × y unit time (x = m−1, m−2,..., 2, 1, 0; y = n−1, n−2,. 1,0) a predetermined number of delay means for delaying,
(A × b) × (m + 1) after the first evaluation value calculation circuit (i = 1, j = 1) starts operating the i-th evaluation value calculation circuit in the horizontal direction and the j-th evaluation value calculation circuit in the vertical direction A motion vector detection device characterized in that the operation is started after × (i−1) + (a × b) × (j−1) unit time.

The motion vector detecting device according to claim 2,
The evaluation value calculation circuit repeats the evaluation of b pixel blocks in the vertical direction, which are the same as the number of lines of the template in which the horizontal direction is a pixels and the vertical direction is b lines, thereby being included in the search range. A motion vector detection device for evaluating all pixel blocks in which a pixel is in a horizontal direction and b lines is in a vertical direction.