JP2001285873A - 動きベクトル検出回路及び動きベクトル検出方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像全体に偏った動きがある場合における動
きベクトルの検出精度を向上させる。 【解決手段】 本発明は、１画像を複数に分割した各ブ
ロック毎に動きベクトルを検出する動きベクトル検出回
路に関する。そして、（１）各ブロック毎に検出された
動きベクトルを所定時間だけ記憶する既検出ベクトル記
憶手段と、（２）被検出ブロックの周囲のブロックに係
るｎ個の既検出ベクトルから、与えられたセット情報に
従った、Ｎ（Ｎ＜ｎ）個の動きベクトルを、セットとし
て選択する候補ベクトルセット切替手段と、（３）選択
セットのＮ個の動きベクトルから１個の動きベクトル
を、当初の動きベクトルとして選択する当初ベクトル選
択手段と、（４）選択された当初ベクトルに係るブロッ
クの被検出ブロックに対する相対位置の統計量を得て、
上述したセット情報を形成するセット情報形成手段とを
有することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号における
動き量及び方向、すなわち、動きベクトルを検出する動
きベクトル検出回路及び動きベクトル検出方法に関する
ものである。

【０００２】

【従来の技術】動きベクトルは、画像内の同物体の動き
量及び方向を示すものであり、この動きベクトルは、例
えば、ビデオ信号（例えば、テレビジョン信号）の高能
率符号化におけるフレーム間符号化効率を向上させる際
や、テレビジョン方式変換におけるフィールド数の変換
による動きの不連続性を軽減させる際などに用いられて
いる。

【０００３】動きベクトルの検出方法は、１画像（フレ
ーム、フィールド等）をｓ画素×ｔライン（ｓ，ｔは整
数）のブロックに細分化した後、ブロック毎に検出する
方法である。

【０００４】このような動きベクトルの検出方法として
は、相前後する画像間の信号パターンの類似性を用いて
動きベクトルを検出する、一般にパターンマッチング法
と言われている方法（特開昭５５−１６２６８３号公
報、特開昭５５−１６２６８４号公報他）や、１画像内
信号勾配及び画像間信号差分値の物理的対応等により動
き量を推定する、一般に反復勾配法と言われている方法
（特開昭６０−１５８７８６号公報他）などが良く知ら
れている。

【０００５】反復勾配法の中には、動きベクトルの検出
精度を向上させるために、初期偏位ベクトルを用いたも
の（特開昭６２−２０６９８０号公報）がある。この初
期偏位ベクトルを用いた反復勾配法は、既に検出されて
いる複数のブロックの動きベクトルの中から１個の動き
ベクトルを初期偏位ベクトルとして選択し、この初期偏
位ベクトルを基準点として、複数のブロックの動き偏位
量の検出を行い、真の動きベクトルを検出する方法であ
る。

【０００６】以下、前フィールドを基準として、現フィ
ールドの真の動きベクトルを初期偏位ベクトルを用いて
求める方法について、図２〜図４を用いて説明する。こ
こで、図３が、反復勾配演算を２回実行する反復演算法
に従った動きベクトル検出回路の機能ブロック図であ
る。

【０００７】図２に示すように、真の動きベクトルを求
めようとする被検出ブロック（ｍ１，ｎ１)に対して、
時間的に前に検出されている動きベクトルの中から最適
な動きベクトルを選択し、この選択された動きベクトル
を初期偏位ベクトルＶ０=（α０，β０)とする。すなわ
ち、初期偏位ベクトル選択部１１によって、既検出ベク
トルメモリ１０に格納されている、被検出ブロック近傍
のブロックの既検出の動きベクトルの中から、前フィー
ルド信号ＳＣ及び現フィールド信号ＳＢのブロックマッ
チングに基づいた初期偏位ベクトルＶ０が選択される。
この初期偏位ベクトルＶ０、前フィールド信号ＳＣ及び
現フィールド信号ＳＢを用いた、第１の勾配法演算部１
２による勾配法演算によって初期偏位ベクトルＶ０から
の偏差分のベクトルＶ１が求められ、加算部１３によっ
てこの分ベクトルが補正される（図４参照）。さらに、
ベクトルＶ０＋Ｖ１、前フィールド信号Ｃ及び現フィー
ルド信号Ｂを用いた、第２の勾配法演算部１４による勾
配法演算によってベクトルＶ０＋Ｖ１からの偏差分のベ
クトルＶ２が求められ、加算部１５によってこの分ベク
トルが補正され（図４参照）、最終的な動きベクトルＶ
（＝Ｖ０＋Ｖ１＋Ｖ２）として出力されると共に、既検
出ベクトルメモリ１０に与えられて格納される。

【０００８】なお、反復勾配法による勾配法演算等につ
いては、例えば、映像情報メディア学会のＭＰＥＧ等に
記載されているので、その詳細説明は省略する。

【０００９】反復勾配法に従う動きベクトル検出回路に
おいては、初期偏位ベクトルＶ０の選択が動きベクトル
の検出精度に大きく影響する。すなわち、初期偏位ベク
トルＶ０が適切に選択された場合には、被検出ブロック
の真の動きベクトルに近い値から勾配演算を実行でき、
検出精度が良好なものとなる。

【００１０】従来においては、被検出ブロックの周辺ブ
ロック（通常は被検出ブロックの周囲の８ブロック）の
既検出ベクトルに基づいたパターンマッチングなどによ
って、初期偏位ベクトルＶ０を決定していた。

【００１１】

【発明が解決しようとする課題】しかしながら、上述し
た従来技術では、複数の候補ベクトル（周辺ブロックの
既検出ベクトル）の中から初期偏位ベクトルを選択する
際に、各被検出ブロック毎に独立して初期偏位ベクトル
を選択しているので、画像全体が偏った動きの場合な
ど、本来ならば、各被検出ブロックでの初期偏位ベクト
ルが同様であることが望まれる場合であっても、各被検
出ブロックでまちまちの初期偏位ベクトルを選択し、そ
の結果、検出精度が劣化するようなこともあった。

【００１２】例えば、画面がパニングする場合を考える
と、画面全体が同一方向に同様な速度で動いている。こ
の場合、平坦な画像であれば、被検出ブロックの周囲の
複数のブロックの既検出動きベクトルは同様な値とな
り、それらを偏位させた際の画素値も同様な値となっ
て、初期偏位ベクトルを選択する際に、複数の候補ベク
トルが同様な値となることがある。そのため、画面全体
が同一方向に同様な速度で動いているにも拘わらず、各
被検出ブロックについて選択された初期偏位ベクトルが
まちまちになることがあり、このような初期偏位ベクト
ルに対して勾配演算を行うと、各被検出ブロックについ
て得られた動きベクトルについて誤差もまちまちとな
る。

【００１３】パニングの場合だけでなく、動きの少ない
画像の場合等でも、各被検出ブロックについて選択され
た初期偏位ベクトルがまちまちとなることもあった。

【００１４】すなわち、従来においては、画像全体の動
きを考慮することなく、各被検出ブロックについて初期
偏位ベクトルを選択していたため、例えば、水平方向の
動きの画像で垂直方向の動きベクトルとして検出した
り、垂直方向の動きの画像で水平方向の動きベクトルと
して検出したりすることも生じていた。

【００１５】そのため、画像全体に偏った動きがある場
合でも、各被検出ブロックについての初期偏位ベクトル
（当初ベクトル）を適切に選択でき、検出精度を向上さ
せることができる動きベクトル検出回路及び動きベクト
ル検出方法が望まれている。

【００１６】

【課題を解決するための手段】かかる課題を解決するた
め、第１の本発明は、１画像を所定の大きさの複数のブ
ロックに分割し、各ブロック毎に、相前後する少なくと
も２画像の信号から、動きベクトルを検出する動きベク
トル検出回路において、（１）各ブロック毎に検出され
た動きベクトルを所定時間だけ記憶する既検出ベクトル
記憶手段と、（２）動きベクトルをこれから検出しよう
とする被検出ブロックの周囲のブロックに係るｎ個の既
検出の動きベクトルから、与えられたセット情報に従っ
た、Ｎ（Ｎ＜ｎ）個の動きベクトルを、候補ベクトルセ
ットとして選択する候補ベクトルセット切替手段と、
（３）選択された候補ベクトルセットにおけるＮ個の動
きベクトルから、被検出ブロックの動きベクトルに最も
近い動きベクトルを、当初ベクトルとして選択する当初
ベクトル選択手段と、（４）選択された当初ベクトルに
対し、ベクトル補正して、被検出ブロックについての最
終的な動きベクトルを検出するベクトル補正手段と、
（５）選択された当初ベクトルに係るブロックの被検出
ブロックに対する相対位置の統計量を得て、上記候補ベ
クトルセット切替手段に与えるセット情報を形成するセ
ット情報形成手段とを有することを特徴とする。

【００１７】また、第２の本発明は、１画像を所定の大
きさの複数のブロックに分割し、各ブロック毎に、相前
後する少なくとも２画像の信号から、動きベクトルを検
出する動きベクトル検出方法において、（１）各ブロッ
ク毎に検出された動きベクトルを所定時間だけ記憶させ
ておき、（２）動きベクトルをこれから検出しようとす
る被検出ブロックの周囲のブロックに係るｎ個の既検出
の動きベクトルから、セット情報に従った、Ｎ（Ｎ＜
ｎ）個の動きベクトルを、候補ベクトルセットとして選
択し、（３）選択された候補ベクトルセットにおけるＮ
個の動きベクトルから、被検出ブロックの動きベクトル
に最も近い動きベクトルを、当初ベクトルとして選択
し、（４）選択された当初ベクトルに対し、ベクトル補
正して、被検出ブロックについての最終的な動きベクト
ルを検出すると共に、（５）選択された当初ベクトルに
係るブロックの被検出ブロックに対する相対位置の統計
量を得て、上記候補ベクトルセットを規定するセット情
報を形成することを特徴とする。

【００１８】

【発明の実施の形態】以下、本発明による動きベクトル
検出回路及び動きベクトル検出方法の一実施形態を図面
を参照しながら詳述する。

【００１９】（Ａ）実施形態の概要 この実施形態では、初期偏位ベクトルの選択に際して、
被検出ブロックの近傍において、広範囲の周辺ブロッ
ク、例えば、図５に示すような２４個のブロックの中か
ら、８候補の周辺ブロックのセットを複数用意する。ま
た、被検出ブロックについての初期偏位ベクトルが選択
される毎に、８候補中の選択された初期偏位ベクトルに
係る周辺ブロックの被検出ブロックに対する相対位置を
計数し、この計数動作を１フィールドの間だけ行う。そ
して、１フィールドの中で一番多く選択された初期偏位
ベクトルの相対位置により、複数のブロックセット（ベ
クトルセット）の中から、最も初期偏位ベクトルの選択
に適した１個のブロックセットを判定して選択し、その
選択されたブロックセットに属する８個の周辺ブロック
についての既検出ベクトルを初期偏位ベクトルの選択に
使用するものとする。すなわち、初期偏位ベクトルの前
フィールドでの選択情報により候補ベクトルのセットを
切替えるものであり、画像のフィールド方向の時間軸で
の連続性を反映させることができる。

【００２０】この実施形態は、動き検出のための評価対
象ブロックの範囲を、初期偏位ベクトルの候補ベクトル
数より拡大すると共に、被検出ブロック以前の１フィー
ルド分の初期偏位ベクトルとして選択された、相対位置
が同じブロックの個数を計数し、最多の相対位置が同じ
ブロックを、各被検出ブロックの初期偏位ベクトル（ブ
ロック）の選択の際に優先的に使用することにより、画
像のフィールド時間軸方向の全体的に一様な動きのある
信号の場合等にも、動きベクトルを高精度に検出できる
ようにしたものである。

【００２１】（Ｂ）実施形態の構成 図１は、この実施形態の動きベクトル検出回路の構成を
示すブロック図であり、上述した図３との同一、対応部
分には同一符号を付して示している。

【００２２】図１において、この実施形態の動きベクト
ル検出回路は、従来と同様な既検出ベクトルメモリ１
０、初期偏位ベクトル選択部１１、第１の勾配法演算部
１２、加算部１３、第２の勾配法演算部１４及び加算部
１５に加え、候補ベクトルセット切替部２０、８候補カ
ウンタ２１、セット切替判定部２２及び１フィールド保
持部２３を有する。なお、従来に係る図３では省略して
いたが、この図１では、入力段に設けられている１フィ
ールド遅延部１６も表記している。

【００２３】１フィールド遅延部１６には、入力された
ビデオ信号ＳＡを１フィールドだけ遅延させて、現フィ
ールド信号ＳＢの１フィールド前のフィールド信号（以
下、前フィールド信号と呼ぶ）ＳＣを形成するものであ
る。

【００２４】なお、この実施形態においては、前フィー
ルド信号ＳＣを基準フィールド、現フィールド信号ＳＢ
を探索フィールドとして、動きベクトルを検出する。ま
た、動きベクトルの検出は、８画素×８ラインのブロッ
クを用いて行うものとする。

【００２５】既検出ベクトルメモリ１０、初期偏位ベク
トル選択部１１、第１の勾配法演算部１２、加算部１
３、第２の勾配法演算部１４及び加算部１５は、従来と
同様なものである。

【００２６】すなわち、初期偏位ベクトル選択部１１に
よって、既検出ベクトルメモリ１０に格納されている、
被検出ブロック近傍の既検出の動きベクトルの中から、
前フィールド信号ＳＣ及び現フィールド信号ＳＢのブロ
ックマッチングに基づいた初期偏位ベクトルＳＧが選択
され、この初期偏位ベクトルＳＧ、前フィールド信号Ｓ
Ｃ及び現フィールド信号ＳＢを用いた、第１の勾配法演
算部１２による勾配法演算によって初期偏位ベクトルＳ
Ｇからの偏差分のベクトルＳＨが求められ、加算部１３
によってこの分ベクトルが補正される。さらに、ベクト
ルＳＩ（＝ＳＧ＋ＳＨ）、前フィールド信号ＳＣ及び現
フィールド信号ＳＢを用いた、第２の勾配法演算部１４
による勾配法演算によってベクトルＳＩからの偏差分の
ベクトルＳＪが求められ、加算部１５によってこの分ベ
クトルが補正され、最終的な動きベクトルＳＫ（＝ＳＩ
＋ＳＪ）として出力されると共に、既検出ベクトルメモ
リ１０に与えられて格納される。

【００２７】この実施形態で追加された候補ベクトルセ
ット切替部２０は、１フィールド保持部２３から与えら
れたセット情報ＳＮが指示する、その時点での被検出ブ
ロックの位置の近傍の８個の候補ベクトルを、既検出ベ
クトルメモリ１０から取り出して、候補ベクトルセット
ＳＭとして、初期偏位ベクトル選択部１１に与えるもの
である。候補ベクトルセットＳＭの例は、後述する動作
説明で明らかにする（図８参照）。

【００２８】なお、候補ベクトルは、既に検出されたも
のであれば、被検出ブロックが属する前のフィールドに
係るものに限定されるものではなく、被検出ブロックが
属するフィールドに係るものであっても良い。例えば、
被検出ブロックを、横方向のラスタスキャン状に切り替
えていくものである場合には、例えば、被検出ブロック
より上方のブロックについては既に動きベクトルが検出
されている。

【００２９】候補ベクトルセット切替部２０は、例え
ば、図６に示すように、ｎ個（ｎは８より大きい）の候
補ベクトルの組ＳＬから８個の候補ベクトルを、１フィ
ールド保持部２３から与えられたセット情報ＳＮに従っ
て選択するセレクタ回路で実現することができる。

【００３０】例えば、上述した図５に示すように、被検
出ブロックを中心とした縦横５×５の計２５個のブロッ
クのうち、被検出ブロックを除いた計２４個の周辺ブロ
ックに係るベクトルを候補ベクトルとする場合には、上
述したｎは２４である。また、周辺ブロックに係るベク
トルだけでなく、前フィールドでの被検出ブロック位置
やその周囲８ブロックに係る既検出ベクトルの平均ベク
トル等も候補ベクトルとすることもでき、この場合に
は、ｎ個の候補ベクトルには、その平均ベクトルも含ま
れる。

【００３１】ここで、候補ベクトルセットにおける候補
ベクトルの数は８に限定されないことは勿論である。な
お、動きベクトルの検出処理の高速化を期して、初期偏
位ベクトル選択部１１として、８個の候補ベクトルに対
する評価値を並行して求めるハードウェア構成のものが
既に存在している。

【００３２】初期偏位ベクトル選択部１１は、上述のよ
うに、複数の候補ベクトルの中から初期偏位ベクトルＳ
Ｇを選択して第１の勾配法演算部１２に与えるものであ
る。この実施形態の場合、初期偏位ベクトルＳＧとして
選択された候補ベクトルの相対位置を規定する選択情報
ＳＤをも形成して８候補カウンタ２１に与えるものであ
る。言い換えると、選択情報ＳＤは、例えば、選択され
た初期偏位ベクトルＳＧに係るブロックのブロックセッ
ト内の相対位置を示す情報である。

【００３３】８候補カウンタ２１は、１フィールド間に
わたって、初期偏位ベクトルＳＧが選択される毎に、言
い換えると、選択情報ＳＤが与えられる毎に、その選択
情報ＳＤが指示する８候補ブロック内での相対位置につ
いての選択回数（フィールドが切り替わったときには０
クリアされる）を積算するものであり、現在動きベクト
ルの検出対象となっているフィールドについての全ての
動きベクトルの検出が終了したときに、計数値が最も多
い相対位置を表す最多候補ＳＥを得てセット切替判定部
２２に与えるものである。

【００３４】図７は、８候補カウンタ２１の詳細構成例
を示すものである。８候補カウンタ２１は、候補デコー
ド部３０、８個のカウンタ３１〜３８及び大小比較部３
９からなる。

【００３５】候補デコード部３０には、初期偏位ベクト
ル選択部１１からの選択情報ＳＤが与えられ、候補デコ
ード部３０は、この選択情報ＳＤをデコードして、選択
情報ＳＤが指示している相対位置に係るカウンタ３ｘ
（ｘは１〜８のいずれか）を１インクリメントさせるた
めのトリガ信号ＳＤＸ（ＸはＡ〜Ｈのいずれかであり、
ｘに対応している）を有意にする。

【００３６】８個のカウンタ３１〜３８は、８個の候補
ベクトルの相対位置毎のものであり（後述する図８参
照）、図７の例では、８個の相対位置を、「Ａ候補」、
「Ｂ候補」、…、「Ｈ候補」で表している。各カウンタ
３１、…、３８はそれぞれ、トリガ信号ＳＤＡ、…、Ｓ
ＤＨが候補デコード部３０から与えられたときに１イン
クリメントするものである。なお、図７では、図示を省
略しているが、検出対象のフィールドが切り替わった際
には（例えばブランキング期間において）、図示しない
タイミング発生回路から、全てのカウンタ３１〜３８に
対して計数値を０クリアさせるリセット信号が与えられ
るようになされている。

【００３７】また、大小比較部３９には、図７では図示
を省略しているが、検出対象のフィールドが切り替わっ
た際に（例えばブランキング期間において）、図示しな
い比較イネーブル信号が与えられる。大小比較部３９
は、比較イネーブル信号が与えられたときには、全ての
カウンタ３１〜３８から計数値ＳＥＡ〜ＳＥＨを取り出
し、最も大きい計数値を認識し、その最大計数値に係る
相対位置を最多候補ＳＥとしてセット切替判定部２２に
与える。

【００３８】セット切替判定部２２は、与えられた最多
候補ＳＥと、１フィールド保持部２３が保持している今
までのセット情報ＳＮから、これからの処理フィールド
におけるセット情報（切替信号）ＳＯを形成して１フィ
ールド保持部２３に与える。なお、セット切替判定部２
２による切替信号ＳＯの形成方法例は、後述する動作説
明で明らかにする。

【００３９】１フィールド保持部２３は、セット切替判
定部２２から与えられたセット情報（切替信号）ＳＯ
を、これからの処理フィールドの期間だけ保持し、その
保持したセット情報ＳＮを、候補ベクトルセット切替部
２０及びセット切替判定部２２に与えるものである。

【００４０】（Ｃ）実施形態の動作 以下、図１に構成を示した実施形態の動きベクトル検出
回路の動作（動きベクトル検出方法）を説明する。

【００４１】入力されたビデオ信号ＳＢを１フィールド
遅延部１６を通過させることで、動きベクトルの検出に
必要な現フィールド信号ＳＢ及び前フィールド信号ＳＣ
を用意する。これら現フィールド信号ＳＢ及び前フィー
ルド信号ＳＣは、初期偏位ベクトル選択部１１、第１の
勾配法演算部１２及び第２の勾配法演算部１４に与えら
れる。

【００４２】現フィールドの動きベクトルの検出対象の
被検出ブロックが新しくなると、候補ベクトルセット切
替部２０によって、その被検出ブロックの周囲におけ
る、しかも、セット情報ＳＮが指示している８個の候補
ベクトルのセットＳＭが、既検出ベクトルメモリ１０か
ら取り出されて初期偏位ベクトル選択部１１に与えられ
る。

【００４３】初期偏位ベクトル選択部１１においては、
以上のようにして候補ベクトルセット切替部２０によっ
て選ばれた８個の候補ベクトルの中から、前フィールド
信号ＳＣ及び現フィールド信号ＳＢのブロックマッチン
グなどに基づいた初期偏位ベクトルＳＧが選択され、こ
の初期偏位ベクトルＳＧが、第１の勾配法演算部１２及
び加算部１３に与えられると共に、初期偏位ベクトルＳ
Ｇとして選択された候補ベクトル（候補ブロック）の被
検出ブロックに対する相対位置を示す選択情報ＳＤが初
期偏位ベクトル選択部１１から８候補カウンタ２１に与
えられる。

【００４４】初期偏位ベクトルＳＧが与えられた第１の
勾配法演算部１２においては、初期偏位ベクトルＳＧ、
前フィールド信号ＳＣ及び現フィールド信号ＳＢを用い
た勾配法演算が実行されて、初期偏位ベクトルＳＧから
の偏差分のベクトルＳＨが求められ、加算部１３によっ
てこの分ベクトルが補正される。さらに、ベクトルＳＩ
（＝ＳＧ＋ＳＨ）、前フィールド信号ＳＣ及び現フィー
ルド信号ＳＢを用いた、第２の勾配法演算部１４による
勾配法演算によってベクトルＳＩからの偏差分のベクト
ルＳＪが求められ、加算部１５によってこの分ベクトル
が補正され、現在処理対象の被検出ブロックについての
最終的な動きベクトルＳＫ（＝ＳＩ＋ＳＪ）として出力
されると共に、既検出ベクトルメモリ１０に与えられ
て、１画像（１フィールド）内のそのブロック位置での
既検出ベクトルとして格納される。

【００４５】一方、選択情報ＳＤが与えられた８候補カ
ウンタ２１においては、その選択情報ＳＤが指示する相
対位置に応じた計数値を１インクリメントする。

【００４６】このようなブロック単位の動きベクトルの
検出処理は、現在処理対象のフィールドにおける全ての
ブロックについて実行される。

【００４７】８候補カウンタ２１の各相対位置に応じた
カウンタ（図７の３１〜３８参照）は、新たなフィール
ドが処理対象となったときに０クリアされ、その処理対
象のフィールドが終了したときには、各被検出ブロック
について初期偏位ベクトルとして選択された相対位置の
選択回数が計数値となっている。処理対象のフィールド
が終了したときには、８候補カウンタ２１から、選択回
数が最も多い相対位置を表す最多候補ＳＥがセット切替
判定部２２に与えられる。

【００４８】セット切替判定部２２においては、与えら
れた最多候補ＳＥと、１フィールド保持部２３が保持し
ている今までのセット情報ＳＮから、これからのフィー
ルドにおけるセット情報（切替信号）ＳＯが形成されて
１フィールド保持部２３に与えられ、１フィールド保持
部２３によって、そのセット情報（切替信号）ＳＯが、
これからのフィールドの期間だけ保持され、保持された
セット情報ＳＮが、候補ベクトルセット切替部２０及び
セット切替判定部２２に与えられる。

【００４９】これにより、これからのフィールドにおい
ては、保持されたセット情報ＳＮで定まる８個の候補ベ
クトルセットが候補ベクトルセット切替部２０に選択さ
れることになる。

【００５０】以下、候補ベクトルセットの切替方法を、
言い換えると、どのような基準で切り替えるかを、数例
について説明する。

【００５１】上述したように、候補ベクトルは、既検出
ベクトルであれば、被検出ブロックが属する前のフィー
ルドに係るものであっても、また、被検出ブロックが属
するフィールドに係るものであっても良い。

【００５２】候補ベクトルセットの切替方法の基準の一
つとしては、最多候補が前フィールドに係る候補ベクト
ル（初期偏位ベクトル）に関する相対位置である場合に
は、前フィールドの候補ベクトルを多くした候補ベクト
ルセットにし、最多候補が現フィールドに係る候補ベク
トル（初期偏位ベクトル）に関する相対位置である場合
には、現フィールドの候補ベクトルを多くした候補ベク
トルセットにする、というように、前フィールドと現フ
ィールドの候補ベクトルを任意数ずつ組み合わせたセッ
トで切り替えることもできる。

【００５３】このとき、フィールド方向（フィールド時
間軸）の連続性を切替のパラメータにしても良い。

【００５４】例えば、最多候補が前フィールドの候補ベ
クトル（初期偏位ベクトル）に係る場合が所定数のフィ
ールドだけ連続したときには、前フィールドの候補ベク
トルを多くした候補ベクトルセットにし、最多候補が現
フィールドの候補ベクトル（初期偏位ベクトル）に係る
場合が所定数のフィールドだけ連続したときには、現フ
ィールドの候補ベクトルを多くした候補ベクトルセット
にすることもできる。

【００５５】また、他のベクトルセットの切り替え方法
の基準としては、初期偏位ベクトルとして選択された候
補ベクトルに係るブロックの相対位置の最多候補が、被
検出ブロックの上側のブロックの場合には、上側のブロ
ックの候補ベクトルを多くした候補ベクトルセットに切
り替え、最多候補が、被検出ブロックの下側のブロック
の場合には、下側のブロックの候補ベクトルを多くした
候補ベクトルセットに切り替え、最多候補が、被検出ブ
ロックの左側のブロックの場合には、左側のブロックの
候補ベクトルを多くした候補ベクトルセットに切り替
え、最多候補が、被検出ブロックの右側のブロックの場
合には、右側のブロックの候補ベクトルを多くした候補
ベクトルセットに切り替えるというような、上、下、
左、右のベクトルセット間で切り替えるようにすること
も可能である。

【００５６】このとき、上述したように、フィールド方
向の連続性をも切替えのパラメータにしても良い。

【００５７】図８は、セット要素となり得るブロックを
含む領域を縦横５×５ブロックとした場合における、上
下左右の各方向の候補ベクトルセットの例を示すもので
あり、上下左右の各方向の候補ベクトルセットに加え
て、方向が偏っていない基準のベクトルセットも示して
いる。

【００５８】なお、図８においては、上下左右の各方向
の候補ベクトルセットをそれぞれ、「上方向セット」、
「下方向セット」、「左方向セット」、「右方向セッ
ト」という文字列で表しており、また、基準のベクトル
セットを「基準セット」という文字列で表している。ま
た、図８において、「※」は被検出ブロックを表してい
る。さらに、図８では、５種類の候補ベクトルのセット
を表しているが、他の候補ベクトルのセットがあって良
いことは勿論である。例えば、左上方向、右上方向、左
下方向、右下方向の候補ベクトルセットがあっても良
い。また例えば、同じ方向を指向しても、その距離の遠
近等によって、複数の候補ベクトルセットがあっても良
い。

【００５９】図８において、初期状態としては、図８
（Ａ）に示す基準セットが選択され、Ａ〜Ｈを候補ベク
トルとして初期偏位ベクトルの検出が実行される。な
お、Ａ〜Ｈは候補ベクトルを表すと共に、その候補ベク
トルに係るブロックの相対位置（ブロック名）をも表し
ている。

【００６０】ここでは、候補ベクトルＡ、Ｂ、Ｃ、Ｄ、
Ｈは、複数の候補ベクトルセット間で被検出ブロックに
対する相対位置が固定の候補ベクトルであり、候補ベク
トルＥ、Ｆ、Ｇは、各候補ベクトルセットにおいて、前
フィールドでの最多候補によって被検出ブロックに対す
る相対位置が変化する候補ベクトルである。

【００６１】また、図８の場合でも、上述したように、
被検出ブロックが属するフィールドの前のフィールドの
既検出ベクトルと、被検出ブロックが属する現フィール
ドの既検出ベクトルのいずれをも候補ベクトルセットに
含めることができる。

【００６２】固定の候補ベクトル（ブロック名）Ａ、
Ｂ、Ｃ、Ｄ、Ｈの相対位置は、以下の通りとする。被検
出ブロックの切り替えは、左右方向のラスタ状に従って
いるとする。

【００６３】Ａ：現フィールド２ブロック左 Ｂ：現フィールド１ブロック上 Ｃ：前フィールド１ブロック右 Ｄ：前フィールド１ブロック下 Ｈ：前フィールドの平均ベクトル（前フィールドにおけ
る被検出位置ブロック及び周囲ブロックの計９ブロック
の平均）基準セットでの初期偏位ベクトルの選択結果、
相対位置がベクトルセットで変化する候補ベクトルＨ、
Ｆ又はＧが最多候補となった場合には、上下左右を特定
できないため、次フィールドでは再び基準セットを用い
た初期偏位ベクトルの選択を行なうものとする。

【００６４】相対位置が変化する候補ベクトルＨ、Ｆ又
はＧのブロック構成の取り方の例を以下に示す。

【００６５】基準セットでの初期偏位ベクトルの選択の
１フィールド分の結果、相対位置Ｂが最多候補となった
場合には、次フィールドでは、図８（Ｂ）に示す上方向
セットを用いた初期偏位ベクトルの選択を行なう。

【００６６】基準セットでの初期偏位ベクトルの選択の
１フィールド分の結果、相対位置Ｄが最多候補となった
場合には、次フィールドでは、図８（Ｃ）に示す下方向
セットを用いた初期偏位ベクトルの選択を行なう。

【００６７】基準セットでの初期偏位ベクトルの選択の
１フィールド分の結果、相対位置Ａ又はＥが最多候補と
なった場合には、次フィールドでは、図８（Ｄ）に示す
左方向セットを用いた初期偏位ベクトルの選択を行な
う。

【００６８】基準セットでの初期偏位ベクトルの選択の
１フィールド分の結果、相対位置Ｃが最多候補となった
場合には、次フィールドでは、図８（Ｅ）に示す右方向
セットを用いた初期偏位ベクトルの選択を行なう。

【００６９】上方向セットでの初期偏位ベクトルの選択
の１フィールド分の結果、相対位置Ｂ、Ｅ、Ｆ、Ｇ又は
Ｈが最多候補となった場合には、次フィールドでは再び
上方向セットを用いた初期偏位ベクトルの選択を行な
う。

【００７０】上方向セットでの初期偏位ベクトルの選択
の１フィールド分の結果、相対位置Ｂ、Ｅ、Ｆ、Ｇ、Ｈ
以外が最多候補となった場合には、次フィールドでは、
基準セットを用いた初期偏位ベクトルの選択を行なう。

【００７１】上方向セットでの場合と同様に、下方向セ
ットや左方向セットや右方向セットでの初期偏位ベクト
ルの選択の１フィールド分の結果が、被検出ブロック位
置よりその方向の相対位置が最多候補となった場合に
は、次フィールドでは再びその方向のセットを用いた初
期偏位ベクトルの選択を行ない、一方、それ以外の相対
位置が最多候補となった場合には、次フィールドでは、
基準セットを用いた初期偏位ベクトルの選択を行なう。

【００７２】以上のように、フィールド毎に、基準セッ
ト、上方向セット、下方向セット、左方向セット及び右
方向セット間で、初期繊維ベクトルの候補ベクトルセッ
トがを遷移する。

【００７３】ここで、候補ベクトルセットの遷移には最
多候補の時間的な連続性をパラメータにしても良く、ま
た、同じ方向が複数回連続した場合に遷移させる方法も
可能である。

【００７４】なお、候補ベクトルセットは、各候補ベク
トルセットにおいて各種動画像をシミュレーションする
ことにより得られたデータを検証することにより、決定
することができる。

【００７５】（Ｄ）実施形態の効果 以上のように、上記実施形態によれば、初期偏位ベクト
ルを選択させるための候補ベクトルセットを複数持ち、
初期偏位ベクトルの選択回数を、８候補それぞれの相対
位置で１フィールド分だけカウントし、その計数値の大
小比較により、８候補中の最多候補を検出し、その最多
候補の特徴より、次フィールドでの初期偏位ベクトルの
選択に用いる最適な候補ベクトルセットを選択し、その
候補ベクトルセットで検出された初期偏位ベクトルを用
いて反復勾配法により動きベクトル検出を行うようにし
たので、画像全体に偏った動きがある場合でも、各被検
出ブロックについての初期偏位ベクトルを適切に選択で
き、検出精度を向上させることができる動きベクトル検
出回路及び動きベクトル検出方法を実現できる。

【００７６】すなわち、この実施形態の場合、初期偏位
ベクトルの直接的な選択は、８候補ベクトルから行って
いるが、その８候補ベクトルのセットの選択をも複数の
セットの中から行っているので、結果として、初期偏位
ベクトルの選択に供する候補ベクトル数は８候補より多
く、言い換えると、広範囲のブロックから初期偏位ベク
トルを選択可能であり、この点から、適切な候補ベクト
ルを初期偏位ベクトルに選択できて検出精度を高めるこ
とができる。

【００７７】また、各フィールド毎に、初期偏位ベクト
ルの候補ベクトルセットの組み合わせを、画像の動きの
性質にあわせてフレキシブルに変えているため、すなわ
ち、前フィールドの初期偏位ベクトルの選択結果をみ
て、画像の動きの特徴を捉えて初期偏位ベクトルの候補
セットの組み合わせをフレキシブルに変えているため、
画像全体に偏った動きがある場合でも、動きベクトルの
検出精度を向上させることができる。

【００７８】因みに、初期偏位ベクトルを決定するため
の直接的な候補ベクトルの数を増大させて検出精度を向
上させることも考えられるが、初期偏位ベクトルの選択
に供する構成が大規模になったり、処理量が多くなった
りする。この点で、上記実施形態のほうが好ましい。

【００７９】（Ｅ）他の実施形態 上記実施形態の説明においても、種々、上記実施形態を
変形した他の実施形態に言及したが、さらに、以下に例
示するような他の実施形態を挙げることもできる。

【００８０】上記実施形態においては、動きベクトルの
検出に供する画像信号がインターレース方式に従うもの
であって、相前後するフィールド間の信号を利用して動
きベクトルを検出するものを示した。本発明は、これに
限定されるものではない。

【００８１】例えば、動きベクトルの検出に供するフィ
ールド間が２フィールド以上離れたものであっても良
く、また、フィールド概念がないノンインターレース方
式に従う画像信号の動きベクトル検出に本発明を適用す
ることができる。

【００８２】また、上記実施形態の説明での各種数値は
あくまでも一例である。例えば、初期候補ベクトルの直
接の選択に供する候補ベクトル数は８より多くてもまた
少なくても良い。また例えば、候補ベクトルセットを規
定する領域の大きさも、縦横５×５ブロックの領域より
大きくても小さくても良い。さらに例えば、ブロックの
大きさも。８画素×８ラインより大きくても小さくても
良い。

【００８３】さらに、上記実施形態においては、候補ベ
クトルセットの見直しを１フィールド毎に行うものを示
したが、それより長い期間や短い期間で見直すようにし
ても良い。

【００８４】さらにまた、上記実施形態においては、同
一セット内の８候補ベクトルについては、選択の優先度
がないものを示したが、新たなセットを決定する際にそ
のセットでの各候補ベクトルでの選択優先度を定めた
り、セット内の各候補ベクトルに予め選択優先度を付与
するようにしても良い。例えば、上方向セットに切り替
えさせる、又は、上方向セットを維持させる最多情報の
値が非常に大きい場合には、その上方向セットでの相対
位置が上方向の候補ベクトルを他の候補ベクトルより選
択し易いような重み付けを行っても良い。

【００８５】また、上記実施形態においては、最多情報
に基づいて、候補ベクトルセットを決定するものを示し
たが、他の情報に基づいて、又は、最多情報及び他の情
報に基づいて、候補ベクトルセットを決定するようにし
ても良い。例えば、最多情報と、次に多い情報とを比較
し、その差が所定閾値以下のときには次フィールドで基
準セットを選択させるようにしても良い。また、ブロッ
ク毎の相対位置を計数するのではなく、上方向の複数の
ブロック、下方向の複数のブロック等のように、複数の
ブロックを組とし、ブロックの組毎に、初期候補ベクト
ルとして選択された相対位置を計数するようにしても良
い。

【００８６】さらに、上記実施形態においては、候補ベ
クトル切替部２０を設けたものを示したが、既検出ベク
トルメモリ１０から読み出す場合に、セット情報が指示
する８候補ベクトルを読み出して初期偏位ベクトル選択
部１１に与えるようにしても良い。このようにした場合
であっても、機能的には、候補ベクトル切替部２０が存
在するのと等価であり、特許請求の範囲における「候補
ベクトルセット切替手段」は、既検出ベクトルメモリ１
０から、セット情報が指示する８候補ベクトルを読み出
すような場合をも含まれるものとする。

【００８７】なお、初期偏位ベクトルは、動きベクトル
の当初の検出ベクトルを構成しており、上記実施形態で
は、この当初の検出ベクトルに対し、反復勾配法を適用
してベクトル補正して最終的な動きベクトルを得てい
た。上述から明らかなように、本発明の特徴は、初期偏
位ベクトル（当初の検出ベクトル）を得るまでにあり、
初期偏位ベクトル（当初の検出ベクトル）を得た後のベ
クトル補正方法は反復勾配法に限定されるものではな
く、例えば、ブロックマッチング法のような他の方法を
適用しても良いことは勿論である。

【００８８】

【発明の効果】以上のように、本発明によれば、画像全
体に偏った動きがある場合でも、各被検出ブロックにつ
いての当初ベクトルを適切に選択でき、検出精度を向上
させることができる動きベクトル検出回路及び動きベク
トル検出方法を実現できる。

【図面の簡単な説明】

【図１】実施形態の動きベクトル検出回路の構成を示す
ブロック図である。

【図２】現フィールドと前フィールドとの、初期偏位ベ
クトルに係るブロックの対応を示す説明図である。

【図３】従来の動きベクトル検出回路の構成を示すブロ
ック図である。

【図４】初期偏位ベクトルを用いた反復勾配法による動
きベクトルと検出段階との関係を示す説明図である。

【図５】実施形態による初期偏位ベクトルの探索範囲の
大きさと、初期偏位ベクトルの候補ベクトルのセットと
の関係を示す説明図である。

【図６】実施形態の候補ベクトルセット切替部の選択構
成を示すブロック図である。

【図７】実施形態の８候補カウンタの詳細構成例を示す
ブロック図である。

【図８】実施形態の候補ベクトルのセット例を示す説明
図である。

【符号の説明】

１０…既検出ベクトルメモリ、１１…初期偏位ベクトル
選択部、１２…第１の勾配法演算部、１３、１５…加算
部、１４…第２の勾配法演算部、１６…１フィールド遅
延部、２０…候補ベクトルセット切替部、２１…８候補
カウンタ、２２…セット切替判定部、２３…１フィール
ド保持部。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 １画像を所定の大きさの複数のブロック
   に分割し、各ブロック毎に、相前後する少なくとも２画
   像の信号から、動きベクトルを検出する動きベクトル検
   出回路において、 各ブロック毎に検出された動きベクトルを所定時間だけ
   記憶する既検出ベクトル記憶手段と、 動きベクトルをこれから検出しようとする被検出ブロッ
   クの周囲のブロックに係るｎ個の既検出の動きベクトル
   から、与えられたセット情報に従った、Ｎ（Ｎ＜ｎ）個
   の動きベクトルを、候補ベクトルセットとして選択する
   候補ベクトルセット切替手段と、 選択された候補ベクトルセットにおけるＮ個の動きベク
   トルから、被検出ブロックの動きベクトルに最も近い動
   きベクトルを、当初ベクトルとして選択する当初ベクト
   ル選択手段と、 選択された当初ベクトルに対し、ベクトル補正して、被
   検出ブロックについての最終的な動きベクトルを検出す
   るベクトル補正手段と、 選択された当初ベクトルに係るブロックの被検出ブロッ
   クに対する相対位置の統計量を得て、上記候補ベクトル
   セット切替手段に与えるセット情報を形成するセット情
   報形成手段とを有することを特徴とする動きベクトル検
   出回路。
2. 【請求項２】 上記セット情報形成手段は、統計量が大
   きい相対位置の被検出ブロックからの方向の既検出の動
   きベクトルが、上記当初ベクトル選択手段に与えるＮ個
   の動きベクトルに多く含まれるように、セット情報を形
   成することを特徴とする請求項１に記載の動きベクトル
   検出回路。
3. 【請求項３】 １画像を所定の大きさの複数のブロック
   に分割し、各ブロック毎に、相前後する少なくとも２画
   像の信号から、動きベクトルを検出する動きベクトル検
   出方法において、 各ブロック毎に検出された動きベクトルを所定時間だけ
   記憶させておき、 動きベクトルをこれから検出しようとする被検出ブロッ
   クの周囲のブロックに係るｎ個の既検出の動きベクトル
   から、セット情報に従った、Ｎ（Ｎ＜ｎ）個の動きベク
   トルを、候補ベクトルセットとして選択し、 選択された候補ベクトルセットにおけるＮ個の動きベク
   トルから、被検出ブロックの動きベクトルに最も近い動
   きベクトルを、当初ベクトルとして選択し、 選択された当初ベクトルに対し、ベクトル補正して、被
   検出ブロックについての最終的な動きベクトルを検出す
   ると共に、 選択された当初ベクトルに係るブロックの被検出ブロッ
   クに対する相対位置の統計量を得て、上記候補ベクトル
   セットを規定するセット情報を形成することを特徴とす
   る動きベクトル検出方法。
4. 【請求項４】 統計量が大きい相対位置の被検出ブロッ
   クからの方向の既検出の動きベクトルが、上記当初ベク
   トルの選択に供するＮ個の動きベクトルに多く含まれる
   ように、セット情報を形成することを特徴とする請求項
   ３に記載の動きベクトル検出方法。