JP2004236023A - 動きベクトル検出装置および方法 - Google Patents

Abstract

【課題】インタレース画像に対して高精度で動きベクトルを検出できる、逐次探索法を用いた動きベクトル検出装置を提供する。
【解決手段】候補ベクトル生成部１２は、フレームベクトル探索用とフィールドベクトル探索用とに２種類の探索パターンを有しており、探索モード２１に応じていずれかの探索パターンを選択して、候補ベクトルを生成する。動き補償部１４、類似度計算部１５、および探索制御部１６は、候補ベクトル生成部１２で選択された探索パターンに従い、動きベクトルを逐次的に探索する。フレームベクトル探索用の探索パターンには、探索中心点と同じフィールド内にある画素の位置を少なくとも１つ含んだ探索パターンが使用される。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動きベクトル検出装置、および動きベクトル検出方法に関し、より詳細には、ブロック単位動き補償符号化処理で使用される動きベクトルを高速かつ高精度で検出する動きベクトル検出装置、および動きベクトル検出方法に関する。
【０００２】
【従来の技術】
ディジタル画像情報を効率的に蓄積または伝送するためには、ディジタル画像を圧縮符号化する必要がある。ディジタル画像を圧縮符号化するためには、従来から種々の方法が用いられている。例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ）やＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの国際標準では、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ ）を用いた符号化方法が採用されている。これ以外にも、サブバンド符号化、ウェーブレット符号化、フラクタル符号化等の波形符号化法も知られている。
【０００３】
ＭＰＥＧでは、画面間の画素値相関を利用して画像を圧縮符号化する処理（画面間動き補償符号化処理）が採用されている。より詳細には、ＭＰＥＧでは、１６×１６画素からなる領域をマクロブロック、８×８画素からなる領域をブロックと呼び、マクロブロックまたはブロック単位で所定の符号化処理が実行される。符号化処理の対象となる画像（以下、対象画像という）に含まれるマクロブロック（以下、対象ブロックという）は、既に符号化処理が施された画像（以下、参照画像という）と比較され、参照画像のうちで画素値の配列パターンが対象ブロックと最も似ている領域（以下、動き補償結果という）の位置が、その対象ブロックの動きベクトルとして検出される。検出された動きベクトルは、対象ブロックと動き補償結果との差分信号（以下、動き補償誤差という）にＤＣＴおよび量子化を施した結果等とともに、可変長符号化される。上記の処理により、対象画像から冗長な情報が除去され、大幅なデータ圧縮が実現される。
【０００４】
動画像を扱う技術分野のうち、放送分野等では、インタレース画像が用いられることが多い。インタレース画像は、異なる時刻に得られた２枚のフィールド（第１フィールドおよび第２フィールド）を１ライン毎に交互に配置することにより得られた画像である（図１２を参照）。放送分野等でインタレース画像が多く用いられるのは、１画面に含まれるライン数が半分になり、垂直同期信号の周波数が半分になるからである。
【０００５】
ＭＰＥＧに準拠してインタレース画像を圧縮符号化する場合、第１フィールドおよび第２フィールドを組み合わせて１枚のフレームを構成し、フレーム単位で画面間動き補償符号化処理を実行する場合が多い。この場合、対象ブロックの動きベクトルを求めるために、対象ブロックと参照画像との間で、図１３に示す５つの比較処理が行われる。
【０００６】
まず、対象ブロックの全体（１６×１６画素）と参照画面に含まれる１６×１６画素の領域とが比較される（第１の比較処理）。これにより、参照画像のうちで画素値の配列パターンが対象ブロックと最も似ている領域の位置が、その対象ブロックのフレーム単位の動きベクトルＶ_ｆｒ（フレームベクトル）として検出される。
【０００７】
また、対象ブロックの第１フィールド（１６×８画素）と、参照画像の第１および第２フィールドに含まれる１６×８画素の領域とが比較される（第２および第３の比較処理）。これにより、参照画像のうちで画素値の配列パターンが対象ブロックの第１フィールドと最も似ている領域の位置が、その対象ブロックの第１のフィールド単位の動きベクトルＶ_ｆ１（第１のフィールドベクトル）として検出される。同様に、第４および第５の比較処理により、対象ブロックの第２のフィールド単位の動きベクトルＶ_ｆ２（第２のフィールドベクトル）も検出される。
【０００８】
その後、上記３種類の動きベクトルを求めたときの動き補償誤差等に基づき、フレームベクトルＶ_ｆｒ、またはフィールドベクトルの組｛Ｖ_ｆ１，Ｖ_ｆ２｝のいずれかが、対象ブロックの動きベクトルとして選択される。選択された動きベクトルは、これに対応した動き補償誤差にＤＣＴと量子化とを施した結果等とともに、可変長符号化される。
【０００９】
図１４は、画面間動き補償符号化処理を行う画像符号化装置の構成を示すブロック図ある。図１４に示す画像符号化装置１００には、対象画像１１０が、順次入力される。動き検出／動き補償器１０１は、入力された対象画像１１０と内部に蓄積した参照画像とに基づき動き検出および動き補償を行い、予測画像１１１と動きベクトル１１９とを出力する。減算器１０２は、対象画像１１０から予測画像１１１を減算し、差分データ１１２を出力する。直交変換器１０３は、差分データ１１２に対してＤＣＴを行い、周波数成分１１３を出力する。量子化器１０４は、周波数成分１１３を所定の量子化値で量子化し、量子化結果１１４を出力する。可変長符号化器１０５は、量子化結果１１４を可変長符号化し、符号化データ１１５を出力する。符号化データ１１５には、動き検出／動き補償器１０１で求めた動きベクトル１１９を可変長符号化した結果等が多重化される。
【００１０】
逆量子化器１０６は、量子化結果１１４を逆量子化し、周波数成分１１６を復元する。逆直交変換器１０７は、復元された周波数成分１１６に対して逆ＤＣＴを行い、差分データ１１７を復元する。加算器１０８は、復元された差分データ１１７と予測画像１１１とを加算し、復元画像１１８を出力する。復元画像１１８は、動き検出／動き補償器１０１に蓄積され、以後の対象画像に対して動き検出および動き補償を行うときに参照画像として使用される。
【００１１】
このように画像符号化装置１００は、対象画像１１０に代えて差分データ１１２を符号化することにより、符号化すべきデータのエネルギーを小さくして、画像の圧縮効率を高めている。このとき、差分データ１１２の絶対値が小さいほど、画像の圧縮効率は高くなる。したがって、動き検出／動き補償器１０１には、差分データ１１２の絶対値が小さくなる動きベクトルを高精度で検出することが要求される。ところが、動きベクトルを高精度で検出するためには、画像符号化装置１００に含まれる他のどの処理よりも多い処理量が必要とされる。
【００１２】
そこで、動きベクトル検出に必要な処理量を削減する方法の１つとして、逐次探索法（Ｏｎｅ ａｔ ａ ｔｉｍｅ 法）が知られている（例えば、特許文献１）。逐次探索法とは、動きベクトルの探索開始位置（以下、探索中心点という）の近傍に、所定の探索パターンに従い動きベクトルの候補（以下、候補ベクトルという）を生成し、最適な候補ベクトルを次回の探索中心点とする処理を繰り返すことにより、動きベクトルを順次探索する方法をいう。ここで、探索パターンとは、参照画像のうちで比較対象となる領域（以下、予測ブロックという）の位置を、探索中心点を基準として示したものである。逐次探索法では、対象ブロックと予測ブロックとの間で類似度が計算され、類似度に基づき最適と判断される方向に順次探索が進められる。類似度としては、対象ブロックと予測ブロックとを、１６×１６画素単位（フレームベクトル探索時）または１６×８画素単位（フィールドベクトル探索時）で画素毎に対応づけて減算した結果の絶対値和または２乗和が使用される。この値が小さいほど、対象ブロックと予測ブロックとはよく類似していると言える。
【００１３】
図１５および図１６を参照して、逐次探索法を用いて動きベクトルを検出する例を説明する。図１５は、逐次探索法で使用される探索パターンの例を示す図である。以下、探索パターンを示す図では、○印は画素の位置を表し、文字Ｃを付した画素の位置は探索中心点を表す。ここでは、図１５に示す２種類の探索パターン９１ｈおよび９１ｖが切り替えて使用されるものとする。探索パターン９１ｈを用いた場合、探索中心点のすぐ左およびすぐ右にある画素の位置が、候補ベクトルとなる。探索パターン９１ｖを用いた場合、探索中心点のすぐ上およびすぐ下にある画素の位置が、候補ベクトルとなる。
【００１４】
探索パターン９１ｈおよび９１ｖを用いた逐次探索法では、まず、探索パターン９１ｈを用いて動きベクトルが水平方向に繰り返し探索され、次に、探索パターン９１ｖを用いて動きベクトルが垂直方向に繰り返し探索される。以降、水平方向の探索と垂直方向の探索とが交互に行われ、探索中心点が水平方向にも垂直方向にも移動しなくなった画素の位置が、動きベクトルとして検出される。
【００１５】
図１６は、逐次探索法を用いて動きベクトルを探索した結果を示す図である。図１６において、○印は候補ベクトルとして選択される画素の位置を表し、○印に記載された番号は後述する各ステップで新たに候補ベクトルとなった画素の位置を表す。例えば、画素Ｐｄに付された番号３は、画素Ｐｄの位置が第３のステップで新たに候補ベクトルとなったことを表す。
【００１６】
ここでは、類似度として、対象ブロックと予測ブロックとの差の絶対値和が使用されるものとする。また、図１６に示す画素Ｐｘ（ｘはａからｋまでの英小文字のいずれか）の位置を動きベクトルとしたときの類似度をＳＡＤｘと表し、類似度ＳＡＤａからＳＡＤｋについて、次式（１）ないし（４）が成立すると仮定する。
ＳＡＤａ，ＳＡＤｂ ＞ ＳＡＤｃ …（１）
ＳＡＤｃ，ＳＡＤｅ ＞ ＳＡＤｄ …（２）
ＳＡＤｄ，ＳＡＤｆ ＞ ＳＡＤｇ …（３）
ＳＡＤｇ，ＳＡＤｉ，ＳＡＤｊ，ＳＡＤｋ ＞ ＳＡＤｈ …（４）
【００１７】
逐次探索法では、まず、ある画素の位置が、最初の探索中心点として選択される。ここでは、画素Ｐａの位置が、最初の探索中心点として選択されたとする。この場合、動きベクトルが画素Ｐａの位置にある場合の類似度ＳＡＤａが計算される（第１のステップ）。以下、ある画素Ｐｘの位置が候補ベクトルとして選択され、動きベクトルが画素Ｐｘの位置にある場合の類似度ＳＡＤｘが計算されることを、画素Ｐｘの位置が探索されるという。
【００１８】
次に、画素Ｐａの位置を探索中心点として、探索パターン９１ｈを適用することにより、画素Ｐａのすぐ左およびすぐ右にある画素ＰｂおよびＰｃの位置が探索される（第２のステップ）。上式（１）によれば、ＳＡＤａ、ＳＡＤｂ、およびＳＡＤｃの中ではＳＡＤｃが最小であるので、画素Ｐｃの位置が、次回の探索中心点として選択される。
【００１９】
次に、画素Ｐｃの位置を探索中心点として、再び探索パターン９１ｈを適用することにより、画素Ｐｃのすぐ右にある画素Ｐｄの位置が探索される（第３のステップ）。上式（２）によれば、ＳＡＤｄはＳＡＤｃより小さいので、画素Ｐｄの位置が、次回の探索中心点として選択される。
【００２０】
次に、画素Ｐｄの位置を探索中心点として、さらに探索パターン９１ｈを適用することにより、画素Ｐｄのすぐ右にある画素Ｐｅの位置が探索される（第４のステップ）。上式（２）によれば、ＳＡＤｅはＳＡＤｄより大きいので、探索中心点は、画素Ｐｄの位置から移動しない。
【００２１】
次に、画素Ｐｄの位置を探索中心点として、今後は探索パターン９１ｖを適用することにより、画素Ｐｄのすぐ下およびすぐ上にある画素ＰｆおよびＰｇの位置が探索される（第５のステップ）。上式（３）によれば、ＳＡＤｄ、ＳＡＤｆ、およびＳＡＤｇの中ではＳＡＤｇが最小であるので、画素Ｐｇの位置が、次回の探索中心点として選択される。
【００２２】
次に、画素Ｐｇの位置を探索中心点として、再び探索パターン９１ｖを適用することにより、画素Ｐｇのすぐ上にある画素Ｐｈの位置が探索される（第６のステップ）。上式（４）によれば、ＳＡＤｈはＳＡＤｇより小さいので、画素Ｐｈの位置が、次回の探索中心点としてされる。
【００２３】
次に、画素Ｐｈの位置を探索中心点として、さらに探索パターン９１ｖを適用することにより、画素Ｐｈのすぐ上にある画素Ｐｉの位置が探索される（第７のステップ）。上式（４）によれば、ＳＡＤｉはＳＡＤｈより大きいので、探索中心点は、画素Ｐｈの位置から移動しない。
【００２４】
次に、画素Ｐｈの位置を探索中心点として、今後は探索パターン９１ｈを適用することにより、画素Ｐｈのすぐ左およびすぐ右にある画素ＰｊおよびＰｋの位置が探索される（第８のステップ）。上式（４）によれば、ＳＡＤｈ、ＳＡＤｊ、およびＳＡＤｋの中ではＳＡＤｈが最小である。したがって、この時点で、画素Ｐｈの位置を探索中心点として探索パターン９１ｈおよび９１ｖを適用しても、探索中心点は、水平方向にも垂直方向にも移動しなかったことになる。したがって、画素Ｐｈの位置が、検出すべき動きベクトルとなる。
【００２５】
図１７は、逐次探索法を用いた従来の動きベクトル検出装置の構成を示すブロック図である。図１７に示す動きベクトル検出装置７０は、探索モード制御部７１、候補ベクトル生成部７２、フレームメモリ７３、動き補償部７４、類似度計算部７５、および探索制御部７６を備え、図１４に示す動き検出／動き補償器１０１に相当する。
【００２６】
探索モード制御部７１は、動きベクトルの探索モード８１を、フレームベクトル探索モードと、第１のフィールドベクトル探索モードと、第２のフィールドベクトル探索モードとに切り替える。候補ベクトル生成部７２は、探索パターン記憶部７７とベクトル計算部７９とを含んでいる。探索パターン記憶部７７は、逐次探索法で使用される探索パターンを記憶している。探索パターン記憶部７７に記憶される探索パターンは、例えば、図１５に示した探索パターン９１ｈおよび９１ｖ、図１８（ａ）に示す探索パターン９２、あるいは図１８（ｂ）に示す探索パターン９３等のいずれかである。探索パターン９２を用いた場合、探索中心点のすぐ上、すぐ下、すぐ左、およびすぐ右にある画素の位置が探索される。探索パターン９３を用いた場合、探索中心点に隣接する８画素の位置が探索される。ベクトル計算部７９は、探索制御部７６から探索中心点８６を受け取ると、探索パターン記憶部７７から探索パターン８７を読み出し、探索中心点８６と探索パターン８７とに基づき１以上の候補ベクトルを求め、求めた候補ベクトル８２を所定の順序で１つずつ出力する。
【００２７】
フレームメモリ７３は、外部から与えられた復元画像１１８を蓄積し、動き補償部７４からの要求に応じて、蓄積した復元画像を参照画像８３として出力する。動き補償部７４は、探索モード８１に従いフレームメモリ７３から参照画像８３を読み出し、読み出した参照画像のうちで候補ベクトル８２に対応した領域を予測ブロック８４として出力する。類似度計算部７５は、外部から与えられた対象画像１１０に含まれる対象ブロックと、予測ブロック８４との間の類似度８５を計算する。探索制御部７６は、各候補ベクトル８２について計算された類似度８５に基づき次回の探索中心点８６を求め、候補ベクトル生成部７２に出力する。
【００２８】
動きベクトル検出装置７０は、探索モード８１を上記３とおりに切り替え、フレームベクトルＶ_ｆｒ、第１のフィールドベクトルＶ_ｆ１、および第２のフィールドベクトルＶ_ｆ２を逐次探索法を用いて探索する。探索制御部７６は、探索終了時に、フレームベクトルＶ_ｆｒまたはフィールドベクトルの組｛Ｖ_ｆ１、Ｖ_ｆ２｝のいずれかおよびこれに対応した予測ブロックを、それぞれ、動きベクトル１１９および予測画像１１１として出力する。このように、逐次探索法を用いた動きベクトル検出装置によれば、類似度の計算量を大幅に削減しながら、高精度で動きベクトルを検出することができる。
【００２９】
【特許文献１】
特開２０００−３３３１８４号公報
【００３０】
【発明が解決しようとする課題】
しかしながら、従来の逐次探索法をインタレース画像に適用し、類似度の計算量を大幅に削減した場合、動きベクトルの検出精度が悪くなるという問題がある。その理由は、以下のとおりである。インタレース画像は、上述したように、異なる時刻に得られた２枚のフィールドを１ラインごとに交互に配置することにより得られる。このため、インタレース画像に含まれる各ラインは、そのすぐ上およびすぐ下にあるラインとは異なる時刻に得られたフィールドに含まれる。したがって、被写体の動きによっては、隣接するライン間の類似性が低いインタレース画像が得られる場合がある。
【００３１】
このようなインタレース画像に対してフレームベクトルを求めるときに、探索中心点のすぐ上にある候補ベクトルや、探索中心点のすぐ下にある候補ベクトルを探索しても、隣接するライン間の類似性が低いため、良い探索結果が得られる可能性は低い。したがって、インタレース画像に対して、類似度の計算量を大幅に削減できる探索パターン（例えば、図１５および図１８に示した探索パターン）を用いて逐次探索を行っても、探索中心点は、主として水平方向に移動し、垂直方向にはあまり移動しない。よって、このような探索パターンを使用すると、フレームベクトル探索の精度が低下し、これに伴い、動きベクトル検出の精度も低下する。
【００３２】
それ故に、本発明は、インタレース画像に対して高精度で動きベクトルを検出できる、逐次探索法を用いた動きベクトル検出装置を提供することを目的とする。
【００３３】
【課題を解決するための手段および発明の効果】
第１の発明は、インタレース画像に含まれる所定数の画素からなるブロック毎に、動きベクトルを検出する動きベクトル検出装置であって、ブロック毎に、動きベクトルの探索モードを、少なくともフレームベクトル探索モードとフィールドベクトル探索モードとに切り替える探索モード制御手段と、与えられた探索中心点と所定の探索パターンとに基づき、探索中心点の近傍にある探索位置を含んだ１以上の候補ベクトルを生成する候補ベクトル生成手段と、探索モードに応じて、参照画像から、各候補ベクトルに対応した予測ブロックを求める動き補償手段と、ブロックと各予測ブロックとの類似度を計算する類似度計算手段と、候補ベクトルの中から、類似度に基づき、候補ベクトル生成手段における次回の探索中心点を選択する探索制御手段とを備え、候補ベクトル生成手段は、フレームベクトル探索用とフィールドベクトル探索用とに少なくとも２種類の探索パターンを有しており、探索モードに応じて、候補ベクトルを生成するために使用する探索パターンを切り替えることを特徴とする。
このような第１の発明によれば、インタレース画像に対して逐次探索法を用いた動きベクトル検出を行うときに、フレームベクトルを探索する場合と、フィールドベクトルを探索する場合とで異なる探索パターンが使用される。したがって、フレームベクトル探索用とフィールドベクトル探索用とにそれぞれ特化した探索パターンを使用することにより、動きベクトル検出の精度を高めることができる。
【００３４】
第２の発明は、第１の発明において、探索制御手段は、候補ベクトルの中から、類似度に基づき最適と判断される候補ベクトルを、候補ベクトル生成手段における次回の探索中心点として選択することを特徴とする。
このような第２の発明によれば、類似度に基づき最適と判断される候補ベクトルを次回の探索中心点として選択することにより、求めるべき動きベクトルに探索中心点を早く近づけ、動きベクトル検出を高速に行うことができる。
【００３５】
第３の発明は、第２の発明において、候補ベクトル生成手段が有するフレームベクトル探索用の探索パターンには、探索中心点と同じフィールド内にある画素の位置が、少なくとも１つ含まれていることを特徴とする。
このような第３の発明によれば、隣接するライン間の類似性が低いインタレース画像に対して逐次探索を行った場合に、探索中心点は、水平方向だけでなく垂直方向にも移動する。したがって、探索パターンに含まれる画素の位置を減らした場合でも、フレームベクトルを高精度で検出し、動きベクトル検出の精度を高めることができる。
【００３６】
第４の発明は、第３の発明において、候補ベクトル生成手段が有するフレームベクトル探索用の探索パターンには、少なくとも、探索中心点と同じフィールド内で当該探索中心点のすぐ上にある画素の位置と、探索中心点と同じフィールド内で当該探索中心点のすぐ下にある画素の位置とが含まれていることを特徴とする。
このような第４の発明によれば、フレームベクトル探索用の探索パターンに、探索中心点と同じフィールド内で探索中心点のすぐ上およびすぐ下にある画素の位置が含まれていれば、隣接するライン間の類似性が低いインタレース画像に対して逐次探索を行った場合に、探索中心点は、水平方向だけでなく垂直方向にも移動する。したがって、これら２つの画素の位置を残しながら、探索パターンに含まれる画素の位置を最小限まで減らした場合でも、フレームベクトルを高精度で検出し、動きベクトル検出の精度を高めることができる。
【００３７】
第５の発明は、第２の発明において、候補ベクトル生成手段が有するフィールドベクトル探索用の探索パターンには、候補ベクトル生成手段が有するフレームベクトル探索用の探索パターンに含まれている画素の位置の一部が含まれていることを特徴とする。
このような第５の発明によれば、フィールドベクトル探索用の探索パターンに含まれる画素の位置を減らすことにより、類似度の処理量を減らしながら、動きベクトルを高精度で検出することができる。
【００３８】
第６の発明は、第２の発明において、候補ベクトル生成手段は、フレームベクトル探索用に少なくとも２種類の探索パターンを有しており、探索モードがフレームベクトル探索モードである間に、候補ベクトルを生成するために使用する探索パターンを切り替えることを特徴とする。
【００３９】
第７の発明は、第２の発明において、候補ベクトル生成手段は、フィールドベクトル探索用に少なくとも２種類の探索パターンを有しており、探索モードがフィールドベクトル探索モードである間に、候補ベクトルを生成するために使用する探索パターンを切り替えることを特徴とする。
このような第６または第７の発明によれば、逐次探索で使用される探索パターンを１つの探索モード内で切り替えることにより、状況に応じて類似度の計算量を調整することができる。これにより、インタレース画像に対する動きベクトル検出の精度を調整することができる。
【００４０】
第８の発明は、インタレース画像に含まれる所定数の画素からなるブロック毎に、動きベクトルを検出する動きベクトル検出装置であって、ブロック毎に、動きベクトルの探索モードを、フレームベクトル探索モードとフィールドベクトル探索モードとに切り替える探索モード制御手段と、探索モードがいずれか一方のモードであるときに、逐次探索を行うことにより、ブロックの当該モードにおける動きベクトルを検出する逐次探索手段と、探索モードが他方のモードであるときに、逐次探索手段で検出された動きベクトルを中心として所定の範囲をすべて探索することにより、ブロックの動きベクトルを検出する局所全探索手段とを備える。
このような第８の発明によれば、逐次探索を行うことによりフレームベクトル（またはフィールドベクトル）を検出した後に、検出したベクトルを中心とした局所全探索を行うことにより、ブロックの動きベクトルが検出される。このように先の探索結果を有効に活用することにより、類似度の計算量を抑えながら、インタレース画像に対する動きベクトル検出の精度を高めることができる。
【００４１】
第９の発明は、第８の発明において、逐次探索手段は、与えられた探索中心点と所定の探索パターンとに基づき、探索中心点の近傍にある探索位置を含んだ１以上の候補ベクトルを生成する候補ベクトル生成手段と、参照画像から、各候補ベクトルに対応した予測ブロックを求める動き補償手段と、ブロックと各予測ブロックとの類似度を計算する類似度計算手段と、候補ベクトルの中から、類似度に基づき、候補ベクトル生成手段における次回の探索中心点を選択する探索制御手段とを含む。
このような第９の発明によれば、逐次探索法を用いて動きベクトルを検出することができる。
【００４２】
第１０の発明は、インタレース画像に含まれる所定数の画素からなるブロック毎に、動きベクトルを検出する動きベクトル検出方法であって、ブロック毎に、動きベクトルの探索モードを、少なくともフレームベクトル探索モードとフィールドベクトル探索モードとに切り替える探索モード制御ステップと、与えられた探索中心点と所定の探索パターンとに基づき、探索中心点の近傍にある探索位置を含んだ１以上の候補ベクトルを生成する候補ベクトル生成ステップと、探索モードに応じて、参照画像から、各候補ベクトルに対応した予測ブロックを求める動き補償ステップと、ブロックと各予測ブロックとの類似度を計算する類似度計算ステップと、候補ベクトルの中から、類似度に基づき、候補ベクトル生成ステップにおける次回の探索中心点を選択する探索制御ステップとを備え、候補ベクトル生成ステップは、フレームベクトル探索用とフィールドベクトル探索用とに少なくとも２種類の探索パターンを有しており、探索モードに応じて、候補ベクトルを生成するために使用する探索パターンを切り替えることを特徴とする。
【００４３】
第１１の発明は、コンピュータに、インタレース画像に含まれる所定数の画素からなるブロック毎に、動きベクトルを検出する動きベクトル検出方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、プログラムは、ブロック毎に、動きベクトルの探索モードを、少なくともフレームベクトル探索モードとフィールドベクトル探索モードとに切り替える探索モード制御ステップと、与えられた探索中心点と所定の探索パターンとに基づき、探索中心点の近傍にある探索位置を含んだ１以上の候補ベクトルを生成する候補ベクトル生成ステップと、探索モードに応じて、参照画像から、各候補ベクトルに対応した予測ブロックを求める動き補償ステップと、ブロックと各予測ブロックとの類似度を計算する類似度計算ステップと、候補ベクトルの中から、類似度に基づき、候補ベクトル生成ステップにおける次回の探索中心点を選択する探索制御ステップとを備え、候補ベクトル生成ステップは、フレームベクトル探索用とフィールドベクトル探索用とに少なくとも２種類の探索パターンを有しており、探索モードに応じて、候補ベクトルを求めるために使用する探索パターンを切り替えることを特徴とする。
【００４４】
第１２の発明は、コンピュータに、インタレース画像に含まれる所定数の画素からなるブロック毎に、動きベクトルを検出する動きベクトル検出方法を実行させるためのプログラムであって、ブロック毎に、動きベクトルの探索モードを、少なくともフレームベクトル探索モードとフィールドベクトル探索モードとに切り替える探索モード制御ステップと、与えられた探索中心点と所定の探索パターンとに基づき、探索中心点の近傍にある探索位置を含んだ１以上の候補ベクトルを生成する候補ベクトル生成ステップと、探索モードに応じて、参照画像から、各候補ベクトルに対応した予測ブロックを求める動き補償ステップと、ブロックと各予測ブロックとの類似度を計算する類似度計算ステップと、候補ベクトルの中から、類似度に基づき、候補ベクトル生成ステップにおける次回の探索中心点を選択する探索制御ステップとを備え、候補ベクトル生成ステップは、フレームベクトル探索用とフィールドベクトル探索用とに少なくとも２種類の探索パターンを有しており、探索モードに応じて、候補ベクトルを求めるために使用する探索パターンを切り替えることを特徴とする。
このような第１０ないし第１２の発明によれば、インタレース画像に対して逐次探索法を用いた動きベクトル検出を行うときに、フレームベクトルを探索する場合と、フィールドベクトルを探索する場合とで異なる探索パターンが使用される。したがって、フレームベクトル探索用とフィールドベクトル探索用とにそれぞれ特化した探索パターンを使用することにより、動きベクトル検出の精度を高めることができる。
【００４５】
【発明の実施の形態】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る動きベクトル検出装置の構成を示すブロック図である。図１に示す動きベクトル検出装置１０は、探索モード制御部１１、候補ベクトル生成部１２、フレームメモリ１３、動き補償部１４、類似度計算部１５、および探索制御部１６を備える。動きベクトル検出装置１０は、逐次探索法（Ｏｎｅ ａｔ ａ ｔｉｍｅ 法）を用いて、インタレース画像に含まれるブロックの動きベクトルを検出する。動きベクトル検出装置１０は、フレームベクトル探索用とフィールドベクトル探索用とに２種類の探索パターンを有し、探索モードに応じて探索パターンを切り替えて候補ベクトルを生成することを特徴とする。
【００４６】
動きベクトル検出装置１０の各構成要素は、以下のように動作する。探索モード制御部１１は、動きベクトルの探索モードを制御する。より詳細には、探索モード制御部１１は、動きベクトルの探索モード２１を、フレームベクトル探索モード、第１のフィールドベクトル探索モード、および第２のフィールドベクトル探索モードの３とおりに切り替える。探索モード２１は、動き補償部１４および探索制御部１６に加えて、候補ベクトル生成部１２にも供給される。
【００４７】
候補ベクトル生成部１２は、フレームベクトル探索用の探索パターンとフィールドベクトル探索用の探索パターンとを内部に保持している。候補ベクトル生成部１２は、探索モード２１に応じて、保持した探索パターンの一方を選択する。また、候補ベクトル生成部１２は、選択した探索パターンと探索制御部１６から出力された探索中心点２６とに基づき、１以上の候補ベクトルを生成し、生成した候補ベクトル２２を所定の順序で１つずつ出力する。候補ベクトル生成部１２の詳細は、後述する。
【００４８】
フレームメモリ１３は、外部から与えられた参照画像を記憶する。フレームメモリ１３の前段には、画像符号化装置に含まれる加算器（図１４に示す加算器１０８）が接続される。フレームメモリ１３は、加算器から出力された復元画像１１８を蓄積し、動き補償部１４からの要求に応じて、蓄積した復元画像を参照画像２３として出力する。
【００４９】
動き補償部１４は、探索モード２１に従いフレームメモリ１３から参照画像２３を読み出し、読み出した参照画像のうちで候補ベクトル２２に対応した領域を予測ブロック２４として出力する。
【００５０】
類似度計算部１５には、画像符号化装置に入力された対象画像１１０（図１４を参照）が入力される。類似度計算部１５は、対象画像１１０に含まれる対象ブロックと、予測ブロック２４との間の類似度を求める。より詳細には、類似度計算部１５は、対象ブロックと予測ブロック２４とを、１６×１６画素単位（フレームベクトル探索時）または１６×８画素単位（フィールドベクトル探索時）で画素毎に対応づけて減算した結果の絶対値和または２乗和を、類似度２５として出力する。
【００５１】
探索制御部１６は、各候補ベクトル２２について計算された類似度２５に基づき次回の探索中心点２６を求め、候補ベクトル生成部１２に出力する。また、探索制御部１６は、探索終了時には、その時点で得られている動きベクトル１１９を出力するとともに、動きベクトル１１９に対応した予測ブロック２４を予測画像１１１として出力する。探索制御部１６の詳細は、後述する。
【００５２】
次に、候補ベクトル生成部１２の詳細を説明する。候補ベクトル生成部１２は、図１に示すように、第１の探索パターン記憶部１７ａ、第２の探索パターン記憶部１７ｂ、探索パターン選択部１８、およびベクトル計算部１９を含んでいる。第１の探索パターン記憶部１７ａは、フレームベクトル探索用の探索パターンを記憶している。第２の探索パターン記憶部１７ｂは、フィールドベクトル探索用の探索パターンを記憶している。
【００５３】
図２は、動きベクトル検出装置１０で使用される探索パターンの例を示す図である。図２おいて、フレームベクトル探索用の探索パターン３１ａには、探索中心点（Ｃを付した○印）を中心に、７つの画素の位置が含まれている。７つの画素の位置とは、探索中心点、そのすぐ上、すぐ下、すぐ左、すぐ右、２画素上、および２画素下の各位置である。一方、フィールドベクトル探索用の探索パターン３１ｂには、探索中心点を中心に、５つの画素の位置が含まれている。５つの画素の位置とは、探索中心点、そのすぐ上、すぐ下、すぐ左、およびすぐ右の各位置である。
【００５４】
動きベクトル検出装置１０では、フレームベクトル探索用およびフィールドベクトル探索用の探索パターンとして、各探索モードに特化した探索パターンが使用される。このため、フレームベクトル探索用の探索パターンとフィールドベクトル探索用の探索パターンとには、互いに異なる探索パターンが使用される。また、フレームベクトル探索用の探索パターンには、探索中心点と同じフィールド内にある画素の位置が少なくとも１つ含まれていることが好ましく、より詳細には、フレームベクトル探索用の探索パターンには、少なくとも、探索中心点と同じフィールド内で探索中心点のすぐ上にある画素の位置と、探索中心点と同じフィールド内で探索中心点のすぐ下にある画素の位置とが含まれていることが好ましい。さらには、フィールドベクトル探索用の探索パターンには、フレームベクトル探索用の探索パターンに含まれている画素の位置の一部が含まれていることが好ましい。
【００５５】
探索パターン選択部１８には、探索モード２１と、第１の探索パターン記憶部１７ａから出力された探索パターン２７ａと、第２の探索パターン記憶部１７ｂから出力された探索パターン２７ｂとが入力される。探索パターン選択部１８は、探索モード２１がフレームベクトル探索モードであるときは探索パターン２７ａを、探索モード２１が第１または第２のフィールドベクトル探索モードであるときは探索パターン２７ｂを選択して出力する。
【００５６】
ベクトル計算部１９は、探索制御部１６から出力された探索中心点２６と、探索パターン選択部１８で選択された探索パターンとに基づき、１以上の候補ベクトルを求め、求めた候補ベクトル２２を所定の順序で１つずつ出力する。
【００５７】
このように、候補ベクトル生成部１２は、探索モード２１がフレームベクトル探索モードであるかフィールドベクトル探索モードであるかに応じて、２種類の探索パターンのいずれかを選択し、探索中心点２６と選択した探索パターンとに基づき候補ベクトル２２を生成する。
【００５８】
次に、探索制御部１６の詳細を説明する。図３は、探索制御部１６の動作を示すフローチャートである。図３に示す一連の処理は、対象ブロック毎に実行される。探索制御部１６は、逐次探索法を用いて、対象ブロック毎にフレームベクトル、第１のフィールドベクトル、および第２のフィールドベクトルを順次探索する。図３に示す各ステップの詳細は、以下のとおりである。
【００５９】
初期状態では、探索モード２１は、フレームベクトル探索モードであるとする。探索制御部１６は、探索モード２１に従い、フレームベクトル探索モードに遷移する（ステップＳ１０１）。次に、探索制御部１６は、フレームベクトル探索モードで逐次探索制御処理を行う（ステップＳ１０２）。逐次探索制御処理では、後述するように（図４を参照）、動きベクトルおよび類似度が求められる。探索制御部１６は、ステップＳ１０２で求めた動きベクトルＶ_ｆｒおよび類似度Ｓ_ｆｒを記憶する（ステップＳ１０３）。
【００６０】
ステップＳ１０３が終了した時点で、探索モード２１は、第１のフィールドベクトル探索モードに変化する。これに伴い、探索制御部１６は、第１のフィールドベクトル探索モードに遷移する（ステップＳ１０４）。次に、探索制御部１６は、第１のフィールドベクトル探索モードで逐次探索制御処理を行う（ステップＳ１０５）。次に、探索制御部１６は、ステップＳ１０５で求めた動きベクトルＶ_ｆ１および類似度Ｓ_ｆ１を記憶する（ステップＳ１０６）。
【００６１】
ステップＳ１０６が終了した時点で、探索モード２１は、第２のフィールドベクトル探索モードに変化する。これに伴い、探索制御部１６は、第２のフィールドベクトル探索モードに遷移する（ステップＳ１０７）。次に、探索制御部１６は、第２のフィールドベクトル探索モードで逐次探索制御処理を行う（ステップＳ１０８）。次に、探索制御部１６は、ステップＳ１０８で求めた動きベクトルＶ_ｆ２および類似度Ｓ_ｆ２を記憶する（ステップＳ１０９）。
【００６２】
次に、探索制御部１６は、類似度Ｓ_ｆｒと、類似度Ｓ_ｆ１およびＳ_ｆ２とを比較する（ステップＳ１１０）。探索制御部１６は、例えば、類似度Ｓ_ｆｒと、類似度Ｓ_ｆ１およびＳ_ｆ２の和とをそのまま比較してもよい。あるいは、探索制御部１６は、類似度Ｓ_ｆｒと、類似度Ｓ_ｆ１およびＳ_ｆ２の和とを、前者が有利となるハンディキャップを与えた上で比較してもよい。
【００６３】
次に、探索制御部１６は、ステップＳ１１０における比較結果に従い、フレームベクトルＶ_ｆｒ、またはフィールドベクトルの組｛Ｖ_ｆ１，Ｖ_ｆ２｝のいずれかを出力する（ステップＳ１１１）。より詳細には、探索制御部１６は、類似度Ｓ_ｆｒが類似度Ｓ_ｆ１およびＳ_ｆ２よりも小さいときにはフレームベクトルＶ_ｆｒを、それ以外のときにはフィールドベクトルの組｛Ｖ_ｆ１、Ｖ_ｆ２｝を、動きベクトル１１９として出力する。選択された動きベクトルは、探索中心点２６としても出力され、候補ベクトル生成部１２経由で動き補償部１４に供給される。動き補償部１４は、選択された動きベクトルに対応した予測ブロック２４を出力する。
【００６４】
次に、探索制御部１６は、動き補償部１４から予測ブロック２４を受け取り、予測画像１１１として出力する（ステップＳ１１２）。探索制御部１６は、これをもって、１つの対象ブロックに対する動きベクトル検出を終了する。
【００６５】
なお、図３に示すフローチャートでは、探索制御部１６は、最初にフレームベクトルを探索し、次に第１のフィールドベクトルを探索し、最後に第２のフィールドベクトルを探索することとしたが、これら３種類のベクトルの探索順序は任意でよい。
【００６６】
図４は、逐次探索制御処理のフローチャートである。逐次探索制御処理では、これまでの探索で求めた動きベクトルを格納する変数Ｖと、これまでの探索で求めた類似度を格納する変数Ｓとが使用される。探索制御部１６は、まず、変数Ｖを（０、０）に、変数Ｓを無限大に初期化する（ステップＳ２０１）。次に、探索制御部１６は、変数Ｖに格納された動きベクトルを探索中心点２６として出力する（ステップＳ２０２）。
【００６７】
候補ベクトル生成部１２は、ステップＳ２０２で出力された探索中心点２６と、探索モード２１に応じて選択された探索パターンとに基づき、１以上の候補ベクトルを生成する。探索制御部１６は、候補ベクトル生成部１２で生成された各候補ベクトルについて、ステップＳ２０３からＳ２０６の処理を行う。より詳細には、探索制御部１６は、現在の探索モードにおいて未処理の候補ベクトルがあるか否かを調べ（ステップＳ２０３）、ある場合にはステップＳ２０４へ進む。この場合、探索制御部１６は、候補ベクトル生成部１２および類似度計算部１５から、それぞれ、候補ベクトル２２および類似度２５を受け取る（ステップＳ２０４）。次に、探索制御部１６は、ステップＳ２０４で受け取った類似度と変数Ｓに格納された類似度とを比較し（ステップＳ２０５）、前者のほうが小さい場合には、受け取った候補ベクトルおよび類似度を、それぞれ、変数ＶおよびＳに代入する（ステップＳ２０６）。次に、探索制御部１６は、ステップＳ２０５における比較結果に関わらず、ステップＳ２０３へ進む。
【００６８】
探索制御部１６は、すべての候補ベクトルについてステップＳ２０３からＳ２０６の処理を行った後（ステップＳ２０３のＮＯ）、探索を継続するか終了するかを判断する（ステップＳ２０７）。探索制御部１６は、例えば、探索回数が所定数未満である場合には継続と判断し、それ以外の場合には終了と判断してもよい。あるいは、探索制御部１６は、変数Ｓに格納された類似度があるしきい値以上である場合には継続と判断し、それ以外の場合には終了と判断してもよい。
【００６９】
探索制御部１６は、継続と判断した場合には（ステップＳ２０７のＹＥＳ）、ステップＳ２０２へ進む。この場合、変数Ｖに格納された候補ベクトルを次回の探索中心点として、ステップＳ２０３からＳ２０６の処理が再び実行される。これに対して、探索制御部１６は、終了と判断した場合には（ステップＳ２０７のＮＯ）、変数ＶおよびＳに格納された動きベクトルおよび類似度を探索結果として（ステップＳ２０８）、逐次探索制御処理を終了する。
【００７０】
なお、図３および図４に示すフローチャートでは、探索制御部１６は、類似度計算部１５によって計算された類似度に基づき探索制御を行い、類似度が最小となる候補ベクトルを次回の探索中心点として選択することとした。これに限らず、探索制御部１６は、類似度計算部１５によって計算された類似度と他の評価値とを組み合わせて、類似度と他の評価値とに基づき探索制御を行ってもよい。この場合、探索制御部１６は、逐次探索制御処理において、類似度と他の評価値とに基づき最適と判断される候補ベクトルを、次回の探索中心点として選択する。具体的には、探索制御部１６は、ステップＳ２０５およびＳ２０６において、ステップＳ２０４で受け取った類似度と他の評価値とに対して所定の演算を行い、その演算結果が変数Ｓに格納されている値より小さい場合（あるいは、大きい場合）に、その演算結果を変数Ｓに代入すればよい。このような他の評価値としては、例えば、候補ベクトルを可変長符号化して得られるビット列の長さなどを使用することができる。
【００７１】
以下、動きベクトル検出装置１０が奏する効果を説明する。動きベクトル検出装置１０は、探索モード２１がフレームベクトル探索モードであるかフィールドベクトル探索モードであるかに応じて、候補ベクトルを生成するために異なる探索パターンを使用する。したがって、フレームベクトル探索用とフィールドベクトル探索用とにそれぞれ特化した探索パターンを使用することにより、動きベクトル検出の精度を高めることができる。
【００７２】
また、動きベクトル検出装置１０は、フレームベクトルを探索するときに、図２に示す探索パターン３１ａを使用する。探索パターン３１ａは、図１５および図１８に示した従来の探索パターンとは異なり、探索中心点と同じフィールド内にある画素の位置を含んでいる。このため、隣接するライン間の類似性が低いインタレース画像についても、探索中心点と同じフィールド内にある他の画素の位置が探索される。このため、その位置で良い探索結果が得られる場合があり、探索中心点は、水平方向だけでなく垂直方向にも移動する。したがって、類似度の処理量を削減すべく、探索パターンに含まれる画素の位置を大幅に減らした場合でも、フレームベクトルを高精度で探索し、動きベクトルを高精度で検出することができる。
【００７３】
また、動きベクトル検出装置１０は、フィールドベクトルを探索するときに、図２に示す探索パターン３１ｂを使用する。探索パターン３１ｂは、探索パターン３１ａに含まれる画素の位置の一部を含んでいる。このように、フィールドベクトル探索用の探索パターンに含まれる画素の位置を減らすことにより、類似度の処理量を減らしながら、動きベクトルを高精度で検出することができる。
【００７４】
なお、動きベクトル検出装置１０で使用される探索パターンは、図２に示したものに限定されるものではない。図５は、動きベクトル検出装置１０で使用される他の探索パターンの例を示す図である。図５において、探索パターン３２ａ−ｈおよび３２ａ−ｖ、３３ａ、並びに３４ａは、フレームベクトル探索用の探索パターンであり、探索パターン３２ｂ―ｈおよび３２ｂ−ｖ、３３ｂ、並びに３４ｂは、フィールドベクトル探索用の探索パターンである。これら３組の探索パターンは、いずれも、図２に示した探索パターン３１ａおよび３１ｂと同様の特性を有する。したがって、これら３組の探索パターンのいずれを使用した場合にも、探索パターン３１ａおよび３１ｂを使用した場合と同様の効果がある。
【００７５】
また、動きベクトル検出装置１０で使用される探索パターンは、必ずしも、探索中心点に隣接した画素の位置を含んでいる必要はない。図６は、動きベクトル検出装置１０で使用される他の探索パターンの例を示す図である。図６において、×印は、候補ベクトルを生成しない画素の位置を示している。図６に示す探索パターン３５ａおよび３５ｂは、図２に示した探索パターン３１ａおよび３１ｂと同様の特性を有する。したがって、探索パターン３５ａおよび３５ｂを使用した場合にも、探索パターン３１ａおよび３１ｂを使用した場合と同様の効果がある。これに加えて、探索パターン３５ａおよび３５ｂには、類似度の処理量がさらに減るという効果もある。
【００７６】
（第２の実施形態）
本発明の第２の実施形態に係る動きベクトル検出装置は、第１の実施形態に係る動きベクトル検出装置と同じく、図１に示す構成を有する。本実施形態に係る動きベクトル検出装置は、フレームベクトル探索用およびフィールドベクトル探索用にそれぞれ複数の探索パターンを有し、これらの探索パターンを切り替えて候補ベクトルを生成することを特徴とする。
【００７７】
図７は、本実施形態に係る動きベクトル検出装置で使用される探索パターンを示す図である。図７に示すように、第１の探索パターン記憶部１７ａには、フレームベクトル探索用の探索パターンとして、３種類の探索パターン３１ａ、３２ａ−ｈおよび３２ａ−ｖ、並びに３３ａが記憶されている。また、第２の探索パターン記憶部１７ｂには、フィールドベクトル探索用の探索パターンとして、３種類の探索パターン３１ｂ、３２ｂ−ｈおよび３２ｂ−ｖ、並びに３３ｂが記憶されている。なお、これら探索パターンの種類および個数は、任意でよい。
【００７８】
本実施形態では、探索パターン選択部１８は、探索モード２１がフレームベクトル探索モードであるときは、第１の探索パターン記憶部１７ａに記憶された３種類の探索パターンのうち、いずれかを選択して出力する。また、探索パターン選択部１８は、探索モード２１が第１または第２のフィールドベクトル探索モードであるときは、第２の探索パターン記憶部１７ｂに記憶された３種類の探索パターンのうち、いずれかを選択して出力する。
【００７９】
探索パターン選択部１８は、各探索モードにおいて、所定の判断基準に従い探索パターンを選択する。例えば、探索パターン選択部１８は、与えられた処理時間に余裕がある場合には、探索すべき画素の位置が多い探索パターン（例えば、探索パターン３３ａ）を選択し、与えられた処理時間に余裕がない場合には、探索すべき画素の位置が少ない探索パターン（例えば、探索パターン３２ａ−ｈおよび３２ａ−ｖ）を選択してもよい。あるいは、探索パターン選択部１８は、対象画像の中央にある対象ブロックについては、探索すべき画素の位置が多い探索パターンを選択し、対象画像の周辺にある対象ブロックについては、探索すべき画素の位置が少ない探索パターンを選択してもよい。
【００８０】
また、探索パターン選択部１８は、各探索モードにおいて、任意の処理単位毎に探索パターンを選択してもよい。例えば、探索パターン選択部１８は、１または複数の対象画像ごとに探索パターンを選択してもよく、１または複数の対象ブロックごとに探索パターンを選択してもよい。また、探索パターン選択部１８は、フレームベクトル探索用の探索パターンの選択と、フィールドベクトル探索用の探索パターンの選択とを異なる判断基準で異なるタイミングで行ってもよい。また、第１の実施形態と同様に、探索制御部１６は、フレームベクトル、第１のフィールドベクトル、および第２のフィールドベクトルを、任意の順序で探索してもよい。
【００８１】
以上に示すように、本実施形態に係る動きベクトル検出装置は、逐次探索で使用される探索パターンを１つの探索モード内で切り替える。これにより、状況に応じて類似度の計算量を調整し、インタレース画像に対する動きベクトル検出の精度を調整することができる。
【００８２】
（第３の実施形態）
本発明の第３の実施形態に係る動きベクトル検出装置は、第１の実施形態に係る動きベクトル検出装置と同じく、図１に示す構成を有する。本実施形態に係る動きベクトル検出装置は、逐次探索を行うことによりフレームベクトルを検出した後、検出したフレームベクトルを中心とした局所全探索を行うことにより、動きベクトルを検出することを特徴とする。
【００８３】
図８は、本実施形態に係る動きベクトル検出装置で使用される探索パターンを示す図である。図８に示すように、第１の探索パターン記憶部１７ａには、フレームベクトル探索用の探索パターンとして、探索パターン３１ａが記憶されている。また、第２の探索パターン記憶部１７ｂには、フィールドベクトル探索用の探索パターンとして、探索パターン３６ｂが記憶されている。
【００８４】
探索パターン３６ｂは、探索中心点（図示せず）を中心として、所定の長方形領域内にあるすべての画素の位置を含んでいる。より詳細には、探索パターン３６ｂは、水平方向に（４ｎ＋１）個、垂直方向に（２ｎ＋１）個、全体で（４ｎ＋１）×（２ｎ＋１）の画素の位置を含んでいる。探索パターン３６ｂは、動きベクトルの局所全探索を行うときに使用される。
【００８５】
図９は、本実施形態に係る探索制御部１６の動作を示すフローチャートである。図９に示す一連の処理は、対象ブロック毎に実行される。図９に示すステップＳ３０１からＳ３１２は、ステップＳ３０５およびＳ３０８を除き、図３に示すステップＳ１０１からＳ１１２と同じである。探索制御部１６は、ステップＳ３０５およびＳ３０８では、以下に示す局所全探索制御処理を行う。
【００８６】
図１０は、局所全探索制御処理のフローチャートである。局所全探索制御処理では、逐次探索制御処理（図４）と同様に、変数ＶおよびＳが使用される。探索制御部１６は、まず、変数ＶをステップＳ３０２で逐次探索法を用いて検出されたフレームベクトルに、変数Ｓを無限大に初期化する（ステップＳ４０１）。次に、探索制御部１６は、変数Ｖに格納された動きベクトル（フレームベクトル）を探索中心点２６として出力する（ステップＳ４０２）。
【００８７】
候補ベクトル生成部１２は、ステップＳ４０２で出力された探索中心点２６と、探索モード２１に応じて選択された探索パターンとに基づき、１以上の候補ベクトルを生成する。本実施形態では、局所全探索制御処理は、探索モード２１がフィールドベクトル探索モードであるときに実行される。したがって、候補ベクトル生成部１２の探索パターン選択部１８は、フィールドベクトル探索用の探索パターン３６ｂを選択する。よって、候補ベクトル生成部１２のベクトル計算部１９は、探索パターン３６ｂに基づき、（４ｎ＋１）×（２ｎ＋１）個の候補ベクトルを生成する。
【００８８】
探索制御部１６は、候補ベクトル生成部１２で生成された各候補ベクトルについて、ステップＳ４０３からＳ４０６の処理を行う。ステップＳ４０３からＳ４０６は、逐次探索制御処理（図４）におけるステップＳ２０３からＳ２０６と同じであるので、ここではその説明を省略する。探索制御部１６は、すべての候補ベクトルについてステップＳ４０３からＳ４０６の処理を終えた後（ステップＳ４０３のＮＯ）、ステップＳ４０７へ進む。探索制御部１６は、変数ＶおよびＳに格納された動きベクトルおよび類似度を探索結果として（ステップＳ４０７）、局所全探索制御処理を終了する。
【００８９】
以上に示すように、本実施形態に係る動きベクトル検出装置は、逐次探索を行うことによりフレームベクトルを検出した後、検出したフレームベクトルを中心として局所全探索を行うことにより、ブロックの動きベクトルを検出する。このように先の探索結果を有効に活用することにより、類似度の計算量を抑えながら、インタレース画像に対する動きベクトル検出の精度を高めることができる。
【００９０】
なお、以上の説明では、逐次探索法を用いて検出したフレームベクトルを探索中心点として、フィールドベクトル探索モードで局所全探索を行うこととしたが、これに代えて、逐次探索法により検出したフィールドベクトルを探索中心点として、フレームベクトル探索モードで局所全探索を行うこととしてもよい。また、逐次探索法と同じ構成要素を用いて局所全探索を行うこととしたが、局所全探索を行うための構成要素を別途備えていてもよい。
【００９１】
上記各実施形態に係る動きベクトル検出装置における動きベクトル検出方法を実行させるプログラム（以下、動きベクトル検出プログラムという）を、フレキシブルディスク等の記録媒体に記録することにより、上記各実施形態で示した動きベクトル検出処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００９２】
図１１は、上記各実施形態に係る動きベクトル検出装置を、コンピュータシステムと、フレキシブルディスク等の記録媒体に記録されたプログラムとを用いて実現する場合についての説明図である。図１１（ａ）は、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスク本体を示し、図１１（ｂ）は、フレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスク本体ＦＤは、図１１（ａ）に示すように、ケースＦＣに内蔵されている。また、図１１（ｂ）に示すように、フレキシブルディスク本体ＦＤの表面には、同心円状に外周から内周に向かって複数のトラックＴｒが形成され、各トラックＴｒは円周方向に１６個のセクタＳｅに分割されている。したがって、動きベクトル検出プログラムを格納したフレキシブルディスクでは、動きベクトル検出プログラムは、フレキシブルディスク本体ＦＤ上に割り当てられた所定の領域（セクタ）に記録される。
【００９３】
また、図１１（ｃ）は、フレキシブルディスクに対して動きベクトル検出プログラムを記録および再生するためのシステム構成を示している。動きベクトル検出プログラムをフレキシブルディスクに記録する場合には、動きベクトル検出プログラムは、コンピュータシステムＣｓからフレキシブルディスクドライブＦＤＤに転送され、フレキシブルディスクドライブＦＤＤを介してフレキシブルディスク本体ＦＤの所定の領域（セクタ）に書き込まれる。また、フレキシブルディスクに記録された動きベクトル検出プログラムを用いて、コンピュータシステムＣｓを動きベクトル検出装置として動作させる場合には、動きベクトル検出プログラムは、フレキシブルディスクドライブＦＤＤにより読み出され、コンピュータシステムＣｓに転送される。
【００９４】
なお、以上の説明では、記録媒体としてフレキシブルディスクを用いることとしたが、記録媒体として光ディスクを用いてもよい。また、記録媒体は、これに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録し再生できるものであれば、いかなる種類のものでもよい。
【００９５】
以上に示すように、本発明の各実施形態に係る動きベクトル検出装置および動きベクトル検出方法によれば、インタレース画像に対して逐次探索法を用いた動きベクトル検出を行うときに、フレームベクトルを探索する場合と、フィールドベクトルを探索する場合とで異なる探索パターンが使用される。したがって、フレームベクトル探索用とフィールドベクトル探索用とにそれぞれ特化した探索パターンを使用することにより、動きベクトル検出の精度を高めることができる。また、フィールドベクトル探索用の探索パターンとして、探索中心点と同じフィールド内にある画素の位置（特に、探索中心点のすぐ上およびすぐ下にある画素の位置）を含む探索パターンを使用することにより、フレームベクトルを高精度で検出し、動きベクトル検出の精度を高めることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動きベクトル検出装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る動きベクトル検出装置で使用される探索パターンの例を示す図である。
【図３】本発明の第１の実施形態に係る動きベクトル検出装置の探索制御部の動作を示すメインフローチャートである。
【図４】本発明の第１の実施形態に係る動きベクトル検出装置の探索制御部による逐次探索制御処理を示すフローチャートである。
【図５】本発明の第１の実施形態に係る動きベクトル検出装置で使用される他の探索パターンの例を示す図である。
【図６】本発明の第１の実施形態に係る動きベクトル検出装置で使用される他の探索パターンの例を示す図である。
【図７】本発明の第２の実施形態に係る動きベクトル検出装置で使用される探索パターンの例を示す図である。
【図８】本発明の第３の実施形態に係る動きベクトル検出装置で使用される探索パターンの例を示す図である。
【図９】本発明の第３の実施形態に係る動きベクトル検出装置の探索制御部の動作を示すメインフローチャートである。
【図１０】本発明の第３の実施形態に係る動きベクトル検出装置の探索制御部による局所全探索処理を示すフローチャートである。
【図１１】本発明の各実施形態に係る動きベクトル検出装置を、コンピュータシステムとプログラムとを用いて実現する場合についての説明図である。
【図１２】インタレース画像の説明図である。
【図１３】ＭＰＥＧで規格化された、インタレース画像に対する代表的な動きベクトル検出の説明図である。
【図１４】画像符号化装置の構成を示すブロック図である。
【図１５】従来の逐次探索法で使用される探索パターンの例を示す図である。
【図１６】逐次探索法を用いた動きベクトルの探索結果を示す図である。
【図１７】従来の逐次探索法を用いた動きベクトル検出装置の構成を示すブロック図である。
【図１８】従来の逐次探索法で使用される他の探索パターンの例を示す図である。
【符号の説明】
１０…動きベクトル検出装置
１１…探索モード制御部
１２…候補ベクトル生成部
１３…フレームメモリ
１４…動き補償部
１５…類似度計算部
１６…探索制御部
１７…探索パターン記憶部
１８…探索パターン選択部
１９…ベクトル計算部
２１…探索モード
２２…候補ベクトル
２３…参照画像
２４…予測ブロック
２５…類似度
２６…探索中心点
２７、３１〜３６…探索パターン
Ｐａ〜Ｐｋ…画素の位置
Ｃｓ…コンピュータシステム
ＦＣ…ケース
ＦＤ…フレキシブルディスク本体
ＦＤＤ…フレキシブルディスクドライブ
Ｓｅ…セクタ
Ｔｒ…トラック

Claims (12)

1. インタレース画像に含まれる所定数の画素からなるブロック毎に、動きベクトルを検出する動きベクトル検出装置であって、
   前記ブロック毎に、動きベクトルの探索モードを、少なくともフレームベクトル探索モードとフィールドベクトル探索モードとに切り替える探索モード制御手段と、
   与えられた探索中心点と所定の探索パターンとに基づき、前記探索中心点の近傍にある探索位置を含んだ１以上の候補ベクトルを生成する候補ベクトル生成手段と、
   前記探索モードに応じて、参照画像から、各前記候補ベクトルに対応した予測ブロックを求める動き補償手段と、
   前記ブロックと各前記予測ブロックとの類似度を計算する類似度計算手段と、
   前記候補ベクトルの中から、前記類似度に基づき、前記候補ベクトル生成手段における次回の探索中心点を選択する探索制御手段とを備え、
   前記候補ベクトル生成手段は、フレームベクトル探索用とフィールドベクトル探索用とに少なくとも２種類の前記探索パターンを有しており、前記探索モードに応じて、前記候補ベクトルを生成するために使用する探索パターンを切り替えることを特徴とする、動きベクトル検出装置。
2. 前記探索制御手段は、前記候補ベクトルの中から、前記類似度に基づき最適と判断される候補ベクトルを、前記候補ベクトル生成手段における次回の探索中心点として選択することを特徴とする、請求項１に記載の動きベクトル検出装置。
3. 前記候補ベクトル生成手段が有するフレームベクトル探索用の探索パターンには、前記探索中心点と同じフィールド内にある画素の位置が、少なくとも１つ含まれていることを特徴とする、請求項２に記載の動きベクトル検出装置。
4. 前記候補ベクトル生成手段が有するフレームベクトル探索用の探索パターンには、少なくとも、前記探索中心点と同じフィールド内で当該探索中心点のすぐ上にある画素の位置と、前記探索中心点と同じフィールド内で当該探索中心点のすぐ下にある画素の位置とが含まれていることを特徴とする、請求項３に記載の動きベクトル検出装置。
5. 前記候補ベクトル生成手段が有するフィールドベクトル探索用の探索パターンには、前記候補ベクトル生成手段が有するフレームベクトル探索用の探索パターンに含まれている画素の位置の一部が含まれていることを特徴とする、請求項２に記載の動きベクトル検出装置。
6. 前記候補ベクトル生成手段は、フレームベクトル探索用に少なくとも２種類の前記探索パターンを有しており、前記探索モードがフレームベクトル探索モードである間に、前記候補ベクトルを生成するために使用する探索パターンを切り替えることを特徴とする、請求項２に記載の動きベクトル検出装置。
7. 前記候補ベクトル生成手段は、フィールドベクトル探索用に少なくとも２種類の前記探索パターンを有しており、前記探索モードがフィールドベクトル探索モードである間に、前記候補ベクトルを生成するために使用する探索パターンを切り替えることを特徴とする、請求項２に記載の動きベクトル検出装置。
8. インタレース画像に含まれる所定数の画素からなるブロック毎に、動きベクトルを検出する動きベクトル検出装置であって、
   前記ブロック毎に、動きベクトルの探索モードを、フレームベクトル探索モードとフィールドベクトル探索モードとに切り替える探索モード制御手段と、
   前記探索モードがいずれか一方のモードであるときに、逐次探索を行うことにより、前記ブロックの当該モードにおける動きベクトルを検出する逐次探索手段と、
   前記探索モードが他方のモードであるときに、前記逐次探索手段で検出された動きベクトルを中心として所定の範囲をすべて探索することにより、前記ブロックの動きベクトルを検出する局所全探索手段とを備えた、動きベクトル検出装置。
9. 前記逐次探索手段は、
   与えられた探索中心点と所定の探索パターンとに基づき、前記探索中心点の近傍にある探索位置を含んだ１以上の候補ベクトルを生成する候補ベクトル生成手段と、
   参照画像から、各前記候補ベクトルに対応した予測ブロックを求める動き補償手段と、
   前記ブロックと各前記予測ブロックとの類似度を計算する類似度計算手段と、
   前記候補ベクトルの中から、前記類似度に基づき、前記候補ベクトル生成手段における次回の探索中心点を選択する探索制御手段とを含む、請求項８に記載の動きベクトル検出装置。
10. インタレース画像に含まれる所定数の画素からなるブロック毎に、動きベクトルを検出する動きベクトル検出方法であって、
    前記ブロック毎に、動きベクトルの探索モードを、少なくともフレームベクトル探索モードとフィールドベクトル探索モードとに切り替える探索モード制御ステップと、
    与えられた探索中心点と所定の探索パターンとに基づき、前記探索中心点の近傍にある探索位置を含んだ１以上の候補ベクトルを生成する候補ベクトル生成ステップと、
    前記探索モードに応じて、参照画像から、各前記候補ベクトルに対応した予測ブロックを求める動き補償ステップと、
    前記ブロックと各前記予測ブロックとの類似度を計算する類似度計算ステップと、
    前記候補ベクトルの中から、前記類似度に基づき、前記候補ベクトル生成ステップにおける次回の探索中心点を選択する探索制御ステップとを備え、
    前記候補ベクトル生成ステップは、フレームベクトル探索用とフィールドベクトル探索用とに少なくとも２種類の前記探索パターンを有しており、前記探索モードに応じて、前記候補ベクトルを生成するために使用する探索パターンを切り替えることを特徴とする、動きベクトル検出方法。
11. コンピュータに、インタレース画像に含まれる所定数の画素からなるブロック毎に、動きベクトルを検出する動きベクトル検出方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記プログラムは、
    前記ブロック毎に、動きベクトルの探索モードを、少なくともフレームベクトル探索モードとフィールドベクトル探索モードとに切り替える探索モード制御ステップと、
    与えられた探索中心点と所定の探索パターンとに基づき、前記探索中心点の近傍にある探索位置を含んだ１以上の候補ベクトルを生成する候補ベクトル生成ステップと、
    前記探索モードに応じて、参照画像から、各前記候補ベクトルに対応した予測ブロックを求める動き補償ステップと、
    前記ブロックと各前記予測ブロックとの類似度を計算する類似度計算ステップと、
    前記候補ベクトルの中から、前記類似度に基づき、前記候補ベクトル生成ステップにおける次回の探索中心点を選択する探索制御ステップとを備え、
    前記候補ベクトル生成ステップは、フレームベクトル探索用とフィールドベクトル探索用とに少なくとも２種類の前記探索パターンを有しており、前記探索モードに応じて、前記候補ベクトルを求めるために使用する探索パターンを切り替えることを特徴とする、記録媒体。
12. コンピュータに、インタレース画像に含まれる所定数の画素からなるブロック毎に、動きベクトルを検出する動きベクトル検出方法を実行させるためのプログラムであって、
    前記ブロック毎に、動きベクトルの探索モードを、少なくともフレームベクトル探索モードとフィールドベクトル探索モードとに切り替える探索モード制御ステップと、
    与えられた探索中心点と所定の探索パターンとに基づき、前記探索中心点の近傍にある探索位置を含んだ１以上の候補ベクトルを生成する候補ベクトル生成ステップと、
    前記探索モードに応じて、参照画像から、各前記候補ベクトルに対応した予測ブロックを求める動き補償ステップと、
    前記ブロックと各前記予測ブロックとの類似度を計算する類似度計算ステップと、
    前記候補ベクトルの中から、前記類似度に基づき、前記候補ベクトル生成ステップにおける次回の探索中心点を選択する探索制御ステップとを備え、
    前記候補ベクトル生成ステップは、フレームベクトル探索用とフィールドベクトル探索用とに少なくとも２種類の前記探索パターンを有しており、前記探索モードに応じて、前記候補ベクトルを求めるために使用する探索パターンを切り替えることを特徴とする、プログラム。

Images