JP2005228303A - 動きベクトル検出装置 - Google Patents

Abstract

【課題】映像の急激な変化に対応可能な動きベクトル検出装置の提供。
【解決手段】参照画像データに対する原画像データの画面全体のずれ量となる全体ベクトルを検出する全体ベクトル検出器１０４と、マッチング対象とする処理ブロックを含みかつ全体ベクトルが示す方向に面積的に偏る原画像データ上の領域を、動きベクトルの探索領域に指定する探索領域決定器１０５と、探索領域に対してブロックマッチング処理を行うことで処理対象とする処理ブロックの動きベクトルを検出するベクトル検出器１０３とを備える。これにより、電力の消費を削減しつつ映像の急激な変化に対応することを可能とする。
【選択図】図１

Description

本発明は、映像データの映像単位を構成する原画像データを複数に分割した処理ブロックを、参照画像データに対してブロックマッチングを行うことで動きベクトルを検出する動きベクトル検出装置に関する。

映像信号を符号化して記録あるいは伝送する方法として、時間的に近接する画像間の時間相関性を利用する方法がある。その一つであるＭＰＥＧ−２規格の符号化方法は、ターゲットとなる原画像データを所定の大きさのブロックに分割したうえで、参照画像データの所定の探索領域に対してブロックマッチングを行う。これにより、動きベクトルが検出され、予測誤差を符号化することで符号化効率が高まる。予測の確度を高めるためには、探索領域を広くし、より誤差量の少ないブロックを検出する必要がある。ただし、広い領域で動きベクトルを探索するには膨大な演算量が必要であり、回路規模の増大、消費電力の増加といった問題が発生する。

この課題に対して、探索領域を制限することで演算量を削減しつつ動きベクトルの検出精度を向上する技術が提案されている（特許文献１参照）。

図１６に従来の動きベクトル検出装置のブロック図を示す。参照画像メモリ１２０１に参照画像データが蓄積される。原画像メモリ１２０２にこれから動きベクトルの検出を行うターゲットとなる原画像データが蓄積される。ベクトル検出器１２０３は、原画像データと参照画像データとのブロックマッチングを行うことで、原画像データ上の各処理ブロックに対する動きベクトルを検出する。ベクトル統計処理器１２０４は、検出した動きベクトルの画面毎の平均値、ヒストグラムを計算する。移動量指定器１２０５は、計算した平均値、ヒストグラムから探索領域の移動量を計算する。探索領域決定器１２０６は、この移動量に従って探索すべき動きベクトルの領域を決定する。

従来の動きベクトル検出装置は、このようにして、過去の符号化時に検出した動きベクトルの統計量に基づいて移動量を算出し、その移動量に基づいて動きベクトル検出領域の位置を移動させることで、限られた探索領域の大きさを変えることなく、画質の改善を図る。
特開平１０−３３６６６６号公報の第２−３頁、および第１図

以上のような従来の構成においては、過去の動きベクトルの検出情報を用いているために、映像の急激な変化に対応することができない。また、この方法では探索領域の大きさを制限する指標がなく常に一定の探索領域の大きさで動きベクトルの検出を行うことから、静止画に近い変化のない映像の場合も同一の処理量の演算を行うことになり、そのために不必要な処理の実行に起因する電力の浪費が発生する。なお、過去のベクトルのばらつき度合い等の検出情報を用いて探索領域の大きさを制限することも考えられるが、その場合であっても映像の急激な変化に対応することはできない。

したがって、本発明の主たる目的は、映像の急激な変化に対応することができる動きベクトル検出装置を提供することである。また、本発明の他の目的は、電力の消費を削減可能な動きベクトル検出装置を提供することである。

本発明は、上記の課題を解決するために、デジタル映像データの映像単位を構成する原画像データを複数の処理ブロックに分割したうえで、これら処理ブロックそれぞれを、当該原画像データに時間的に近接する参照画像データに対してブロックマッチング処理を行うことで、前記処理ブロックの動きベクトルを検出する動きベクトル検出装置を次のように構成する。ここで、映像データの映像単位とは、フレームデータもしくはフィールドデータを示す。また、時間的に近接するとは、フレーム時間にして５フレームまでに相当する時間、好ましくは３フレームまでに相当する時間を示す。

本発明の動きベクトル検出装置は、前記参照画像データに対する前記原画像データの画面全体のずれ量となる全体ベクトルを検出するとともに、前記全体ベクトルを決定する際のずれ量だけ前記参照画像データと前記原画像データとを互いにずらし配置する際の相関度を算出する全体ベクトル検出器と、前記全体ベクトルと前記相関度とから動きベクトルの探索領域の大きさと位置とを指定する探索領域決定器と、前記探索領域に対しブロックマッチングを行うことで各処理ブロックの動きベクトルを検出するベクトル検出器とを備える。

全体ベクトル検出器は、過去の情報ではなく、実際にベクトル検出に用いる原画像データと参照画像データとに関連する画像情報を用いて、画面全体の動き量である全体ベクトルを求め、さらに、この原画像データと参照画像データとの画像間の相関度を算出する。相関度は両画像がどれだけ似通っているかという指標である。相関度が高いということは、画像内の部分的な動きが少なく静止画に近いことを示す。あるいは、その静止画に近い画像がパンしている状態を示す。逆に、相関度が低いということは、画像内の部分的な動きが多い変化の激しい画像であることを示す。相関度を全体ベクトルの信頼性の指標として用いることにより、検出した全体ベクトルをそのまま探索領域の移動量に採用するか否かを判断することで、間違いのない探索領域を設定することが可能となる。探索領域決定器は、過去の情報ではなく、実際にベクトル検出に用いる画像間の全体ベクトルと相関度とを用いることで、適切な探索領域の位置と大きさとを決定する。すなわち、相関度が低く、画像内の部分的な動きが多い変化の激しい画像である場合には、探索領域を大きくする。一方、相関度が高く、画像内の部分的な動きが少なく静止画に近い場合には、探索領域を小さくする。また、探索領域決定器は、大きさが決定された探索領域を全体ベクトルに基づいて移動させ、実際に動きベクトルの検出を行う探索領域を決定する。速度の速いパン画像に対して広い領域を探索領域とすることで、動きベクトルの検出能力を向上する。こうして、動きの少ない画像については、処理量を削減し、消費電力を抑えることが可能となる。

前記探索領域決定器は、処理対象とする前記処理ブロックを含む第１の領域を設定したうえで当該第１の領域を位置ずれさせた第２の領域を前記動きベクトルの探索領域に指定し、かつ前記第１の領域に対する前記第２の領域の位置ずれ量を、前記相関度が高くかつ前記全体ベクトルが小さい場合に最小となるように制限するのが好ましい。

これにより、動きの少ない画像の処理に要する処理量や消費電力を精度高く抑制すること可能となる。さらには、相関度が低いあるいは全体ベクトルが大きい場合には、探索領域を所定の最大処理能力に近づけるが可能となり、これにより、映像の急激な変化に対応しつつ最適な探索領域を設定することが可能になる。

前記探索領域決定器は、前記相関度が所定の閾値以下となると、前記全体ベクトルを前記位置ずれ量に反映させる度合いを制限するのが好ましい。そうすれば、相関度の信頼性が高い場合には全体ベクトルをそのまま採用する一方、信頼性が低い場合には全体ベクトルがゼロに近づくような補正を加えることが可能となる。これにより、処理ブロックの周囲を偏りなく探索することが可能となる。すなわち、探索領域を移動させる際に、確実な動きがある場合にのみ領域をずらし、そうでない場合には移動量に制限を加えることが可能となる。その結果、間違いの少ない探索領域の設定が可能となる。

前記全体ベクトル検出器は、前記原画像データと前記参照画像データとをずらしながら両データが重複する部位の画素間の誤差量を求める誤差量検出器と、前記誤差量が最も小さい前記位置ずれ量を示す方向に基づいて全体ベクトルを検出する最適位置検出器と、前記重複する部位の画素データ間の相関度を算出する相関度算出器とを備えるのが好ましい。これにより、精度の高い全体ベクトルと相関度とを求めることができ、その際にも演算量を削減することが可能となる。

上記構成において、前記誤差量検出器と前記相関度算出器とは、前記原画像データを間引いた代表点と前記参照画像データを間引いた代表点とのデータ間で誤差量および相関度を求めるのが好ましい。代表点を間引くことにより一度の演算量を削減することができ、その分、演算量の削減をさらに進めることができる。

また、上記構成において、前記誤差量検出器と前記相関度算出器とは、前記原画像データおよび前記参照画像データを間引いて代表点を求める際に、隣接する代表点の間隔より広い幅を有する領域に存在する画素を平均化する形態もある。

また、上記構成において、前記誤差量検出器と前記相関度算出器とは、前記原画像データおよび前記参照画像データを間引いて代表点を求める際に、前記参照画像データに対する前記原画像データの間引きの画素間隔をＮ倍（Ｎは自然数）としたうえで、前記原画像データの代表点位置のデータのみを用いて誤差量および相関度を求めるように構成してもよい。代表点を間引くことにより演算量をさらに削減し、しかも誤差量の演算精度をあまり劣化させないですむ。

本発明の変形の態様として、全体ベクトルは用いるが相関度は用いない構成としてもよい。すなわち、この動きベクトル検出装置は、前記参照画像データに対する前記原画像データの画面全体のずれ量となる全体ベクトルを検出する全体ベクトル検出器と、マッチング対象とする前記処理ブロックを含みかつ前記全体ベクトルが示す方向に面積的に偏る前記原画像データ上の領域を、動きベクトルの探索領域に指定する探索領域決定器と、前記探索領域にブロックマッチング処理を行うことで処理対象とする前記処理ブロックの動きベクトルを検出するベクトル検出器とを備える。

全体ベクトル検出器は、過去の情報ではなく、実際にベクトル検出に用いる原画像データと参照画像データとに関連する画像情報を用いて、画面全体の動き量である全体ベクトルを求める。そして、探索領域決定器は、過去の情報ではなく、実際にベクトル検出に用いる画像間の全体ベクトルを用いることで、適切な探索領域の位置と大きさを決定する。また、探索領域決定器は、大きさが決定された探索領域を全体ベクトルに基づいて移動させ、実際に動きベクトルの検出を行う探索領域を決定する。速度の速いパン画像に対して広い領域を探索領域とすることで、動きベクトルの検出能力を向上する。こうして、動きの少ない画像については、処理量を削減し、消費電力を抑えることが可能となる。

前記探索領域決定器は、処理対象とする前記処理ブロックを含む第１の領域を設定したうえで当該第１の領域を前記全体ベクトルが示す方向に位置ずれさせた第２の領域を、前記動きベクトルの探索領域に指定するのが好ましい。

前記全体ベクトル検出器は、前記第１の領域に対する前記第２の領域の位置ずれ量を、前記第２の領域において前記処理ブロックが含まれる範囲に制限するのが好ましい。そうすれば、探索領域も移動した状態で連続したものとなり、メモリの読み出し量も抑制することができ、消費電力の抑制がさらに促進される。

前記全体ベクトル検出器は、前記原画像データと前記参照画像データとをずらしながら両データが重複する部位の画素データ間の誤差量を求める誤差量検出器と、前記誤差量が最も小さい前記位置ずれ量に基づいて全体ベクトルを検出する最適位置検出器とを備えるのが好ましい。これにより、精度の高い全体ベクトルを求めることができ、その際にも演算量を削減することができる。

前記誤差量検出器は、前記原画像データを間引いた代表点と前記参照画像データを間引いた代表点との間で誤差量を求めるのが好ましい。代表点を間引くことにより演算量を削減することができる。

また、前記誤差量検出器は、前記原画像データおよび前記参照画像データから前記代表点を求める際に、隣接する代表点の間隔より広い幅を有する領域に存在する画素を平均化するのが好ましい。そうすれば、演算量の削減をさらに進めることができる。

前記誤差量検出器は、前記原画像データおよび前記参照画像データから代表点を求める際に、前記参照画像データに対する前記原画像データの間引きの画素間隔をＮ倍（Ｎは自然数）としたうえで、前記原画像データの代表点のデータのみを用いて誤差量を求めるのが好ましい。代表点を間引くことにより演算量がさらに削減され、しかも誤差量の演算精度はあまり劣化されなくなる。

また、本発明の変形の態様として、相関度は用いるが全体ベクトルは用いない構成としてもよい。すなわち、この動きベクトル検出装置は、前記原画像データと前記参照画像データとの間の相関度を検出する相関度算出器と、マッチング対象とする前記処理ブロックを含んで動きベクトルの探索領域を指定するとともに、前記相関度が低い場合における前記探索領域より高い場合における前記探索領域を狭くする探索領域決定器と、前記探索領域に対しブロックマッチングを行うことで各処理ブロックの動きベクトルを検出するベクトル検出器とを備える。

相関度算出器は、過去の情報ではなく、実際にベクトル検出に用いる原画像データと参照画像データとに関連する画像情報を用いて、原画像データと参照画像データとの間の相関度を算出する。相関度は両画像がどれだけ似通っているかという指標である。相関度が高いということは、画像内の部分的な動きが少なく静止画に近いことを示す。あるいは、その静止画に近い画像がパンしている状態を示す。逆に、相関度が低いということは、画像内の部分的な動きが多い変化の激しい画像であることを示す。探索領域決定器は、過去の情報ではなく、実際にベクトル検出に用いる画像間の相関度を用いることで、適切な探索領域の位置と大きさを決定する。すなわち、相関度が低く、画像内の部分的な動きが多い変化の激しい画像である場合には、探索領域を大きくする。一方、相関度が高く、画像内の部分的な動きが少なく静止画に近い場合には、探索領域を小さくする。速度の速いパン画像に対して広い領域を探索領域とすることで、動きベクトルの検出能力を向上する。こうして、動きの少ない画像については、処理量を削減し、消費電力を抑えることが可能となる。

上記構成において、前記相関度算出器としては、前記原画像データを間引いた代表点間と前記参照画像データを間引いた代表点との間で相関度を求める形態が好ましい。代表点を間引くことにより演算量を削減することができる。

また、上記構成において、前記相関度算出器としては、前記原画像データおよび前記参照画像データを間引いて代表点を求める際に、代表点の間隔より広い幅を有する領域に存在する画素を平均化する形態もある。

本発明によれば、過去の検出情報ではなく、実際にベクトル検出に用いる画像データに基づいて探索領域を決定するため、適切な位置に適切な大きさの探索領域を設けることができ、回路規模の抑制、処理量の削減、電力の削減を達成しつつ、映像の急激な変化に対しても対応できる動きベクトルの検出を行うことができる。

本発明の動きベクトル検出装置は、実際にベクトル検出に用いる原画像データと参照画像データとに関連する画像情報を用いて、画面全体の動き量である全体ベクトルと画像間の相関度を算出し、この全体ベクトルと相関度を用いて探索領域の大きさと位置を決定することで、映像の急激な変化にも対応ができ、予測の確度を高めることができる。

以下、本発明の動きベクトル検出装置の実施の形態を図面に基づいて詳細に説明する。

（実施の形態１）
図１に、本発明の実施の形態１の動きベクトル検出装置のブロック図を示す。１０１は参照画像メモリ、１０２は原画像メモリ、１０３はベクトル検出器、１０４は全体ベクトル検出器、１０５は探索領域決定器である。

本実施形態を含む本発明の動きベクトル検出装置は、従来技術に記載したＭＰＥＧ−２規格の符号化方法と同様の方法により動きベクトルを検出する。すなわち、ターゲットとなる原画像データを所定の大きさのブロックに分割したうえで、参照画像データの所定の探索領域に対してブロックマッチングを行うことで、本発明の動きベクトル検出装置は動きベクトルを検出する。この動きベクトルを用いた符号化方法で予測誤差を符号化することで符号化効率を高めることができる。これら画像データは映像データの映像単位を構成する。映像単位とは、フレームデータもしくはフィールドデータを示す。また、参照画像データとは、原画像データと時間的に近接する画像データを示す。ここで、時間的に近接するとは、フレーム時間にして５フレームまでに相当する時間、好ましくは３フレームまでに相当する時間だけ時間的に離間することをいう。

参照画像メモリ１０１に参照画像データが蓄積される。原画像メモリ１０２にこれから動きベクトルの検出を行うターゲットとなる原画像データが蓄積される。ベクトル検出器１０３は、原画像データを所定の処理ブロック毎に参照画像データとブロックマッチングを行うことで、各処理ブロックの動きベクトルを検出する。全体ベクトル検出器１０４は、参照画像データと原画像データの全体ベクトルを検出するとともに、両画像間の相関度の算出を行う。探索領域決定器１０５は、全体ベクトルと相関度に基づきベクトル検出器１０３で行う動きベクトルの探索領域の大きさと位置とを決定する。

まず、本実施形態の動きベクトル検出装置による探索領域の大きさの決定方法について説明する。相関度は両画像がどれだけ似通っているかという指標であり、相関度が高いということは、画像内の部分的な動きが少なく全体が静止画に近い状態、あるいはその静止画に近い画像が画面上でパンしている状態であることを示す。逆に、相関度が低いということは、画像内での部分的な動きが多く変化の激しい状態であることを示す。

そこで、探索領域決定器１０５は、相関度が低い場合には処理能力の許す限り探索領域を大きくし、相関度が高い場合には探索領域を小さくする判定を行う。これにより、動きの少ない画像を撮影しているときなどは、処理量を削減し、消費電力を抑えることが可能となる。

探索領域を決定する具体的な方法としては、例えば、相関度を複数の閾値でレベル分けし、探索領域の大きさを段階的に切り替えるといった方法がある。探索領域の大きさの制御は、相関度のみを用いて単独に行うことも可能であるが、全体ベクトルの大きさも探索領域を決定する際の指標として用いることができる。例えば、動きのある物体を追尾して撮影を行った場合、画像全体の動きは、背景に引きずられてパン画像として扱われる。しかしながらその際、撮影対象となる物体の画像は動きのあるものとなる可能性が高い。したがって、その場合には、処理ブロックの周辺にもある程度の探索領域を設ける方が好ましい。このような状態を想定する場合には、全体ベクトルの大きさを探索領域が決定する際の指標として用いられる。

以上のことを想定して、本実施形態の動きベクトル検出装置は、相関度と全体ベクトル長の２次元の座標を設け、相関度が高くかつ全体ベクトルが小さい場合にのみ探索領域を制限する構成とする。反対に、相関度が低いあるいは全体ベクトル長が大きい場合には、探索領域を所定の最大処理能力に近づける。このようにして、探索領域の大きさを、相関値と全体ベクトルとに応じて任意に決定する。

具体的には、例えば、相関度と全体ベクトルとをそれぞれ複数の閾値でレベル分けすることで、マトリクス状のテーブルを設ける。そうすれば、探索領域の大きさを段階的に切り替えるといったことが実現でき、これにより上述した構成を実現することができる。

次に、探索領域を設定する位置の決定方法について説明する。探索領域決定器１０５は、全体ベクトル検出器１０４で検出した全体ベクトルに基づいて、探索領域を移動させることで新たな探索領域を決定する。

このときの探索領域の移動の様子を図２に示す。２０１は処理ブロック、２０２は移動なしの場合における探索領域、２０３は移動ありの場合における移動後の探索領域（第２の領域）、２０４は仮想探索領域、２０５は参照画像、２０６は仮想探索領域の参照幅（画面垂直方向寸法）、２０７は移動ありの場合の参照幅（画面垂直方向寸法）である。なお、探索領域２０２は、移動ありの場合における移動前の探索領域（第１の領域）も示す。

探索領域決定器１０５は、全体ベクトルの情報に基づいて移動なしの探索領域２０２を移動させ、実際に動きベクトルの検出を行う探索領域２０３を決定する。さらには、探索領域決定器１０５は、画像の全体ベクトルの方向に合わせて探索領域を移動させる。これにより、探索を行うことが可能となる最大の領域は、図において仮想探索領域２０４として示す非常に広い領域となる。その結果、速度の速いパン画像に追従させることが可能となり、その分、動きベクトルの検出能力が向上する。

ここで、検索領域の移動処理を実施する際には、画面全体の探索領域２０３を一定方向に移動させる。その際、探索領域決定器１０５は、配置後の探索領域２０３が全体ベクトルが示す方向に面積的に偏るように、探索領域２０３の配置を指定する。そのため、処理ブロックを水平方向に連続して動きベクトルの検出を行う際において探索領域も移動した状態で連続したものとなる。そのため、実際に仮想探索領域２０４に対して動きベクトルの検出を行うためには、参照画像メモリ１０１から垂直方向に参照幅（画面垂直方向寸法）２０６内の参照画像データを読み出すことが必要となる。この場合の参照幅２０６は、仮想探索領域２０４の垂直方向全幅となる。

これに対して、移動させた探索領域２０３に対して動きベクトルの検出を行う際には、参照画像メモリ１０１から参照幅２０７だけの参照画像データを読み出せばよい。この場合の参照幅２０７は、仮想探索領域２０４の垂直方向全幅とはならず、それより幅の狭い移動後の探索範囲２０３の垂直方向全幅となる。
これにより、単に処理量を制限できるだけでなく、メモリの読み出し量を抑制することが可能となり、その分、探索処理に必要となる消費電力を大きく低減することができる。

探索領域決定器１０５は、全体ベクトルを用いて探索領域を移動させるため、全体ベクトルを検出する際の信頼度が重要となる。この信頼度は全体ベクトル検出器１０４で求める相関度から決定することができる。すなわち、全体ベクトル位置での両画像間の相関度が低ければその全体ベクトルの信頼度は低いと判断でき、相関度が高ければ全体ベクトルの信頼度は高いと判断できる。

上記相関度を用いた全体ベクトルの信頼度の変換の一例を図３に示す。図３に示す例では、２種類の閾値Ｔｈａ、Ｔｈｂを設け、相関度が閾値Ｔｈａ以下となる場合には信頼性なしと判断して信頼度を０．０に変換し、閾値Ｔｈｂ以上であれば信頼度ありと判断して信頼度を１．０に変換し、そして閾値Ｔｈａと閾値Ｔｈｂの間を０．０から１．０に線形に単調増加するように変換する。

こうして求めた信頼度を全体ベクトルに乗算することで、全体ベクトルに次の補正が加えられる。すなわち、信頼度が高い場合には全体ベクトルがそのまま採用される一方、信頼度が低い場合には全体ベクトルがゼロに近づく補正が全体ベクトルに加えられる。これにより、処理ブロックの周囲を偏りなく探索することが可能となる。また、探索領域を移動させる際に、確実な動きがある場合にのみ領域をずらすことが可能となる。

ここで、上記信頼度の補正値算出方法は図３に示す例に限定するものではなく、相関度からの変換を多項式により実施する方法や、多段階の閾値を設けてテーブルを作成し、変換するといった方法も可能である。

次に、全体ベクトル検出器１０４の具体的な実施の形態の一つを図４に示す。４０１は第１縮小画生成器、４０２は第１縮小画メモリ、４０３は第２縮小画生成器、４０４は第２縮小画メモリ、４０５は誤差量算出器、４０６は最適位置検出器、４０７は相関度算出器である。第１縮小画生成器４０１は、参照画像データに対して縮小処理を行った後に、その縮小画像データを第１縮小画メモリ４０２に蓄積する。第２縮小画生成器４０３は、原画像データに対して縮小処理を行った後に、その縮小画像データを第２縮小画メモリ４０４に蓄積する。

図５は、第１縮小画生成器４０１および第２縮小画生成器４０３により縮小処理された画像を示す。図において、Ｘは水平方向の代表点の画素間隔、Ｙは垂直方向の代表点の画素間隔を示す。以下、代表点の画素間隔（Ｘ,Ｙ）を代表点間隔（Ｘ,Ｙ）という。

代表点の生成は、次のようにして行なわれる。まず、代表点間隔（Ｘ,Ｙ）が設定される。そのうえで、設定した代表点間隔（Ｘ,Ｙ）よりも大きい縦横寸法を有する領域が設定される。つまり、図５に示すように、設定する領域の水平方向の幅をＴｘ、垂直方向の幅をＴｙとしたとき、
Ｔｘ＞Ｘ
Ｔｙ＞Ｙ
を満たすように各領域が設定される。

そのうえで、各領域が、隣接するものどうし互いにその一部が［（Ｔｘ−Ｘ）／２、（Ｔｙ−Ｙ）／２］の幅で重なるように重複配置される。以上の領域設定を行なったうえで、隣接する領域の画素データを用いて代表点がそれぞれ生成される。

ここで、代表点の生成に際して、上記重複域を設けない場合、撮影時のパン速度（パン処理に伴って画像全体が画面内で移動する際の移動量）の相違により、次の検出状態が生じる。すなわち、この場合、パン速度が代表点間隔（Ｘ,Ｙ）の整数倍に一致する状態では、全体ベクトルが精度良く検出されるものの、パン速度（画像全体の移動量）が代表点間隔（Ｘ,Ｙ）の整数倍(ｎＸ,ｎＹ：ｎは整数)に対してその代表点間隔の１／２、すなわち、（Ｘ／２,Ｙ／２）程度ずれている状態では、生成される縮小画像が異なるものとなり、これによって全体ベクトルの誤検出が生じることがある。

この現象は、相関度に関しても同様であり、パン速度と代表点間隔（Ｘ,Ｙ）の関係によって大きく変動する。誤差量および相関度の変動は、全体ベクトルの誤検出の原因になるとともに、最終的に動きベクトルの検出領域の大きさを制限する処理に対し、誤った判断をする原因となる。

これに対し、上記重複領域を設ける場合、フィルタ効果により代表点間隔以下の微妙な画像のずれによる誤検出の発生を抑制することができ、縮小画像の縮小率を高くすることで誤差量の演算回数の削減を実現しながらも、広い領域に渡って全体ベクトルの検出を行うことが可能となる。ここで、フィルタ効果とは、単純な間引き処理では原画像データの全てが代表点に反映されない状態となるのに対して、原画像データの全てをいずれかの代表点に反映させることで、画像情報の欠落を抑制する効果のことをいう。

また、隣接する領域の間に存在する重複域の幅（重複幅）を、各領域の幅（Ｘ，Ｙ）の半分程度（Ｘ／２、Ｙ／２）まで拡幅した場合、図６に示す縮小原画像データ６０１の代表点をさらに間引いた黒丸の代表点６０３は原画像の全画素データの情報が正確に反映された状態となる。そのため、この黒丸の代表点６０３と一致するデータのみを用いて誤差量を演算しても、その演算精度の劣化は小さなものになる。

このように、代表点を間引いて一度の演算量を約１／４に削減したとしても、縮小参照画像データ上の代表点間隔（Ｘ、Ｙ）を維持することが可能となり、全体ベクトルの探索精度を、間引く前の代表点間隔（Ｘ,Ｙ）のままで維持することができる。

ここで、縮小参照画像データ６０２に関しては、代表点間隔（Ｘ,Ｙ）に基づいてその代表点を求める必要があるものの、縮小原画像データ６０１に関しては、間引き後の黒丸代表点６０３のデータのみを算出して第２縮小画メモリ４０４に蓄積する構成としてもよい。

誤差量算出器４０５の処理を図７を参照して説明する。まず、第１縮小画メモリ４０２から縮小参照画像データ７０１が読み出され、第２縮小画メモリ４０４から縮小原画像データ７０２が読み出される。そのうえで、図７に示すように縮小参照画像データ７０１と縮小原画像データ７０２とが重ね合わされたうえで互いにずらし配置される。そして、重なりの共通部分７０３の代表点データの誤差量から両画像間の誤差量が求められる。ここで、ずらし量により共通部分の画素数は異なるため、誤差量を正規化する必要がある。正規化の手法としては、共通部分７０３の代表点データの個数で除算する方法を例示できる。また、共通部分７０３の代表点データの個数をパターン化できる場合には、予めパラメータ化した係数を乗算することにより正規化する方法も例示できる。誤差量の算出方法としては、画像間の一致度合いを相対的に比較可能な指標であればよい。指標としては、差分絶対値総和、差分二乗総和、相関係数といった一般的に知られている様々な指標を適用することができる。

最適位置検出器４０６では、誤差量の最小となるずれ量が検出され、そのずれ量に基づき代表点の間引き間隔の情報から全体ベクトルが算出される。相関度算出器４０７では、縮小参照画像データと縮小原画像データとの間の誤差量が最小となる位置に両データをずらし配置する際の両画像間の相関度が求められる。相関度としては、誤差量と同様に、差分絶対値総和、差分二乗総和、相関係数といった様々な指標を用いることが可能である。

以下、相関係数を用いる場合を例にして、両画像間の相関度の算出方法を説明する。

図７に示す重なりの共通部分７０３における代表点データ数を、水平方向にＮ点、垂直方向にＭ点とする。また、共通部分７０３の左上端の画素を座標［０］,［０］とする際の縮小参照画像データの画素データをＲ［ｉ］［ｊ］、縮小原画像データの画素データをＴ［ｉ］［ｊ］とし、また、縮小参照画像データの共通部分における画素データの平均値をＡｖｅＲ、縮小原画像データの共通部分における画素データの平均値をＡｖｅＴとする。このとき、縮小参照画像データの分散Ｓｒｒ、縮小原画像データの分散Ｓｔｔ、縮小参照画像データと縮小原画像データの共通部分の共分散Ｓｔｒ、および相関係数は、数式１に示す演算により算出される。

相関係数は、−１．０から１．０までの数値をとり、一般的に、１．０に近づくほど両画像データ間の相関度が強く、−１．０に近づくほど逆方向の相関度が強く、０に近ければ相関がないことが知られている。

ここで、数式１ではルート演算を行っているが、ルート演算は、複雑な処理となるため近似式を用いてもよい。また、相関係数が負の場合は、動きベクトルの検出にとっては相関がないことと同義であることから、相関度として用いる際に、次の数式２に示すように相関係数の分子が負の場合に相関度をゼロとし、それ以外の場合に相関係数を二乗した数値、つまりはルートをとらない数値を用いて後の処理を行うといった構成をとることも可能である。

本実施の形態では、全体ベクトル検出器１０４で求める全体ベクトルと相関度とを、ベクトル検出器１０３で行う動きベクトルの探索領域の決定に用いる。一方、ビデオカメラで実施される手ぶれ補正処理等では、精度の高い全体ベクトルを必要とする場合がある。上記全体ベクトルや相関度の演算構成は、その場合（ビデオカメラの手ぶれ補正処理等）における前処理に適用することが可能である。その際でも、演算量を削減することができるという効果が発揮される。

次に、参照画像データ、原画像データそれぞれの縮小画像の生成等の画像処理を図８を参照して説明する。

図８は、参照画像データ、原画像データそれぞれの縮小画像の生成等の画像処理実施タイミングの一例を示す。図８には、順方向の予測を行うＰピクチャと、順方向と逆方向の動き予測を行うＢピクチャとが示される。

図８において、Ｐ１，Ｂ２，Ｂ３，Ｐ４，Ｂ５，Ｂ６，Ｐ７は動きベクトル検出装置１０４に入力される画像データを示し、これらの画像データは原画像メモリ１０２に蓄積されるとともに、全体ベクトル検出器１０４の第２縮小画生成器４０３に入力される。これらの画像データＰ１，Ｂ２，Ｂ３，Ｐ４，Ｂ５，Ｂ６，Ｐ７は、第２縮小画生成器４０３において縮小画像データＰ１ｓ，Ｂ２ｓ，Ｂ３ｓ，Ｐ４ｓ，Ｂ５ｓ，Ｂ６ｓ，Ｐ７ｓに縮小されたうえで第２縮小画メモリ４０４に蓄積される。

画像データＰ１，Ｐ４は図示しない符号化器および復号化器により、符号化、復号化される。図８において、Ｐ１ｄ，Ｐ４ｄは、画像データＰ１，Ｐ４を符号化、複合化処理することで生成される参照画像データである。参照画像データＰ１ｄ，Ｐ４ｄは、参照画像メモリ１０１に蓄積されるとともに、第１縮小画生成器４０１に入力される。参照画像データＰ１ｄｓ，Ｐ４ｄｓは第１縮小画生成器４０１で縮小処理されて第１縮小画メモリ４０２に蓄積される。

画像データＰ４の動きベクトル検出の過程を説明する。まず、動きベクトル検出の開始に先立って、全体ベクトル検出器１０４において縮小参照画像データＰ１ｄｓと縮小原画像データＰ４ｓとを用いて全体ベクトルと相関度とが算出される。探索領域決定器１０５では算出される全体ベクトルと相関度とを用いて探索領域が決定される。ベクトル検出器１０３では、参照画像メモリ１０１から参照画像Ｐ１ｄが、原画像メモリ１０２から画像データＰ４がそれぞれ読み出される。さらにベクトル検出器１０３では、探索領域決定器１０５が設定する探索領域において、参照画像Ｐ１ｄと画像データＰ４とに上述した演算処理が実施されることで、処理ブロックの動きベクトルが検出される。

さらには、画像データＰ４は、図示しない符号化器、復号化器により符号化、復号化処理されることで再び参照画像データＰ４ｄに変換される。再変換される参照画像データＰ４ｄは参照画像メモリ１０１に蓄積されるとともに、全体ベクトル検出器１０４の第１縮小画生成器４０１により縮小処理されることで縮小参照画像Ｐ４ｄｓに変換される。再変換される縮小参照画像データＰ４ｄｓは第１縮小画メモリ４０２に蓄積される。

画像データＢ２のベクトル検出を行う際には、時間軸上の前方に対しては縮小参照画像データＰ１ｄｓ,Ｂ２ｓを用いて全体ベクトルと相関度とが算出される。時間軸上の後方に対しては縮小参照画像データＰ４ｄｓ,Ｂ２ｓを用いて全体ベクトルと相関度とが算出される。

探索領域決定器１０５では、算出される全体ベクトルと相関度とに基づいて、前方および後方に対してそれぞれ探索領域が決定される。ベクトル検出器１０３では、参照画像メモリ１０１から参照画像Ｐ１ｄ,Ｐ４ｄが読み出されるとともに、原画像メモリ１０２から画像データＢ２が読み出される。そのうえでベクトル検出器１０３では、探索領域決定器１０５により設定される探索領域において動きベクトルが検出される。画像データＢ２は参照画像として用いられることがないため、図示しない符号化器により符号化処理が実施されるものの、復号化は行われない。

参照画像を必要としないＩピクチャでは全体ベクトルの検出および動きベクトルの検出は行なわれない。そのため、Ｉピクチャは図８に図示されない。ただし、Ｉピクチャは参照画像として用いられる。そのため、Ｉピクチャは図示しない符号化器により符号化された後、復号化器により復号化処理されることで参照画像データとして参照画像メモリ１０１に蓄積されるとともに、第１縮小画生成器４０１により縮小処理されて第１縮小画メモリ４０２に蓄積される。

これらの処理を繰り返すことで、動きベクトルの検出を実施することができる。

以上のように、本実施形態では、常にベクトル検出器１０３の動きベクトル検出に先立って、全体ベクトル検出器１０４が検出に用いる画像そのものの情報に基づいて全体ベクトルと相関度とを算出し、それらの情報に基づいて探索領域決定器１０５が探索領域の決定を行う。このことから、映像に急激な変化があった場合にも、その動きを的確に反映した探索領域を設定することができる。また、単に全体ベクトルの方向に領域を移動させるだけでなく、相関度に基づき全体ベクトルの信頼度を算出することで、適切な位置に適切な大きさの探索領域を設けることができる。したがって、回路規模の抑制、処理量の削減、消費電力の削減を実現しつつ、仮想的に探索領域を広げ、動きベクトル検出の予測確度を高めることができる。

（実施の形態２）
図９に、本発明の実施の形態２の動きベクトル検出装置のブロック図を示す。図９において、１０１は参照画像メモリ、１０２は原画像メモリ、１０３はベクトル検出器、９０４は全体ベクトル検出器、１０５は探索領域決定器をそれぞれ示す。本実施形態が実施の形態１と異なるのは、全体ベクトル検出器９０４が参照画像データを入力データとして用いない点である。

実施の形態１では、符号化および復号化された実際の参照画像データから縮小参照画像データが生成されるが、本実施の形態では参照画像データの符号化前となる原画像データを用いて縮小参照画像データが生成される。

全体ベクトル検出器９０４の具体的な実施の形態を図１０に示す。図１０において、１００１は縮小画生成器、１００２は縮小画メモリ、４０５は誤差量算出器、４０６は最適位置検出器、４０７は相関度算出器をそれぞれ示す。全体ベクトル検出器９０４は画像を縮小する構成を必要とするものの、画像縮小構成としては、原画像データを縮小する縮小画生成器１００１のみが設けられる。縮小画生成器１００１から出力される縮小画像データは縮小画メモリ１００２に蓄積される。

図１１は、画像処理の実施タイミングの一例を示す。図１１において、Ｐ１，Ｂ２，Ｂ３，Ｐ４，Ｂ５，Ｂ６，Ｐ７は入力される画像データを示しており、これらの画像データは原画像メモリ１０２に蓄積されるとともに、全体ベクトル検出器９０４の縮小画生成器１００１に入力される。これらの画像データＰ１，Ｂ２，Ｂ３，Ｐ４，Ｂ５，Ｂ６，Ｐ７は、縮小画生成器１００１において縮小処理されることで縮小画像データＰ１ｓ，Ｂ２ｓ，Ｂ３ｓ，Ｐ４ｓ，Ｂ５ｓ，Ｂ６ｓ，Ｐ７ｓに変換されて縮小画メモリ１００２に蓄積される。

Ｐ１ｄ，Ｐ４ｄは図示しない符号化器および復号化器により、画像データＰ１，Ｐ４を符号化、復号化することで生成される参照画像データである。これら参照画像データは参照画像メモリ１０１に蓄積される。

画像データＰ４の動きベクトル検出の過程を説明する。動きベクトル検出動作が開始されるのに先立って次の処理が実施される。まず、全体ベクトル検出器９０４において参照画像データＰ１ｄの符号化前の原画像データＰ１を縮小した縮小原画像データＰ１ｓと今回ベクトル検出を行うターゲットとなる縮小原画像データＰ４ｓを用いて全体ベクトルと相関度とが算出される。探索領域決定器１０５では、算出される全体ベクトルと相関度とを用いて探索領域が決定される。実施の形態１とは、縮小原画像データＰ１ｓの生成方法が異なるのみで、全体ベクトルおよび相関度の算出方法は、同じ処理を適応することができる。

ベクトル検出器１０３では、参照画像メモリ１０１から参照画像データＰ１ｄが、原画像メモリ１０２から画像データＰ４がそれぞれ読み出される。さらには、ベクトル検出器１０３では、探索領域決定器１０５が設定する探索領域において参照画像データＰ１ｄと画像データＰ４とに前述した演算処理が実施されることで動きベクトルが検出される。

さらには、画像データＰ４は、図示しない符号化器、復号化器により符号化、復号化されることで、再び参照画像データＰ４ｄに変換される。再変換される参照画像データＰ４ｄは参照画像メモリ１０１に蓄積される。

画像データＢ２のベクトル検出を行う際には、時間軸上の前方に対しては縮小参照画像データＰ１ｓ,Ｂ２ｓを用いて全体ベクトルと相関度とが算出される。時間軸上の後方に対しては縮小参照画像データＰ４ｓ,Ｂ２ｓを用いて全体ベクトルと相関度とが算出される。それ以後の処理は実施の形態１と同様である。

このように、直接、参照画像データから縮小参照画像データを生成しなくても、参照画像データの基となる原画像データの縮小画像データを用いることでも、全体ベクトルおよび相関度の算出を行うことは可能である。

また、実施の形態１と同様に、図６に示すように代表点をさらに間引いた黒丸の代表点６０３を用いて誤差量および相関度の算出を行う場合には、参照画像とならないＢピクチャの縮小原画像データに関しては、白丸部分の代表点６０４の算出を行う必要はない。

本実施の形態によれば、参照画像用に専用の縮小画生成器と縮小画メモリとを設ける必要がない分、処理量と回路規模の削減をさらに促進することができる。

上述した実施の形態１、２の全体ベクトル検出器１０４、９０４は、相関度算出器４０７を含んで構成される。しかしながら、相関度算出器４０７を全体ベクトル検出器１０４、９０４と別に設けてもよい。また、図１２、図１３の全体ベクトル検出器１０４'、９０４'に示すように、相関度算出器４０７を含むことなく全体ベクトル検出器を構成してもよく、その場合であっても、実施の形態１、２に類似する効果を発揮することができる。さらには、図１４、図１５の全体ベクトル検出器１０４''、９０４''に示すように、全体ベクトルを出力することなく相関度だけを出力するように全体ベクトル検出器を構成することで、全体ベクトル検出器を相関度検出器として機能させてもよく、その場合であっても、実施形態１、２に類似する効果を発揮することができる。

本発明にかかる動きベクトル検出装置は、実際にベクトル検出に用いる画像データに基づいて適切な位置に適切な大きさの探索領域を設けることで、回路規模の抑制、処理量の削減、消費電力の削減を必要とする予測符号化等の技術として有用である。

本発明の実施の形態１の動きベクトル検出装置のブロック図。 本発明の実施の形態１における探索領域の移動を示す説明図。 本発明の実施の形態１における相関度と信頼度の関係の一例を示す説明図。 本発明の実施の形態１で用いる動きベクトル検出装置の一例を示すブロック図。 本発明の実施の形態１における代表点データの生成方法を示す説明図。 本発明の実施の形態１における代表点データの間引きを示す説明図。 本発明の実施の形態１における全体ベクトルの検出方法を示す説明図。 本発明の実施の形態１の動きベクトルの検出過程を示すタイミング図。 本発明の実施の形態２の動きベクトル検出装置のブロック図。 本発明の実施の形態２の動きベクトル検出装置の一例を示すブロック図。 本発明の実施の形態２の動きベクトルの検出過程を示すタイミング図。 本発明の第１の変形例のブロック図。 本発明の第２の変形例のブロック図。 本発明の第３の変形例のブロック図。 本発明の第４の変形例のブロック図。 従来の動きベクトル検出装置のブロック図。

符号の説明

１０１ 参照画像メモリ
１０２ 原画像メモリ
１０３ ベクトル検出器
１０４ 全体ベクトル検出器
１０５ 探索領域決定器
４０１ 第１縮小画生成器
４０２ 第１縮小画メモリ
４０３ 第２縮小画生成器
４０４ 第２縮小画メモリ
４０５ 誤差量算出器
４０６ 最適位置検出器
４０７ 相関度算出器
９０４ 全体ベクトル検出器
１００１ 縮小画生成器
１００２ 縮小画メモリ

Claims (26)

1. デジタル映像データの映像単位を構成する原画像データを複数の処理ブロックに分割したうえで、これら処理ブロックそれぞれを、当該原画像データに時間的に近接する参照画像データに対してブロックマッチング処理を行うことで、前記処理ブロックの動きベクトルを検出する動きベクトル検出装置であって、
   前記参照画像データに対する前記原画像データの画面全体のずれ量となる全体ベクトルを検出する全体ベクトル検出器と、
   マッチング対象とする前記処理ブロックを含みかつ前記全体ベクトルが示す方向に面積的に偏る前記原画像データ上の領域を、動きベクトルの探索領域に指定する探索領域決定器と、
   前記探索領域にブロックマッチング処理を行うことで処理対象とする前記処理ブロックの動きベクトルを検出するベクトル検出器と、
   を備える動きベクトル検出装置。
2. 前記探索領域決定器は、処理対象とする前記処理ブロックを含む第１の領域を設定したうえで当該第１の領域を前記全体ベクトルが示す方向に位置ずれさせた第２の領域を、前記動きベクトルの探索領域に指定する、請求項１の動きベクトル検出装置。
3. 前記全体ベクトル検出器は、前記第１の領域に対する前記第２の領域の位置ずれ量を、前記第２の領域において前記処理ブロックが含まれる範囲に制限する、請求項２の動きベクトル検出装置。
4. 前記全体ベクトル検出器は、
   前記原画像データと前記参照画像データとをずらしながら両データが重複する部位の画素データ間の誤差量を求める誤差量検出器と、
   前記誤差量が最も小さい前記位置ずれ量に基づいて全体ベクトルを検出する最適位置検出器と、
   を備える、請求項１の動きベクトル検出装置。
5. 前記誤差量検出器は、前記原画像データを間引いた代表点と前記参照画像データを間引いた代表点との間で誤差量を求める、請求項４の動きベクトル検出装置。
6. 前記誤差量検出器は、前記原画像データおよび前記参照画像データから前記代表点を求める際に、隣接する代表点の間隔より広い幅を有する領域に存在する画素を平均化する、請求項５の動きベクトル検出装置。
7. 前記誤差量検出器は、前記原画像データおよび前記参照画像データから代表点を求める際に、前記参照画像データに対する前記原画像データの間引きの画素間隔をＮ倍（Ｎは自然数）としたうえで、前記原画像データの代表点のデータのみを用いて誤差量を求める、請求項５の動きベクトル検出装置。
8. デジタル映像データの映像単位を構成する原画像データを複数の処理ブロックに分割したうえで、これら処理ブロックそれぞれを、当該原画像データに時間的に近接する参照画像データに対してブロックマッチング処理を行うことで、前記処理ブロックの動きベクトルを検出する動きベクトル検出装置であって、
   前記原画像データと前記参照画像データとの間の相関度を検出する相関度算出器と、
   マッチング対象とする前記処理ブロックを含んで動きベクトルの探索領域を指定するとともに、前記相関度が低い場合における前記探索領域より高い場合における前記探索領域を狭くする探索領域決定器と、
   前記探索領域に対しブロックマッチングを行うことで各処理ブロックの動きベクトルを検出するベクトル検出器と、
   を備える、動きベクトル検出装置。
9. 前記相関度算出器は、前記原画像データを間引いた代表点と前記参照画像データを間引いた代表点との間で相関度を求める、請求項８の動きベクトル検出装置。
10. 前記相関度算出器は、前記原画像データおよび前記参照画像データから前記代表点を求める際に、隣接する代表点の間隔より広い幅を有する領域に存在する画素を平均化する、請求項９の動きベクトル検出装置。
11. デジタル映像データの映像単位を構成する原画像データを複数の処理ブロックに分割したうえで、これら処理ブロックそれぞれを、当該原画像データに時間的に近接する参照画像データに対してブロックマッチング処理を行うことで、前記処理ブロックの動きベクトルを検出する動きベクトル検出装置であって、
    前記参照画像データに対する前記原画像データの画面全体のずれ量となる全体ベクトルを検出するとともに、前記全体ベクトルを決定する際のずれ量だけ前記参照画像データと前記原画像データとを互いにずらし配置する際の相関度を算出する全体ベクトル検出器と、
    前記全体ベクトルと前記相関度とから動きベクトルの探索領域の大きさと位置とを指定する探索領域決定器と、
    前記探索領域に対しブロックマッチングを行うことで各処理ブロックの動きベクトルを検出するベクトル検出器と、
    を備える、動きベクトル検出装置。
12. 前記探索領域決定器は、マッチング対象とする前記処理ブロックを含む第１の領域を設定したうえで当該第１の領域を位置ずれさせた第２の領域を前記動きベクトルの探索領域に指定し、かつ前記第１の領域に対する前記第２の領域の位置ずれ量を、前記相関度が強くかつ前記全体ベクトルが小さい場合に最小となるように制限する、請求項１１の動きベクトル検出装置。
13. 前記探索領域決定器は、前記相関度が所定の閾値以下となると、前記全体ベクトルを前記位置ずれ量に反映させる度合いを制限する、請求項１１の動きベクトル検出装置。
14. 前記全体ベクトル検出器は、
    前記原画像データと前記参照画像データとをずらしながら両データが重複する部位の画素データ間の誤差量を求める誤差量検出器と、
    前記誤差量が最も小さい前記位置ずれ量に基づいて全体ベクトルを検出する最適位置検出器と、
    前記重複する部位の画素データ間の相関度を算出する相関度算出器と、
    を備える、請求項１１の動きベクトル検出装置。
15. 前記誤差量検出器と前記相関度算出器とは、前記原画像データを間引いた代表点と前記参照画像データを間引いた代表点との間で誤差量および相関度を求める、請求項１４の動きベクトル検出装置。
16. 前記誤差量検出器と前記相関度算出器とは、前記原画像データおよび前記参照画像データを間引いて代表点を求める際に、隣接する代表点の間隔より広い幅を有する領域に存在する画素を平均化する、請求項１５の動きベクトル検出装置。
17. 前記誤差量検出器と前記相関度算出器とは、前記原画像データおよび前記参照画像データを間引いて代表点を求める際に、前記参照画像データに対する前記原画像データの間引きの画素間隔をＮ倍（Ｎは自然数）としたうえで、前記原画像データの代表点位置のデータのみを用いて誤差量および相関度を求める、請求項１５の動きベクトル検出装置。
18. デジタル映像データの映像単位を構成する原画像データを複数の処理ブロックに分割したうえで、これら処理ブロックそれぞれを、当該原画像データに時間的に近接する参照画像データに対してブロックマッチング処理を行うことで、前記処理ブロックの動きベクトルを検出する動きベクトル検出方法であって、
    前記参照画像データに対する前記原画像データの画面全体のずれ量となる全体ベクトルを検出する全体ベクトル検出ステップと、
    マッチング対象とする前記処理ブロックを含みかつ前記全体ベクトルが示す方向に面積的に偏る前記原画像データ上の領域を、動きベクトルの探索領域に指定する探索領域決定ステップと、
    前記探索領域にブロックマッチング処理を行うことで処理対象とする前記処理ブロックの動きベクトルを検出するベクトル検出ステップと、
    を含む動きベクトル検出方法。
19. 前記探索領域決定ステップにおいて、
    処理対象とする前記処理ブロックを含む第１の領域を設定したうえで当該第１の領域を前記全体ベクトルが示す方向に位置ずれさせた第２の領域を、前記動きベクトルの探索領域に指定する、請求項１８の動きベクトル検出方法。
20. 前記全体ベクトル検出ステップは、
    前記原画像データと前記参照画像データとをずらしながら両データが重複する部位の画素データ間の誤差量を求める誤差量検出ステップと、
    前記誤差量が最も小さい前記位置ずれ量に基づいて全体ベクトルを検出する最適位置検出ステップと、
    を含む、請求項１９の動きベクトル検出方法。
21. デジタル映像データの映像単位を構成する原画像データを複数の処理ブロックに分割したうえで、これら処理ブロックそれぞれを、当該原画像データに時間的に近接する参照画像データに対してブロックマッチング処理を行うことで、前記処理ブロックの動きベクトルを検出する動きベクトル検出方法であって、
    前記原画像データと前記参照画像データとの間の相関度を検出する相関度算出ステップと、
    マッチング対象とする前記処理ブロックを含んで動きベクトルの探索領域を指定するとともに、前記相関度が低い場合における前記探索領域より高い場合における前記探索領域を狭くする探索領域決定ステップと、
    前記探索領域に対しブロックマッチングを行うことで各処理ブロックの動きベクトルを検出するベクトル検出ステップと、
    を含む、動きベクトル検出方法。
22. 前記相関度算出ステップにおいて、前記原画像データを間引いた代表点と前記参照画像データを間引いた代表点との間で相関度を求める、請求項２１の動きベクトル検出方法。
23. デジタル映像データの映像単位を構成する原画像データを複数の処理ブロックに分割したうえで、これら処理ブロックそれぞれを、当該原画像データに時間的に近接する参照画像データに対してブロックマッチング処理を行うことで、前記処理ブロックの動きベクトルを検出する動きベクトル検出方法であって、
    前記参照画像データに対する前記原画像データの画面全体のずれ量となる全体ベクトルを検出するとともに、前記全体ベクトルを決定する際のずれ量だけ前記参照画像データと前記原画像データとを互いにずらし配置する際の相関度を算出する全体ベクトル検出ステップと、
    前記全体ベクトルと前記相関度とから動きベクトルの探索領域の大きさと位置とを指定する探索領域決定ステップと、
    前記探索領域に対しブロックマッチングを行うことで各処理ブロックの動きベクトルを検出するベクトル検出ステップと、
    を含む、動きベクトル検出方法。
24. 前記探索領域決定ステップにおいて、マッチング対象とする前記処理ブロックを含む第１の領域を設定したうえで当該第１の領域を位置ずれさせた第２の領域を前記動きベクトルの探索領域に指定し、かつ前記第１の領域に対する前記第２の領域の位置ずれ量を、前記相関度が強くかつ前記全体ベクトルが小さい場合に最小となるように制限する、請求項２３の動きベクトル検出方法。
25. 前記探索領域決定ステップにおいて、前記相関度が所定の閾値以下となると、前記全体ベクトルを前記位置ずれ量に反映させる度合いを制限する、請求項２３の動きベクトル検出方法。
26. 前記全体ベクトル検出ステップは、
    前記原画像データと前記参照画像データとをずらしながら両データが重複する部位の画素データ間の誤差量を求める誤差量検出ステップと、
    前記誤差量が最も小さい前記位置ずれ量に基づいて全体ベクトルを検出する最適位置検出ステップと、
    前記重複する部位の画素データ間の相関度を算出する相関度算出ステップと、
    を含む、請求項２３の動きベクトル検出方法。

Images