JP2010028478A - 動きベクトル補正装置、動きベクトル補正方法、画像補間装置、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】信頼性の高い動きベクトルを決定できる動きベクトル補正装置を実現する。
【解決手段】動きベクトル補正装置１００では、双方向ベクトル比較部７は、原画像ｆ（ｔ−１）における前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする原画像ｆ（ｔ）における後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該前方向ベクトルの始点を「消える領域」と判定する。動きベクトル補正部８は、原画像ｆ（ｔ−２）における前方向動きベクトルの出現頻度と原画像ｆ（ｔ−１）における前方向動きベクトルの出現頻度とを比較して、最も出現頻度の減少した前方向動きベクトルを「消える領域」における前方向動きベクトルに設定する。
【選択図】図１

Description

本発明は、原画間の動きベクトルを決定する動きベクトル補正装置、および、動きベクトル補正方法に関し、特に、画像補間装置、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体に関するものである。

２４Ｈｚのフィルム素材を６０Ｈｚや１２０Ｈｚの表示装置に写す場合や、ＩＰ変換等で生成された６０Ｈｚのプログレッシブ信号を１２０Ｈｚの表示装置に写す場合など原画像素材のフレーム数を変更する場合、時間的に連続した複数のフレームから動きベクトルを求め、動きベクトルに基づいて生成した内挿画像により画像信号のフレーム数を変換する技術が一般的に知られている。

図９は入力される６０Ｈｚの原画像と１２０Ｈｚの出力画像との関係を示す図である。例えば、６０Ｈｚのプログレッシブ信号を１２０Ｈｚの表示装置に写す場合、時間ｔ−１における原画像９−１と時間ｔにおける原画像９−２とを用いて、時間的にちょうど半分（中間）の時刻において内挿画像９−３を作成して出力することにより、フレームレートを増やしている。

ここで、２枚の原画像から１枚の内挿画像を生成する一般的なプロセスについて説明する。まず、２枚の画像のうち動きベクトルを求める基準となる原画像を決める。図９における時刻ｔの画像をｆ（ｔ）とすると、ｆ（ｔ−１）とｆ（ｔ）とから内挿画像を生成する場合において、ｆ（ｔ−１）もしくはｆ（ｔ）のいずれかを基準原画像とする。以下では、ｆ（ｔ−１）を基準画像とした場合について説明する。

図１０は、ベクトルを算出するために基準画像をブロックに分割する例を示す図である。図１０に示すとおり、基準画像であるｆ（ｔ−１）は、動きベクトルを算出するための複数のブロックに分割される。図１０における個所１０−１のように、細い線で囲まれた部分は原画像のピクセルを意味し、この例では８ピクセル×８ピクセルの領域ごとに最小ブロック１０−２を定義している。

次に定義された最小ブロックごとにｆ（ｔ−１）とｆ（ｔ）との間の動きベクトルを求める。動きベクトルの求め方としては、ブロックマッチングや勾配法など一般的な方法を用いる。

このようにして基準原画像においては最小ブロックごとにもっとも信頼性の高いと思われる動きベクトルが検出される。通常よく行われる処理としては、このようにして決定された動きベクトルに対して、メディアンフィルタ等のフィルタリングを行い、誤検出を防ぐようにする。

次に、上記のようにして求められた動きベクトルを用いて内挿画像の各座標に対してベクトルの割付処理を行う。割付座標の単位は任意であるが、通常は基準画像のブロック単位より小さな領域が指定される。図１０に示す例では、基準原画像を８ピクセル×８ピクセルで定義したので、例えば４ピクセル×２ピクセルのような小さな領域ごとに、内挿座標に対してベクトルが割り付けられる。

内挿座標へのベクトルの割付について、簡略化のため、水平方向の１次元処理として図１１を用いて説明する。図１１は、内挿座標へのベクトルの割付の例を示す図である。基準原画像ｆ（ｔ−１）の座標ｘについて、矢印１１−１で示す動きベクトルＶｘが求まったとすると、内挿画像を時間ｔ−１と時間ｔのちょうど真ん中に内挿画像を作成する場合、Ｖｘによって算出される内挿座標Ｎ（ｘ）は、Ｎ（ｘ）＝ｘ＋Ｖｘ／２となる。

このとき、Ｎ（ｘ）が含まれる内挿座標の小ブロックに対して、ベクトルＶｘが割付けられる。この処理を基準原画像のすべてのブロックについて実行することで、内挿座標の小ブロック上にベクトルを割り付けていく。結果、内挿座標の各小ブロックについては、ベクトルが複数割付けられたり、全く割付けられなかったりする箇所が発生するが、通常は複数割付けられた場合は、割付けられたベクトルのうち、そのベクトルを用いて計算したｆ（ｔ−１）およびｆ（ｔ）の特定領域との相関が最も高いもので代表する。また全く割付けられなかった場合は、ゼロベクトルで代用する。よく知られている処理としては割付けられたベクトルに対してメディアンフィルタ等のフィルタリング処理を施し、最終ベクトルとする。

最後に、最終的に求められた内挿座標上の割付ベクトルを用いて、ｆ（ｔ−１）もしくはｆ（ｔ）の座標を計算し、片方もしくは両方の画像を用いて内挿画像を生成する。

以上が一般的な内挿画像を作成する処理であるが、さらに動きベクトルの信頼性を向上し、内挿画像におけるアーティファクトを減少させるため双方向ベクトルを導入した処理が提案されている。双方向ベクトルとは、図１１においてｆ（ｔ−１）を基準画像としてｆ（ｔ）の画像を参照して前方向動きベクトルと、ｆ（ｔ）を基準画像としてｆ（ｔ−１）の画像を参照した後方向動きベクトルとの両方向のベクトルのことをいう。

ところで、内挿画像を生成して画像を補間する場合、「消える領域」および「現れる領域」が問題となる。例えば、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との間において物体が移動する場合、物体の移動によって、ｆ（ｔ−１）では物体に隠れていないが、ｆ（ｔ）では物体に隠れている背景の領域を「消える領域」と呼び、ｆ（ｔ−１）では物体に隠れているが、ｆ（ｔ）では物体に隠れていない背景の領域を「現れる領域」と呼ぶ。そのため、「消える領域」の情報（背景領域の画像データ）はｆ（ｔ−１）にのみ存在し、「現れる領域」の情報（背景領域の画像データ）はｆ（ｔ）にのみ存在する。ここで、上述した勾配法やブロックマッチングでは、動きベクトルが存在しないという解が存在せず、計算式上の解（勾配法）または画素相関値の最も小さな領域（すなわち画素相関の高い領域）を解として導く手法である。

したがって、ｆ（ｔ−１）からｆ（ｔ）へ動きベクトルを求めた場合、「消える領域」は対応点がなく、周辺の任意の類似点に向かって動きベクトルが示され、ｆ（ｔ）からｆ（ｔ−１）へ動きベクトルを求めた場合、「現れる領域」は対応点がなく、周辺の任意の類似点に向かってベクトルが示される。

このようにして決定された動きベクトルに基づいて内挿画像を作成する場合、原画像ｆ（ｔ−１）もしくは原画像ｆ（ｔ）のどちらかを使用して内挿画像を作成すると、内挿画像において「消える領域」もしくは「現れる領域」に対応する領域に物体が映し出されてしまう。また、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）の両方を使用して内挿画像を作成する場合、「消える領域」および「現れる領域」の両方に物体が映し出されてしまい、生成される内挿画像の精度は低下するという問題が発生する。

これに対して、「消える領域」、「現れる領域」を考慮して画像を補間する構成は、例えば、特許文献１〜３に開示されている。

また、特許文献４には、１つ前の検出結果（ｆ（ｔ−１）フレームとｆ（ｔ）フレームとの間の検出結果）を候補ベクトルとして用いて動きベクトルの検出を行う技術が開示されている。
特開平８−９３３９（１９９６年１月１２日） 特開平７−３３６６８８（１９９５年１２月２２日） 特開平９−２１４８９９（１９９７年８月１５日） 特開昭６２−２０６９８０（１９８７年９月１１日）

しかしながら、上記従来の構成は、「消える領域」、「現れる領域」を考慮した画像の補間方法ではあるが、内挿画像を精度良く生成することができないという問題が生じる。

特許文献１に記載の構成は、内挿点に割り付けられたベクトルから原画上の競合点を検査し、作画の方向性を決めるものであって、原画上の「消える領域」、「現れる領域」を特定するものではなく、また、内挿座標において「消える領域」、「現れる領域」を特定するものでもない。そして、競合したベクトルのいずれについても片方向からの作画となり、また、正しくベクトル表現が可能な領域に対しても操作が行われてしまう。そのため、原画座標においては正しく検出できた有用なベクトルも「消える領域」上の非有用なベクトルも区別が出来ず、有用なベクトルについても候補ベクトルから外さざるを得ず、ベクトルの検出精度が落ちてしまう結果となり得る。

特許文献２には、原画におけるアンカバー領域（消える領域・現れる領域）を検出する構成が記載されている。特許文献２に記載の構成では、動きベクトルが検出されない領域や動きベクトルが割り付かず予測できない領域を、「消える領域」、「現れる領域」とするものである。このとき、原画における「消える領域」、「現れる領域」は、片方向の動きベクトルによって判定される。そして、近傍点に類似領域が存在するような原画においては、動きベクトルそのものが誤検出され易く、「消える領域」、「現れる領域」を誤抽出してしまう可能性が高い。

例えば、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との間において、同じ形状の柱が等間隔で並んでいるような景色（背景）の中を物体が移動した場合、物体の移動によって柱が誤検出された場合であっても、ｆ（ｔ−１）とｆ（ｔ）との間で異なる柱に向かう動きベクトルが検出されることがあり得る。つまり、ｆ（ｔ−１）とｆ（ｔ）との間において、動きベクトルの始点の柱と終点の柱とが異なる柱であっても、柱の形状は同じであるため、動きベクトルの始点と終点の画素相関値は、「相関あり」を示し、動きベクトルが誤検出されることになる。さらに、動きベクトルの誤検出によって、内挿座標において、２つの動きベクトルが割り付く点も発生する。

この場合、正しい動きベクトルの始点と終点の画素相関値も、誤検出された動きベクトルの始点と終点の画素相関値も、ともに低い値を示すことになり（すなわち、高い相関を示すことになり）、正しい動きベクトルを判別することができず、最終的に内挿座標に割り付けられる動きベクトルは、ノイズ成分や、ベクトル検出精度に依存する位相差に応じて選択されるため、誤選択されることがある。また、本来割り付けるべきでない内挿点に対して動きベクトルが割り付く場合もある。このため、内挿画像に破綻が生じてしまう結果となる。

また、特許文献３に記載の構成は、内挿画像におけるアンカバー領域（消える領域・現れる領域）を、原画におけるアンカバー領域および双方向ベクトルに基づいて予測する構成である。ここで、原画像におけるアンカバー領域は、特許文献２に記載されている方法、すなわち、片方向の動きベクトルのみを使用して判定されるため、類似した領域において、「消える領域」、「現れる領域」を誤抽出してしまうという上述の問題が発生する。

また、特許文献３に記載の構成では、「消える領域」、「現れる領域」の判定を原画座標で行い、その領域を演算処理して、更に内挿座標に移し、内挿点でベクトルを再割付する手法であり複雑になる。さらに、複数の内挿画を作成する場合には、内挿座標ごとに領域計算、再割付の構造が必要となり、構成が複雑化してコストアップの要因となる。

また、特許文献４に記載の構成では、過去に検出した結果を候補ベクトルとして動きベクトルの推定を行う手法が用いられるが、過去画ｆ（ｔ）から未来画ｆ（ｔ＋１）に向かうベクトルにおいては、前回検出、すなわち、ｆ（ｔ−１）とｆ（ｔ）との間の検出の結果、「消える領域」として示されたベクトルの結果は、類似した近傍点に割り付けられたものであり、動きの継続の候補にすべきではない。また、未来画ｆ（ｔ＋１）から過去画ｆ（ｔ）に向かうベクトルにおいては、前回検出ｆ（ｔ）とｆ（ｔ−１）との間の検出の結果、「現れる領域」として示されたベクトルの結果は、類似した近傍点に割り付けられたものであり、動きの継続の候補にすべきではない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、内挿画像の破綻を防止し、精度良く内挿画像を生成するために、信頼性の高い動きベクトルを決定することが可能な動きベクトル補正装置、動きベクトル補正方法、画像補間装置、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体を提供することにある。

本発明に係る動きベクトル補正装置は、第１の時刻における第１の原画像の各ブロックを始点として、上記第１の時刻よりも後の第２の時刻における第２の原画像のいずれかのブロックを終点とする前方向動きベクトルを検出する前方向動きベクトル検出手段と、上記第２の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする後方向動きベクトルを検出する後方向動きベクトル検出手段と、前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該前方向ベクトルの始点を補正対象ブロックと判定する判定手段と、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度と、上記第１の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度とを比較し、最も出現頻度の減少した前方向動きベクトルを、予測動きベクトルとして決定する予測動きベクトル決定手段と、上記補正対象ブロックを始点とする前方向動きベクトルを、上記予測動きベクトルに置き換える補正手段とを備えていることを特徴としている。

上記の構成によれば、前方向動きベクトル検出手段は、第１の時刻における第１の原画像の各ブロックを始点として、上記第１の時刻よりも後の第２の時刻における第２の原画像のいずれかのブロックを終点とする前方向動きベクトルを検出する。そして、後方向動きベクトル検出手段は、上記第２の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする後方向動きベクトルを検出する。

また、上記の構成によれば、判定手段は、前方向動きベクトルの始点と、当該前方向動きベクトルの終点のブロックを始点とする後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該前方向ベクトルの始点を補正対象ブロックと判定する。

第１の原画像における領域が第２の原画像にも存在する場合、前方向動きベクトルの始点と、当該前方向動きベクトルの終点のブロックを始点とする後方向動きベクトルの終点とは略一致するが、反対に、略一致しない場合、第１の原画像において存在する領域が、第２の原画像において存在していないことになる。つまり、判定手段によって、補正対象ブロックとして、第１の原画像における「消える領域」（すなわち、移動する物体などの背後に隠れる領域）が検出される。なお、所定の閾値としては、例えば、動きベクトルの検出精度に応じてブロック数が予め設定される構成であってよく、特に限定されない。

また、上記の構成によれば、予測動きベクトル決定手段は、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度と、上記第１の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度とを比較し、最も出現頻度の減少した前方向動きベクトルを、予測動きベクトルとして決定する。そして、補正手段は、補正対象ブロックにおける前方向動きベクトルを予測動きベクトルに置き換える。

例えば、予測動きベクトル決定手段は、第１の原画像における補正対象ブロックを中心とする一定領域において検出された動きベクトルのヒストグラムデータと、第３の原画像において、第１の原画像における補正対象ブロックに対応するブロック（すなわち、第１の原画像における補正対象ブロックと同一の座標）を中心とする一定領域において検出された動きベクトルのヒストグラムデータとから、最も出現頻度の減少した前方向動きベクトルを予測動きベクトルとして検出する。「消える領域」は、例えば物体の移動によって消える背景領域であり、本来背景領域の動きを示す前方向ベクトルが検出されるべきである。そして、「消える領域」周辺では、背景領域の前方向動きベクトルは時間の経過に伴って減少することになるため、「消える領域」周辺において減少する前方向動きベクトルを検出して、「消える領域」において誤検出された動きベクトルに置き換えることにより、過去画（内挿する画像に対して過去の時刻の原画）における動きベクトルを補正する。

これにより、本発明に係る動きベクトル補正装置では、「消える領域」において誤検出された動きベクトルを、より信頼性の高い動きベクトルに補正することができる。したがって、原画において「消える領域」が含まれている場合において、内挿画像の精度を向上させることが可能となる。

本発明に係る動きベクトル補正方法は、第１の時刻における第１の原画像の各ブロックを始点として、上記第１の時刻よりも後の第２の時刻における第２の原画像のいずれかのブロックを終点とする前方向動きベクトルを検出する前方向動きベクトル検出ステップと、上記第２の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする後方向動きベクトルを検出する後方向動きベクトル検出ステップと、前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該前方向ベクトルの始点を補正対象ブロックと判定する判定ステップと、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度と、上記第１の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度とを比較し、最も出現頻度の減少した前方向動きベクトルを、予測動きベクトルとして決定する予測動きベクトル決定ステップと、上記補正対象ブロックを始点とする前方向動きベクトルを、上記予測動きベクトルに置き換える補正ステップとを含んでいることを特徴としている。

上記の構成によれば、本発明に係る動きベクトル補正装置と同様の作用効果を奏する。

本発明に係る動きベクトル補正装置は、第１の時刻における第１の原画像の各ブロックを始点として、上記第１の時刻よりも後の第２の時刻における第２の原画像のいずれかのブロックを終点とする前方向動きベクトルを検出する前方向動きベクトル検出手段と、上記第２の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする後方向動きベクトルを検出する後方向動きベクトル検出手段と、後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該後方向ベクトルの始点を補正対象ブロックと判定する判定手段と、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度と、上記第１の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度とを比較し、最も出現頻度の増加した前方向動きベクトルの逆ベクトルを、予測動きベクトルとして決定する予測動きベクトル決定手段と、上記補正対象ブロックを始点とする後方向動きベクトルを、上記予測動きベクトルに置き換える補正手段とを備えていることを特徴としている。

上記の構成によれば、前方向動きベクトル検出手段は、第１の時刻における第１の原画像の各ブロックを始点として、上記第１の時刻よりも後の第２の時刻における第２の原画像のいずれかのブロックを終点とする前方向動きベクトルを検出する。そして、後方向動きベクトル検出手段は、上記第２の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする後方向動きベクトルを検出する。

また、上記の構成によれば、判定手段は、後方向動きベクトルの始点と、当該後方向動きベクトルの終点のブロックを始点とする前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該後方向ベクトルの始点を補正対象ブロックと判定する。

第２の原画像における領域が第１の原画像にも存在する場合、後方向動きベクトルの始点と、当該後方向動きベクトルの終点のブロックを始点とする前方向動きベクトルの終点とは略一致するが、反対に、略一致しない場合、第２の原画像において存在する領域が、第１の原画像において存在していないことになる。つまり、判定手段によって、補正対象ブロックとして、第２の原画像における「現れる領域」（すなわち、移動する物体などの背後から出てくる領域）が検出される。なお、所定の閾値としては、例えば、動きベクトルの検出精度に応じてブロック数が予め設定される構成であってよく、特に限定されない。

また、上記の構成によれば、予測動きベクトル決定手段は、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度と、上記第１の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度とを比較し、最も出現頻度の増加した前方向動きベクトルの逆ベクトルを、予測動きベクトルとして決定する。そして、補正手段は、補正対象ブロックにおける前方向動きベクトルを予測動きベクトルに置き換える。

例えば、予測動きベクトル決定手段は、第１の原画像における補正対象ブロックを中心とする一定領域において検出された動きベクトルのヒストグラムデータと、第３の原画像において、第１の原画像における補正対象ブロックに対応するブロック（すなわち、第１の原画像における補正対象ブロックと同一の座標）を中心とする一定領域において検出された動きベクトルのヒストグラムデータとから、最も出現頻度の増加した前方向動きベクトルの逆ベクトルを予測動きベクトルとして検出する。「現れる領域」は、例えば物体の移動によって現れる背景領域であり、本来背景領域の動きを示す後方向ベクトルが検出されるべきである。そして、「現れる領域」周辺では、背景領域の前方向動きベクトルは時間の経過に伴って増加することになるため、「現れる領域」周辺において増加する前方向動きベクトルを検出し、その逆ベクトルである後方向動きベクトルを、「現れる領域」において誤検出された動きベクトルに置き換えることにより、未来画（内挿する画像に対して未来の時刻の原画）における動きベクトルを補正する。

これにより、本発明に係る動きベクトル補正装置では、「現れる領域」において誤検出された動きベクトルを、より信頼性の高い動きベクトルに補正することができる。したがって、原画において「現れる領域」が含まれている場合において、内挿画像の精度を向上させることが可能となる。

本発明に係る動きベクトル補正方法は、第１の時刻における第１の原画像の各ブロックを始点として、上記第１の時刻よりも後の第２の時刻における第２の原画像のいずれかのブロックを終点とする前方向動きベクトルを検出する前方向動きベクトル検出ステップと、上記第２の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする後方向動きベクトルを検出する後方向動きベクトル検出ステップと、後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該後方向ベクトルの始点を補正対象ブロックと判定する判定ステップと、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度と、上記第１の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度とを比較し、最も出現頻度の増加した前方向動きベクトルの逆ベクトルを、予測動きベクトルとして決定する予測動きベクトル決定ステップと、上記補正対象ブロックを始点とする後方向動きベクトルを、上記予測動きベクトルに置き換える補正ステップとを含んでいることを特徴としている。

上記の構成によれば、本発明に係る動きベクトル補正装置と同様の作用効果を奏する。

本発明に係る画像補間装置では、上記判定手段は、上記第３の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする前方向動きベクトルと、上記第１の原画像の各ブロックを始点として、上記第３の原画像のいずれかのブロックを終点とする後方向動きベクトルとから、上記第３の原画像における上記補正対象ブロックを判定し、上記前方向動きベクトル検出手段は、上記第３の原画像における上記補正対象ブロックを始点とする前方向動きベクトル以外を、上記第１の原画像における前方向動きベクトルを推定するための候補ベクトルとして用いることが好ましい。

上記の構成によれば、判定手段は、第３の原画像において補正対象ブロック、すなわち、第３の原画像における「消える領域」を判別し、前方向動きベクトル検出手段は、第３の原画像の「消える領域」における前方向動きベクトルを、第１の原画像における前方向動きベクトルを検出するための候補ベクトルとして用いない。つまり、ある時刻における原画像の前方向動きベクトルを検出する場合、１つ前の時刻における原画像の「消える領域」を始点とする前方向動きベクトルを、候補ベクトルとして用いない。

これにより、候補ベクトルを利用して、第１の原画像（現在の原画像）における前方向動きベクトルを検出する場合、第３の原画像（前回の原画像）の「消える領域」において誤検出された前方向動きベクトルが候補ベクトルとして用いられないため、第１の原画像における前方向動きベクトルの検出精度を向上させることが可能となる。

本発明に係る画像補間装置では、上記判定手段は、上記第３の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする前方向動きベクトルと、上記第１の原画像の各ブロックを始点として、上記第３の原画像のいずれかのブロックを終点とする後方向動きベクトルとから、上記第１の原画像における上記補正対象ブロックを判定し、上記後方向動きベクトル検出手段は、上記第１の原画像における上記補正対象ブロックを始点とする後方向動きベクトル以外を、上記第２の原画像における後方向動きベクトルを推定するための候補ベクトルとして用いることが好ましい。

上記の構成によれば、判定手段は、第１の原画像において補正対象ブロック、すなわち、第１の原画像における「現れる領域」を判別し、後方向動きベクトル検出手段は、第１の原画像の「現れる領域」における後方向動きベクトルを、第２の原画像における後方向動きベクトルを検出するための候補ベクトルとして用いない。つまり、ある時刻における原画像の後方向動きベクトルを検出する場合、１つ前の時刻における原画像の「現れる領域」を始点とする後方向動きベクトルを、候補ベクトルとして用いない。

これにより、候補ベクトルを利用して、第２の原画像（現在の原画像）における後方向動きベクトルを検出する場合、第１の原画像（前回の原画像）の「現れる領域」において誤検出された後方向動きベクトルが候補ベクトルとして用いられないため、第２の原画像における後方向動きベクトルの検出精度を向上させることが可能となる。

本発明に係る画像補間装置は、動きベクトル補正装置を備え、上記補正対象ブロックを始点とする予測動きベクトルと、上記補正対象ブロック以外のブロックを始点とする前方向動きベクトルまたは後方向動きベクトルとを用いて、上記第１の原画像と上記第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける内挿ベクトルを決定する内挿ベクトル決定手段と、上記内挿ベクトル決定手段によって決定された内挿ベクトルに基づいて、上記内挿画像を生成する内挿画像生成手段とを備えていることを特徴としている。

上記の構成によれば、本発明に係る画像補間装置は、内挿画像の各ブロックに割り付ける内挿ベクトルとして、上記動きベクトル補正装置によって決定された予測動きベクトルを選択することが可能となる。

これにより、本発明に係る画像補間装置は、原画において「消える領域」、「現れる領域」が含まれている場合、動きベクトルの信頼性を向上させることができるため、精度良く内挿画像を生成することが可能となる。

本発明に係る画像補間装置では、上記内挿ベクトル決定手段は、上記補正対象ブロックを始点とする予測動きベクトルと、上記補正対象ブロック以外のブロックを始点とする前方向動きベクトルまたは後方向動きベクトルとの両方が上記内挿画像の同一のブロックに割り付く場合、上記補正対象ブロック以外のブロックを始点とする前方向動きベクトルまたは後方向動きベクトルを当該ブロックに割り付ける内挿ベクトルと決定することが好ましい。

上記の構成によれば、内挿画像のブロックにおいて、原画像において正しく検出された「消える領域」、「現れる領域」以外の領域を始点とする動きベクトルと、上記動きベクトル補正装置によって予測される予測動きベクトルを用いて補正した「消える領域」、「現れる領域」を始点とする動きベクトルとが競合した場合には、上記動きベクトル補正装置によって予測された動きベクトルではなく、原画において正確に検出された動きベクトルが内挿画像のブロックに割り付けられる。

これにより、内挿画像の各ブロックには、より確実性の高い動きベクトルが優先的に割り付けられるため、内挿画像の精度をより一層向上させることができる。

また、本発明に係るテレビジョン受像装置は、上記画像補間装置を備えていることが好ましい。

また、本発明に係る映像再生装置は、上記画像補間装置を備えていることが好ましい。

なお、画像補間装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記画像補間装置をコンピュータにおいて実現する制御プログラム、およびその制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明に係る動きベクトル補正装置は、第１の時刻における第１の原画像の各ブロックを始点として、上記第１の時刻よりも後の第２の時刻における第２の原画像のいずれかのブロックを終点とする前方向動きベクトルを検出する前方向動きベクトル検出手段と、上記第２の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする後方向動きベクトルを検出する後方向動きベクトル検出手段と、前方向動きベクトルの始点と、当該前方向動きベクトルの終点のブロックを始点とする後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該前方向ベクトルの始点を補正対象ブロックと判定する判定手段と、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度と、上記第１の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度とを比較し、最も出現頻度の減少した前方向動きベクトルを、予測動きベクトルとして決定する予測動きベクトル決定手段と、上記補正対象ブロックにおける前方向動きベクトルを、上記予測動きベクトルに置き換える補正手段とを備えていることを特徴としている。

また、本発明に係る動きベクトル補正装置は、第１の時刻における第１の原画像の各ブロックを始点として、上記第１の時刻よりも後の第２の時刻における第２の原画像のいずれかのブロックを終点とする前方向動きベクトルを検出する前方向動きベクトル検出手段と、上記第２の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする後方向動きベクトルを検出する後方向動きベクトル検出手段と、後方向動きベクトルの始点と、当該後方向動きベクトルの終点のブロックを始点とする前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該後方向ベクトルの始点を補正対象ブロックと判定する判定手段と、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度と、上記第１の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度とを比較し、最も出現頻度の増加した前方向動きベクトルの逆ベクトルを、予測動きベクトルとして決定する予測動きベクトル決定手段と、上記補正対象ブロックにおける後方向動きベクトルを、上記予測動きベクトルに置き換える補正手段とを備えていることを特徴としている。

それゆえ、本発明に係る動きベクトル補正装置では、「消える領域」、「現れる領域」において誤検出された動きベクトルを、より信頼性の高い動きベクトルに補正することができるため、原画において「消える領域」、「現れる領域」が含まれている場合において、内挿画像の精度を向上させることが可能となる。

〔実施の形態１〕
（画像補間装置１の概要）
図１は、本発明に係る画像補間装置１の構成を示すブロック図である。本発明に係る画像補間装置１は、遅延部２と動きベクトル検出部３（後方向動きベクトル検出部）および動きベクトル検出部４（前方向動きベクトル検出部）と状態記録部５と統計データ処理部６と双方向ベクトル比較部７（判定手段）とベクトル補正部８（予測動きベクトル決定手段、補正手段）とベクトル割付部９と作画部１０とを備えている。

なお、動きベクトル補正装置１００は、動きベクトル検出部３（後方向動きベクトル検出部）および動きベクトル検出部４（前方向動きベクトル検出部）と双方向ベクトル比較部７（判定手段）とベクトル補正部８（予測動きベクトル決定手段、補正手段）とを含んで構成されている。本実施の形態では、動きベクトル補正装置１００は、画像補間装置１に一体的に備えられており、ベクトル割付部９や作画部１０と共に画像補間装置１を形成している。

画像補間装置１は、外部から入力される映像信号に含まれる時刻ｔにおける原画像ｆ（ｔ）（第２の原画像、未来画）と、１つ前の時刻ｔ−１における原画像ｆ（ｔ−１）（第１の原画像、過去画）とから、内挿画像を生成する。画像補間装置１では、外部からの映像信号は、遅延部２、および、作画部１０に入力される。以下では、外部から時刻ｔにおける原画像ｆ（ｔ）を表す映像信号が入力されたときの処理について説明する。

遅延部２は、入力された外部からの映像信号を遅延させて、作画部１０に供給する。外部から原画像ｆ（ｔ）を表す映像信号が入力されるタイミングにおいて、遅延部２は、原画像ｆ（ｔ−１）を表す映像信号を出力する。遅延部２は、例えば、ＤＤＲなどのメモリによって構成される。

動きベクトル検出部３および４は、それぞれ原画像ｆ（ｔ）および原画像ｆ（ｔ−１）を基準画像として、双方向の動きベクトルを算出する。また、動きベクトル検出部３，４は、図２に示すように、原画像を複数のピクセルから成る複数のブロックに分割し、ブロック単位で動きベクトルを検出する。動きベクトル検出部３，４は、ブロックマッチングや勾配法によって動きベクトルを算出するが、動きベクトルは他の方法によって算出されてもよい。動きベクトル検出部３，４は、検出した動きベクトルを、双方向ベクトル比較部７および統計データ処理部６に出力する。

双方向ベクトル比較部７は、動きベクトル検出部３，４において検出された動きベクトルを比較し、比較結果に基づいて、「現れる領域」および「消える領域」（補正対象ブロック）を特定する。そして、双方向ベクトル比較部７は、動きベクトル検出部３，４において検出された動きベクトルと共に、「現れる領域」、「消える領域」を特定する情報を動きベクトル補正部８および統計データ処理部６に出力する。

統計データ処理部６は、動きベクトル検出部３，４からの動きベクトルの情報および双方向ベクトル比較部７からの「現れる領域」、「消える領域」を特定する情報を統計処理し、動きベクトルの統計データ（例えば、ヒストグラム）を算出し、状態記録部５に出力する。

動きベクトル補正部８は、動きベクトル検出部３，４において検出された動きベクトルのうち、「現れる領域」、「消える領域」において検出された動きベクトルを補正し、補正後の動きベクトルをベクトル割付部９に出力する。このとき、動きベクトル補正部８は、状態記録部５から統計データを読み出し、読み出した統計データに基づいて、「現れる領域」、「消える領域」における新たな動きベクトル（予測動きベクトル）を決定する。

ベクトル割付部９は、動きベクトル補正部８からの補正後の動きベクトルを、内挿画像の各座標に割り付け、動きベクトルの割付情報を作画部１０に出力する。割付座標の単位は任意であるが、本実施の形態では、基準画像のブロック単位より小さな領域が指定される。ベクトル割付部９は、内挿座標において複数の動きベクトルが競合する場合、補正後の動きベクトルに設定されている優先度に従って、内挿座標に割り付ける動きベクトルを決定する。

なお、上述した補正後の動きベクトルに設定された優先度だけでは競合が解消されない場合、ベクトル割付部９は、競合している動きベクトルのうち、最適な動きベクトルを選択する。最適な動きベクトルを決定する方法としては、内挿座標に割り付けられた動きベクトルによって指定される原画像ｆ（ｔ）と原画像ｆ（ｔ−１）の特定領域の相関が最も高いもので代表する。相関を表すデータ（相関値）の算出には、一般的に、輝度データが用いられるが、ＲＧＢのデータを使用してもよいし、ＹＵＶのデータを使用してもよい。相関値としては、対応する画素ごとに差分の絶対値を計算し加算した結果であるＳＡＤ（絶対差和）や対応する画素ごとに差分の絶対値を計算し加算した結果であるＤＦＤ（差の２乗和）などを算出する。また、ベクトル割付部９は、動きベクトルが未割付の内挿座標においては、ゼロベクトルを割り付ける。さらに、ベクトル割付部９は、メディアンフィルタなどによるフィルタ処理を行い、内挿画像の各座標に動きベクトルを割り付ける。そして、ベクトル割付部９は、内挿座標に割り付けられた動きベクトルの情報を、作画部１０に出力する。

そして、作画部１０は、ベクトル割付部９からの動きベクトルの割付情報に基づいて、原画像の映像信号から、内挿画像の各座標における映像信号を読み出し、内挿画像を生成する。

（画像補間処理）
はじめに、本願発明に係る画像補間装置１における画像補間処理のうち、一般的な画像補間処理と同様の処理内容について説明する。

（１）動きベクトルの検出
図２は、小物体Ａが移動する映像の原画像を示す図であり、（ａ）は時刻ｔ−１における原画像ｆ（ｔ−１）を示す図であり、（ｂ）は時刻ｔにおける原画像ｆ（ｔ）を示す図である。図２に示す例では、時刻ｔと時刻ｔ−１の間の内挿画像を生成する。時刻ｔ−１は、時刻ｔの１つ前の時刻であり、原画像ｆ（ｔ−１）は内挿画像に対して過去の画像となり、原画像ｆ（ｔ）は内挿画像に対して未来の画像となる。

図２（ａ）に示すとおり、原画像ｆ（ｔ−１）において、個所２−１のように細い線で囲まれた部分は、１ピクセル（画素）を表しており、８×８ピクセルの画素群ごとに検出ブロック２−２〜２−７を構成している。同様に、図２（ｂ）に示すとおり、原画像ｆ（ｔ）においても、８×８ピクセルの画素群ごとに検出ブロック２−９〜２−１３を構成している。原画像ｆ（ｔ−１）およびｆ（ｔ）における白抜きの画素群は、移動する小物体Ａを表している。また、図２（ａ）および（ｂ）において、斜線等によって示される領域は、小物体Ａの背景領域を表している。図２（ａ）および（ｂ）において、同一の線種によって示されている領域は、同じ背景領域を表している。また、図２（ａ）の矢印２−７は、小物体Ａの動きベクトルを示しており、矢印２−８は、背景領域の動きベクトルを示している。

図３は、内挿画像の作画処理を説明するための図であって、図２（ａ）および（ｂ）に示す原画像と内挿画像を、小物体Ａの動き方向の断面をとって一次元表示した図である。図３では、過去画ｆ（ｔ−１）と未来画ｆ（ｔ）とを動きベクトルで対応付けて示している。動きベクトルは、ｆ（ｔ−１）とｆ（ｔ）との間で、検出ブロックごとに検出される。動きベクトルの求め方としては、ブロックマッチングや勾配法など一般的な方法を用いる。

動きベクトルの検出においては、「消える領域」、「現れる領域」が問題となる。例えば、検出ブロック３−５に示されている背景領域の画像は、未来画においては、小物体によって隠れてしまう「消える領域」である。つまり、原画像ｆ（ｔ−１）の検出ブロック３−５に示されている背景画像は、原画像ｆ（ｔ）では、移動してきた小物体によって隠れてしまっている。そのため、検出ブロック３−５については、正しい動きベクトルを検出することはできない。しかしながら、解が存在しないとする検出方法はない。したがって、検出ブロック３−５については、ｆ（ｔ）において検出ブロック３−５と類似する領域を示す動きベクトルが検出されることになる。

そして、本願発明に係る画像補間装置１は、「消える領域」、「現れる領域」における動きベクトルを判別し（すなわち、「消える領域」、「現れる領域」を検出し）、「消える領域」、「現れる領域」において検出された動きベクトルを、統計データに基づいて補正する。

（２）動きベクトルの割り付け
以下に、内挿座標への動きベクトルの割り付けについて説明する。本願発明に係る画像補間装置１は、上述のとおり、「消える領域」、「現れる領域」において検出された動きベクトルを、統計データに基づいて補正したうえで、内挿座標への動きベクトルの割付処理を行う。

図３では、原画像ｆ（ｔ−１）を基準として原画像ｆ（ｔ）に対して検出された動きベクトルが内挿座標に割り付けられる様子が示されている。図３に示す例では、動きベクトルは、過去画ｆ（ｔ−１）から未来画ｆ（ｔ）に対して求められており、理想的に求まったものとして示している。図３において、実線の矢印は、原画において検出された動きベクトルであって、内挿ブロックにおいて割り付けられた動きベクトルを示しており、破線の矢印は、原画において検出された動きベクトルであって、内挿ブロックにおける競合により割り付けられなかった動きベクトルを示しており、一点鎖線の矢印は、原画において検出されない動きベクトルであって、予め定められた条件にしたがって内挿ブロックに割り付けられた動きベクトルを示している。

図３において、原画像ｆ（ｔ−１）は、検出ブロック３−１〜３−５を含んでおり、原画像ｆ（ｔ）は、検出ブロック３−６〜３−１０を含んでいる。図３の検出ブロック３−１〜３−５は、図２（ａ）の検出ブロック２−２〜２−６に対応しており、図３の検出ブロック３−６〜３−１０は、図２（ｂ）の検出ブロック２−９〜２−１３に対応している。

また、図３に示す例では、内挿画像ｆｉ（ｔ−１）は、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との中間点において作成される。また、内挿画像ｆｉ（ｔ−１）は、内挿ブロック３−１１〜３−２０を含んでいる。内挿ブロック３−１１〜３−２０には、基準となる原画像において検出された動きベクトルが割り付けられる。内挿ブロックは、検出ブロックよりも小さい領域であり、検出ブロックよりも少ない画素で構成されている。

図３に示す例では、検出ブロック３−１における動きベクトルとして、背景画像の動きを示すベクトルが検出される。そして、検出ブロック３−１において検出された動きベクトルは、内挿ブロック３−１１に割り付けられ、ベクトル３−２１として示されている。以下では、内挿ブロックに割り付けられた動きベクトルを内挿ベクトルと呼ぶ。

また、検出ブロック３−２における動きベクトルとして、小物体の動きを示すベクトルが検出される。そして、検出ブロック３−２において検出された動きベクトルは、内挿ブロック３−１５、３−１６に割り付けられ、内挿ベクトル３−３２、３−３３として示されている。

また、検出ブロック３−３における動きベクトルとして、背景の動きを示すベクトルが検出される。そして、検出ブロック３−３において検出された動きベクトルは、内挿ブロック３−１４、３−１５に割り付けられ、内挿ベクトル３−２３、３−２８として示されている。ここで、内挿ブロック３−１５において、物体の動きを示すベクトル３−３２と背景の動きを示すベクトル３−２８とが競合するが、最終的に作画に用いられる動きベクトルは１つである。したがって、ベクトルの競合が発生した場合に作画に用られる動きベクトルを決定するための条件が予め定められ、その条件にしたがって、最終的に１つの動きベクトルを決定することになる。図３に示す例では、内挿ブロック３−１５には、予め定められた条件にしたがって、小物体の動きを示すベクトル３−３２が割り付けられるものとする。

また、検出ブロック３−４における動きベクトルとして、背景の動きを示すベクトルが検出される。そして、検出ブロック３−４において検出された動きベクトルは、内挿ブロック３−１６、３−１７に割り付けられ、内挿ベクトル３−２９、３−３４として示されている。ここで、内挿ブロック３−１６において、物体の動きを示すベクトル３−３３と背景の動きを示すベクトル３−２９とが競合する。図３に示す例では、内挿ブロック３−１６には、予め定められた条件にしたがって、小物体の動きを示すベクトル３−３３が割り付けられるものとする。

なお、図３は、内挿ブロック３−１２、３−１３、３−１８、３−１９には、割り付くベクトルが存在しない例として示している。一般的に、内挿点に割り付けられるベクトルが存在しない場合、作画は不可能になってしまう。そのため、動きベクトルの割付処理においては、より広い範囲の内挿ブロックに割り付くようなベクトル割付の条件が予め設定されている。それでも割り付かない場合には、ゼロベクトルを割り付けてもよいし、周辺の内挿ブロックに割り付けられているベクトルの平均値を用いてもよい。

図３に示す例では、動きベクトルが割り付けられなかった内挿ブロック（未割付けブロック）に対して、未割付けブロックに隣接する内挿ブロックに割り付けられた内挿ベクトルを割り付ける。これにより、図３に示す例では、内挿ブロック３−１２、３−１３、３−１８、３−１９に対して、それぞれ、隣接する内挿ブロック３−１１、３−１４、３−１７、３−２０に割り付けられているとベクトルと同じベクトルが割り付けられる。内挿ブロック３−１２、３−１３、３−１８、３−１９に割り付けられるベクトルは、それぞれ、内挿ベクトル３−２６、３−２７、３−３０、３−３１として示されている。

（３）内挿画像の作画
次に、内挿ベクトルを用いた内挿画像の作画方法について説明する。内挿画像を作画する方法としては、過去画ｆ（ｔ−１）もしくは未来画ｆ（ｔ）のいずれか片側から作画する方法と、過去画および未来画の双方から作画する方法とがある。

片側から作画する方法について説明すれば、次のとおりである。図２（ａ）において、図面左上の座標を（０，０）、図面右方向をｘ座標の正の方向、図面下方向をｙ座標の正の方向とし、過去画ｆ（ｔ−１）における座標（ｘ，ｙ）の画素値をＰｐ（ｘ，ｙ）、未来画ｆ（ｔ）における座標（ｘ，ｙ）の画素値をＰｆ（ｘ，ｙ）と表す。また、内挿画ｆｉ（ｔ−１）において、座標（ｘ，ｙ）に割り付いている動きベクトルを（Ｖｘ，Ｖｙ）、座標（ｘ，ｙ）の画素値をＰ（ｘ，ｙ）とする。ここで、内挿画ｆｉ（ｔ−１）は、過去画ｆ（ｔ−１）と未来画ｆ（ｔ）との中間（１／２の位置）に作画されるものとする。

このとき、過去画ｆ（ｔ−１）のみから内挿画ｆｉ（ｔ−１）を作画する場合、
Ｐ（ｘ，ｙ）＝Ｐｐ（ｘ−Ｖｘ×１／２，ｙ−Ｖｙ×１／２）
となる。また、未来画ｆ（ｔ）のみから内挿画ｆｉ（ｔ−１）を作画する場合、
Ｐ（ｘ，ｙ）＝Ｐｆ（ｘ＋Ｖｘ×１／２，ｙ＋Ｖｙ×１／２）
となる。さらに、過去画ｆ（ｔ−１）および未来画ｆ（ｔ）の双方向から作画する場合、
Ｐ（ｘ，ｙ）＝α×Ｐｐ（ｘ−Ｖｘ×１／２，ｙ−Ｖｙ×１／２）＋（１−α）×Ｐｆ（ｘ＋Ｖｘ×１／２，ｙ＋Ｖｙ×１／２）
となる。

ここで、Ｐｐ（ｘ−Ｖｘ×１／２，ｙ−Ｖｙ×１／２）、Ｐｆ（ｘ＋Ｖｘ×１／２，ｙ＋Ｖｙ×１／２）は、単一画素を示すのではなく、過去画、未来画を代表する値を意味する。例えば、ベクトルが少数値を示す場合などにおいては、原画像をリニア補間した値やガウシアンフィルタによりフィルタリングされた値などを意味する。また、αは過去画および未来画の混合比率であり、ブレンド率と呼ばれる。αの値としては、１／２に固定してもよいし、内挿画の時間的内分点の比率によって変動させてもよい。

さらに動きベクトルの信頼性を向上し、内挿画像におけるアーティファクトを減少させるため、双方向ベクトルを用いて作画する構成であってもよい。双方向ベクトルとは、ｆ（ｔ−１）を基準画像としてｆ（ｔ）の画像を参照することで前方向動きベクトルを求めるだけでなく、ｆ（ｔ）を基準画像としてｆ（ｔ−１）の画像を参照することで後方向動きベクトルを求めた、両方向のベクトルのことである。例えば、内挿座標に対して、前方向動きベクトルのみを割付けたものと、後方向動きベクトルのみを割付けたものを用意し、それぞれ割付けられたベクトルをもとにｆ（ｔ−１）とｆ（ｔ）の特定領域に対する画像の相関が高いベクトルを最終ベクトルとして決定することで、ベクトルの信頼性を向上させることが可能となる。

（消える領域・現れる領域の問題点）
上述したとおり、動きベクトルの検出においては、「消える領域」、「現れる領域」に起因して発生する動きベクトルの誤検出により、内挿画像が破綻してしまうという問題がある。特に、近接して存在する複数の類似した景色を背景にして物体が移動する原画像において、従来技術の方法では、「消える領域」、「現れる領域」を正確に検出することは困難であり、誤検出された動きベクトルに基づいて生成される内挿画像の精度は著しく低下する。

「消える領域」、「現れる領域」により、内挿画像が破綻してしまう例について、図４を用いて、より詳細に説明する。図４は、等間隔で並ぶ同じ形状の複数の柱を背景にして物体が移動する様子を示す図であり、（ａ）は、時刻ｔ−１における原画像ｆ（ｔ−１）と時刻ｔにおける原画像ｆ（ｔ）とを示す図であり、（ｂ）は、（ａ）に示す原画像から生成された内挿画像を示す図である。図４（ａ）には、物体の動きを表す動きベクトルＶａと、２本の柱の間の空間の動きを表す動きベクトルＶｂおよびＶｃが示されている。動きベクトルＶｂおよびＶｃの始点は、原画像ｆ（ｔ−１）において異なる背景領域だが、いずれの動きベクトルの終点も、原画像ｆ（ｔ）において同一の背景領域を指し示している。

図４（ａ）に示す例では、動きベクトルＶｃの始点と終点とは、異なる背景を示しているが、非常に類似しているため画素相関値が「相関あり」を示し、誤検出されている。そして、この誤検出された動きベクトルに基づいて内挿画像を生成した場合、図４（ｂ）に示すように、柱が消えて表示され、内挿画像が破綻してしまうことになる。

そこで、本願発明に係る画像補間装置１では、「消える領域」、「現れる領域」において検出された動きベクトルをより正確に判別し、当該動きベクトルを統計データに基づいて補正する。以下では、画像補間装置１の特徴的構成について、図５〜８を用いて詳細に説明する。

（消える領域の検出およびベクトルの補正）
以下では、本発明に係る画像補間装置１における「消える領域」の検出および動きベクトルの補正について詳細に説明する。

はじめに、「消える領域」の検出について説明する。図５は、「消える領域」の検出および動きベクトルの補正について説明するための図であって、原画像ｆ（ｔ−１）およびｆ（ｔ）において検出した双方向の動きベクトルを示す図である。図５は、図４（ａ）に示す複数の柱を背景にして物体が移動する様子を示す画像を、物体の動き方向の断面をとって１次元表示したものである。図５に示す原画像ｆ（ｔ−１）およびｆ（ｔ）は、それぞれ、図４（ａ）に示す原画像ｆ（ｔ−１）およびｆ（ｔ）に対応している。また、図５では、原画像ｆ（ｔ−１）の１つ前の原画像ｆ（ｔ−２）（第３の原画像）も示されている。

図５において、原画像ｆ（ｔ−１）は、検出ブロック５−１４〜５―２６に分割されている。検出ブロック５−１４〜５−１９は、図４（ａ）に示す移動する物体を表す領域であり、検出ブロック５−２０、５−２３、および、５−２４は、図４（ａ）に示す柱の間を表す領域であり、検出ブロック５−２１、５−２２、５−２５、および、５−２６は、図４（ａ）に示す柱を表す領域である。同様に、原画像ｆ（ｔ）は、検出ブロック５−２７〜５−３９に分割されている。検出ブロック５−２７〜５−３６は、移動する物体を表す領域であり、検出ブロック５−３７は、柱の間を表す領域であり、検出ブロック５−３８および５−３９は、柱を表す領域である。

図５では、原画像ｆ（ｔ−１）および原画像ｆ（ｔ）のそれぞれを基準として互いの原画像に対して検出された対向する動きベクトル（双方向ベクトル）が示されている。また、図５では、原画像ｆ（ｔ−２）を基準として原画像ｆ（ｔ−１）に対して検出された動きベクトルが示されている。

本発明に係る画像補間装置１では、動きベクトル検出部４は、図５に示すように、原画像ｆ（ｔ−１）を基準画像として、原画像ｆ（ｔ）に対する動きベクトルを検出する。つまり、過去画ｆ（ｔ−１）の各検出ブロックを始点とし、未来画ｆ（ｔ）のいずれかの検出ブロックを終点とする前方向動きベクトルが検出される。また、画像補間装置１では、動きベクトル検出部３は、図５に示すように、原画像ｆ（ｔ）を基準画像として、原画像ｆ（ｔ−１）に対する動きベクトルを検出する。つまり、未来画ｆ（ｔ）の各検出ブロックを始点とし、過去画ｆ（ｔ−１）のいずれかの検出ブロックを終点とする後方向動きベクトルが算出される。そして、双方向ベクトル比較部７は、検出ブロックごとに、動きベクトル検出部３，４において検出された双方向の動きベクトルを比較する。

双方向ベクトル比較部７は、動きベクトル検出部４において検出された原画像ｆ（ｔ−１）の各検出ブロックを始点とする前方向動きベクトルについて、各前方向動きベクトルの終点となる原画像ｆ（ｔ）の検出ブロックを始点とする後方向動きベクトルと比較し、それらの対向する前方向動きベクトルと後方向動きベクトルとが、大きさが等しい逆向きのベクトルであるか否かを判定する。つまり、前方向動きベクトルの終点のブロックを始点とする後方向動きベクトルの終点が、当該前方向動きベクトルの始点と一致するか否かを判定する。

なお、双方向ベクトル比較部７における対向する前方向動きベクトルと後方向動きベクトルとが等しいか否かの判定処理は、動きベクトルの検出精度を考慮して幅をもたせてもよい。つまり、前方向動きベクトルの始点と、当該前方向動きベクトルの終点のブロックを始点とする後方向動きベクトルの終点との間隔が、所定の閾値よりも大きいか否か（予め定められた範囲内にあるか否か）を判定し、所定の閾値よりも大きい場合には「消える領域」と判定する構成であってもよい。ここで、所定の閾値（予め定められた範囲）としては、動きベクトルの検出精度に応じたブロック数を設定可能な構成であってよく、特に限定はされない。

双方向ベクトル比較部７での比較処理の一例について、図１２を用いて説明する。図１２は、双方向ベクトル比較部７での処理を説明するための図である。原画像ｆ（ｔ−１）からｆ（ｔ）への前方向動きベクトルの検出を行った結果、ｆ（ｔ−１）上のあるブロックにおいて前方向動きベクトル（Ｖxft1，Ｖyft1）が検出されたとする。図１２において、ブロック１２−１〜１２−４は、原画像ｆ（ｔ）からｆ（ｔ−１）に対して後方向検出を行う場合のｆ（ｔ）上の固定ブロックである。ブロック１２−５は、ｆ（ｔ−１）上のあるブロックにおける前方向検出のベクトル検出結果が（Ｖxft1，Ｖyft1）を示したときに、ｆ（ｔ）上に割り付けられたエリアとする。すなわち、ブロック１２−５は、ｆ（ｔ−１）を始点とする前方向動きベクトル（Ｖxft1，Ｖyft1）の終点のブロックである。また、ブロック１２−１〜１２−４において求まった後方向ベクトルを（Ｖxbt1，Ｖybt1）〜（Ｖxbt4，Ｖybt4）とする。このとき、双方向ベクトル比較部７は、対向する前方向動きベクトルと後方向動きベクトルとの比較処理を行い、
｜Ｖxft1＋Ｖxbt1｜＜Ｖxth
｜Ｖxft1＋Ｖxbt2｜＜Ｖxth
｜Ｖxft1＋Ｖxbt3｜＜Ｖxth
｜Ｖxft1＋Ｖxbt4｜＜Ｖxth
のいずれかが成立し、かつ
｜Ｖyft1＋Ｖybt1｜＜Ｖyth
｜Ｖyft1＋Ｖybt2｜＜Ｖyth
｜Ｖyft1＋Ｖybt3｜＜Ｖyth
｜Ｖyft1＋Ｖybt4｜＜Ｖyth
のいずれかが成立する場合、対向する前方向動きベクトルと後方向動きベクトルとは等しい、すなわち、前方向動きベクトル（Ｖxft1，Ｖyft1）の終点のブロック１２−５を始点とする後方向動きベクトルの終点が、当該前方向動きベクトルの始点と一致（あるいは所定の範囲内に存在）すると判定する。ここで、Ｖxth、Ｖythは、対向する前方向動きベクトルと後方向動きベクトルとが等しいか否かを判定する基準として予め定められた閾値であって、設定によって変更可能である。

つまり、検出された前方向動きベクトルと、当該前方向動きベクトルが指し示す終点周辺のブロックの後方向ベクトルとの差が一定値以下のとき（前方向と後方向ベクトルは向きが逆であるため、加算した結果がゼロとなるのが理想）、前方向動きベクトルの終点のブロックを始点とする後方向動きベクトルの終点が、当該前方向動きベクトルの始点と一致すると判断する。

ここでは、双方向ベクトル比較のブロックを２×２の領域としたが、演算精度によっては、３×３の領域や、１ブロック単体としてもよいものとする。

双方向ベクトル比較部７について、図５を用いて説明すれば、以下のとおりである。なお、以下では、説明を簡単にするため、比較ブロックを１ブロック単体として記す。双方向ベクトル比較部７は、図５に示す検出ブロック５−１４〜５−２６を始点とする前方向動きベクトルについて、各前方向動きベクトルの終点の検出ブロックを始点とする後方向動きベクトルと比較する。

例えば、原画像ｆ（ｔ−１）の検出ブロック５−２４を始点とする前方向動きベクトル５−４０の終点は、原画像ｆ（ｔ）の検出ブロック５−３７であり、双方向ベクトル比較部７は、検出ブロック５−３７を始点とする後方向動きベクトル５−４１と前方向動きベクトル５−４０とを比較する。この場合、双方向ベクトル比較部７は、前方向動きベクトル５−４０および後ろ方向動きベクトル５−４１について、いずれも、ゼロベクトルであり、前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点とが等しいと判定する。

また、例えば、原画像ｆ（ｔ−１）の検出ブロック５−２３を始点とする前方向動きベクトル５−４２の終点は、原画像ｆ（ｔ）の検出ブロック５−３７であり、双方向ベクトル比較部７は、検出ブロック５−３７を始点とする後方向動きベクトル５−４１と前方向動きベクトル５−４２とを比較する。この場合、双方向ベクトル比較部７は、検出ブロック５−２３の前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点とが異なっていると判定する。

双方向ベクトル比較部７は、原画像ｆ（ｔ−１）の全ての検出ブロックについて同様の判定処理を実行する。図５に示す例では、双方向ベクトル比較部７は、検出ブロック５−２０〜５−２３を始点とする前方向動きベクトルについて、前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点とが異なっていると判定する。

前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点とが同じである場合、前方向動きベクトルが指し示す原画像ｆ（ｔ）の検出ブロックと、後方向動きベクトルが指し示す原画像ｆ（ｔ−１）の検出ブロックとは、同一の物体の領域、あるいは、同一の背景領域ということになる。

反対に、前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点とが異なる場合、前方向動きベクトルの始点となる原画像ｆ（ｔ−１）の検出ブロックに表示されている物体や背景領域は、原画像ｆ（ｔ）には表示されていないことを意味する。

つまり、原画像ｆ（ｔ−１）における検出ブロックを始点とする前方向動きベクトルと、当該前方向動きベクトルの終点となる原画像ｆ（ｔ）における検出ブロックを始点とする後方向動きベクトルとを比較し、前方向動きベクトルと後方向動きベクトルとが反対向きで大きさが等しいベクトルであるか否かを判定することによって、時間的に前の時刻における原画像ｆ（ｔ−１）には表示されているが、時間的に後の時刻における原画像ｆ（ｔ）に表示されない「消える領域」を検出することができる。図５に示す例では、原画像ｆ（ｔ−１）における検出ブロック５−２０〜５−２３が「消える領域」として特定される。

次に、「消える領域」における動きベクトルの補正について説明する。図５では、「消える領域」である原画像ｆ（ｔ−１）の検出ブロック５−２０〜５−２３において検出された前方向動きベクトルは、類似の領域を指し示す誤検出された動きベクトルである。したがって、前方向動きベクトルを内挿画像の作画に利用する場合には、「消える領域」における誤検出された前方向動きベクトルを補正する必要がある。

本発明に係る画像補間装置１では、原画像ｆ（ｔ−１）の「消える領域」における動きベクトルの補正を行う場合、動きベクトル補正部８は、原画像ｆ（ｔ−１）の動きベクトルの統計データと原画像ｆ（ｔ−１）の１つ前の時刻における原画像ｆ（ｔ−２）の動きベクトルの統計データとに基づいて補正する。

より具体的には、動きベクトル補正部８は、原画像ｆ（ｔ−１）において「消える領域」の検出ブロックを中心として予め定められた範囲内の検出ブロックにおける前方向動きベクトルのヒストグラムデータと、原画像ｆ（ｔ−２）において当該「消える領域」に対応する検出ブロックを中心として予め定められた範囲内の検出ブロックにおける前方向動きベクトルのヒストグラムデータとを比較し、最も頻度の減少した前方向動きベクトルを、原画像ｆ（ｔ−１）の「消える領域」における動きベクトルとして決定する。

つまり、「消える領域」では、物体が進入してくることになり、時間の経過に伴って、背景領域が減少する。したがって、背景領域の前方向動きベクトルは減少することになる。そこで、「消える領域」における動きベクトルを、前回検出した動きベクトルと今回検出した前方向動きベクトルのヒストグラムデータにおいて、最も頻度の減少した動きベクトルに補正する。

なお、本実施の形態では、動きベクトル補正部８は、原画像ｆ（ｔ−２）および原画像ｆ（ｔ−１）における動きベクトルのヒストグラムデータを状態記録部５から読み出して比較する。また、統計データ処理部６は、動きベクトル検出部３，４において検出された動きベクトルのデータと双方向ベクトル比較部７において判定された「消える領域」を特定するデータとを受け取り、原画像ｆ（ｔ−１）において「消える領域」の検出ブロックを中心として予め定められた範囲内の検出ブロックにおける動きベクトルのヒストグラムデータと、原画像ｆ（ｔ−２）において原画像ｆ（ｔ−１）の「消える領域」に対応する検出ブロックを中心として予め定められた範囲内の検出ブロックにおける動きベクトルのヒストグラムデータとを算出し、状態記録部５に格納する。このとき、ヒストグラムデータのうち、上位のデータのみを状態記録部５に記憶させる構成であってもよい。また、統計データ処理部６は、双方向ベクトル比較部７からの「現れる領域」、「消える領域」の情報に基づいて、「現れる領域」、「消える領域」以外の領域の動きベクトルについて、統計データを算出する構成であってもよい。すなわち、統計データから、「現れる領域」、「消える領域」における動きベクトルのデータを除く構成とすることで、統計データの精度をより向上させることが可能となる。

図５に示す例では、動きベクトル補正部８は、例えば、原画像ｆ（ｔ−１）の「消える領域」（検出ブロック５−２０〜５−２３）に含まれる各検出ブロックを中心に５ブロックの範囲内の動きベクトルのヒストグラムと、原画像ｆ（ｔ−２）において原画像ｆ（ｔ−１）の「消える領域」に対応する領域（検出ブロック５−７〜５−１０）に含まれる各検出ブロックを中心に５ブロックの範囲内の動きベクトルのヒストグラムと比較する。図５に示す例では、原画像ｆ（ｔ−２）と原画像ｆ（ｔ−１）との間で「消える領域」に含まれる各検出ブロックを中心として５ブロックの範囲内において出現頻度が最も減少した動きベクトルはゼロベクトルである。したがって、動きベクトル補正部８は、原画像ｆ（ｔ−１）の「消える領域」（検出ブロック５−２０〜５−２３）における動きベクトルとしてゼロベクトルを設定する。

なお、上述の説明では、説明を簡単にするために、図４に示す原画像をモデル化した図５に基づいて、「消える領域」を中心に５ブロックの範囲内のヒストグラムデータを算出する構成として説明したが、ヒストグラムデータを算出する範囲は「消える領域」を中心に５ブロックに限定されることはなく、原画像の種類等に応じてヒストグラムデータを算出するブロック数が設定される構成であってよく、特に限定はされない。

そして、動きベクトル補正部８は、補正後の動きベクトルをベクトル割付部９に供給する。このとき、動きベクトル補正部８は、「消える領域」の動きベクトルについて、内挿画像への割付処理における優先順位を落とす指示子、すなわち、内挿ブロックにおいて競合が発生した場合には内挿ベクトルとして選択しないことを指示する優先度指示情報をベクトル割付部９に供給する。ベクトル割付部９は、動きベクトル補正部８からの優先度指示情報に基づいて内挿ブロックへの割付処理を行い、内挿画像に割り付けた動きベクトル、すなわち、内挿ベクトルを作画部１０に供給する。

また、動きベクトル補正部８は、「消える領域」の動きベクトルについて、過去画、すなわち、内挿時刻よりも前の時刻における原画像ｆ（ｔ−１）から作画することを指示する作画指示情報をベクトル割付部９に供給する。作画指示情報としては、例えば、上述した過去画及び未来画の双方向から作画する場合の式において、ブレンド率α＝１として作画することを指示する情報が供給される。そして、ベクトル割付部９は、「消える領域」の動きベクトルを内挿画像に割り付けた場合、内挿ベクトルと共に作画指示情報を作画部１０に供給する。そして、作画部１０は、ベクトル割付部９からの内挿ベクトルおよび作画指示情報を用いて内挿画像を作画する。

図６は、「消える領域」の検出および動きベクトルの補正について説明するための図であって、補正後の動きベクトルを用いて内挿画像に動きベクトルを割り付ける様子を示す図である。図６の原画像ｆ（ｔ−１）における検出ブロック６−１〜６−６は、図５の原画像ｆ（ｔ−１）における検出ブロック５−１９〜５−２４に対応している。上述のとおり、原画像ｆ（ｔ−１）の「消える領域」（検出ブロック５−２０〜５−２３、すなわち、検出ブロック６−２〜６−５）にはゼロベクトルが設定されている。

図６は、ｔ−０．７５、ｔ−０．５、ｔ−０．２５の各時刻における内挿画像ｆ（ｔ−０．７５）、ｆ（ｔ−０．５）、ｆ（ｔ−０．２５）を内挿する場合の例を示している。図６に示すとおり、内挿画像ｆ（ｔ−０．２５）の内挿ブロック６−７では、動きベクトルの競合は発生しておらず、ベクトル割付部９は、原画像ｆ（ｔ−１）の「消える領域」である検出ブロック６−３における動きベクトルを内挿ベクトルとして割り付ける。一方、内挿画像ｆ（ｔ−０．５）の内挿ブロック６−８、および、内挿画像ｆ（ｔ−０．７５）の内挿ブロック６−９では、動きベクトルの競合が発生している。

この場合、上述したとおり、ベクトル割付部９は、動きベクトル補正部８から、内挿ブロックにおいて競合が発生した場合には、「消える領域」の動きベクトルを内挿ベクトルとして選択しないことを指示する優先度指示情報を受けている。そのため、内挿ブロック６−８においては、「消える領域」である検出ブロック６−３における動きベクトルは内挿ベクトルとして選択されず、検出ブロック６−１において検出された動きベクトルを内挿ベクトルとして選択する。同様に、内挿ブロック６−９では、「消える領域」である検出ブロック６−３における動きベクトルは内挿ベクトルとして選択されない。

また、上述のとおり、作画部１０は、「消える領域」の動きベクトルについて、過去画、過去画から作画する作画指示情報を受けている。そのため、作画部１０は、例えば、「消える領域」の動きベクトルが割り付けられた内挿画像ｆ（ｔ−０．２５）の内挿ブロック６−７について、原画像ｆ（ｔ−１）の検出ブロック６−３の画像を用いて作画する。

これにより、本発明に係る画像補間装置１では、「消える領域」において誤検出された動きベクトルを、より信頼性の高い動きベクトルに補正することができる。したがって、原画において「消える領域」が含まれている場合において、内挿画像の精度を向上させることが可能となる。

（現れる領域の検出およびベクトルの補正）
以下では、本発明に係る画像補間装置１における「現れる領域」の検出および動きベクトルの補正について詳細に説明する。

はじめに、「現れる領域」の検出について説明する。図７は、「現れる領域」の検出および動きベクトルの補正を説明するための図であって、原画像ｆ（ｔ−１）およびｆ（ｔ）において検出した双方向の動きベクトルを示す図である。図７は、図４（ａ）に示すような複数の柱を背景にして物体が移動する様子を示す画像を、物体の動き方向の断面をとって１次元表示したものである。また、図７では、原画像ｆ（ｔ−１）の１つ前の原画像ｆ（ｔ−２）（第３の原画像）も示されている。

図７において、原画像ｆ（ｔ−１）は、検出ブロック７−１４〜７―２６に分割されている。検出ブロック７−２１〜７−２６は、図４（ａ）に示す移動する物体を表す領域であり、検出ブロック７−１５、７−１６、７−１９、および、７−２０は、図４（ａ）に示す柱を表す領域であり、検出ブロック７−１４、７−１７、および、７−１８は、図４（ａ）に示す柱の間を表す領域である。同様に、原画像ｆ（ｔ）は、検出ブロック７−２７〜７−３９に分割されている。検出ブロック７−３８〜７−３９は、移動する物体を表す領域であり、検出ブロック７−２８、７−２９、７−３２、７−３３、７−３６、および、７−３７は、柱を表す領域であり、検出ブロック７−２７、７−３０、７−３１、７−３４、および、７−３５は、柱の間を表す領域である。

図７では、原画像ｆ（ｔ−１）および原画像ｆ（ｔ）のそれぞれを基準として互いの原画像に対して検出された対向する動きベクトル（双方向ベクトル）が示されている。また、図５では、原画像ｆ（ｔ−２）を基準として原画像ｆ（ｔ−１）に対して検出された動きベクトルが示されている。

本発明に係る画像補間装置１では、動きベクトル検出部４は、図７に示すように、原画像ｆ（ｔ−１）を基準画像として、原画像ｆ（ｔ）に対する動きベクトルを検出する。つまり、過去画ｆ（ｔ−１）の各検出ブロックを始点とし、未来画ｆ（ｔ）のいずれかの検出ブロックを終点とする前方向動きベクトルが検出される。また、画像補間装置１では、動きベクトル検出部３は、図７に示すように、原画像ｆ（ｔ）を基準画像として、原画像ｆ（ｔ−１）に対する動きベクトルを検出する。つまり、未来画ｆ（ｔ）の各検出ブロックを始点とし、過去画ｆ（ｔ−１）のいずれかの検出ブロックを終点とする後方向動きベクトルが算出される。そして、双方向ベクトル比較部７は、検出ブロックごとに、動きベクトル検出部３，４において検出された双方向の動きベクトルを比較する。

双方向ベクトル比較部７は、動きベクトル検出部４において検出された原画像ｆ（ｔ−１）の各検出ブロックを始点とする前方向動きベクトルについて、各前方向動きベクトルの終点となる原画像ｆ（ｔ）の検出ブロックを始点とする後方向動きベクトルと比較し、それらの対向する前方向動きベクトルと後方向動きベクトルとが、反対向きで大きさが等しいベクトルであるか否かを判定する。つまり、後方向動きベクトルの終点のブロックを始点とする前方向動きベクトルの終点が、当該後方向動きベクトルの始点と一致するか否かを判定する。

なお、上述した双方向ベクトル比較部７における対向する前方向動きベクトルと後方向動きベクトルとが等しいか否かの判定処理は、動きベクトルの検出精度を考慮して幅をもたせてもよい。つまり、後方向動きベクトルの始点と、当該後方向動きベクトルの終点のブロックを始点とする前方向動きベクトルの終点との間隔が、所定の閾値よりも大きいか否か（予め定められた範囲内にあるか否か）を判定し、所定の閾値よりも大きい場合には「現れる領域」と判定する構成であってもよい。ここで、所定の閾値（予め定められた範囲）としては、動きベクトルの検出精度に応じたブロック数を設定可能な構成であってよく、特に限定はされない。

双方向ベクトル比較部７での比較処理の一例について、図１２を用いて説明する。図１２は、双方向ベクトル比較部７での処理を説明するための図である。原画像ｆ（ｔ）からｆ（ｔ−１）への後方向動きベクトルの検出を行った結果、ｆ（ｔ）上のあるブロックにおいて後方向動きベクトル（Ｖxft1，Ｖyft1）が検出されたとする。図１２において、ブロック１２−１〜１２−４は、原画像ｆ（ｔ−１）からｆ（ｔ）に対して前方向検出を行う場合のｆ（ｔ−１）上の固定ブロックである。ブロック１２−５は、ｆ（ｔ）上のあるブロックにおける後方向検出のベクトル検出結果が（Ｖxft1，Ｖyft1）を示したときに、ｆ（ｔ−１）上に割り付けられたエリアとする。すなわち、ブロック１２−５は、ｆ（ｔ）を始点とする後方向動きベクトル（Ｖxft1，Ｖyft1）の終点のブロックである。また、ブロック１２−１〜１２−４において求まった前方向ベクトルを（Ｖxbt1，Ｖybt1）〜（Ｖxbt4，Ｖybt4）とする。このとき、双方向ベクトル比較部７は、対向する前方向動きベクトルと後方向動きベクトルとの比較処理を行い、
｜Ｖxft1＋Ｖxbt1｜＜Ｖxth
｜Ｖxft1＋Ｖxbt2｜＜Ｖxth
｜Ｖxft1＋Ｖxbt3｜＜Ｖxth
｜Ｖxft1＋Ｖxbt4｜＜Ｖxth
のいずれかが成立し、かつ
｜Ｖyft1＋Ｖybt1｜＜Ｖyth
｜Ｖyft1＋Ｖybt2｜＜Ｖyth
｜Ｖyft1＋Ｖybt3｜＜Ｖyth
｜Ｖyft1＋Ｖybt4｜＜Ｖyth
のいずれかが成立する場合、対向する前方向動きベクトルと後方向動きベクトルとは等しい、すなわち、後方向動きベクトル（Ｖxft1，Ｖyft1）の終点のブロック１２−５を始点とする前方向動きベクトルの終点が、当該後方向動きベクトルの始点と一致（あるいは所定の範囲内に存在）すると判定する。ここで、Ｖxth、Ｖythは、対向する前方向動きベクトルと後方向動きベクトルとが等しいか否かを判定する基準として予め定められた閾値であって、設定によって変更可能である。

つまり、検出された後方向動きベクトルと、当該後方向動きベクトルが指し示す終点周辺のブロックの前方向ベクトルとの差が一定値以下のとき（前方向と後方向ベクトルは向きが逆であるため、加算した結果がゼロとなるのが理想）、後方向動きベクトルの終点のブロックを始点とする前方向動きベクトルの終点が、当該後方向動きベクトルの始点と一致すると判断する。

ここでは、双方向ベクトル比較のブロックを２×２の領域としたが、演算精度によっては、３×３の領域や、１ブロック単体としてもよいものとする。

双方向ベクトル比較部７について、図７を用いて説明すれば、以下のとおりである。なお、以下では、説明を簡単にするため、比較ブロックを１ブロック単体として記す。双方向ベクトル比較部７は、図７に示す検出ブロック７−２７〜７−３９を始点とする後方向動きベクトルについて、各後方向動きベクトルの終点の検出ブロックを始点とする前方向動きベクトルと比較する。

例えば、原画像ｆ（ｔ）の検出ブロック７−３３を始点とする後方向動きベクトル７−４０の終点は、原画像ｆ（ｔ−１）の検出ブロック７−２０であり、双方向ベクトル比較部７は、検出ブロック７−２０を始点とする前方向動きベクトル７−４１と後方向動きベクトル７−４０とを比較する。この場合、双方向ベクトル比較部７は、後方向動きベクトル７−４０および前方向動きベクトル７−４１について、いずれも、ゼロベクトルであり、後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点とが等しいと判定する。

また、例えば、原画像ｆ（ｔ）の検出ブロック７−３７を始点とする後方向動きベクトル７−４２の終点は、原画像ｆ（ｔ−１）の検出ブロック７−２０であり、双方向ベクトル比較部７は、検出ブロック７−２０を始点とする前方向動きベクトル７−４１と後方向動きベクトル７−４２とを比較する。この場合、双方向ベクトル比較部７は、後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点とが異なっていると判定する。

双方向ベクトル比較部７は、原画像ｆ（ｔ）の全ての検出ブロックについて同様の判定処理を実行する。図７に示す例では、双方向ベクトル比較部７は、検出ブロック７−３４〜７−３７を始点とする後方向動きベクトルについて、後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点とが異なっていると判定する。

後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点とが同じである場合、後方向動きベクトルが指し示す原画像ｆ（ｔ−１）の検出ブロックと、前方向動きベクトルが指し示す原画像ｆ（ｔ）の検出ブロックとは、同一の物体の領域、あるいは、同一の背景領域ということになる。

反対に、後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点とが異なる場合、後方向動きベクトルの始点となる原画像ｆ（ｔ）の検出ブロックに表示されている物体や背景領域は、原画像ｆ（ｔ−１）には表示されていないことを意味する。

つまり、原画像ｆ（ｔ）における検出ブロックを始点とする後方向動きベクトルと、当該後方向動きベクトルの終点となる原画像ｆ（ｔ−１）における検出ブロックを始点とする前方向動きベクトルとを比較し、後方向動きベクトルと前方向動きベクトルとが反対向きで大きさが等しいか否かを判定することによって、時間的に前の時刻における原画像ｆ（ｔ−１）に表示されないが、時間的に後の時刻における原画像ｆ（ｔ）には表示される「現れる領域」を検出することができる。図７に示す例では、原画像ｆ（ｔ）における検出ブロック７−３４〜７−３７が「現れる領域」として特定される。

次に、「現れる領域」における動きベクトルの補正について説明する。図７では、「現れる領域」である原画像ｆ（ｔ）の検出ブロック７−３４〜７−３７において検出された後方向動きベクトルは、類似の領域を指し示す誤検出された動きベクトルである。したがって、後方向動きベクトルを内挿画像の作画に利用する場合には、「現れる領域」における誤検出された後方向動きベクトルを補正する必要がある。

本発明に係る画像補間装置１では、原画像ｆ（ｔ）の「現れる領域」における動きベクトルの補正を行う場合、動きベクトル補正部８は、原画像ｆ（ｔ−１）の動きベクトルの統計データと原画像ｆ（ｔ−１）の１つ前の時刻における原画像ｆ（ｔ−２）の動きベクトルの統計データとに基づいて補正する。

より具体的には、動きベクトル補正部８は、原画像ｆ（ｔ−１）において「現れる領域」に対応する検出ブロックを中心として予め定められた範囲内の検出ブロックにおける前方向動きベクトルのヒストグラムデータと、原画像ｆ（ｔ−２）において当該「現れる領域」に対応する検出ブロックを中心として予め定められた範囲内の検出ブロックにおける前方向動きベクトルのヒストグラムデータとを比較し、最も頻度の増加した前方向動きベクトルの逆方向のベクトルを、原画像ｆ（ｔ）の「現れる領域」における動きベクトルとして決定する。

つまり、「現れる領域」では、物体が遠ざかってゆくことになり、時間経過に伴って、背景領域が増加する。したがって、背景領域の前方向動きベクトルは増加することになる。そこで、「現れる領域」における動きベクトルを、前回検出した動きベクトルと今回検出した前方向動きベクトルのヒストグラムデータにおいて、最も頻度の増加した動きベクトルの逆ベクトルに補正する。

なお、本実施の形態では、動きベクトル補正部８は、原画像ｆ（ｔ−２）および原画像ｆ（ｔ−１）における動きベクトルのヒストグラムデータを状態記録部５から読み出して比較する。また、統計データ処理部６は、動きベクトル検出部３，４において検出された動きベクトルのデータと双方向ベクトル比較部７において判定された「現れる領域」を特定するデータとを受け取り、原画像ｆ（ｔ−１）において「現れる領域」に対応する検出ブロックを中心として予め定められた範囲内の検出ブロックにおける動きベクトルのヒストグラムデータと、原画像ｆ（ｔ−２）において原画像ｆ（ｔ−１）の「現れる領域」に対応する検出ブロックを中心として予め定められた範囲内の検出ブロックにおける動きベクトルのヒストグラムデータとを算出し、状態記録部５に格納する。このとき、ヒストグラムデータのうち、上位のデータのみを状態記録部５に記憶させる構成であってもよい。

図７に示す例では、動きベクトル補正部８は、例えば、原画像ｆ（ｔ−１）において原画像ｆ（ｔ）の「現れる領域」に対応する領域（検出ブロック７−２１〜７−２４）に含まれる各検出ブロックを中心に５ブロックの範囲内の動きベクトルのヒストグラムと、原画像ｆ（ｔ−２）において原画像ｆ（ｔ）の「現れる領域」に対応する領域（検出ブロック７−８〜７−１１）に含まれる各検出ブロックを中心に５ブロックの範囲内の動きベクトルのヒストグラムと比較する。図７に示す例では、原画像ｆ（ｔ−２）と原画像ｆ（ｔ−１）との間で「現れる領域」に対応する検出ブロックを中心として５ブロックの範囲内において出現頻度が最も増加した動きベクトルはゼロベクトルであり、その逆方向のベクトルもまたゼロベクトルとなる。したがって、動きベクトル補正部８は、原画像ｆ（ｔ）の「現れる領域」（検出ブロック７−３４〜７−３７）における動きベクトルとしてゼロベクトルを設定する。

なお、上述の説明では、説明を簡単にするために、図４に示すような原画像をモデル化した図７に基づいて、「現れる領域」を中心に５ブロックの範囲内のヒストグラムデータを算出する構成として説明したが、ヒストグラムデータを算出する範囲は「現れる領域」を中心に５ブロックに限定されることはなく、原画像の種類等に応じてヒストグラムデータを算出するブロック数が設定される構成であってよく、特に限定はされない。

そして、動きベクトル補正部８は、補正後の動きベクトルをベクトル割付部９に供給する。このとき、動きベクトル補正部８は、「現れる領域」の動きベクトルについて、内挿画像への割付処理における優先順位を落とす指示子、すなわち、内挿ブロックにおいて競合が発生した場合には内挿ベクトルとして選択しないことを指示する優先度指示情報をベクトル割付部９に供給する。ベクトル割付部９は、動きベクトル補正部８からの優先度指示情報に基づいて内挿ブロックへの割付処理を行い、内挿画像に割り付けた動きベクトル、すなわち、内挿ベクトルを作画部１０に供給する。

また、動きベクトル補正部８は、「現れる領域」の動きベクトルについて、未来画、すなわち、内挿時刻よりも後の時刻における原画像ｆ（ｔ）から作画することを指示する作画指示情報をベクトル割付部９に供給する。そして、ベクトル割付部９は、「現れる領域」の動きベクトルを内挿画像に割り付けた場合、内挿ベクトルと共に作画指示情報を作画部１０に供給する。そして、作画部１０は、ベクトル割付部９からの内挿ベクトルおよび作画指示情報を用いて内挿画像を作画する。

図８は、「現れる領域」の検出および動きベクトルの補正について説明するための図であって、補正後の動きベクトルを用いて内挿画像に動きベクトルを割り付ける様子を示す図である。図８の原画像ｆ（ｔ−１）における検出ブロック８−１〜８−６は、図７の原画像ｆ（ｔ−１）における検出ブロック７−２０〜７−２４に対応している。上述のとおり、原画像ｆ（ｔ−１）の「現れる領域」（検出ブロック７−３４〜７−３７、すなわち、検出ブロック８−１１〜８−１４）にはゼロベクトルが設定されている。

図８は、ｔ−０．７５、ｔ−０．５、ｔ−０．２５の各時刻における内挿画像ｆ（ｔ−０．７５）、ｆ（ｔ−０．５）、ｆ（ｔ−０．２５）を内挿する場合の例を示している。図８に示すとおり、内挿画像ｆ（ｔ−０．７５）の内挿ブロック８−９では、動きベクトルの競合は発生しておらず、ベクトル割付部９は、原画像ｆ（ｔ）の「現れる領域」である検出ブロック８−１２における動きベクトルを内挿ベクトルとして割り付ける。また、内挿画像ｆ（ｔ−０．５）の内挿ブロック８−８においても、動きベクトルの競合が発生していないため、ベクトル割付部９は、原画像ｆ（ｔ）の「現れる領域」である検出ブロック８−１２における動きベクトルを内挿ベクトルとして割り付ける。一方、内挿画像ｆ（ｔ−０．２５）の内挿ブロック８−７では、動きベクトルの競合が発生している。

この場合、上述したとおり、ベクトル割付部９は、動きベクトル補正部８から、内挿ブロックにおいて競合が発生した場合には、「現れる領域」の動きベクトルを内挿ベクトルとして選択しないことを指示する優先度指示情報を受けている。そのため、内挿ブロック８−７においては、「現れる領域」である検出ブロック８−１２における動きベクトルは内挿ベクトルとして選択されず、検出ブロック８−２において検出された動きベクトルを内挿ベクトルとして選択する。

なお、座標（ｘ，ｙ）からのベクトル（Ｖx，Ｖy）を、ｆ（ｔ）とｆ（ｔ＋１）との間の時間的に１／ｋの位置におけるフレームに割り付ける一般式は、（ｘ＋１／ｋ×Ｖx，ｙ＋１／ｋ×Ｖy）となるが、「現れる領域」の割り付けは、（ｘ−（１−１／ｋ）×Ｖx，ｙ−（１−１／ｋ）×Ｖy）として割り付ける。

また、上述したとおり、作画部１０は、「現れる領域」の動きベクトルについて、未来画から作画する作画指示情報を受けている。そのため、作画部１０は、例えば、「現れる領域」の動きベクトルが割り付けられた内挿画像ｆ（ｔ−０．５）の内挿ブロック８−８および内挿画像ｆ（ｔ−０．７５）の内挿ブロック８−９について、原画像ｆ（ｔ）の検出ブロック８−１２の画像を用いて作画する。

これにより、本発明に係る画像補間装置１では、「現れる領域」において誤検出された動きベクトルを、より信頼性の高い動きベクトルに補正することができる。したがって、原画において「現れる領域」が含まれている場合において、内挿画像の精度を向上させることが可能となる。

（変形例）
なお、本発明に係る画像補間装置１は、新たに動きベクトルを検出する場合、過去に検出した動きベクトルを、候補ベクトルとして、新たに検出する動きベクトルの推定に用いる構成であってもよい。例えば、原画像ｆ（ｔ−１）とｆ（ｔ）との間の動きベクトルを検出する場合、前回の検出結果、すなわち、原画像ｆ（ｔ−２）とｆ（ｔ−１）との間で検出された動きベクトルを候補ベクトルとして用いる。

つまり、原画像ｆ（ｔ−２）を始点として原画像ｆ（ｔ−１）を終点とする前方向動きベクトルを、原画像ｆ（ｔ−１）を始点として原画像ｆ（ｔ）を終点とする前方向動きベクトルの候補ベクトルとして用いることができ、原画像ｆ（ｔ−１）を始点として原画像ｆ（ｔ−２）を終点とする後方向動きベクトルを、原画像ｆ（ｔ）を始点として原画像ｆ（ｔ−１）を終点とする後方向動きベクトルの候補ベクトルとして用いることができる。

ここで、画像補間装置１では、過去画ｆ（ｔ−１）を基準として未来画ｆ（ｔ）への前方向動きベクトルを検出する場合、原画像ｆ（ｔ−２）からｆ（ｔ−１）に対して検出した前方向動きベクトルのうち、「消える領域」に含まれる検出ブロックを始点とする動きベクトルについては、候補ベクトルとして参照することを禁止する。また、「現れる領域」に含まれる検出ブロックの動きベクトルについては、重み付けの変更や候補ベクトルの増加など、新規候補を積極的に探すようにしてベクトルの収束を早める。

また、画像補間装置１では、未来画ｆ（ｔ）を基準として過去画ｆ（ｔ−１）への後方向動きベクトルを検出する場合、原画像ｆ（ｔ−１）からｆ（ｔ−２）に対して検出した後方向動きベクトルのうち、「現れる領域」に含まれる検出ブロックを始点とする動きベクトルについては、候補ベクトルとして参照することを禁止する。あるいは、前回検出（ｆ（ｔ−２）とｆ（ｔ−１）との間の検出）と今回検出（ｆ（ｔ−１）とｆ（ｔ）との間の検出）のヒストグラムデータにおいて最も頻度の増加した動きベクトルを候補ベクトルの代替とすることにより、収束性を改善し、誤検出を防止する構成であってもよい。

また、本発明に係る画像補間装置１は、例えば、テレビジョン受像装置に備えられて、受信した放送信号に含まれる映像信号に基づいて表示される画像を補間する構成であってもよい。あるいは、本発明に係る画像補間装置１は、ＤＶＤ再生装置やビデオ再生装置などの映像再生装置に備えられて、記録媒体に記録されている映像データに基づいて再生される画像を補間する構成であってもよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、画像補間装置１の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像補間装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像補間装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像補間装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像補間装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明に係る画像補間装置は、映像信号に含まれる原画像から補間画像を精度良く生成することができるため、テレビジョン受像装置やＤＶＤ再生装置などにおいて好適に利用できる。

本発明に係る画像補間装置１の構成を示すブロック図である。 小物体が移動する映像の原画像を示す図であり、（ａ）は、内挿画像に対して時間的に過去の原画像ｆ（ｔ―１）を示す図であり、（ｂ）は、内挿画像に対して時間的に未来の原画像ｆ（ｔ）を示す図である。 内挿画像の作画処理を説明するための図であって、図２（ａ）および（ｂ）に示す原画像と内挿画像を、小物体Ａの動き方向の断面をとって一次元表示した図である。 等間隔で並ぶ同じ形状の複数の柱を背景にして物体が移動する様子を示す図であり、（ａ）は、時刻ｔ−１における原画像ｆ（ｔ−１）と時刻ｔにおける原画像ｆ（ｔ）とを示す図であり、（ｂ）は、（ａ）に示す原画像から生成された内挿画像を示す図である。 「消える領域」の検出および動きベクトルの補正について説明するための図であって、原画像ｆ（ｔ−１）およびｆ（ｔ）において検出した双方向の動きベクトルを示す図である。 「消える領域」の検出および動きベクトルの補正について説明するための図であって、補正後の動きベクトルを用いて内挿画像に動きベクトルを割り付ける様子を示す図である。 「現れる領域」の検出および動きベクトルの補正を説明するための図であって、原画像ｆ（ｔ−１）およびｆ（ｔ）において検出した双方向の動きベクトルを示す図である。 「現れる領域」の検出および動きベクトルの補正について説明するための図であって、補正後の動きベクトルを用いて内挿画像に動きベクトルを割り付ける様子を示す図である。 入力される６０Ｈｚの原画像と１２０Ｈｚの出力画像との関係を示す図である。 動きベクトルを算出するために基準画像をブロックに分割する例を示す図である。 内挿座標へのベクトルの割付の例を示す図である。 双方向ベクトル比較部での処理を説明するための図である。

符号の説明

１ 画像補間装置
２ 遅延部
３ 動きベクトル検出部（後方向動きベクトル検出手段）
４ 動きベクトル検出部（前方向動きベクトル検出手段）
５ 状態記録部
６ 統計データ処理部
７ 双方向ベクトル比較部（判定手段）
８ 動きベクトル補正部（予測動きベクトル決定手段、補正手段）
９ ベクトル割付部
１０ 作画部
１００ 動きベクトル補正装置

Claims (12)

1. 第１の時刻における第１の原画像の各ブロックを始点として、上記第１の時刻よりも後の第２の時刻における第２の原画像のいずれかのブロックを終点とする前方向動きベクトルを検出する前方向動きベクトル検出手段と、
   上記第２の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする後方向動きベクトルを検出する後方向動きベクトル検出手段と、
   前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該前方向ベクトルの始点を補正対象ブロックと判定する判定手段と、
   上記第１の時刻よりも前の第３の時刻における第３の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度と、上記第１の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度とを比較し、最も出現頻度の減少した前方向動きベクトルを、予測動きベクトルとして決定する予測動きベクトル決定手段と、
   上記補正対象ブロックを始点とする前方向動きベクトルを、上記予測動きベクトルに置き換える補正手段とを備えていることを特徴とする動きベクトル補正装置。
2. 第１の時刻における第１の原画像の各ブロックを始点として、上記第１の時刻よりも後の第２の時刻における第２の原画像のいずれかのブロックを終点とする前方向動きベクトルを検出する前方向動きベクトル検出手段と、
   上記第２の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする後方向動きベクトルを検出する後方向動きベクトル検出手段と、
   後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該後方向ベクトルの始点を補正対象ブロックと判定する判定手段と、
   上記第１の時刻よりも前の第３の時刻における第３の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度と、上記第１の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度とを比較し、最も出現頻度の増加した前方向動きベクトルの逆ベクトルを、予測動きベクトルとして決定する予測動きベクトル決定手段と、
   上記補正対象ブロックを始点とする後方向動きベクトルを、上記予測動きベクトルに置き換える補正手段とを備えていることを特徴とする動きベクトル補正装置。
3. 上記判定手段は、
   上記第３の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする前方向動きベクトルと、上記第１の原画像の各ブロックを始点として、上記第３の原画像のいずれかのブロックを終点とする後方向動きベクトルとから、上記第３の原画像における上記補正対象ブロックを判定し、
   上記前方向動きベクトル検出手段は、
   上記第３の原画像における上記補正対象ブロックを始点とする前方向動きベクトル以外を、上記第１の原画像における前方向動きベクトルを推定するための候補ベクトルとして用いることを特徴とする請求項１または２に記載の動きベクトル補正装置。
4. 上記判定手段は、
   上記第３の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする前方向動きベクトルと、上記第１の原画像の各ブロックを始点として、上記第３の原画像のいずれかのブロックを終点とする後方向動きベクトルとから、上記第１の原画像における上記補正対象ブロックを判定し、
   上記後方向動きベクトル検出手段は、
   上記第１の原画像における上記補正対象ブロックを始点とする後方向動きベクトル以外を、上記第２の原画像における後方向動きベクトルを推定するための候補ベクトルとして用いることを特徴とする請求項１または２に記載の動きベクトル補正装置。
5. 請求項１から４までのいずれか１項に記載の動きベクトル補正装置を備えた画像補間装置であって、
   上記補正対象ブロックを始点とする予測動きベクトルと、上記補正対象ブロック以外のブロックを始点とする前方向動きベクトルまたは後方向動きベクトルとを用いて、上記第１の原画像と上記第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける内挿ベクトルを決定する内挿ベクトル決定手段と、
   上記内挿ベクトル決定手段によって決定された内挿ベクトルに基づいて、上記内挿画像を生成する内挿画像生成手段とを備えていることを特徴とする画像補間装置。
6. 上記内挿ベクトル決定手段は、
   上記補正対象ブロックを始点とする予測動きベクトルと、上記補正対象ブロック以外のブロックを始点とする前方向動きベクトルまたは後方向動きベクトルとの両方が上記内挿画像の同一のブロックに割り付く場合、上記補正対象ブロック以外のブロックを始点とする前方向動きベクトルまたは後方向動きベクトルを当該ブロックに割り付ける内挿ベクトルと決定することを特徴とする請求項５に記載の画像補間装置。
7. 請求項１から６までのいずれか１項に記載の画像補間装置を備えていることを特徴とするテレビジョン受像装置。
8. 請求項１から６までのいずれか１項に記載の画像補間装置を備えていることを特徴とする映像再生装置。
9. 第１の時刻における第１の原画像の各ブロックを始点として、上記第１の時刻よりも後の第２の時刻における第２の原画像のいずれかのブロックを終点とする前方向動きベクトルを検出する前方向動きベクトル検出ステップと、
   上記第２の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする後方向動きベクトルを検出する後方向動きベクトル検出ステップと、
   前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該前方向ベクトルの始点を補正対象ブロックと判定する判定ステップと、
   上記第１の時刻よりも前の第３の時刻における第３の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度と、上記第１の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度とを比較し、最も出現頻度の減少した前方向動きベクトルを、予測動きベクトルとして決定する予測動きベクトル決定ステップと、
   上記補正対象ブロックを始点とする前方向動きベクトルを、上記予測動きベクトルに置き換える補正ステップとを含んでいることを特徴とする動きベクトル補正方法。
10. 第１の時刻における第１の原画像の各ブロックを始点として、上記第１の時刻よりも後の第２の時刻における第２の原画像のいずれかのブロックを終点とする前方向動きベクトルを検出する前方向動きベクトル検出ステップと、
    上記第２の原画像の各ブロックを始点として、上記第１の原画像のいずれかのブロックを終点とする後方向動きベクトルを検出する後方向動きベクトル検出ステップと、
    後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該後方向ベクトルの始点を補正対象ブロックと判定する判定ステップと、
    上記第１の時刻よりも前の第３の時刻における第３の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度と、上記第１の原画像において上記補正対象ブロックから所定の範囲内にあるブロックを始点とする前方向動きベクトルの出現頻度とを比較し、最も出現頻度の増加した前方向動きベクトルの逆ベクトルを、予測動きベクトルとして決定する予測動きベクトル決定ステップと、
    上記補正対象ブロックを始点とする後方向動きベクトルを、上記予測動きベクトルに置き換える補正ステップとを含んでいることを特徴とする動きベクトル補正方法。
11. 請求項１から４までのいずれか１項に記載の動きベクトル補正装置を動作させる制御プログラムであって、コンピュータを上記の各手段として機能させるための制御プログラム。
12. 請求項１１に記載の制御プログラムを記録しているコンピュータ読み取り可能な記録媒体。