JP2005286491A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】 適正な補間画素を生成する。
【解決手段】 フィールド間補間画素Ptと同一フィールド上で隣接する画素Ｂ，Ｄとのそれぞれの差分絶対値和に基づいて、フィールド間補間空間遷移が求められる。フィールド間補間画素Ptと前遅延フィールド内の同位置の画素Ａおよび現フィールド内の同位置の画素Ｃとのそれぞれの差分値の絶対値和に基づいて、フィールド間補間時間遷移が求められる。フィールド内補間画素Psと前遅延フィールド内の同位置の画素Ａおよび現フィールド内の同位置の画素Ｃとのそれぞれの差分の絶対値和に基づいて、フィールド内補間時間遷移が求められる。フィールド間補間空間遷移、フィールド間補間時間遷移、および、フィールド内補間時間遷移の情報に基づいて、補間生成画素のエラー発生量が求められ、エラー発生量に応じて、フィールド間補間か、フィールド内補間かを切替えて画素を生成する。
【選択図】 図４０

Description

本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画素単位で動きベクトルを正確に求めると共に、求められた動きベクトルに基づいて生成される画素のエラー発生量に応じて、画素の生成方法を切替えるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。

既存の画像の画素に基づいて、新たな画素を生成し、画像の解像度やフィールド周波数を変換させる技術が一般に普及しつつある。

動画像の画素生成には、動きベクトルを用いる方法が知られている。動きベクトルとは、動画像などにおいて、時間的に同一の画素値を持った画素が移動するような場合、その画素の動く方向と距離を示すものである。

図１は、従来の動きベクトルを用いた走査線数変換を行う画像処理装置１の構成を示している。

画像処理装置１は、画像メモリ１１−１，１１−２、ブロック単位動きベクトル検出部１２、および、画像合成部１３から構成され、図示せぬTV（Television）チューナやDVD（Digital Versatile Disc）プレーヤなどより供給される映像ソースを通して得られたインタレース画像信号であって、AD（Analog to Digital）変換器によりディジタル化された入力データの走査線数を変換して出力する。

画像メモリ１１−１，１１−２は、入力されたフィールドデータを１フィールド分格納し、１フィールド分遅延の後出力する。従って、画像メモリ１１−１は、現フィールドに対して１フィールド分遅延した遅延フィールドデータを画像合成部１３に供給する。また、画像メモリ１１−２は、さらに１フィールド分遅延された前遅延フィールドデータを供給する。結果として、画像メモリ１１−２は、合計２フィールド分遅延されたフィールドデータ（＝前遅延フィールドデータ）がブロック単位動きベクトル検出部１２、および、画像合成部１３に供給される。

ブロック単位動きベクトル検出部１２は、現フィールドデータと画像メモリ１１−２より供給される前遅延フィールドデータとを取得し、この２フィールド間のフィールドデータの相関から動きベクトルを検出する。より具体的には、ブロック単位動きベクトル検出部１２は、例えば、ブロックマッチング法により動きベクトルをブロック単位で検出する。ブロックマッチング法とは、例えば、現フィールド内の所定数の画素からなる基準ブロックを設定し、さらに、前遅延フィールド内で、基準ブロックと同一サイズの検索ブロックを設定し、この検索ブロックを順次前遅延フィールド内を移動させながら検索ブロック内の画素を順次抽出し、基準ブロックと検索ブロックのそれぞれの対応する画素位置の画素間の画素値の差分絶対値和を計算し、その差分絶対値和を最小とする検索ブロックと、基準ブロックとの相対的な位置関係に基づいて、動きベクトルを求める方法である。

画像合成部１３は、現フィールドデータ、画像メモリ１１−１，１１−２より供給される遅延フィールドデータおよび前遅延フィールドデータ、並びに、ブロック単位動きベクトル検出部１２より供給されるブロック単位動きベクトルを取得し、これらの情報から画像を合成し、走査線数変換を行い、出力データとして後段に出力する。

次に、図１の画像処理装置１の動作について説明する。

まず、画像メモリ１１−１が、先頭のフィールドデータを記憶する。次のタイミングで、画像メモリ１１−１は、記憶していたフィールドデータを遅延フィールドデータとして画像メモリ１１−２、および、画像合成部１３に供給する。さらに、次のタイミングで、画像メモリ１１−１は、記憶している遅延フィールドデータを、画像メモリ１１−２に供給すると共に、画像合成部１３に供給する。また、画像メモリ１１−２は、記憶していた前遅延フィールドデータをそれぞれブロック単位動きベクトル検出部１２、および、画像合成部１３に供給する。

このとき、ブロック単位動きベクトル検出部１２は、現フィールドデータと前遅延フィールドデータを用いて、ブロックマッチングによりブロック単位で動きベクトルを求め、画像合成部１３に供給する。

画像合成部１３は、供給された遅延フィールド上のプログレッシブ画像用に新たに生成する必要のある走査線上の各画素を通る動きベクトルと交わる、現フィールドデータと前遅延フィールドデータ上の画素を用いてフィールド間補間により画素を生成し、インタレース画像の遅延フィールド画像をプログレッシブ画像にして出力する。

また、輝度信号の動きのみならず色差信号などの動きも検出するようにようにして動きベクトルを検出するようにして、正確に動きベクトルを検出できるようにするものがある（例えば、特許文献１参照）。
特開平０５−２１９５２９号公報

しかしながら、上述した動きベクトルを検出するための演算方法であるブロックマッチング法では、ブロックサイズが大きいと動きベクトルの検出精度が低下してしまうが、ある程度のブロックサイズより小さくしても動きベクトルの検出精度が向上しないことが知られている。また、ブロックマッチングにおいては、ブロックサイズを小さくすると膨大な計算量となるため計算コストが掛かりすぎてしまうという課題があった。

また、動きベクトルの検出精度の向上とリアルタイム処理を実現させるため計算コストを抑制させるといった相反する要求の兼ね合いから、動きベクトルは所定の大きさのブロック単位で求められることとなる。そのため、動きベクトルが検出される検索ブロック内において、2つ以上の動きベクトルを持つ画素が存在している場合、補間により生成される画素からなる画像においては、ブロック単位で歪みが発生したり、補間により生成された画素と、周辺の画素とがミスマッチを起したり、さらには、ブロック単位で動きベクトルが同一となるため、補間により生成された画像の空間解像度が見かけ上劣化してしまうといった問題が発生していた。

本発明はこのような状況に鑑みてなされたものであり、特に、動きベクトルを利用した動き補正型画像処理において、画素単位の動きベクトルを正確に求めると共に、補間により生成された画素のエラーの発生する程度を求めて、補間による画素の生成方法を切替えることにより、計算量の低コスト化を図りつつ、ブロック単位で発生する補間により生成される画像の歪みや、補間により生成された画素の周辺画素とのミスマッチを抑制して画質を向上させるようにするものである。

本発明の画像処理装置は、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれブロック単位動きベクトルを検出するブロック単位動きベクトル検出手段と、ブロック単位動きベクトル検出手段により検出された複数のブロック単位動きベクトルに基づいて、注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分を計算する差分計算手段と、差分計算手段により計算された画素値の差分が最小となるブロック単位の動きベクトルを、注目画素の画素単位動きベクトルとして選択する画素単位動きベクトル選択手段と、画素単位動きベクトル選択手段により選択された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いて、フィールド間補間により注目画素の画素値を生成するフィールド間補間画素生成手段と、注目画素を垂直方向、または、水平方向に隣接する画素を用いて、フィールド内補間により注目画素の画素値を生成するフィールド内補間画素生成手段と、フィールド間画素生成手段により生成された注目画素の画素値、注目画素の垂直方向、または、水平方向に隣接する画素の画素値、フィールド内補間画素生成手段により生成された注目画素の画素値、並びに、注目画素と同位置の注目画素の存在する時間的に前後のフィールドの画素の画素値に基づいて、エラー発生量を計算するエラー発生量計算手段と、エラー発生量計算手段により計算されたエラー発生量に基づいて、フィールド内補間画素生成手段により生成された画素値、および、フィールド間補間画素生成手段により生成された画素値を用いて注目画素の画素値を決定する画素値決定手段とを備えることを特徴とする。

前記注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素のそれぞれの画素における補助情報を生成する補助情報生成手段をさらに設けるようにさせることができ、画素単位動きベクトル選択手段には、注目画素の生成に使用される第１のフィールド上の画素における補助情報と、第２のフィールド上の画素における補助情報とが一致して、かつ、差分計算手段により計算された画素値の差分が最小となるブロック単位動きベクトルを、注目画素の画素単位動きベクトルとして選択させるようにすることができる。

前記補助情報は、画素毎のエッジの方向を示すコードとするようにさせることができる。

前記注目画素の生成に使用される第１のフィールド上の画素における補助情報と、第２のフィールド上の画素における補助情報が一致しない場合、複数のブロックの基準位置と、注目画素との距離に応じて、複数のブロック毎のブロック単位動きベクトルを平滑化して、注目画素の画素単位の動きベクトルを計算する画素単位動きベクトル計算手段をさらに設けるようにさせることができる。

前記フィールド間画素生成手段により生成された注目画素の画素値と、注目画素の垂直方向、または、水平方向に隣接する画素の画素値との差分の絶対値の和をフィールド間補間画素空間遷移情報として計算するフィールド間補間画素空間遷移情報計算手段と、フィールド間補間画素生成手段により生成された注目画素の画素値と、注目画素と同位置の注目画素の存在する時間的に前後のフィールドの画素の画素値との差分の絶対値の和をフィールド間補間画素時間遷移情報として計算するフィールド間補間画素時間遷移情報計算手段と、フィールド内補間画素生成手段により生成された注目画素の画素値と、注目画素と同位置の注目画素の存在する時間的に前後のフィールドの画素の画素値との差分の絶対値の和をフィールド間補間画素時間遷移情報として計算するフィールド内補間画素時間遷移情報計算手段とをさらに設けるようにさせることができ、エラー発生量計算手段は、フィールド間補間画素空間遷移情報、フィールド間補間画素時間遷移情報、および、フィールド内補間画素時間遷移情報に基づいて、エラー発生量を計算させるようにすることができる。

本発明の画像処理方法は、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれブロック単位動きベクトルを検出するブロック単位動きベクトル検出ステップと、ブロック単位動きベクトル検出ステップの処理で検出された複数のブロック単位動きベクトルに基づいて、注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分を計算する差分計算ステップと、差分計算ステップの処理で計算された画素値の差分が最小となるブロック単位の動きベクトルを、注目画素の画素単位動きベクトルとして選択する画素単位動きベクトル選択ステップと、画素単位動きベクトル選択ステップの処理で選択された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いて、フィールド間補間により注目画素の画素値を生成するフィールド間補間画素生成ステップと、注目画素を垂直方向、または、水平方向に隣接する画素を用いて、フィールド内補間により注目画素の画素値を生成するフィールド内補間画素生成ステップと、フィールド間画素生成ステップの処理で生成された注目画素の画素値、注目画素の垂直方向、または、水平方向に隣接する画素の画素値、フィールド内補間画素生成ステップの処理で生成された注目画素の画素値、並びに、注目画素と同位置の注目画素の存在する時間的に前後のフィールドの画素の画素値に基づいて、エラー発生量を計算するエラー発生量計算ステップと、エラー発生量計算ステップの処理で計算されたエラー発生量に基づいて、フィールド内補間画素生成ステップの処理で生成された画素値、および、フィールド間補間画素生成ステップの処理で生成された画素値を用いて注目画素の画素値を決定する画素値決定ステップとを含むことを特徴とする。

本発明の記録媒体のプログラムは、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれブロック単位動きベクトルの検出を制御するブロック単位動きベクトル検出制御ステップと、ブロック単位動きベクトル検出制御ステップの処理で検出された複数のブロック単位動きベクトルに基づいて、注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分の計算を制御する差分計算制御ステップと、差分計算制御ステップの処理で計算された画素値の差分が最小となるブロック単位の動きベクトルの、注目画素の画素単位動きベクトルとしての選択を制御する画素単位動きベクトル選択制御ステップと、画素単位動きベクトル選択制御ステップの処理で選択された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いた、フィールド間補間による注目画素の画素値の生成を制御するフィールド間補間画素生成制御ステップと、注目画素を垂直方向、または、水平方向に隣接する画素を用いた、フィールド内補間による注目画素の画素値の生成を制御するフィールド内補間画素生成制御ステップと、フィールド間画素生成制御ステップの処理で生成された注目画素の画素値、注目画素の垂直方向、または、水平方向に隣接する画素の画素値、フィールド内補間画素生成制御ステップの処理で生成された注目画素の画素値、並びに、注目画素と同位置の注目画素の存在する時間的に前後のフィールドの画素の画素値に基づいた、エラー発生量の計算を制御するエラー発生量計算制御ステップと、エラー発生量計算制御ステップの処理で計算されたエラー発生量に基づいて、フィールド内補間画素生成制御ステップの処理で生成された画素値、および、フィールド間補間画素生成制御ステップの処理で生成された画素値を用いた注目画素の画素値の決定を制御する画素値決定制御ステップとを含むことを特徴とする。

本発明のプログラムは、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれブロック単位動きベクトルの検出を制御するブロック単位動きベクトル検出制御ステップと、ブロック単位動きベクトル検出制御ステップの処理で検出された複数のブロック単位動きベクトルに基づいて、注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分の計算を制御する差分計算制御ステップと、差分計算制御ステップの処理で計算された画素値の差分が最小となるブロック単位の動きベクトルの、注目画素の画素単位動きベクトルとしての選択を制御する画素単位動きベクトル選択制御ステップと、画素単位動きベクトル選択制御ステップの処理で選択された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いた、フィールド間補間による注目画素の画素値の生成を制御するフィールド間補間画素生成制御ステップと、注目画素を垂直方向、または、水平方向に隣接する画素を用いた、フィールド内補間による注目画素の画素値の生成を制御するフィールド内補間画素生成制御ステップと、フィールド間画素生成制御ステップの処理で生成された注目画素の画素値、注目画素の垂直方向、または、水平方向に隣接する画素の画素値、フィールド内補間画素生成制御ステップの処理で生成された注目画素の画素値、並びに、注目画素と同位置の注目画素の存在する時間的に前後のフィールドの画素の画素値に基づいた、エラー発生量の計算を制御するエラー発生量計算制御ステップと、エラー発生量計算制御ステップの処理で計算されたエラー発生量に基づいて、フィールド内補間画素生成制御ステップの処理で生成された画素値、および、フィールド間補間画素生成制御ステップの処理で生成された画素値を用いた注目画素の画素値の決定を制御する画素値決定制御ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明の画像処理装置および方法、並びにプログラムにおいては、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれブロック単位動きベクトルが検出され、検出された複数のブロック単位動きベクトルに基づいて、注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分が計算され、計算された画素値の差分が最小となるブロック単位動きベクトルが、注目画素の画素単位動きベクトルとして選択され、選択された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とが用いられて、フィールド間補間により注目画素の画素値が生成され、注目画素を垂直方向、または、水平方向に隣接する画素が用いられて、フィールド内補間により注目画素の画素値が生成され、フィールド間画素生成された注目画素の画素値、注目画素の垂直方向、または、水平方向に隣接する画素の画素値、フィールド内補間画素生成された注目画素の画素値、並びに、注目画素と同位置の注目画素の存在する時間的に前後のフィールドの画素の画素値に基づいて、エラー発生量が計算され、計算されたエラー発生量に基づいて、フィールド内補間画素生成された画素値、および、フィールド間補間画素生成された画素値を用いて注目画素の画素値が決定される。

本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明によれば、計算量の低コスト化を図りつつ、ブロック単位で発生する補間により生成される画像の歪みや、補間により生成された画素の周辺画素とのミスマッチを抑制することが可能となる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

即ち、本発明の画像処理装置は、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれブロック単位動きベクトルを検出するブロック単位動きベクトル検出手段（例えば、図２のブロック単位動きベクトル検出部１２）と、ブロック単位動きベクトル検出手段により検出された複数のブロック単位動きベクトルに基づいて、注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分を計算する差分計算手段（例えば、図３の動き補償部３６）と、差分計算手段により計算された画素値の差分が最小となるブロック単位の動きベクトルを、注目画素の画素単位動きベクトルとして選択する画素単位動きベクトル選択手段（例えば、図３の条件判定部３７）と、画素単位動きベクトル選択手段により選択された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いて、フィールド間補間により注目画素の画素値を生成するフィールド間補間画素生成手段（例えば、図３３の時間補間部１１２）と、注目画素を垂直方向、または、水平方向に隣接する画素を用いて、フィールド内補間により注目画素の画素値を生成するフィールド内補間画素生成手段（例えば、図３３の空間補間部１１１）と、フィールド間画素生成手段により生成された注目画素の画素値、注目画素の垂直方向、または、水平方向に隣接する画素の画素値、フィールド内補間画素生成手段により生成された注目画素の画素値、並びに、注目画素と同位置の注目画素の存在する時間的に前後のフィールドの画素の画素値に基づいて、エラー発生量を計算するエラー発生量計算手段（例えば、図３３のエラー処理部１１３）と、エラー発生量計算手段により計算されたエラー発生量に基づいて、フィールド内補間画素生成手段により生成された画素値、および、フィールド間補間画素生成手段により生成された画素値を用いて注目画素の画素値を決定する画素値決定手段（例えば、図３３の画素生成部１１４）とを備えることを特徴とする。

前記注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素とにおけるそれぞれの補助情報を生成する補助情報生成手段（例えば、図１６の現フィールドデータ用付加情報検出部５１）をさらに設けるようにさせることができ、画素単位動きベクトル選択手段には、注目画素の生成に使用される第１のフィールド上の画素における補助情報と、第２のフィールド上の画素における補助情報とが一致して、かつ、差分計算手段により計算された画素値の差分が最小となるブロック単位動きベクトルを、注目画素の画素単位動きベクトルとして選択させるようにすることができる。

前記注目画素の生成に使用される第１のフィールド上の画素における補助情報と、第２のフィールド上の画素における補助情報とが一致しない場合、複数のブロックの基準位置と、注目画素との距離に応じて、複数のブロック毎のブロック単位動きベクトルを平滑化して、注目画素の画素単位動きベクトルを計算する画素単位動きベクトル計算手段（例えば、図２７の動きベクトル平滑化部８２）をさらに設けるようにさせることができる。

前記フィールド間画素生成手段により生成された注目画素の画素値と、注目画素の垂直方向、または、水平方向に隣接する画素の画素値との差分の絶対値の和をフィールド間補間画素空間遷移情報として計算するフィールド間補間画素空間遷移情報計算手段（例えば、図３４のフィールド間補間画素空間遷移解析部１３３）と、フィールド間補間画素生成手段により生成された注目画素の画素値と、注目画素と同位置の注目画素の存在する時間的に前後のフィールドの画素の画素値との差分の絶対値の和をフィールド間補間画素時間遷移情報として計算するフィールド間補間画素時間遷移情報計算手段（例えば、図３４のフィールド間補間画素時間遷移解析部１３２）と、フィールド内補間画素生成手段により生成された注目画素の画素値と、注目画素と同位置の注目画素の存在する時間的に前後のフィールドの画素の画素値との差分の絶対値の和をフィールド間補間画素時間遷移情報として計算するフィールド内補間画素時間遷移情報計算手段（例えば、図３４のフィールド内補間画素時間遷移解析部１３１）とをさらに設けるようにさせることができ、エラー発生量計算手段は、フィールド間補間画素空間遷移情報、フィールド間補間画素時間遷移情報、および、フィールド内補間画素時間遷移情報に基づいて、エラー発生量を計算させるようにすることができる。

本発明の画像処理方法は、ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれブロック単位動きベクトルを検出するブロック単位動きベクトル検出ステップ（例えば、図４のフローチャートのステップＳ１の処理）と、ブロック単位動きベクトル検出ステップの処理で検出された複数のブロック単位動きベクトルに基づいて、注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分を計算する差分計算ステップ（例えば、図５のフローチャートのステップＳ１３乃至Ｓ１７の処理）と、差分計算ステップの処理で計算された画素値の差分が最小となるブロック単位の動きベクトルを、注目画素の画素単位動きベクトルとして選択する画素単位動きベクトル選択ステップ（例えば、図４のフローチャートのステップＳ４の処理）と、画素単位動きベクトル選択ステップの処理で選択された画素単位動きベクトルにより、第１のフィールド上の画素と第２のフィールド上の画素とを用いて、フィールド間補間により注目画素の画素値を生成するフィールド間補間画素生成ステップ（例えば、図３６のフローチャートのステップＳ３２２の処理）と、注目画素を垂直方向、または、水平方向に隣接する画素を用いて、フィールド内補間により注目画素の画素値を生成するフィールド内補間画素生成ステップ（例えば、図３６のフローチャートのステップＳ３２１の処理）と、フィールド間画素生成ステップの処理で生成された注目画素の画素値、注目画素の垂直方向、または、水平方向に隣接する画素の画素値、フィールド内補間画素生成ステップの処理で生成された注目画素の画素値、並びに、注目画素と同位置の注目画素の存在する時間的に前後のフィールドの画素の画素値に基づいて、エラー発生量を計算するエラー発生量計算ステップ（例えば、図３６のフローチャートのステップＳ３２３の処理）と、エラー発生量計算ステップの処理で計算されたエラー発生量に基づいて、フィールド内補間画素生成ステップの処理で生成された画素値、および、フィールド間補間画素生成ステップの処理で生成された画素値を用いて注目画素の画素値を決定する画素値決定ステップ（例えば、図３６のフローチャートのステップＳ３２５，Ｓ３２７の処理）とを含むことを特徴とする。

尚、記録媒体、および、プログラムについての対応関係は、画像処理方法と同様であるので、その説明は省略する。

図２は、本発明を適用した画像処理装置２０の一実施の形態の構成を示す図である。尚、図２の画像処理装置２０の構成において、図１の画像処理装置１と対応する構成については、同一の符号を付してあり、その説明は、適宜省略するものとする。

画素単位動きベクトル検出部２１は、入力データである現フィールドデータ、画像メモリ１１−２より供給される前遅延フィールドデータ、および、ブロック単位動きベクトル検出部１２より供給されるブロック単位動きベクトルに基づいて、画素単位で動きベクトルを生成し、画素単位動きベクトルとして画像合成部２２に供給する。

画像合成部２２は、入力データである現フィールドデータ、画像メモリ１１−１より供給される遅延フィールドデータ、画像メモリ１１−２より供給される前遅延フィールドデータ、および、画素単位動きベクトル検出部２１より供給される画素単位動きベクトルに基づいて、現フィールドと前遅延フィールドとを合成することにより新たなフィールドを生成して後段の装置に出力する。

画像合成部２２は、生成した新たなフィールドを含む出力データとして、例えば、走査線変換処理においては、入力されたインタレース画像をプログレッシブ画像に変換して出力したり、解像度変換またはフィールド周波数変換を実行する。ここで、後段の装置とは、例えば、その他の画像処理装置であったり、テレビジョン受像機のような画像表示装置であったり、VTR（Video Tape Recoder）のような画像記録装置であっても良い。

次に、図３を参照して、画素単位動きベクトル検出部２１の詳細な構成について説明する。

ブロック単位動きベクトル用メモリ３１は、ブロック単位動きベクトル検出部１２より供給されるブロック単位動きベクトルを格納し、注目ブロックの動きベクトルだけでなく、その近傍の動きベクトルも含めた複数の動きベクトルを同時に動き補償部３６に供給する。尚、注目画素とは、処理対象となる画素であり、注目ブロックとは、処理対象となる注目画素を含む複数の画素からなるブロックである。

現フィールドデータ用前処理部３２は、LPF(Low Pass Filter)などから構成され、入力される現フィールドデータのノイズの影響を除去する前処理を行い、処理結果となるノイズ除去された現フィールドデータを現フィールドデータ用バッファ３３に供給する。なお、現フィールドデータ用前処理部３２は、LPFに限らず、例えば、メディアンフィルタのようなものでもよく、さらには、現フィールドデータ用前処理部３２を設けず、前処理を行わないようにしてもよい。

現フィールドデータ用バッファ３３は、現フィールドデータ用前処理部３２より供給された前処理済の現フィールドデータを格納する。現フィールドデータ用バッファ３３は、例えば、メモリなどから構成されており、現フィールドデータのうち処理に必要なのデータが保持できる容量があれば良い。現フィールドデータ用バッファ３３は、動き補償部３６からの要求に応じて、メモリ上をランダムにアクセスすることにより読み出したデータを動き補償部３６に供給する。

前遅延フィールドデータ用前処理部３４は、現フィールドデータ用前処理部３２と同様にLPFなどから構成され、画像メモリ１１−２より供給される前遅延フィールドデータのノイズの影響を除去する前処理を行い、処理結果を前遅延フィールド前処理済データとして前遅延フィールドデータ用バッファ３５に供給する。

前遅延フィールドデータ用バッファ３５は、現フィールドデータ用バッファ３３と同様に、例えば、メモリなどで構成されており、前遅延フィールドデータ用前処理部３４より供給される前処理済前遅延フィールドデータを格納する。前遅延フィールドデータ用バッファ３５は、動き補償部３６からの要求に応じて、メモリ上をランダムにアクセスすることにより読み出した前遅延フィールドデータを動き補償部３６に供給する。

動き補償部３６は、動き補償処理を実行し、ブロック単位動きベクトル用メモリ３１より、注目ブロックとその近傍の複数のブロックのブロック単位の動きベクトルを読み出し、各動きベクトルが、注目画素を通るとき、注目画素の存在するフィールドから見て、時間的に前後のフレームとなる現フィールド上と前遅延フィールド上を、その動きベクトルが通る位置の画素間の画素値の差分を求め、差分データとして動きベクトル毎に条件判定部３７に出力する。このとき、動き補償部３６は、差分データに対応する動きベクトルも条件判定部３７に供給する。

条件判定部３７は、条件判定処理を実行し、動きベクトル毎に求められた差分データのうち、最小となる差分データを選択し、最小となった差分データに対応する動きベクトルを識別する選択信号と、比較した差分データに対応する動きベクトルを画素ベクトル選択部３８に供給する。

画素ベクトル選択部３８は、選択処理を実行し、条件判定部３７より供給された選択信号に基づいて、差分データが最小となるブロック単位動きベクトルを注目画素の画素単位動きベクトルとして選択し、画像合成部２２に出力する。

次に、図４のフローチャートを参照して、図２の画像処理装置２０による画像処理について説明する。

ステップＳ１において、ブロック単位動きベクトル検出部１２は、入力される原フィールドデータと画像メモリ１１−２より供給される前遅延フィールドデータに基づいて、ブロックマッチングによりブロック単位で動きベクトルを求め、画素単位動きベクトル検出部２１に出力する。尚、ブロック単位の動きベクトルの検出方法については、従来のブロックマッチング法を用いた検出方法と同様であるので、その説明は省略する。

ステップＳ２において、画素単位動きベクトル検出部２１の動き補償部３６は、動き補償処理を実行して、処理結果として処理に使用したブロック単位の動きベクトルと差分データを条件判定部３７に出力する。

ここで、図５のフローチャートを参照して、動き補償部３６による動き補償処理について説明する。

ステップＳ１１において、動き補償部３６は、処理回数をカウントするための図示せぬカウンタyを初期化して０にする。ステップＳ１２において、動き補償部３６は、処理回数をカウントするための図示せぬカウンタxを初期化して０にする。

ステップＳ１３において、動き補償部３６は、現フィールドデータ用バッファ３３より現フィールドデータ用前処理部３２により前処理された現フィールドデータと、前遅延フィールドデータ用バッファ３５より前遅延フィールドデータ用前処理部３４により前処理された前遅延フィールドデータとを読み出し、図５で示される生成しようとしている注目画素（ｘ，ｙ）の属するブロックである生成ブロックと、その近傍の複数のブロックＡ乃至Ｅのうち、ブロックＡのブロック単位動きベクトルである動きベクトルａに基づいて、注目画素（ｘ，ｙ）の生成に使用される現フィールド上の画素a_prと前遅延フィールド上の画素a_deの画素値を求め、さらに、その差分a_diffを求め、計算に用いたブロック単位動きベクトルａと対応付けて条件判定部３７に出力する。尚、以降の説明においては、注目画素が存在するブロックを注目ブロックと称し、その近傍のブロックを近傍ブロックと称し、さらに、注目画素のフィールドを生成フィールドと称するものとする。

すなわち、例えば、図６で示されるように、注目画素の存在する生成フィールドのサイズがxsize×ysizeであって、注目ブロックが図６中のブロックＣ（図中では、黒く表示されているブロックである）であった場合、その近傍ブロックは、ブロックＡ，Ｂ，Ｄ，Ｅ（図中では斜線で示されているブロックである）の４ブロックであるものとする。ここで、各ブロックのサイズは、いずれも同一であり、例えば、図７で示されるように、step_x×step_yである。さらに、注目ブロックと近傍ブロックであるブロックＡ乃至Ｅのブロック単位ベクトルは、例えば、図８で示されるように、それぞれ動きベクトルａ乃至ｅであるものとする。

さらに、生成フィールドは、時間的に前遅延フィールドと現フィールドの間に存在するものであり、前遅延フィールドと現フィールドの間隔を１とすれば、図９で示されるように、現フィールドまでの間隔をαとするとき、前遅延フィールドまでの距離は（１−α）で表されることになる。

また、注目画素（ｘ，ｙ）の生成に使用する現フィールド上の画素a_prと前遅延フィールド上の画素a_deとは、例えば、ブロックＡのブロック単位動きベクトルａを（Ｘａ，Ｙａ）で表すものとすると、図１０で示されるように、画素a_prは、現フィールド上の座標（ｘ＋α×Ｘａ，ｙ＋α×Ｙａ）上の画素であり、画素a_deは、前遅延フィールド上の座標（ｘ−（１−α）×Ｘａ，ｙ−（１−α）×Ｙａ）上の画素となる。

従って、ブロック単位動きベクトルａが（Ｘａ，Ｙａ）で表される場合、動き補償部３６は、現フィールド上の座標（ｘ＋α×Ｘａ，ｙ＋α×Ｙａ）上の画素a_prの画素値と、前遅延フィールド上の座標（ｘ−（１−α）×Ｘａ，ｙ−（１−α）×Ｙａ）上の画素a_deの画素値の差分a_diffを求め、演算に用いたブロック単位動きベクトルａと対応付けて条件判定部３７に供給する。

すなわち、動き補償部３６は、ブロック単位動きベクトルａが、生成フィールド上の注目画素（ｘ，ｙ）を通るときに、現フィールドを通る位置の画素（図１０中のブロック単位動きベクトルａの終点となる位置の画素）の画素値と、前遅延フィールドを通る位置の画素（図１０中のブロック単位動きベクトルａの始点となる位置の画素）の画素値との差分を差分a_diffとして計算する。

ステップＳ１４において、動き補償部３６は、ステップＳ１３の処理と同様に、ブロックＢのブロック単位動きベクトルｂに基づいて、注目画素（ｘ，ｙ）の生成に使用する現フィールド上の画素b_prと前遅延フィールド上の画素b_deの画素値を求め、さらに、その差分b_diffを求め、計算に用いた動きベクトルbを対応付けて条件判定部３７に出力する。

ステップＳ１５において、動き補償部３６は、ステップＳ１３の処理と同様に、ブロックＣのブロック単位動きベクトルｃに基づいて、注目画素（ｘ，ｙ）の生成に使用する現フィールド上の画素c_prと前遅延フィールド上の画素c_deの画素値を求め、さらに、その差分c_diffを求め、計算に用いた動きベクトルcを対応付けて条件判定部３７に出力する。

ステップＳ１６において、動き補償部３６は、ステップＳ１３の処理と同様に、ブロックＤのブロック単位動きベクトルｄに基づいて、注目画素（ｘ，ｙ）の生成に使用する現フィールド上の画素d_prと前遅延フィールド上の画素d_deの画素値を求め、さらに、その差分d_diffを求め、計算に用いた動きベクトルdを対応付けて条件判定部３７に出力する。

ステップＳ１７において、動き補償部３６は、ステップＳ１３の処理と同様に、ブロックＥのブロック単位動きベクトルｅに基づいて、注目画素（ｘ，ｙ）の生成に使用する現フィールド上の画素e_prと前遅延フィールド上の画素e_deの画素値を求め、さらに、その差分e_diffを求め、計算に用いた動きベクトルeを対応付けて条件判定部３７に出力する。

ステップＳ１８において、動き補償部３６は、カウンタxが、フィールドの水平方向のサイズに相当するxsizeであるか否かを判定し、xsizeではないと判定した場合、ステップＳ１９において、カウンタxを１インクリメントして、その処理は、ステップＳ１３に戻る。

ステップＳ１８において、カウンタｘがxsizeではないと判定された場合、ステップＳ２０において、動き補償部３６は、カウンタｙがysizeであるか否かを判定し、例えば、ysizeではないと判定したとき、ステップＳ２１において、カウンタｙを１インクリメントして、その処理は、ステップＳ１２に戻り、それ以降の処理が繰り返される。

ステップＳ２０において、カウンタｙがysizeであると判定された場合、その処理は、終了する。

すなわち、ステップＳ１３乃至Ｓ１７の処理が、生成フィールド上の各画素について繰り返され、各画素について、自らの属するブロックと、その近傍のブロックのブロック単位動きベクトルの前遅延フィールド上の始点位置の画素値と、現フィールド上の終点位置の画素値との差分a_diff乃至e_diffが求められ、演算に使用されたブロック単位動きベクトルと対応付けて条件判定部３７に供給され、ステップS１８乃至Ｓ２１の処理により、生成フィールド上の全ての画素について、その処理がなされたと判定されるまで繰り返される。

ここで、図４のフローチャートの説明に戻る。

ステップＳ４において、動き補償処理が成されると、ステップＳ５において、条件判定部３７は、条件判定処理を実行し、各画素について画素単位動きベクトルの候補となるブロック単位動きベクトルａ乃至ｅのいずれかを選択する信号を画素ベクトル選択部３８に供給する。

ここで、図１１のフローチャートを参照して、条件判定部３７による条件判定処理について説明する。

ステップＳ３１において、条件判定部３７は、動き補償部３６より供給された差分b_diffと差分d_diffとを比較し、差分b_diffが差分d_diffよりも小さいか否かを判定する。すなわち、条件判定部３７は、注目ブロックからみて水平方向に隣接する近傍ブロックの差分b_diffと差分d_diffとの大小を比較する。

例えば、ステップＳ３１において、差分b_diffが差分d_diffよりも小さいと判定された場合、条件判定部３７は、ステップＳ３２において、水平方向の差分h_diffとしてb_diffを設定し（h_diff＝b_diffに設定し）、水平方向の近傍ブロックの代表となる動きベクトルhを動きベクトルｂに設定する（h＝bに設定する）。

一方、例えば、ステップＳ３１において、差分b_diffが差分d_diffよりも小さくないと判定された場合、条件判定部３７は、ステップＳ３３において、水平方向の差分h_diffとしてd_diffを設定し（h_diff＝d_diffに設定し）、水平方向の近傍ブロックの代表となる動きベクトルhを動きベクトルdに設定する（h＝dに設定する）。

ステップＳ３４において、条件判定部３７は、動き補償部３６より供給された差分a_diffと差分e_diffとを比較し、差分a_diffが差分e_diffよりも小さいか否かを判定する。すなわち、条件判定部３７は、注目ブロックからみて垂直方向に隣接する近傍ブロックの差分a_diffと差分e_diffとの大小を比較する。

例えば、ステップＳ３４において、差分a_diffが差分e_diffよりも小さいと判定された場合、条件判定部３７は、ステップＳ３５において、垂直方向の差分v_diffとしてa_diffを設定し（v_diff＝a_diffに設定し）、垂直方向の近傍ブロックの代表となる動きベクトルvを動きベクトルeに設定する（v＝eに設定する）。

一方、例えば、ステップＳ３４において、差分a_diffが差分e_diffよりも小さくないと判定された場合、条件判定部３７は、ステップＳ３６において、垂直方向の差分v_diffとしてa_diffを設定し（v_diff＝a_diffに設定し）、垂直方向の近傍ブロックの代表となる動きベクトルvを動きベクトルaに設定する（v＝aに設定する）。

ステップＳ３７において、条件判定部３７は、c_diffが所定の閾値thよりも小さいか否かを判定し、例えば、所定の閾値thよりも小さい場合、ステップＳ３８において、選択信号PSELとしてc_diffを採用したことを示すCと共に、ブロック単位動きベクトルｃを画素ベクトル選択部３８に供給する。

ステップＳ３７において、差分c_diffが閾値thよりも小さくないと判定された場合、ステップＳ３９において、条件判定部３７は、差分h_diffが差分v_diffよりも小さいか否かを判定し、例えば、差分h_diffが差分v_diffよりも小さいと判定した場合、ステップＳ４０に進む。

ステップＳ４０において、条件判定部３７は、h_diffが所定の閾値thよりも小さいか否かを判定し、例えば、所定の閾値thよりも小さい場合、ステップＳ４１において、選択信号PSELとしてh_diffを採用したことを示すHと共に、ブロック単位動きベクトルhを画素ベクトル選択部３８に供給する。また、ステップＳ４０において、h_diffが所定の閾値thよりも小さくない場合、その処理は、ステップＳ３８に進む。

ステップＳ３９において、差分h_diffが差分v_diffよりも小さくないと判定された場合、ステップＳ４２において、条件判定部３７は、v_diffが所定の閾値thよりも小さいか否かを判定し、例えば、所定の閾値thよりも小さい場合、ステップＳ４３において、選択信号PSELとしてv_diffを採用したことを示すVと共に、ブロック単位動きベクトルvを画素ベクトル選択部３８に供給する。また、ステップＳ４２において、v_diffが所定の閾値thよりも小さくない場合、その処理は、ステップＳ３８に進む。

すなわち、ステップＳ３１乃至Ｓ３３の処理により、注目ブロックに対して水平方向に隣接する近傍ブロック間の差分のうち小さい方が水平方向の差分として設定され、ステップＳ３４乃至Ｓ３６の処理により、注目ブロックに対して垂直方向に隣接する近傍ブロック間の差分のうち小さい方が垂直方向の差分として設定される。

そして、ステップＳ３７において、注目ブロックの差分が所定の閾値thよりも小さい場合、ステップＳ３８において、選択信号としてc_diffを選択したことを示すCが画素ベクトル選択部３８に供給される。また、ステップＳ３７において、注目ブロックの差分が所定の閾値thよりも小さくない場合、ステップＳ３９において、水平方向の差分h_diffと垂直方向の差分v_diffとの大小関係から差分が小さい方が選択され、ステップＳ４０，Ｓ４２において、それぞれ所定の閾値thよりも小さければ、ステップＳ４１，Ｓ４３の処理により、それぞれ選択信号として、それぞれh_diff，v_diffを選択したことを示すPSEL＝H，Vを画素ベクトル選択部３８に供給する。また、ステップＳ４０，Ｓ４２において、所定の閾値よりも小さくない場合、ステップＳ３８において、選択信号としてc_diffを選択したことを示すCが画素ベクトル選択部３８に供給される。

結果として、差分a_diff乃至e_diffのうち、c_diffが所定の閾値thよりも小さければ、選択信号PSEL＝Cが画素ベクトル選択部３８に供給され、c_diffが所定の閾値thよりも小さくなければ、差分a_diff，b_diff，d_diff，e_diffのうち、最も小さなものであって、かつ、所定の閾値thよりも小さな差分である選択信号PSEL＝HまたはVが画素ベクトル選択部３８に供給され、さらに、いずれの差分も所定の閾値thよりも小さくない場合、選択信号PSEL＝Cが画素ベクトル選択部３８に供給される。

次に、図１２のフローチャートを参照して、画素ベクトル選択部３８による選択処理について説明する。

ステップＳ６１において、画素ベクトル選択部３８は、選択信号PSELがCであるか否かを判定し、例えば、選択信号PSELがCであると判定した場合、ステップＳ６２において、ブロック単位動きベクトルcを、注目画素（ｘ，ｙ）の画素単位動きベクトルに設定し、画素の位置情報と共に画像合成部１３に出力する。

ステップＳ６１において、選択信号PSELがCではないと判定された場合、ステップＳ６３において、画素ベクトル選択部３８は、選択信号PSELがHであるか否かを判定し、例えば、選択信号PSELがHであると判定した場合、ステップＳ６４において、ブロック単位動きベクトルh（すなわち、ブロック単位動きベクトルｂまたはｄ）を、注目画素（ｘ，ｙ）の画素単位動きベクトルに設定し、画素の位置情報と共に画像合成部１３に出力する。

ステップＳ６３において、選択信号PSELがＨではないと判定された場合、すなわち、選択信号PSELがVであると判定された場合、ステップＳ６５において、画素ベクトル選択部３８は、ブロック単位動きベクトルv（すなわち、ブロック単位動きベクトルａまたはｅ）を、注目画素（ｘ，ｙ）の画素単位動きベクトルに設定し、画素の位置情報と共に画像合成部１３に出力する。

以上の処理により、選択信号に対応した画素単位動きベクトルが設定される。

ここで、図４のフローチャートの説明に戻る。

ステップＳ５において、画像合成部１３は、画素単位動きベクトルの情報に基づいて、現フィールドデータ、遅延フィールドデータ、前遅延フィールドデータを合成して、解像度を変換した画像データを出力する。すなわち、例えば、生成フィールド上の注目画素の画素単位動きベクトルが、ブロック単位動きベクトルａであるように設定されていた場合、画像合成部１３は、上述した図１０で示されるように、生成フィールド上の注目画素について、対応する画素単位動きベクトルａを用いて、画素単位動きベクトルａが注目画素を通るときの前遅延フィールド上の画素単位動きベクトルａの始点となる位置の画素の画素値と、現フィールド上の画素単位動きベクトルａの終点となる位置の画素の画素値とを用いて、例えば、その画素間の平均値を取ることによりフィールド間補間して画素を生成し、さらに、必要に応じて遅延フィールドデータと合成して、画像を生成し、出力する。

すなわち、以上の処理により、生成しようとする画素の属するブロックを含む、その近傍のブロックのブロック単位ベクトルを、生成しようとする画素位置における画素単位動きベクトルの候補とし、その候補となっているブロック単位動きベクトルを用いて、実際にフィールド間補間に使用される画素間の画素値の差分が最も小さい、すなわち、フィールド間補間により生成される新たな画素が、フィールド間補間に使用される画素と最も相関の高い画素となるブロック単位動きベクトルが、画素単位動きベクトルに設定される。結果として、画素単位動きベクトルを用いてフィールド間補間により生成された画素は、画素単位で周辺と相関の高いものとすることが可能となり、ブロック単位動きベクトルを用いた場合に比べて、より自然な画像となる。

また、この処理により、例えば、図１３で示されるような白枠で示される領域の画像の場合、従来の処理においては、ブロック単位で動きベクトルが設定されていたため、ブロックとして設定された領域内で異なる動きのある画素が存在しても（図１３においては、背景が静止しており、人物の肩の部分が移動している）、ブロック単位で同一の動きベクトルが使用されるため、図１４で示されるように、ブロック単位で階段状に同様の位置関係にある現フィールドと前遅延フィールド上の画素がフィールド間補間に使用されることにより、画素が生成された画像上に、例えば、階段状のシャギーが発生してしまうようなことがあった。尚，図１４，図１５は、各画素の動きベクトルの水平方向の大きさを濃度にして表したものである。図１４においては、白枠で括られた各ブロック内に数値が示されており、これらの数値は、各ブロックのブロック単位の画素の動きベクトルの水平方向の大きさを示している。今の場合、注目ブロックが＋１２であり、上に隣接した近傍ブロックが０であり、下に隣接した近傍ブロックが１３であり、左に隣接したブロックが−１であり、右に隣接したブロックが＋１２であり、注目ブロックでは、動きのある画素の存在する領域と、動きのない画素の存在する領域が混在しているにも関わらず、同一の動きベクトルが設定されている。

一方、本発明を利用した処理においては、画素単位で動きベクトルが設定され、さらに、それらの動きベクトルは、フィールド間補間により生成される画素がフィールド間補間に使用される画素間の差分が周辺のブロック単位動きベクトルの中で最小のものであるので、周辺の画素との相関が高いものとなり、例えば、図１５の白枠部分で示される注目ブロック内に動きのある画素の存在する領域と動きのない画素の存在する領域との境界部分についても、それぞれ区別して動きベクトルが生成されることになるので、結果として、自然な画素生成を実現することが可能となる。

尚、フィールドには、位相の異なる２つのフィールドがあり、それぞれトップフィールドとボトムフィールドと称される。トップフィールドは、最上段の水平走査線上から1ラインおきに画素が配置され、それ以外のラインには、画素がなく、ボトムフィールドは、最上段の1ライン下の水平走査線から1ラインおきに画素が生成され、それ以外のラインに画素が存在しない。すなわち、トップフィールドとボトムフィールドでは、画素の存在するラインが1ラインずれた関係となっている。このため、この例においては、現フィールドと前遅延フィールドは、同位相のフィールドであるが、遅延フィールドは、現フィールドと前遅延フィールド上における画素配置が1ラインずれた異なる位相のフィールドである。

従って、図９で示されるαを１／２に設定した場合、生成フィールドは、遅延フィールドそのものとなり、遅延フィールド上の画素が存在しないライン上に、現フィールドと前遅延フィールド上に存在する画素の情報に基づいて、遅延フィールド上の画素が存在しないライン上に画素を生成し、さらに、遅延フィールドデータと合成することで、インタレース画像をプログレッシブ画像に変換することが可能となる。

また、以上においては、画素単位動きベクトルの候補として、注目ブロックのブロック単位動きベクトルの他に近傍ブロックとして、注目ブロックに水平方向、および、垂直方向に隣接するブロックである近傍ブロックのブロック単位動きベクトルを使用する例について説明してきたが、近傍ブロックは、それ以外の位置のブロックでもよいし、また、数についても、上述した４ブロックのみならず、例えば、注目ブロックの左右の斜上、または、左右の斜下の位置のブロックを含めた８ブロックとするようにしても良い。また、同位相の異なるフィールド上のブロックを近傍ブロックとして使用してもよく、例えば、前後の同一位相のフィールド（生成フィールドに対して２フィールド前のフィールドと２フィールド後のフィールド）上の注目ブロックと同位置のブロックなどを使用してもよい。

ところで、図３の画素単位動きベクトル検出部２１の場合、この方法では、画素単位の動きベクトルを導出する際に、複数のブロック単位動きベクトルの候補を用いて、フィールド間補間に使用する画素間の画素値の差分が小さい、すなわち、相関の高い画素間を始点と終点とする動きベクトルを画素単位動きベクトルとするため、例えば、同様の形状が繰り返される画像や複雑な形状を持つ画像では、画素単位の動きベクトルが誤検出される恐れがある。この誤検出された画素単位動きベクトルがフィールド間補間に使用されると、補間により生成された画素からなる画像に、空間的、または、時間的な不連続性が生じる恐れがあり、結果として、画質の劣化を招く恐れがある。

そこで、注目ブロックと近傍ブロックの複数のブロック単位動きベクトルを画素単位の動きベクトルの候補として、いずれかを選択する際、動きベクトルに対応したフィールド間補間に使用される画素間の差分のみならず、その他の付加情報における選択条件を付加することにより正確に画素単位動きベクトルを選択できるようにしても良い。

図１６は、注目ブロックと近傍ブロックの複数のブロック単位動きベクトルを画素単位の動きベクトルの候補として、いずれかを選択する際、動きベクトルに対応したフィールド間補間に使用される画素間の差分のみならず、その他の付加情報における選択条件を付加することにより、より正確に画素単位動きベクトルを選択できるようにした画素単位動きベクトル検出部２１の構成を示している。尚、図３の画素単位動きベクトル検出部２１と対応する構成については、同一の符号を付してあり、その説明は適宜省略するものとする。

図１６の画素単位動きベクトル検出部２１において、図３の画素単位動きベクトル検出部２１と異なるのは、現フィールド付加情報検出部５１、現フィールド付加情報用バッファ５２、前遅延フィールド付加情報検出部５３、および、前遅延フィールド付加情報用バッファ５４が新たに加えられており、さらに、動き補償部３６および条件判定部３７に代えて動き補償部５５および条件判定部５６を設けている点である。

現フィールド付加情報検出部５１は、現フィールドデータを取得し、所定の手順に従って付加情報として、画素単位の２次元のエッジの存在する方向を示すコードを計算する。なお、現フィールド付加情報検出部５１は、図１６で示されているように、現フィールドデータをそのまま使用して画素単位の２次元のエッジの存在する方向を示すコードを計算するようにしてもよいが、現フィールドデータ用前処理部３２により前処理がなされた現フィールドデータを使用して画素単位の２次元のエッジの存在する方向を示すコードを計算するようにしてもよい。

現フィールド付加情報用バッファ５２は、現フィールド付加情報検出部５１より供給された付加情報を取得し、格納する。現フィールド付加情報用バッファ５２は、動き補償部５５からの要求に応じて、データをを動き補償部５５に供給する。

前遅延フィールド付加情報検出部５３は、前遅延フィールドデータを取得し、所定の手順に従って付加情報として、画素単位の２次元のエッジの存在する方向を示すコードを計算する。なお、前遅延フィールド付加情報検出部５３は、図１６で示されているように、前遅延フィールドデータをそのまま使用して画素単位の２次元のエッジの存在する方向を示すコードを計算するようにしてもよいが、前遅延フィールドデータ用前処理部３４により前処理がなされた前遅延フィールドデータを使用して画素単位の２次元のエッジの存在する方向を示すコードを計算するようにしてもよい。

前遅延フィールド付加情報用バッファ５４は、前遅延フィールド付加情報検出部５３より供給された付加情報を取得し、格納する。前遅延フィールド付加情報用バッファ５４は、動き補償部５５からの要求に応じて、データをを動き補償部５５に供給する。

動き補償部５５は、基本的には動き補償部３６と同様に動き補償処理を実行するものであるが、差分データとブロック単位動きベクトルを条件判定部５６に供給するのみならず、現フィールド付加用バッファ５２、および、前遅延フィールド付加用バッファ５４より取得した付加情報に基づいて、複数の候補となるブロック単位動きベクトル毎にフィールド間補間に使用される画素間の付加情報を比較し、比較結果を条件判定部５６に出力する。

条件判定部５６は、条件判定処理を実行し、上述した差分データに加えて比較結果を考慮して、差分データが小さく、かつ、比較結果が一致する動きベクトルを識別する選択信号と、比較した差分データに対応する動きベクトルを画素ベクトル選択部３８に供給する。

次に、図１７のフローチャートを参照して、図２１の画素単位動きベクトル検出部２１を備えた画像処理装置２０による画像処理について説明する。尚、図１７のステップＳ７１，Ｓ７５，Ｓ７６の処理は、図４のフローチャートを参照して説明したステップＳ１，Ｓ４，Ｓ５の処理と同様であるので、その説明は省略する。

ステップＳ７２において、現フィールド付加情報検出部５１、および、前遅延フィールド付加情報検出部５３は、それぞれ付加情報検出処理を実行し、現フィールドデータと前遅延フィールドデータのそれぞれについて、画素単位エッジの存在する方向を示すコードを計算し、現フィールド付加情報バッファ５２および前遅延フィールド付加情報バッファ５４に格納させる。

ここで、図１８のフローチャートを参照して、現フィールド付加情報検出部５１による付加情報検出処理を説明する。

ステップＳ８１において、現フィールド付加情報検出部５１は、現フィールド上の各画素について、水平エッジの有無を示すコードである水平エッジコードEHを計算する。すなわち、例えば、図１９で示されるように、注目画素が画素Ｄ（ｘ，ｙ）であった場合、現フィールド付加情報検出部５１は、図中の注目画素の左側に隣接する画素Ｄ（ｘ−１，ｙ）との画素値の差分（Ｄ（ｘ，ｙ）−Ｄ（ｘ−１，ｙ））を水平エッジコードEHとして演算する。

ステップＳ８２において、現フィールド付加情報検出部５１は、現フィールドの各画素について、垂直エッジの有無を示すコードである垂直エッジコードEＶを計算する。すなわち、例えば、図１９で示されるように、注目画素が画素Ｄ（ｘ，ｙ）であった場合、現フィールド付加情報検出部５１は、図中の注目画素の上側に隣接する画素Ｄ（ｘ，ｙ−１）との画素値の差分（Ｄ（ｘ，ｙ）−Ｄ（ｘ，ｙ−１））を垂直エッジコードEＶとして計算する。尚、図１９においては、水平方向の座標は、右に向かって上昇し、垂直方向の座標は、下に向かった上昇するものとする。

ステップＳ８３において、現フィールド付加情報検出部５１は、現フィールドの各画素について、所定のテーブルに基づいて、水平エッジコードEHと垂直エッジコードEVとのそれぞれの値が、正の値であるか、０であるか、または、負の値であるかに基づいて、エッジの方向を示すコードを決定し、決定したエッジの方向のコードを画素位置の情報に対応付けて現フィールド付加情報バッファ５２に格納させる。

すなわち、エッジの方向のコードを決定するテーブルは、例えば、図２０で示されるようなテーブルであり、水平エッジコードEHと垂直エッジコードEVが正の値、負の値、または０のいずれであるかにより決定される。従って、図２０で示されるテーブルを使用する場合、現フィールド付加情報検出部５１は、水平エッジコードEHと垂直エッジコードEVとが、いずれも０である場合、エッジは存在しないものとみなし、コードを０とする。また、水平エッジコードEHと垂直エッジコードEVとが、いずれも負の値である場合、エッジは注目画素からみて左上方向の位置に存在するものとして、コードは１とされる。さらに、水平エッジコードEHが０であって、垂直エッジコードEVが負の値である場合、エッジは注目画素からみて上方向の位置に存在するものとして、コードは２とされる。また、水平エッジコードEHが正の値であって、垂直エッジコードEVが負の値である場合、エッジは注目画素からみて右上方向の位置に存在するものとして、コードは３とされる。さらに、水平エッジコードEHが正の値であって、垂直エッジコードEVが、０である場合、エッジは注目画素からみて右方向の位置に存在するものとして、コードは４とされる。また、水平エッジコードEHと垂直エッジコードEVとが、いずれも正の値である場合、エッジは注目画素からみて右下方向の位置に存在するものとして、コードは５とされる。さらに、水平エッジコードEHが０であって、垂直エッジコードEVが正の値である場合、エッジは注目画素からみて下方向の位置に存在するものとして、コードは６とされる。また、水平エッジコードEHが負の値であって、垂直エッジコードEVが、正の値である場合、エッジは注目画素からみて左下方向の位置に存在するものとして、コードは７とされる。さらに、水平エッジコードEHが負の値であって、垂直エッジコードEVが０である場合、エッジは注目画素からみて左方向の位置に存在するものとして、コードは８とされる。

以上の処理により、現フィールドデータ上の各画素について隣接する画素間との大小関係からエッジの存在する可能性を示す情報を、エッジの方向を示すコードとして各画素に付加することができる。尚、以上においては、現フィールド付加情報検出部５１による付加情報検出処理について説明してきたが、前遅延フィールド付加情報検出部５３においても、前遅延フィールドから同様の処理により付加情報が検出されることになるので、その処理の説明は省略する。

ここで、図１７のフローチャートの説明に戻る。

ステップＳ７２において、付加情報検出処理が実行されれた後、ステップＳ７３において、動き補償部５５は、動き補償処理を実行し、差分データおよび比較結果を条件判定部５６に出力する。

ここで、図２１のフローチャートを参照して、動き補償部５５による動き補償処理について説明する。尚、図２１のフローチャートにおいて、ステップＳ１０１乃至Ｓ１０３，Ｓ１０５，Ｓ１０７，Ｓ１０９，Ｓ１１１、および、ステップＳ１１３乃至Ｓ１１６の処理は、図５を参照して説明したステップＳ１１乃至Ｓ２１の処理と同様であるので、その説明は省略する。

ステップＳ１０４において、動き補償部５５は、画素a_prと画素a_deのエッジ方向のコードを比較し、比較結果code_aを条件判定部５６に出力する。より詳細には、動き補償部５５は、画素a_prと画素a_deのエッジ方向のコードを比較し、一致した場合、比較結果code_a＝１を、一致しない場合、比較結果code_a＝０を条件判定部５６に出力する。

ステップＳ１０６において、動き補償部５５は、画素b_prと画素b_deのエッジ方向のコードを比較し、比較結果code_bを条件判定部５６に出力する。より詳細には、動き補償部５５は、画素b_prと画素b_deのエッジ方向のコードを比較し、一致した場合、比較結果code_b＝１を、一致しない場合、比較結果code_b＝０を条件判定部５６に出力する。

ステップＳ１０８において、動き補償部５５は、画素c_prと画素c_deのエッジ方向のコードを比較し、比較結果code_cを条件判定部５６に出力する。より詳細には、動き補償部５５は、画素c_prと画素c_deのエッジ方向のコードを比較し、一致した場合、比較結果code_c＝１を、一致しない場合、比較結果code_c＝０を条件判定部５６に出力する。

ステップＳ１１０において、動き補償部５５は、画素d_prと画素d_deのエッジ方向のコードを比較し、比較結果code_dを条件判定部５６に出力する。より詳細には、動き補償部５５は、画素d_prと画素d_deのエッジ方向のコードを比較し、一致した場合、比較結果code_d＝１を、一致しない場合、比較結果code_d＝０を条件判定部５６に出力する。

ステップＳ１１２において、動き補償部５５は、画素e_prと画素e_deのエッジ方向のコードを比較し、比較結果code_eを条件判定部５６に出力する。より詳細には、動き補償部５５は、画素e_prと画素e_deのエッジ方向のコードを比較し、一致した場合、比較結果code_e＝１を、一致しない場合、比較結果code_e＝０を条件判定部５６に出力する。

以上の処理により、動き補償部５５は、候補となる注目ブロックと近傍ブロックのブロック単位動きベクトル毎の差分データと共に、対応するブロック単位動きベクトル毎のフレーム間補間処理に使用する画素間のエッジの方向を示すコードの比較結果を条件判定部５６に出力する。

ここで、図１７のフローチャートの説明に戻る。

ステップＳ７４において、条件判定部５６は、条件判定処理を実行する。

ここで、図２２のフローチャートを参照して、条件判定部５６による条件判定処理について説明する。

ステップＳ１３１において、条件判定部５６は、差分a_diff，b_diff，d_diff，e_diffを比較して、小さい順に並び替える。以降の説明においては、差分は、小さい順に差分a_diff，b_diff，d_diff，e_diffに並べら得ているものとして説明していくが、順序は、これに限るものではないことは言うまでもないことである。

ステップＳ１３２において、条件判定部５６は、ステップＳ１３１の処理で並べられた差分a_diff，b_diff，d_diff，e_diffのうち、最も小さな差分を選択する。従って、今の場合、差分a_diffが選択されることになる。

ステップＳ１３３において、条件判定部５６は、選択された差分が、注目ブロックに対して垂直方向に隣接するブロックの差分であるa_diffまたはe_diffであるか否かを判定する。今の場合、a_diffが選択されているので、a_diffであると判定され、ステップＳ１３４に進む。

ステップＳ１３４において、条件判定部５６は、垂直方向の差分v_diffとしてa_diffまたはe_diffのいずれか選択されている値を設定し（v_diff＝a_diffまたはe_diffに設定し）、垂直方向の近傍ブロックの代表となる動きベクトルvを、差分に対応して動きベクトルaまたはeに設定し（v＝aまたはeに設定し）、比較結果code_vを差分に対応して、比較結果code_a、または、code_eのいずれかに設定する（code_v＝code_aまたはcode_eに設定する）。今の場合、a_diffが選択されているので、垂直方向の差分v_diffは、a_diffとして選択され、垂直方向の近傍ブロックの代表となる動きベクトルvが動きベクトルaとされ、比較結果code_vは、code_eとされる。

一方、例えば、ステップＳ１３３において、差分a_diffまたは差分e_diffが選択されていないと判定された場合、条件判定部５６は、ステップＳ１３５において、水平方向の差分h_diffとしてb_diffまたはd_diffのいずれか選択されている値を設定し（h_diff＝b_diffまたはd_diffに設定し）、水平方向の近傍ブロックの代表となる動きベクトルhを、差分に対応して動きベクトルbまたはdに設定し（v＝bまたはdに設定し）、比較結果code_hを差分に対応して、比較結果code_b、または、code_dのいずれかに設定する（code_h＝code_bまたはcode_dに設定する）。

ステップＳ１３６において、条件判定部５６は、c_diffが所定の閾値thよりも小さくて、かつ、比較結果code_cが１であるか否かを判定し、例えば、所定の閾値thよりも小さく、さらに、比較結果code_cが１である場合、ステップＳ１３７において、選択信号PSELとしてc_diffを採用したことを示すCと共に、ブロック単位動きベクトルｃを画素ベクトル選択部３８に供給する。すなわち、注目ブロックの差分c_diffが所定の閾値thよりも小さく、さらに、比較結果code_cが１（ブロック単位動きベクトルcが注目画素を通るときの、ブロック単位動きベクトルcの現フィールド上の交点の位置の画素と前遅延フィールド上の交点の位置における画素とのエッジの存在する方向が一致している）場合、注目ブロックのブロック単位動きベクトルcが選択されることになる。

ステップＳ１３７において、差分c_diffが閾値thよりも小さくないか、または、code_cが１ではないと判定された場合、ステップＳ１３８において、条件判定部５６は、選択された差分が、差分h_diffであるか否かを判定し、今の場合、差分v_diff＝a_diffであるので、差分h_diffではないと判定され、その処理は、ステップＳ１４２に進む。

ステップＳ１４２において、条件判定部５６は、v_diffが所定の閾値thよりも小さいか否かを判定し、例えば、所定の閾値thよりも小さい場合、ステップＳ１４３において、code_vが１であるか否かを判定し、例えば、１であると判定されたとき、ステップＳ１４４において、選択信号PSELとしてv_diffを採用したことを示すVと共に、ブロック単位動きベクトルvを画素ベクトル選択部３８に供給する。また、ステップＳ１４２において、v_diffが所定の閾値thよりも小さくない場合、その処理は、ステップＳ１３７に進む。

また、ステップＳ１３８において、h_diffであると判定された場合、ステップＳ１３９において、条件判定部５６は、h_diffが所定の閾値thよりも小さいか否かを判定し、例えば、所定の閾値thよりも小さい場合、ステップＳ１４０において、code_hが１であるか否かを判定し、例えば、１であると判定したとき、ステップＳ１４１において、選択信号PSELとしてh_diffを採用したことを示すHと共に、ブロック単位動きベクトルhを画素ベクトル選択部３８に供給する。また、ステップＳ１３９において、h_diffが所定の閾値thよりも小さくない場合、その処理は、ステップＳ１３７に進む。

ステップＳ１４０、または、ステップＳ１４３において、それぞれcode_hが１ではない、または、code_vが１ではないと判定された場合、ステップＳ１４５において、条件判定部５６は、ブロック単位動きベクトルの候補が２以上残されているか否かを判定する。今の場合、差分a_diff，b_diff，d_diff，e_diffに対応するブロック単位動きベクトルａ，ｂ，ｄ，ｅの４個が残されているので、２以上残されていると判定され、その処理は、ステップＳ１４６に進む。

ステップＳ１４６において、条件判定部５６は、今現在差分diffが最も小さい動きベクトルを候補から削除し、その処理は、ステップＳ１３２に戻る。すなわち、今の場合、差分a_diffが最も小さいので、対応する動きベクトルａが候補から削除されることになる。

さらに、ステップＳ１３２においては、候補から動きベクトルａが削除されているので、差分a_diffの次に小さい差分b_diffを選択して、それ以降の処理を繰り返す。そして、ステップＳ１３２乃至Ｓ１３６，Ｓ１３８乃至Ｓ１４０、Ｓ１４２，Ｓ１４３，Ｓ１４５、Ｓ１４６の順に処理がなされると、候補となっている動きベクトルｂが削除され、ステップＳ１３２において、差分d_diffが選択されて、それ以降の処理が繰り返される。

そして、さらに、ステップＳ１３２乃至Ｓ１３６，Ｓ１３８乃至Ｓ１４０、Ｓ１４２，Ｓ１４３，Ｓ１４５の順に処理がなされると、ステップＳ１４５において、候補が２以上ではなくなるので、その処理は、ステップＳ１３７に進む。

すなわち、注目ブロックの差分c_diffが所定の閾値thよりも小さく、比較結果code_cが１である場合、条件判定部５６は、選択信号PSEL＝Cを出力する。また、注目ブロックの差分c_diffが所定の閾値thよりも小さく、比較結果code_cが１ではない場合、条件判定部５６は、差分a_diff，b_diff，d_diff，e_diffのうち、比較結果が１であるもので最も小さいものに対応する選択信号PSEL＝HまたはVを出力する。さらに、注目ブロックの差分c_diffが所定の閾値thよりも小さく、比較結果code_cが１ではない場合であって、その他の候補の比較結果が全て１ではないとき、条件判定部５６は、選択信号PSEL＝Cを出力する。

結果として、画素単位動きベクトルの候補となるブロック単位動きベクトルが注目画素を通るときの現フィールド上の交点の位置の画素と前遅延フィールド上の交点の位置の画素との画素間差分のみならず、それぞれの画素のエッジの存在する方向が一致するか否かの要素も考慮して、注目ブロックとその近傍ブロックのブロック単位動きベクトルの候補から最適なブロック単位動きベクトルが画素単位動きベクトルとして選択されることになるので、細かい図形や繰り返しの形状などを含む画像であっても、正確に画素単位の動きベクトルを決定することが可能となる。

ところで、以上においては、画素単位動きベクトルの候補となるブロック単位動きベクトルが注目画素を通るときの現フィールド上の交点の位置の画素と前遅延フィールド上の交点の位置の画素との画素間差分のみならず、それぞれの画素のエッジの存在する方向が一致するか否かを考慮して、注目ブロックおよび複数の近傍ブロックのブロック単位動きベクトルから最適な画素単位動きベクトルを選択する例について説明してきたが、以上の方法では、画素単位動きベクトルとして選択できる動きベクトルに限りがあり、解像度変換やインタレース画像からプログレッシブ画像への変換といった画像処理においては不自然な画素が生成される可能性を小さくすることができるが、例えば、フィールド周波数変換やコマ数変換といったもともと存在しないフィールドを生成するような画像生成の場合、動きベクトルの精度が生成される画像に直接反映されることになり、一部で動きベクトルが正確に検出できないといった事態が発生すると正確にフィールドを生成することができなくなる恐れがある。

そこで、注目画素の周辺の候補となる動きベクトルを注目画素からの距離に応じて、平滑化して、周辺画像との相関を生かして、画素単位の動きベクトルを求めるようにしても良い。

図２３は、注目画素の周辺の候補となる動きベクトルを注目画素からの距離に応じて、平滑化して、周辺画像との相関を生かした画素生成をすることにより、画素単位の動きベクトルを求めるようにした画素単位動きベクトル検出部２１の構成を示している。尚、図２３の画素単位動きベクトル検出部２１において、図３または図１６の画素単位動きベクトル検出部２１と対応する構成については、同一の符号を付しており、その説明は適宜省略するものとする。

図２３の画素単位動きベクトル検出部２１は、ブロック単位動きベクトル用メモリ３１と動きベクトル平滑化部７１から構成されている。

動きベクトル平滑化部７１は、注目ブロックと近傍ブロックの各ブロック単位動きベクトルを、各ブロックの中心位置（基準となる位置であればよく、必ずしも中心である必要はないが、ここでは、中心位置を基準位置とする）を起点とするベクトルとみなし、生成フィールド上の各画素について、近傍ブロックのブロック単位動きベクトルの起点位置からの距離に応じて係数を掛けた線形和をとることにより、注目画素近傍の動きブロックを平滑化し、画素単位動きベクトルを生成し、画像合成部２２に出力する。

次に、図２４のフローチャートを参照して、図２３の画素単位動きベクトル検出部２１を備えた画像処理装置２０による画像処理について説明する。尚、図２４のフローチャートにおけるステップＳ１５１，Ｓ１５３の処理は、図４のフローチャートにおけるステップＳ１，Ｓ５の処理と同様であるので、その説明は省略する。また、説明の便宜上、注目ブロックと近傍ブロックは、図２５で示されるように設定するものとする。すなわち、注目ブロックをブロックＥとして、近傍ブロックをブロックＡ乃至Ｄ，Ｆ乃至Ｉとし、それぞれのブロック単位動きベクトルをａ乃至ｉで示すものとする。

ステップＳ１５２において、動きベクトル平滑化部７１は、ブロック単位動きベクトル用メモリ３１に格納されている動きベクトルを読み出し、動きベクトル平滑化処理を実行する。

ここで、図２６のフローチャートを参照して、動きベクトル平滑化部７１による動きベクトル平滑化処理について説明する。

ステップＳ１６１において、動きベクトル平滑化部７１は、各画素の画素単位動きベクトルが求められていないブロックを注目ブロックとして、その近傍ブロックであるブロックＡ乃至Ｉに対応するブロック単位動きベクトルａ乃至ｉをブロック単位動きベクトル用メモリ３１より読み出す。たとえば、注目ブロックと近傍ブロックが、図２７で示されるように、３ブロック×３ブロックであるものとし、各ブロックのサイズがstep_x×step_yであるものとする。また、図中の注目ブロックであるブロックＥの左上の位置が原点となり、ｘ方向は、水平右側方向とし、ｙ方向は垂直下方向であるものとする。また、図２７において、各ブロックの中央部の黒丸は、各ブロックの中心位置を示している。また、この処理では、注目ブロック内の各画素の画素単位動きベクトルを求める処理を説明する。

ステップＳ１６２において、動きベクトル平滑化部７１は、図示せぬカウンタｙを初期化する。ステップＳ１６３において、動きベクトル平滑化部７１は、図示せぬカウンタｘを初期化する。

ステップＳ１６４において、動きベクトル平滑化部７１は、カウンタyがy＜step_y／２であるかであるか否かを判定し、例えば、カウンタyがy＜step_y／２であると判定した場合、すなわち、注目画素（ｘ，ｙ）が、注目ブロックの垂直方向の中央よりも上側に存在する場合、ステップＳ１６５において、以下の式（１）を演算する。

vv0＝ｂ×（step_y／２−ｙ）＋ｅ×（step_y／２＋ｙ）
・・・（１）

ここで、ｂ，ｅは、ブロック単位動きベクトルｂ，ｅである。すなわち、式（１）においては、注目画素とブロックＢ，Ｅの中心位置までのそれぞれの垂直方向の距離に応じた重み係数を用いてブロック単位動きベクトルｂ，ｅの線形和vv0を求めている。

ステップＳ１６６において、動きベクトル平滑化部７１は、カウンタxがx＜step_x／２であるかであるか否かを判定し、例えば、カウンタxがx＜step_x／２であると判定した場合、すなわち、注目画素が、注目ブロックの水平方向の中央よりも左側に存在する場合、ステップＳ１６７において、以下の式（２）を演算する。

vv1＝ａ×（step_y／２−ｙ）＋ｄ×（step_y／２＋ｙ）
・・・（２）

ここで、ａ，ｄは、ブロック単位動きベクトルａ，ｄである。すなわち、式（２）においては、注目画素とブロックＡ，Ｄの中心位置までのそれぞれの垂直方向の距離に応じた重み係数を用いてブロック単位動きベクトルａ，ｄの線形和vv1を求めている。

ステップＳ１６８において、動きベクトル平滑化部７１は、以下の式（３）を演算する。

pv（ｘ，ｙ）＝vv1×（step_x／２−x）＋vv0×（step_x／２＋x）
・・・（３）

すなわち、式（３）においては、注目画素とブロックＥ，Ｄの中心位置までのそれぞれの水平方向の距離（＝ブロックＡ，Ｂの中心位置までのそれぞれの水平方向の距離）に応じた重み係数を用いてブロック単位動きベクトルvv0，vv1の線形和を注目画素の画素単位動きベクトルpv（ｘ，ｙ）として求めており、ここでは、水平方向の距離（＝ブロックＡ，Ｂの中心位置までのそれぞれの水平方向の距離）に応じた重み係数を用いて、ブロック単位動きベクトルｂ，ｅの線形和vv0とブロック単位動きベクトルａ，ｄの線形和vv1との線形和を求めている。

従って、ステップＳ１６５，Ｓ１６７，Ｓ１６８により、注目画素が注目ブロックの左上の領域に存在する場合、各画素の画素単位の動きベクトルは、ブロックＡ，Ｂ，Ｄ，Ｅのそれぞれの中心位置からの距離に応じた重み係数によるベクトルａ，ｂ，ｄ，ｅの線形和として求められる。

ステップＳ１６４において、カウンタｙが、ｙ＜step_y/2ではないと判定された場合、すなわち、注目画素が、注目ブロックの垂直方向の中央よりも下側に存在する場合、ステップＳ１７１において、以下の式（４）を演算する。

vv0＝ｅ×（step_y×3／２−ｙ）＋ｈ×（step_y／２＋ｙ）
・・・（４）

ここで、ｅ，ｈは、ブロック単位動きベクトルｅ，ｈである。すなわち、式（４）においては、注目画素とブロックＥ，Ｈの中心位置までのそれぞれの垂直方向の距離に応じた重み係数を用いてブロック単位動きベクトルｅ，ｈの線形和vv0を求めている。

ステップＳ１７２において、動きベクトル平滑化部７１は、カウンタxがx＜step_x／２であるかであるか否かを判定し、例えば、カウンタxがx＜step_x／２であると判定した場合、すなわち、注目画素が、注目ブロックの水平方向の中央よりも左側に存在する場合、ステップＳ１７３において、以下の式（５）を演算し、その処理は、ステップＳ１６８に進む。

vv1＝ｄ×（step_y×3／２−ｙ）＋ｇ×（step_y／２＋ｙ）
・・・（５）

ここで、ｄ，ｇは、ブロック単位動きベクトルｄ，ｇである。すなわち、式（５）においては、注目画素とブロックＤ，Ｇの中心位置までのそれぞれの垂直方向の距離に応じた重み係数を用いてブロック単位動きベクトルｄ，ｇの線形和vv1を求めている。

従って、ステップＳ１７１，Ｓ１７３，Ｓ１６８により、注目画素が注目ブロックの左下の領域に存在する場合、各画素の画素単位の動きベクトルは、ブロックＤ，Ｅ，Ｇ，Ｈのそれぞれの中心位置からの距離に応じた重み係数によるベクトルｄ，ｅ，ｇ，ｈの線形和として求められる。

ステップＳ１６６において、例えば、カウンタxがx＜step_x／２ではないと判定された場合、すなわち、注目画素が、注目ブロックの水平方向の中央よりも右側に存在する場合、ステップＳ１７６において、以下の式（６）を演算する。

vv1＝ｃ×（step_y／２−ｙ）＋ｆ×（step_y／２＋ｙ）
・・・（６）

ここで、ｃ，ｆは、ブロック単位動きベクトルｃ，ｆである。すなわち、式（６）においては、注目画素とブロックＣ，Ｆの中心位置までのそれぞれの垂直方向の距離に応じた重み係数を用いてブロック単位動きベクトルｃ，ｆの線形和vv1を求めている。

ステップＳ１７５において、動きベクトル平滑化部７１は、以下の式（７）を演算する。

pv（ｘ，ｙ）＝vv0×（step_x×3／２−x）＋vv1×（step_x／２＋x）
・・・（７）

すなわち、式（７）においては、注目画素とブロックＢ，Ｃの中心位置までのそれぞれの水平方向の距離（＝ブロックＥ，Ｆの中心位置までのそれぞれの水平方向の距離）に応じた重み係数を用いてブロック単位動きベクトルvv0，vv1の線形和を注目画素の画素単位動きベクトルpv（ｘ，ｙ）として求めている。

従って、ステップＳ１６５，Ｓ１７６，Ｓ１７５により、注目画素が注目ブロックの右上の領域に存在する場合、各画素の画素単位の動きベクトルは、ブロックＢ，Ｃ，Ｅ，Ｆのそれぞれの中心位置からの距離に応じた重み係数によるベクトルｂ，ｃ，ｅ，ｆの線形和として求められる。

ステップＳ１７２において、例えば、カウンタxがx＜step_x／２ではないと判定した場合、すなわち、注目画素が、注目ブロックの水平方向の中央よりも右側に存在する場合、ステップＳ１７４において、以下の式（８）を演算し、その処理は、ステップＳ１７５に進む。

vv1＝ｆ×（step_y×3／２−ｙ）＋ｉ×（step_y／２＋ｙ）
・・・（８）

ここで、ｆ，ｉは、ブロック単位動きベクトルｆ，ｉである。すなわち、式（８）においては、注目画素とブロックＦ，Ｉの中心位置までのそれぞれの垂直方向の距離に応じた重み係数を用いてブロック単位動きベクトルｆ，ｉの線形和vv1を求めている。

従って、ステップＳ１７１，Ｓ１７４，Ｓ１７５により、注目画素が注目ブロックの右下の領域に存在する場合、各画素の画素単位の動きベクトルは、ブロックＥ，Ｆ，Ｈ，Ｉのそれぞれの中心位置からの距離に応じた重み係数によるベクトルｅ，ｆ，ｈ，ｉの線形和として求められる。

ステップＳ１６９において、カウンタｘが、フィールド画像の水平方向の大きさであるxsizeであるか否かが判定され、カウンタｘがxsizeではないと判定された場合、その処理は、ステップＳ１７０に進み、動きベクトル平滑化部７１は、カウンタxを１インクリメントし、その処理は、ステップＳ１６４に戻る。

ステップＳ１６９において、カウンタｘがxsizeであると判定された場合、すなわち、注目ブロックの水平方向の１ラインの各画素の画素単位動きベクトルが求められたと判定された場合、ステップＳ１７７において、動きベクトル平滑化部７１は、カウンタｙがフィールド画像の垂直方向の大きさであるysizeであるか否かを判定し、例えば、カウンタyがysizeではないと判定した場合、ステップＳ１７８において、カウンタｙを１インクリメントし、その処理は、ステップＳ１６３に戻る。

ステップＳ１７７において、カウンタｙが、ysizeであると判定された場合、すなわち、そのブロックの全ての画素について画素単位動きベクトルが求められたと判定された場合、ステップＳ１７９において、動きベクトル平滑化部７１は、全てのブロックについて、画素単位動きベクトルが求められたか否かを判定し、全てのブロックについて処理が終わっていないと判定された場合、その処理は、ステップＳ１６１に戻り、それ以降の処理が繰り返され、ステップＳ１７７において、全てのブロックについて処理が終了していると判定された場合、その処理は、終了する。

以上の処理によれば、各画素について注目ブロックの右上の領域の画素の画素単位動きベクトルは、注目ブロック、および、注目ブロックの上、右上、および右に隣接するブロックのそれぞれの中心位置との距離に応じた係数を乗じた線形和を求めることにより、平滑化して求められ、各画素のついて注目ブロックの右下の領域の画素の画素単位動きベクトルは、注目ブロック、および、注目ブロックの下、右下、および右に隣接するブロックのそれぞれの中心位置との距離に応じた係数を乗じた線形和を求めることにより、平滑化して求められ、各画素のついて注目ブロックの左上の領域の画素の画素単位動きベクトルは、注目ブロック、および、注目ブロックの上、左上、および左に隣接するブロックのそれぞれの中心位置との距離に応じた係数を乗じた線形和を求めることにより、平滑化して求められ、各画素のついて注目ブロックの左下の領域の画素の画素単位動きベクトルは、注目ブロック、および、注目ブロックの下、左下、および左に隣接するブロックのそれぞれの中心位置との距離に応じた係数を乗じた線形和を求めることにより、平滑化して求められる。

結果として、空間的に分布するブロック単位動きベクトルをその距離に応じて合成することで、画素単位の動きベクトルが生成されるので、計算コストを抑制しつつ、動きベクトルの検出エラーの少ない動きベクトルを画素単位で生成することが可能となる。

以上においては、１の画素単位の動きベクトルを生成するに当たり、４ブロック分のブロック単位動きベクトルを合成するようにしたが、それ以上の数のブロックのブロック単位動きベクトルを距離に応じて係数を乗じた線形和を求めるようにしても良い。

また、以上においては、同一フィールド内のブロック単位動きベクトルを合成していたが、注目ブロックの存在するフィールド以外のフィールドのブロック単位動きベクトルを使用するようにしてもよく、例えば、注目ブロックの存在するフィールドと２フィールド分前と後のフィールド上の同位置のブロックのブロック単位動きベクトルをフィールドの間隔に応じた係数を乗じた線形和として求めるようにしても良い。

さらに、図３や図１６の画素単位動きベクトル検出部２１の構成と、図２３の画素単位動きベクトル２１の構成を合成するようにして、例えば、図２２のフローチャートのステップＳ１４５の処理により候補となるブロック単位動きベクトルがなくなり、画素単位の動きベクトルを絞り込めないような状態になったとき、その画素の動きベクトルについては、平滑化により求めるようにしても良い。

図２８は、図１６の画素単位動きベクトル検出部２１の構成と図２３の画素単位動きベクトル検出部２１の構成を組み合わせた画素単位動きベクトル検出部２１を示している。

基本的な構成は、図１６の画素単位動きベクトル検出部２１と同様であるが、動きベクトル平滑化部８２が加えられており、それに対応して条件判定部５６、画素ベクトル選択部５７に代えて、条件判定部８１、画素ベクトル選択部８３が設けられている。条件選択部８１は、条件選択部５６と基本的に同様であるが、さらに、候補となるブロック単位動きベクトルがなくなり、画素単位の動きベクトルを絞り込めないような状態になったとき、その画素の動きベクトルについては、動きベクトル平滑化部８２を動作させる。動きベクトル平滑化部８２は、基本的に動きベクトル平滑化部７１と同様のものである。画素ベクトル選択部８３は、画素ベクトル選択部５７と基本的に同様のものであるが、画素単位動きベクトルの選択に際して、動きベクトル平滑化部８２により平滑化された動きベクトルを画素単位の動きベクトルとして選択することができる。

尚、図２８の画素単位動きベクトル検出部２１を備えた画像処理装置２０の画像処理に付いては、基本的に図４のフローチャートの処理と同様であるが、条件判定処理、および、選択処理以外は、同様であるので、ここでは、図２９乃至図３１のフローチャートを参照して、図２８の画素単位動きベクトル検出部２１の条件判定処理および選択処理についてのみ説明する。また、図２９のフローチャートにおけるステップＳ１９１乃至２０６は、図２２のフローチャートにおけるステップＳ１３１乃至Ｓ１４６と同様であるので、その説明は省略する。

ステップＳ２０７において、動きベクトル平滑化部８２は、条件判定部８１からの指令に基づいて、動きベクトル平滑化処理を実行する。

ここで、図３０で示されるフローチャートについては、動きベクトル平滑化部８２による動きベクトル平滑化処理であるが、図３０のフローチャートにおけるステップＳ２２１乃至Ｓ２３１の処理については、図２６のフローチャートにおけるステップＳ１６１，Ｓ１６４乃至Ｓ１７５の処理と同様であるのでその説明は省略する。

次に、図３１のフローチャートを参照して、図２８の画素単位動きベクトル検出部２１による選択処理について説明する。尚、図３１のフローチャートにおけるステップＳ２５１乃至Ｓ２５４，Ｓ２５６の処理については、図１２のフローチャートを参照して説明したステップＳ６１乃至Ｓ６５の処理と同様であるので、その説明は省略する。

ステップＳ２５５において、画素ベクトル選択部８３は、選択信号PSELがＶであるか否かを判定し、例えば、選択信号PSELがＶであると判定した場合、その処理は、ステップＳ２５６に進む。また、ステップＳ２５５において、選択信号PSELがＶではないと判定された場合、ステップＳ２５７において、画素ベクトル選択部８３は、動きベクトル平滑化部８２より供給される動きベクトルを画素単位の動きベクトルとする。

以上の処理により、候補となるブロック単位動きベクトルがなくなり、画素単位の動きベクトルを絞り込めないような状態になったとき、その画素の動きベクトルについては、平滑化により求められるようになるので、より安定した画素単位動きベクトルを求めることが可能となる。

以上においては、動きベクトルを正確に求めて、フィールド間補間による画素生成を正確に実現できるようにする手法について説明してきたが、動きベクトルの信頼性を向上させることで、生成される画像をより自然なものにすることを可能とするものであるが、例えば、検出された動きベクトルにより複数の補間方法で補間生成された画素をそれぞれ評価してエラー発生量を把握した後、補間方法を切替えるようにしても良い。

図３２は、画像合成部２２に代えて、画像合成部１０１を設けるようにした画像処理装置２０の構成を示している。画像合成部２２は、フィールド間補間により画像を生成していたが、画像合成部１０１は、フィールド間補間とフィールド内補間のいずれでも画素を補間生成することができ、それぞれの手法で生成された画素を評価して、エラー発生量を求め、エラー発生量に応じて、フィールド間補間とフィールド内補間を切替えて出力する。

図３３は、画像合成部１０１の構成を示している。

空間補間部１１１は、遅延フィールドデータに基づいて、遅延フィールドの画像内に存在する画素を利用した、いわゆるフィールド内補間により画素を生成してエラー処理部１１３および画素生成部１１４に供給する。

時間補間部１１２は、画素単位動きベクトルに基づいて、現フィールドデータ、および、前遅延フィールドデータを利用した、いわゆる、フィールド間補間により新たな画素を生成しエラー処理部１１３および画素生成部１１４に供給する。

エラー処理部１１３は、入力される現フィールドデータ、遅延フィールドデータ、前遅延フィールドデータ、空間補間部１１１より供給されるフィールド内補間されたデータ、および、時間補間部１１２より供給されるフィールド間補間されたデータに基づいて、エラー発生量（エラーの発生量を定性的に求められる値であって、厳密にエラーが定義され、さらに、そのエラーが発生する量を求めるものではない）を求めて、画素生成部１１４に供給する。

画素生成部１１４は、エラー処理部１１３より供給されるエラー発生量の情報に基づいて、空間補間部１１１より供給されるフィールド内補間画素データと、時間補間部１１２より供給されるフィールド間補間画素データとを切替えて画素を生成し、出力する。

次に、図３４を参照して、エラー処理部１１３の構成について説明する。

フィールド内補間時間遷移解析部１３１は、フィールド内補間画素からなるフィールド内補間画素と、現フィールドデータおよび前遅延フィールドデータに基づいて、フィールド内補間画素の時間に応じた画素値の変化を遷移として求め、混合部１３４に供給する。

フィールド間補間時間遷移解析部１３２は、フィールド間補間画素からなるフィールド間補間画素と、現フィールドデータおよび前遅延フィールドデータに基づいて、フィールド間補間画素の時間に応じた画素値の変化を遷移として求め、混合部１３４に供給する。

フィールド間補間空間遷移解析部１３３は、フィールド間補間画素からなるフィールド間補間画素と、遅延フィールドデータに基づいて、フィールド間補間画素の空間における画素値の変化を遷移として求め、混合部１３４に供給する。

混合部１３４は、フィールド内補間時間遷移解析部１３１、フィールド間補間時間遷移解析部１３２、および、フィールド間補間空間遷移解析部１３３より供給されるフィールド内補間時間遷移解析結果、フィールド間補間時間遷移解析結果、および、フィールド間補間空間遷移解析結果に基づいて、エラーの発生量を計算し、画素生成部１１４に供給する。

次に、図３５のフローチャートを参照して、図３２の画像処理装置２０による画素処理について説明する。尚、図３５のフローチャートのステップＳ３０１乃至Ｓ３０４の処理は、図４のフローチャートにおけるステップＳ１乃至Ｓ４と同様であるので、その説明は省略する。

ステップＳ３０５において、画像合成部１０１は、画像合成処理を実行する。

ここで、図３６のフローチャートを参照して、画像合成部１０１による画像合成処理について説明する。

ステップＳ３２１において、空間補間部１１１は、入力された遅延フィールドデータを用いてフィールド内補間画像を生成する。すなわち、空間補間部１１１は、遅延フィールド上の注目画素を、同一フィールド内の既存の画素を用いてフィールド内補間して生成し、エラー処理部１１３、および、画素生成部１１４に供給する。

例えば、図３７で示されるように、前遅延フィールド、遅延フィールド、および、現フィールド上に画素が配置されていた場合、空間補間部１１１は、遅延フィールド内の既存の画素である画素Ｂ，Ｄの中間位置に、注目画素として画素Ｐｓを生成し、このときの画素値を画素Ｂ，Ｄの平均画素値とする。

尚、図３７においては、時間方向（図中のｔ軸）に向かって順に前遅延フィールド、遅延フィールド、および、現フィールドのそれぞれの垂直方向（Ｙ方向）の画素の配置を示している。前遅延フィールド上には、図中上から画素Ｑ，Ａ，Ｌが配置され、遅延フィールド上には、図中上から画素Ｂ，Ｄが配置され、さらに、現フィールド上には図中上から画素Ｍ，Ｃ，Ｒが配置されており、前遅延フィールドと現フィールドは、同一位相のフィールドであるため、垂直方向の同位置に画素が配置されているが、遅延フィールドは、位相が異なるため、画素の配置が１ラインずれた配置となっている。尚、同様の図については、以降においても同様とする。

ステップＳ３２２において、時間補間部１１２は、供給された動きベクトルに基づいて、遅延フィールドの前後のフィールドである現フィールド上の画素と前遅延フィールド上の画素からフィールド間補間により遅延フィールド上の画素を生成し、エラー処理部１１３および画素生成部１１４に供給する。すなわち、時間補間部１１２は、例えば、動きベクトルが図３７における画素Ｒを始点として画素Ｑを終点としたベクトルであった場合、遅延フィールド上の画素Ｐｔを、前後のフィールドである現フィールド上の画素Ｑと前遅延フィールド上の画素Ｒの平均画素値として生成する。尚、図３７において、画素Ｐｓ，Ｐｔが同位置に示されているが、それぞれフィールド内補間画素とフィールド間補間画素であり、異なるものであるが同位置の画素であることを示している。

ステップＳ３２３において、エラー処理部１１３は、エラー検出処理を実行し、エラー発生量を計算し、計算したエラー発生量を画素生成部１１４に供給する。

ここで、図３８のフローチャートを参照して、エラー処理部１１３によるエラー検出処理について説明する。

ステップＳ３４１において、エラー処理部１１３のフィールド間補間空間遷移解析部１３３は、フィールド間補間空間遷移解析処理を実行し、解析結果であるフィールド間空間遷移情報を混合部１３４に供給する。

ここで、図３９のフローチャートを参照して、フィールド間補間空間遷移解析部１３３によるフィールド間補間空間遷移解析処理について説明する。

ステップＳ３６１において、フィールド間補間空間遷移解析部１３３は、空間補間部１１２より供給された遅延フィールド上のフィールド間補間画素と、遅延フィールド上の空間的に上の画素間の画素値の差分を上り遷移として求める。すなわち、図４０で示されるようにフィールド間補間画素である画素Ｐｓが遅延フィールド上に存在していた場合、フィールド間補間空間遷移解析部１３３は、その空間的に上に存在する画素Ｂとの画素値の差分を上り遷移（Ｐｔ−Ｂ）として求める。

ステップＳ３６２において、フィールド間補間空間遷移解析部１３３は、空間補間部１１１より供給された遅延フィールド上のフィールド間補間画素と、遅延フィールド上の空間的に下の画素間の画素値の差分を下り遷移として求める。すなわち、図４０で示されるようにフィールド間補間画素である画素Ｐｓが遅延フィールド上に存在していた場合、フィールド間補間空間遷移解析部１３３は、その空間的に下に存在する画素Ｄとの画素値の差分を下り遷移（Ｄ−Ｐｔ）として求める。

ステップＳ３６３において、フィールド間補間空間遷移解析部１３３は、上り遷移と下り遷移との積を求める。すなわち、図４０の場合、フィールド間補間空間遷移解析部１３３は、上り遷移と下り遷移との積として（Ｄ−Ｐｔ）×（Ｐｔ−Ｂ）を求め、混合部１３４に出力する。

ステップＳ３６４において、フィールド間補間空間遷移解析部１３３は、上り遷移と下り遷移のそれぞれの絶対値の和を求め混合部１３４に出力する。すなわち、図４０の場合、フィールド間補間空間遷移解析部１３３は、以下の式（９）で示されるフィールド間補間空間遷移解析結果を混合部１３４に出力する。

フィールド間補間空間遷移解析結果＝｜Ｄ−Ｐｔ｜＋｜Ｐｔ−Ｂ｜
・・・（９）

フィールド間補間空間遷移解析部１３３は、フィールド間補間空間遷移解析結果として、上り遷移と下り遷移のそれぞれの絶対値の和を混合部１３４に出力すると共に、上り遷移と下り遷移との積も出力する。

すなわち、例えば、図４１で示されるように遅延フィールド上の画素Ｂ，Ｄの画素値とフィールド間補間生成された画素Ｐｔの画素値の変化が単調増加、または、単調減少していないような場合、不自然な画素が生成されている可能性が高いものと考えることができる。従って、上り遷移と下り遷移との積として（Ｄ−Ｐｔ）×（Ｐｔ−Ｂ）が負の値である場合、生成された画素間が不自然である可能性があるものと予想される。また、上り遷移と下り遷移のそれぞれの絶対値の和が大きくなると、より不自然な画素が生成されている可能性が高いものと考えることができる。尚、図４１においては、縦軸が画素の空間方向の位置を示し、横軸が画素値を示している。

ここで、図３８のフローチャートの説明に戻る。

ステップＳ３４２において、フィールド間補間時間遷移解析部１３２は、フィールド間補間時間遷移解析処理を実行し、フィールド間補間時間遷移解析結果を混合部１３４に出力する。

ここで、図４２のフローチャートを参照して、フィールド間補間時間遷移解析部１３２によるフィールド間補間時間遷移解析処理について説明する。

ステップＳ３８１において、フィールド間補間時間遷移解析部１３２は、フィールド間前遷移を求める。すなわち、例えば、図４３で示されるように注目画素としてフィールド間補間生成された遅延フィールド上の画素Ｐｔと、時間的に前の前遅延フィールド上の同位置の画素Ａとの画素値の差分をフィールド間前遷移（Ａ−Ｐｔ）として求める。尚、図４３においては、フィールド間補間生成された画素Ｐｔとフィールド内補間生成された画素Ｐｓが、それぞれ異なる位置に表示されているが、説明の都合上分けて表示しているのみであって、実際には、画素Ｐｔ，Ｐｓは、いずれも遅延フィールド上の画素Ｂ，Ｄの中央位置に生成されている。

ステップＳ３８２において、フィールド間補間時間遷移解析部１３２は、フィールド間後遷移を求める。すなわち、例えば、図４３で示されるように注目画素としてフィールド間補間生成された遅延フィールド上の画素Ｐｔと、時間的に後の現フィールド上の同位置の画素Ｃとの画素値の差分をフィールド間後遷移（Ｐｔ−Ｃ）として求める。

ステップＳ３８３において、フィールド間補間時間遷移解析部１３２は、フィールド間前遷移とフィールド間後遷移のそれぞれの絶対値の和を求め、フィールド間補間時間遷移解析結果として混合部１３４に供給する。

すなわち、フィールド間補間時間遷移解析部１３２は、図４３の場合、フィールド間前遷移の絶対値とフィールド間後遷移の絶対値との和として以下の式（１０）で示されるフィールド間補間時間遷移解析結果を求めて混合部１３４に供給する。

フィールド間補間時間遷移解析結果＝｜Ａ−Ｐｔ｜＋｜Ｐｔ−Ｃ｜
・・・（１０）

また、例えば、図４４で示されるように前遅延フィールド上の画素Ａ、遅延フィールド上の画素Ｐｔ、および、現フィールド上の画素Ｃの画素値の時間方向の変化が単調増加、または、単調減少していないような場合、不自然な画素が生成されている可能性が高いものと考えることができる。従って、フィールド間前遷移とフィールド間後遷移との積として（Ａ−Ｐｔ）×（Ｐｔ−Ｃ）が負の値である場合、生成された画素間が不自然である可能性があるものと予想される。また、フィールド間前遷移とフィールド間後遷移のそれぞれの絶対値の和が大きくなると、より不自然な画素が生成されている可能性が高いものと考えることができる。尚、図４４においては、縦軸が画素値を示し、横軸が時間方向の位置を示している。

ここで、図３８のフローチャートの説明に戻る。

ステップＳ３４３において、フィールド内補間時間遷移解析部１３１は、フィールド内補間時間遷移解析処理を実行し、フィールド内補間時間遷移解析結果を混合部１３４に出力する。

ここで、図４５のフローチャートを参照して、フィールド内補間時間遷移解析部１３１によるフィールド内補間時間遷移解析処理について説明する。

ステップＳ４０１において、フィールド内補間時間遷移解析部１３１は、フィールド内前遷移を求める。すなわち、例えば、図４３で示されるように注目画素としてフィールド内補間生成された遅延フィールド上の画素Ｐｓと、時間的に前の前遅延フィールド上の同位置の画素Ａとの画素値の差分をフィールド間前遷移（Ａ−Ｐｓ）として求める。

ステップＳ４０２において、フィールド内補間時間遷移解析部１３１は、フィールド内後遷移を求める。すなわち、例えば、図４３で示されるように注目画素としてフィールド内補間生成された遅延フィールド上の画素Ｐｓと、時間的に後の現フィールド上の同位置の画素Ｃとの画素値の差分をフィールド内後遷移（Ｐｓ−Ｃ）として求める。

ステップＳ４０３において、フィールド内補間時間遷移解析部１３１は、フィールド内前遷移とフィールド内後遷移のそれぞれの絶対値の和を求め、フィールド内補間時間遷移解析結果として混合部１３４に供給する。

すなわち、フィールド内補間時間遷移解析部１３１は、図４３の場合、フィールド内前遷移の絶対値とフィールド内後遷移の絶対値との和として以下の式（１１）を求めて、フィールド内補間時間遷移解析結果として混合部１３４に供給する。

フィールド内補間時間遷移解析結果＝｜Ａ−Ｐｓ｜＋｜Ｐｓ−Ｃ｜
・・・（１１）

また、例えば、図４６で示されるように前遅延フィールド上の画素Ａ、遅延フィールド上の画素Ｐｔ、および、現フィールド上の画素Ｃの画素値の時間方向の変化が単調増加、または、単調減少しているような場合、画素値の変化が少なく時間的に自然な画素が生成されている可能性が高いものと考えることができる。従って、フィールド内前遷移とフィールド内後遷移との積として（Ａ−Ｐｓ）×（Ｐｓ−Ｃ）が正の値である場合、生成された画素間が自然である可能性があるものと予想される。また、フィールド内前遷移とフィールド内後遷移のそれぞれの絶対値の和が大きくなると、より不自然な画素が生成されている可能性が高いものと考えることができる。尚、図４６においては、縦軸が画素値を示し、横軸が時間方向の位置を示している。

ここで、図３８のフローチャートの説明に戻る。

ステップＳ３４４において、混合部１３４は、供給されたフィールド内補間時間遷移解析結果、フィールド間補間時間遷移解析結果、および、フィールド間補間空間遷移解析結果に基づいて、以下の式（１２）を演算することにより、エラー発生量を求める。

エラー発生量
＝Ｋ×（（フィールド間補間時間遷移解析結果）×（フィールド間補間空間遷移解析結果））
／（フィールド内補間時間遷移解析結果）
・・・（１２）

ここで、Ｋは、定数であり、エラーの発生量を変化させる値が設定され、例えば、動きベクトルの信頼度などが設定される。

また、式（１２）で示されるエラー発生量は、フィールド間補間画素における信頼度とフィールド内補間画素における信頼度の比率を示したものであり、エラーの程度を定性的に示すものであって、実際の画像処理に伴って発生するエラーの発生回数を示すものではない。しかしながら、この式（１２）で示されるエラー発生量が大きくなればなる程、フィールド間補間画素の信頼度が低下し、エラー発生量が小さければ、フィールド間補間画素の信頼度が高まるともいえる。

従って、このエラー発生量に基づいて、フィールド間補間画素を使用するか、または、フィールド内補間画素を切替えて利用することで、生成される画像がより自然なものとなる。

ステップＳ３４５において、混合部１３４は、ステップＳ３４４の処理で求めたエラー発生量と共に、フィールド間補間空間遷移解析処理において求めた上り遷移と下り遷移の積の値を画素生成部１１４に出力する。

以上の処理により、フィールド間補間画素からなる画像とフィールド内補間画素からなる画像の補間により発生する画素単位のエラー発生量が求められる。

ここで、図３６のフローチャートの説明に戻る。

ステップＳ３２４において、画素生成部１１４は、未処理画素について、フィールド間空間遷移解析部１３３より供給されたフィールド間空間遷移における上り遷移と下り遷移の積が正であるか否かを判定し、例えば、正であると判定した場合、ステップＳ３２５において、画素生成部１１４は、時間補間部１１２より供給されたフィールド間補間画像の画素を採用する。すなわち、フィールド間補間生成された画素の画素値が空間的に近傍に存在する画素の画素値に対して、単調増加、または、単調減少する関係となっていることから、空間的には自然な画素が生成されている可能性が高いので、フィールド間補間生成された画素をそのまま使用する。

ステップＳ３２４において、上り遷移と下り遷移の積が正ではないと判定された場合、ステップＳ３２６において、画素生成部１１４は、エラー発生量が閾値thよりも大きいか否かを判定し、例えば、エラー発生量が閾値thよりも大きいと判定された場合、その処理は、ステップＳ３２７に進む。

ステップＳ３２７において、画素生成部１１４は、空間補間部１１１より供給されるフィールド内補間画素を採用する。すなわち、エラー発生量が所定の閾値thよりも大きいと言うことは、フィールド間補間画素のエラー発生量が、フィールド内補間画素のエラー発生量よりも高い割合となることが示されることになるので、フィールド内補間画素が採用される。

ステップＳ３２６において、エラー発生量が所定の閾値thよりも大きくない場合、フィールド内補間画素のエラー発生量に対して、フィールド間補間画素によるエラー発生量が少ないことになるので、その処理は、ステップＳ３２５に進み、画素生成部１１４は、注目画素にフィール間補間画素を採用する。

ステップＳ３２８において、画素生成部１１４は、画素が生成されていない未処理の画素が存在するか否かを判定し、未処理の画素が存在すると判定された場合、その処理は
，ステップＳ３２４に戻り、それ以降の処理が繰り返される。そして、未処理の画素が存在しないと判定された場合、ステップＳ３２９において、画素生成部１１４は、生成した画素からなる画像を出力する。

生成される画素の時間的、または、空間的な関係に基づいてエラー発生量を求めることで、適応的に画素の補間方法を切替えることができるので、不自然な画素が生成されることが抑制され、例えば、図４７で示されるような格子状の画像を、解像度変換により拡大すると、従来においては、図４８で示されるように、フィールド間補間により生成された画素の画素値が不自然であるため、まだら上にエラーが発生した画素が表示される。

図４９は、図４８の画像の各画素について、フィールド間補間空間遷移結果のうち、所定の閾値を超えた（エラーの発生している）画素の分布を示している。尚、図４９，図５０においては、図中の斜線部分がエラーが生じている画素を示している。

また、図５０は、図４８の画像の各画素について、フィールド間補間時間遷移結果のうち、所定の閾値を超えた（エラーの発生している）画素の分布を示している。

従って、上述したエラー発生量は、図４９，図５０において、いずれもエラーを示している画素であるものについては、閾値thを超えたものと考えることができるので、図４９，図５０のいずれにおいても、閾値thが超えている画素であると見ることができるので、それらの画素をフィールド内補間により生成させることにより、例えば、図５１で示されるように、斑状のエラーが抑制されていることが示されている。

尚、以上においては、エラー発生量に基づいて、フィールド内補間画素であるか、フィールド間補間画素であるかを切替える例について説明してきたが、例えば、エラー発生量に基づいて、フィールド内補間画素とフィールド間補間画素との比率を変えながら混合して画素を生成するようにしても良い。

また、フィールド間補間により画素を生成する際、以上においては、２のフィールドを用いるようにしているが、それ以上のフィールドを用いてフィールド間補間するようにしても良い。

以上によれば、フィールド間補間画素、または、フィールド内補間画素のそれぞれのエラー発生量を求めることが可能となり、さらに求められたエラー発生量に基づいて、画素の生成方法を（補間方法を）切替えて画素を生成することが可能となる、

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。

図５２は、図２、図３２の画像処理装置２０の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU５０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU５０１は、バス５０４および入出力インタフェース５０５を介してユーザからキーボードやマウスなどからなる入力部５０６から指令が入力されると、それに対応してROM(Read Only Memory)５０２に格納されているプログラムを実行する。あるいはまた、CPU５０１は、ドライブ５１０に接続された磁気ディスク５２１、光ディスク５２２、光磁気ディスク５２３、または半導体メモリ５２４から読み出され、記憶部５０８にインストールされたプログラムを、RAM(Random Access Memory)５０３にロードして実行する。これにより、上述した図２、図３２の画像処理装置２０の機能が、ソフトウェアにより実現されている。さらに、CPU５０１は、通信部５０９を制御して、外部と通信し、データの授受を実行する。

プログラムが記録されている記録媒体は、図５２に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１２１（フレキシブルディスクを含む）、光ディスク５２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク５２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ５２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

従来の画像処理装置の構成を示すブロック図である。 本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。 図１の画素単位動きベクトル検出部２１の構成を示すブロック図である。 図１の画像処理装置による画像処理を説明するフローチャートである。 図４のステップＳ２の処理の動き補償処理を説明するフローチャートである。 注目ブロックと近傍ブロックを説明する図である。 ブロックのサイズを説明する図である。 注目ブロックと近傍ブロックのブロック単位動きベクトルを説明する図である。 画素が生成される生成フィールドを説明する図である。 差分を求める画素を説明する図である。 図４のステップＳ３の処理の条件判定処理を説明するフローチャートである。 図４のステップＳ４の処理の選択処理を説明するフローチャートである。 処理前の画像の例を示す図である。 図１３の画像を従来の手法により解像度変換した例を説明する図である。 図１３の画像を本発明の手法により解像度変換した例を説明する図である。 画素単位動きベクトル検出部のその他の構成を示す図である。 図１６の画像処理装置による画像処理を説明するフローチャートである。 図１７のステップＳ７２の処理の付加情報検出処理を説明するフローチャートである。 付加情報であるエッジの方向を識別するコードを説明する図である。 付加情報であるエッジの方向を識別するコードを説明する図である。 図１７のステップＳ７３の処理の動き補償処理を説明するフローチャートである。 図１７のステップＳ７４の処理の条件判定処理を説明するフローチャートである。 画素単位動きベクトル検出部のさらにその他の構成を示す図である。 図２３の画素単位動きベクトル検出部を備えた画像処理装置の画像処理を説明するフローチャートである。 ブロック単位動きベクトルのその他の例を示す図である。 図２４のステップＳ１５２の処理の動きベクトル平滑化処理を説明するフローチャートである。 動きベクトル平滑化処理を説明する図である。 画素単位動きベクトル検出部のさらにその他の構成を示す図である。 図２８の画素単位動きベクトル検出部による条件判定処理を説明するフローチャートである。 図２９のステップＳ２０７の処理の動きベクトル平滑化処理を説明するフローチャートである。 図２８の画素単位動きベクトル検出部による選択処理を説明するフローチャートである。 画像処理装置のその他の実施の形態の構成を示すブロック図である。 図３２の画像合成部の構成を示すブロック図である。 図３３のエラー処理部の構成を示すブロック図である。 図３２の画像処理装置による画像処理を説明するフローチャートである。 図３５のフローチャートのステップＳ３０５の処理である画像合成処理を説明するフローチャートである。 図３５のフローチャートのステップＳ３０５の処理である画像合成処理を説明する図である。 図３６のフローチャートのステップＳ３２３の処理であるエラー検出処理を説明するフローチャートである。 図３８のフローチャートのステップＳ３４１の処理であるフィールド間補間空間遷移解析処理を説明するフローチャートである。 図３８のフローチャートのステップＳ３４１の処理であるフィールド間補間空間遷移解析処理を説明する図である。 図３８のフローチャートのステップＳ３４１の処理であるフィールド間補間空間遷移解析処理を説明する図である。 図３８のフローチャートのステップＳ３４２の処理であるフィールド間補間時間遷移解析処理を説明するフローチャートである。 図３８のフローチャートのステップＳ３４２の処理であるフィールド間補間時間遷移解析処理を説明する図である。 図３８のフローチャートのステップＳ３４２の処理であるフィールド間補間時間遷移解析処理を説明する図である。 図３８のフローチャートのステップＳ３４３の処理であるフィールド内補間時間遷移解析処理を説明するフローチャートである。 図３８のフローチャートのステップＳ３４３の処理であるフィールド内補間時間遷移解析処理を説明する図である。 図３２の画像処理装置に入力される画像の例を示す図である。 図３２の画像を従来の処理方法で解像度変換した画像の例を示す図である。 図３２の画像処理装置によりフィールド間補間空間遷移解析処理によりエラー発生量が所定の値より大きな画素を示す処理をした画像の例を示す図である。 図３２の画像処理装置によりフィールド間補間時間遷移解析処理によりエラー発生量が所定の値より大きな画素を示す処理をした画像の例を示す図である。 図３２の画像処理装置によりエラー発生量に基づいて、補間方法の異なる画素を採用するようにして解像度変換した画像の例を示す図である。 記録媒体を説明する図である。

符号の説明

１２ ブロック単位動きベクトル検出部， ２１ 画素単位動きベクトル検出部， ２２ 画像合成部， ３１ ブロック単位動きベクトル用メモリ， ３２ 現フィールドデータ用前処理部， ３３ 現フィールドデータ用バッファ， ３４ 前遅延フィールドデータ用前処理部， ３５ 前遅延フィールドデータ用バッファ， ３６ 動き補償部， ３７ 条件判定部， ３８ 画素ベクトル選択部， ５１ 現フィールド付加情報検出部， ５２ 現フィールド付加情報用バッファ， ５３ 前遅延フィールド付加情報検出部， ５４ 前遅延フィールド付加情報用バッファ， ５５ 動き補償部， ５６ 条件判定部， ７１ 動きベクトル平滑化部， ８１ 条件判定部， ８２ 動きベクトル平滑化部， ３８ 画素ベクトル選択部， １０１ 画像合成部， １１１ 空間補間部， １１２ 時間補間部， １１３ エラー処理部， １１４ 画素生成部， １３１ フィールド内補間時間遷移解析部， １３２ フィールド間補間時間遷移解析部， １３３ フィールド内補間空間遷移解析部， １３４ 混合部

Claims (8)

1. ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれブロック単位動きベクトルを検出するブロック単位動きベクトル検出手段と、
   前記ブロック単位動きベクトル検出手段により検出された複数のブロック単位動きベクトルに基づいて、前記注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分を計算する差分計算手段と、
   前記差分計算手段により計算された画素値の差分が最小となるブロック単位動きベクトルを、前記注目画素の画素単位動きベクトルとして選択する画素単位動きベクトル選択手段と、
   前記画素単位動きベクトル選択手段により選択された画素単位動きベクトルにより、前記第１のフィールド上の画素と前記第２のフィールド上の画素とを用いて、フィールド間補間により前記注目画素の画素値を生成するフィールド間補間画素生成手段と、
   前記注目画素を垂直方向、または、水平方向に隣接する画素を用いて、フィールド内補間により前記注目画素の画素値を生成するフィールド内補間画素生成手段と、
   前記フィールド間画素生成手段により生成された前記注目画素の画素値、前記注目画素の垂直方向、または、水平方向に隣接する画素の画素値、フィールド内補間画素生成手段により生成された前記注目画素の画素値、並びに、前記注目画素と同位置の前記注目画素の存在する時間的に前後のフィールドの画素の画素値に基づいて、エラー発生量を計算するエラー発生量計算手段と、
   前記エラー発生量計算手段により計算されたエラー発生量に基づいて、フィールド内補間画素生成手段により生成された画素値、および、フィールド間補間画素生成手段により生成された画素値を用いて前記注目画素の画素値を決定する画素値決定手段と
   を備えることを特徴とする画像処理装置。
2. 前記注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素のそれぞれの画素における補助情報を生成する補助情報生成手段をさらに備え、
   前記画素単位動きベクトル選択手段は、前記注目画素の生成に使用される第１のフィールド上の画素における補助情報と、第２のフィールド上の画素における補助情報とが一致して、かつ、前記差分計算手段により計算された画素値の差分が最小となるブロック単位動きベクトルを、前記注目画素の画素単位動きベクトルとして選択する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補助情報は、画素毎のエッジの方向を示すコードである
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記注目画素の生成に使用される第１のフィールド上の画素における補助情報と、第２のフィールド上の画素における補助情報が一致しない場合、前記複数のブロックの基準位置と、前記注目画素との距離に応じて、前記複数のブロック毎の前記ブロック単位動きベクトルを平滑化して、注目画素の画素単位動きベクトルを計算する画素単位動きベクトル計算手段をさらに備える
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記フィールド間画素生成手段により生成された前記注目画素の画素値と、前記注目画素の垂直方向、または、水平方向に隣接する画素の画素値との差分の絶対値の和をフィールド間補間画素空間遷移情報として計算するフィールド間補間画素空間遷移情報計算手段と、
   前記フィールド間補間画素生成手段により生成された前記注目画素の画素値と、前記注目画素と同位置の前記注目画素の存在する時間的に前後のフィールドの画素の画素値との差分の絶対値の和をフィールド間補間画素時間遷移情報として計算するフィールド間補間画素時間遷移情報計算手段と、
   前記フィールド内補間画素生成手段により生成された前記注目画素の画素値と、前記注目画素と同位置の前記注目画素の存在する時間的に前後のフィールドの画素の画素値との差分の絶対値の和をフィールド間補間画素時間遷移情報として計算するフィールド内補間画素時間遷移情報計算手段とをさらに備え、
   前記エラー発生量計算手段は、前記フィールド間補間画素空間遷移情報、前記フィールド間補間画素時間遷移情報、および、前記フィールド内補間画素時間遷移情報に基づいて、エラー発生量を計算する
   ことを特徴とする請求項１に記載の画像処理装置。
6. ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれブロック単位動きベクトルを検出するブロック単位動きベクトル検出ステップと、
   前記ブロック単位動きベクトル検出ステップの処理で検出された複数のブロック単位動きベクトルに基づいて、前記注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分を計算する差分計算ステップと、
   前記差分計算ステップの処理で計算された画素値の差分が最小となるブロック単位動きベクトルを、前記注目画素の画素単位動きベクトルとして選択する画素単位動きベクトル選択ステップと、
   前記画素単位動きベクトル選択ステップの処理で選択された画素単位動きベクトルにより、前記第１のフィールド上の画素と前記第２のフィールド上の画素とを用いて、フィールド間補間により前記注目画素の画素値を生成するフィールド間補間画素生成ステップと、
   前記注目画素を垂直方向、または、水平方向に隣接する画素を用いて、フィールド内補間により前記注目画素の画素値を生成するフィールド内補間画素生成ステップと、
   前記フィールド間画素生成ステップの処理で生成された前記注目画素の画素値、前記注目画素の垂直方向、または、水平方向に隣接する画素の画素値、フィールド内補間画素生成手段により生成された前記注目画素の画素値、並びに、前記注目画素と同位置の前記注目画素の存在する時間的に前後のフィールドの画素の画素値に基づいて、エラー発生量を計算するエラー発生量計算ステップと、
   前記エラー発生量計算ステップの処理で計算されたエラー発生量に基づいて、フィールド内補間画素生成ステップの処理で生成された画素値、および、フィールド間補間画素生成ステップの処理で生成された画素値を用いて前記注目画素の画素値を決定する画素値決定ステップと
   を含むことを特徴とする画像処理方法。
7. ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれブロック単位動きベクトルの検出を制御するブロック単位動きベクトル検出制御ステップと、
   前記ブロック単位動きベクトル検出制御ステップの処理で検出された複数のブロック単位動きベクトルに基づいて、前記注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分の計算を制御する差分計算制御ステップと、
   前記差分計算制御ステップの処理で計算された画素値の差分が最小となるブロック単位動きベクトルの、前記注目画素の画素単位動きベクトルとしての選択を制御する画素単位動きベクトル選択制御ステップと、
   前記画素単位動きベクトル選択制御ステップの処理で選択された画素単位動きベクトルにより、前記第１のフィールド上の画素と前記第２のフィールド上の画素とを用いた、フィールド間補間による前記注目画素の画素値の生成を制御するフィールド間補間画素生成制御ステップと、
   前記注目画素を垂直方向、または、水平方向に隣接する画素を用いた、フィールド内補間による前記注目画素の画素値の生成を制御するフィールド内補間画素生成制御ステップと、
   前記フィールド間画素生成制御ステップの処理で生成された前記注目画素の画素値、前記注目画素の垂直方向、または、水平方向に隣接する画素の画素値、フィールド内補間画素生成手段により生成された前記注目画素の画素値、並びに、前記注目画素と同位置の前記注目画素の存在する時間的に前後のフィールドの画素の画素値に基づいた、エラー発生量の計算を制御するエラー発生量計算制御ステップと、
   前記エラー発生量計算制御ステップの処理で計算されたエラー発生量に基づいて、フィールド内補間画素生成制御ステップの処理で生成された画素値、および、フィールド間補間画素生成制御ステップの処理で生成された画素値を用いた前記注目画素の画素値の決定を制御する画素値決定制御ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
8. ブロックマッチングにより注目画素を含むブロックと、その近傍の複数のブロックについて、それぞれブロック単位動きベクトルの検出を制御するブロック単位動きベクトル検出制御ステップと、
   前記ブロック単位動きベクトル検出制御ステップの処理で検出された複数のブロック単位動きベクトルに基づいて、前記注目画素の生成に使用される第１のフィールド上の画素と、第２のフィールド上の画素との画素値の差分の計算を制御する差分計算制御ステップと、
   前記差分計算制御ステップの処理で計算された画素値の差分が最小となるブロック単位動きベクトルの、前記注目画素の画素単位動きベクトルとしての選択を制御する画素単位動きベクトル選択制御ステップと、
   前記画素単位動きベクトル選択制御ステップの処理で選択された画素単位動きベクトルにより、前記第１のフィールド上の画素と前記第２のフィールド上の画素とを用いた、フィールド間補間による前記注目画素の画素値の生成を制御するフィールド間補間画素生成制御ステップと、
   前記注目画素を垂直方向、または、水平方向に隣接する画素を用いた、フィールド内補間による前記注目画素の画素値の生成を制御するフィールド内補間画素生成制御ステップと、
   前記フィールド間画素生成制御ステップの処理で生成された前記注目画素の画素値、前記注目画素の垂直方向、または、水平方向に隣接する画素の画素値、フィールド内補間画素生成手段により生成された前記注目画素の画素値、並びに、前記注目画素と同位置の前記注目画素の存在する時間的に前後のフィールドの画素の画素値に基づいた、エラー発生量の計算を制御するエラー発生量計算制御ステップと、
   前記エラー発生量計算制御ステップの処理で計算されたエラー発生量に基づいて、フィールド内補間画素生成制御ステップの処理で生成された画素値、および、フィールド間補間画素生成制御ステップの処理で生成された画素値を用いた前記注目画素の画素値の決定を制御する画素値決定制御ステップと
   を含む処理をコンピュータに実行させることを特徴とするプログラム。

Images