JP2007074588A - 画像処理装置および方法、プログラム並びに記録媒体 - Google Patents

Abstract

【課題】 簡単に、生成した画像の破綻を目立たないようにする。
【解決手段】 ０ベクトル補間画像生成部１１１は、内挿フレームｔ＋ｋ上の画素であって、内挿フレームｔ＋ｋ上の注目している画素である注目画素の位置と同じ位置のフレームｔ上の画素の画素値と、注目画素の位置と同じ位置のフレームｔ＋１上の画素の画素値とから、時刻ｔから時刻ｔ＋ｋまでの時間と、時刻ｔ＋ｋから時刻ｔ＋１までの時間との比率に応じて、画素値を生成する。画像混合部１１２は、所定の混合比（割合）に従って、注目画素の画素値に、０ベクトル補間画像生成部１１１において生成された画素値を混合する。本発明は、フレームレートを変換する画像処理装置に適用できる。
【選択図】 図９

Description

本発明は画像処理装置および方法、プログラム並びに記録媒体に関し、特に、画像を処理する画像処理装置および方法、プログラム並びに記録媒体に関する。

従来、テレビジョン信号を記憶するフレームメモリと、これらから読み出したテレビジョン信号の動きを検出する動きベクトル検出回路と、これらからの複数の動きベクトルデータの平均を得る動きベクトル平均回路と、これからの平均動きベクトルデータ、フレームメモリから読み出されたテレビジョン信号にフレーム内挿処理を施す位置補正回路、乗算回路、加算回路、補正信号発生回路とを備える画像変換装置が提案されている（例えば、特許文献１参照）。

また、動き部分・動き量検出回路では、ＭＵＳＥ信号と動きベクトルから動き部分および動き量が検出され、フレーム間内挿回路では、ＭＵＳＥ信号の静止画像に動きベクトルを考慮したフレームが補間され、ＬＰＦおよびサンプリング周波数変換回路を介してフィールド間内挿回路において、フィールド間にフィールドが補間され、クラス分類適応補間回路では、補間がなされる周辺画素のレベル分布のパターンとエッジデータからクラス分類がなされ、読み出された係数データを用いてフィールド内内挿および／またはフレーム内内挿の処理が行われ、サンプリング周波数変換回路を介して混合回路へ供給され、混合回路では、動き部分・動き量に応じて比率が決定され、静止画像と動き画像とが混合されるようにしているものもある（特許文献２参照）。

特開平６−１２１２９０号公報

特開平９−１７２６２１号公報

しかしながら、内挿に用いるベクトルが誤っている場合など、本来はないエッジなどが生成される画像に生じ、生成される画像が破綻することがある。このような破綻は画像の劣化として目立ち、画像の主観的な画質が落ちてしまう。

本発明は、このような状況に鑑みてなされたものであり、簡単に、生成した画像の破綻を目立たないようにするものである。

本発明の一側面の画像処理装置は、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理装置であって、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成する第１の生成手段と、予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合する混合手段とを備える。

前記第１の生成手段は、前記第２のフレーム上の画素に割り当てた０ベクトルで示される、前記第３のフレーム上の画素の画素値と、前記第１のフレーム上の画素の画素値とから、画素値を生成するようにすることができる。

前記第１のフレーム上の前記動きベクトルを検出する検出手段と、前記第２のフレーム上の画素に、検出された前記動きベクトルを割り付ける割り付け手段と、割り付けられた前記動きベクトルに基づいて、前記第１のフレームおよび前記第３のフレームから、画素値を算出することで、前記第２のフレーム上の画素を生成する第２の生成手段とをさらに設けることができる。

本発明の一側面の画像処理方法は、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理方法であって、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成し、予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合するステップを含む。

本発明の一側面のプログラムは、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理を、コンピュータに行わせるプログラムであって、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成し、予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合するステップを含む。

本発明の一側面の記録媒体は、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理を、コンピュータに行わせるプログラムであって、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成し、予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合するステップを含むプログラムを記録している。

本発明の一側面においては、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値が生成され、予め定めた比率に従って、前記注目画素の画素値に、生成した画素値が混合される。

以上のように、本発明の一側面によれば、画像を生成することができる。

また、本発明の一側面によれば、簡単に、生成した画像の破綻を目立たないようにすることができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理装置であって、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成する第１の生成手段（例えば、図９の０ベクトル補間画像生成部１１１）と、予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合する混合手段（例えば、図９の画像混合部１１２）とを備える。

本発明の一側面の画像処理装置は、第２に、前記第１のフレーム上の前記動きベクトルを検出する検出手段（例えば、図２のベクトル検出部５２）と、前記第２のフレーム上の画素に、検出された前記動きベクトルを割り付ける割り付け手段（例えば、図２のベクトル割付部５４）と、割り付けられた前記動きベクトルに基づいて、前記第１のフレームおよび前記第３のフレームから、画素値を算出することで、前記第２のフレーム上の画素を生成する第２の生成手段（例えば、図２の画像補間部５８）とをさらに設けることができる。

本発明の一側面の画像処理方法またはプログラムは、前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成し（例えば、図１１のステップＳ１０１）、予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合する（例えば、図１１のステップＳ１０２）ステップを含む。

以下、図を参照して本発明の実施の形態について説明する。

図１は、本発明を適用した画像処理装置１の構成例を表している。画像処理装置１は、例えば、パーソナルコンピュータなどで構成される。図１において、CPU（Central Processing Unit）１１は、ROM（Read Only Memory）１２、または記憶部１８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１３には、CPU１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１１、ROM１２、およびRAM１３は、バス１４により相互に接続されている。

CPU１１にはまた、バス１４を介して入出力インタフェース１５が接続されている。入出力インタフェース１５には、キーボード、マウス、マイクロフォンなどよりなる入力部１６、ディスプレイ、スピーカなどよりなる出力部１７が接続されている。CPU１１は、入力部１６から入力される指令に対応して各種の処理を実行する。そして、CPU１１は、処理の結果、得られた画像や音声等を出力部１７に出力する。

入出力インタフェース１５に接続されている記憶部１８は、例えばハードディスクなどで構成され、CPU１１が実行するプログラムや各種のデータを記憶する。通信部１９は、インターネット、その他のネットワークを介して外部の装置と通信する。また、通信部１９を介してプログラムを取得し、記憶部１８に記憶してもよい。

入出力インタフェース１５に接続されているドライブ２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１８に転送され、記憶される。

なお、画像処理装置１は、例えば、テレビジョン受像機、ハードディスクプレーヤ、光ディスクプレーヤ、ポータブルプレーヤ（携帯電話機）など、または、それらの画像処理部とすることもできる。

図２は、画像処理装置１の機能の構成の例を示すブロック図である。画像処理装置１は、フレームメモリ５１、ベクトル検出部５２、検出ベクトルメモリ５３、ベクトル割付部５４、割付ベクトルメモリ５５、割付フラグメモリ５６、割付補償部５７、画像補間部５８、フレーム全体後処理部５９、および破綻箇所後処理部６０を備える。

なお、画像処理装置１の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えてもよい。

図２に構成を示す画像処理装置１においては、例えば、フレーム周波数２４Ｈｚのプログレッシブ画像信号（以下、２４Ｐ信号と称する）の画像が入力され、入力された画像（入力画像）が、フレーム周波数６０Ｈｚのプログレッシブ画像信号（以下、６０Ｐ信号と称する）の画像に変換されて、出力される。

画像処理装置１に入力された２４Ｐ信号の入力画像は、フレームメモリ５１、ベクトル検出部５２、ベクトル割付部５４、割付補償部５７、画像補間部５８、フレーム全体後処理部５９、および破綻箇所後処理部６０に供給される。フレームメモリ５１は、入力画像をフレーム単位で記憶する。フレームメモリ５１は、時刻ｔ＋１の入力画像の１つ前の時刻ｔのフレームを記憶する。フレームメモリ５１に記憶される時刻ｔのフレームは、ベクトル検出部５２、ベクトル割付部５４、割付補償部５７、画像補間部５８、フレーム全体後処理部５９、および破綻箇所後処理部６０に供給される。なお、以下、フレームメモリ５１上の時刻ｔのフレームをフレームｔと称し、時刻ｔ＋１の入力画像のフレームを、フレームｔ＋１と称する。

ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶する。この２フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。検出ベクトルメモリ５３は、フレームｔにおいて、ベクトル検出部５２により検出された動きベクトルを記憶する。

ベクトル割付部５４は、２４Ｐ信号のフレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する６０Ｐ信号のフレーム（以下、６０Ｐ信号のフレームは、２４Ｐ信号のフレームと区別するため、内挿フレームとも称する）上の画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグを１(True)に書き換える。

割付ベクトルメモリ５５は、ベクトル割付部５４により割り付けられた動きベクトルを、内挿フレームの各画素に対応させて記憶する。割付フラグメモリ５６は、内挿フレームの画素毎に、割り付けられる動きベクトルの有無を示す割付フラグを記憶している。例えば、True(1)である割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、False(0)である割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。

割付補償部５７は、割付フラグメモリ５６の割付フラグを参照し、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ５５の内挿フレーム上に割り付ける。このとき、割付補償部５７は、動きベクトルを割り付けた着目画素の割付フラグを１(True)に書き換える。

画像補間部５８は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよび次のフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成する。そして、画像補間部５８は、生成された内挿フレームをフレーム全体後処理部５９に出力し、その次に、必要に応じて、フレームｔ＋１をフレーム全体後処理部５９に出力する。なお、以下において、画像補間部５８から出力される画像を補間画像とも称する。

フレーム全体後処理部５９は、予め定めた混合比と、フレームｔおよび次のフレームｔ＋１の画素値とを用いて、破綻が目立たないようにする後処理を、画像補間部５８から供給された補間画像の内挿フレームの全体に適用する。フレーム全体後処理部５９は、後処理を適用した画像を破綻箇所後処理部６０に供給する。

破綻箇所後処理部６０は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、予め定めた閾値と、フレームｔおよび次のフレームｔ＋１の画素値とを用いて、内挿フレームに含まれる画像のうち、破綻した画像に後処理を適用して、６０Ｐ信号の画像を図示せぬ後段に出力する。

なお、混合比および閾値は、外部から供給するようにしてもよく、内部に記憶しておくようにしてもよい。予め定めたとは、それぞれの処理の実行の前に予め定めたという意味であり、少なくとも、処理を実行する時点で定まっているという意味である。従って、各ブロックにおける処理が実行される前に、混合比および閾値を変更して定めることは、予め定めたに該当する。

図３は、本発明に係る画像処理装置１におけるフレームを内挿する処理の原理を説明する図である。図３の例においては、点線が、画像処理装置１に入力される、時刻ｔ，ｔ＋１，およびｔ＋２における２４Ｐ信号のフレームを表しており、実線が、入力された２４Ｐ信号から画像処理装置１により、生成される時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，ｔ＋１．６，およびｔ＋２における６０Ｐ信号の内挿フレームを表している。

一般に、２４Ｐ信号を、６０Ｐ信号に変換するためには、５／２倍のフレームが必要になる。すなわち、２枚の２４Ｐ信号の画像から５枚の６０Ｐ信号の画像が生成されなければならない。このとき、生成される６０Ｐ信号の内挿フレームは、そのフレーム間隔を等しくするために、２４Ｐ信号上での時間位相が０．０，０．４，０．８，１．２，および１．６となる位置に配置される。この中で、時間位相が０．０である時刻ｔの１フレームを除く４フレーム（ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６のフレーム）は、２４Ｐ信号上には存在しない画像である。したがって、画像処理装置１は、２４Ｐ信号の画像が入力されると、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームから、４つの内挿フレームを生成する。したがって、画像処理装置１からは、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６の５枚のフレームからなる６０Ｐ信号の画像が出力される。

以上のようにして、画像処理装置１は、２４Ｐ信号の画像から６０Ｐ信号の画像に、フレーム周波数を変換する処理を実行する。

なお、原理的には、上述したように、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームから、時刻ｔ，ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６の５枚の６０Ｐ信号のフレームが新しく生成されるが、実際には、図３の例の場合、２４Ｐ信号の時刻ｔおよび時刻ｔ＋１の２枚のフレームに基づいて、ｔ，ｔ＋０．４，ｔ＋０．８の６０Ｐ信号のフレームが生成され、２４Ｐ信号の時刻ｔ＋１およびｔ＋２の２枚のフレームに基づいて、ｔ＋１．２，ｔ＋１．６，およびｔ＋２の６０Ｐ信号のフレームが生成される。

また、以下、時刻ｔ＋０．４，ｔ＋０．８，ｔ＋１．２，およびｔ＋１．６などの時刻ｔ＋ｋの内挿フレームを内挿フレームｔ＋ｋと称する。

図４は、フレームを内挿する処理をより具体的に説明する図である。図４の例においては、太線矢印は、各状態への遷移を表しており、矢印Ｔは、状態８１乃至８５における時間の経過方向を表している。また、状態８１乃至８５は、画像処理装置１を構成する各部への入出力時の、２４Ｐ信号の時刻ｔのフレームｔ、時刻ｔの次の時刻ｔ＋１のフレームｔ＋１、または、フレームｔおよびフレームｔ＋１の間に生成される６０Ｐ信号の内挿フレームＦの状態を概念的に表している。すなわち、実際には、例えば、状態８２に示されるような動きベクトルが検出されたフレームは入力されず、フレームと動きベクトルは、別々に入力される。

状態８１は、ベクトル検出部５２に入力される、２４Ｐ信号のフレームｔおよびフレームｔ＋１の状態を表している。状態８１のフレームｔ上の黒点は、フレームｔ上の画素を表している。ベクトル検出部５２は、状態８１のフレームｔ上の画素が、次の時刻のフレームｔ＋１において、どの位置に移動するかを検出し、その動きを、状態８２のフレームｔ上に示されるように、各画素に対応する動きベクトルとして出力する。この２フレーム間の動きベクトルの検出方法には、ブロックマッチング法または勾配法などが用いられる。なお、このとき、例えば、画素に複数の動きベクトルが検出された場合、ベクトル検出部５２は、各動きベクトルについて、評価値を求め、その評価値に基づいて動きベクトルを選択する。

状態８２は、ベクトル割付部５４に入力される、フレームｔおよびフレームｔ＋１の状態を表している。状態８２において、フレームｔの各画素の矢印は、ベクトル検出部５２により検出された動きベクトルを表している。

ベクトル割付部５４は、状態８２のフレームｔの各画素に対して検出された動きベクトルを、次のフレームｔ＋１まで延長させ、予め設定されている時間位相（例えば、図３のｔ＋０．４）にある内挿フレームＦ上のどの位置を通過するかを求める。これは、フレームｔおよびフレームｔ＋１の間が一定動きであると仮定すると、動きベクトルが内挿フレームＦを通過した点が、そのフレームでの画素位置となるためである。したがって、ベクトル割付部５４は、この通過する動きベクトルを、状態８３の内挿フレームＦ上の近傍４画素に割り付ける。また、このとき、内挿フレームの画素によっては、動きベクトルが存在しない場合、あるいは、複数の動きベクトルが、割付候補となりうる場合がある。後者のような場合には、例えば、ベクトル割付部５４は、ベクトル検出部５２と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。

状態８３は、割付補償部５７に入力される、フレームｔおよびフレームｔ＋１、並びに動きベクトルが割り付けられた内挿フレームＦの状態を表している。状態８３の内挿フレームＦにおいては、ベクトル割付部５４により動きベクトルが割り付けられている画素と、動きベクトルが割り付けられなかった画素が示されている。

割付補償部５７は、状態８３の動きベクトルが割り付けられていない画素に対して、その画素の周辺画素に割り付けられている動きベクトルを用いて補う。これは、ある着目画素の近傍領域が同じ動きであるという仮定が成り立つならば、着目画素の周辺画素の動きベクトルと、その着目画素の動きベクトルは似たものであるからである。これにより、動きベクトルが割り付けられなかった画素にも、ある程度正確な動きベクトルが与えられ、状態８４の内挿フレームＦ上のすべての画素に動きベクトルが割り付けられる。なお、この場合にも、複数の周辺画素の動きベクトルが候補として存在するため、割付補償部５７は、例えば、ベクトル割付部５４と同様に、各動きベクトルについての評価値を求め、その評価値に基づいて割り付ける動きベクトルを選択する。

状態８４は、画像補間部５８に入力される、フレームｔおよびフレームｔ＋１、並びに、すべての画素に動きベクトルが割り付けられた内挿フレームＦの状態を表している。これらのすべての画素に割り付けられた動きベクトルにより、画像補間部５８は、内挿フレームＦ上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素の位置関係を決定することができる。したがって、画像補間部５８は、内挿フレームＦ上に割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、状態８５の内挿フレームＦの黒点に示されるように、内挿フレームＦ上の画素値を補間生成する。そして、画像補間部５８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の補間画像を、後段に出力する。

次に、図５のフローチャートを参照して、画像処理装置１のフレーム周波数を変換する処理を説明する。

ステップＳ１において、ベクトル検出部５２は、時刻ｔ＋１の入力画像のフレームｔ＋１と、フレームメモリ５１の入力画像の１つ前の時刻ｔのフレームｔの画素値を入力し、ステップＳ２に進む。なお、このとき、ベクトル割付部５４、割付補償部５７、画像補間部５８、フレーム全体後処理部５９、および破綻箇所後処理部６０は、時刻ｔ＋１の入力画像のフレームｔ＋１と、フレームメモリ５１の入力画像の１つ前の時刻ｔのフレームｔの画素値を入力する。

ステップＳ２において、ベクトル検出部５２は、動きベクトルを検出し、ステップＳ３に進む。すなわち、ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像である次のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶し、ステップＳ３に進む。この２フレーム間の動きベクトルの検出方法には、勾配法またはブロックマッチング法などが用いられる。

ステップＳ３において、ベクトル割付部５４は、補間する内挿フレーム上の着目画素に動きベクトルを割り付け、ステップＳ４に進む。すなわち、ベクトル割付部５４は、ステップＳ３において、フレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する内挿フレーム上の着目画素に割り付け、動きベクトルが割り付けられた画素の割付フラグメモリ５６の割付フラグを１(True)に書き換える。例えば、Trueである割付フラグは、対応する画素に動きベクトルが割り付けられていることを示し、Falseである割付フラグは、対応する画素に動きベクトルが割り付けられていないことを示す。

ステップＳ４において、割付補償部５７は、割り付けを補償し、ステップＳ５に進む。すなわち、割付補償部５７は、ステップＳ４において、割付フラグメモリ５６の割付フラグを参照し、ベクトル割付部５４により動きベクトルが割り付けられなかった着目画素に対して、その着目画素の周辺画素の動きベクトルを補い、割付ベクトルメモリ５５の内挿フレーム上に割り付ける。このとき、割付補償部５７は、動きベクトルを補い、割付けた着目画素の割付フラグを１(True)に書き換える。

ステップＳ５において、画像補間部５８は、画像補間処理を実行する。すなわち、画像補間部５８は、ステップＳ５において、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成し、ステップＳ６に進む。ステップＳ５における、画像補間処理の詳細は後述する。画像補間部５８は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の補間画像を出力する。

ステップＳ６において、フレーム全体後処理部５９は、内挿フレームについて、フレーム全体の後処理を実行して、ステップＳ７に進む。フレーム全体の後処理の詳細は後述する。

ステップＳ７において、破綻箇所後処理部６０は、内挿フレームについて、破綻箇所の後処理を実行して、ステップＳ８に進む。破綻箇所の後処理の詳細は後述する。

破綻箇所後処理部６０は、ステップＳ８において、後処理された６０Ｐ信号の補間画像を出力する。

ステップＳ９において、ベクトル検出部５２は、すべてのフレームの処理が終了したか否かを判断し、すべてのフレームの処理が終了していないと判断した場合、ステップＳ１に戻り、それ以降の処理を繰り返す。一方、ベクトル検出部５２は、ステップＳ９において、すべてのフレームの処理が終了したと判断した場合、フレーム周波数を変換する処理を終了する。

以上のように、本発明に係る画像処理装置１は、２４Ｐ信号の入力画像のフレームから動きベクトルを検出し、検出した動きベクトルを、６０Ｐ信号のフレーム上の画素に割付け、割付けられた動きベクトルに基づいて、６０Ｐ信号のフレーム上の画素値を生成する。そして、画像処理装置１は、内挿フレームについて、フレーム全体または破綻箇所に後処理を適用して、破綻のより目立ちにくい画像を出力する。

次に、画像補間部５８の構成の詳細について説明する。

図６は、画像補間部５８の構成を示すブロック図である。図６に構成を示す画像補間部５８は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔおよびフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成し、６０Ｐ信号の補間画像を出力する処理を行う。

図６の例において、時刻ｔの画像のフレームｔは、空間フィルタ９２−１に入力され、時刻ｔ＋１の画像のフレームｔ＋１は、空間フィルタ９２−２およびバッファ９５に入力される。

補間制御部９１は、割付ベクトルメモリ５５の内挿フレームの画素を選択し、選択した画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素との位置関係（空間シフト量）をそれぞれ求める。すなわち、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ上の位置と、内挿フレームの画素に対応するフレームｔ上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−１に供給する。同様に、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ＋１上の位置と、内挿フレームの画素に対応するフレームｔ＋１上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−２に供給する。

また、補間制御部９１は、予め設定されている内挿フレームの時間位相（時刻）に基づいて、フレームｔとフレームｔ＋１の間における補間重みを求め、求めた補間重みを、乗算器９３−１および９３−２に設定する。例えば、内挿フレームの時刻が、フレームｔ＋１の時刻ｔ＋１から「ｋ」離れた時刻で、かつ、フレームｔの時刻ｔから「１−ｋ」離れた時刻である場合（すなわち、内挿フレームが時刻ｔと時刻ｔ＋１を「１−ｋ」：「ｋ」に内分する時刻に生成される場合）、補間制御部９１は、乗算器９３−１に「１−ｋ」の補間重みを設定し、乗算器９３−２に「ｋ」の補間重みを設定する。

空間フィルタ９２−１および９２−２は、例えば、キュービックフィルタなどにより構成される。空間フィルタ９２−１は、入力されるフレームｔ上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレームｔ上の画素値を求め、求めた画素値を乗算器９３−１に出力する。空間フィルタ９２−２は、入力されるフレームｔ＋１上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、フレームｔ＋１上の画素値を求め、求めた画素値を乗算器９３−２に出力する。

なお、内挿フレームの画素の位置が、フレームｔまたはフレームｔ＋１上の画素の位置と一致しない場合（すなわち、内挿フレームの画素の位置が、フレームｔまたはフレームｔ＋１において画素以下成分である場合）、空間フィルタ９２−１および９２−２は、フレームｔまたはフレームｔ＋１における内挿フレームの画素の位置の周辺４画素の画素値を用いて、周辺４画素の距離の逆比の和を求めることにより、内挿フレームの画素に対応するフレーム上の画素値を求める。すなわち、画素以下位置の画素値は、周辺４画素との距離を基にした線形補間で値が求められる。

乗算器９３−１は、空間フィルタ９２−１から入力されるフレームｔ上の画素値に、補間制御部９１により設定された補間重み「１−ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。乗算器９３−２は、空間フィルタ９２−２から入力されるフレームｔ＋１上の画素値に、補間制御部９１により設定された補間重み「ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。

加算器９４は、乗算器９３−１から入力される画素値と、乗算器９３−２から入力される画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された内挿フレームの画素値を、バッファ９５に出力する。バッファ９５は、入力されたフレームｔ＋１をバッファしている。バッファ９５は、生成された内挿フレームを出力し、その次に、予め設定されている６０Ｐフレームの時間位相（時刻）に基づいて、必要に応じて、バッファしているフレームｔ＋１を出力することにより、６０Ｐ信号の補間画像をフレーム全体後処理部５９に出力する。

以上のように構成される画像補間部５８の画像補間処理の詳細を、図７のフローチャートを参照して説明する。

補間制御部９１は、ステップＳ５１において、処理する内挿フレームの時間位相に基づいて、フレームｔとフレームｔ＋１の間における内挿フレームの補間重み（例えば、「ｋ」および「１−ｋ」）を求め、求められた補間重みを、乗算器９３−１および９３−２にそれぞれ設定し、ステップＳ５２に進む。

例えば、図８で示されるように、時刻ｔのフレームｔと時刻ｔ＋１のフレームｔ＋１の間の、時刻ｔ＋ｋの内挿フレームを生成する場合、補間制御部９１は、ｋおよび１−ｋの補間重みを求め、求められた補間重みを、乗算器９３−１および９３−２にそれぞれ設定する。なお、図８の例においては、点線が、画像処理装置１に入力される、時刻ｔおよびｔ＋１における２４Ｐ信号のフレームを表しており、実線が、入力された２４Ｐ信号から画像処理装置１により、生成される時刻ｔ＋ｋにおける６０Ｐ信号の内挿フレームを表している。

補間制御部９１は、ステップＳ５２において、割付ベクトルメモリ５５の内挿フレームの画素を選択し、ステップＳ５３に進む。なお、内挿フレーム上の画素は、フレームの左上の画素からラスタスキャン順に選択される。

補間制御部９１は、ステップＳ５３において、選択した画素に割り付けられている動きベクトルに基づいて、内挿フレーム上の画素と、２枚のフレームｔおよびフレームｔ＋１の画素との位置関係（空間シフト量）をそれぞれ求め、求められた空間シフト量を、それぞれ空間フィルタ９２−１および９２−２に供給し、ステップＳ５４に進む。

具体的には、補間制御部９１は、ステップＳ５３において、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ上の位置と、内挿フレームの画素に対応するフレームｔ上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−１に供給する。同様に、補間制御部９１は、内挿フレームの画素を基準に、その動きベクトルで対応付けられるフレームｔ＋１上の位置と、内挿フレームの画素に対応するフレームｔ＋１上の画素の位置から、それらの空間シフト量を求め、求めた空間シフト量を空間フィルタ９２−２に供給する。

時刻ｔの画像のフレームｔの画素値は、空間フィルタ９２−１に入力され、時刻ｔ＋１の画像のフレームｔ＋１の画素値は、空間フィルタ９２−２に入力されている。ステップＳ５４において、空間フィルタ９２−１および９２−２は、入力されるフレームｔおよびｔ＋１上の画素の画素値と、補間制御部９１から供給される空間シフト量に基づいて、内挿フレームの画素に対応する、各フレーム上の画素値を求め、求めた画素値を乗算器９３−１および９３−２にそれぞれ出力し、ステップＳ５５に進む。

乗算器９３−１および９３−２は、ステップＳ５５において、空間フィルタ９２−１または９２−２から入力される各フレーム上の画素値に、補間制御部９１により設定された補間重みを重み付けし、重み付けされた画素値を、加算器９４に出力し、ステップＳ５６に進む。すなわち、乗算器９３−１は、空間フィルタ９２−１から入力されるフレームｔ上の画素値に、補間制御部９１により設定された補間重み「１−ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。乗算器９３−２は、空間フィルタ９２−２から入力されるフレームｔ＋１上の画素値に、補間制御部９１により設定された補間重み「ｋ」を乗算し、重み付けされた画素値を、加算器９４に出力する。

加算器９４は、ステップＳ５６において、乗算器９３−１により重み付けされた画素値と、乗算器９３−２により重み付けされた画素値を加算することにより、内挿フレームの画素の画素値を生成し、生成された画素値を、バッファ９５に出力し、ステップＳ５７に進む。

例えば、ステップＳ５２乃至ステップＳ５６の処理により、図８で示されるように、内挿フレームにおける選択された画素ｐに割り付けられている動きベクトルｖで対応付けられるフレームｔ上の画素ｑの画素値およびフレームｔ＋１上の画素ｒの画素値から、フレームｔとフレームｔ＋１の間の新たな内挿フレームｔ＋ｋ上の画素ｐの画素値が生成される。

補間制御部９１は、ステップＳ５７において、内挿フレーム上のすべての画素についての処理が終了したか否かを判断し、内挿フレーム上のすべての画素についての処理が終了していないと判断した場合、ステップＳ５２に戻り、それ以降の処理を繰り返す。補間制御部９１は、ステップＳ５７において、内挿フレーム上のすべての画素についての処理が終了したと判断した場合、画像補間処理を終了する。

以上のように、内挿フレームに割り付けられた動きベクトルに基づいて、内挿フレームの画素値が生成され、上述した図５のステップＳ５において、バッファ９５により、内挿フレームが出力され、その次に、必要に応じて、フレームｔ＋１が出力されることにより、６０Ｐ信号の補間画像がフレーム全体後処理部５９に出力される。

なお、図７のフローチャートを参照して説明した処理は、内挿フレーム生成の処理とも称する。

次に、フレーム全体後処理部５９について説明する。

図９は、フレーム全体後処理部５９の構成の例を示すブロック図である。フレーム全体後処理部５９は、０ベクトル補間画像生成部１１１および画像混合部１１２を備える。

０ベクトル補間画像生成部１１１は、内挿フレームｔ＋ｋ上の画素に割り当てた０ベクトルで示される、内挿フレームｔ＋ｋに隣接する入力画像のフレームｔの画素の画素値およびフレームｔ＋１の画素の画素値から、フレームｔの時刻ｔから内挿フレームｔ＋ｋの時刻ｔ＋ｋまでの時間と、内挿フレームｔ＋ｋの時刻ｔ＋ｋからフレームｔ＋１の時刻ｔ＋１までの時間との比率に応じて、画素値を生成する。

ここで、０ベクトルは、空間方向の成分が０である動きベクトルである。

すなわち、０ベクトル補間画像生成部１１１は、内挿フレームｔ＋ｋ上の画素であって、内挿フレームｔ＋ｋ上の注目している画素である注目画素の位置と同じ位置のフレームｔ上の画素の画素値と、注目画素の位置と同じ位置のフレームｔ＋１上の画素の画素値とから、時刻ｔから時刻ｔ＋ｋまでの時間と、時刻ｔ＋ｋから時刻ｔ＋１までの時間との比率に応じて、画素値を生成する。

図１０は、０ベクトル補間画像生成部１１１における画素値の生成を説明する図である。なお、図１０の例においては、点線が、画像処理装置１に入力される、時刻ｔおよびｔ＋１における２４Ｐ信号のフレームを表しており、実線が、入力された２４Ｐ信号から画像処理装置１により、生成される時刻ｔ＋ｋにおける６０Ｐ信号の内挿フレームを表している。また、動きベクトルｖは、内挿フレームの画素ｐに割り付けられ、フレームｔ＋１上の画素ｒおよびフレームｔ上の画素ｑが、動きベクトルｖによって対応付けられている。

図中の空間方向の成分が０である０ベクトル（0 vector）は、内挿フレーム上の注目画素ｐの位置と同じ位置のフレームｔ上の画素ｐと、注目画素ｐの位置と同じ位置のフレームｔ＋１上の画素ｐとを対応付けている。

図１０で示されるように、０ベクトル補間画像生成部１１１は、内挿フレーム上の画素ｐに注目している場合、画素ｐの位置と同じ位置のフレームｔ上の画素ｐの画素値Ｆ_t（ｐ）と、画素ｐの位置と同じ位置のフレームｔ＋１上の画素ｐの画素値Ｆ_t+1（ｐ）とを取得する。そして、０ベクトル補間画像生成部１１１は、画素値Ｆ_t（ｐ）に、時刻ｔから時刻ｔ＋ｋまでの時間に応じた重みｋを乗算し、画素値Ｆ_t+1（ｐ）に、時刻ｔ＋ｋから時刻ｔ＋１までの時間に応じた重み１−ｋを乗算する。さらに、０ベクトル補間画像生成部１１１は、これらの乗算の結果を加算することで、画素値Ｇ_t+k（ｐ）を生成する。

すなわち、０ベクトル補間画像生成部１１１によって、式（１）で示される画素値Ｇ_t+k（ｐ）が求められる。
Ｇ_t+k（ｐ）＝（１−ｋ）Ｆ_t（ｐ）＋ｋＦ_t+1（ｐ） （１）

０ベクトル補間画像生成部１１１は、内挿フレームの全ての画素について、式（１）で示される演算で求められる画素値を生成する。０ベクトル補間画像生成部１１１は、生成した画素値の画素からなる０ベクトル補間画像を画像混合部１１２に供給する。

画像混合部１１２は、所定の混合比（割合）に従って、注目画素の画素値に、０ベクトル補間画像生成部１１１において生成された画素値を混合する。例えば、混合比は、予め定められている。

例えば、画像混合部１１２は、外部から予め定めた混合比γが入力された場合、画素ｐに注目しているとき、０ベクトル補間画像生成部１１１から供給された０ベクトル補間画像の画素ｐの画素値Ｇ_t+k（ｐ）に混合比γを乗算し、内挿フレームの画素ｐの画素値Ｆ_t+k（ｐ）に（１−γ）を乗算する。そして、画像混合部１１２は、これらの乗算の結果を加算した値を内挿フレームの画素ｐの画素値Ｆ’_t+k（ｐ）とする。なお、混合比γは、０より大きく１より小さい。

すなわち、画像混合部１１２によって、混合比γに従って、注目画素ｐの画素値に、０ベクトル補間画像生成部１１１において生成された画素値Ｇ_t+k（ｐ）が混合されることで、式（２）で示される、内挿フレームの画素ｐの画素値Ｆ’_t+k（ｐ）が求められる。
Ｆ’_t+k（ｐ）＝（１−γ）Ｆ_t+k（ｐ）＋γＧ_t+k（ｐ） （２）

画像混合部１１２は、内挿フレームの全ての画素について、式（２）で示されるように、混合比に従って、０ベクトル補間画像の画素を混合する。画像混合部１１２は、混合の結果得られた補間画像を出力する。

なお、０ベクトル補間画像生成部１１１において生成された画素値Ｇ_t+k（ｐ）の割合を大きくすると、画像の動きが不自然になってしまうので、０．０＜γ＜＝０．５の混合比γを利用するとよい。

さらに好ましくは、０．２５＜＝γ＜＝０．５の混合比γを利用するとよい。本発明者の実験において、０．２５＜＝γ＜＝０．５の混合比γを用いると、より自然で、かつ画像の破綻がより目立ちにくい画像を得ることができることを確認している。

なお、画像補間部５８において、Ｆ_t+k（ｐ）を算出する場合に、フレームｔおよびフレームｔ＋１を記憶するので、フレーム全体後処理部５９は、フレームｔおよびフレームｔ＋１を画像補間部５８から読み出すようにすれば、新たにメモリを用意する必要がない。

また、内挿フレームの全ての画素に一律に０ベクトル補間画像の画素を混合するので、ハードウェアまたはソフトウェアをより簡単に実現することができる。

図１１は、図５のステップＳ６に対応するフレーム全体の後処理の詳細を説明するフローチャートである。ステップＳ１０１において、０ベクトル補間画像生成部１１１は、０ベクトル補間画像の画素を生成する。すなわち、例えば、ステップＳ１０１において、０ベクトル補間画像生成部１１１は、式（１）に従って、０ベクトル補間画像の画素の画素値Ｇ_t+k（ｐ）を算出することで、０ベクトル補間画像の画素を生成する。

ステップＳ１０２において、画像混合部１１２は、予め定めた混合比γに従って、入力された補間画像の画素と、０ベクトル補間画像の画素とを混合する。例えば、ステップＳ１０２において、画像混合部１１２は、式（２）で示されるように、混合比γに従って、内挿フレームの画素に、０ベクトル補間画像の画素を混合する。

ステップＳ１０３において、フレーム全体後処理部５９は、内挿フレームの全ての画素について、処理を終了したか否かを判定し、処理を終了していないと判定された場合、ステップＳ１０１に戻り、内挿フレームの次の画素について、ステップＳ１０１およびステップＳ１０２の処理が繰り返される。なお、ステップＳ１０１およびステップＳ１０２の処理の対象となる画素は、例えば、ラスタスキャン順に選択される。

ステップＳ１０３において、内挿フレームの全ての画素について処理を終了したと判定された場合、フレーム全体の後処理は終了する。

このように、内挿フレームの全体について、０ベクトル補間画像を混合するようにしたので、簡単な処理で、画像の動きの滑らかさを損なうことなく、画像の破綻を目立たなくすることができる。画像の破綻が目立ちにくくなるので、画像を見ている使用者には、画像の画質が改善されたように感じられる。

なお、０ベクトル補間画像の全体を生成してから、補間画像と０ベクトル補間画像とを混合するようにしてもよい。

次に、破綻箇所後処理部６０について説明する。

図１２は、破綻箇所後処理部６０の構成の例を示すブロック図である。破綻箇所後処理部６０は、ベクトル特徴量算出部１４１、破綻箇所判定部１４２、画像特徴量算出部１４３、フィルタ係数ROM１４４、フィルタ選択部１４５、およびフィルタ処理部１４６を備える。

ベクトル特徴量算出部１４１は、画像補間部５８において画素値が生成された内挿フレーム上の画素であって、注目している画素である注目画素に割り付けられている動きベクトルと、注目画素の周辺の予め定めた範囲の内挿フレーム上の画素である周辺画素に割り付けられている動きベクトルとのばらつきを示す値を算出する。

内挿フレームを生成する場合に生じる画像の破綻（劣化）は、経験的に、画素に割り付けられている動きベクトルが暴れている（ばらついている）部分において生じやすい。

ベクトル特徴量算出部１４１は、画像の破綻（劣化）の生じる可能性を示す評価値として、生成した画像の画素に割り付けられている動きベクトルのばらつきを示す値を算出する。

例えば、ベクトル特徴量算出部１４１は、内挿フレームｔ＋ｋにおける注目画素ｐ_x,yについて、動きベクトルのばらつきを示す値の一例である、不規則性評価値を算出する。ここで、不規則性評価値とは、注目画素ｐ_x,yに割り当てられた動きベクトルを、周辺の画素に割り当てられた動きベクトルと比較した場合に、どの程度ばらついているかを評価した結果を示すものである。

以下、ベクトル特徴量算出部１４１が、不規則性評価値として、VDAS（Vector Difference Absolute Summation）を算出する場合を例に説明する。

例えば、図１３で示されるように、ベクトル特徴量算出部１４１は、内挿フレームｔ＋ｋ上の注目している画素を注目画素ｐ_x,yとした場合、注目画素ｐ_x,yを中心とした、１点鎖線で示される所定の範囲の画素に割り付けられている動きベクトルを割付ベクトルメモリ５５から読み出す。

より詳細には、例えば、ベクトル割付部５４において２画素毎に動きベクトルを割り付ける場合、図１４で示されるように、ベクトル特徴量算出部１４１は、内挿フレーム上の注目している画素を注目画素ｐ_x,yとしたとき、注目画素ｐ_x,yから、上下に２画素、左右に２画素離れた範囲の画素に割り付けられている動きベクトルを割付ベクトルメモリ５５から読み出す。すなわち、ベクトル特徴量算出部１４１は、注目画素ｐ_x,yに対して、２画素上側で２画素左側の画素ｐ_x-2,y-2、注目画素ｐ_x,yに対して、２画素上側の画素ｐ_x,y-2、注目画素ｐ_x,yに対して、２画素上側で２画素右側の画素ｐ_x+2,y-2、注目画素ｐ_x,yに対して、２画素左側の画素ｐ_x-2,y、注目画素ｐ_x,yに対して、２画素右側の画素ｐ_x+2,y、注目画素ｐ_x,yに対して、２画素下側で２画素左側の画素ｐ_x-2,y+2、注目画素ｐ_x,yに対して、２画素下側の画素ｐ_x,y+2、注目画素ｐ_x,yに対して、２画素下側で２画素右側の画素ｐ_x+2,y+2、および注目画素ｐ_x,yのそれぞれに割り付けられている動きベクトルを割付ベクトルメモリ５５から読み出す。

ベクトル特徴量算出部１４１は、式（３）を基に、内挿フレームｔ＋ｋ上の注目画素ｐ_x,yについてのVDASであるVDAS_t+k（ｐ_x,y）を算出する。
VDAS_t+k（ｐ_x,y）＝ｍａｘ（VDAS_t+k（ｐ_x,y）_x，VDAS_t+k（ｐ_x,y）_y）
・・・（３）
式（３）において、ｍａｘ（ａ，ｂ）は、ａとｂのうち、大きい方を選ぶ関数である。

VDAS_t+k（ｐ_x,y）_xは、式（４）で算出され、VDAS_t+k（ｐ_x,y）_yは、式（５）で算出される。

・・・（４）

・・・（５）
式（４）および式（５）において、ｉ＝−２，０，２であり、ｊ＝−２，０，２である。

このように、例えば、ベクトル特徴量算出部１４１は、内挿フレーム上のｎ個の画素毎に動きベクトルが割り付けられている場合、注目画素からｎ個の画素だけ離れた周辺画素に割り付けられている動きベクトルと、注目画素に割り付けられている動きベクトルとのばらつきを示す値を算出する。

以上のように、ベクトル特徴量算出部１４１は、不規則性評価値として、VDASを算出する。

ベクトル特徴量算出部１４１は、不規則性評価値などの、動きベクトルのばらつきを示す値を破綻箇所判定部１４２に供給する。

なお、いわゆる４：２：２の画像信号のクロマ（色差信号）について、VDASを算出する場合、注目画素ｐ_x,yから、上下に４画素、左右に４画素離れた範囲の画素に割り付けられている動きベクトルを割付ベクトルメモリ５５から読み出して、読み出した動きベクトルに式（３）を適用して、VDASを算出する。この場合、ｉ＝−４，０，４であり、ｊ＝−４，０，４である。

また、色差信号の場合、輝度信号において対応する画素の位置で算出されたVDASの値を用いるようにしてもよい。

さらに、式（４）および式（５）において、絶対値に代えて、自乗した値を用いるようにしてもよい。

さらにまた、VDASの値の算出には、動きベクトルの間のユークリッド距離の和を用いるようにしてもよい。

なお、VDASの値の算出に際して、入力画像の種類に応じて画素の範囲を変更するようにしてもよい。例えば、注目画素を中心とした、上下に９画素、左右に９画素の範囲の全ての画素のそれぞれに割り付けられている８１個の動きベクトルを基にVDASの値を算出するようにしてもよい。

次に、画像特徴量算出部１４３は、フレームｔとの間に内挿フレームｔ＋ｋが配置される、入力されたフレームｔ＋１上の画素であって、内挿フレームｔ＋ｋ上の注目画素の位置と同じ位置のフレームｔ＋１上の画素の画素値と、注目画素の位置と同じ位置のフレームｔ上の画素の画素値とから、時間方向の画素値の変化を示す値を算出する。

これは、ばらつきを示す値の算出の対象となる動きベクトルが割り付けられている画素の範囲に、動きの異なるオブジェクトの境界が含まれている場合を考えると、画像が破綻していないときであっても、動きベクトルのばらつきが生じるので、動きベクトルのばらつきだけで画像が破綻しているか否かを判定すると、破綻箇所判定部１４２において画像が破綻していると誤って判定される（誤検出される）ときがある。

例えば、図１５で示されるように、５×５画素の領域の１画素おきの９個の画素（図中の丸）について考えた場合、上側の横の行の３つの画素と下側の横の行の３つの画素が、動いている背景の画像オブジェクトに対応し、上側の横の行の３つの画素と下側の横の行の３つの画素とに挟まれた中の横の行の３つの画素が、静止している前景の画像オブジェクトに対応するとき、上側の画素と下側の画素には、同じ動きベクトルが割り付けられるが、中の画素には、０ベクトルが割り付けられる。

この場合、図１６で示されるように、５×５画素の領域の１画素おきの９個の画素のうちの中心の画素を注目画素（図中の黒丸で示す画素）としたとき、動きベクトルのばらつきは、上側の横の行の３つの画素および下側の横の行の３つの画素に割り付けられた動きベクトルの大きさによって決まり、大きなものとなる。図に示される画像は、破綻していないにもかかわらず、動きベクトルのばらつきを示す値だけで画像が破綻しているか否かを判断すると、破綻していると誤って判断してしまうことになる。

そこで、画像の破綻箇所の検出から、このような誤った検出を減らして、破綻箇所の検出の精度を向上させるために、時間方向の画像の情報を用いることを考える。

図１７で示されるように、画素ｐに注目している場合、画素ｐの位置と同じ位置（同位相）のフレームｔ上の画素の画素値Ｆ_t（ｐ）と、画素ｐの位置と同じ位置のフレームｔ＋１上の画素の画素値Ｆ_t+1（ｐ）との差分絶対値Ｄ（ｐ）を、時間方向の安定性を判定するための評価値（時間方向の画素値の変化を示す値）として用いる。差分絶対値Ｄ（ｐ）は、式（６）で算出される。
Ｄ（ｐ）＝｜Ｆ_t（ｐ）−Ｆ_t+1（ｐ）｜ ・・・（６）

例えば、画像特徴量算出部１４３は、式（６）で示される演算により、時間方向の画素値の変化を示す値として差分絶対値Ｄ（ｐ）を算出する。

画像特徴量算出部１４３は、算出した時間方向の画素値の変化を示す値を破綻箇所判定部１４２に供給する。

破綻箇所判定部１４２は、ベクトル特徴量算出部１４１から供給された動きベクトルのばらつきを示す値および画像特徴量算出部１４３から供給された時間方向の画素値の変化を示す値から、注目画素において内挿フレームの画像が破綻しているか否かを判定する。

例えば、破綻箇所判定部１４２は、注目画素ｐ_x,yについて、ベクトル特徴量算出部１４１から供給されたVDASと予め定めた閾値ＴＨ_pf0とを比較し、画像特徴量算出部１４３から供給された差分絶対値Ｄ（ｐ）と予め定めた閾値ＴＨ_pf1とを比較し、VDASが閾値ＴＨ_pf0より大きく、かつ、差分絶対値Ｄ（ｐ）が閾値ＴＨ_pf1より大きい場合に、注目画素ｐ_x,yにおいて内挿フレームの画像が破綻していると判定する。破綻箇所判定部１４２は、VDASが閾値ＴＨ_pf0以下であるか、または、差分絶対値Ｄ（ｐ）が閾値ＴＨ_pf1以下である場合に、注目画素ｐ_x,yにおいて内挿フレームの画像が破綻していないと判定する。

すなわち、破綻箇所判定部１４２は、式（７）で示される条件が満たされる場合、内挿フレームの画像が破綻していると判定し、式（７）で示される条件が満たされない場合、内挿フレームの画像が破綻していないと判定する。
VDAS_t+k（ｐ_x,y）＞ＴＨ_pf0 ∩ Ｄ（ｐ）＞ＴＨ_pf1 ・・・（７）

このように、動きベクトルのばらつきから、画像の空間方向に対する破綻を検出することができるが、さらに画像の時間方向の情報を用いることにより、破綻箇所の誤検出を減らして、より正確に、より確実に、画像が破綻しているか否かを判定することができるようになる。

破綻箇所判定部１４２は、動きベクトルとのばらつきを示す値と共に、注目画素において内挿フレームの画像が破綻しているか否かの判定の結果を示すデータをフィルタ選択部１４５に供給する。

フィルタ係数ROM１４４は、画像の高域成分を除去するフィルタ（低域通過フィルタ）に用いて、フィルタの特性を決定するためのフィルタ係数を予め複数記憶している。

フィルタ選択部１４５は、画像の高域成分を除去する複数のフィルタから、動きベクトルのばらつきを示す値を基に、内挿フレームにおける注目画素を含む所定の範囲の画像に適用する１つのフィルタを選択する。

フィルタ処理部１４６は、注目画素において内挿フレームの画像が破綻していると判定された場合、補間画像のうちの内挿フレームにおける注目画素を含む所定の範囲の画像から、画像の高域成分を除去する。フィルタ処理部１４６は、高域成分を除去した画像を出力画像として出力する。例えば、フィルタ処理部１４６は、画像の高域成分を除去するフィルタの処理を、図１３の１点鎖線で示される、内挿フレームにおける注目画素を含む所定の範囲の画像に適用することで、画像の高域成分を除去する。

なお、ばらつきを示す値を算出する動きベクトルが割り付けられている画素の範囲と、高域成分を除去する画像の範囲とは、同じであっても、異なるものであってもよい。

より具体的には、例えば、フィルタ係数ROM１４４は、フィルタ処理部１４６において、画像の高域成分を除去するフィルタの処理に用い、フィルタの特性を決定するためのフィルタ係数を予め複数記憶している。

フィルタ選択部１４５は、動きベクトルのばらつきを示す値の一例であるVDASに応じて、フィルタ係数ROM１４４に記憶されているフィルタ係数のうち、所定のフィルタ係数を読み出す。フィルタ選択部１４５は、フィルタ係数ROM１４４から読み出したフィルタ係数をフィルタ処理部１４６に供給する。フィルタ処理部１４６は、フィルタ選択部１４５から供給されたフィルタ係数を用いたフィルタ処理を、内挿フレームにおける注目画素を含む所定の範囲の画像に適用することで、画像の高域成分を除去する。

すなわち、例えば、フィルタ選択部１４５は、動きベクトルのばらつきを示す値を基に、複数のフィルタ係数のうち、所定のフィルタの特性を実現するための１つのフィルタ係数を選択し、フィルタ処理部１４６に選択したフィルタ係数を供給することで、内挿フレームにおける注目画素を含む所定の範囲の画像に適用するフィルタを選択する。

より具体的には、フィルタ選択部１４５は、式（８）で示される条件が満たされる場合、フィルタ１を選択し、式（９）で示される条件が満たされる場合、フィルタ２を選択する。
ＴＨ_pf00＜VDAS_t+k（ｐ_x,y）＜＝ＴＨ_pf01 ・・・（８）
ＴＨ_pf01＜VDAS_t+k（ｐ_x,y）＜＝ＴＨ_pf02 ・・・（９）
但し、ＴＨ_pf00＜ＴＨ_pf01＜ＴＨ_pf02である。

この場合、フィルタ２は、フィルタ１に比較して、画像の高域成分をより多く除去するフィルタとするのがよいことがわかっている。

すなわち、フィルタ選択部１４５は、式（８）で示される条件が満たされる場合、フィルタ１の特性を実現させるためのフィルタ係数を選択して、フィルタ係数ROM１４４から読み出して、フィルタ処理部１４６に供給する。一方、フィルタ選択部１４５は、式（９）で示される条件が満たされる場合、フィルタ２の特性を実現させるためのフィルタ係数を選択して、フィルタ係数ROM１４４から読み出して、フィルタ処理部１４６に供給する。

フィルタ処理部１４６は、フィルタ選択部１４５から供給されたフィルタ係数に応じて、フィルタ１またはフィルタ２を破綻している画像に適用する。動きベクトルのばらつきがより大きい場合には、画像の高域成分がより多く除去されることになる。

すなわち、動きベクトルのばらつきがより大きい場合には、画像が破綻している度合いも大きいと推定されるので、画像の高域成分がより多く除去されて、破綻が目立たない画像とされる。

破綻箇所後処理部６０は、内挿フレームの画像のうち破綻している画像から画像の高域成分を除去するので、画像の動きの滑らかさを損なうことなく、画像の破綻が目立たない画像を出力することができる。画像の破綻が目立ちにくくなるので、画像を見ている使用者には、画像の画質が改善されたように感じられる。

また、動きベクトルおよび入力された画像（画像情報）を用いることで、正確に精度良く画像の破綻箇所を検出することができる。

このように、動きベクトルが暴れている部分に、画像の劣化が起こる可能性があるとみなして、この部分に低域通過フィルタが適用される。低域通過フィルタが適用されることで、補間された画像に生じた劣化を目立たなくすることができる。

次に、図５のステップＳ７の破綻箇所の後処理の詳細を図１８のフローチャートを参照して説明する。

ステップＳ１４１において、ベクトル特徴量算出部１４１は、内挿フレーム上の注目している画素である注目画素の周辺の所定の範囲の画素に割り付けられている動きベクトルの不規則性評価値を算出する。例えば、ステップＳ１４１において、ベクトル特徴量算出部１４１は、式（３）を基に、不規則性評価値としてVDASを算出する。ベクトル特徴量算出部１４１は、不規則性評価値を破綻箇所判定部１４２に供給する。

ステップＳ１４２において、画像特徴量算出部１４３は、時間方向の画素値の変化を示す画像特徴量を算出する。例えば、ステップＳ１４２において、画像特徴量算出部１４３は、式（６）を基に、画像特徴量として差分絶対値Ｄ（ｐ）を算出する。画像特徴量算出部１４３は、画像特徴量を破綻箇所判定部１４２に供給する。

ステップＳ１４３において、破綻箇所判定部１４２は、不規則性評価値および画像特徴量を基に、注目画素において内挿フレームの画像が破綻しているか否かを判定する。ステップＳ１４３において、注目画素において内挿フレームの画像が破綻していると判定された場合、ステップＳ１４４に進み、フィルタ選択部１４５は、画像の高域成分を除去する複数のフィルタから、不規則性評価値を基に、内挿フレームにおける注目画素を含む範囲の画像に適用するフィルタを選択する。例えば、ステップＳ１４４において、フィルタ選択部１４５は、フィルタ係数ROM１４４に記憶されているフィルタ係数のうち、不規則性評価値に応じた所定のフィルタ係数を読み出し、フィルタ係数ROM１４４から読み出したフィルタ係数をフィルタ処理部１４６に供給することで、内挿フレームにおける注目画素を含む範囲の画像に適用するフィルタを選択する。

ステップＳ１４５において、フィルタ処理部１４６は、内挿フレームにおける注目画素を含む範囲の画像に選択されたフィルタを適用し、ステップＳ１４６に進む。すなわち、ステップＳ１４４において、フィルタ処理部１４６は、内挿フレームにおける注目画素を含む所定の範囲の画像から、画像の高域成分を除去する。例えば、フィルタ処理部１４６は、フィルタ選択部１４５から供給されたフィルタ係数で特性の定まるフィルタを、内挿フレームにおける注目画素を含む範囲の画像に適用する。

図１９は、フィルタ処理部１４６において、内挿フレームにおける注目画素を含む範囲の画像に適用されるフィルタを説明する図である。図１９の横方向は、画像の周波数を示し、図１９の縦方向は、出力のレベルを示す。図１９において、点線は、フィルタ処理部１４６において適用されるフィルタの一例である、画像の高域成分を除去するフィルタ１の特性を示し、実線は、フィルタ処理部１４６において適用されるフィルタの一例であって、フィルタ１に比較して、画像の高域成分をより多く除去するフィルタ２の特性を示す。

例えば、ステップＳ１４４において、式（８）で示される条件が満たされる場合、フィルタ選択部１４５は、フィルタ１を選択し、フィルタ係数ROM１４４からフィルタ１のフィルタ係数を読み出して、フィルタ処理部１４６に供給する。また、式（９）で示される条件が満たされる場合、フィルタ選択部１４５は、フィルタ２を選択し、フィルタ係数ROM１４４からフィルタ２のフィルタ係数を読み出して、フィルタ処理部１４６に供給する。

そして、フィルタ選択部１４５からフィルタ係数が供給されたフィルタ処理部１４６は、ステップＳ１４５において、内挿フレームにおける注目画素を含む範囲の画像に、そのフィルタ係数に応じて、フィルタ１またはフィルタ２のいずれか一方を適用して、内挿フレームにおける注目画素を含む所定の範囲の画像から、画像の高域成分を除去する。

ステップＳ１４３において、注目画素において内挿フレームの画像が破綻していないと判定された場合、ステップＳ１４４およびステップＳ１４５はスキップされ、手続きは、ステップＳ１４６に進む。

ステップＳ１４６において、破綻箇所後処理部６０は、内挿フレームの全ての画素について、処理を終了したか否かを判定し、処理を終了していないと判定された場合、ステップＳ１４１に戻り、内挿フレームの次の画素について、上述した処理が繰り返される。なお、ステップＳ１４１乃至ステップＳ１４５の処理の対象となる画素は、例えば、ラスタスキャン順に選択される。

ステップＳ１４６において、内挿フレームの全ての画素について処理を終了したと判定された場合、破綻箇所の後処理は終了する。

このように、内挿フレームの画像の内の破綻している画像から画像の高域成分を除去するようにしたので、破綻していない画像に影響を与えることなく、また、画像の動きの滑らかさを損なうことなく、画像の破綻を目立たなく（マスキング）することができる。また、画像の破綻の程度に応じて、適応的にフィルタを用いたので、必要以上に画像の高域成分を除去することなく、画像の破綻を目立たなく（マスキング）することができる。

画像の破綻が目立ちにくくなるので、画像を見ている使用者には、画像の画質が改善されたように感じられる。

なお、内挿フレームの全体について、ステップＳ１４１乃至ステップＳ１４５のそれぞれの処理を実行するようにしてもよい。すなわち、例えば、内挿フレームからラスタスキャン順に選択した画素のそれぞれについて、動きベクトルの不規則性評価値を算出し、内挿フレームの全体について、動きベクトルの不規則性評価値を算出したら、内挿フレームからラスタスキャン順に選択した画素のそれぞれについて、画像特徴量を算出するなどのように、内挿フレームの全体について、それぞれのステップの処理を実行するようにしてもよい。

また、破綻箇所後処理部６０において、動きベクトルのばらつきを示す値だけで、時間方向の画素値の変化を示す値を用いないで、画像が破綻しているか否かを判定するようにしてもよい。

図２０は、この場合の、破綻箇所後処理部６０の構成の他の例を示すブロック図である。図２０で構成が示される破綻箇所後処理部６０は、ベクトル特徴量算出部１４１、フィルタ係数ROM１４４、フィルタ選択部１４５、フィルタ処理部１４６、および破綻箇所判定部１６１を備える。

図１２に示す場合と同様の部分には同一の符号を付してありその説明は省略する。

ベクトル特徴量算出部１４１は、内挿フレーム上の注目画素に割り付けられている動きベクトルと、注目画素の周辺の予め定めた範囲の画素である周辺画素に割り付けられている動きベクトルとのばらつきを示す値を算出し、算出した動きベクトルとのばらつきを示す値を破綻箇所判定部１６１に供給する。

破綻箇所判定部１６１は、ベクトル特徴量算出部１４１から供給された動きベクトルのばらつきを示す値から、注目画素において内挿フレームの画像が破綻しているか否かを判定し、判定の結果を示すデータをフィルタ選択部１４５に供給する。

図２１は、図２０で構成が示される破綻箇所後処理部６０による、図５のステップＳ７の破綻箇所の後処理の詳細の他の例を説明するフローチャートである。

ステップＳ１６１において、ベクトル特徴量算出部１４１は、内挿フレーム上の注目している画素である注目画素の周辺の所定の範囲の画素に割り付けられている動きベクトルの不規則性評価値を算出し、不規則性評価値を破綻箇所判定部１６１に供給する。

ステップＳ１６２において、破綻箇所判定部１６１は、不規則性評価値を基に、注目画素において内挿フレームの画像が破綻しているか否かを判定する。

例えば、破綻箇所判定部１６１は、式（１０）で示される条件が満たされる場合、内挿フレームの画像が破綻していると判定し、式（１０）で示される条件が満たされない場合、内挿フレームの画像が破綻していないと判定する。
VDAS_t+k（ｐ_x,y）＞ＴＨ_pf0 ・・・（１０）

ステップＳ１６３乃至ステップＳ１６５の処理は、それぞれ、図１８のステップＳ１４４乃至ステップＳ１４６と同様なので、その説明は省略する。

このように、動きベクトルのばらつきを示す値だけで、画像が破綻しているか否かを判定することができる。この場合、より簡単な処理で、画像の動きの滑らかさを損なうことなく、画像の破綻が目立たない画像を出力することができる。

なお、画像補間部５８から出力された補間画像のうち、破綻した画像に後処理を適用してから、内挿フレームの全体に後処理を適用するようにしてもよい。

図２２は、画像処理装置１の機能の構成の他の例を示すブロック図である。画像処理装置１は、フレームメモリ５１、ベクトル検出部５２、検出ベクトルメモリ５３、ベクトル割付部５４、割付ベクトルメモリ５５、割付フラグメモリ５６、割付補償部５７、画像補間部５８、フレーム全体後処理部５９、および破綻箇所後処理部６０を備える。図２に示す場合と同様の部分には同一の符号を付してあり、その説明は適宜省略する。

画像補間部５８は、補間画像を破綻箇所後処理部６０に供給する。破綻箇所後処理部６０は、画像補間部５８から供給された補間画像の内挿フレームに含まれる画像のうち、破綻した画像に、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、予め定めた閾値と、フレームｔおよび次のフレームｔ＋１の画素値とを用いて、後処理を適用する。破綻箇所後処理部６０は、破綻した画像に後処理を適用した補間画像をフレーム全体後処理部５９に供給する。

フレーム全体後処理部５９は、破綻箇所後処理部６０から供給された補間画像の内挿フレームの全体に、予め定めた混合比と、フレームｔおよび次のフレームｔ＋１の画素値とを用いて、破綻が目立たないようにする後処理を適用する。フレーム全体後処理部５９は、内挿フレームの全体に後処理を適用した、６０Ｐ信号の画像を図示せぬ後段に出力する。

さらに、フレーム全体後処理部５９または破綻箇所後処理部６０のうち、いずれか一方だけを設けるようにしてもよい。

図２３は、画像処理装置１の機能の構成のさらに他の例を示すブロック図である。画像処理装置１は、フレームメモリ５１、ベクトル検出部５２、検出ベクトルメモリ５３、ベクトル割付部５４、割付ベクトルメモリ５５、割付フラグメモリ５６、割付補償部５７、画像補間部５８、およびフレーム全体後処理部５９を備える。図２に示す場合と同様の部分には同一の符号を付してあり、その説明は適宜省略する。

フレーム全体後処理部５９は、画像補間部５８から供給された補間画像の内挿フレームの全体に、予め定めた混合比と、フレームｔおよび次のフレームｔ＋１の画素値とを用いて、破綻が目立たないようにする後処理を適用する。フレーム全体後処理部５９は、内挿フレームの全体に後処理を適用した、６０Ｐ信号の画像を図示せぬ後段に出力する。

図２４は、画像処理装置１の機能の構成のさらに他の例を示すブロック図である。画像処理装置１は、フレームメモリ５１、ベクトル検出部５２、検出ベクトルメモリ５３、ベクトル割付部５４、割付ベクトルメモリ５５、割付フラグメモリ５６、割付補償部５７、画像補間部５８、および破綻箇所後処理部６０を備える。図２に示す場合と同様の部分には同一の符号を付してあり、その説明は適宜省略する。

破綻箇所後処理部６０は、画像補間部５８から供給された補間画像の内挿フレームに含まれる画像のうち、破綻した画像に、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、予め定めた閾値と、フレームｔおよび次のフレームｔ＋１の画素値とを用いて、後処理を適用する。破綻箇所後処理部６０は、破綻した画像に後処理を適用した、６０Ｐ信号の画像を図示せぬ後段に出力する。

このように、第１のフレーム上の動きベクトルを検出し、第２のフレーム上の画素に、検出された動きベクトルを割り付け、割り付けられた動きベクトルに基づいて、第１のフレームおよび第３のフレームから、画素値を算出することで、第２のフレーム上の画素を生成するようにした場合には、画像を生成することができる。また、第１のフレームとの間に第２のフレームが配置される、入力された第３のフレーム上の画素であって、第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、注目画素の位置と同じ位置の第１のフレーム上の画素の画素値とから、第１のフレームの時刻から第２のフレームの時刻までの時間と、第２のフレームの時刻から第３のフレームの時刻までの時間との比率に応じて、画素値を生成し、予め定めた比率に従って、注目画素の画素値に、生成した画素値を混合するようにした場合には、簡単に、生成した画像の破綻を目立たないようにすることができる。

また、本実施の形態においては、各処理を行う領域を、例えば、５画素×５画素などにより構成するようにして説明したが、これらは、一例であり、各処理を行う領域を構成する画素は、この画素数に限定されない。

さらに、本実施の形態においては、２４Ｐ信号から６０Ｐ信号への信号変換を例に、説明を行ったが、本発明は、例えば、動画像のフレーム周波数変換として、インターレース信号や、他のフレームレート変換にも適用することができる。

また、入力画像は、アナログ信号またはデジタル信号のどちらの信号を媒体とする画像でもよく、さらに、記録媒体から読み出した画像、放送または通信により送信されてきた画像、ネットワークを介して取得した画像などいずれの画像でもよく、本発明を限定するものではない。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１、または、プログラムが一時的もしくは永続的に格納されるROM１２や、記憶部１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理装置の構成例を表すブロック図である。 画像処理装置の機能の構成の例を示すブロック図である。 フレームを内挿する処理の原理を説明する図である。 フレームを内挿する処理をより具体的に説明する図である。 フレーム周波数を変換する処理を説明するフローチャートである。 画像補間部の構成を示すブロック図である。 画像補間処理の詳細を説明するフローチャートである。 内挿フレームを説明する図である。 フレーム全体後処理部の構成の例を示すブロック図である。 ０ベクトル補間画像生成部における画素値の生成を説明する図である。 フレーム全体の後処理の詳細を説明するフローチャートである。 破綻箇所後処理部の構成の例を示すブロック図である。 ばらつきを示す値の算出の対象となる動きベクトルが割り付けられている画素の範囲を示す図である。 VDASの算出に用いる動きベクトルが割り付けられている画素の範囲を示す図である。 画像の破綻の誤検出を説明する図である。 画像の破綻の誤検出を説明する図である。 差分絶対値Ｄ（ｐ）の算出を説明する図である。 破綻箇所の後処理の詳細を説明するフローチャートである。 フィルタの特性を説明する図である。 破綻箇所後処理部の構成の他の例を示すブロック図である。 破綻箇所の後処理の詳細の他の例を説明するフローチャートである。 画像処理装置の機能の構成の他の例を示すブロック図である。 画像処理装置の機能の構成のさらに他の例を示すブロック図である。 画像処理装置の機能の構成のさらに他の例を示すブロック図である。

符号の説明

１１ CPU， １２ ROM， １３ RAM， １８ 記憶部， ２１ リムーバブルメディア， ５１ フレームメモリ， ５２ ベクトル検出部， ５３ 検出ベクトルメモリ， ５４ ベクトル割付部， ５５ 割付ベクトルメモリ， ５６ 割付フラグメモリ， ５７ 割付補償部， ５８ 画像補間部， ５９ フレーム全体後処理部， ６０ 破綻箇所後処理部， １１１ ０ベクトル補間画像生成部， １１２ 画像混合部， １４１ ベクトル特徴量算出部， １４２ 破綻箇所判定部， １４３ 画像特徴量算出部， １４４ フィルタ係数ROM， １４５ フィルタ選択部， １４６ フィルタ処理部， １６１ 破綻箇所判定部

Claims (6)

1. 入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理装置において、
   前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成する第１の生成手段と、
   予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合する混合手段と
   を備える画像処理装置。
2. 前記第１の生成手段は、前記第２のフレーム上の画素に割り当てた０ベクトルで示される、前記第３のフレーム上の画素の画素値と、前記第１のフレーム上の画素の画素値とから、画素値を生成する
   請求項１に記載の画像処理装置。
3. 前記第１のフレーム上の前記動きベクトルを検出する検出手段と、
   前記第２のフレーム上の画素に、検出された前記動きベクトルを割り付ける割り付け手段と、
   割り付けられた前記動きベクトルに基づいて、前記第１のフレームおよび前記第３のフレームから、画素値を算出することで、前記第２のフレーム上の画素を生成する第２の生成手段と
   をさらに備える請求項１に記載の画像処理装置。
4. 入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理方法において、
   前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成し、
   予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合する
   ステップを含む画像処理方法。
5. 入力された第１のフレーム上の動きベクトルを検出し、検出された前記動きベクトルに基づいて、第２のフレーム上の画素を生成する画像処理を、コンピュータに行わせるプログラムにおいて、
   前記第１のフレームとの間に前記第２のフレームが配置される、入力された第３のフレーム上の画素であって、前記第２のフレーム上の注目している生成された画素である注目画素の位置と同じ位置の第３のフレーム上の画素の画素値と、前記注目画素の位置と同じ位置の前記第１のフレーム上の画素の画素値とから、前記第１のフレームの時刻から前記第２のフレームの時刻までの時間と、前記第２のフレームの時刻から前記第３のフレームの時刻までの時間との比率に応じて、画素値を生成し、
   予め定めた比率に従って、前記注目画素の画素値に、生成した画素値を混合する
   ステップを含むプログラム。
6. 請求項５に記載のプログラムが記録されている記録媒体。

Images