JP2009077383A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】補間生成される画像の破綻を抑制する。
【解決手段】差分絶対値和計算部１２ａは、入力画像における注目画素の注目ブロックと、直前画像上の参照画素の参照ブロックとの対応する画素間の差分絶対値和を計算し、比較部１２ｂは、差分絶対値和を比較し最小の差分絶対値和を求め、動きベクトル計算部１２ｃは、差分絶対値和が最小となる参照画素と、注目画素とに基づいて、注目画素の動きベクトルを抽出し、動き補償処理部１３は、入力画像上の各画素の画素値を、動きベクトルに基づいてMC画像上の画素の画素値とすることによりMC画像を生成し、累積部１４ａは、MC画像上の各画素に対応する、入力画像上の差分絶対値和を累積加算し、合成部１４ｃは、累積加算結果に基づいて、入力画像における各画素と、対応するMC画像における各画素とを合成して、補間画像を生成する。本発明は、画像処理装置に適用することができる。
【選択図】図１

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、破綻が生じ易い輝度変化の大きな画像における動きベクトルを用いた動き補償処理においても、補間生成される画像の破綻を抑制できるようにした画像処理装置および方法、並びにプログラムに関する。

ブロックマッチング手法により動きベクトル検出し、その動きベクトルを用いて動き補償処理を行うことにより、時間的に異なる前後の画像（フレーム）から新たな補間画像（補間フレーム）を作成する処理が一般に存在する。

しかしながら、シーンチェンジ、探索範囲外への動きの発生、またはフェードイン・フェードアウトなど輝度変化が激しい場合、動きベクトルがうまく求まらない、または動きベクトルの信頼度が低くなることがあり、結果として、動き補償処理を実行すると補間生成された画像が破綻してしまうことがあった。

そこで、シーンチェンジを検出する機能を設け、検出されたシーンチェンジに対応して動き補償処理を実行させるようにすることで、破綻を抑制する技術が提案されている（特許文献１参照）。

また、補間画像の空間的な相関関係を調べて、動き補償処理を実行させることにより、破綻を抑制させる技術が提案されている（特許文献２参照）。

特開２００７−６０１９２号公報 特開２００６−２６０５２７号公報

しかしながら、特許文献１に記載されている技術では、シーンチェンジを検出する機構が別途必要となってしまうため、装置コストが増大してしまう上、動きベクトル自体の信頼度が低い場合もそのままフレーム補間処理を行ってしまうため、必ずしも補間生成された画像の破綻を抑制できないことがあった。

また、特許文献２に記載されている技術では、エラー処理として、補間画像の空間的な相関関係は調べているものの、動きベクトルそのものの信頼度については調べていないため、必ずしも補間生成された画像の破綻を抑制することができないことがあった。

本発明はこのような状況に鑑みてなされたものであり、特に、補間画像を生成するに当たり、動きベクトルを用いた動き補償処理では破綻が生じ易い輝度変化の大きな画像においても、補間生成される画像の破綻を抑制できるようにするものである。

本発明の一側面の画像処理装置は、第１の画像における注目画素に対応した複数の画素からなる注目ブロックと、前記第１の画像と表示タイミングの異なる第２の画像上の参照画素に対応した、前記注目ブロックと同一配置の複数の画素からなる参照ブロックとのそれぞれ対応する画素間の画素値の差分絶対値和を計算する差分絶対値和計算手段と、前記差分絶対値和計算手段により計算された前記差分絶対値和を比較し最小の差分絶対値和を求める比較手段と、前記比較手段により求められた前記差分絶対値和が最小となる前記参照画素と、前記注目画素とに基づいて、前記注目画素の動きベクトルを抽出する動きベクトル抽出手段と、前記第１の画像上の各画素の画素値を、前記第１の画像の各画素の動きベクトルに基づいて対応する、動き補償画像上の画素の画素値とすることにより動き補償画像を生成する動き補償画像生成手段と、前記動き補償画像上の各画素に対応する、前記第１の画像上の各画素の動きベクトルが求められる際に計算された差分絶対値和を累積加算する累積加算手段と、前記累積加算手段により求められた累積加算結果に基づいて、前記第１の画像における各画素と、対応する前記動き補償画像における各画素とを合成して、補間画像を生成する補間画像生成手段とを含む。

前記累積加算結果の所定の最大値に対する、前記累積加算結果の割合により、前記累積加算結果を量子化する量子化手段をさらに含ませるようにすることができ、前記補間画像生成手段には、前記量子化手段により量子化された前記累積結果に基づいて、前記第１の画像における各画素と、対応する前記動き補償画像における各画素とを合成して、補間画像を生成させるようにすることができる。

前記補間画像生成手段には、前記量子化手段により量子化された前記累積結果が第１の所定の閾値よりも小さい画素については、前記第１の画像における画素を、そのまま使用して補間画像を生成させ、前記量子化手段により量子化された前記累積結果が第２の所定の閾値よりも大きい画素については、前記動き補償画像における各画素をそのまま使用して、補間画像を生成させるようにすることができる。

前記参照画素は、前記第２の画像上の、前記第１の画像上における前記注目画素に対応する近傍の範囲に設定されるようにすることができる。

前記第２の画像における累積加算結果より所定値を減算する減算手段と、前記減算手段により前記第２の画像における累積加算結果より所定値が減算された値と、前記第１の画像における累積加算結果とを比較し、前記第２の画像における累積加算結果より所定値が減算された値が前記第１の画像における累積加算結果よりも大きい場合、前記第２の画像における累積加算結果より所定値が減算された値を前記第１の画像における累積加算結果として置き換え、前記第２の画像における累積加算結果より所定値が減算された値が前記第１の画像における累積加算結果よりも大きくない場合、前記第１の画像における累積加算結果をそのまま出力する比較手段とをさらに含ませるようにすることができる。

前記第２の画像における累積加算結果が第１の所定の閾値より大きく、かつ、前記第２の画像における累積加算結果から前記第１の画像における累積加算結果の増加分が第２の所定の閾値より大きい場合、前記動きベクトル抽出手段によって抽出される前記動きベクトルを動き量が０である静止ベクトルにリセットするよう指示する指示手段をさらに含ませるようにすることができる。

前記指示手段による指示に基づいて、前記動きベクトル抽出手段によって抽出される前記動きベクトルを前記静止ベクトルにリセットするリセット手段をさらに含ませるようにすることができる。

本発明の一側面の画像処理方法は、第１の画像における注目画素に対応した複数の画素からなる注目ブロックと、前記第１の画像と表示タイミングの異なる第２の画像上の参照画素に対応した、前記注目ブロックと同一配置の複数の画素からなる参照ブロックとのそれぞれ対応する画素間の画素値の差分絶対値和を計算する差分絶対値和計算ステップと、前記差分絶対値和計算ステップの処理により計算された前記差分絶対値和を比較し最小の差分絶対値和を求める比較ステップと、前記比較ステップの処理により求められた前記差分絶対値和が最小となる前記参照画素と、前記注目画素とに基づいて、前記注目画素の動きベクトルを抽出する動きベクトル抽出ステップと、前記第１の画像上の各画素の画素値を、前記第１の画像の各画素の動きベクトルに基づいて対応する、動き補償画像上の画素の画素値とすることにより動き補償画像を生成する動き補償画像生成ステップと、前記動き補償画像上の各画素に対応する、前記第１の画像上の各画素の動きベクトルが求められる際に計算された差分絶対値和を累積加算する累積加算ステップと、前記累積加算ステップの処理により求められた累積加算結果に基づいて、前記第１の画像における各画素と、対応する前記動き補償画像における各画素とを合成して、補間画像を生成する補間画像生成ステップとを含む。

本発明の一側面のプログラムは、第１の画像における注目画素に対応した複数の画素からなる注目ブロックと、前記第１の画像と表示タイミングの異なる第２の画像上の参照画素に対応した、前記注目ブロックと同一配置の複数の画素からなる参照ブロックとのそれぞれ対応する画素間の画素値の差分絶対値和を計算する差分絶対値和計算ステップと、前記差分絶対値和計算ステップの処理により計算された前記差分絶対値和を比較し最小の差分絶対値和を求める比較ステップと、前記比較ステップの処理により求められた前記差分絶対値和が最小となる前記参照画素と、前記注目画素とに基づいて、前記注目画素の動きベクトルを抽出する動きベクトル抽出ステップと、前記第１の画像上の各画素の画素値を、前記第１の画像の各画素の動きベクトルに基づいて対応する、動き補償画像上の画素の画素値とすることにより動き補償画像を生成する動き補償画像生成ステップと、前記動き補償画像上の各画素に対応する、前記第１の画像上の各画素の動きベクトルが求められる際に計算された差分絶対値和を累積加算する累積加算ステップと、前記累積加算ステップの処理により求められた累積加算結果に基づいて、前記第１の画像における各画素と、対応する前記動き補償画像における各画素とを合成して、補間画像を生成する補間画像生成ステップとを含む処理をコンピュータに実行させる。

本発明のプログラム格納媒体には、請求項５に記載のプログラムが格納されているようにすることができる。

本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、第１の画像における注目画素に対応した複数の画素からなる注目ブロックと、前記第１の画像と表示タイミングの異なる第２の画像上の参照画素に対応した、前記注目ブロックと同一配置の複数の画素からなる参照ブロックとのそれぞれ対応する画素間の画素値の差分絶対値和が計算され、計算された前記差分絶対値和が比較され最小の差分絶対値和が求められ、前記差分絶対値和が最小となる前記参照画素と、前記注目画素とに基づいて、前記注目画素の動きベクトルが抽出され、前記第１の画像上の各画素の画素値が、前記第１の画像の各画素の動きベクトルに基づいて対応する、動き補償画像上の画素の画素値とされることにより動き補償画像が生成され、前記動き補償画像上の各画素に対応する、前記第１の画像上の各画素の動きベクトルが求められる際に計算された差分絶対値和が累積加算され、求められた累積加算結果に基づいて、前記第１の画像における各画素と、対応する前記動き補償画像における各画素とが合成されて、補間画像が生成される。

本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明の一側面によれば、破綻が生じ易い輝度変化の大きな画像における動きベクトルを用いた動き補償処理においても、補間生成される画像の破綻を抑制することが可能となる。

図１は、本発明を適用した一実施の形態の構成を示す画像処理装置である。

図１の画像処理装置１は、所定のフレームレートの動画像を構成する入力画像より、補間画像を生成し、フレームレートの異なる動画像をLCD（Liquid Crystal Display）などからなる表示部２に表示させる。

フレームメモリ１１は、入力画像を一時的に記憶して、入力画像に対して、１フレーム分直前の画像（以降、直前画像と称するものとする）を動きベクトル抽出部１２および動き補償処理部１３に供給する。

動きベクトル抽出部１２は、差分絶対値和計算部１２ａ、比較部１２ｂ、および動きベクトル計算部１２ｃを備えており、入力画像と直前画像とに基づいて、入力画像の各画素毎の動きベクトルを求める。より具体的には、差分絶対値和計算部１２ａは、入力画像の注目画素（処理対象となる画素）に対応する注目ブロックの画素と、直前画像の各画素（参照画素）について対応する参照ブロックの画素とを読み出し、それぞれ対応する画素位置の画素値の差分絶対値和を求める。比較部１２ｂは、参照画素のそれぞれについて求められる差分絶対値和を比較し、最小となる差分絶対値和を取る参照画素を求め、動きベクトル計算部１２ｃに供給する。動きベクトル計算部１２ｃは、入力画像の注目画素と、差分絶対値和が最小となる参照画素とから動きベクトルを計算し、動き補償処理部１３に供給する。

動き補償処理部１３は、ベクトル解析部１３ａ、画素生成部１３ｂ、およびMC（Motion Compensation）画像メモリ１３ｃを備えており、入力画像、直前画像、および動きベクトルに基づいて、動き補償処理を実行し、MC画像（動き補償画像）を生成して、エラー処理部１４に供給する。より具体的には、ベクトル解析部１３ａは、動きベクトル抽出部１２より供給されてくる、入力画像の各画素における動きベクトルを解析することにより、MC画像における各画素の生成に必要とされる入力画像の画素、および、直前画像の画素を検索する。画素生成部１３ｂは、ベクトル解析部１３ａにより検索された入力画像の画素、および直前画像の画素を用いて、動き補償画像における各画素を生成し、MC画像メモリ１３ｃに記憶させる。尚、本実施例においては、ベクトル解析部１３ａは、入力画像の画素のみを検索するものとし、画素生成部１３ｂは、入力画像の画素のみを用いて動き補償画像における各画素を生成するものとするが、当然のことながら、直前画像の画素も併せて検索し、入力画像の画素と直前画像の画素との両方を用いるようにしても良い。

エラー処理部１４は、累積部１４ａ、MEL（Mean Error Level）算出部１４ｂ、および合成部１４ｃを備えており、動きベクトル抽出部１２より供給されてくる各画素の動きベクトルに対応する差分絶対値和に基づいて、MC画像と入力画像とを合成して、表示部２に出力し、表示させる。より具体的には、累積部１４ａは、入力画像の各画素の動きベクトルを求める際に計算された、それぞれの最小となる差分絶対値和を累積加算して、MEL算出部１４ｂに供給する。MEL算出部１４ｂは、差分絶対値和の累積加算結果を量子化し、MC画像における平均エラーレベルMELを求めて合成部１４ｃに供給する。合成部１４ｃは、平均エラーレベルMELに基づいて、入力画像と、MC画像を合成し、表示部２に出力して表示させる。

次に、図２のフローチャートを参照して、画像処理について説明する。

ステップＳ１１において、フレームメモリ１１は、入力画像が供給されてきたか否かを判定し、入力されてきたと判定されるまで、その処理を繰り返す。ステップＳ１１において、例えば、入力画像が存在した場合、ステップＳ１２において、フレームメモリ１１は、入力画像を一時的に記憶すると共に、直前のタイミングで記憶した入力画像を、直前画像として動きベクトル抽出部１２および動き補償処理部１３に供給する。この処理により、動きベクトル抽出部１２、および動き補償処理部１３には、入力画像および直前画像がそれぞれ供給され、エラー処理部１４には、入力画像のみが供給される。尚、直前の画像がない場合、ステップＳ１２において、入力画像を記憶した後、入力画像および直前画像を、動きベクトル抽出部１２、および動き補償処理部１３に供給できる状態となるまで、ステップＳ１３以降の処理が実現できないので、処理は、ステップＳ１１に戻る。

ステップＳ１３において、動きベクトル抽出部１２は、動きベクトル抽出処理を実行し、入力画像の各画素毎に動きベクトルを抽出して、動き補償処理部１３に供給すると共に、動きベクトルが抽出される際に計算される差分絶対値和をエラー処理部１４に供給する。

ここで、図３のフローチャートを参照して動きベクトル抽出処理について説明する。

ステップＳ３１において、差分絶対値和計算部１２ａは、入力画像における未処理の画素を処理対象である注目画素p(i,j)に設定する。ここで、(i,j)は、入力画像上の画素の位置を示す座標である。

ステップＳ３２において、差分絶対値和計算部１２ａは、直前画像における未処理の参照画素q(x,y)を、注目画素に対する参照範囲内に設定する。すなわち、例えば、図４の斜線部で示されるように、入力画像Ｆ１における注目画素p(i,j)に対する、直前画像Ｆ２上の参照画素q(x,y)を、注目画素p(i,j)に対応して設定される、図中の一点鎖線で示される参照範囲Ｚ内に設定する。参照範囲Ｚは、注目画素p(i,j)が移動可能な範囲、すなわち、動きベクトルの起点となる注目画素p(i,j)から終点として成立しうる参照画素q(x,y)の範囲が設定される。尚、図４において、図中上部の画像Ｆ１が入力画像を示し、画像Ｆ２が直前画像を示している。また、画像Ｆ１１は、生成されるMC画像を示している。また、各マス目は、画素を示しており、(x,y)は直前画像上の画素の位置を示す座標である。

ステップＳ３３において、差分絶対値和計算部１２ａは、注目画素p(i,j)に対応する注目ブロックＢと、参照画素に対応する参照ブロックＢ'を構成する各画素の画素値を抽出する。すなわち、図４の場合、注目画素p(i,j)に対応する注目ブロックＢとは、入力画像Ｆ１上に太線で示される範囲の複数の画素からなるブロックであり、参照画素q(x,y)に対応する参照ブロックＢ'とは、直前画像Ｆ２上に太線で示される範囲の複数の画素からなるブロックである。図４においては、注目ブロックＢおよび参照ブロックＢ'がそれぞれ１５画素から構成されている。

ステップＳ３４において、差分絶対値和計算部１２ａは、注目ブロックＢおよび参照ブロックＢ'それぞれにおいて対応する位置の画素間の画素値の差分絶対値和を計算する。すなわち、図４の場合、差分絶対値和計算部１２ａは、以下の式（１）を計算することにより、注目画素p(i,j)に対する差分絶対値和ds(i,j)を求める。

ds(i,j,x,y)＝Σ｜p(i−a,j−b)−q(x−a,y−b)｜
（ａ＝−２，−１，０，１，２ ｂ＝−１，０，１）
・・・（１）

式（１）において、Σ｜Ａ｜は、変数ａを−２，−１，０，１，２に、変数ｂを−１，０，１にそれぞれ変化させた絶対値Ａの総和を求めることを表している。すなわち、全１５画素についてそれぞれの画素値の差分絶対値の総和を求めることを表している。

ステップＳ３５において、差分絶対値和計算部１２ａは、参照範囲Ｚ内に未処理の画素が存在するか否かを判定し、未処理の画素がある場合、処理は、ステップＳ３２に戻る。すなわち、注目画素p(i,j)に対して設定された参照範囲Ｚ内の全ての画素について、参照画素q(x,y)を設定し、全ての画素に対して差分絶対値和ds(i,j,x,y)を求めるまで、ステップＳ３２乃至Ｓ３５の処理が繰り返される。

そして、ステップＳ３５において、参照範囲Ｚ内に未処理の画素が存在しない、すなわち、参照範囲Ｚ内の全ての画素に対して差分絶対値和が求められた場合、処理は、ステップＳ３６に進む。

ステップＳ３６において、比較部１２ｂは、注目画素p(i,j)に対して求められた全ての差分絶対値和ds(i,j,x,y)を比較し、最小となる値を最小差分絶対値和dsmとして求めると共に、最小差分絶対値和を取る差分絶対値和dsmに対応する最小参照画素qm(x,y)を求める。すなわち、比較部１２ｂは、例えば、図５で示されるように、横軸に参照画素q(x,y)を取り、縦軸に差分絶対値和dsを取る場合、差分絶対値和dsが最小となる参照画素q(x,y)を最小参照画素qm(x,y)とし、そのときの差分絶対値和を最小差分絶対値和dsmとする。尚、以降においては、この最小差分絶対値和dsmを入力画像の画素p(i,j)に対する差分絶対値和と称するものとする。

ステップＳ３７において、動きベクトル計算部１２ｃは、注目画素p(i,j)および最小参照画素qm(x,y)の情報に基づいて、動きベクトルv(i,j)を計算する。すなわち、動きベクトルは、以下の式（２）として求められることになる。

v(i,j)＝（qmx−pi，qmy−pj)
・・・（２）

尚、式（２）においては、qmxがqm(x,y)の水平方向の座標であり、qmyがqm(x,y)の垂直方向の座標であり、piがp(i,j)の水平方向の座標であり、pjがp(i,j)の垂直方向の座標であり、動きベクトルv(i,j)が、入力画像上の画素p(i,j)を起点とし、直前画像上の画素q(x,y)を終点とするベクトルであることが示されている。

ステップＳ３８において、比較部１２ｂは、最小差分絶対値和dsmを注目画素の差分絶対値和dsmとしてエラー処理部１４に供給する。

ステップＳ３９において、動きベクトル計算部１２ｃは、計算した注目画素p(i,j)の動きベクトルv(i,j)を動き補償処理部１３に供給する。

ステップＳ４０において、差分絶対値和計算部１２ａは、入力画像に未処理の画素が存在するか否かを判定し、未処理の画素が存在する場合、処理は、ステップＳ３１に戻る。すなわち、入力画像における全ての画素について動きベクトルおよび最小差分絶対値和が求められるまで、ステップＳ３１乃至Ｓ４０の処理が繰り返される。そして、ステップＳ４０において、未処理の画素が存在しない、すなわち、入力画像の全ての画素について動きベクトルが求められた場合、処理は、終了する。

以上の処理により、入力画像の各画素について、設定される注目画素に対応する注目ブロックと、直前画像上の参照画素に設定される参照ブロックとのそれぞれの対応する位置の画素間の差分絶対値和が最小となる参照画素を動きベクトルの終点に設定して、注目画素の動きベクトルを求めることにより、入力画像の全画素について動きベクトルが求められる。また、動きベクトルが求められる際に求められる最小差分絶対値和が、入力画像における各画素の差分絶対値和dsmとしてエラー処理部１４に供給される。

ここで、図２のフローチャートの説明に戻る。

ステップＳ１３において、動きベクトル抽出処理が終了すると、ステップＳ１４において、動き補償処理部１３は、動き補償処理を実行して、MC画像を生成してエラー処理部１４に供給する。

ここで、図６のフローチャートを参照して、動き補償処理について説明する。

ステップＳ５１において、動き補償処理部１３は、補間生成しようとするMC画像上の未処理の画素を注目画素P(s,t)に設定する。

ステップＳ５２において、ベクトル解析部１３ａは、動きベクトル抽出部１２より供給されてきた入力画像の動きベクトルを解析し、注目画素P(s,t)を通る動きベクトルを持つ入力画像上の画素p(i,j)を検索する。

すなわち、例えば、図７で示されるように、ベクトル解析部１３ａは、MC画像Ｆ１１上の注目画素P(s,t)を通る動きベクトルv(i,j)を持つ、画素p(i,j)を検索する。尚、図７においては、図４を参照して説明したように求められた入力画像Ｆ１上の画素p(i,j)の動きベクトルv(i,j)のうち、MC画像Ｆ１１上の注目画素P(s,t)を通るものを示している。

ステップＳ５３において、画素生成部１３ｂは、求められた入力画像Ｆ１上の画素p(i,j)の画素値を、注目画素P(s,t)の画素値として読み込み、MC画像メモリ１３ｃに記憶させる。すなわち、この例においては、画素生成部１３ｂは、動きベクトルv(i,j)の起点となる入力画像Ｆ１上の画素p(i,j)の画素をそのままMC画像Ｆ１１上の対応する注目画素P(s,t)の画素値とすることにより、画素を生成しているが、動きベクトルv(i,j)に基づいて規定される画素を用いて生成される画素であればよく、例えば、動きベクトルv(i,j)の始点となる画素p(i,j)および終点となる直前画像上の画素q(x,y)の画素値の平均（＝（p＋q）/2：ｐ，ｑは、それぞれ画素p(i,j)および画素q(x,y)の画素値）や、MC画像の入力画像と直前画像との時間的な距離による比率に基づいて重み付けした画素値の加重平均（＝（w×p＋（1−w）×q）：ｐ，ｑは、それぞれ画素p(i,j)および画素q(x,y)の画素値、w（0≦w≦1）は重み係数）などを用いるようにしても良い。

ステップＳ５４において、動き補償処理部１３は、補間生成しようとするMC画像上に未処理の画素が存在するか否かを判定し、例えば、未処理の画素が存在する場合、処理は、ステップＳ５１に戻る。すなわち、補間生成しようとするMC画像上の全ての画素が、それぞれを通る、入力画像上の各画素の動きベクトルの起点となる画素の画素値で置き換えられるまで、ステップＳ５１乃至Ｓ５４の処理が繰り返される。そして、ステップＳ５４において、未処理の画素が存在しない、すなわち、全ての画素がそれぞれを通る、入力画像上の各画素の動きベクトルの起点となる画素の画素値で置き換えられた場合、ステップＳ５５において、動き補償処理部１３は、MC画像メモリ１３ｃに記憶されている、MC画像のデータを読み出して、エラー処理部１４に供給する。

以上の処理により、動き補償処理により入力画像より動き補償が成されたMC画像が生成されて、エラー処理部１４に供給される。

ここで、図２のフローチャートの説明に戻る。

ステップＳ１４において、動き補償処理が実行されて、MC画像が生成されると、ステップＳ１５において、エラー処理部１４は、動きベクトル抽出部１２より供給されてきた入力画像の各画素における動きベクトルを抽出する際に求められる、各画素の差分絶対値和に基づいて、エラー処理を実行し、入力画像、およびMC画像を合成して出力画像を生成し表示部２に表示する。

ここで、図８のフローチャートを参照して、エラー処理について説明する。

ステップＳ７１において、累積部１４ａは、動きベクトル抽出部１２より供給されてくる、動きベクトルの起点および終点における注目ブロックと参照ブロックとを構成するそれぞれの対応する位置の画素間の画素値の差分絶対値和（dsm）を累積加算し、例えば、最大値などにより除することにより正規化した後、dsm累積加算結果としてMEL算出部１４ｂに供給する。

ステップＳ７２において、MEL算出部１４ｂは、dsm累積加算結果を所定の閾値ｔｈ１と比較し、dsm累積加算結果が閾値ｔｈ１よりも小さいか否かを判定する。例えば、dsm累積加算結果が閾値ｔｈ１よりも小さい場合、ステップＳ７３において、MEL算出部１４ｂは、MC画像の平均エラーレベルMEL（Mean Error Level）を最小値に設定し、合成部１４ｃに供給する。

一方、ステップＳ７２において、例えば、dsm累積加算結果が閾値ｔｈ１よりも小さくない場合、ステップＳ７４において、MEL算出部１４ｂは、dsm累積加算結果を所定の閾値ｔｈ２（＞ｔｈ１）と比較し、dsm累積加算結果が閾値ｔｈ２よりも大きいか否かを判定する。

ステップＳ７４において、例えば、dsm累積加算結果が閾値ｔｈ２よりも大きい場合、ステップＳ７５において、MEL算出部１４ｂは、MC画像の平均エラーレベルMELを最大値に設定し、合成部１４ｃに供給する。

さらに、ステップＳ７４において、例えば、dsm累積加算結果が閾値ｔｈ２よりも大きくない場合、ステップＳ７６において、MEL算出部１４ｂは、dsm累積加算結果に基づいて、所定の係数を乗じた値を平均エラーレベルMELとして算出し設定した後、合成部１４ｃに供給する。

すなわち、例えば、図９で示されるように、dsm累積加算結果が所定の閾値ｔｈ１よりも小さい場合、平均エラーレベルMELは最小値の０に設定され、dsm累積加算結果が所定の閾値ｔｈ２よりも大きい場合、平均エラーレベルMELは最大値のMELmaxに設定される。そして、dsm累積加算結果が所定の閾値ｔｈ１よりも小さくなく、かつ、dsm累積加算結果が所定の閾値ｔｈ２よりも大きくない場合、dsm累積加算結果に対応して線形的に変化する０乃至MELmaxのいずれかの値に設定される。

このように平均エラーレベルMELは、画素値の変化の大きさを示す差分絶対値和dsmの累積加算値であるdsm累積加算結果に比例した値が設定される。

例えば、シーンチェンジが発生しているか、画像内の被写体の動きが速すぎて、動きベクトルが連続する画像で追従できない画像の場合、図１０で示されるように、dsm累積加算結果は、高い値を取る。一方、例えば、シーンチェンジがなく、フレーム内で被写体の動きが動きベクトルで追従できる画像の場合、図１１で示されるように、dsm累積加算結果は、低い値を取る。すなわち、シーンチェンジがなく、フレーム内で被写体の動きが動きベクトルで追従できる画像の場合、図１１で示されるように、フレームの変化に対して、dsm累積加算結果が２００前後を推移しているが、シーンチェンジが発生しているか、画像内の被写体の動きが速すぎて、動きベクトルが連続する画像で追従できない画像の場合、図１０で示されるように、dsm累積加算結果が１２００前後を推移していることが示されている。尚、図１０，図１１においては、横軸がフレーム番号を示しており、縦軸がdsm累積加算結果を示している。また、図１０，図１１においては、dsm累積加算結果は、正規化で用いられる値を統一した場合の例である。

すなわち、動きベクトルが設定される画素間の画素値の差分絶対値和の最小値が大きく、入力画像と直前画像との差分が大きい場合、平均エラーレベルMELは大きくなるため、動きベクトルの信頼度も低いと考えることができ、平均エラーレベルが小さければ、動きベクトルが設定される画素間の画素値の差分絶対値の最小値が小さく、入力画像と直前画像との差分が小さくなるので、動きベクトルによる追従がある程度十分になされ、動きベクトルの信頼度も高いと考えることができる。

ステップＳ７７において、合成部１４ｃは、平均エラーレベルMELに基づいて、入力画像とMC画像とのそれぞれに対応する全ての画素を合成し、合成画像を生成する。すなわち、合成部１４ｃは、以下の式（３）で示されるような演算により各画素を合成する。

Pe＝（P(i,j)×（MELmax−MEL）＋p(i,j)×MEL）／MELmax
・・・（３）

上述した式（３）において、Peは、合成により生成される画素を示し、P(i,j)はMC画像の画素P(i,j)の画素値を、p(i,j)は入力画像の画素p(i,j)の画素値を、MELは平均エラーレベルを、MELmaxは平均エラーレベルMELの最大値をそれぞれ示している。

ステップＳ７８において、合成部１４ｃは、合成画像を出力画像として表示部２に出力する。

ここで、図２のフローチャートの説明に戻る。

ステップＳ１６において、表示部２は、エラー処理部１４より供給されてきた出力画像を表示し、処理はステップＳ１１に戻り、それ以降の処理が繰り返される。

尚、以上の処理においては、入力画像と直前画像とを用いた処理について説明してきたが、タイミングの異なる画像であれば、その他の画像であってもよく、例えば、入力画像と直後の画像であっても良いし、２フレーム前の画像と入力画像などであっても良い。また、入力画像と直前画像との２枚の画像を用いる例について説明してきたが、それ以上の数の画像を用いるようにしてもよく、例えば、入力画像、直前画像、および直後画像を用いた処理とするようにしても良いし、それ以上の数の画像を用いた処理としても良い。

以上の処理により、シーンチェンジがなく、被写体の動きがフレーム内であることにより、動きベクトルの信頼性の高い画像については、動き補償処理により生成されたMC画像を含む割合が高い画像が出力され、逆に、シーンチェンジが発生していたり、被写体の動きがフレーム外に及んでしまうため、被写体の動きを動きベクトルで追従できず、動きベクトルの信頼度が低い場合、入力画像を含む割合が高い画像が出力される。このため、動きベクトルの信頼性の高い画像については、動き補償処理に基づいた画像が高い割合で補間生成されて表示され、逆に、動きベクトルの信頼性の低い画像については、入力画像が高い割合で補間生成に用いられる。

結果として、補間画像を生成するに当たり、破綻が生じ易い輝度変化の大きな画像における動きベクトルを用いた動き補償処理を用いた補間生成処理においても、補間生成される画像の破綻を抑制することが可能となる。

以上においては、動きベクトルを抽出する際、動きベクトルの起点となる注目画素に対して、動きベクトルの終点として成立し得る範囲に参照画素を設定し、対応する注目ブロックと参照ブロックとの各画素間差分絶対値和を求めることにより、最小となる参照画素を動きベクトルの終点画素として求める２フレーム間でのブロックマッチングの例について説明してきたが、注目画素に対する参照画素の設定範囲を小さくすることにより、複数のフレームを巡回させて、徐々に正しい動きベクトルを求める、フレーム巡回型ブロックマッチングにおいても、同様の処理により補間生成される画像の破綻を抑制することができる。

図１２は、フレーム巡回型ブロックマッチングにより動きベクトルを求めるようにした画像処理装置のその他の実施の形態の構成例を示す図である。尚、図１２の画像処理装置１においては、図１の画像処理装置１に設けられたものと同様の機能を備える構成については、同一名称および符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図１２の画像処理装置１において、図１の画像処理装置１と異なるのは、動きベクトル抽出部１２およびエラー処理部１４に代えて、巡回型動きベクトル抽出部１１１およびエラー処理部１１２を設けた点である。

巡回型動きベクトル抽出部１１１は、差分絶対値和計算部１１１ａ、比較部１１１ｂ、および動きベクトル計算部１１１ｃを備えており、基本的に動きベクトル抽出部１２と同様の処理を実行するが、上述したように動きベクトルを抽出する際、注目画素に対する参照画素の設定範囲を小さくし、注目画素の画素位置に対応する近傍の範囲としている。このため、巡回型動きベクトル抽出部１１１は、動きベクトル抽出部１２と比べて、２フレームの画像で、正確な動きベクトルの終点となる参照画素を検出できる可能性が低いため、正しい動きベクトルを抽出できる可能性が低い。このため、巡回型動きベクトル抽出部１１１は、複数のフレーム間で、同様の処理を巡回的に繰り返すことにより、徐々に正しい動きベクトルを求める。

エラー処理部１１２は、累積部１１２ａ、MEL（Mean Error Level）算出部１１２ｂ、比較部１１２ｃ、加算器１１２ｄ、および合成部１１２ｅを備えている。このうち、累積部１１２ａ、MEL（Mean Error Level）算出部１１２ｂ、および合成部１１２ｅについては、エラー処理部１４の累積部１４ａ、MEL（Mean Error Level）算出部１４ｂ、および合成部１４ｃとそれぞれ同様の処理を実行する。ただし、以降の説明において、MEL算出部１１２ｂは、MEL算出部１４ｂにおいて求められた平均エラーレベルMELの表現を、入力画像の平均エラーレベルMELcと表現するものとする。比較部１１２ｃは、直前画像における平均エラーレベルMELpより加算器１１２ｄで所定値ｍだけ減算された値（MELp−m）と、入力画像における平均エラーレベルMELcとを比較し、大きい方の値を入力画像の平均エラーレベルMELcとして合成部１１２ｅに出力すると共に、入力画像の平均エラーレベルMELcを直前画像の平均エラーレベルMELpとして記憶し、以降の処理において、記憶している直前画像の平均エラーレベルMELpを加算器１１２ｄに出力する。合成部１１２ｅは、入力画像の平均エラーレベルMELcに基づいて、入力画像と、MC画像を合成し、表示部２に出力して表示させる。

次に、図１２の画像処理装置１による画像処理について説明する。尚、基本的な画像処理については、図２のフローチャートを参照して説明した処理と同様であるので、図２のフローチャートの説明については省略する。また、図１２の画像処理装置１の画像処理において、図１の画像処理装置１による画像処理と異なるのは、図２のフローチャートにおける処理の動きベクトル抽出処理、およびエラー処理である。そこで、以降においては、図１２の画像処理装置１による動きベクトル抽出処理、およびエラー処理について説明する。

まず、図１３のフローチャートを参照して、図１２の画像処理装置１による動きベクトル抽出処理について説明する。尚、図１３のフローチャートにおけるステップＳ１０１，Ｓ１０６乃至Ｓ１１０の処理は、図３のフローチャートを参照して説明したステップＳ３１，Ｓ３６乃至Ｓ４０の処理と同様であるので、その説明は省略するものとする。

すなわち、ステップＳ１０２において、差分絶対値和計算部１１１ａは、直前画像における未処理の参照画素q(x,y)を、注目画素に対する巡回型参照範囲内に設定する。すなわち、巡回型参照範囲とは、例えば、図１４の斜線部で示されるように、入力画像Ｆ１における注目画素p(i,j)に対する、直前画像Ｆ２上の参照画素q(x,y)が、注目画素p(i,j)に対応して設定される、図中の一点鎖線で示される参照範囲Ｚ'である。巡回型参照範囲である参照範囲Ｚ'は、注目画素p(i,j)が移動可能な範囲、すなわち、動きベクトルの起点となる注目画素p(i,j)から終点として成立しうる参照画素q(x,y)の範囲の一部であり、図４を参照し、比較してもわかるように、注目画素p(i,j)の画素位置に対して近傍の範囲として設定されている。すなわち、図１４においては、注目画素p(i,j)の位置に対応する上下左右方向に２画素までの範囲が、巡回型参照範囲として設定されている。

尚、図１４において、図中上部の画像Ｆ１が入力画像を示し、画像Ｆ２が直前画像を示している。また、画像Ｆ１１は、生成されるMC画像を示している。また、各マス目は、画素を示しており、(x,y)は直前画像上の画素の位置を示す座標である。

ステップＳ１０３において、差分絶対値和計算部１１１ａは、注目画素p(i,j)に対応する注目ブロックＢと、参照画素に対応する参照ブロックＢ'を構成する各画素の画素値を抽出する。すなわち、図１４の場合、注目画素p(i,j)に対応する注目ブロックＢとは、入力画像Ｆ１上に太線で示される範囲の複数の画素からなるブロックであり、参照画素q(x,y)に対応する参照ブロックＢ'とは、直前画像Ｆ２上に太線で示される範囲の複数の画素からなるブロックである。図１４においては、注目ブロックＢおよび参照ブロックＢ'がそれぞれ１５画素から構成されている。

ステップＳ１０４において、差分絶対値和計算部１１１ａは、注目ブロックＢおよび参照ブロックＢ'それぞれにおいて対応する位置の画素間の画素値の差分絶対値和を、上述した式（１）により計算する。

ステップＳ１０５において、差分絶対値和計算部１１１ａは、参照範囲Ｚ'内に未処理の画素が存在するか否かを判定し、未処理の画素がある場合、処理は、ステップＳ１０２に戻る。すなわち、注目画素p(i,j)に対して設定された参照範囲Ｚ'内の全ての画素について、参照画素q(x,y)を設定し、全ての画素に対して差分絶対値和ds(i,j,x,y)を求めるまで、ステップＳ１０２乃至Ｓ１０５の処理が繰り返される。

以上の処理により、参照範囲内の全ての参照画素について注目画素との画素間差分絶対値和が求められ、この求められた画素間差分絶対値和が最小となる参照画素が、注目画素における動きベクトルの終点として求められる。そして、注目画素を起点とし、参照画素を終点とするベクトルが注目画素の動きベクトルとして求められる。

ただし、この処理においては、図１４を参照して説明したように、参照範囲Ｚ'が図４を参照して説明した参照範囲Ｚに対して小さな、注目画素の画素位置に対して近傍の範囲であるので、２フレーム間で求められる動きベクトルの精度は低いことが予想される。しかしながら、同様の処理が複数のフレームに対して巡回的に繰り返されていく中で、動きベクトルの終点となる参照画素の位置は、正しい動きベクトルの終点位置に近付いていくことになる。

次に、図１５のフローチャートを参照して、図１２の画像処理装置１によるエラー処理について説明する。尚、図１５のフローチャートにおけるステップＳ１２１乃至Ｓ１２６の処理は、図８のフローチャートを参照して説明したステップＳ７１乃至Ｓ７６の処理と同様であるので、その説明は省略する。ただし、図１５のフローチャートのステップＳ１２３，Ｓ１２５，Ｓ１２６において求められる入力画像の平均エラーレベルMELcは、図８のステップＳ７３，Ｓ７５，Ｓ７６において求められる入力画像の平均エラーレベルMELと同様のものである。

すなわち、ステップＳ１２３，Ｓ１２５，Ｓ１２６において、入力画像の平均エラーレベルMELcが求められると、ステップＳ１２７において、比較部１１２ｃは、直前画像の処理の際に記憶している、平均エラーレベルMELpより所定値ｍを減算した値（MELp−m）と入力画像の平均エラーレベルMELcとを比較し、直前画像の平均エラーレベルMELpより所定値ｍを減算した値（MELp−m）が入力画像の平均エラーレベルMELcよりも大きいか否かを判定する。

ステップＳ１２７において、例えば、直前画像の平均エラーレベルMELpより所定値ｍを減算した値（MELp−m）が入力画像の平均エラーレベルMELcよりも大きいと判定された場合、ステップＳ１２８において、比較部１１２ｃは、入力画像の平均エラーレベルMELcを、直前画像の平均エラーレベルMELpより所定値ｍを減算した値（MELp−m）に置き換えて合成部１１２ｅおよび加算器１１２ｄに出力する。

一方、ステップＳ１２７において、例えば、直前画像の平均エラーレベルMELpより所定値ｍを減算した値（MELp−m）が入力画像の平均エラーレベルMELcよりも大きくないと判定された場合、ステップＳ１２９において、比較部１１２ｃは、入力画像の平均エラーレベルMELcをそのまま合成部１１２ｅおよび加算器１１２ｄに出力する。

ステップＳ１３０において、合成部１１２ｅは、平均エラーレベルMELcに基づいて、入力画像とMC画像とのそれぞれに対応する全ての画素を、上述した式（３）で示されるような演算により合成し、合成画像を生成する。ただし、ステップＳ１３０においては、上述した式（３）の演算において、平均エラーレベルMELに代えて、平均エラーレベルMELcが用いられる。

ステップＳ１３１において、合成部１１２ｅは、合成画像を出力画像として表示部２に出力する。

ステップＳ１３２において、加算器１１２ｄは、供給されてきた入力画像の平均エラーレベルMELcを、以降における処理に用いる直前画像の平均エラーレベルMELpとして扱うと共に、所定値mを減算した値（MELp−m）を演算して比較部１１２ｃに供給して記憶させる。

以上の処理により、入力画像の平均エラーレベルが急激に大きくなり、安定するまでに時間がかかるような状況となっても、入力画像の平均エラーレベルMELcと、直前画像の平均エラーレベルより僅かに小さな値（MELp−m）との比較で、大きな方を取るようにすることで、入力画像の平均エラーレベルMELcが徐々に低下し、その状態が安定するまでは、入力画像の合成比を高めて、破綻が生じる可能性の高いMC画像の合成比を低減させることができる。

例えば、図１６で示されるように、第１フレーム乃至第４フレームが連続的な画像であり、第５フレームにおいてシーンチェンジが発生するなどしても、第６フレーム乃至第１３フレームにおいては、徐々に入力画像の平均エラーレベルMELcが低減されることになる。そして、さらに、第１４フレーム乃至第１６フレームにおいて、連続的な画像が入力され、例えば、第１７フレームにて、動きベクトルの信頼性が低下するなどして、平均エラーレベルが上昇しても、第１８フレーム乃至第２１フレームにおいて、やはり段階的に入力画像の平均エラーレベルが低減し、第２１フレーム以降においては入力画像の平均エラーレベルが安定していることが示されている。

特に、フレーム巡回型ブロックマッチングにより動きベクトルを求めるような場合、動きベクトルは、徐々に正解に近づくため、正しい動きベクトルに辿り着くまでに何フレーム分かの時間が必要となる。このため、シーンチェンジなどあった場合、そこから動きベクトルが安定するまでに時間がかかり、その間はMC画像に破綻が見えることになる。

そこで、上述したように、入力画像の平均エラーレベルの減衰を遅らせることにより、破綻したMC画像の合成比を徐々に低減させて、入力画像を表示することで、自然に画像を表示することが可能となる。

尚、所定値mの設定により、入力画像の平均エラーレベルMELcが安定するまでの時間を設定することができ、所定値mを大きくすれば、平均エラーレベルMELcの減衰は早いが、破綻したMC画像が表示される可能性が高まる。一方、所定値mを小さくすれば、平均エラーレベルMELcの減衰は遅いが、破綻したMC画像が表示される可能性が低減されることになる。このように、所定値mは、平均エラーレベルMELcの減衰率を決める時定数と考えることができるので、必要に応じて所定値ｍを設定することで、MC画像と入力画像との合成を制御するようにしても良い。

また、図１の画像処理装置１におけるエラー処理部１４に代えて、エラー処理部１１２を設けるようにして、２フレーム間の画素間差分絶対値和を用いて動きベクトルを求める場合にも、平均エラーレベルの減衰を遅らせて、破綻する可能性の高いMC画像の合成比を低減させるようにしても良い。

いずれにおいても、結果として、補間画像を生成するに当たり、破綻が生じ易い輝度変化の大きな画像における動きベクトルを用いた動き補償処理を用いた補間生成処理においても、補間生成される画像の破綻を抑制することが可能になると共に、フレーム巡回型ブロックマッチングなどによる、動きベクトル抽出手法を用いるような、入力画像の平均エラーレベルが大きく変化する手法を用いても、MC画像の破綻を抑制することが可能となる。

以上においては、フレーム巡回型ブロックマッチングにおいて、特に、シーンチェンジなどの不連続な画像に対して、動きベクトルが正解の動きベクトルに辿り着くまでに時間がかかる場合でも、平均エラーレベルの減衰を遅らせることで、MC画像の破綻を抑制する例について説明してきたが、動きベクトルが正解の動きベクトルに辿り着くまでの時間を短縮することができる。

図１７は、フレーム巡回型ブロックマッチングにより動きベクトルを求める画像処理装置であって、動きベクトルが正解の動きベクトルに辿り着くまでの時間を短縮するようにした画像処理装置の他の実施の形態の構成例を示す図である。尚、図１７の画像処理装置１において、図１の画像処理装置１に設けられたものと同様の機能を備える構成については、同一名称および符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図１７の画像処理装置１において、図１の画像処理装置１と異なるのは、動きベクトル抽出部１２およびエラー処理部１４に代えて、巡回型動きベクトル抽出部１３１およびエラー処理部１３２を設けた点である。

巡回型動きベクトル抽出部１３１は、差分絶対値和計算部１３１ａ、比較部１３１ｂ、動きベクトル計算部１３１ｃ、および動きベクトルリセット部１３１ｄを備えている。このうち、差分絶対値和計算部１３１ａ、比較部１３１ｂ、および動きベクトル計算部１３１ｃについては、図１２で説明した画像処理装置の巡回型動きベクトル抽出部１１１の差分絶対値和計算部１１１ａ、比較部１１１ｂ、および動きベクトル計算部１１１ｃとそれぞれ同様の処理を実行する。また、動きベクトルリセット部１３１ｄは、エラー処理部１３２からのリセット信号に基づいて、巡回的に抽出される動きベクトルをリセットする（動き量を０とした静止ベクトルとする）。すなわち、巡回型動きベクトル抽出部１３１は、基本的に巡回型動きベクトル抽出部１１１と同様の処理を実行すると共に、リセット信号に応じて、動きベクトルをリセットする。

エラー処理部１３２は、累積部１３２ａ，MEL算出部１３２ｂ、合成部１３２ｃ、閾値判定部１３２ｄ、フレームメモリ１３２ｅ、加算器１３２ｆ、閾値判定部１３２ｇ、およびリセット判定部１３２ｈを備えている。このうち、累積部１３２ａ，MEL算出部１３２ｂ、合成部１３２ｃについては、エラー処理部１４の累積部１４ａ，MEL算出部１４ｂ、合成部１４ｃとそれぞれ同様の処理を実行する。すなわち、エラー処理部１３２は、巡回型動きベクトル抽出部１３１より供給されてくる各画素の動きベクトルに対応する差分絶対値和に基づいて、MC画像と入力画像とを合成して、表示部２に出力し、表示させる。

また、エラー処理部１３２は、巡回型動きベクトル抽出部１３１からの差分絶対値和の累積加算結果と、平均エラーレベルMELとに基づいて、動きベクトルのリセットを指示するためのリセット信号を生成し、巡回型動きベクトル抽出部１３１に供給する。より具体的には、閾値判定部１３２ｄは、MEL算出部１３２ｂにより算出された平均エラーレベルMELが所定の閾値より大きいか否かを判定する。フレームメモリ１３２ｅは、差分絶対値和の累積加算結果を一時的に記憶して、１フレーム分直前の画像についての差分絶対値和の累積加算結果を加算器１３２ｆに供給する。加算器１３２ｆは、累積部１３２ａからの差分絶対値和の累積加算結果と、フレームメモリ１３２ｅからの１フレーム分直前の差分絶対値和の累積加算結果とから、差分絶対値和の累積加算結果の増加量を求め、閾値判定部１３２ｇに供給する。閾値判定部１３２ｇは、加算器１３２ｆからの差分絶対値和の累積加算結果の増加量が所定の閾値より大きいか否かを判定する。リセット判定部１３２ｈは、閾値判定部１３２ｄ，１３２ｇそれぞれの判定結果に基づいて、リセット信号を生成し、巡回型動きベクトル抽出部１３１に供給する。

次に、図１７の画像処理装置１による画像処理について説明する。尚、基本的な画像処理については、図２のフローチャートを参照して説明した処理と同様であるので、図２のフローチャートの説明については省略する。また、図１７の画像処理装置１の画像処理において、図１の画像処理装置１による画像処理と異なるのは、図２のフローチャートにおける処理の動きベクトル抽出処理、およびエラー処理である。そこで、以降においては、図１７の画像処理装置１による動きベクトル抽出処理、およびエラー処理について説明する。

まず、図１８のフローチャートを参照して、図１７の画像処理装置１によるエラー処理について説明する。尚、図１８のフローチャートにおけるステップＳ１７１乃至Ｓ１７６の処理は、図８のフローチャートを参照して説明したステップＳ７１乃至Ｓ７６の処理と同様であるので、その説明は省略する。

すなわち、ステップＳ１７３，Ｓ１７５，Ｓ１７６において、入力画像の平均エラーレベルMELが求められると、ステップＳ１７７において、閾値判定部１３２ｄは、平均エラーレベルMELが、所定の閾値ａより大きいか否かを判定する。

ステップＳ１７７において、例えば、平均エラーレベルMELが、所定の閾値ａより大きいと判定された場合、ステップＳ１７８において、閾値判定部１３２ｇは、加算器１３２ｆからの差分絶対値和の累積加算結果（dsm累積加算結果）の増加量が、所定の閾値ｂより大きいか否かを判定する。

ステップＳ１７８において、例えば、dsm累積加算結果の増加量が、所定の閾値ｂより大きいと判定された場合、ステップＳ１７９において、リセット判定部１３２ｈは、リセット信号を生成し、巡回型動きベクトル抽出部１３１に供給（出力）する。

一方、ステップＳ１７７において、平均エラーレベルMELが、所定の閾値ａより小さいと判定された場合、または、ステップＳ１７８において、dsm累積加算結果の増加量が、所定の閾値ｂより小さいと判定された場合、処理は、ステップＳ１８０に進む。

ステップＳ１８０において、合成部１３２ｃは、平均エラーレベルMELに基づいて、入力画像とMC画像とのそれぞれに対応する全ての画素を合成し、合成画像を生成する。

ステップＳ１８１において、合成部１３２ｃは、合成画像を出力画像として表示部２に出力する。

次に、図１９のフローチャートを参照して、図１７の画像処理装置１による動きベクトル抽出処理について説明する。尚、図１９のフローチャートにおけるステップＳ２０３乃至Ｓ２１２の処理は、図１３のフローチャートを参照して説明したステップＳ１０１乃至Ｓ１１０の処理と同様であるので、その説明は省略するものとする。

すなわち、ステップＳ２０１において、動きベクトルリセット部１３１ｄは、リセット信号が供給されたか否かを判定する。

ステップＳ２０１において、リセット信号が供給されたと判定された場合、ステップＳ２０２において、動きベクトルリセット部１３１ｄは、巡回されていた動きベクトルv(i,j)を、動き量を０とした静止ベクトルにリセットする。

一方、ステップＳ２０１において、リセット信号が供給されていないと判定された場合、ステップＳ２０２をスキップし、処理は、ステップＳ２０３に進む。

以上の処理により、シーンチェンジなどの不連続な画像において、正しい動きベクトルとの動き量の差分が大きくなった動きベクトルを巡回させてしまうような場合でも、動きベクトルを一旦リセットすることで、正解の動きベクトルから遠ざかる動きベクトルを巡回させることを防ぐことができ、ひいては、動きベクトルが正解の動きベクトルに辿り着くまでの時間を短縮することができる。従って、より短時間でMC画像の破綻を抑制することが可能となる。

例えば、図２０で示されるように、１１フレーム目でシーンチェンジがある画像に対して、破線で示される従来の処理の場合、シーンチェンジ後に正しい動きベクトルが求まるまで時間がかかるため、dsm累積加算結果の減衰にも時間がかかる。一方、実線で示される本実施の形態の処理の場合、シーンチェンジ後に正しい動きベクトルが求まるまで、数フレーム分の時間しかかからないため、dsm累積加算結果も、速やかに小さくなる。尚、図２０においては、横軸がフレーム番号を示しており、縦軸がdsm累積加算結果を示している。また、図２０においては、dsm累積加算結果は、正規化で用いられる値を統一した場合の例である。

次に、図２１のブロック図を参照して、フレーム巡回型ブロックマッチングにより動きベクトルを求める画像処理装置であって、動きベクトルが正解の動きベクトルに辿り着くまでの時間を短縮するようにした画像処理装置のさらに他の実施の形態の構成例について説明する。尚、図２１の画像処理装置１においては、図１７の画像処理装置１に設けられたものと同様の機能を備える構成については、同一名称および符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２１の画像処理装置１において、図１７の画像処理装置１と異なるのは、エラー処理部１３２に代えて、エラー処理部１５１を設けた点である。

エラー処理部１５１は、累積部１５１ａ，MEL算出部１５１ｂ、比較部１５１ｃ、加算部１５１ｄ、合成部１５１ｅ、閾値判定部１５１ｆ、フレームメモリ１５１ｇ、加算器１５１ｈ、閾値判定部１５１ｉ、およびリセット判定部１５１ｊを備えている。このうち、累積部１５１ａ，MEL算出部１５１ｂ、比較部１５１ｃ、加算部１５１ｄ、合成部１５１ｅについては、図１２の画像処理部１のエラー処理部１１２の累積部１１２ａ，MEL算出部１１２ｂ、比較部１１２ｃ、加算部１１２ｄ、および合成部１１２ｅとそれぞれ同様の処理を実行する。すなわち、エラー処理部１５１は、巡回型動きベクトル抽出部１３１より供給されてくる各画素の動きベクトルに対応する差分絶対値和に基づいて、MC画像と入力画像とを合成して、表示部２に出力し、表示させる。

また、閾値判定部１５１ｆ、フレームメモリ１５１ｇ、加算器１５１ｈ、閾値判定部１５１ｉ、およびリセット判定部１５１ｊは、エラー処理部１３２の閾値判定部１３２ｄ、フレームメモリ１３２ｅ、加算器１３２ｈ、閾値判定部１３２ｉ、およびリセット判定部１３２ｊとそれぞれ同様の処理を実行する。すなわち、エラー処理部１５１は、巡回型動きベクトル抽出部１３１からの差分絶対値和の累積加算結果と、平均エラーレベルMELとに基づいて、リセット信号を生成し、巡回型動きベクトル抽出部１３１に供給する。

次に、図２１の画像処理装置１による画像処理について説明する。尚、基本的な画像処理については、図２のフローチャートを参照して説明した処理と同様であるので、図２のフローチャートの説明については省略する。また、図２１の画像処理装置１の画像処理において、図１７の画像処理装置１による画像処理と異なるのは、図２のフローチャートにおける処理のエラー処理である。そこで、図２２のフローチャートを参照して、図２１の画像処理装置１によるエラー処理について説明する。尚、図２２のフローチャートにおけるステップＳ２２１乃至Ｓ２２６、およびステップＳ２３０乃至Ｓ２３５の処理は、図１５のフローチャートを参照して説明したステップＳ１２１乃至Ｓ１２６、およびステップＳ１２７乃至Ｓ１３２の処理と同様であるので、その説明は省略する。また、図２１のフローチャートにおけるステップＳ２２７乃至Ｓ２２９の処理は、図１８のフローチャートを参照して説明したステップＳ１５７乃至Ｓ１５９の処理と同様であるので、その説明は省略する。

従って、シーンチェンジなどの不連続な画像において、正しい動きベクトルとの動き量の差分が大きくなった動きベクトルを巡回させてしまうような場合でも、動きベクトルをリセットすることで、動きベクトルが正解の動きベクトルに辿り着くまでの時間を短縮することができる。

ところで、画像の一部の領域で、信頼度の低い動きベクトルが発生している場合、その一部の領域が、例えば、画像全体の半分など十分大きい領域であっても、画像全体のdsm累積加算結果が大きい値にはならないことがある。そこで、このような場合であっても、信頼度の低い動きベクトルの発生を検出する構成について説明する。

図２３は、画面の一部の領域での信頼度の低い動きベクトルの発生を検出するようにした画像処理装置の実施の形態の構成例を示す図である。尚、図２３の画像処理装置１においては、図１の画像処理装置１に設けられたものと同様の機能を備える構成については、同一名称および符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２３の画像処理装置１において、図１の画像処理装置１と異なるのは、エラー処理部１４に代えて、エラー処理部２１１を設けた点である。

エラー処理部２１１は、領域分割部２１１ａ、累積部２１１ｂ、乗算部２１１ｃ，MEL算出部２１１ｄ、および合成部２１１ｅを備えている。このうち、MEL算出部２１１ｄ、合成部２１１ｅについては、エラー処理部１４のMEL算出部１４ｂ、合成部１４ｃとそれぞれ同様の処理を実行する。領域分割部２１１ａは、入力画像をｎ個の領域に均等に分割する。累積部２１１ｂは、ｎ個に分割された入力画像の領域毎に、差分絶対値和を累積加算して、乗算部２１１ｃに供給する。乗算部２１１ｃは、累積部２１１ｂからの、領域毎に累積加算された差分絶対値和のうち、最大となるものをｎ倍して、MEL算出部２１１ｄに供給する。すなわち、エラー処理部２１１は、ｎ個に分割された入力画像の領域毎の差分絶対値和に基づいて、MC画像と入力画像とを合成して、表示部２に出力し、表示させる。

次に、図２３の画像処理装置１による画像処理について説明する。尚、基本的な画像処理については、図２のフローチャートを参照して説明した処理と同様であるので、図２のフローチャートの説明については省略する。また、図２３の画像処理装置１の画像処理において、図１の画像処理装置１による画像処理と異なるのは、図２のフローチャートにおける処理のエラー処理である。そこで、図２４のフローチャートを参照して、図２３の画像処理装置１によるエラー処理について説明する。尚、図２４のフローチャートにおけるステップＳ２７４乃至Ｓ２８０の処理は、図８のフローチャートを参照して説明したステップＳ７２乃至Ｓ７８の処理と同様であるので、その説明は省略するものとする。

すなわち、ステップＳ２７１において、領域分割部２１１ａは、入力画像をｎ個の領域に均等に分割する。例えば、領域分割部２１１ａは、入力画像の各画素に対応する、動きベクトル抽出部１２からの差分絶対値和を、入力画像を分割したｎ個の各領域を構成する画素でグループ分けして、累積部２１１ｂに供給する。

ステップＳ２７２において、累積部２１１ｂは、ｎ個に分割された入力画像の領域毎に、差分絶対値和を累積加算して、乗算部２１１ｃに供給する。

ステップＳ２７３において、乗算部２１１ｃは、累積部２１１ｂからの、領域毎に累積加算された差分絶対値和のうち、最大となるものをｎ倍する。乗算部２１１ｃは、ｎ倍した累積加算結果を、dsm累積加算結果として、MEL算出部２１１ｄに供給し、処理はステップＳ２７４に進む。

以上の処理により、画像の一部の領域で、信頼度の低い動きベクトルが発生している場合であっても、信頼度の低い動きベクトルの発生を検出することができる。従って、画像の一部に信頼度の低い動きベクトルが集中しているシーンにおいても、MC画像の破綻を抑制することが可能となる。

以上においては、画像の一部の領域における、信頼度の低い動きベクトルの発生を検出する例について説明してきたが、特に、画像の端部の領域においては、そもそも動きベクトルの信頼度は低い。すなわち、画像の端部の領域では、フレームの前後で、対応する画素が存在しない場合が多いので、正しい動きベクトルが求められず、また、誤った差分絶対値和dsmが求められてしまう。そこで、画像の端部の影響を除いて、MC画像を生成する構成について説明する。

図２５は、画像の端部の影響を除いて、MC画像を生成するようにした画像処理装置の実施の形態の構成例を示す図である。尚、図２５の画像処理装置１においては、図１の画像処理装置１に設けられたものと同様の機能を備える構成については、同一名称および符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２５の画像処理装置１において、図１の画像処理装置１と異なるのは、エラー処理部１４に代えて、エラー処理部３１１を設けた点である。

エラー処理部３１１は、領域除外部３１１ａ、累積部３１１ｂ，MEL算出部３１１ｃ、および合成部３１１ｄを備えている。このうち、MEL算出部３１１ｃ、合成部３１１ｄについては、エラー処理部１４のMEL算出部１４ｂ、合成部１４ｃとそれぞれ同様の処理を実行する。領域除外部３１１ａは、入力画像の端部の領域を除外した領域を、エラー処理の対象領域とする。累積部３１１ｂは、対象領域に含まれる画素に対応する差分絶対値和を累積加算して、MEL算出部３１１ｃに供給する。すなわち、エラー処理部３１１は、入力画像の端部を除いた領域の差分絶対値和に基づいて、MC画像と入力画像とを合成して、表示部２に出力し、表示させる。

次に、図２５の画像処理装置１による画像処理について説明する。尚、基本的な画像処理については、図２のフローチャートを参照して説明した処理と同様であるので、図２のフローチャートの説明については省略する。また、図２５の画像処理装置１の画像処理において、図１の画像処理装置１による画像処理と異なるのは、図２のフローチャートにおける処理のエラー処理である。そこで、図２６のフローチャートを参照して、図２５の画像処理装置１によるエラー処理について説明する。尚、図２６のフローチャートにおけるステップＳ３７３乃至Ｓ３７９の処理は、図８のフローチャートを参照して説明したステップＳ７２乃至Ｓ７８の処理と同様であるので、その説明は省略するものとする。

すなわち、ステップＳ３７１において、領域除外部３１１ａは、入力画像の端部の領域を除外し、残った領域をエラー処理の対象領域とする。例えば、領域除外部３１１ａは、図２７で示されるように、予め設定されたパラメータである上端除外ライン数、下端除外ライン数、左端除外画素数、および右端除外画素数で決定される端部の領域を除外する。

ステップＳ３７２において、累積部３１１ｂは、例えば、図２７で示される対象領域に含まれる画素に対応する差分絶対値和を累積加算する。累積部３１１ｂは、累積加算の結果を、dsm累積加算結果として、MEL算出部３１１ｃに供給し、処理はステップＳ３７３に進む。

以上の処理により、画像の端部の領域で、正しい動きベクトルや差分絶対値和dsmが求められない場合であっても、画像の端部の影響を除いて、MC画像の破綻を抑制することが可能となる。

ところで、差分絶対値和dsmは、フレーム間での輝度値の差分に基づいているので、その値は、コントラストの高い画像では大きくなりやすく、また、コントラストの低い画像では小さくなりやすい。そのため、エラー処理において、コントラストの高い画像ではエラーの過検出が、また、コントラストの低い画像ではエラーの検出漏れが生じやすくなる。そこで、以下では、コントラストの高い画像でのエラーの過検出を抑制する例について説明する。

図２８は、コントラストの高い画像でのエラーの過検出を抑制するようにした画像処理装置の実施の形態の構成例を示す図である。尚、図２８の画像処理装置１においては、図１の画像処理装置１に設けられたものと同様の機能を備える構成については、同一名称および符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図２８の画像処理装置１において、図１の画像処理装置１と異なるのは、エラー処理部１４に代えて、エラー処理部４１１を設けた点である。

エラー処理部４１１は、累積部４１１ａ，MEL算出部４１１ｂ、フレームディレイ（FD）４１１ｃ，４１１ｄ、変動量算出部４１１ｅ、変動量判定部４１１ｆ、および合成部４１１ｇを備えている。このうち、累積部４１１ａ，MEL算出部４１１ｂ、合成部４１１ｇについては、エラー処理部１４の累積部１４ａ，MEL算出部１４ｂ、合成部１４ｃとそれぞれ同様の処理を実行する。FD４１１ｃは、累積部４１１ａからのdsm累積加算結果を、１フレーム分遅延させ、FD４１１ｄおよび変動量算出部４１１ｅに供給する。FD４１１ｄは、FD４１１ｃからの、１フレーム分遅延したdsm累積加算結果を、さらに１フレーム分遅延させ、変動量算出部４１１ｅに供給する。変動量算出部４１１ｅは、累積部４１１ａからの現在時刻でのdsm累積加算結果、FD４１１ｃからの１フレーム分前の時刻でのdsm累積加算結果、および、FD４１１ｄからの２フレーム分前の時刻でのdsm累積加算結果を基に、dsm累積加算結果の時間に対する変動量（時間変動量）を算出し、変動量判定部４１１ｆに供給する。変動量判定部４１１ｆは、変動量算出部４１１ｅからのdsm累積加算結果の変動量に基づいて、MEL算出部４１１ｂからの平均エラーレベルMELを調整して、合成部４１１ｇに供給する。すなわち、エラー処理部４１１は、dsm累積加算結果の時間変動量に基づいて、MC画像と入力画像とを合成して、表示部２に出力し、表示させる。

次に、図２８の画像処理装置１による画像処理について説明する。尚、基本的な画像処理については、図２のフローチャートを参照して説明した処理と同様であるので、図２のフローチャートの説明については省略する。また、図２８の画像処理装置１の画像処理において、図１の画像処理装置１による画像処理と異なるのは、図２のフローチャートにおける処理のエラー処理である。そこで、図２９のフローチャートを参照して、図２８の画像処理装置１によるエラー処理について説明する。尚、図２９のフローチャートにおけるステップＳ４７１乃至Ｓ４７６、および、ステップＳ４８０，Ｓ４８１の処理は、図８のフローチャートを参照して説明したステップＳ７１乃至Ｓ７６、および、ステップＳ７７，Ｓ７８の処理と同様であるので、その説明は省略するものとする。

なお、ステップＳ４７３，Ｓ４７５，Ｓ４７６において、MEL算出部４１１ｂは、設定した平均エラーレベルMELを、変動量判定部４１１ｆに供給する。

ステップＳ４７７において、変動量算出部４１１ｅは、累積部４１１ａからの現在時刻でのdsm累積加算結果、FD４１１ｃからの１フレーム分前の時刻でのdsm累積加算結果、および、FD４１１ｄからの２フレーム分前の時刻でのdsm累積加算結果を基に、dsm累積加算結果の時間変動量を算出し、変動量判定部４１１ｆに供給する。

ステップＳ４７８において、変動量判定部４１１ｆは、時間変動量が所定の閾値より小さいか否かを判定する。

ステップＳ４７８において、時間変動量が所定の閾値より小さいと判定された場合、ステップＳ４７９において、変動量判定部４１１ｆは、MEL算出部４１１ｂから供給された平均エラーレベルMELを最小値に設定し、合成部４１１ｇに供給する。ここで、MEL算出部４１１ｂから供給された平均エラーレベルMELが既に最小値に設定されている場合（ステップＳ４７３）、変動量判定部４１１ｆは、平均エラーレベルMELを、そのまま合成部４１１ｇに供給する。

一方、ステップＳ４７８において、時間変動量が所定の閾値より小さくないと判定された場合、ステップＳ４７９をスキップして、処理は、ステップＳ４８０に進む。

以上の処理により、dsm累積加算結果の時間変動量に基づいて、平均エラーレベルMELを設定することができる。

一般に、動きベクトルの信頼度が高いほど、dsm累積加算結果の時間変動量は少ないとされる。従って、dsm累積加算結果の時間変動量が所定の閾値より小さい場合、正しい動きベクトルが求められていると判断することができ、平均エラーレベルMELを最小値に設定することができる。すなわち、高コントラスト時の差分絶対値和dsmに関わらず、エラーを検出することができる。

従って、コントラストの高い画像でのエラーの過検出が抑制されるので、MC画像の破綻を抑制することが可能となる。

以上においては、dsm累積加算結果の時間変動量に基づいて、エラーを検出する画像処理装置について説明してきたが、入力画像における動きと静止の割合に基づいて、エラーを検出するようにすることができる。

図３０は、入力画像における動きと静止の割合に基づいて、エラーを検出するようにした画像処理装置の実施の形態の構成例を示す図である。尚、図３０の画像処理装置１においては、図１の画像処理装置１に設けられたものと同様の機能を備える構成については、同一名称および符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図３０の画像処理装置１において、図１の画像処理装置１と異なるのは、動きベクトル抽出部１２およびエラー処理部１４に代えて、動きベクトル抽出部５１１およびエラー処理部５１２を設けた点である。

動きベクトル抽出部５１１は、差分絶対値和計算部５１１ａ、比較部５１１ｂ、動きベクトル計算部５１１ｃ、および静止差分絶対値和計算部５１１ｄを備えている。このうち、差分絶対値和計算部５１１ａ、比較部５１１ｂ、および動きベクトル計算部５１１ｃについては、動きベクトル抽出部１２の差分絶対値和計算部１２ａ、比較部１２ｂ、および動きベクトル計算部１２ｃとそれぞれ同様の処理を実行する。静止差分絶対値和計算部５１１ｄは、入力画像の注目画素（処理対象となる画素）に対応する注目ブロックの画素と、直前画像において注目ブロックと同一配置の同一配置ブロックの画素とを読み出し、それぞれ対応する画素位置の画素値の差分絶対値和（以下、静止差分絶対値和という）を求める。

エラー処理部５１２は、静動比算出部５１２ａ、累積部５１２ｂ，MEL算出部５１２ｃ、および合成部５１２ｄを備えている。このうち、MEL算出部５１２ｃ、および合成部５１２ｄについては、エラー処理部１４のMEL算出部１４ｂ、合成部１４ｃとそれぞれ同様の処理を実行する。静動比算出部５１２ａは、入力画像の各画素について、動きベクトル抽出部５１１からの差分絶対値和と、静止差分絶対値和との比を算出し、その算出結果であって、入力画像における動きと静止の割合を示すパラメータとしての静動比を、累積部５１２ｂに供給する。累積部５１２ｂは、入力画像の各画素についての静動比算出結果を、差分絶対値和dsmとして累積加算して、MEL算出部５１２ｃに供給する。すなわち、エラー処理部５１２は、入力画像の各画素の差分絶対値和と静止差分絶対値和との比に基づいて、MC画像と入力画像とを合成して、表示部２に出力し、表示させる。

次に、図３０の画像処理装置１による画像処理について説明する。尚、基本的な画像処理については、図２のフローチャートを参照して説明した処理と同様であるので、図２のフローチャートの説明については省略する。また、図３０の画像処理装置１の画像処理において、図１の画像処理装置１による画像処理と異なるのは、図２のフローチャートにおける処理の動きベクトル抽出処理、およびエラー処理である。そこで、図３１のフローチャートを参照して、図３０の画像処理装置１による動きベクトル抽出処理、およびエラー処理について説明する。そこで、以降においては、図３０の画像処理装置１による動きベクトル抽出処理、およびエラー処理について説明する。

まず、図３１のフローチャートを参照して、図３０の画像処理装置１による動きベクトル抽出処理について説明する。尚、図３１のフローチャートにおけるステップＳ５３１乃至Ｓ５３９の処理は、図３のフローチャートを参照して説明したステップＳ３１乃至Ｓ３９の処理と同様であるので、その説明は省略するものとする。

すなわち、ステップＳ５４０において、静止差分絶対値和計算部５１１ｄは、入力画像の注目画素（処理対象となる画素）に対応する注目ブロックの画素と、直前画像において注目ブロックと同一配置の同一配置ブロックの同一配置画素とを読み出し、それぞれ対応する画素位置の画素値の静止差分絶対値和を求める。

例えば、図３２の斜線部で示されるように、入力画像Ｆ１における注目画素p(i,j)に対する、直前画像Ｆ２上の同一配置画素P(i,j)が、注目画素p(i,j)に対応して設定される。

尚、図３２において、図中上部の画像Ｆ１が入力画像を示し、画像Ｆ２が直前画像を示している。また、画像Ｆ１１は、生成されるMC画像を示している。また、各マス目は、画素を示しており、(x,y)は直前画像上の画素の位置を示す座標である。

静止差分絶対値和計算部５１１ｄは、注目画素p(i,j)に対応する注目ブロックＢと、同一配置画素に対応する同一配置ブロックＢ''を構成する各画素の画素値を抽出する。すなわち、図３２の場合、注目画素p(i,j)に対応する注目ブロックＢとは、入力画像Ｆ１上に太線で示される範囲の複数の画素からなるブロックであり、同一配置画素P(i,j)に対応する同一配置ブロックＢ''とは、直前画像Ｆ２上に太線で示される範囲の複数の画素からなるブロックである。図３２においても、図４同様、注目ブロックＢが１５画素から構成され、また、同一配置ブロックＢ''も１５画素から構成されている。

また、図３２において、注目画素p(i,j)を始点とし、同一配置画素P(i,j)を終点とする動きベクトルv₀(i,j)は、動き量が０である、いわゆる静止ベクトルとなる。

そして、静止差分絶対値和計算部５１１ｄは、注目ブロックＢおよび同一配置ブロックＢ''それぞれにおいて対応する位置の画素間の画素値の静止差分絶対値和sds(i,j)を計算し、エラー処理部５１２に供給する。

ステップＳ５４１において、差分絶対値和計算部５１１ａは、入力画像に未処理の画素が存在するか否かを判定し、未処理の画素が存在する場合、処理は、ステップＳ５３１に戻る。すなわち、入力画像における全ての画素について動きベクトル，最小差分絶対値和、および静止差分絶対値和が求められるまで、ステップＳ５３１乃至Ｓ５４１の処理が繰り返される。そして、ステップＳ５４１において、未処理の画素が存在しない、すなわち、入力画像の全ての画素について動きベクトルが求められた場合、処理は終了する。

以上の処理により、入力画像の各画素について、最小差分絶対値和dsmと、静止差分絶対値和sdsが求められ、エラー処理部５１２に供給される。

次に、図３３のフローチャートを参照して、図３０の画像処理装置１によるエラー処理について説明する。尚、図３３のフローチャートにおけるステップＳ５７２乃至Ｓ５７９の処理は、図８のフローチャートを参照して説明したステップＳ７１乃至Ｓ７８の処理と同様であるので、その説明は省略する。

ステップＳ５７１において、静動比算出部５１２ａは、入力画像の画素毎に、動きベクトル抽出部５１１からの差分絶対値和（dsm）と、静止差分絶対値和（sds）とに基づいて、入力画像における動きと静止の割合を示すパラメータとしての静動比を算出する。静動比算出部５１２ａは、入力画像の画素毎の静動比を、差分絶対値和dsm’として累積部５１２ｂに供給する。

例えば、静動比算出部５１２ａは、以下の式（４）を計算することにより、静動比を求める。尚、式（４）において、定数αは、０乃至１の値をとり、任意に調整される値である。

dsm’(i,j)＝dsm(i,j)／｛α×sds(i,j)｝
・・・（４）

また、例えば、入力画像における動きと静止の割合を示すパラメータとして、以下の式（５）を適用するようにしてもよい。尚、式（５）において、定数βは、０乃至１の値をとり、任意に調整される値である。

dsm’(i,j)＝dsm(i,j)−β×sds(i,j)
・・・（５）

ステップＳ５７１の後、ステップＳ５７２において、累積部５１２ｂは、入力画像の画素毎の静動比である差分絶対値和（dsm’）を累積加算し、これ以降の処理が実行される。

以上の処理により、最小差分絶対値和dsmと、静止差分絶対値和sdsとの比に基づいて、平均エラーレベルMELを設定することができる。

一般に、動きベクトルの信頼度が高いほど、差分絶対値和dsmは、静止差分絶対値和sdsに比べて小さい値になる。すなわち、動きベクトルの信頼度が高いほど、静止に対して、動きの割合が低くなる。例えば、図３４で示されるように、正しい動きベクトルが求められる画像では、正方形（網掛け）のプロットで示されるsds累積加算結果に対して、菱形（塗りつぶし）のプロットで示されるdsm累積加算結果が十分小さくなっている。また、図３５で示されるように、正しい動きベクトルが求められない画像では、正方形（網掛け）のプロットで示されるsds累積加算結果に対して、菱形（塗りつぶし）のプロットで示されるdsm累積加算結果は、図３４で示されるほど小さくはなっていない。尚、図３４においては、横軸がフレーム番号を示しており、縦軸がdsm累積加算結果およびsds累積加算結果を示している。

従って、式（４）で表される差分絶対値和dsm’としての静動比が小さい場合、正しい動きベクトルが求められていると判断することができ、平均エラーレベルMELを最小値に設定することができる。すなわち、コントラストの高低による差分絶対値和dsmの変動に関わらず、エラーを検出することができる。

従って、コントラストの高い画像でのエラーの過検出、および、コントラストの低い画面でのエラーの検出漏れが抑制されるので、MC画像の破綻を抑制することが可能となる。

以上においては、入力画像の画像全体の動きおよび静止に基づいて、エラーを検出する画像処理装置について説明してきた。しかしながら、画像内において静止している領域が、ある割合以上存在する場合、それ以外の領域で信頼度の低い動きベクトルが求まったとしても、画像全体の差分絶対値和dsmは大きい値にならない可能性がある。そこで、このような場合であっても、信頼度の低い動きベクトルが存在することを検出する例について説明する。

図３６は、信頼度の低い動きベクトルが存在することを検出するようにした画像処理装置の実施の形態の構成例を示す図である。尚、図３６の画像処理装置１においては、図１の画像処理装置１に設けられたものと同様の機能を備える構成については、同一名称および符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図３６の画像処理装置１において、図１の画像処理装置１と異なるのは、動きベクトル抽出部１２およびエラー処理部１４に代えて、動きベクトル抽出部５１１およびエラー処理部６１１を設けた点である。また、動きベクトル抽出部５１１は、図３０の画像処理装置１に設けられたものと同様の機能を備えるので、その説明は省略するものとする。

エラー処理部６１１は、動領域判別部６１１ａ、カウンタ６１１ｂ、動領域累積部６１１ｃ、平均値算出部６１１ｄ，MEL算出部６１１ｅ、および合成部６１１ｆを備えている。このうち、MEL算出部６１１ｅ、合成部６１１ｆについては、エラー処理部１４のMEL算出部１４ｂ、合成部１４ｃとそれぞれ同様の処理を実行する。動領域判別部６１１ａは、動きベクトル抽出部５１１からの、入力画像の所定の大きさの領域（単位領域）毎の静止差分絶対値和sdsに基づいて、入力画像において動きのある領域（動領域）を判別する。カウンタ６１１ｂは、動領域判別部６１１ａによって動領域であると判別された領域（単位領域）の数をカウントし、カウント数を平均値算出部６１１ｄに供給する。動領域累積部６１１ｃは、入力画像において、動領域であると判別された領域について、差分絶対値和を累積加算して、平均値算出部６１１ｄに供給する。平均値算出部６１１ｄは、カウンタ６１１ｂからのカウント数と、動領域累積部６１１ｃからのdsm累積加算結果とから、単位領域あたりの差分絶対値和であるdsm平均値を算出し、MEL算出部６１１ｅに供給する。すなわち、エラー処理部６１１は、入力画像における動領域の差分絶対値和に基づいて、MC画像と入力画像とを合成して、表示部２に出力し、表示させる。

ここで、エラー処理部６１１において、入力画像の動領域におけるdsm累積加算結果の平均値を算出しているのは、動領域でない領域（静止領域）の大きさに依存せずに、エラーを検出するためである。例えば、入力画像のほぼ半分の領域は静止領域で、かつ、それ以外の領域は、動きが複雑で正しい動きベクトルが求まらない動領域である場合、図３７で示されるように、菱形（塗りつぶし）のプロットで示される画面全体でのdsm累積加算結果の平均値（dsm平均値）より、正方形（網掛け）のプロットで示される動領域のみでのdsm累積加算結果の平均値（dsm平均値）の方が大きくなる。尚、図３７においては、横軸がフレーム番号を示しており、縦軸がdsm平均値を示している。

次に、図３６の画像処理装置１による画像処理について説明する。尚、基本的な画像処理については、図２のフローチャートを参照して説明した処理と同様であるので、図２のフローチャートの説明については省略する。また、図３６の画像処理装置１の画像処理において、図１の画像処理装置１による画像処理と異なるのは、図２のフローチャートにおける処理のエラー処理である。そこで、図３８のフローチャートを参照して、図３６の画像処理装置１によるエラー処理について説明する。尚、図３８のフローチャートにおけるステップＳ６７５乃至Ｓ６８１の処理は、図８のフローチャートを参照して説明したステップＳ７２乃至Ｓ７８の処理と同様であるので、その説明は省略するものとする。ただし、図３８のフローチャートのステップＳ６７６，Ｓ６７８，Ｓ６７９において処理されるdsm平均値は、図８のステップＳ７２，Ｓ７５，Ｓ７６において処理されるdsm累積加算結果と同様に扱われるものである。尚、図３８のフローチャートにおける処理では、単位領域を１画素として説明する。

すなわち、ステップＳ６７１において、動領域判別部６１１ａは、例えば、入力画像の画素毎の静止差分絶対値和sdsに基づいて、入力画像の各画素のうちの、動きのある画素を、動領域として判別する。より具体的には、動領域では、静止差分絶対値和sdsは、比較的大きい値になるので、動領域判別部６１１ａは、入力画像の各画素の静止差分絶対値和sdsが所定の閾値より大きい場合に、その画素を動領域であると判別する。

ステップＳ６７２において、カウンタ６１１ｂは、動領域判別部６１１ａによって動領域であると判別された領域を構成する画素の画素数をカウントし、カウント数を平均値算出部６１１ｄに供給する。

ステップＳ６７３において、動領域累積部６１１ｃは、動領域判別部６１１ａによって動領域であると判別された画素について、差分絶対値和dsmを累積加算して、平均値算出部６１１ｄに供給する。

ステップＳ６７４において、平均値算出部６１１ｄは、カウンタ６１１ｂからのカウント数と、動領域累積部６１１ｃからのdsm累積加算結果とから、動領域の１画素あたりの差分絶対値和であるdsm平均値を算出し、MEL算出部６１１ｅに供給し、処理はステップＳ６７５に進む。

以上の処理により、画像内において、静止領域がある割合以上存在する場合であっても、信頼度の低い動きベクトルが存在することを検出することができる。従って、画像内の静止領域が、ある割合以上存在するシーンにおいても、MC画像の破綻を抑制することが可能となる。

尚、図３８のフローチャートにおける処理では、単位領域を１画素として説明してきたが、単位領域は、１画素に限らず、４画素など複数の画素からなるブロックであってもよい。

以上のように、MC画像の破綻を抑制するための構成について説明してきたが、上述した構成を組み合わせることができる。

図３９は、上述した構成を組み合わせた画像処理装置の実施の形態の構成例を示す図である。尚、図３９の画像処理装置１においては、図１の画像処理装置１に設けられたものと同様の機能を備える構成については、同一名称および符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図３９の画像処理装置１において、図１の画像処理装置１と異なるのは、動きベクトル抽出部１２およびエラー処理部１４に代えて、動きベクトル抽出部５１１およびエラー処理部７１１を設けた点である。また、動きベクトル抽出部５１１は、図３０の画像処理装置１に設けられたものと同様の機能を備えるので、その説明は省略するものとする。

エラー処理部７１１は、静動比算出部７１１ａ、累積部７１１ｂ、領域分割部７１１ｃ、乗算部７１１ｄ，MEL算出部７１１ｅ、FD７１１ｆ，７１１ｇ、変動量算出部７１１ｈ、変動量判定部７１１ｉ、および合成部７１１ｊを備えている。このうち、静動比算出部７１１ａ、累積部７１１ｂについては、図３０のエラー処理部５１２の静動比算出部５１２ａ、累積部５１２ｂとそれぞれ同様の処理を実行する。領域分割部７１１ｃ、乗算部７１１ｄについては、図２３のエラー処理部２１１の領域分割部２１１ａ、乗算部２１１ｃとそれぞれ同様の処理を実行する。また、MEL算出部７１１ｅ，FD７１１ｆ，７１１ｇ、変動量算出部７１１ｈ、変動量判定部７１１ｉ、合成部７１１ｊは、図２８のエラー処理部４１１のMEL算出部４１１ｂ，FD４１１ｃ，４１１ｄ、変動量算出部４１１ｅ、変動量判定部４１１ｆ、合成部４１１ｇとそれぞれ同様の処理を実行する。従って、これらの説明は省略するものとする。

以上の構成により、MC画像の破綻を抑制することが可能となる。

なお、図３９の例における画像処理については、図３９の画像処理装置を構成する各ブロックが行う処理について説明したフローチャートにおける処理と同様であるので、その説明は省略する。

図４０は、上述した構成を組み合わせた画像処理装置の実施の形態の他の構成例を示す図である。尚、図４０の画像処理装置１においても、図１の画像処理装置１に設けられたものと同様の機能を備える構成については、同一名称および符号を付するものとし、その説明は、適宜省略するものとする。

すなわち、図４０の画像処理装置１において、図１の画像処理装置１と異なるのは、動きベクトル抽出部１２およびエラー処理部１４に代えて、動きベクトル抽出部５１１およびエラー処理部８１１を設けた点である。また、動きベクトル抽出部５１１は、図３０の画像処理装置１に設けられたものと同様の機能を備えるので、その説明は省略するものとする。

エラー処理部８１１は、動領域判別部８１１a、カウンタ８１１ｂ、動領域累積部８１１ｃ、平均値算出部８１１ｄ、静動比算出部８１１ｅ、累積部８１１ｆ，MEL算出部８１１ｇ、FD８１１ｈ，８１１ｉ、変動量算出部８１１ｊ、変動量判定部８１１ｋ、および合成部８１１ｍを備えている。このうち、動領域判別部８１１a、カウンタ８１１ｂ、動領域累積部８１１ｃ、平均値算出部８１１ｄについては、図３６の動領域判別部６１１ａ、カウンタ６１１ｂ、動領域累積部６１１ｃ、平均値算出部６１１ｄとそれぞれ同様の処理を実行する。静動比算出部８１１ｅ、累積部８１１ｆについては、図３０のエラー処理部５１２の静動比算出部５１２ａ、累積部５１２ｂとそれぞれ同様の処理を実行する。また、MEL算出部８１１ｇ，FD８１１ｈ，８１１ｉ、変動量算出部８１１ｊ、変動量判定部８１１ｋ、合成部８１１ｍは、図２８のエラー処理部４１１のMEL算出部４１１ｂ，FD４１１ｃ，４１１ｄ、変動量算出部４１１ｅ、変動量判定部４１１ｆ、合成部４１１ｇとそれぞれ同様の処理を実行する。従って、これらの説明は省略するものとする。

以上の構成により、MC画像の破綻を抑制することが可能となる。

なお、図４０の例における画像処理については、図４０の画像処理装置を構成する各ブロックが行う処理について説明したフローチャートにおける処理と同様であるので、その説明は省略する。

ところで、上述した一連の情報処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図４１は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

本発明を適用した画像処理装置の構成例を示すブロック図である。 画像処理を説明するフローチャートである。 図１の画像処理装置による動きベクトル抽出処理を説明するフローチャートである。 図１の画像処理装置による動きベクトル抽出処理を説明する図である。 図１の画像処理装置による動きベクトル抽出処理を説明する図である。 動き補償処理を説明するフローチャートである。 動き補償処理を説明する図である。 図１の画像処理装置によるエラー処理を説明するフローチャートである。 図１の画像処理装置によるエラー処理を説明する図である。 シーンチェンジを含んだり動きの速い画像におけるdsm累積加算結果を説明する図である。 シーンチェンジがなく、動きの遅い画像におけるdsm累積加算結果を説明する図である。 本発明を適用したその他の画像処理装置の構成例を示すブロック図である。 図１２の画像処理装置による動きベクトル抽出処理を説明するフローチャートである。 図１２の画像処理装置による動きベクトル抽出処理を説明する図である。 図１２の画像処理装置によるエラー処理を説明するフローチャートである。 図１２の画像処理装置によるエラー処理を説明する図である。 本発明を適用したさらに他の画像処理装置の構成例を示すブロック図である。 図１７の画像処理装置によるエラー処理を説明するフローチャートである。 図１７の画像処理装置による動きベクトル抽出処理を説明する図である。 シーンチェンジがある画像に対するdsm累積加算結果の減衰について説明する図である。 本発明を適用したさらに他の画像処理装置の構成例を示すブロック図である。 図２１の画像処理装置によるエラー処理を説明するフローチャートである。 本発明を適用したさらに他の画像処理装置の構成例を示すブロック図である。 図２３の画像処理装置によるエラー処理を説明するフローチャートである。 本発明を適用したさらに他の画像処理装置の構成例を示すブロック図である。 図２５の画像処理装置によるエラー処理を説明するフローチャートである。 図２５の画像処理装置によるエラー処理を説明する図である。 本発明を適用したさらに他の画像処理装置の構成例を示すブロック図である。 図２８の画像処理装置によるエラー処理を説明するフローチャートである。 本発明を適用したさらに他の画像処理装置の構成例を示すブロック図である。 図３０の画像処理装置による動きベクトル抽出処理を説明するフローチャートである。 図３０の画像処理装置による動きベクトル抽出処理を説明する図である。 図３０の画像処理装置によるエラー処理を説明するフローチャートである。 正しい動きベクトルが求められる場合のsds累積加算結果とdsm累積加算結果とについて説明する図である。 正しい動きベクトルが求められない場合のsds累積加算結果とdsm累積加算結果とについて説明する図である。 本発明を適用したさらに他の画像処理装置の構成例を示すブロック図である。 、動きが複雑で正しい動きベクトルが求まらない場合のdsm平均値について説明する図ある。 図３６の画像処理装置によるエラー処理を説明するフローチャートである。 本発明を適用したさらに他の画像処理装置の構成例を示すブロック図である。 本発明を適用したさらに他の画像処理装置の構成例を示すブロック図である。 パーソナルコンピュータの構成例を説明する図である。

符号の説明

１ 画像処理装置， １１ フレームメモリ， １２ 動きベクトル抽出部， １２ａ １２ｂ 比較部， １２ｃ 動きベクトル計算部， １３ 動き補償処理部， １３ａ ベクトル解析部， １３ｂ 画素生成部， １３ｃ MC画像メモリ， １４ エラー処理部， １４ａ 累積部， １４ｂ MEL算出部， １４ｃ 合成部

Claims (10)

1. 第１の画像における注目画素に対応した複数の画素からなる注目ブロックと、前記第１の画像と表示タイミングの異なる第２の画像上の参照画素に対応した、前記注目ブロックと同一配置の複数の画素からなる参照ブロックとのそれぞれ対応する画素間の画素値の差分絶対値和を計算する差分絶対値和計算手段と、
   前記差分絶対値和計算手段により計算された前記差分絶対値和を比較し最小の差分絶対値和を求める比較手段と、
   前記比較手段により求められた前記差分絶対値和が最小となる前記参照画素と、前記注目画素とに基づいて、前記注目画素の動きベクトルを抽出する動きベクトル抽出手段と、
   前記第１の画像上の各画素の画素値を、前記第１の画像の各画素の動きベクトルに基づいて対応する、動き補償画像上の画素の画素値とすることにより動き補償画像を生成する動き補償画像生成手段と、
   前記動き補償画像上の各画素に対応する、前記第1の画像上の各画素の動きベクトルが求められる際に計算された差分絶対値和を累積加算する累積加算手段と、
   前記累積加算手段により求められた累積加算結果に基づいて、前記第１の画像における各画素と、対応する前記動き補償画像における各画素とを合成して、補間画像を生成する補間画像生成手段と
   を含む画像処理装置。
2. 前記累積加算結果の所定の最大値に対する、前記累積加算結果の割合により、前記累積加算結果を量子化する量子化手段をさらに含み、
   前記補間画像生成手段は、前記量子化手段により量子化された前記累積結果に基づいて、前記第１の画像における各画素と、対応する前記動き補償画像における各画素とを合成して、補間画像を生成する
   請求項１に記載の画像処理装置。
3. 前記補間画像生成手段は、前記量子化手段により量子化された前記累積結果が第１の所定の閾値よりも小さい画素については、前記第１の画像における画素を、そのまま使用して補間画像を生成し、前記量子化手段により量子化された前記累積結果が第２の所定の閾値よりも大きい画素については、前記動き補償画像における各画素をそのまま使用して、補間画像を生成する
   請求項２に記載の画像処理装置。
4. 前記参照画素は、前記第２の画像上の、前記第１の画像上における前記注目画素に対応する近傍の範囲に設定される
   請求項１に記載の画像処理装置。
5. 前記第２の画像における累積加算結果より所定値を減算する減算手段と、
   前記減算手段により前記第２の画像における累積加算結果より所定値が減算された値と、前記第１の画像における累積加算結果とを比較し、前記第２の画像における累積加算結果より所定値が減算された値が前記第１の画像における累積加算結果よりも大きい場合、前記第２の画像における累積加算結果より所定値が減算された値を前記第１の画像における累積加算結果として置き換え、前記第２の画像における累積加算結果より所定値が減算された値が前記第１の画像における累積加算結果よりも大きくない場合、前記第１の画像における累積加算結果をそのまま出力する比較手段とをさらに含む
   請求項１に記載の画像処理装置。
6. 前記第２の画像における累積加算結果が第１の所定の閾値より大きく、かつ、前記第２の画像における累積加算結果から前記第１の画像における累積加算結果の増加分が第２の所定の閾値より大きい場合、前記動きベクトル抽出手段によって抽出される前記動きベクトルを動き量が０である静止ベクトルにリセットするよう指示する指示手段をさらに含む
   請求項１に記載の画像処理装置。
7. 前記指示手段による指示に基づいて、前記動きベクトル抽出手段によって抽出される前記動きベクトルを前記静止ベクトルにリセットするリセット手段をさらに含む
   請求項６に記載の画像処理装置。
8. 第１の画像における注目画素に対応した複数の画素からなる注目ブロックと、前記第１の画像と表示タイミングの異なる第２の画像上の参照画素に対応した、前記注目ブロックと同一配置の複数の画素からなる参照ブロックとのそれぞれ対応する画素間の画素値の差分絶対値和を計算する差分絶対値和計算ステップと、
   前記差分絶対値和計算ステップの処理により計算された前記差分絶対値和を比較し最小の差分絶対値和を求める比較ステップと、
   前記比較ステップの処理により求められた前記差分絶対値和が最小となる前記参照画素と、前記注目画素とに基づいて、前記注目画素の動きベクトルを抽出する動きベクトル抽出ステップと、
   前記第１の画像上の各画素の画素値を、前記第１の画像の各画素の動きベクトルに基づいて対応する、動き補償画像上の画素の画素値とすることにより動き補償画像を生成する動き補償画像生成ステップと、
   前記動き補償画像上の各画素に対応する、前記第1の画像上の各画素の動きベクトルが求められる際に計算された差分絶対値和を累積加算する累積加算ステップと、
   前記累積加算ステップの処理により求められた累積加算結果に基づいて、前記第１の画像における各画素と、対応する前記動き補償画像における各画素とを合成して、補間画像を生成する補間画像生成ステップと
   を含む画像処理方法。
9. 第１の画像における注目画素に対応した複数の画素からなる注目ブロックと、前記第１の画像と表示タイミングの異なる第２の画像上の参照画素に対応した、前記注目ブロックと同一配置の複数の画素からなる参照ブロックとのそれぞれ対応する画素間の画素値の差分絶対値和を計算する差分絶対値和計算ステップと、
   前記差分絶対値和計算ステップの処理により計算された前記差分絶対値和を比較し最小の差分絶対値和を求める比較ステップと、
   前記比較ステップの処理により求められた前記差分絶対値和が最小となる前記参照画素と、前記注目画素とに基づいて、前記注目画素の動きベクトルを抽出する動きベクトル抽出ステップと、
   前記第１の画像上の各画素の画素値を、前記第１の画像の各画素の動きベクトルに基づいて対応する、動き補償画像上の画素の画素値とすることにより動き補償画像を生成する動き補償画像生成ステップと、
   前記動き補償画像上の各画素に対応する、前記第1の画像上の各画素の動きベクトルが求められる際に計算された差分絶対値和を累積加算する累積加算ステップと、
   前記累積加算ステップの処理により求められた累積加算結果に基づいて、前記第１の画像における各画素と、対応する前記動き補償画像における各画素とを合成して、補間画像を生成する補間画像生成ステップと
   を含む処理をコンピュータに実行させるプログラム。
10. 請求項９に記載のプログラムが格納されているプログラム格納媒体。

Images