JP2007195062A - 画像静止領域判定装置、およびインタレース−プログレッシブ画像変換装置 - Google Patents

Abstract

【課題】連続する２つのフレーム画像間で検出できない動き、例えば縞模様の動きを検出可能とする。
【解決手段】インタレース・スキャン方式の連続する２つのフィールド画像のうちで、時間的に遅いフィールド画像から時間的に早いフィールド画像の擬似画像を補間によって生成する手段１と、現在のフレーム画像、一画面前のフレーム画像、時間的に早いフィールド画像、および擬似フィールド画像の入力に対して、画像内の静止領域を判定する手段２とを備え、フレーム画像間で検出できない動きを、時間的に早いフィールド画像と擬似フィールド画像との比較によって検出可能とする。
【選択図】図１

Description

本発明は、例えばビデオ画像の処理方式に係り、さらに詳しくは例えば連続するフレーム画像間での静止領域の判定装置、およびその判定装置を応用したインタレース・スキャン方式のフィールド画像からプログレッシブ・スキャン方式のフレーム画像への変換を行う画像変換装置に関する。

例えばビデオ信号処理装置において、連続するフレーム間での静止領域の判定は信号処理の効率上重要な技術である。例えばインタレース・スキャン方式におけるフィールド画像からプログレッシブ・スキャン方式におけるフレーム画像への変換において、静止領域の判定は画像のちらつきやぼやけを防止するために重要な技術である。

この静止領域判定方式の従来技術について図１６、図１７を用いて説明する。図１６は、画像静止領域判定装置の従来例の構成ブロック図である。同図において判定装置は、一画面前のフレーム画像と現在のフレーム画像との入力に対して、２つのフレーム画像のまで対応する画素の画素値の差分を求める画素値差分抽出部１００、各要素の画素値差分をブロック単位で平均するブロック平均化部１０１、およびブロック平均化部１０１の出力とあらかじめ定められた判定閾値とを用いて、ブロックを対象とする静止判定を行うブロック静止判定部１０２を備えている。

図１７は、図１６の画像静止領域判定装置におけるブロック単位の静止領域判定動作の説明図である。この静止領域判定処理は、一画面前のフレーム画像と現在のフレーム画像の中で、図に示す中央の実線内の２×２個の画素によって構成されるブロックを対象として行われる。ただし２×２個の画素ブロックの間でブロックの静止を判定する場合には、このブロックの周辺のそれぞれ１画素を含んだ４×４個の正方形領域（図の点線内）の画素を対象として、一画面前のフレーム画像と現在のフレーム画像との間でそれぞれ対応する画素の画素値の差分が画素値差分抽出部１００によって求められ、１６個の差分の値の平均値がブロック平均化部１０１によって算出され、その値が２×２個の画素で構成されるブロックに対する平均値としてブロック静止判定部１０２に与えられ、この値が判定閾値により小さければそのブロックは静止領域として判定され、判定結果の信号が出力される。

しかしながらこのような従来方式においては、図１７で説明したように画素値の差分が直接に対応する画素だけの間で求められるため、目で見てはよくわからないような小さな動きでも画素値の間で差分が生じ、結果として判定対象のブロックが静止領域ではないと判定されることがあり、例えばインタレース・スキャン方式のフィールド画像から変換されたプログレッシブ・スキャン方式のフレーム画像にちらつきが生じてしまうという問題があった。

このような画像中の静止領域の検出方法に関する従来技術の１つ（例えば特許文献１）では、例えば連続するフレームの間で対応する画素間の画素値の差分が計算され、その計算値に基づいてブロック単位で画素値の差分が累積加算されて作成される静止領域の仮のマップ上で、孤立した静止領域、あるいは隣接した静止領域の小ブロックを削除して静止領域の最終マップを求める、信頼性のある静止領域検出アルゴリズムが開示されている。

しかしながら特許文献１の技術においても、連続するフレームの間で対応する画素だけについて画素値の差分が求められているために、画像の細かい動きによって生じる画素値の差分が精子領域の判定に影響を与え、画像信号処理の結果においてちらつきやぼやけを生じてしまうという問題点を解決することはできなかった。
特開２０００−７８５３３号公報

以上のように、連続するフレーム画像の間で対応する画素間の画素値の差分によってのみ静止領域の判定を行う場合には目で見てよくわからないような小さな動きでも判定対象のブロックが静止領域ではないと判定されるという問題点とは逆に、本来動きのあるフレーム画像の間でその動きを検出することができない場合があるという問題点がある。このような問題点を生ずる画像の一例が縞模様であり、縞模様が画面上で動いていくような場合にその動きを検出できないことがあるという問題点について、インタレース・スキャン方式のフィールド画像と、そのフィールド画像を合成した画像としてのプログレッシブ・スキャン方式の画像（フレーム画像）を区別しながら、図１８から２２を用いて説明する。

図１８はインタレース・スキャン方式のフィールド画像の時間的な出力例である。インタレース・スキャン方式のフィールド画像には、画面上で水平方向のスキャンラインのうちで、例えば奇数番号のスキャンラインによって構成されるトップフィールド画像、偶数番号のスキャンラインによって構成されるボトムフィールドの画像がある。トップフィールドとボトムフィールドの画像は、例えば６０分の１秒毎に出力される。

図１９は、プログレッシブ・スキャン方式の画像の出力例である。プログレッシブ・スキャン方式では、スキャンラインを奇数番号と偶数番号とで区別することなく、上から順次スキャンすることによってフレーム画像が生成されて出力される。このフレーム画像は基本的には図１８のトップフィールド画像とボトムフィールド画像を合成したものになる。

図２０は、問題点を説明するための縞模様の例である。このように水平方向に黒、白、黒、白、・・・の領域が繰り返される縞模様が、画面上の一部、例えば中央付近で、例えば右方向に移動していく場合を考えるものとする。

図２１は、このように縞模様が右方向に移動する場合のインタレース・スキャン方式の画像と、それらを合成したプログレッシブ・スキャン方式の画像の例である。同図の左側において、まずトップフィールドの画像が出力され、その画像内の例えば中央部分に左側の最も上に示す縞模様（ｔ＝０）が表れるものとする。そして例えばその６０分の１秒後にボトムフィールドの画像が出力されるが、このボトムフィールドの画像上では縞模様は右方向に移動しており、左側の上から２番目（ｔ＝１／６０）に示されているようになっているものとする。そしてこのトップフィールドとボトムフィールドの画像とが合成されて、右側の上に示すプログレッシブ画像がフレーム画像として出力される。

さらにその６０分の１秒後に次のトップフィールドの画像が出力されるが、その画像上で縞模様はさらに右側に移動している。次に６０分の１秒後に出力されるボトムフィールドの画像上では縞模様はさらに移動しており、これらの２つのフィールドの画像を合成したプログレッシブ画像、すなわちフレーム画像は右側の下に示すものとなる。

図２２は、図２１のプログレッシブ画像に相当するフレーム画像を、図１７と同様の画素イメージで表したものである。図２１において各フィールド画像、またはプログレッシブ画像内の黒、および白の長方形はそれぞれ、例えば２つの画素に相当するものとして、図２２は描かれている。なお縞模様に相当する黒、または白の画素以外の一番上のスキャンライン、および一番下のスキャンラインに対応する画素はすべて灰色となっている。

前述のように図２０の縞模様が画面上の一部、例えば中央付近で移動していく様子が図２２の一画面前のフレーム画像と現在のフレーム画像とによって示されねばならないことになるが、図１７におけると同様に中央付近の２×２個の画素をブロックとして２つのフレーム画像の間で静止領域の判定を行う場合には、当然このブロックは静止領域と判定され、図２０の縞模様が画面上で右方向に移動していることは、検出できないことになる。このような問題点は当然ながら前述の特許文献１の技術によっても解決することはできない。

本発明の課題は、上述の問題点に鑑み、連続する画像間での静止領域を判定するために、連続するフレーム画像の比較だけでなく、例えば時間的に早いフィールド画像と、そのフィールド画像を時間的に遅いフィールド画像を用いて補間した擬似フィールド画像との比較も行うことによって、縞模様のようにフレーム間では検出できない動きを検出可能にすること、および対応する画素の画素値だけを用いて画素値の差分を求める代わりに隣接する画素も含んで画素値の平均値を求め、その平均値の間の差分を求めることにより、画像信号処理の結果におけるちらつきやぼやけを少なくすることである。

図１は、本発明の画像静止領域判定装置の原理構成ブロック図である。同図において画像静止領域判定装置は、擬似画像生成手段１と、画像内静止領域判定手段２とを備える。
擬似画像生成手段１は、インタレース・スキャン方式の時間的に連続する２つのフィールド画像のうちで、時間的に遅いフィールド画像から補間によって時間的に早いフィールド画像の擬似フィールド画像を求めるものであり、画像内静止領域判定手段２は、現在のフレーム画像、一画面前のフレーム画像、時間的に早いフィールド画像、および擬似フィールド画像の入力に対して画像内の静止領域を判定するものである。

発明の実施の形態においては、画像内静止領域判定手段２が、現在のフレーム画像と一画面前のフレーム画像との入力に対して画像内の静止領域を判定する静止領域判定手段と、静止領域判定手段によって静止領域と判定された領域に対して、前述の時間的に早いフィールド画像と擬似フィールド画像とを用いて静止領域判定手段によっては判定できなかった動画領域の判定を行う動画領域判定手段とを備えることもできる。

本発明のインタレースープログレッシブ画像変換装置は、図１にその原理を示した画像静止領域判定装置と、画像内静止領域判定手段２の出力に対応して、擬似画像生成手段１の出力する擬似フィールド画像と時間的に早いフィールド画像とのいずれかを出力する画像切替手段と、画像切替手段の出力と時間的に遅いフィールド画像とを合成してフレーム画像として出力するフレーム画像出力手段とを備える。

発明の実施の形態においては、画像切替手段が、画像内静止領域判定手段２が静止と判定した領域に対しては時間的に早いフィールド画像を、動画と判定した領域に対しては擬似フィールド画像を出力することもできる。

以上のように本発明によれば、現在のフレーム画像と一画面前のフレーム画像との比較が行われるだけでなく、時間的に遅いフィールド画像から補間によって生成された擬似フィールド画像と時間的に早いフィールド画像との比較も行われて、画像内の静止領域の判定が行われる。

本発明によれば、連続する２つのフレーム画像間の比較だけでなく、インタレース・スキャン方式の時間的に遅いフィールド画像から補間によって生成された擬似フィールド画像と時間的に早いフィールド画像との比較も行われ、例えば縞模様の移動のようにフレーム画像の比較によっては検出できない動きを検出することが可能となる。またこのような静止領域判定方式をインタレース−プログレッシブ画像変換に応用することによって、動きが正しく検出された結果に対応するフレーム画像を生成することが可能となる。

図２は、本発明のインタレース−プログレッシブ画像変換装置の基本構成ブロック図である。この変換装置は、本発明の静止領域判定方式を応用するものであり、その静止領域の判定は領域判定部１３によって行われる。領域判定部１３は、現在のフレーム画像、一画面前のフレーム画像、時間的に早いフィールド画像、および時間的に遅いフィールド画像から補間によって生成される擬似フィールド画像との入力に対応して、画像内の静止領域の判定を行い、その結果を画像切替部１４に対して出力する。

図２においてフレームメモリ部１０は、一画面前のフレーム画像を保持するものである。トップ／ボトム分離部１１は、インタレース・スキャン方式のフィールド画像の入力に対応して、任意のタイミングでトップフィールドの画像とボトムフィールドの画像とを分離し、トップフィールド画像、またはボトムフィールド画像のうちで時間的に早いフィールド画像を画像切替部１４に出力するとともに、時間的に遅いフィールド画像を擬似フィールド画像生成部１２と、フィールド／フレーム変換部１５に出力する。

擬似フィールド画像生成部１２は、トップフィールド画像、またはボトムフィールド画像のうちで時間的に遅いフィールド画像から、補間の処理によって時間的に早いフィールドに対応する擬似フィールド画像を生成し、その擬似フィールド画像を領域判定部１３と画像切替部１４とに出力する。画像切替部１４は、領域判定部１３の判定結果にしたがって、トップ／ボトム分離部１１から出力される時間的に早いフィールド画像、すなわちトップフィールド、またはボトムフィールド画像と、擬似フィールド画像生成部１２の出力する擬似フィールド画像とのいずれかを選択して、選択したフィールド画像、すなわちトップフィールド、またはボトムフィールドの画像をフィールド／フレーム変換部１５に出力する。この時、領域判定部１３によって静止領域と判定された領域に対してはトップ／ボトム分離部１１の出力を、また静止領域でないと判定された領域、すなわち動画領域に対しては擬似フィールド画像生成部１２の出力を選択して、フィールド／フレーム変換部１５に与える。フィールド／フレーム変換部１５は、画像切替部１４の出力、すなわち時間的に早いフィールド画像そのもの、またはその擬似フィールド画像とのいずれかと、トップ／ボトム分離部１１の出力としての時間的に遅いフィールド画像とを合成して、プログレッシブ画像、すなわちフレーム画像として出力する。

なお本発明の特許請求の範囲の請求項１における擬似画像生成手段は擬似フィールド画像生成部１２に、画像内静止領域判定手段は領域判定部１３に相当する。また請求項９における画像切替手段は画像切替部１４に、フレーム画像出力手段はフィールド／フレーム変換部１５に相当する。

図３は、図２の領域判定部１３の基本構成ブロック図である。同図において領域判定部１３は、静止領域判定部２０と、動画領域判定部２１とによって構成される。静止領域判定部２０に対しては、図２における領域判定部１３への４つの入力のうちで、現在のフレーム画像と一画面前のフレーム画像とが与えられる。静止領域判定部２０は２つのフレーム画像を比較して、画像内のある領域、例えば図１７で説明したブロックに対する静止判定を行い、その結果を動画領域判定部２１に対して出力する。

動画領域判定部２１は、静止領域判定部２０によって静止と判定された領域、例えばブロックに対応して、そのブロックが静止か動画かの判定を再度行うものである。この判定部２１には、図２の領域判定部１３への４つの入力のうちで時間的に早いフィールド画像と、時間的に遅いフィールド画像から補間によって生成された擬似フィールド画像、すなわち時間的に早いフィールド画像に対応する擬似画像とが入力され、判定対象の領域、例えばブロックが動画領域であるか否かが判定され、その判定結果に対応して最終的な画像切替信号が図２の画像切替部１４に与えられる。

なお後述するように、静止領域判定部２０によって静止でないと判定された領域、例えばブロックに対しては、本来動画領域判定部２１による再判定の必要はなく、直ちに画像切替部１４に対して画像切替信号を出力することができるが、本実施形態では、例えば処理の高速化のために動画領域判定部２１は静止領域判定部２０と並行して動作しており、静止領域判定部２０が静止でないと判定した領域に対しては動画領域判定部２１の判定結果は使用されることなく、画像切替信号が動画領域判定部２１から画像切替部１４に与えられるものとする。

図４は、図３の静止領域判定部２０、および動画領域判定部２１の詳細構成ブロック図である。同図において静止領域判定部２０、動画領域判定部２１は、それぞれ入力画像に対して同様の動作を行う隣接画素値平均化部２５、３０、画素値差分抽出部２６、３１、ブロック平均化部２７、３２、および閾値比較部２８、３３から構成されている。本実施形態では、図１７で説明した従来方式と異なって、例えば隣接画素値平均化部２５が着目する画素を含み、その画素に隣接する画素の画素値を平均した値を求め、画素値差分抽出部２６はその平均値を比較してフレーム間で差分値を求めるものとする。その動作の詳細についてはさらに後述する。

画素値差分抽出部２６は、このように隣接画素を含めて平均化された画素値を用いて、２つの連続するフレーム画像内で同一の位置の画素の間で差分値を求め、ブロック平均化部２７は図１７で説明した、例えば２×２個の画素によって構成されるブロック、あるいはさらにそのブロックの周囲の画素を含めて差分値を平均して閾値比較部２８に出力する。閾値比較部２８は、あらかじめ与えられている判定閾値とブロック平均化部２７の出力を比較し、ブロック平均化部２７の出力が判定閾値より大きい時には判定対象のブロックが静止でないことを示す信号を、動画領域判定部２１内の閾値比較部３３に対して出力する。動画領域判定部２１内の隣接画素値平均化部３０、画素値差分抽出部３１、ブロック平均化部３２、および閾値比較部３３の動作は静止領域判定部２０内の各ブロックの動作とほぼ同様である。

図５から図１１は、図４の静止領域判定部２０、動画領域判定部２１の動作のさらに詳細な説明図である。図５、および図６は、図４の静止領域判定部２０の内部のブロック平均化部２７による平均化の対象となるブロック、およびその周辺の平均化対象の画素の領域の説明図である。図５では、静止判定の対象となるブロックは、図１７におけると同様に、例えば中心付近の２×２個の画素によって構成されるが、図５では図１７と異なってこのブロック、すなわち実線枠で示されるブロックの周囲に、それぞれ２個の画素を含む点線の領域がブロック平均化部２７による平均化の対象とされる。すなわちブロック平均化部２７による差分値平均化の対象は点線の枠内の６×６個の画素となる。

図６においてはブロック平均化部２７による平均化の対象はさらに広げられ、点線の枠内の８×８個の画素となる。このように図１７の従来例に比較して、静止判定の対象となる２×２個の画素によって構成されるブロックの周囲に多くの画素をとって平均化を行うことによって処理時間は当然長くなるが、各種のパターンの画像に対して良い判定結果を得られることが経験的に明らかとなっている。

図７、および図８は図４の動画領域判定部２１の内部のブロック平均化部３２による差分値平均化の対象となる画素領域の説明図である。図７、および図８はそれぞれ図５、および図６に示すブロック平均化部２７の平均化対象領域にそれぞれ対応するものである。

図７においては、トップフィールドの画像が時間的に早いフィールド画像として、擬似フィールド画像と比較される。すなわちフレーム画像のうちでスキャンラインＴ０、Ｔ１、およびＴ２上の画素がブロック平均化の対象となる。また静止判定の対象となる画素のブロックは中心付近の２×１個の画素となる。

図８においては、図６に対応してスキャンラインＴ１、Ｔ２、Ｔ３、およびＴ４のライン上の画素がブロック平均化部３２による平均化の対象となり、静止判定の対象となるブロックはスキャンラインＴ２上の２×１個の画素によって構成される。

図５から図８において、点線内のブロック平均化の対象となる各画素に対しては、隣接する左右の画素を含めて画素値の平均が隣接画素値平均化部２５、または３０によって求められ、その結果の平均値が画素値差分抽出部２６、３１によって比較されて差分値が抽出され、ブロック平均化部２７、または３２に与えられる。すなわち隣接画素値平均化部２５、または３０によって行われる平均化処理では、画素の縦座標をｉ、横座標をｊ、画素値をＸ（ｉ，ｊ）として次式によって平均値が求められる。
平均値＝｛Ｘ（ｉ−１，ｊ）＋Ｘ（ｉ，ｊ）＋Ｘ（ｉ＋１，ｊ）｝／４

ここで、隣接画素を含めた平均値を３でなく４で割って求めるのは、ハードウェアによる処理を容易とするためである。次に画素値差分抽出部２６、または３１によって行われる差分演算は、隣接画素値平均化部２５、または３０によって求められた平均画素値、例えば現在のフレーム画像に対するＸｐ（ｉ，ｊ）と、一画面前のフレーム画像に対するＸｒ（ｉ，ｊ）との間の差分として次式を用いて行われる。
差分値＝Ｘｐ（ｉ，ｊ）−Ｘｒ（ｉ，ｊ）

図９は、図４の隣接画素値平均化部２５、または３０の構成例のブロック図であり、図１０は隣接画素値平均化動作のタイムチャートである。図９において隣接画素値平均化部２５、または３０は、３つのデータ・フリップ・フロップ（Ｄ−ＦＦ）４１、４２、４３、加算器４４、および除算器４５によって構成されている。

図１０において最初のクロックにおいて、３つのＦＦ４１から４３のそれぞれに３つの画素の画素値ａ、ｂ、およびｃが入力され、次のクロックで加算器４４から加算結果Ｓｕｍが出力され、除算器４５によって除算結果Ａｖｅが平均値として出力される。

なお本実施形態では、図５から図８で説明したように着目画素の左右それぞれ１つずつの隣接画素を含めた３つの画素の平均値を着目画素の画素値として用いるものとしたが、隣接画素の取り方はこれに限定されることなく、例えば着目画素に隣接する計８個の画素を含む９個の画素値の平均を求めることも当然可能である。

図１１は、図４の静止領域判定部２０、および動画領域判定部２１による静止領域判定動作のフローチャートである。同図において動作が開始されると、まずステップＳ１で比較ブロック演算処理が行われる。これは静止領域判定部２０では隣接画素値平均化部２５からブロック平均化部２７までの処理に、また動画領域判定部２１では隣接画素値平均化部３０からブロック平均化部３２までの処理に相当する。静止領域判定部２０の内部の閾値比較部２８からの判定信号が動画領域判定部２１に与えられてから隣接画素値平均化部３０からブロック平均化部３２までの処理を行うことも当然可能であるが、本実施形態では処理の高速化を図るために、静止領域判定部２０と動画領域判定部２１による比較ブロック演算処理は並行して実行されるものとする。

ステップＳ２で静止領域判定部２０の内部の閾値比較部２８によって、ブロック平均化部２７の出力が判定閾値より大きいか否かが判定され、大きい場合にはステップＳ３で直ちに動画領域判定部２１内の閾値比較部３３を介して、動画領域判定信号が画像切替信号として図２の画像切替部１４に出力され、画像切替部１４からは擬似フィールド画像生成部１２によって生成された擬似フィールド画像がフィールド／フレーム変換部１５に出力されることになる。

ステップＳ２で閾値より大きくないと判定されると、ステップＳ４で動画領域判定部２１の内部の閾値比較部３３によってブロック平均化部３２の出力が判定閾値より大きいか否かが判定され、大きい場合には前述と同様にステップＳ３で動画領域判定信号が画像切替部１４に出力される。閾値より大きくないときにはステップＳ５で静止領域判定信号が出力され、画像切替部１４からはトップ／ボトム分離部１１から出力された時間的に早いフィールド画像そのものがフィールド／フレーム変換部１５に出力される。

最後に本実施形態において、従来例の図２０から図２２で説明したように縞模様の画像が移動していく場合の擬似フィールド画像や、その擬似フィールド画像を用いた動画領域判定部２１による判定対象画像について図１２から図１５を用いて説明する。図１２は、インタレース画像イメージの例である。この画像は図２１の右側のプログレッシブ画像に相当し、時間的に早いフィールド画像はトップ画像であり、そのトップフィールド画像はスキャンラインＴ０からＴ３までによって構成されているものとし、時間的に遅いフィールド画像、すなわちボトム画像はスキャンラインＢ０からＢ３によって構成され、縞模様はトップフィールド画像内のスキャンラインＴ１、Ｔ２、ボトムフィールド画像のうちのスキャンラインＢ１、Ｂ２上を移動していくものとする。

図１３は、時間的に早いフィールド画像としてのトップ画像に対応する擬似フィールド画像が、時間的に遅いボトムフィールド画像から補間によって求められ、その結果の擬似フィールド画像がボトム画像と合成された結果としての画像イメージを示す。トップフィールド画像の各スキャンラインＴ０からＴ３は擬似フィールド画像を構成するものである。例えば最も左側のスキャンラインＴ１の部分は、時間的に遅いボトム画像のうちのスキャンラインＢ０とＢ１とを用いた補間処理の結果として黒から白に変わっている。ここで補間処理としては当然様々な方式が考えられるが、最も単純には上と下のスキャンラインＢ０とＢ１の画素値を平均化することによって補間を行うことができる。同様にスキャンラインＴ２の部分も黒から白に変わっている。左から２番目のスキャンラインＴ１の部分は、その上のスキャンラインＢ０の部分が黒ではないことから灰色となっており、スキャンラインＴ２の部分は黒に変わっている。

図１４は、従来例の図２２におけると同様の、画素のイメージで時間的に早いフィールド画像、すなわちもともとのトップフィールドの画像と、時間的に遅いボトムフィールドの画像を用いて補間によって生成された擬似フィールド画像との比較の説明図である。左側の時間的に早いフィールド画像は図１２におけるトップフィールドに相当し、スキャンラインＴ２上で横に２つ並んだ白い画素を静止判定対象としてのブロックにとると、例えばその上のスキャンラインＴ１の画素は白であり、下のスキャンラインＴ３の画素は白でも黒でもない灰色の画素として表されている。

これに対して右側の擬似フィールド画像は、図１３に対応して判定対象ブロック内のスキャンラインＴ２上の画素は黒に変わり、またその上のスキャンラインＴ１上の画素は灰色に変わっている。スキャンラインＴ３上の画素は灰色のままである。これによって時間的に早いフィールド画像と擬似フィールド画像の比較結果が動画となることは明らかである。

図１５は、擬似フィールド画像を用いて生成したフレーム画像と現在のフレーム画像との比較の説明図である。左側の画像は図２２におけるフレーム画像に相当し、右側の画像は図１３の画像に相当する。本実施形態では、図２で説明したように領域判定部１３に入力される擬似画像は擬似フィールド画像生成部１２によって生成された擬似フィールド画像であり、擬似フィールド画像を用いて生成されたフレーム画像を領域判定に用いることは行っていないが、擬似画像を用いて生成されたフレーム画像、すなわち図１５の右側の画像と、図２２の一画面前のフレーム画像とを比較することによって、フレーム画像間で動きを検出することも当然可能である。

本発明の画像静止領域判定装置の原理構成ブロック図である。 本発明の画像静止領域判定方式を用いたインタレース−プログレッシブ画像変換装置の基本構成ブロック図である。 図２の領域判定部の基本構成を示すブロック図である。 静止領域判定部と動画領域判定部との詳細構成を示すブロック図である。 フレーム画像におけるブロック平均化処理の対象となる画素領域の例（その１）を示す図である。 フレーム画像におけるブロック平均化処理の対象となる画素領域の例（その２）を示す図である。 フィールド画像におけるブロック平均化処理の対象領域の例（その１）を示す図である。 フィールド画像におけるブロック平均化処理の対象領域の例（その２）を示す図である。 隣接画素値平均化部の構成例のブロック図である。 図９の隣接画素値平均化部の動作タイムチャートである。 図４における画像内静止領域判定動作のフローチャートである。 本実施形態を説明するためのインタレース画像イメージの例である。 擬似フィールド画像を組み合わせ画像イメージの例である。 本実施形態における時間的に早いフィールド画像と擬似フィールド画像との比較の説明図である。 本実施形態におけるフレームイメージにおける画像比較の説明図である。 画像静止領域判定装置の従来例の構成ブロック図である。 画像静止領域判定方式の従来例の説明図である。 インタレース画像出力方式の説明図である。 プログレッシブ画像出力方式の説明図である。 画像内の縞模様の説明図である。 縞模様が画面上で移動した場合のプログレッシブ画像の説明図である。 現在のフレーム画像と一画面前のフレーム画像との比較の従来例の説明図である。

符号の説明

１ 擬似画像生成手段
２ 画像内静止領域判定手段
１０ フレームメモリ部
１１ トップ／ボトム分離部
１２ 擬似フィールド画像生成部
１３ 領域判定部
１４ 画像切替部
１５ フィールド／フレーム変換部
２０ 静止領域判定部
２１ 動画領域判定部
２５、３０ 隣接画素値平均化部
２６、３１ 画素値差分抽出部
２７、３２ ブロック平均化部
２８、３３ 閾値比較部
４１、４２、４３ データ・フリップ・フロップ（Ｄ−ＦＦ）
４４ 加算器
４５ 除算器

Claims (10)

1. インタレース・スキャン方式の時間的に連続する２つのフィールド画像のうちで、時間的に遅いフィールド画像から補間によって時間的に早いフィールド画像の擬似フィールド画像を求める擬似画像生成手段と、
   現在のフレーム画像、一画面前のフレーム画像、時間的に早いフィールド画像、および擬似フィールド画像の入力に対して画像内の静止領域を判定する画像内静止領域判定手段とを備えることを特徴とする画像静止領域判定装置。
2. 前記画像内静止領域判定手段が、
   現在のフレーム画像と一画面前のフレーム画像との入力に対して、画像内の静止領域を判定する静止領域判定手段と、
   該静止領域と判定された領域に対して、前記時間的に早いフィールド画像と擬似フィールド画像との入力に対して、静止領域判定手段によっては判定できなかった動画領域の判定を行う動画領域判定手段とを備えることを特徴とする請求項１記載の画像静止領域判定装置。
3. 前記静止領域判定手段が、
   前記入力される２つのフレーム画像内の各画素に対して、該画素を含み、該画素に隣接する画素の画素値の平均値を求める隣接画素値平均化手段と、
   該２つのフレーム画像内で同一位置の各画素に対する前記平均値の差分を求める画素値差分抽出手段と、
   該画素値差分抽出手段の出力とあらかじめ与えられる判定閾値とを比較して、２つのフレーム画像間での静止領域を判定する閾値判定手段とを備えることを特徴とする請求項２記載の画像静止領域判定装置。
4. 前記静止領域判定手段が、前記画素値差分抽出手段の出力を用いて、２つのフレーム画像内で同一位置にある正方形領域内のｎ×ｎ個の画素によって構成されるブロック内の各画素に対する前記差分の値を平均するブロック平均化手段をさらに備え、
   前記閾値判定手段が、該ブロック平均化手段の出力と前記閾値とを比較して、該ブロックを対象として静止領域の判定を行うことを特徴とする請求項３記載の画像静止領域判定装置。
5. 前記ブロック平均化手段が、前記正方形領域内のｎ×ｎ個の画素によって構成されるブロック内の画素に、さらに該ブロックの周辺で隣接する画素を加えて各画素に対する前記差分の値を平均することを特徴とする請求項４記載の画像静止領域判定装置。
6. 前記動画領域判定手段が、
   前記入力される２つのフィールド画像内の各画素に対して、該画素を含み、該画素に隣接する画素の画素値の平均値を求める隣接画素値平均化手段と、
   該２つのフィールド画像内で同一位置の各画素に対する前記平均値の差分を求める画素値差分抽出手段と、
   該画素値差分抽出手段の出力とあらかじめ与えられる判定閾値とを比較して、２つのフィールド画像間での動画領域を判定する閾値判定手段とを備えることを特徴とする請求項２記載の画像静止領域判定装置。
7. 前記動画領域判定手段が、前記画素値差分抽出手段の出力を用いて、前記時間的に早いフィールド画像と時間的に遅いフィールド画像とが合成されて生成される画像内の正方形領域内のｎ×ｎ個の画素に対応する画素のうちで、２つの入力フィールド画像に含まれる画素によって構成されるブロック内の各画素に対する前記差分の値を平均するブロック平均化手段をさらに備え、
   前記閾値判定手段が、該ブロック平均化手段の出力と前記閾値とを比較して、該ブロックを対象として動画領域の判定を行うことを特徴とする請求項６記載の画像静止領域判定装置。
8. 前記ブロック平均化手段が、前記正方形領域内のｎ×ｎ個の画素に、さらに該正方形領域の周辺で隣接する画素を加えた画素に対応する画素のうちで、２つの入力フィールド画像に含まれる画素に対する前記差分の値を平均することを特徴とする請求項７記載の画像静止領域判定装置。
9. 請求項１に記載の画像静止領域判定装置と、
   前記画像内静止領域判定手段の出力に対応して、前記擬似画像生成手段の出力する擬似フィールド画像と、前記時間的に早いフィールド画像とのいずれかを出力する画像切替手段と、
   該画像切替手段の出力と前記時間的に遅いフィールド画像とを合成して、フレーム画像として出力するフレーム画像出力手段とを備えることを特徴とするインタレース−プログレッシブ画像変換装置。
10. 前記画像内静止領域判定手段が静止と判定した領域に対しては、前記画像切替手段が前記時間的に早いフィールド画像を、動画と判定した領域に対しては、前記擬似フィールド画像を出力することを特徴とする請求項９記載のインタレース−プログレッシブ画像変換装置。