JP2011254404A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】動画表示の際の空間的高周波成分のフリッカの発生を抑制しつつエッジ波形の再現を可能とする技術を提供する。
【解決手段】動画像を構成する各フレーム画像からＭ個のサブフレーム画像を生成することによりフレームレート変換を行なう画像処理装置において、注目フレーム画像と該注目フレーム画像に対し先行するまたは後続するフレーム画像との差分に基づいて、注目フレーム画像の各領域について画像の変化の程度を示す変化指標を導出する導出手段と、注目フレーム画像にローパスフィルタ処理を施し低周波フレーム画像を生成する低周波フレーム画像生成手段と、注目フレーム画像と低周波フレーム画像との差分により高周波フレーム画像を生成する高周波フレーム画像生成手段と、注目フレーム画像の各領域の変化指標に応じた重みで、高周波フレーム画像に含まれる画像成分をＭ個の低周波フレーム画像に分配し加算することによりＭ個のサブフレーム画像を生成する生成手段と、を備える。
【選択図】図１

Description

本発明は、動画像のフレームレートを変換する技術に関するものである。

ＣＦＦ（critical fusion frequency）未満のフレームレート（以下、低フレームレートと呼ぶ）で撮影された動画（例えば、２４ｆｐｓや３０ｆｐｓの動画）をそのまま表示する場合、視聴者によりちらつき（フリッカ）が認識される。そこで、フリッカを抑制するため、表示装置において各フレームを複数回繰り返して表示する方法が行われている。しかし、この手法ではコマの繰り返し表示に起因して映像の動きがガタガタして見える現象（ジャダー）が発生する。そこで、例えば特許文献１では、動き領域におけるエッジ波形を再現することによりジャダーを低減する技術が開示されている。

特開２００３−１８９２６０号公報

しかしながら、空間的高周波成分の強調・抑制をＣＦＦ未満のフレームレートの動画に対し、上述のエッジ波形の再現処理を適用した場合、空間的高周波成分がフリッカして知覚されるという問題が発生する。

本発明は、上述の問題点に鑑みなされたものであり、動画表示の際の空間的高周波成分のフリッカを抑制しつつエッジ波形の再現を可能とする技術を提供することを目的とする。

本発明の画像処理装置は以下の構成を備える。すなわち、動画像を構成する各フレーム画像からＭ個のサブフレーム画像を生成することによりフレームレート変換を行なう画像処理装置において、注目フレーム画像と該注目フレーム画像に対し先行するまたは後続するフレーム画像との差分に基づいて、前記注目フレーム画像の各領域について画像の変化の程度を示す変化指標を導出する導出手段と、前記注目フレーム画像にローパスフィルタ処理を施し低周波フレーム画像を生成する低周波フレーム画像生成手段と、前記注目フレーム画像と前記低周波フレーム画像との差分により高周波フレーム画像を生成する高周波フレーム画像生成手段と、前記導出手段により導出された前記注目フレーム画像の各領域の変化指標に応じた重みで、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算することにより前記Ｍ個のサブフレーム画像を生成する生成手段と、を備える。

本発明によれば、動画表示の際の空間的高周波成分のフリッカの発生を抑制しつつエッジ波形の再現を可能とする技術を提供することができる。

ディスプレイシステムにおける補正処理部のブロック図である。 第１実施形態に係るフレームレート変換処理部のブロック図である。 第１実施形態に係るフレームレート変換処理部の全体動作フローチャートである。 動き度算出部の動作フローチャートである。 出力サブフレームを説明する概念図である。 制御閾値に基づいて加算高周波成分を補正するフローチャートである。 制御閾値関数に基づいて加算高周波成分を補正するフローチャートである。 動き度ｍおよび高周波成分ｈを説明する図である。 高周波制御部の制御閾値を説明する図である。 高周波制御部の制御閾値関数を説明する図である。 高周波成分を抑制・強調した領域の出力を示す図である。 高周波成分を抑制・強調しない領域の出力を示す図である。 第２実施形態に係るフレームレート変換処理部のブロック図である。 第２実施形態に係るフレームレート変換処理部の動作フローチャートである。 順応輝度算出部の動作フローチャートである。 第３実施形態に係るフレームレート変換処理部のブロック図である。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、ディスプレイシステムにおける補正回路内のフレームレート変換処理部を例に挙げて以下に説明する。特に、第１実施形態では、出力サブフレームの領域毎の高周波成分の分配量を制御するにあたり、動画像に含まれるフレーム画像の動きとエッジコントラストに基づいて制御する方法について説明する。

＜装置構成＞
図１は、第１実施形態に係るディスプレイシステムにおける補正回路の内部ブロック図である。補正回路１０００には、例えばセレクタを介して、外部の画像出力装置から所定のフレームレートの動画像が入力される。以下の説明では２４ｐ（２４フレーム／秒のプログレッシブ画像）の動画像に対して処理する場合について述べるが、他のフレームレートの動画像であっても同様に適用可能である。

なお、補正回路１０００は、後述するフレームレート変換処理部１００の他にも、各所の画像処理部を含み得る。例えば、ノイズリダクション、フィルムソース検出、インタレース／プログレッシブ（Ｉ／Ｐ）変換、解像度変換の他、各種の色補正処理を含み得る。例えば、フィルムソース検出処理部としては、特開２００９−００８７３３号公報に開示される技術を適用し得る。

フレームレート変換処理部１００は、ｎ枚のフレーム画像に対してｎ’（＞ｎ）枚（請求項ではＭ個）のサブフレーム画像を生成して出力する処理部である。以下の説明では、２４ｐの動画像に含まれる各フレーム画像に対して５枚のサブフレーム画像を生成する（つまり、ｎ＝１、ｎ’＝５）の場合について説明する。ただし、既存の２−３プルダウン（２４ｆｐｓから６０ｆｐｓへの変換）のようなフレームレート変換と組み合わせることにより（ｎ＝２、ｎ’＝５）あるいは（ｎ＝２、ｎ’＝１０）のように構成してもよい。

図２は、第１実施形態のフレームレート変換処理部のブロック図である。ローパスフィルタ（ＬＰＦ）１０１（低周波フレーム画像生成手段）は、動画像に含まれる各フレーム画像ｆ_ｉｎに対しローパスフィルタ処理を行い低周波フレーム画像を生成する処理部である。具体的には、ＬＰＦ１０１は、入力フレーム画像ｆ_ｉｎに対して、ガウシアンフィルターや平均値フィルターなど、入力画像よりも空間周波数分布が低くなる処理を行い、低周波フレーム画像ｆ_Ｌの信号を出力する。

高周波成分抽出部１０３（高周波フレーム画像生成手段）は、入力したフレーム画像ｆ_ｉｎと低周波フレーム画像ｆ_Ｌとに基づいて高周波成分（高周波フレーム画像）ｈを算出し出力する。具体的な算出方法としては、以下の式で示されるように、低周波フレーム画像と入力したフレーム画像との差分を用いることが出来る。

ｈ＝ａｂｓ（ｆ_ｉｎ−ｆ_Ｌ）
なお、以下の式で示されるように、入力したフレーム画像に対しエッジ強調を行った画像と当該入力したフレーム画像との差分を用いて高周波成分ｈを算出しても良い。

ｈ＝ａｂｓ（ｓｈａｒｐｅｎ（ｆ_ｉｎ）−ｆ_ｉｎ）
ここで、ａｂｓ（）は絶対値関数、ｓｈａｒｐｅｎ（）はエッジ強調処理関数をそれぞれ示している。

フレーム周波数変換部１０２は、１個の低周波フレーム画像ｆ_Ｌを複製することにより、５個の低周波フレーム画像ｆ_Ｌｎ’（ｎ’＝１、...、５）を生成する。なお、５個の低周波フレーム画像は、最終的に出力される５個のサブフレーム画像のベース画像に相当する。

動き度算出部１０５（導出手段）は、フレーム画像ｆ_ｉｎと該注目フレーム画像に隣接（先行または後続）するフレーム画像とに基づいて、ｆ_ｉｎの内部の各領域における動き度（変化指標）ｍとして導出する。動き度ｍはフレーム画像の内部の各領域の変化を多段階、例えば０〜２５５（８ｂｉｔ）や０〜４０９５（１２ｂｉｔ）で表す行列である。なお、動き度の算出の詳細については後述する。

高周波量制御部１０６は、動き度（変化指標）ｍを用いて、高周波フレーム画像に含まれる画像成分の５個の低周波フレーム画像への分配の重みをフレーム画像の領域毎に決定する。高周波成分加算部１０４は、高周波量制御部１０６によって決定された分配の重みに基づいて、５個の低周波フレーム画像に対し高周波フレーム画像に含まれる画像成分をフレーム画像の領域毎に分配して加算する。そして、高周波フレーム画像の画像成分が加算された５個の低周波フレーム画像を出力フレームｆ_ｏｕｔとして出力する。

＜装置の動作＞
動き度算出部１０５の動作について説明する。図４は、動き度算出部における動き度ｍを推定し算出する動作フローチャートである。

ステップｆ１２１では、注目フレーム画像ｆ_ｉｎを含む、連続する複数のフレーム画像を入力する。ステップｆ１２２では、入力した複数のフレーム画像について、隣接するフレーム間の差分を算出する。ステップｆ１２３では、算出されたフレーム間差分に基づいて動き度ｍを算出する。ステップｆ１２４では、動き度ｍを出力し、処理を終了する。

以上の処理は、最も計算コストの少ない方法を例示的に示したものである。なお、差分を算出する前に、複数のフレーム画像に対してあらかじめローパスフィルタ処理を行うことにより、動きが異なる領域の境界部における破綻をより少なくすることが可能である。また、動き度ｍとして動きベクトルを用いるよう構成しても良い。なお、動きベクトルの算出は、例えば特開２００９−３８６２０号公報に開示されているような方法を利用可能であるが、これに限定するものではない。

次に、高周波量制御部１０６および高周波成分加算部１０４について説明する。上述したように、当該２つのブロックにより、出力サブフレームｆ_Ｌｎ’（ｎ’＝１、...、５）に含まれる高周波成分をサブフレーム毎かつサブフレーム画像の内部の領域毎に制御する。

高周波量制御部１０６は、動き度ｍと高周波成分ｈに応じて低域通過画像ｆ_Ｌ３に加算する高周波成分ｈ_ｐを算出する。以降では、ｈ_ｐを加算高周波量と言う。高周波量制御部１０６の目的は、フレームレート変換処理部１００の出力サブフレームにおいて高周波成分の時間周波数がＣＦＦ未満である場合に発生するフリッカを抑制することである。そこで、第１実施形態では、高周波成分ｈの加算量を入力画像に応じて抑制する。具体的には、高周波成分がある各領域において動き度が小さく、かつ、その面積が大きい場合に加算高周波量ｈ_ｐを抑制する。

図６は高周波量制御部の処理フローチャートであり、加算高周波成分の閾値判定を用いる場合の処理を示している。

ステップｆ１３１では、動き度ｍと高周波成分ｈとを入力する。ステップｆ１３２では、加算高周波成分をｈ_ｍ＝ｍ×｜ｈ｜として算出する。ステップｆ１３３では、ｈ_ｍ（ｍ）のｍ＝０からｍ＝ｍ１までの積分値と所定の閾値ｈ_ｔｈとを比較する。積分値がｈ_ｔｈ以上であればステップｆ１３５に進み、そうでなければステップｆ１３６に進む。

ステップｆ１３５では、補正加算高周波成分をｈ_ｐ＝ｈ_ｍ×ｒ（０≦ｒ＜１）として算出する。一方、ステップｆ１３６では、補正加算高周波成分をｈ_ｐ＝ｈ_ｍとして算出する。そして、ステップｆ１３７では、算出されたｈ_ｐを出力し、処理が終了する。

高周波成分加算部１０４は、低周波フレーム画像ｆ_Ｌ３に対しては、高周波量制御部１０６から入力された高周波成分ｈ_ｐを加算する。一方、残りの低周波フレーム画像ｆ_Ｌ１、ｆ_Ｌ２、ｆ_Ｌ４、ｆ_Ｌ５に対しては、高周波成分ｈ_ｐの残成分（ｈ−ｈ_ｐ）を加算する。

低周波フレーム画像ｆ_Ｌ１、ｆ_Ｌ２、ｆ_Ｌ４、ｆ_Ｌ５に対して均等に加算するしても良い。また、低周波フレーム画像ｆ_Ｌ１とｆ_Ｌ５とを均等に、ｆ_Ｌ２とｆ_Ｌ４とを、均等に加算してもよい。

図８（ａ）に示される動き度ｍ、図８（ｂ）に示される高周波成分ｈが入力される場合について、上述の処理を更に具体的に説明する。

ステップｆ１３２では、加算高周波成分ｈ_ｍが算出される。

ステップｆ１３３では、加算高周波成分ｈ_ｍの０からｍ１（ｍ１：任意の設定値）までの積分値が、所定の閾値ｈ_ｔｈ以上であるか否かを判定する。ここで、図９（ａ）は加算高周波成分ｈ_ｍの積分値が閾値ｈ_ｔｈ以上である場合の図を示している。一方、図９（ｃ）は加算高周波成分ｈ_ｍの積分値が閾値ｈ_ｔｈ未満である場合の図を示している。

積分値が閾値ｈ_ｔｈ以上である場合、ｈ_ｐはステップｆ１３５において補正される。図９（ｂ）は、補正された加算高周波成分ｈ_ｐの一例を示す図である。一方、積分値が閾値ｈ_ｔｈ未満と判定される場合は、補正せず出力される。つまり、図９（ｃ）では、加算高周波成分ｈ_ｍがそのままｈ_ｐとして出力される。

上述の説明では、加算高周波成分ｈ_ｍの補正の有無を、加算高周波成分ｈ_ｍの積分値が閾値ｈ_ｔｈ以上であるか否かに基づいて決定した。しかし、加算高周波成分ｈ_ｍを所定の閾値関数と比較し補正するよう構成しても良い。

図７は高周波量制御部の処理フローチャートであり、加算高周波成分の閾値関数判定を用いる場合の処理を示している。なお、ステップｆ１３１、ｆ１３２においては前述と同じであるため省略する。

ステップｆ１３８では、ｒ＝ｍｉｎ｛ｈ_ｔｈ（ｍ）／ｈ_ｍ（ｍ）｝（ｈ_ｔｈ（ｍ）：所定の閾値関数）としてｒを算出する。ステップｆ１３９では、補正加算周波数成分としてｈ_ｐ＝ｈ_ｍ×ｒを算出する。そして、ステップｆ１４０では、ｈ_ｐを出力し、処理が終了される。

図８（ａ）に示される動き度ｍ、図８（ｂ）に示される高周波成分ｈが入力される場合について、上述の処理を更に具体的に説明する。

ステップｆ１３２によって加算高周波成分ｈ_ｍが図１０（ａ）のように算出される。ステップｆ１３８においてｈ_ｍ（ｍ）とｈ_ｔｈ（ｍ）が図１０（ａ）のような関係である場合、補正されｈ_ｐとして算出される。具体的には、ステップｆ１３９によってｈ_ｐは図１０（ｂ）のようにｈ_ｔｈ（ｍ）以下に補正される。つまり、閾値関数を用いて正規化することにより抑制制御を行う。

なお、ｈ_ｍが常に閾値関数未満と判定される場合は、補正せず出力しても良い。その場合には、加算高周波成分ｈ_ｍがそのままｈ_ｐとして出力される。

図３は、フレームレート変換処理部の全体動作フローチャートである。

ステップｆ１０１では、フレームレート変換処理部１００が、注目フレーム画像ｆ_ｉｎを含む複数のフレーム画像を入力する。ステップｆ１０２では、ＬＰＦ１０１が、注目フレーム画像ｆ_ｉｎに対してローパスフィルタ処理を行い低周波フレーム画像ｆ_Ｌを生成する。ステップｆ１０３では、高周波成分抽出部１０３が、注目フレーム画像ｆ_ｉｎと低周波フレーム画像ｆ_Ｌとの差分から高周波成分ｈを算出する。

ステップｆ１０４では、動き度算出部１０５が、注目フレーム画像ｆ_ｉｎと該注目フレーム画像と隣接するフレーム画像との差分から、フレーム画像内の各領域における動き度ｍを算出する。ステップｆ１０５では、高周波量制御部１０６が、高周波成分ｈと動き度ｍの積から加算高周波成分ｈ_ｍを算出する。ステップｆ１０６では、高周波量制御部１０６が、フリッカが発生しないようにｈ_ｍの抑制処理を行い、ｈ_ｐを算出する。

ステップｆ１０７では、高周波成分加算部１０４が、低周波フレーム画像ｆ_Ｌと同じ画像ｆ_Ｌｎ’（ｎ’＝１〜５）を生成する。ステップｆ１０８では、ｎ’＝３の場合はステップｆ１０９に、ｎ’≠３の場合はステップｆ１１０に進む。ステップｆ１０９では、ｆ_Ｌ３にｈ×ｍ（０≦ｍ≦１）を加算しｆ_ｏｕｔ３を算出する。ステップｆ１１０では、ｆ_Ｌｎ’にｈ×（１−ｍ）／４を加算しｆ_ｏｕｔｎ’を算出する。ステップｆ１１１では、ｆ_ｏｕｔｎ’を出力し、処理が終了する。

＜効果＞
図５は、出力されるサブフレーム画像の概念図である。高周波量制御部１０６は、５個の低周波フレーム画像ｆ_Ｌ１〜ｆ_Ｌ５に分配し加算する高周波成分ｈ_ｐをフレーム画像内の領域毎に決定する。そして、高周波成分加算部１０４は、決定された高周波成分ｈ_ｐを５個の低周波フレーム画像の各々に加算し、出力フレームｆ_ｏｕｔとして出力する。

図５（ａ）は、動き度ｍが大きい領域に対する高周波成分ｈ_ｐの分配を例示的に示したものである。図示されるように、高周波成分ｈ_ｐは１つのサブフレーム画像ｆ_Ｌ３に集中するように制御される。一方、図５（ｂ）は、動き度ｍが小さい領域に対する高周波成分ｈ_ｐの分配を例示的に示したものである。図示されるように、高周波成分ｈ_ｐは５つのサブフレーム画像ｆ_Ｌ１〜ｆ_Ｌ５に均等に分散するように制御される。なお、ここでは、動き度ｍが大きい領域に対しては１つのサブフレーム画像に集中して加算し、動き度ｍが小さい領域に対しては全サブフレーム画像に均等に分散して加算するよう説明した。しかし、動き度ｍが大きいほど少数のサブフレーム画像に集中させて加算するようにすればよい。

図１１および図１２は、上述のように生成されたサブフレーム画像を表示した際の効果を例示的に説明する図である。

図１１は、高周波成分を抑制・強調した場合の図を示しており、動き度が大きい領域に対応している。図１１（ａ）は、画像のエッジ部分の輝度を示している。ここで、Ｓ１は、高周波成分ｈ_ｐが加算されたサブフレーム画像ｆ_Ｌ３に対応する輝度を示し、Ｓ２は残りのサブフレーム画像に対応する輝度を示している。

一方、図１１（ｂ）は、画像の位置−輝度を時間順に沿って縦方向に並べた図である。ここでは、２つのフレーム画像に対して１０個のサブフレーム画像を出力した例を示している。２４ｆｐｓの入力信号に対し５倍のフレームレートである１２０ｆｐｓの出力信号を生成する場合、図に示されるように高周波成分がｆｐｓＩｎ＝２４ｆｐｓで変化することになる。しかし、動き度ｍの大きい領域（動領域）の高周波成分のフリッカは認識されにくい特性があるため、フリッカは検知されない。そのため、動領域において見た目のエッジ波形が維持されるとともに、ジャダーも抑制されることが分かる。

図１２は、高周波成分を抑制・強調しない場合の図を示しており、動き度が小さい領域に対応している。図１２（ａ）は、画像のエッジ部分の輝度を示している。ここで、Ｓ１は、高周波成分ｈ_ｐが加算されたサブフレーム画像ｆ_Ｌ３に対応する輝度を示し、Ｓ２は残りのサブフレーム画像に対応する輝度を示しているが、Ｓ１＝Ｓ２となっている。そのため、高周波成分のフリッカは発生しない。

一方、図１２（ｂ）は、画像の位置−輝度を時間順に沿って縦方向に並べた図である。ただし、動き度が小さい領域であるため、繰返し表示した場合であってもジャダーがもともと問題にならない。

以上説明したとおり、第１実施形態によれば、フレームレート変換処理部１００は、フリッカの発生を抑制しつつエッジ波形の再現を可能とするサブフレーム画像を生成することが出来る。

なお、ここでは、入力フレームレートを５倍にする例を用いて説明したが、フレーム周波数変換部１０２の変換倍率を２，３，４、ｎ倍とし、高周波成分加算部１０４の加算方法を２，３，４、ｎ周期に変更するよう構成しても良い。特に２４ｆｐｓ入力の場合、４８、７２、９６ｆｐｓ出力が考えられる。

（第２実施形態）
第２実施形態では、第１実施形態で説明した制御に加え、入力したフレーム画像の絶対輝度および順応輝度から領域毎に加算する高周波量を制御する例について説明する。

図１３は、第２実施形態に係るフレームレート変換処理部１００のブロック図である。なお、ＬＰＦ１０１、高周波成分抽出部１０３、フレーム周波数変換部１０２、高周波成分加算部１０４、動き度算出部１０５、高周波量制御部１０６は第１実施形態と同様であるため説明を省略する。

輝度算出部２０１は、入力したフレーム画像ｆ_ｉｎ［ｎ］（ｎ：入力フレーム番号）の絶対輝度ｌ_ｉｎ［ｎ］を算出する。フレーム画像ｆ_ｉｎ［ｎ］がＲＧＢでの画素値で表現される場合、ｌ_ｉｎ［ｎ］＝ｉ×Ｒ＋ｊ×Ｇ＋ｋ×Ｂとするとよい。また、ＲＧＢのうちＧのみを選択し、ｌ_ｉｎ［ｎ］＝Ｇとしてもよい。また、追加処理としてブロック内前処理にｆ_ｉｎ［ｎ］にローパスフィルタ処理を行って領域境界の制御値変動をゆるやかにしてもよい。
順応輝度算出部２０２は、加算高周波ｈ_ｐを制御するための輝度を、ディスプレイの視聴者の視認輝度に補正する。ジャダーやフリッカ検知の程度は視認輝度によって変化するため、視認輝度に合わせて高周波成分を領域毎に制御することにより、より精度の高いフリッカ抑制制御をすることが出来る。

図１５は、順応輝度算出部の処理フローチャートである。なお、ここでは、１つ前のフレーム画像における補正輝度（前補正輝度）を用いた処理を示しているが、代わりに先行する１以上のフレーム画像におけるフレーム画像輝度を用いた処理としてもよい。

ステップｆ２１１では、入力画像ｆ_ｉｎ［ｎ］の輝度ｌ_ｉｎ［ｎ］と、１つ前のフレームの補正輝度ｌ_ａ［ｎ−１］を入力する。ステップｆ２１２では、補正輝度をｌ_ａ［ｎ］＝ａ×ｌ_ａ［ｎ−１］＋（１−ａ）×ｌ_ｉｎ［ｎ］として算出する。ここで、ａは０≦ａ≦１を満たす数である。ステップｆ２１３では、補正輝度ｌ_ａ［ｎ］を出力して、処理が終了する。

図１４は、第２実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０１〜ｆ１０４、ｆ１０６〜ｆ１１１は第１実施形態と同様であるため説明を省略する。

ステップｆ１０１〜ｆ１０６の処理が行われた後、ステップｆ２０１では、入力画像ｆ_ｉｎの輝度ｌ_ｉｎ［ｎ］を算出する。ステップｆ２０２では、ｌ_ｉｎ［ｎ］から順応輝度ｌ_ａを算出する。ステップｆ２０３では、高周波量制御部１０６は、動き度ｍと順応輝度ｌ_ａとｈとの積から加算高周波成分ｈ_ｍを算出する。引き続いて、ステップｆ１０６〜ｆ１１１を実行し処理を終了する。

以上説明したとおり、第２実施形態によれば、ユーザの視認輝度を考慮した順応輝度を用いることにより、より好適な映像出力が得られる。

（第３実施形態）
第３実施形態では、加算する高周波成分の時間方向の輝度変化の制御、および、加算した高周波成分の輝度値が表示レンジを超えた場合に加算量の制限について説明する。

図１６は、第３実施形態に係るフレームレート変換処理部１００のブロック図である。図２に対し、時間変化抑制部３０１と飽和検出加算部３０２が追加されている。

時間変化抑制部３０１は、隣接するフレーム画像に対する加算高周波量と現フレーム画像（注目フレーム画像）とにおける加算高周波量の輝度の変化量を所定の範囲内に抑える。それにより、高周波成分が時間的に急激に変化した際のフリッカの発生を抑制することが出来る。

また、飽和検出加算部３０２は、高周波成分が加算されたサブフレームの輝度値が、ディスプレイシステムの表示レンジ以上もしくは以下で飽和した場合に、他のサブフレームに飽和分の値を分散して加算する。これにより、高周波成分の輝度クリッピングを抑制することが出来、解像度の低下を抑制することが可能となる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 動画像を構成する各フレーム画像からＭ個のサブフレーム画像を生成することによりフレームレート変換を行なう画像処理装置であって、
   注目フレーム画像と該注目フレーム画像に対し先行するまたは後続するフレーム画像との差分に基づいて、前記注目フレーム画像の各領域について画像の変化の程度を示す変化指標を導出する導出手段と、
   前記注目フレーム画像にローパスフィルタ処理を施し低周波フレーム画像を生成する低周波フレーム画像生成手段と、
   前記注目フレーム画像と前記低周波フレーム画像との差分により高周波フレーム画像を生成する高周波フレーム画像生成手段と、
   前記導出手段により導出された前記注目フレーム画像の各領域の変化指標に応じた重みで、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算することにより前記Ｍ個のサブフレーム画像を生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記生成手段は、前記高周波フレーム画像の画像成分を１個の低周波フレーム画像に加算し、残りのＭ−１個の低周波フレーム画像には加算しないことを特徴とする請求項１に記載の画像処理装置。
3. 前記変化指標は動きベクトルであり、前記生成手段は、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算する際に、動きベクトルが大きいほど少数の低周波フレーム画像に集中させて加算することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記変化指標は順応輝度であり、前記生成手段は、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算する際に、順応輝度が大きいほど少数の低周波フレーム画像に集中させて加算することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記生成手段は、所定の輝度値を超える画素を有するサブフレーム画像が生成されないように、前記高周波フレーム画像に含まれる画像成分のＭ個の前記低周波フレーム画像への加算量を制御する制御手段を有することを特徴とする請求項１乃至４の何れか一項に記載の画像処理装置。
6. 前記制御手段は、さらに、前記動画像に含まれる各フレーム画像に対して生成される複数のサブフレーム画像における輝度変化が所定の範囲内に収まるように、前記高周波フレーム画像に含まれる画像成分のＭ個の前記低周波フレーム画像への加算量を制御することを特徴とする請求項５に記載の画像処理装置。
7. 動画像を構成する各フレーム画像からＭ個のサブフレーム画像を生成することによりフレームレート変換を行なう画像処理装置の制御方法であって、
   注目フレーム画像と該注目フレーム画像に対し先行するまたは後続するフレーム画像との差分に基づいて、前記注目フレーム画像の各領域について画像の変化の程度を示す変化指標を導出する導出工程と、
   前記注目フレーム画像にローパスフィルタ処理を施し低周波フレーム画像を生成する低周波フレーム画像生成工程と、
   前記注目フレーム画像と前記低周波フレーム画像との差分により高周波フレーム画像を生成する高周波フレーム画像生成工程と、
   前記導出手段により導出された前記注目フレーム画像の各領域の変化指標に応じた重みで、前記高周波フレーム画像に含まれる画像成分をＭ個の前記低周波フレーム画像に分配し加算することにより前記Ｍ個のサブフレーム画像を生成する生成工程と、
   を備えることを特徴とする画像処理装置の制御方法。
8. コンピュータを請求項１乃至６の何れか一項に記載の画像処理装置の各手段として動作させるためのプログラム。

Images