JP2010283695A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】 １フレームの画像を複数のサブフレーム画像に分割し、それぞれのサブフレーム画像をこのフレームの画像として表示する場合に、表示画質の劣化を軽減するための技術を提供すること。
【解決手段】 最小値フィルタ長設定部１０５は、着目フレーム画像の画像特徴量と動き量とから着目フレーム画像に適用する最小値フィルタのタップ長を設定する。最小値フィルタ部１０１は、設定されたタップ長の最小値フィルタを用いて着目フレーム画像に最小値フィルタ処理を行う。ＬＰＦ処理部１０２は、最小値フィルタ処理済みの画像にローパスフィルタ処理を行うことで低周波数成分画像を生成する。差分検出部１０３は、着目フレームの画像から低周波数成分画像を差し引くことで高周波数成分画像を生成する。切替部１８０は、低周波数成分画像と高周波数成分画像とを交互に出力する。
【選択図】 図１

Description

本発明は、より高いフレームレートに変換するための技術に関するものである。

テレビジョン受像機に代表される動画像の表示装置には、ＣＲＴが長年用いられてきたが、近年では液晶デバイスを用いたパネルが主流となりつつある。図１０を用いて液晶デバイスの特徴を説明する。

図１０は、液晶デバイスにおける画素の表示について説明するための図で、図１０において横軸は時刻、縦軸は画素の明るさを示している。ここでのフレームレートは、６０ｚである。図１０に示す如く、液晶デバイスの場合は、１／６０秒の間に発光を持続し、そのため、「ホールド型」のデバイスと呼ばれている。

ホールド型のデバイスは、動きに対し、ボケを生じやすいという欠点を有している。係る点について図１１を用いて説明する。図１１は、ホールド型デバイスにおいて生じる、動きに起因するぼけを説明する為の図である。図１１において横軸は画面上の位置、縦軸は時刻を示している。図１１では、矩形の波形が画面の左から右に動く例を示している。このような動きを眼で追う場合、眼が追従する動きに対して、１／６０秒の間、画素が同じ位置に留まった状態が、動きに対する相対的な遅れとなる。ホールド時間が長いと、この遅れの幅が広くなり、画面上では、動きのボケとして知覚されることとなる。図１１において１１０１は、追従視している時の見え方を示したものであり、エッジ部分で、ある幅をもったボケ（斜線部分）が検知されることを示している。

動きボケ対策の一例として、駆動周波数を上げ、ホールド時間を短くする方法がある。図１２は、フレームレートが６０Ｈｚである動画像を、１２０Ｈｚで表示する例を説明するための図である。図１２において横軸は時刻、縦軸は画素の明るさを示している。なお、倍のフレームレートで表示を行うために、入力画像の高域成分を含む画像と低域成分のみを含む画像とを、時間方向に分割して表示する手法も知られている。

図１３は、入力画像の高域成分を含む画像と低域成分のみを含む画像とを、時間方向に分割して表示する手法における、画像の動特性を示す図である。図１３において横軸は画面上における位置、縦軸は時刻を示している。図１１と比較してわかるように、動きボケ（斜線部分）は大幅に低減されている。また、ＣＲＴと同様の発光特性を有するデバイスとして、フィールドエミッションタイプの表示装置の開発も進んでいる。

図１４は、フィールドエミッションタイプの表示装置の発光特性を模した説明図である。図１４において横軸は時刻、縦軸は画素の明るさを示している。このタイプの表示装置は、１／６０秒のうちの一瞬だけ発光するので、「インパルス型」と呼ばれている。

インパルス型のデバイスは、１／６０秒の周期で発光の有無を繰り返すので、この点滅をフリッカとして知覚しやすいという欠点を有している。フリッカは面積が大きくなるほど目立ちやすいという特性があるため、近年の表示装置の大画面化の流れの中では、特に問題となりやすい。

図１５は、インパルス型デバイスの動特性を示す図である。図１５において横軸は画面上の位置を示しており、縦軸は時刻を示している。ホールド型デバイスの特性と違い、インパルス型デバイスでは、残像となるような動きボケが発生しないことが最大の特徴となっている。

フリッカ対策の一例としても、駆動周波数を上げることが考えられる。図１６は、フレームレートが６０Ｈｚである動画像を、倍の１２０Ｈｚで表示する例を説明するための図である。図１６において横軸は時刻、縦軸は画素の明るさを示している。インパルス型デバイスの場合は、１回の明るさの半分のレベルを２回表示することで、同等の明るさを得ることができる。

図１７は、高域成分を含む画像と低域成分のみを含む画像とを時間方向に分割して表示する場合の動特性を説明するための図である。図１７において横軸は画面上の位置、縦軸は時刻を示している。単純に２回ずつ同じフレームを表示すると２重写りとなってしまうが、高域成分のみを１回表示させることにより、低域成分に起因するボケのみで、視覚的な劣化は抑制される。

このように、ホールド型の表示装置における動きボケ対策として、もしくはインパルス型の表示装置におけるフリッカ対策として、周波数成分によりフレーム画像を２つのサブフレームに分配する方法は、効果的である。

ホールド型の倍速駆動を実現する方法の一例として、特許文献１に開示されている技術がある。特許文献１に開示されている回路構成の一部を図１８に示す。入力フレーム画像に対し、ＬＰＦ（ローパスフィルタ）処理部１８０２は、低域成分のみを含むサブフレーム画像を生成する。

差分検出部１８０３は、入力フレーム画像と、ＬＰＦ処理部１８０２が生成した低域成分のみを含むサブフレーム画像との差分を、高域成分として抽出する。そして後段の加算器１８９９によって、差分検出部１８０３が求めた高域成分の画像と、入力フレーム画像とを加算することで、高域成分を強調したサブフレーム画像を得ることができる。

切替回路１８０５は、低域成分のみを含むサブフレーム画像と、高域成分を強調したサブフレーム画像とを、１２０Ｈｚの周期で切り替えて後段に出力する。高域成分を除いたサブフレーム画像と高域成分を強調したサブフレーム画像とを交互に表示することで、６０Ｈｚの時間周期で見た場合は、元のフレーム画像が再現されていることになる。

しかしながら、２つのサブフレーム画像を交互に表示することであたかもこれら２つの画像が合成されているかのように見えるフレーム画像が、元のフレーム画像と同じにならない場合がある。係る点について図１９を用いて説明する。

図１９（ａ）は、入力フレーム画像の波形例を示している。図１９（ｂ）は、この入力フレーム画像を、ＬＰＦ処理部１８０２によって処理した結果の波形を示している。図１９（ｃ）は、図１９（ａ）に示した波形の入力フレーム画像と、図１９（ｂ）に示した波形のフレーム画像とを差分検出部１８０３に入力した場合に、この差分検出部１８０３から出力されるフレーム画像の波形を示している。このフレーム画像は高域成分の画像であるため、その波形は正負の値を取る。図１９（ｄ）は、図１９（ｃ）に示した波形のフレーム画像と、図１９（ａ）に示した波形のフレーム画像とを加算器１８９９に入力した場合に、この加算器１８９９から出力されるフレーム画像の波形を示している。

ここで理論上では、１２０Ｈｚの周期で図１９（ｂ）に示した波形と図１９（ｃ）に示した波形とを交互に表示することで、見かけ上の波形は、図１９（ａ）に示した波形と同じになる。しかしながら、図１９（ａ）に示した波形における低輝度レベル部分がゼロ、もしくはそれに近い値である場合、図１９（ｄ）に示した波形は、負の値を持つことになる。負の値の画像を表示することはできないので、実際には、図１９（ｅ）に示すように、負の値はゼロとして表示されることになる。すると、見かけの合成波形は、図１９（ｂ）に示した波形のフレーム画像と図１９（ｅ）に示した波形のフレーム画像とを交互に表示することになるので、図１９（ｆ）に示す波形となる。このような波形のフレーム画像が、例えば、黒の背景に白の文字が配置されているような画像である場合、この文字の輪郭がにじんだ画像として知覚される。このように、入力フレーム画像の波形によっては、分配処理後の画像が元の画像と同じに見えず、それが劣化として知覚される、という問題がある。

このサブフレーム画像の分割時に負値が発生する問題を解決するため、特許文献２では、図８に示すように、ＬＰＦ処理部１８０２の前に最小値フィルタ部１８０１を設け、ＬＰＦ処理部１８０２による処理対象領域内に対して最小値フィルタ処理を施していた。この最小値フィルタ処理とは、例えば、９画素×９画素のブロック内で最小の輝度値を検索し、検索した輝度値をこのブロックの中心画素に割り当てる、という周知の技術である。

図８に示す構成を有する装置によって各段階で得られるフレーム画像の波形を図９に示す。図９（ａ）は入力フレーム画像の波形を示している。最小値フィルタ部１８０１がこの入力フレーム画像に対して最小値フィルタ処理を施すことで、図９（ｂ）に示す波形のフレーム画像が生成される。ＬＰＦ処理部１８０２が図９（ｂ）に示した波形のフレーム画像に対してローパスフィルタ処理を施すことで、図９（ｃ）に示した波形のフレーム画像を生成する。この波形のフレーム画像は、最小値フィルタによりエッジによる勾配領域が高信号値領域側に半区間長分シフトされるため、勾配の開始点が図９（ａ）に示した波形のフレーム画像のエッジと一致するという特徴を持つ。

差分検出部１８０３は、図９（ａ）に示した波形のフレーム画像から図９（ｃ）に示した波形のフレーム画像を減じることで、図９（ｄ）に示した波形のフレーム画像を生成する。最小値フィルタにより、どの信号領域においても、図９（ｃ）に示した波形のフレーム画像は図９（ａ）に示した波形のフレーム画像よりも低い値を取るため、図９（ｄ）に示した波形のフレーム画像は常に正値をとる。

加算器１８９９は、図９（ａ）に示した波形のフレーム画像に図９（ｄ）に示した波形のフレーム画像を加えることで、図９（ｅ）に示した波形のフレーム画像を生成する。そして、表示においては、図９（ｅ）に示した波形のフレーム画像と図９（ｃ）に示した波形のフレーム画像とをサブフレーム画像として時間的に交互に表示させる。これにより、図９（ｆ）に示した波形のフレーム画像（見かけのフレーム画像）を、図９（ａ）に示した波形のフレーム画像（入力フレーム画像）と一致させることができる。

このように、最小値フィルタには、サブフレーム分割時における負値発生抑止機能があり、これにより画質を向上させることができる。最小値フィルタの影響範囲は、ローパスフィルタの影響範囲と同じにするか、もしくはより広く設定することにより、高周波数成分の画像の生成時における負の値の発生を防ぐことができる。

特開２００６−１８４８９６号公報 特願２００８−１１９０５９号

しかしながら、最小値フィルタを用いても、２つのサブフレーム画像を合成した見かけのフレーム画像が、見かけ上、元のフレーム画像と同じにならず、且つその歪みが目立つ場合がある。この点について、図２を用いて説明する。

図２（ａ）では、平坦な画像領域内にレベルの低い小領域（暗領域）が右へ追従視できる速度で移動している。図２（ａ）の左側に示すように、高周波成分の画像ＳＨに対し、低周波成分の画像ＳＬは追従視の影響で位置がすれることになり、２つのサブフレーム画像を合成した波形は歪むことになる。結果として、図２（ａ）の左側に示すように、見かけの信号としてはレベルの上昇と下降がおこったように知覚される。画像の条件により、特にレベルの高いところが目立ち、これが画像としては白く滲んだように見える要因となる。図２（ｂ）は正常時におけるそれぞれのサブフレーム画像と見かけのフレーム画像を示してる。

図３にその具体的な症状の例を示す。平坦な領域内で向かって右へ低速で移動する黒領域がある場合、その左側に尾引するように白く滲んだボケが観察される。この症状では、大面積をしめる平坦部のレベルによっては黒く滲んだボケが観察される。この時の波形を図２（ｃ）の左側に示し、その症状の例を図３（ｂ）に示す。この場合、ボケは進行方向の前に現れ、レベルが低下することが異なる。このように、入力画像の波形によっては、分配処理後の画像が元の画像と同じに見えず、それが劣化として知覚される問題がある。

本実施形態は以上の問題に鑑みてなされたものであり、１フレームの画像を複数のサブフレーム画像に分割し、それぞれのサブフレーム画像をこのフレームの画像として表示する場合に、表示画質の劣化を軽減するための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、連続する各フレームの画像を取得する手段と、着目フレームの画像から画像特徴量を取得する取得手段と、前記着目フレームの画像における動き量を求める計算手段と、前記画像特徴量と、前記動き量と、から、前記着目フレームの画像に対して適用する最小値フィルタのタップ長を設定する設定手段と、前記設定手段により設定されたタップ長の最小値フィルタを用いて前記着目フレームの画像に対して最小値フィルタ処理を行うフィルタ手段と、前記フィルタ手段によるフィルタ処理後の画像に対してローパスフィルタ処理を行うことで、低周波数成分で構成されている低周波数成分画像を生成する手段と、前記着目フレームの画像から前記低周波数成分画像を差し引くことで、高周波数成分で構成されている高周波数成分画像を生成する手段と、前記低周波数成分画像と前記高周波数成分画像とを交互に出力する手段とを備えることを特徴とする。

本発明の構成によれば、１フレームの画像を複数のサブフレーム画像に分割し、それぞれのサブフレーム画像をこのフレームの画像として表示する場合に、表示画質の劣化を軽減することができる。

第１の実施形態に係る画像処理装置の機能構成例を示すブロック図。 移動する小領域を含む２つのサブフレームの表示について説明するための図。 具体的な症状の例を示す図。 動き量を説明するための図。 着目矩形画像について、画像特徴量算出部１０４、動き度検出部１０６、最小値フィルタ長設定部１０５のそれぞれが行う処理のフローチャート。 画像特徴量とタップ長との関係を示す図。 第２の実施形態に係る画像処理装置の機能構成例を示すブロック図。 特許文献２に係る構成を示す図。 図８に示す構成を有する装置によって各段階で得られるフレーム画像の波形を示す図。 液晶デバイスにおける画素の表示について説明するための図。 ホールド型デバイスにおいて生じる、動きに起因するぼけを説明する為の図。 フレームレートが６０Ｈｚである動画像を１２０Ｈｚで表示する例を説明する図。 入力画像の高域成分を含む画像と低域成分のみを含む画像とを、時間方向に分割して表示する手法における、画像の動特性を示す図。 フィールドエミッションタイプの表示装置の発光特性を模した説明図。 インパルス型デバイスの動特性を示す図。 フレームレートが６０Ｈｚである動画像を、倍の１２０Ｈｚで表示する例を説明するための図。 高域成分を含む画像と低域成分のみを含む画像とを時間方向に分割して表示する場合の動特性を説明するための図。 特許文献１に開示されている回路構成の一部を示す図。 ２つのサブフレーム画像を交互に表示することであたかもこれら２つの画像が合成されているかのように見えるフレーム画像が、元のフレーム画像と同じにならない場合について説明するための図。 Ｓｏｂｅｌフィルタの構成例を示す図。 各実施形態で説明した各画像処理装置に適用可能なコンピュータのハードウェア構成例を示すブロック図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
図１は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。本実施形態では、図１に示した各部はハードウェアでもって構成されているものとして説明する。

本実施形態に係る画像処理装置には、連続する各フレームの画像（フレーム画像）が順次入力される。画像処理装置は、入力されたフレームの画像を複数のサブフレーム画像に分割し、このフレームの画像の代わりに、それぞれのサブフレーム画像を出力する。これにより、倍速表示を可能にする。

以下の説明では、着目フレームの画像（着目フレーム画像）が画像処理装置に入力された場合における、画像処理装置の動作について説明する。即ち、以下に説明する各部の動作は、各フレーム画像について行われることになる。

最小値フィルタ部１０１は、入力された着目フレーム画像に対して最小値フィルタ処理を施すことで、処理済み画像を生成し、生成した処理済み画像を後段のＬＰＦ（ローパスフィルタ）処理部１０２に送出する。

ここで最小値フィルタ処理とは周知の通り、画像を構成する各画素について次のような処理を行うことである。即ち、画素Ｐに対して最小値フィルタ処理を施す場合、この画素Ｐを囲む８画素とこの画素Ｐの合計９画素についてそれぞれの画素値を参照し、最小の画素値を特定する。そして画素Ｐの画素値を、この特定した最小の画素値に更新する。

従って、このような処理を画像を構成する各画素について行うことで、この画像に対して最小値フィルタ処理を施し、処理済み画像を生成（取得）することができる。最小値フィルタ処理では、高輝度の画素値と低輝度の画素値とが隣接している境界部分では、低輝度の画素値が選ばれることになるので、結果としてエッジの境界部分は、高輝度領域の内側に狭められることになる。

一方、着目フレーム画像は、画像特徴量算出部１０４、動き度検出部１０６、フレームメモリ１０７にも入力される。画像特徴量算出部１０４は、着目フレーム画像を複数の矩形画像（例えば１６画素×１６画素）に分割し、それぞれの矩形画像から画像特徴量を抽出する。そして、抽出した矩形画像毎の画像特徴量は、後段の最小値フィルタ長設定部１０５に送出する。

フレームメモリ１０７は少なくとも１フレーム分の画像を格納するためのエリアを有する。従って、フレームメモリ１０７には少なくとも、着目フレームの１つ前のフレームの画像（前フレーム画像）が格納されていることになる。

動き度検出部１０６は、フレームメモリ１０７から前フレーム画像を読み出し、着目フレーム画像と、この読み出した前フレーム画像と、の差分画像を生成する。そしてこの差分画像を用いて、着目フレーム画像における動き量を求める（計算する）。なお、動き度検出部１０６は、着目フレーム画像を複数の矩形画像に分割し、それぞれの矩形画像毎に動き量を求める。そして動き度検出部１０６は、それぞれの矩形画像について求めた動き量を、後段の最小値フィルタ長設定部１０５に送出する。

最小値フィルタ長設定部１０５は、画像特徴量算出部１０４から得られた矩形画像毎の画像特徴量と、動き度検出部１０６から得られた矩形画像毎の動き量と、を用いて、最小値フィルタ部１０１で用いる最小値フィルタのタップ長を矩形画像毎に設定する。従って、最小値フィルタ部１０１では、矩形画像毎に異なるタップ長の最小値フィルタを用いて最小値フィルタ処理を行うことになる。

ＬＰＦ処理部１０２は、最小値フィルタ部１０１により最小値フィルタ処理が施された画像に対して２次元のローパスフィルタ処理を行うことで、低周波数成分のフレーム画像（低周波数成分画像）を生成する。なお、ローパスフィルタは、特に関数を規定するものではなく、例えばガウス関数でもよいし、移動平均あるいは重み付け移動平均フィルタのようなものでもよい。

分配比率処理部１９０は、それぞれのサブフレーム画像（本実施形態では２つのサブフレーム画像）を発光させる割合を決定する。フリッカを知覚しにくくするためには、２つのサブフレーム画像の明るさの差が少ない方が望ましい。従って本実施形態では５０％ずつに分配する。従って、分配比率処理部１９０は、ＬＰＦ処理部１０２による処理済みの画像の輝度値に対して０．５を乗じることで、この画像の輝度値を半分にする。

分配比率処理部１９０による処理済みの画像は、差分検出部１０３に送出されると共に、切替部１８０にも送出される。差分検出部１０３は、着目フレーム画像から、分配比率処理部１９０から送出された低周波数成分画像を減じることで、高周波数成分のフレーム画像（高周波数成分画像）を生成する。そして、差分検出部１０３は、生成した高周波数成分画像を、後段の切替部１８０に送出する。

切替部１８０は、分配比率処理部１９０から送出された低周波数成分画像と、差分検出部１０３から送出された高周波数成分画像とを交互に外部に送出する。送出先については特に限定するものではないが、例えば、ＣＲＴや液晶画面などがある。

次に、画像特徴量算出部１０４、動き度検出部１０６、最小値フィルタ長設定部１０５が行う処理についてより詳細に説明する。上述の通り、画像特徴量算出部１０４、動き度検出部１０６、最小値フィルタ長設定部１０５は、矩形画像毎に処理を行うので、以下では、着目フレーム画像中の着目矩形画像を処理する場合について説明する。即ち、画像特徴量算出部１０４、動き度検出部１０６、最小値フィルタ長設定部１０５は、以下に説明する各処理を、矩形画像毎に行うことになる。

図５は、着目矩形画像について、画像特徴量算出部１０４、動き度検出部１０６、最小値フィルタ長設定部１０５のそれぞれが行う処理のフローチャートである。先ず、ステップＳ２０１では、動き度検出部１０６は、着目矩形画像について動き量を求める。動き量は図４に示すように、２つのフレーム画像Ｆ０，Ｆ１間の差分である。課題の発生する状態として低レベル小領域が移動することを想定すると、移動方向はその差分値で判別でき、尾引によりボケの発生する領域の差分値は負となる。

従って動き度検出部１０６は、着目矩形画像における動き量を次のようにして求める。先ず、着目フレーム画像における着目矩形画像と、前フレーム画像において着目矩形画像に位置的に対応する領域内の画像との差分画像を求める。この差分画像は、本装置の不図示のメモリに格納し、後述する処理で用いる。また、この差分画像を構成する各画素の値には、正の値だけでなく、負の値も含まれうる。そして次に、この差分画像を構成する各画素の値の絶対値の総和値を、着目矩形画像における動き量ＤＡとして求める。

そして次に、動き度検出部１０６は、この動き量ＤＡと、予め設定された閾値ＤＸとの大小比較を行う。この大小比較の結果、ＤＡ＞ＤＸである場合には、高速な動きをしていると判定し、動き度検出部１０６は、この判定結果を最小値フィルタ長設定部１０５に送出する。そして処理はステップＳ２０９に進む。

ステップＳ２０９では、最小値フィルタ長設定部１０５は、最小値フィルタ部１０１に対して規定のタップ長を設定する。これにより最小値フィルタ部１０１は、着目矩形画像に対して規定のタップ長の最小値フィルタを用いた最小値フィルタ処理を行うことになる。

一方、ステップＳ２０１における上記大小比較の結果、ＤＡ≦ＤＸである場合には、低速の動きをしていると判定し、処理はステップＳ２０２に進む。ステップＳ２０２では、画像特徴量算出部１０４は、着目矩形画像内のエッジ強度を求める。エッジ強度は、水平方向、垂直方向に対するＳｏｂｅｌフィルタ処理後の値を加算することで求める。図２０（ａ）、（ｂ）は、Ｓｏｂｅｌフィルタの構成例を示す図である。なお、着目矩形画像を構成する各画素のエッジ強度値については別途、本装置の不図示のメモリにエッジマップとして格納し、後述する処理で用いる。

そして画像特徴量算出部１０４は、求めたエッジ強度ＳＡと、予め定められた閾値ＳＸとの大小比較を行う。この大小比較の結果、ＳＡ＜ＳＸの場合には、処理はステップＳ２０９に進む。

一方、ＳＡ≧ＳＸ（閾値以上）の場合には、処理はステップＳ２０３に進む。ステップＳ２０３では、画像特徴量算出部１０４は、着目矩形画像を構成する各画素の画素値を用いて画素値の分散値を求める。そして求めた分散値ＢＡと、予め定められた閾値ＢＸとの大小比較を行う。この大小比較の結果、ＢＡ＞ＢＸである場合には、処理はステップＳ２０９に進む。

一方、ＢＡ≦ＢＸである場合には、着目矩形画像は着目フレーム画像における平坦部に含まれているものと判断し、処理はステップＳ２０４に進む。ステップＳ２０４では、画像特徴量算出部１０４は、着目矩形画像内のコントラストを求める。係る処理では先ず、ステップＳ２０２でメモリに格納したエッジマップを参照し、着目矩形画像を構成する各画素のうち、エッジ強度値が閾値以下の画素を特定する。そして、特定した画素の画素値を参照し、参照した画素値のうち最大の画素値と最小の画素値との差ＣＡをコントラストとして求める。

次に、画像特徴量算出部１０４は、この求めた差ＣＡと、予め定められた閾値ＣＸとの大小比較を行う。この大小比較の結果、ＣＡ＜ＣＸの場合には、処理はステップＳ２０９に進む。

一方、ＣＡ≧ＣＸの場合には、処理はステップＳ２０５に進む。ステップＳ２０５では、画像特徴量算出部１０４は、ステップＳ２０１でメモリに格納した差分画像と、ステップＳ２０２でメモリに格納したエッジマップと、を参照する。そして、差分画像を構成する画素のうち値が負の画素であって、エッジマップ上の対応する画素位置におけるエッジ強度値が閾値以下となる画素を特定する。そして特定したそれぞれの画素の画素値の平均値を求める。そして求めた平均値ＡＡと、予め定められた閾値ＡＸとの大小比較を行う。この大小比較の結果、ＡＡ＜ＡＸである場合には、処理はステップＳ２０７に進む。

ステップＳ２０７では、最小値フィルタ長設定部１０５は、現在設定されている最小値フィルタのタップ長を、より長いタップ長に再設定する。これにより最小値フィルタ部１０１は、着目矩形画像に対して、最小値フィルタ長設定部１０５によって再設定されたタップ長の最小値フィルタを用いた最小値フィルタ処理を行うことになる。なお、タップ長の増分については特に限定するものではないが、例えば、既定のタップ長に対し、差分画像において負の値を有する画素で構成されている領域の水平、垂直の幅を測定し、その値の１／２とする。

一方、ステップＳ２０５における上記大小比較の結果、ＡＡ≧ＡＸである場合には、処理はステップＳ２０６に進む。ステップＳ２０６では、画像特徴量算出部１０４は、ステップＳ２０１でメモリに格納した差分画像と、ステップＳ２０２でメモリに格納したエッジマップと、を参照する。そして、差分画像を構成する画素のうち値が正の画素であって、エッジマップ上の対応する画素位置におけるエッジ強度値が閾値以下となる画素を特定する。そして特定したそれぞれの画素の画素値の平均値を求める。そして求めた平均値ＡＡＡと、予め定められた閾値ＡＡＸとの大小比較を行う。この大小比較の結果、ＡＡＡ≦ＡＡＸ（閾値以下）である場合には、処理はステップＳ２０９に進む。

一方、係る大小比較において、ＡＡＡ＞ＡＡＸである場合には、処理はステップＳ２０８に進む。ステップＳ２０８では、最小値フィルタ長設定部１０５は、現在設定されている最小値フィルタのタップ長を、より短いタップ長に再設定する。これにより最小値フィルタ部１０１は、着目矩形画像に対して、最小値フィルタ長設定部１０５によって再設定されたタップ長の最小値フィルタを用いた最小値フィルタ処理を行うことになる。なお、タップ長の減分については特に限定するものではないが、例えば、既定のタップ長に対し、差分画像において正の値を有する画素で構成されている領域の水平、垂直の幅を測定し、その値の１／２とする。

以上の説明により、本実施形態によれば、それぞれのサブフレーム画像の合成表示結果は、図２（ａ）の右側に示す如く白く滲んだボケのレベルが低下し、また図２（ｃ）の右側に示す如く黒く沈んだボケのレベルが低下し、目立たなくなる。図６は、画像特徴量とタップ長との関係を示す図である。

＜変形例１＞
隣接する矩形画像間で、用いた最小値フィルタのタップ長に大きな差があると、隣接する矩形画像間で不連続なボケが生じることになる。そのため、タップ長の変化は規定値以内（規定の差ＰＸ以内）に留めた方がよい。

例えば、フレーム画像を構成する各矩形画像列を上から順に、且つ１つの矩形画像列を構成する各矩形画像を左から順に選択し、選択した矩形画像について最小値フィルタ処理を施す場合を考える。この場合、着目矩形画像に用いる最小値フィルタのタップ長の変化分は、着目矩形画像の直上の矩形画像に用いた最小値フィルタのタップ長、着目矩形画像に隣接して左側の矩形画像に用いた最小値フィルタのタップ長、との差がＰＸとなるようにする。

＜変形例２＞
最小値フィルタのタップ長は、エッジ強度値が閾値以下の画素群で構成されている領域、若しくは画素値の分散値が閾値以下の領域を検出し、その範囲サイズとしても良い。

［第２の実施形態］
図７は、本実施形態に係る画像処理装置の機能構成例を示すブロック図である。以下では、図７に示した各部は、ハードウェアで構成されているものとして説明する。図７において、最小値フィルタ部７０１、ＬＰＦ処理部７０２、分配比率処理部７０３、差分検出部７０８、切替部７０９はそれぞれ、最小値フィルタ部１０１、ＬＰＦ処理部１０２、分配比率処理部１９０、差分検出部１０３、切替部１８０と同じである。

図７に示した構成は、図１に示した構成から画像特徴量算出部１０４、最小値フィルタ長設定部１０５、動き度検出部１０６、フレームメモリ１０７を取り除くと共に、最小値フィルタ部７０１とＬＰＦ処理部７０２との間にスイッチ部７１１を設けている。更に、最小値フィルタ部７０１の直前にフレームメモリ７１０を設けると共に、差分検出部７０８の直後に飽和検出部７１２を設けている。

係る構成において、フレームメモリ７１０には、各フレーム画像が入力される。各フレーム画像は順次最小値フィルタ部７０１、スイッチ部７１１、差分検出部７０８に送出される。先ずスイッチ部７１１は、端子７ａに接続する。従って、フレームメモリ７１０からスイッチ部７１１を介してフレーム画像がＬＰＦ処理部７０２に入力され、ＬＰＦ処理部７０２、分配比率処理部７０３により低周波数成分画像が得られる。この低周波数成分画像は、差分検出部７０８、切替部７０９に送出される。一方、差分検出部７０８からは高周波数成分画像が飽和検出部７１２に入力される。

ここで、飽和検出部７１２からは図１９（ｄ）に示すような負信号が検出される。飽和検出部７１２は、この検出がない場合には何も出力しないが、検出した場合には、負値の領域の幅を画素単位で確定し、それをタップ長補正値とし最小値フィルタ部７０１に設定する。そして次にスイッチ部７１１は、端子７ｂに接続する。以降の動作については、第１の実施形態で説明したとおりである。

［第３の実施形態］
上記各実施形態では、図１、図７に示した各部はハードウェアで構成されているものとして説明した。しかし、図１においてフレームメモリ１０７を除く各部、図７においてフレームメモリ７１０を除く各部は、ソフトウェアで構成しても良い。この場合、このソフトウェアを格納するメモリと、このメモリに格納されているソフトウェアを実行するＣＰＵとを有するコンピュータは、図１，７に示した構成を有する画像処理装置として機能することになる。図２１は、上記各実施形態で説明した各画像処理装置に適用可能なコンピュータのハードウェア構成例を示すブロック図である。

ＣＰＵ２００２は、ＲＯＭ２００３やＲＡＭ２００４に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、本コンピュータを適用する上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。

ＲＯＭ２００３には、本コンピュータの設定データやブートプログラムなどが格納されている。ＲＡＭ２００４は、ネットワークＩ／Ｆ（インターフェース）２００５を介して外部から受信したデータ、外部記憶装置２００８からロードされたコンピュータプログラムやデータ等を一時的に格納するためのエリアを有する。更に、ＲＡＭ２００４は、ＣＰＵ２００２が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ２００４は、各種のエリアを適宜提供することができる。例えば、ＲＡＭ２００４は、図１に示したフレームメモリ１０７や図７に示したフレームメモリ７１０、第１の実施形態で説明した不図示のメモリとして機能する。

ネットワークＩ／Ｆ２００５は、ＬＡＮやインターネット等のネットワークに本コンピュータを接続する為のもので、ネットワーク上に接続されている装置とのデータ通信を可能にする。

操作部２００６は、キーボードやマウスなどにより構成されており、本コンピュータの操作者が操作することで、各種の指示をＣＰＵ２００２に対して入力することができる。出力装置２００７は、ＣＲＴや液晶画面などの表示装置、プリンタなどの印刷装置であり、本コンピュータが処理した結果としての画像を印刷したり表示したりすることができる。

外部記憶装置２００８は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置２００８には、ＯＳ（オペレーティングシステム）が保存されている。この他にも外部記憶装置２００８には、図１においてフレームメモリ１０７を除く各部、図７においてフレームメモリ７１０を除く各部、の機能をＣＰＵ２００２に実行させるためのコンピュータプログラムやデータ、が保存されている。また、外部記憶装置２００８には、上記各実施形態で既知のデータとして説明したものについても保存されている。

外部記憶装置２００８に保存されているコンピュータプログラムやデータは、ＣＰＵ２００２による制御に従って適宜ＲＡＭ２００４にロードされ、ＣＰＵ２００２による処理対象となる。２００１は、上述の各部を繋ぐバスである。

［その他の実施形態］
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録したコンピュータ読み取り可能な記録媒体（または記憶媒体）は、本発明を構成することになる。また、記録媒体から読み出されたプログラムコードによって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

Claims (13)

1. 連続する各フレームの画像を取得する手段と、
   着目フレームの画像から画像特徴量を取得する取得手段と、
   前記着目フレームの画像における動き量を求める計算手段と、
   前記画像特徴量と、前記動き量と、から、前記着目フレームの画像に対して適用する最小値フィルタのタップ長を設定する設定手段と、
   前記設定手段により設定されたタップ長の最小値フィルタを用いて前記着目フレームの画像に対して最小値フィルタ処理を行うフィルタ手段と、
   前記フィルタ手段によるフィルタ処理後の画像に対してローパスフィルタ処理を行うことで、低周波数成分で構成されている低周波数成分画像を生成する手段と、
   前記着目フレームの画像から前記低周波数成分画像を差し引くことで、高周波数成分で構成されている高周波数成分画像を生成する手段と、
   前記低周波数成分画像と前記高周波数成分画像とを交互に出力する手段と
   を備えることを特徴とする画像処理装置。
2. 前記取得手段は、前記画像特徴量として、エッジ強度、画素値の分散値、コントラスト、を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記設定手段は、前記動き量が予め定められた閾値よりも大きい場合には、前記タップ長として規定のタップ長を設定することを特徴とする請求項１に記載の画像処理装置。
4. 前記設定手段は、前記エッジ強度が予め定められた閾値よりも小さい場合には、前記タップ長として規定のタップ長を設定することを特徴とする請求項２に記載の画像処理装置。
5. 前記設定手段は、前記分散値が予め定められた閾値よりも大きい場合には、前記タップ長として規定のタップ長を設定することを特徴とする請求項２に記載の画像処理装置。
6. 前記設定手段は、前記コントラストが予め定められた閾値よりも小さい場合には、前記タップ長として規定のタップ長を設定することを特徴とする請求項２に記載の画像処理装置。
7. 前記設定手段は、
   前記着目フレームの画像と前記着目フレームよりも１つ前のフレームである前フレームの画像との差分画像を構成する各画素のうち、画素値が負であって、前記着目フレームの画像において位置的に対応する画素位置のエッジ強度値が予め定められた閾値以下となるような画素を特定する手段と、
   特定したそれぞれの画素の画素値の平均値を計算し、計算した平均値が予め定められた閾値よりも小さい場合には、前記タップ長として規定のタップ長を設定し、計算した平均値が予め定められた閾値以上である場合には、前記タップ長をより長いタップ長に再設定する手段と
   を備えることを特徴とする請求項２に記載の画像処理装置。
8. 前記設定手段は、
   前記着目フレームの画像と前記着目フレームよりも１つ前のフレームである前フレームの画像との差分画像を構成する各画素のうち、画素値が正であって、前記着目フレームの画像において位置的に対応する画素位置のエッジ強度値が予め定められた閾値以下となるような画素を特定する手段と、
   特定したそれぞれの画素の画素値の平均値を計算し、計算した平均値が予め定められた閾値以下である場合には、前記タップ長として規定のタップ長を設定し、計算した平均値が予め定められた閾値よりも大きい場合には、前記タップ長をより短いタップ長に再設定する手段と
   を備えることを特徴とする請求項２に記載の画像処理装置。
9. 前記取得手段、前記計算手段、前記設定手段、前記フィルタ手段は、前記着目フレームの画像を構成するそれぞれの矩形画像毎に処理を行うことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記設定手段は、隣接する矩形画像間でのタップ長の差が規定値以内となるようにタップ長を設定することを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 連続する各フレームの画像を取得する工程と、
    着目フレームの画像から画像特徴量を取得する取得工程と、
    前記着目フレームの画像における動き量を求める計算工程と、
    前記画像特徴量と、前記動き量と、から、前記着目フレームの画像に対して適用する最小値フィルタのタップ長を設定する設定工程と、
    前記設定工程で設定されたタップ長の最小値フィルタを用いて前記着目フレームの画像に対して最小値フィルタ処理を行うフィルタ工程と、
    前記フィルタ工程によるフィルタ処理後の画像に対してローパスフィルタ処理を行うことで、低周波数成分で構成されている低周波数成分画像を生成する工程と、
    前記着目フレームの画像から前記低周波数成分画像を差し引くことで、高周波数成分で構成されている高周波数成分画像を生成する工程と、
    前記低周波数成分画像と前記高周波数成分画像とを交互に出力する工程と
    を備えることを特徴とする画像処理方法。
12. コンピュータを、請求項１乃至１０の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。