JP2008176447A - 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばディスプレイ装置に適用して、処理対象画像に奥行き感を与えるようにする。
【解決手段】本発明は、一定方向に徐々に輝度レベルが変化するように輝度勾配を有している勾配画像Ｄ３を用いて、この勾配画像の輝度レベルに近づけるように、処理対象画像Ｄ１の画素値を補正する。
【選択図】 図１

Description

本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばディスプレイ装置に適用することができる。本発明は、輝度レベルが徐々に変化する輝度勾配を有している勾配画像を用いて、この勾配画像の輝度レベルに近づけるように、処理対象画像の画素値を補正することにより、処理対象画像に奥行き感を与えるようにする。

従来、モニタ装置等の画像処理装置では、画像データのコントラストを改善して画質を向上させている。ここで図２０は、この種の画像処理装置に適用されるコントラスト補正部の構成を示すブロック図である。コントラスト補正部１は、コントラストを改善する画像データＤ１を演算部２に入力し、図２１、図２２等の補正カーブの入出力特性で画像データＤ１の画素値を補正して画像データＤ２を出力する。

ここで図２１に示す補正カーブの入出力特性は、中間階調のコントラストを増大させる入出力特性である。この補正カーブの場合、演算部２は、入力画像データＤ１の画素値ｘの最大値がDmaxであって、入力画像データＤ１の画素値ｘがこの最大値Dmaxの１／２の以下のとき、次式により示すように、入力画像データＤ１の画素値ｘを２乗して出力画像データＤ２を出力する。

これに対して入力画像データＤ１の画素値ｘが最大値Dmaxの１／２より大きい場合、演算部２は、次式により示すように、入力画像データＤ１の画素値ｘが最大値Dmaxの１／２の以下の場合と逆の特性により、入力画像データＤ１の画素値ｘを補正して出力画像データＤ２を出力する。これによりこの図２１の例では、２次曲線の入出力特性により、輝度レベルの高い側と低い側とでコントラストを抑圧して中間階調のコントラストを増大させる。

これに対して図２２に示す補正カーブの入出力特性は、黒側のコントラストを増大させる入出力特性である。この補正カーブの場合、演算部２は、次式により示すように、画素値ｘが増大するに従って出力画像データＤ２における画素値の変化が小さくなるように、入力画像データＤ１の画素値ｘを補正する。

従来の手法によるコントラストの改善では、例えば特開平６−２９３４６６号公報等に開示されているように、平均輝度、ヒストグラム等を参照して種々に補正カーブを設定し、さらには動的に補正カーブを設定し、画面全体、細部に至るまでコントラストを改善するように工夫している。

しかしながら従来手法によるコントラストの改善では、画像によっては、奥行き感が失われる問題がある。
特開平６−２９３４６６号公報

本発明は以上の点を考慮してなされたもので、奥行き感を増大させることができる画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。

上記の課題を解決するため請求項１の発明は、入力画像データを処理する画像処理装置に適用して、輝度レベルが徐々に変化する輝度勾配を有している勾配画像の画像データを用いて、前記勾配画像の輝度レベルに近づけるように、前記入力画像データを補正するコントラスト補正部を有するようにする。

また請求項５の発明は、入力画像データを処理する画像処理方法に適用して、輝度レベルが徐々に変化する輝度勾配を有している勾配画像の画像データを用いて、前記勾配画像の輝度レベルに近づけるように、前記入力画像データを補正するコントラスト補正のステップを有するようにする。

また請求項６の発明は、入力画像データを処理する画像処理方法のプログラムに適用して、輝度レベルが徐々に変化する輝度勾配を有している勾配画像の画像データを用いて、前記勾配画像の輝度レベルに近づけるように、前記入力画像データを補正するコントラスト補正のステップを有するようにする。

また請求項７の発明は、入力画像データを処理する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、輝度レベルが徐々に変化する輝度勾配を有している勾配画像の画像データを用いて、前記勾配画像の輝度レベルに近づけるように、前記入力画像データを補正するコントラスト補正のステップを有するようにする。

請求項１、請求項５、請求項６、請求項７の構成によれば、入力画像データによる画像に、勾配画像による輝度勾配を設けることができ、この輝度勾配により、人間の視覚特性を利用して奥行き感を与えることができる。これにより奥行き感を増大させることができる。

本発明によれば、奥行き感を増大させることができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例１に係るコンピュータを示すブロック図である。このコンピュータ１１は、リードオンリメモリ（ＲＯＭ）１２の記録に従って、ランダムアクセスメモリ（ＲＡＭ）１３にワークエリアを確保して中央処理ユニット（ＣＰＵ）１４でハードディスク装置（ＨＤＤ）１５に記録された各種プログラムを実行する。このコンピュータ１１は、静止画像を画像処理する画像処理プログラムがこのハードディスク装置１５に格納されており、この画像処理プログラムの実行により、インターフェース（Ｉ／Ｆ）１６を介して、各種記録媒体、撮像装置等から画像データＤ１を取得してハードディスク装置１５に記録する。またこの取得した画像データＤ１をモニタ１７で表示してユーザーの操作を受け付け、この画像データＤ１による画像の奥行き感を増大させる。

なおこの実施例において、この画像処理プログラムは、このコンピュータ１１に事前にインストールされて提供されるものの、これに代えて光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、またインターネット等のネットワークを介して提供するようにしてもよい。

ここで図３は、この画像処理プログラムにおける中央処理ユニット１４の処理手順を示すフローチャートである。中央処理ユニット１４は、ユーザーが指示した処理対象の画像データＤ１をハードディスク装置１５からロードしてモニタ１７で表示し、ユーザーの操作に応動して各種メニューをモニタ１７で表示する。中央処理ユニット１４は、このメニューの選択によりユーザーが奥行き感の増大を指示すると、この図３に示す処理手順を開始してステップＳＰ１からステップＳＰ２に移る。ここで中央処理ユニット１４は、モニタ１７にサブウインドウを表示して勾配画像のメニューを複数表示し、ユーザーによる勾配画像の選択を受け付ける。

ここで勾配画像は、輝度レベルが徐々に変化する輝度勾配を有している画像であり、この実施例では処理対象画像と同一の画素数により形成される。図４及び図５は、垂直方向に画像勾配を有する勾配画像を示す平面図である。この図４の勾配画像では、画面中央の１ラインで最も輝度レベルが低く、この１ラインから上下方向に向かって輝度レベルが徐々に増大するように輝度勾配が形成される。また図５は、最も下のラインで最も輝度レベルが低く、この１ラインから上下方向に向かって輝度レベルが徐々に増大するように輝度勾配が形成される。

この実施例では、この図４及び図５に示す勾配画像に加えて、例えば画面の左下端から遠ざかるに従って輝度レベルが徐々に低下する勾配画像、画面の右下端から遠ざかるに従って輝度レベルが徐々に低下する勾配画像等が用意されており、中央処理ユニット１４は、ステップＳＰ２において、事前に用意された複数の勾配画像から奥行き感の増大に使用する勾配画像の選択を受け付ける。

なおこの場合に、ユーザーにより光源の設定を受け付け、この光源から遠ざかるに従って徐々に輝度レベルが低下するように勾配画像を生成し、勾配画像の入力を受け付けるようにしてもよい。また実用上十分に奥行き感を向上させることができる場合には、事前に設定されたディフォルトの勾配画像を適用するようにして、勾配画像の選択、入力処理を省略するようにしてもよい。なお人間は、心理的に光は上方から差し込んでいると認識することから、このディフォルトの勾配画像は、画面上方から下方に向かうに従って徐々に輝度レベルが低下するような勾配画像を適用することができる。

続いて中央処理ユニット１４は、ステップＳＰ３に移り、同様にして複数のメニューを表示し、図２１、図２２で説明した補正カーブの選択を受け付ける。なおこの場合に、図２１、図２２について上述したように、平均輝度、ヒストグラム等を参照して補正カーブを自動的に選択、作成するようにしてもよい。

続いて中央処理ユニット１４は、ステップＳＰ４に移り、ステップＳＰ２で選択した勾配画像、ステップＳＰ３で選択した補正カーブで、処理対象画像の画像データを処理し、プレビューの画像をモニタ１７で表示する。

ここでこの画像データの処理は、図２０との対比により図１に示すように、中央処理ユニット１４で形成される画像処理部１８の機能ブロックにより、勾配画像の画像データＤ３を用いて画像データＤ１に奥行き感を与えて画像データＤ２を生成する処理である。中央処理ユニット１４は、この画像処理部１８のコントラスト補正部１９に設けられた演算部２０の機能ブロックに、処理対象の画像データＤ１を間引きして入力する。またこの画像データＤ１の間引きに対応するように勾配画像の画像データＤ２を間引きして入力し、ステップＳＰ３で選択した補正カーブを用いた演算処理により、画像データＤ１に奥行き感を与える。

具体的には、コントラストを改善しつつ、勾配画像における輝度レベルに近づけるように画像データＤ１の画素値を補正する。言い換えるならば、コントラストを改善しつつ、勾配画像において輝度レベルが低い部分では、輝度レベルが低くなるように、また勾配画像において輝度レベルが高い部分では、輝度レベルが高くなるように、画像データＤ１の画素値を補正する。

すなわちステップＳＰ３において、ユーザーが図２１の補正カーブを選択している場合、入力画像データＤ１の画素値ｘの最大値Dmaxに対して、入力画像データＤ１の画素値ｘがこの最大値Dmaxの１／２の以下のとき、（１）式に対応する次式の演算処理により、入力画像データＤ１の画素値ｘと勾配画像の画素値ｙとを乗算して出力画像データＤ２を出力する。

これに対して入力画像データＤ１の画素値ｘが最大値Dmaxの１／２より大きい場合、中央処理ユニット１４は、（２）式に対応する次式の演算処理により、入力画像データＤ１の画素値ｘが最大値Dmaxの１／２の以下の場合と逆の特性で、入力画像データＤ１の画素値ｘを勾配画像の画素値ｙで補正して出力画像データＤ２を出力する。これにより中間階調のコントラストを増大させつつ、画像データＤ１の画像に奥行き感を与える。

これに対してステップＳＰ３において、ユーザーが図２２の補正カーブを選択している場合、中央処理ユニット１４は、（３）式に対応する次式の演算処理により、勾配画像の画素値ｙが増大するに従って出力画像データＤ２における画素値の変化が小さくなるように、入力画像データＤ１の画素値ｘを補正する。これによりこの場合、暗い側のコントラストを増大させつつ、画像データＤ１の画像に奥行き感を与える。

なおこのステップＳＰ４における画素値ｘの補正処理は、輝度信号成分についてのみ実行するようにしてもよく、赤色、緑色、青色の各色信号成分について実行するようにしてもよい。このステップＳＰ４の処理によりモニタ１７にプレビュー画像を表示すると、中央処理ユニット１４は、ステップＳＰ５に移り、ユーザーの確認を促すメニューをモニタ１７に表示する。またこのメニューの操作により、ユーザーが勾配画像等の変更を指示すると、ステップＳＰ２に移り、改めて勾配画像、補正カーブの入力を受け付ける。

これに対してステップＳＰ５において、ユーザーの確認が得られると、中央処理ユニット１４は、ステップＳＰ５からステップＳＰ６に移り、処理対象画像の全ての画像データを用いて、ステップＳＰ４と同一の処理を実行し、その結果得られる画像データＤ２をハードディスク装置１５に格納する。また続いてステップＳＰ７に移り、この処理手順を終了する。

（２）実施例の動作
以上の構成において、コンピュータ１１（図２）では、インターフェース１６を介して入力される静止画像の画像データＤ１がハードディスク装置１５に格納され、ユーザーによる操作に応動してこの画像データＤ１が種々に画像処理される。ここでこの画像処理においては、例えば（１）及び（２）式の処理により、又は（３）式の処理により、コントラストを改善することができる。しかしながらこのようなコントラストの改善では、画像によっては奥行き感が失われることになる。

そこでコンピュータ１１では、ユーザーが奥行き感の増大を指示すると（図３）、奥行き感の増大処理に使用する勾配画像（図４、図５）、補正カーブ（図２１、図２２）の入力が受け付けられる。またこの勾配画像、補正カーブによる演算処理により（図１）、コントラストを改善しつつ、勾配画像における輝度レベルに近づけるように、処理対象画像の画素値が補正される。

ここで勾配画像は、輝度レベルが徐々に変化する輝度勾配を有している画像であり、このように輝度勾配を有している画像にあっては、人間の視覚特性が奥行きを感知する特徴を有している。具体的に、例えば図４に示すように、画面中央の１ラインが最も暗く、この１ラインから上下方向に遠ざかるに従って徐々に輝度レベルが増大している場合には、この最も暗い１ラインの部分が、最も奥まったように感じられる。また図５に示すように、最も下側の１ラインが最も暗く、この１ラインから上方向に遠ざかるに従って徐々に輝度レベルが増大している場合にも、この最も暗い１ラインの部分が、最も奥まったように、又は最も手前側であるように感じられる。

従ってこのような勾配画像の輝度レベルに近づけるように、処理対象画像の画素値を補正すれば、処理対象画像に奥行き感を与えることができる。すなわち例えば図６に示すように、輝度勾配が殆ど無いような風景の写真でも、図６との対比により図７に示すように、画面の下側から上方向に向かうに従って徐々に輝度レベルが増大するように輝度傾斜を設ければ、奥行き感を高めることができる。なおここで図８は、実際の処理結果を示す図である。この処理結果は、図９に示す処理対象画像を図１０の勾配画像、図２１の補正曲線により処理した場合であり、輝度傾斜により奥行き感が増大していることが判る。

またさらにこの勾配画像の輝度レベルに近づける処理を、この実施例では（４）〜（６）式により示すように、従来のコントラスト改善処理における補正カーブを使用して実行することにより、奥行き感を向上しつつ、コントラストを改善することができる。

（３）実施例の効果
以上の構成によれば、輝度レベルが徐々に変化する輝度勾配を有している勾配画像を用いて、この勾配画像の輝度レベルに近づけるように、処理対象画像の画素値を補正することにより、処理対象画像に奥行き感を与えることができる。

またこのとき、所定の補正カーブを用いて処理対象画像の画素値を補正することにより、奥行き感を与えつつ、コントラストを改善することができる。

図１１は、図１との対比により本発明の実施例２に適用される画像処理部の構成を示すブロック図である。この実施例のコンピュータは、この画像処理部の構成が異なる点を除いて、実施例１のコンピュータと同一に構成される。

ここでこの画像処理部２８は、非線形フィルタ部３４で、エッジ成分を保存したまま画像データＤ１を平滑化処理し、これにより画像データＤ１の低域成分ＳＴを抽出する。またこの画像データＤ１の低域成分ＳＴについて、コントラスト補正部１９で奥行き感を向上しつつ、コントラストを改善し、その後、加算部６２で高域成分を加算して出力する。なおこの画像処理部２８においても、画像データＤ１の輝度信号成分についてのみ処理を実行するものの、これに代えて赤色、緑色、青色の各色信号成分について実行するようにしてもよい。

このため図１２に示すように、非線形フィルタ部３４は、水平方向処理部３５、垂直方向処理部３６によりエッジ成分を保存したまま順次画像データＤ１を水平方向及び垂直方向に平滑化処理する。

ここで水平方向処理部３５は、ラスタ走査の順序で順次画像データＤ１を水平方向成分抽出部３８に入力する。水平方向成分抽出部３８は、この画像データＤ１を所定段数のシフトレジスタにより順次遅延させる。水平方向成分抽出部３８は、このシフトレジスタに保持した複数サンプリングの画像データＤ１を同時並列的に出力し、これにより処理対象のサンプリング点と、その水平方向の前後、水平方向に隣接する複数サンプリング点とによる画像データＤ１１を非線形平滑化部３９に出力する。これにより水平方向成分抽出部３８は、水平方向の平滑化処理に使用する複数サンプリング点の画像データＤ１１を順次非線形平滑化部３９に出力する。

垂直方向成分抽出部４０は、直列接続された複数段のラインバッファに画像データＤ１を入力して順次転送し、各ラインバッファから出力される画像データＤ１を同時並列的に基準値決定部４１に出力する。これにより垂直方向成分抽出部４０は、水平方向成分抽出部３８による処理対象のサンプリング点と、その垂直方向の上下、垂直方向に隣接する複数サンプリング点とによる画像データＤ１２を基準値決定部４１に出力する。

基準値決定部４１は、この垂直方向成分抽出部４０から出力される垂直方向に連続する複数サンプリングによる画像データＤ１２により、処理対象のサンプリング点に対する垂直方向の隣接サンプリング点によるサンプリング値の変化を検出し、このサンプリング値の変化の大きさに応じて非線形処理に供する基準値ε１を設定する。これにより基準値決定部４１は、非線形平滑化部３９において過不足なく平滑化処理を実行するように基準値ε１を設定する。

すなわち基準値決定部４１において、差分絶対値算出部４２は、この垂直方向成分抽出部４０から出力される垂直方向に連続する複数サンプリングの画像データＤ１２を入力し、処理対象のサンプリング点の画像データを、隣接するサンプリング点の画像データからそれぞれ減算する。またこの減算結果による減算値をそれぞれ絶対値化する。これにより差分絶対値算出部４２は、処理対象のサンプリング点を基準にして、垂直方向に隣接する複数サンプリング点の差分絶対値を検出する。

基準値設定部４３は、差分絶対値算出部４２で検出される複数の差分絶対値から最大値を検出し、この最大値に一定のマージンを加算して基準値ε１を設定する。なお基準値設定部４３は、例えばこのマージンを１０〔％〕に設定して、差分絶対値の最大値の１．１倍を基準値ε１に設定する。

非線形平滑化部３９は、この基準値ε１を基準にして水平方向成分抽出部３８から出力される水平方向に連続する複数サンプリングによる画像データＤ１１を平滑化処理する。この処理において、非線形平滑化部３９は、平滑化処理により失われる微小なエッジ成分を補うように、平滑化処理結果と元の画像データＤ１とを加重平均して出力する。

すなわち図１３に示すように、非線形平滑化部３９において、非線形フィルタ５１は、εフィルタであり、基準値決定部４１から出力される基準値ε１により水平方向成分抽出部３８から出力される水平方向に連続する複数サンプリングによる画像データＤ１を平均値化処理し、これにより基準値ε１を超えて大きく信号レベルが変化する成分を保存して、画像データＤ１を平滑化処理する。これにより非線形フィルタ５１は、垂直方向におけるサンプリング値の変化を基準にした基準値ε１により、この基準値ε１を超えて大きく変化する信号レベルの変化を保存するようにして、水平方向に画像データＤ１を平均値処理する。

混合部５３は、混合比検出部５２で計算される重み付け係数により、非線形フィルタ５１から出力される画像データＤ１３と元の画像データＤ１とを加重平均して画像データＤ１４を出力する。

混合比検出部５２は、水平方向成分抽出部３８から出力される水平方向に連続する複数サンプリングによる画像データＤ１１から、処理対象のサンプリング点に対する水平方向に隣接するサンプリング点における信号レベルの変化を検出する。またこの検出した信号レベルの変化に基づいて微小なエッジの有無を検出し、この検出結果に基づいて混合部５３の加重平均処理に係る重み付け係数を計算する。

具体的に、混合比検出部５２は、基準値決定部４１で検出される垂直方向に係る基準値ε１を一定の割合により割り算し、又はこの基準値ε１から一定値を減算し、これによりこの垂直方向に係る基準値ε１を基準にして、この基準値ε１より値の小さな基準値ε２を計算する。なおこの基準値ε２の設定は、垂直方向の信号レベルの変化に応じて設定される基準値ε１による非線形処理により平滑化された微小なエッジ成分を、後述する差分絶対値との比較により検出できるように、設定される。

さらに混合比検出部５２は、水平方向成分抽出部３８から出力される水平方向に連続する複数サンプリングによる画像データＤ１１を入力し、処理対象のサンプリング点の画像データと、この処理対象のサンプリング点に隣接する残りのサンプリング点の画像データとの間で、順次差分絶対値を計算する。混合比検出部５２は、この計算した差分絶対値の全てが基準値ε２より小さい場合、微小なエッジが存在しないと判定する。

これに対してこの計算した差分絶対値の何れかが基準値ε２以上の場合、この基準値ε２以上のサンプリング点が、処理対象のサンプリング点の前後、何れの側に存在するか、さらに差分値の極性を検出する。ここで基準値ε２以上のサンプリング点が、処理対象のサンプリング点の前後、双方に存在し、かつこの双方に存在するサンプリング点に係る差分値の極性が一致している場合、この場合、ノイズ等により一時的にサンプリング値が増大している場合であることにより、混合比検出部５２は、微小なエッジが存在しないと判定する。

これに対して基準値ε２以上のサンプリング点が、処理対象のサンプリング点の前後、一方の側のみである場合、又は双方に存在して差分値の極性が異なっている場合、処理対象のサンプリング点を間に挟んで、サンプリング値が小さく変化している場合であることにより、微小なエッジが存在すると判定する。

混合比検出部５２は、微小なエッジが存在すると判定した場合、元の画像データＤ１を選択的に出力するように、混合部５３の加重平均処理に係る重み付け係数を設定する。

これに対して微小なエッジが存在しないと判定した場合、混合部５３から出力される画像データＤ１４において、基準値ε２による判定に供した差分絶対値の最大値の値に応じて非線形処理による画像データＤ１３の成分が増大するように、混合部５３の加重平均処理に係る重み付け係数を設定する。なおここでこの重み付け係数の設定は、非線形処理による画像データＤ１３に係る重み付け係数を、例えば差分絶対値の最大値の増大により値０から値１．０に直線的に増大させ、差分絶対値の最大値が一定値以上となると、非線形処理による画像データＤ１３のみを選択出力するような係数の設定である。これにより混合比検出部５２は、エッジが存在しないと判定した場合、サンプリング値の変化が大きい場合程、平滑化処理に係る重みを大きく設定して画像データを出力する。

これらにより水平方向処理部３５は、垂直方向におけるサンプリング値の変化の大きさに応じて動的に非線形フィルタ５１の処理基準値を設定して、垂直方向に隣接するサンプリング点におけるサンプリング値の変化以上のサンプリング値の変化を保存するように、水平方向に画像データＤ１を平滑化処理する。またこの垂直方向に隣接するサンプリング点におけるサンプリング値の変化より小さな水平方向のサンプリング値の変化に係るエッジを検出し、このようなエッジが存在する場合には、元の画像データＤ１を選択的に出力するのに対し、このようなエッジが存在しない場合には、水平方向におけるサンプリング値の変化の大きさに応じて非線形処理結果Ｄ１４と元の画像データＤ１とを加重平均して出力し、これらにより微小なエッジ成分についても保存して画像データＤ１を水平方向に平滑化処理する。

垂直方向処理部３６（図１２）は、水平方向に代えて、垂直方向に同様の処理を実行して、水平方向処理部３５から出力される画像データＤ１４を平滑化処理する。これにより垂直方向処理部３６は、水平方向に隣接するサンプリング点におけるサンプリング値の変化以上のサンプリング値の変化を保存するように、垂直方向に画像データＤ１４を非線形処理する。またこの水平方向に隣接するサンプリング点におけるサンプリング値の変化より小さな垂直方向のサンプリング値の変化に係るエッジを検出し、このようなエッジが存在する場合には、元の画像データＤ１４を選択的に出力するのに対し、このようなエッジが存在しない場合には、垂直方向におけるサンプリング値の変化の大きさに応じて非線形処理結果と元の画像データＤ１４とを加重平均して出力し、これらにより微小なエッジ成分についても保存して、画像データＤ１を垂直方向に平滑化処理する。

減算部６１（図１１）は、この非線形フィルタ部３４から出力される画像データＳＴを、元の画像データＤ１から減算し、これによりエッジ成分を除いた高域成分を生成して出力する。

コントラスト補正部１９は、非線形フィルタ部３４から出力される画像データＳＴの画素値を補正して画像データＤ２１を出力する。加算部６２は、このコントラスト補正部１９の出力データＤ２１に、減算部６１の出力データを加算して画像データＤ２を出力する。

なお実用上十分な特性を確保できる場合には、非線型フィルタに単なるεフィルタ、バイラテラルフィルタ、ローパスフィルタ等を適用して、画像データＤ１から低域成分を抽出するようにしてもよい。

この実施例によれば、画像データから低域成分を抽出し、勾配画像の輝度レベルに近づけるように画素値を補正した後、高域成分を加算することにより、高域成分を損なうことなく、実施例１と同様の効果を得ることができる。

図１４は、図１との対比により本発明の実施例３に係る画像処理部の構成を示すブロック図である。この実施例では、本発明をディスプレイ装置等の画像処理装置に適用して、動画の画像データＤ１を処理する。なおこの場合、画像処理部６８は、上述したようにソフトウエアにより構成してもよく、ハードウエアにより構成してもよい。

この実施例において、画像処理部６８は、勾配画像作成部６９で勾配画像を自動生成する。ここで勾配画像作成部６９は、図１５に示すように、画像データＤ１を平均輝度検出部７１に入力する。平均輝度検出部７１は、図１６に示すよう、画像データＤ１による画像を水平方向及び垂直方向に複数の領域に分割し、領域毎に平均輝度レベルＹ１〜Ｙ４を計算する。なおこの図１６の例では、処理対象画像を水平方向及び垂直方向にそれぞれ２分割しているが、分割数は、種々に設定することができる。

補間部７２は、平均輝度検出部７１で計算した平均輝度レベルを各領域の中央位置の輝度レベルに設定し、この各領域の中央位置に設定した輝度レベルを線型補間して、各画素の輝度レベルを計算する。これにより補間部７２は、勾配画像の画像データＤ４を生成する。

勾配画像作成部６９は、この勾配画像の画像データＤ４を乗算部７３に入力し、ここで一定の重み付け係数（１−β）で重み付けする。またこの重み付けした画像データＤ４を加算部７４に入力し、ここで乗算部７５から出力される画像データを加算して出力する。また勾配画像作成部６９は、この乗算部７５から出力される画像データＤ３をメモリ７６に入力して１フィールド又は１フレームの期間だけ遅延させ、乗算部７５に入力して所定の重み付け係数βで重み付けする。これにより勾配画像作成部６９は、線型補間して生成した勾配画像の画像データＤ４を、帰還率βの巡回フィルタにより平滑化して出力し、勾配画像の急激な変化を防止する。なおここでβは、値１未満である。

シーンチェンジ検出部７７は、画像データＤ１を入力し、連続するフィールド間、又はフレーム間で、対応する画素値の差分絶対値和を検出する。またこの差分絶対値和を所定のしきい値で判定し、シーンチェンジを検出する。なおシーンチェンジ検出は、種々の手法を適用することができる。シーンチェンジ検出部７７は、何らシーンチェンジを検出できない場合、乗算部７３、７５に重み付け係数（１−β）、βを出力するのに対し、シーンチェンジが検出されると、乗算部７３、７５に出力する重み付け係数を値１、値０に切り換える。

なお勾配画像の作成方法にあっては、種々の手法を適用することができ、例えば領域毎に輝度勾配の最も大きな方向を求め、この輝度勾配の最も大きな方向を集計して光源の位置を推定し、この指定した光源の位置を基準にして、光源から遠ざかるに従って徐々に輝度レベルが低下するように勾配画像を自動生成してもよい。

この実施例によれば、動画の処理に適用して勾配画像を自動的に生成するようにして、実施例１と同様の効果を得ることができる。

ところで上述の実施例の構成では、何ら輝度勾配の無い被写体に輝度勾配が発生し、画像処理結果が不自然になる恐れがある。具体的には、例えば図６、図７の例による手前側の自動車に背景輝度勾配が発生し、これにより不自然さを与えることになる。そこでこの実施例では、勾配画像の各画素値が、画像データＤ１の画素値と大きくかけ離れている場合、輝度レベルの補正量が小さくなるようにする。

すなわち図１７は、本発明の実施例４の画像処理部の構成を示すブロック図である。この画像処理部７８において、上述の実施例の画像処理部と同一の構成は、対応する符号を付して示し、重複した説明は省略する。

この実施例において、減算部７９は、処理対象の画像データＤ１から勾配画像の画像データＤ３を減算して減算値を出力し、絶対値化部８０は、この減算値を絶対値化して出力する。ゲインテーブル８１は、例えば図１８に示すように、絶対値化部８０から出力される絶対値の値が大きくなるに従って、値１から徐々に値が低下する利得Ｇを計算して出力する。

減算部８２は、コントラスト補正部１９の出力データから、元の画像データＤ１を減算し、コントラスト補正部１９による補正量を検出する。乗算部８３は、この減算部８２で求められた補正量を、ゲインテーブル８１で求められた利得Ｇで乗算して出力し、加算部８４は、この乗算部８３で補正した補正量を元の画像データＤ１に加算して画像データＤ２を出力する。

この実施例によれば、勾配画像の各画素値が、画像データＤ１の画素値と大きくかけ離れている場合、輝度レベルの補正量が小さくなるように制御することにより、不自然さを有効に回避して上述の実施例と同様の効果を得ることができる。

図１９は、本発明の実施例５の画像処理部の構成を示すブロック図である。この画像処理部８８は、実施例２について上述した画像処理部２８のコントラスト補正部１９に代えて、実施例４について上述した画像処理部７８が適用される。この実施例の画像処理部８８は、これによりエッジ成分を保存した低域成分で、実施例４と同様にして輝度レベルを補正する。

この実施例によれば、エッジ成分を保存した低域成分で、実施例４と同様にして輝度レベルを補正することにより、一段と高画質に画像データを処理して、上述の実施例と同様の効果を得ることができる。

なお上述の実施例３、４においては、動画の処理において、勾配画像を自動的に生成する場合について述べたが、本発明はこれに限らず、静止画の処理において勾配画像を自動的に生成するようにしてもよい。

また上述の実施例１、２においては、コンピュータで静止画像の画像データを処理する場合について述べたが、本発明はこれに限らず、実施例３等の構成を適用してコンピュータで動画の画像データを処理する場合にも広く適用することができる。

また上述の実施例においては、（４）〜（６）式の演算処理により、勾配画像の輝度レベルに近づけるように画像データを補正して画像データに奥行き感を与える場合について述べたが、本発明はこれに限らず、他の演算処理により勾配画像の輝度レベルに近づけるように画像データを補正して画像データに奥行き感を与えるようにしてもよい。なおこのような演算処理としては、勾配画像の輝度レベルの中心値、又は勾配画像の輝度レベルの最大値の１／２の輝度レベルが値０であって、かつ勾配画像の輝度レベルに比例するように補正値を計算し、この補正値を画像データに加算すること等が考えられる。

また上述の実施例においては、本発明をコンピュータ、ディスプレイ装置に適用する場合について述べたが、本発明はこれに限らず、各種編集装置、撮像装置等、種々の映像機器に広く適用することができる。

本発明は、例えばコンピュータの画像処理プログラム、ディスプレイ装置に適用することができる。

本発明の実施例１の画像処理部を示すブロック図である。 本発明の実施例１のコンピュータを示すブロック図である。 図２のコンピュータの処理手順を示すフローチャートである。 勾配画像の例を示す平面図である。 勾配画像の他の例を示す平面図である。 処理対象画像を示す平面図である。 処理結果を示す平面図である。 実際の処理結果を示す平面図である。 図８の処理結果の原画像を示す平面図である。 図８の処理に使用した勾配画像を示す平面図である。 本発明の実施例２の画像処理部を示すブロック図である。 図１１の画像処理部における非線形フィルタ部を示すブロック図である。 図１２の非線形平滑部を示すブロック図である。 本発明の実施例３の画像処理部を示すブロック図である。 図１４の郊外画像作成部を示すブロック図である。 勾配画像の作成の説明に供する略線図である。 本発明の実施例４の画像処理部を示すブロック図である。 図１７の画像処理部におけるゲインを示す特性曲線図である。 本発明の実施例５の画像処理部を示すブロック図である。 従来のコントラスト改善方法の説明に供するブロック図である。 補正カーブの例を示す特性曲線図である。 補正カーブの他の例を示す特性曲線図である。

符号の説明

１、１９……コントラスト補正部、２、２０……演算部、１１……コンピュータ、１８、２８、６８、７８、８８……画像処理部、３４……非線形フィルタ部、６１、７９，８２……減算部、６２、７４、８４……加算部、６９……勾配画像作成部

Claims (7)

1. 入力画像データを処理する画像処理装置において、
   輝度レベルが徐々に変化する輝度勾配を有している勾配画像の画像データを用いて、前記勾配画像の輝度レベルに近づけるように、前記入力画像データを補正するコントラスト補正部を有する
   ことを特徴とする画像処理装置。
2. 前記コントラスト補正部は、
   前記入力画像データのコントラストを部分的に増大させる
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記入力画像データを高域成分と低域成分とに分離する分離部と、
   前記高域成分を前記コントラスト補正部の出力データに加算する加算部とを有し、
   前記コントラスト補正部は、
   前記低域成分を補正することにより、前記入力画像データを補正する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記入力画像データから前記勾配画像の画像データを生成する勾配画像作成部を有する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 入力画像データを処理する画像処理方法において、
   輝度レベルが徐々に変化する輝度勾配を有している勾配画像の画像データを用いて、前記勾配画像の輝度レベルに近づけるように、前記入力画像データを補正するコントラスト補正のステップを有する
   ことを特徴とする画像処理方法。
6. 入力画像データを処理する画像処理方法のプログラムにおいて、
   輝度レベルが徐々に変化する輝度勾配を有している勾配画像の画像データを用いて、前記勾配画像の輝度レベルに近づけるように、前記入力画像データを補正するコントラスト補正のステップを有する
   ことを特徴とする画像処理方法のプログラム。
7. 入力画像データを処理する画像処理方法のプログラムを記録した記録媒体において、
   前記画像処理方法のプログラムは、
   輝度レベルが徐々に変化する輝度勾配を有している勾配画像の画像データを用いて、前記勾配画像の輝度レベルに近づけるように、前記入力画像データを補正するコントラスト補正のステップを有する
   ことを特徴とする画像処理方法のプログラムを記録した記録媒体。