JP2005348159A - 画像処理方法及び装置及びプログラム及び記憶媒体 - Google Patents

Abstract

【課題】適切に画像の明るさを決定するのが困難な様々なシーンにおいて、適切な明るさの画像を得られるようにする。
【解決手段】画像データから輝度成分を抽出する輝度抽出部２と、輝度抽出部により抽出された輝度成分の分布を所定の尺度で求めるスケール変換部３と、画像データに対する中間輝度値を設定し、スケール変換部により変換された輝度分布のうち、中間輝度値よりも大きい輝度値に対しては、この大きい輝度値に対応するスケール変換される前の輝度値を小さくするように補正し、中間輝度値よりも小さい輝度値に対しては、小さい輝度値に対応するスケール変換される前の輝度値を大きくするように補正する輝度改善部４と、輝度改善部によって改善された輝度分布を新たな画像の輝度分布として画像データを再生する画像再生部５とを具備する。
【選択図】 図１

Description

本発明はデジタル画像処理に関し、特にデジタル画像の明るさの分布を改善する技術に関するものである。

従来、適正な明るさの写真を撮影する方法として、撮影するシーンの平均的な輝度を測定し、カメラのシャッター速度、絞り値などを制御する方式が知られている。また、シーンを所定の領域に分割して領域ごとに測定した輝度に重み付けして平均的な輝度を求めて適正露出を得ようとするいわゆる評価測光方式による露出制御方式が知られている。

しかしながら、撮影する主被写体の明るさが背景の明るさに比べて著しく暗いような、いわゆる逆光シーンにおいては、撮影した画像においてどうしても主被写体部分が暗くなってしまう。このような逆光シーンにおいて適切な明るさの写真を撮影するには、撮影時にあらかじめ平均的な写真よりも明るめに撮影されるようにカメラの露出を設定しておくいわゆる露出補正をする必要があった。しかし、このような露出補正の操作はわずらわしいばかりでなく、カメラの設定を適正に行うための熟練を要する。また、主被写体に対して適切に露出補正を行ったとしても、逆に背景部分が明るくなりすぎてしまう。

このような問題を解決する手法として、アナログ写真技術においては、暗室内でいわゆる覆い焼き処理を行うことで適切な明るさのプリントを得ることができる。このような覆い焼き処理を容易に実現するためには、デジタル画像処理において、覆い焼き処理を実現することが望ましい。

この点に鑑みて本願出願人は、特願２００３−１９９１２５において輝度改善の度合いをパラメータとして与え、明るさの分布を補正する方法を提案している。しかし、この技術においては画像の暗部の明るさを改善できるが、明部の階調再現についてはまだ改善の余地があった。

また、このような処理を実現する方法として、特開平１０−１３６８０号公報（特許文献１）では、明部、暗部ともに階調を再現するために、中間濃度部は変化させずに明部、暗部を独立に非線形に圧縮する画像処理方法が提案されている。
特開平１０−１３６８０号公報

しかしながら、画像によっては明るさを保持したい領域が異なる場合がある。例えば、背景が明るい逆光シーンで人物を撮影する場合には、比較的明るい空の領域より若干暗い領域の明るさを保持しておきたい。一方、夜景のような背景が暗いシーンにおいてはかなり暗い領域での明るさを保持しておきたい。ところが、特許文献１に開示されている技術では、明るさを保持したい領域を制御する（変更する）ことはできず、様々な撮影シーンに対応できないという問題点があった。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、適切に画像の明るさを決定するのが困難な様々なシーンにおいて、適切な明るさの画像を得られるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる画像処理方法は、画像データから輝度成分を抽出する輝度抽出工程と、該輝度抽出工程において抽出された前記輝度成分の分布を所定の尺度で求めるスケール変換工程と、前記画像データに対する中間輝度値を設定し、前記スケール変換工程において変換された輝度分布のうち、前記中間輝度値よりも大きい輝度値に対しては、該大きい輝度値に対応するスケール変換される前の輝度値を小さくするように補正し、前記中間輝度値よりも小さい輝度値に対しては、該小さい輝度値に対応するスケール変換される前の輝度値を大きくするように補正する輝度改善工程と、該輝度改善工程において改善された輝度分布を新たな画像の輝度分布として画像データを再生する画像再生工程と、を具備することを特徴とする。

また、この発明に係わる画像処理方法において、前記画像データの階調数は前記画像再生工程において再生する画像データの階調数よりも大きいことを特徴とする。

また、この発明に係わる画像処理方法において、前記輝度改善工程では、前記輝度抽出工程における出力である輝度成分値をＡ、前記スケール変換工程における出力である輝度成分値をＢ、前記中間輝度をＣ、輝度改善のパラメータをＤ，Ｅとするとき、
Ｂ≦Ｃの場合、（Ｃ／Ｂ）^Ｄ・Ａ
Ｂ＞Ｃの場合、 １−｛（１−Ｃ）／（１−Ｂ）｝^Ｅ・（１−Ａ)
で表わされる特性に基づいて輝度変換することを特徴とする。

また、この発明に係わる画像処理方法において、前記輝度改善工程では、前記輝度抽出工程における出力である輝度成分値をＡ、前記スケール変換工程における出力である輝度成分値をＢ、前記中間輝度をＣ、輝度改善のパラメータをＤとするとき、
Ａ^{｛（１−Ｄ）＋Ｄ（Ｂ／Ｃ）｝}
で表わされる特性に基づいて輝度変換することを特徴とする。

また、本発明に係わる画像処理方法は、画像データから明るさ成分を抽出する明るさ成分抽出工程と、前記明るさ成分の分布を所定の尺度で求めるスケール変換工程と、明部に対するパラメータ、暗部に対するパラメータとを用いて、前記明るさ成分に対して、前記スケール変換工程の出力値に基づく階調補正を行なうことを特徴とする。

また、本発明に係わるプログラムは、上記の画像処理方法をコンピュータに実行させることを特徴とする。

また、本発明に係わる記憶媒体は、上記のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする。

また、本発明に係わる画像処理装置は、画像データから輝度成分を抽出する輝度抽出手段と、該輝度抽出手段により抽出された前記輝度成分の分布を所定の尺度で求めるスケール変換手段と、前記画像データに対する中間輝度値を設定し、前記スケール変換手段により変換された輝度分布のうち、前記中間輝度値よりも大きい輝度値に対しては、該大きい輝度値に対応するスケール変換される前の輝度値を小さくするように補正し、前記中間輝度値よりも小さい輝度値に対しては、該小さい輝度値に対応するスケール変換される前の輝度値を大きくするように補正する輝度改善手段と、該輝度改善手段によって改善された輝度分布を新たな画像の輝度分布として画像データを再生する画像再生手段と、を具備することを特徴とする。

また、この発明に係わる画像処理装置において、前記画像データの階調数は前記画像再生手段で再生する画像データの階調数よりも大きいことを特徴とする。

また、この発明に係わる画像処理装置において、前記輝度改善手段は、前記輝度抽出手段の出力である輝度成分値をＡ、前記スケール変換手段の出力である輝度成分値をＢ、前記中間輝度をＣ、輝度改善のパラメータをＤ，Ｅとするとき、
Ｂ≦Ｃの場合、（Ｃ／Ｂ）^Ｄ・Ａ
Ｂ＞Ｃの場合、 １−｛（１−Ｃ）／（１−Ｂ）｝^Ｅ・（１−Ａ)
で表わされる特性に基づいて輝度変換することを特徴とする。

また、この発明に係わる画像処理装置において、前記輝度改善手段は、前記輝度抽出手段の出力である輝度成分値をＡ、前記スケール変換手段の出力である輝度成分値をＢ、前記中間輝度をＣ、輝度改善のパラメータをＤとするとき、
Ａ^{｛（１−Ｄ）＋Ｄ（Ｂ／Ｃ）｝}
で表わされる特性に基づいて輝度変換することを特徴とする。

本発明によれば、適切に画像の明るさを決定するのが困難な様々なシーンにおいて、適切な明るさの画像を得ることができる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の画像処理システムの実施形態の構成を示す図である。

図１において、１は画像入力部であり、画像処理装置１０にデジタル画像データ（以後、画像データと称す）を入力する。この画像入力部は、例えば、デジタルカメラ、スキャナなどで構成される。

２は輝度抽出部であり、画像入力部１から入力された画像データから、明るさを示す成分である輝度成分と、色成分とを抽出する。

３はスケール変換部であり、輝度抽出部２から出力された画像データの輝度成分の比較的大きな尺度での分布を求める。

４は輝度改善部であり、輝度抽出部２から出力された画像データの輝度成分とスケール変換部３から出力された比較的大きな尺度での輝度成分の分布を用いて画像データの輝度成分の分布を改善する。

５は画像再生部であり、輝度改善部４から出力された改善された輝度成分と輝度抽出部２から出力された色成分とを合成し、画像データを再構成する。

６はパラメータ調整部であり、輝度抽出部２から出力された画像データの輝度成分から輝度改善部４で処理する改善の度合いを画像データに応じて最適にするようにパラメータの調整を行う。

なお、７は、画像入力部１から入力された画像データを記憶する記憶部である。

以上のような構成の画像処理システムは、また、アプリケーションプログラムによって汎用の計算機おいても実現可能である。以後、本実施形態では、図１に示される画像処理システムの各機能ブロック２〜６が主にアプリケーションプログラムにより実現される場合について説明する。すなわち、以下の説明における、輝度抽出部２、スケール変換部３、輝度改善部４、画像再生部５、パラメータ調整部６は、上記のアプリケーションプログラム上で実現されるものとする。

図２は、本実施形態における画像処理システムの各機能ブロックの動作を汎用の計算機で実行するアプリケーションプログラムのアルゴリズムを示す図である。

まず、アプリケーションプログラムが起動されると、ユーザは画像データのファイル名を入力し、画像データを画像入力部１から計算機の記憶部７に読み込む（ステップＳ１０１）。

ここで読み込まれた画像データは、例えば８ビットの画素により構成されるＭ×Ｎの２次元配列（但し、Ｍは水平画素数、Ｎは垂直画素数）であり、Ｒ（赤），Ｇ（緑），Ｂ（青）の３つの面により構成される。この画像データをＲ，Ｇ，Ｂそれぞれについて、Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）とする（但し、（ｘ，ｙ）は画素位置を表す整数であり、１≦ｘ≦Ｍ、１≦ｙ≦Ｎである）。このとき、画像データがＪＰＥＧ等の方式により圧縮されている場合は、画像データを所定の伸長方式にしたがって伸長し、ＲＧＢ各画素により構成される画像データとする。

次に、画像データを構成するＲＧＢ各画素をもとに、輝度抽出部２により輝度成分を抽出する（ステップＳ１０２）。

輝度成分の抽出は、例えば、ＲＧＢの画素成分がIEC 61966-2-1に記載されているsRGB色空間におけるデータと想定し、IEC 61966-2-1に記載されている方法に従い、ガンマ変換と３行３列のマトリクス演算により、ＣＩＥ1931ＸＹＺに変換する。ここで、変換後のＸＹＺのデータをそれぞれＸ（ｘ，ｙ），Ｙ（ｘ，ｙ），Ｚ（ｘ，ｙ）とすると、Ｙ（ｘ，ｙ）が抽出する輝度成分である。

なお、輝度成分を抽出する方法としては、前述の処理を簡略化し、マトリクス演算のみで抽出するようにしてもよい。また、ＲＧＢからＹＣｂＣｒへの変換やＲＧＢからＬ＊ａ＊ｂ＊への変換、ＲＧＢからＨＳＶへの変換を用いてもよい。

次に、抽出した輝度成分から、スケール変換部３により比較的大きな尺度での輝度成分の分布を求める（ステップＳ１０３）。

大きな尺度での輝度成分の分布を求めるには、例えば、抽出した輝度成分とガウシアン関数との積和演算を行い、出力とする。ここで、改善された画像データの画質を向上するために、標準偏差の異なる複数のガウシアン関数との積和演算を行い、複数の尺度での輝度成分の分布を求めるようにすると、より好ましい。なお、以上説明したような大きな尺度での輝度成分の分布を求める処理を以後、スケール変換と称することとする。式（１）に大きな尺度での輝度成分の分布（輝度成分の低周波成分）を求める処理を示す。

ＹL（ｘ，ｙ）＝Avg｛Ｆn（ｘ，ｙ）＊Ｙ（ｘ，ｙ）｝ …（１）
但し、ＹL（ｘ，ｙ）、Ｆn（ｘ，ｙ）はそれぞれ大きな尺度での輝度成分の出力、ガウシアン関数を表す。また、＊は積和演算を、Avgは平均値演算を表す。

次に、抽出した輝度成分から、パラメータ調整部６により改善すべき輝度分布の度合いを決めるパラメータを調整する（ステップＳ１０４）。なお、パラメータ調整は輝度分布を改善する処理と関連するので、詳細は後述する。

次に、画像データの輝度成分とスケール変換した輝度成分の分布を用いて、輝度改善部４により画像データの輝度成分の分布を改善する（ステップＳ１０５）。

本実施形態では、スケール変換した輝度成分と中間輝度とを比較し、スケール変換した輝度成分が中間輝度より暗い部分、すなわち暗部では、中間輝度とスケール変換した輝度成分の比に応じてゲインが増加する関数を定め、画像データの輝度成分を増幅するように輝度成分を改善する。また、スケール変換した輝度成分と中間輝度とを比較し、スケール変換した輝度成分が中間輝度より明るい部分、すなわち明部では、輝度成分が取りうる最大値と中間輝度の差と輝度成分が取りうる最大値とスケール変換した輝度成分の差の比に応じてゲインが増加する関数を定め、輝度成分が取りうる最大値と画像データの輝度成分の差を増幅するように輝度成分を求め、輝度成分が取りうる最大値から求めた輝度成分の差を改善された輝度成分として出力する。以上説明した処理に基づく改善された輝度成分の出力は以下に示す式（２）のようになる。

ＹL（ｘ，ｙ）≦Ｙmのとき、
Ｙ'（ｘ，ｙ）＝｛Ｙm／ＹL（ｘ，ｙ）｝^γ1・Ｙ（ｘ，ｙ）
その他のとき（ＹL（ｘ，ｙ）＞Ｙmのとき）、
Ｙ'（ｘ，ｙ）＝１−｛（１−Ｙm）／（１−ＹL（ｘ，ｙ））｝^γ2・
（１−Ｙ（ｘ，ｙ））
…（２）
但し、Ｙ'（ｘ，ｙ）、Ｙm、γ1、γ2は、それぞれ改善された輝度成分の出力、中間輝度を表すパラメータ、暗部での改善の度合いを表すパラメータ、明部での改善の度合いを表すパラメータである。

次に、画像再生部５により、改善された輝度成分とステップＳ１０２で変換された色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）とを合成し、画像データを再構成する（ステップＳ１０６）。

ここで、まず、再構成後の画像データの色ができるだけ変化しないように、色成分を輝度成分の変更にしたがって修正する。例えば、色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）にそれぞれ輝度成分の変更前後の比Ｙ'（ｘ，ｙ）／Ｙ（ｘ，ｙ）を乗算する。そして、Ｘ、Ｙ、ＺのデータからＲＧＢのデータを求める。ここでの処理はステップＳ１０２における処理の逆変換である。したがって、３行３列のマトリクス演算および逆ガンマ変換の処理を行い、ＲＧＢ各８ビット出力とする。

なお、ステップＳ１０２で輝度成分を抽出する方法としてＲＧＢからＹＣｂＣｒ変換など別方式を用いた場合には、本処理においては、対応する逆変換の処理を行うべきであることはいうまでもない。

次に、ステップＳ１０４におけるパラメータ調整方法の一例をステップＳ１０５における式（２）で輝度変換を行う場合について説明する。

まず、画像データの輝度成分を所定の輝度値の範囲に分けて輝度ヒストグラムを作成する。そして、暗い方から積算したヒストグラムの頻度の全サンプリングに対する割合が所定の割合になる３つの輝度値（この輝度値を暗い方からＹ1、Ｙ0、Ｙ2とする）を求める。輝度値Ｙ0は画像データの輝度成分の平均値でもよい。まず、このとき、求めた輝度値Ｙ0をＹmとする。また、輝度値Ｙ1、輝度値Ｙ2が所定の輝度値（この輝度値をそれぞれＹ1'、Ｙ2'とする。但し、Ｙ1≦Ｙ1'、Ｙ2'≦Ｙ2）になるようなγ1、γ2をそれぞれ改善の度合いを表すパラメータとする。例えば、あらかじめ輝度値Ｙ1、Ｙ2に対応する輝度値Ｙ1'、Ｙ2'をテーブルとして記憶しておき、テーブルの参照により輝度値Ｙ1'、Ｙ2'を求めるようにする。なお、このγ1、γ2は、ＹL（ｘ，ｙ）をＹ（ｘ，ｙ）とほぼ等しいと仮定すると、以下に示す式（３）により求めることができる。

γ1＝（logＹ1'−logＹ1）／（logＹm−logＹ1）
γ2＝｛log（１−Ｙ1'）−log（１−Ｙ1）｝／｛log（１−Ｙm）−log（１−Ｙ1）｝
…（３）
なお、本実施形態では、画像データの輝度成分をもとにパラメータを自動的に調整するようにしたが、画像データのＲＧＢの画素値をもとにパラメータを自動的に調整するようにしてもよい。また、パラメータＹm、γ1、γ2を入力インターフェースによって変更可能とし、変更したパラメータの値にしたがって輝度分布を変換し、画像データを再構成し、改善後の画像データをディスプレイに表示するようにして、対話的に調整するようにしてもよい。また、γ1＝０とすれば明部のみ、γ2＝０とすれば暗部のみの輝度改善に対応できる。

以上の例では、ステップＳ１０５の輝度分布の改善処理において、スケール変換した輝度成分と中間輝度とを比較し、暗部、明部それぞれ別方式で改善するようにしたが、例えば、以下に示す式（４）のようにして輝度変換を行ってもよい。

Ｙ'（ｘ，ｙ）＝Ｙ（ｘ，ｙ）^γ
ただし、γ＝（１−Ｇ）＋Ｇ（ＹL（ｘ，ｙ）／Ｙm）
…（４）
なお、Ｇは改善の度合いを表すパラメータである。

この例においても、パラメータＧを自動的に調整するようにしてもよいし、対話的に調整するようにしてもよい。また、スケール変換した輝度成分と中間輝度とを比較し、暗部、明部でパラメータＧを別々に調整するようにしてもよい。

以上示した式（２）、式（４）においては、いずれも明部においては輝度を下げて階調再現数を増やし、暗部においては輝度を上げて階調再現数を増やしているので、階調再現が改善されたといえる。

また、ステップＳ１０３の処理の出力として、輝度成分に対してacm Transactions on Graphics, JULY 2002, Vol.21, No.3 中の”Fast Bilateral Filtering for the Display of High-Dynamic-Range Images”と題するDurandらの報告にあるようなBilateral Filteringを適用したものをスケール変換した輝度成分としてもよい。

（第２の実施形態）
第１の実施形態においては、処理する画像データとしてＲＧＢ各８ビットのデータを想定して説明したが、次に、ＲＧＢ各１６ビットの画像データから最適なＲＧＢ各８ビットの画像データを再生する場合について説明する。

例として、デジタルカメラが被写体の輝度に対して線形関係にある１６ビットのＲＡＷデータとして記録した画像データを８ビット表現する際の適用を考える。なお、この場合の処理の流れは図２に示したものと概略同じであるので、以下、図２をもとにアルゴリズムを説明する。また、処理詳細は第１の実施形態と同様の動作を行うものは簡略化して説明する。

まず、アプリケーションプログラムが起動するとユーザは画像データのファイル名を入力し、画像データを計算機の記憶部７に読み込む（ステップＳ１０１）。

ここで読み込まれた画像データは、例えば１６ビットの画素により構成されるＭ×Ｎの２次元配列（但し、Ｍは水平画素数、Ｎは垂直画素数）であり、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３つの面により構成される。この画像データをＲ、Ｇ、Ｂ、それぞれについて、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）とする（但し、（ｘ，ｙ）は画素位置を表す整数であり、１≦ｘ≦Ｍ、１≦ｙ≦Ｎである）。また、ここで読み込んだ画像データの階調は被写体の輝度に対して線形関係にあるものとする。

次に、画像データを構成するＲＧＢ各画素をもとに、輝度抽出部２により輝度成分を抽出する（ステップＳ１０２）。

輝度成分の抽出は、ここでは、IEC 61966-2-1に記載されている方法に従い、３行３列のマトリクス演算により、ＣＩＥ1931ＸＹＺに変換する。すなわち０から１の範囲で正規化された値が出力される。但し、読み込んだ画像データの階調は被写体の輝度に対して線形関係にあると仮定しているのでガンマ変換は行わない。ここで、変換後のＸＹＺのデータをそれぞれＸ（ｘ，ｙ）、Ｙ（ｘ，ｙ）、Ｚ（ｘ，ｙ）とすると、Ｙ（ｘ，ｙ）が抽出する輝度成分である。

次に、抽出した輝度成分から、スケール変換部３により比較的大きな尺度での輝度成分の分布を求める（ステップＳ１０３）。ここでの処理は第１の実施形態の処理と同じであるので説明を省略する。

次に、抽出した輝度成分から、パラメータ調整部６により、改善すべき輝度分布の度合いを決めるパラメータを調整する（ステップＳ１０４）。

次に、画像データの輝度成分とスケール変換した輝度成分の分布を用いて、輝度改善部４により画像データの輝度成分の分布を改善する（ステップＳ１０５）。

以上、（ステップＳ１０３）〜（ステップＳ１０５）の処理は第１の実施形態の処理と同じであるので説明を省略する。

次に、画像再生部５により、改善された輝度成分とＳ１０２で変換された色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）とを合成し、画像データを再構成する（ステップＳ１０６）。

ここで、まず、再構成後の画像データの色ができるだけ変化しないように、色成分を輝度成分の変更にしたがって修正する。例えば、色成分Ｘ（ｘ，ｙ）、Ｚ（ｘ，ｙ）にそれぞれ輝度成分の変更前後の比Ｙ'（ｘ，ｙ）／Ｙ（ｘ，ｙ）を乗算する。そして、Ｘ、Ｙ、ＺのデータからＲＧＢのデータを求める。さらに、３行３列のマトリクス演算および逆ガンマ変換の処理を行い、ＲＧＢ各１６ビット出力とする。さらにＲＧＢ各１６ビットの上位８ビットを取り出し、ＲＧＢ各８ビット出力とする。

なお、以上の説明では被写体輝度に対して線形関係にある輝度階調を（ステップＳ１０５）の処理で改善するようにしたが、（ステップＳ１０２）の輝度成分の抽出処理で逆ガンマ変換の処理を行い、その後（ステップＳ１０３）〜（ステップＳ１０５）の処理を施すことで輝度改善を行うようにしてもよい。この場合、（ステップＳ１０６）の再構成の処理では逆ガンマの処理を行う必要がないことは言うまでもない。

また、デジタルカメラで撮影された１６ビットＲＡＷデータは元のデータが１６ビット階調の全レンジに渡って分布せず低いレンジに偏って出力されている場合がある。このような場合にはコントラストを強調するための階調カーブによる補正処理をＲＧＢ各１６ビットの出力に対して行い、最終出力であるＲＧＢ各８ビットにする。

例えば、ＲＧＢ各１６ビットの出力に対して輝度のヒストグラムを作成し明暗部から累積した頻度が所定の割合になる明暗輝度レベルをそれぞれ求め、それぞれ最大、最小レベルに変換するような写像を求め、ＲＧＢそれぞれの値に対して適用し、８ビット出力するようにする。なお、さらに中間調の階調再現を補正するための明暗部を多少つぶし気味にしたいわゆるＳ字の階調変換を行うようにしてもよい。

また、（ステップＳ１０２）で抽出された輝度成分に対してあらかじめ輝度のヒストグラムを作成し、例えば明部および暗部からの頻度が０.１％程度の輝度レベルを１６ビットにおける最大値および最小値（すなわち、６５５３５と０）になるように輝度レベル補正を行うようにしてもよい。

なお、本実施形態のように元の画像データの階調数が出力する画像データの階調数よりも大きいと、元の画像データの階調再現の性能を十分に生かした再生が可能である。

以上説明した処理は、例えば、デジタルカメラはカメラ内部においてＲＧＢ各８ビットを超える階調数を持っているので、デジタルカメラ内部での階調圧縮処理に適用できる。

また、通常カメラの再現階調数の方がディスプレイやプリンタの再現階調数よりも大きいので、カメラの階調をプリンタの階調に変換するような所定の階調数の圧縮に広く適用できる。また、カメラで撮影された複数のデジタル画像を合成してダイナミックレンジを拡大した画像の圧縮に適用してもよいことは言うまでもない。また、コンピュータが扱う画像データの階調数がプリンタの再現階調数よりも大きい場合にも階調圧縮として適用してもよいことは言うまでもない。

以上説明したように、本発明によれば、画像データから輝度成分を抽出する輝度抽出手段と、前記輝度成分の比較的大きな尺度での分布を求めるスケール変換手段と、前記輝度成分と前記スケール変換手段の出力とを用いて前記画像データの輝度分布を改善する輝度改善手段と、前記輝度改善手段の出力を新たな画像の輝度分布として画像データを再生する画像再生手段とを備えた画像処理システムにおいて、前記輝度改善手段は中間輝度を設定し、前記スケール変換手段の出力が前記中間輝度よりも大きい場合には前記輝度改善手段の出力を元の輝度成分に対して小さくなるように、前記スケール変換手段の出力が前記中間輝度よりも小さい場合には前記輝度改善手段の出力を元の輝度成分に対して大きくなるように前記画像データの輝度分布を改善するようにしたので、処理するデジタル画像の中間部の明るさを変えない領域を画像に応じて制御でき、明部および暗部の改善を行うことができる。

（他の実施形態）
上述の実施形態では、明るさを示す成分として輝度成分を用いたが、ＬＣＨ空間のＬ値や、ＲＧＢ成分のＧ成分などの他の明るさを示す成分を使用しても構わない。

また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の画像処理システムの実施形態の構成を示す図である。 本発明の実施形態の画像処理システムにおけるアプリケーションプログラムのアルゴリズムを示す図である。

符号の説明

１ 画像入力部
２ 輝度抽出部
３ スケール変換部
４ 輝度改善部
５ 画像再生部
６ パラメータ調整部
７ 記憶部
１０ 画像処理装置

Claims (11)

1. 画像データから輝度成分を抽出する輝度抽出工程と、
   該輝度抽出工程において抽出された前記輝度成分の分布を所定の尺度で求めるスケール変換工程と、
   前記画像データに対する中間輝度値を設定し、前記スケール変換工程において変換された輝度分布のうち、前記中間輝度値よりも大きい輝度値に対しては、該大きい輝度値に対応するスケール変換される前の輝度値を小さくするように補正し、前記中間輝度値よりも小さい輝度値に対しては、該小さい輝度値に対応するスケール変換される前の輝度値を大きくするように補正する輝度改善工程と、
   該輝度改善工程において改善された輝度分布を新たな画像の輝度分布として画像データを再生する画像再生工程と、
   を具備することを特徴とする画像処理方法。
2. 前記画像データの階調数は前記画像再生工程において再生する画像データの階調数よりも大きいことを特徴とする請求項１に記載の画像処理方法。
3. 前記輝度改善工程では、前記輝度抽出工程における出力である輝度成分値をＡ、前記スケール変換工程における出力である輝度成分値をＢ、前記中間輝度をＣ、輝度改善のパラメータをＤ，Ｅとするとき、
   Ｂ≦Ｃの場合、（Ｃ／Ｂ）^Ｄ・Ａ
   Ｂ＞Ｃの場合、 １−｛（１−Ｃ）／（１−Ｂ）｝^Ｅ・（１−Ａ)
   で表わされる特性に基づいて輝度変換することを特徴とする請求項１に記載の画像処理方法。
4. 前記輝度改善工程では、前記輝度抽出工程における出力である輝度成分値をＡ、前記スケール変換工程における出力である輝度成分値をＢ、前記中間輝度をＣ、輝度改善のパラメータをＤとするとき、
   Ａ^{｛（１−Ｄ）＋Ｄ（Ｂ／Ｃ）｝}
   で表わされる特性に基づいて輝度変換することを特徴とする請求項１に記載の画像処理方法。
5. 画像データから明るさ成分を抽出する明るさ成分抽出工程と、
   前記明るさ成分の分布を所定の尺度で求めるスケール変換工程と、
   明部に対するパラメータ、暗部に対するパラメータとを用いて、前記明るさ成分に対して、前記スケール変換工程の出力値に基づく階調補正を行なうことを特徴とする画像処理方法。
6. 請求項１乃至５のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
7. 請求項６に記載のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする記憶媒体。
8. 画像データから輝度成分を抽出する輝度抽出手段と、
   該輝度抽出手段により抽出された前記輝度成分の分布を所定の尺度で求めるスケール変換手段と、
   前記画像データに対する中間輝度値を設定し、前記スケール変換手段により変換された輝度分布のうち、前記中間輝度値よりも大きい輝度値に対しては、該大きい輝度値に対応するスケール変換される前の輝度値を小さくするように補正し、前記中間輝度値よりも小さい輝度値に対しては、該小さい輝度値に対応するスケール変換される前の輝度値を大きくするように補正する輝度改善手段と、
   該輝度改善手段によって改善された輝度分布を新たな画像の輝度分布として画像データを再生する画像再生手段と、
   を具備することを特徴とする画像処理装置。
9. 前記画像データの階調数は前記画像再生手段で再生する画像データの階調数よりも大きいことを特徴とする請求項８に記載の画像処理装置。
10. 前記輝度改善手段は、前記輝度抽出手段の出力である輝度成分値をＡ、前記スケール変換手段の出力である輝度成分値をＢ、前記中間輝度をＣ、輝度改善のパラメータをＤ，Ｅとするとき、
    Ｂ≦Ｃの場合、（Ｃ／Ｂ）^Ｄ・Ａ
    Ｂ＞Ｃの場合、 １−｛（１−Ｃ）／（１−Ｂ）｝^Ｅ・（１−Ａ)
    で表わされる特性に基づいて輝度変換することを特徴とする請求項８に記載の画像処理装置。
11. 前記輝度改善手段は、前記輝度抽出手段の出力である輝度成分値をＡ、前記スケール変換手段の出力である輝度成分値をＢ、前記中間輝度をＣ、輝度改善のパラメータをＤとするとき、
    Ａ^{｛（１−Ｄ）＋Ｄ（Ｂ／Ｃ）｝}
    で表わされる特性に基づいて輝度変換することを特徴とする請求項８に記載の画像処理装置。

Images