JP2006114006A - 階調変換装置、プログラム、電子カメラ、およびその方法 - Google Patents

Abstract

【課題】目的は、画像全体の明暗バランスの調整と独立して、細部の階調の立ち方を調整する階調変換技術を提供することである。
【解決手段】階調変換装置は、原画像の階調を変換する装置であって、第１階調変換部、近傍処理部、および第２階調変換部を備える。第１階調変換部は、原画像を階調変換して第１階調変換結果を生成する。近傍処理部は、第１階調変換結果の画素［ｉ，ｊ］の近傍領域に関する信号ＺＬ［ｉ，ｊ］を生成する。第２階調変換部は、信号ＺＬ［ｉ，ｊ］に依存させて、第１階調変換結果に階調変換を行って第２階調変換結果を生成する。
【選択図】図１

Description

本発明は、画像の階調変換技術に関する。

（特許文献１の従来技術）
従来、下記の特許文献１に記載される階調変換技術が知られている。
この従来技術では、まず、輝度信号Ｙを、下式により求める。
Ｙ＝0.3・Ｒ＋0.59・Ｇ＋0,11・Ｂ ・・・［１］
次に、この輝度信号Ｙについて、所定の階調変換Ｙ′＝ｆ（Ｙ）を行い、変換後の輝度信号Ｙ′を求める。ここでの階調変換には、ガンマ変換特性ｆ（Ｙ）＝Ｙ＾γまたは、自由な非線形関数などが使用される。この変換前後の比率を算出し、変換ゲインｋ（Ｙ）とする。
この変換ゲインｋ（Ｙ）を、画像の色成分ＲＧＢそれぞれに乗算することにより、
Ｒ′＝ｋ（Ｙ）・Ｒ
Ｇ′＝ｋ（Ｙ）・Ｇ
Ｂ′＝ｋ（Ｙ）・Ｂ ・・・［２］
を算出し、階調変換後の色成分Ｒ′Ｇ′Ｂ′を求める。

（レチネックス法）
また従来、階調補正方式としてレチネックス法（Retinex Method）も知られている。このレチネックス法では、階調の微小変化を強調して、暗部などに隠れていた階調を浮き上がらせることができる。
特開平４−１５０１７１号公報

ところで、特許文献１の従来技術では、単一の階調変換特性を用いるため、画面全体の大局的な明暗バランスの調整に適している。しかしながら、細部の階調を特に強調して、画像のメリハリやディテール感を高めるといった画像処理は不可能である。

一方、レチネックス法の従来技術では、細部の階調を強調するに従って、画像の暗部が明るくなる。すなわち、画像全体の明暗バランスの調整と独立に、細部の階調補正を実施形態することが困難であった。

本発明の目的は、上記２つの従来技術では不可能な処理、すなわち、画像全体の明暗バランスの調整と独立して、細部の階調の立ち方を調整する階調変換技術を提供することである。

《１》 本発明の階調変換装置は、原画像の階調を変換する装置であって、第１階調変換部、近傍処理部、および第２階調変換部を備える。
第１階調変換部は、原画像を階調変換して第１階調変換結果を生成する。
近傍処理部は、第１階調変換結果の画素［ｉ，ｊ］の近傍領域の画素の明るさに応じて変化する信号ＺＬ［ｉ，ｊ］を生成する。
第２階調変換部は、信号ＺＬ［ｉ，ｊ］に依存させて、第１階調変換結果に階調変換を行って第２階調変換結果を生成する。

《２》 なお好ましくは、第２階調変換部は、第１階調変換結果と第２階調変換結果を画像合成して、階調変換出力を生成する。

《３》 また好ましくは、原画像を階調変換して第１階調変換結果を生成する際に用いる信号を、前記原画像を構成する各画素[i,j]の明るさと複数の色差情報を基に得られた信号とする。

《４》 なお好ましくは、原画像を階調変換して第１階調変換結果を生成する際に用いる信号を、前記原画像を構成する各画素[i,j]のＲＧＢ色成分の最大値を示す信号とする。

《５》 本発明の別の階調変換装置は、原画像の階調を変換する装置であって、信号取得部、近傍処理部、第１ゲイン生成部、第２ゲイン生成部、ゲイン合成部、および階調変換部を備える。
信号取得部は、原画像の画素［ｉ，ｊ］から明るさに応じて変化する信号Ｚ［ｉ，ｊ］を抽出または生成する。
近傍処理部は、画素［ｉ，ｊ］の近傍領域の画素の明るさに応じて変化する信号ＺＬ［ｉ，ｊ］を生成する。
第１ゲイン生成部は、信号Ｚ［ｉ，ｊ］に応じて変換ゲインｋを生成する。
第２ゲイン生成部は、信号Ｚ［ｉ，ｊ］および信号ＺＬ［ｉ，ｊ］に応じて変換ゲインｋｓを生成する。
ゲイン合成部は、変換ゲインｋ，ｋｓに応じて、変換ゲインｋｆを生成する。
階調変換部は、画素［ｉ，ｊ］の変換ゲインｋｆを、画素［ｉ，ｊ］の色成分または色成分から生成した信号成分に乗ずることで階調変換を行う。

《６》 なお好ましくは、変換ゲインｋｆは、
ｋｆ＝ｋ・ｋｓ
または、
ｋｆ＝ｋ・（a1＋ａ２・ｋｓ）／（a1＋ａ２）
（ただし、ａ１，ａ２は合成の重みであり、少なくともａ２は０でない）
のいずれかである。

《７》 また好ましくは、変換ゲインｋｓは、ＺとＺＬの比に対応する値である。

《８》 なお好ましくは、
Ｑ［ｉ，ｊ］＝（Ｚ［ｉ，ｊ］＋δ１）／（ＺＬ［ｉ，ｊ］＋δ２）
（ただし、δ１，δ２は、発散防止対策の微少値）
なるＱを用いて、変換ゲインｋｓを、Ｑ［ｉ，ｊ］＾ｐ、あるいはＱ［ｉ，ｊ］の単調増加関数とする（ただし、＾はべき乗演算子）。

《９》 また好ましくは、変換ゲインｋｓは、下記関数Ｑを用いて決定される。
Ｑ［ｉ，ｊ］＝ｇ（Ｚ［ｉ，ｊ］）／ｇ（ＺＬ［ｉ，ｊ］）
（ただし、関数ｇ（）は、少なくとも単調増加域を有する関数である）

《１０》 なお好ましくは、変換ゲインｋｓは、前述の関数Ｑを用いた以下の式に基づいて決定される。
ｋｓ＝（Ｑ[i,j]-1）×α＋１
（ただし、αは定数または関数Ｑの大きさに応じて変化する変数である）

《１１》 なお好ましくは、変換ゲインｋｓは、明るい画面内箇所では、暗い画面内箇所に比較して比Ｚ／ＺＬへの依存性が少なくなり、かつ所定値に近づく値である。

《１２》 また好ましくは、
Ｑ［ｉ，ｊ］＝｛（Ｚ［ｉ，ｊ］＋δ１）／（ＺＬ［ｉ，ｊ］＋δ２）｝＾ｐ１
（ただし、δ１，δ２は、発散防止対策の微少値）
ｔ＝（Ｚ［ｉ，ｊ］／Ｚｍ）＾ｐ２
（ただし、ｐ１，ｐ２，Zmは所定値）
ｋｓ＝Ｑ［ｉ，ｊ］・（１−ｔ）＋ｔ
により、変換ゲインｋｓを決定する。

《１３》 なお好ましくは、信号Ｚは、原画像の画素[i,j]を構成するＲＧＢ信号の最大値を示す信号を基に抽出または生成された信号である。また好ましくは、信号ＺＬは、前記近傍領域の画素を構成するＲＧＢ信号の最大値を示す信号を基に生成された信号である。

《１４》 なお好ましくは、信号Ｚは、原画像の画素[i,j]の明るさと複数の色差情報を基に得られた信号である。

《１５》 本発明の別の階調変換装置は、原画像の階調を変換する装置であって、信号取得部、近傍処理部、ゲイン生成部、および階調変換部を備える。
信号取得部は、原画像の画素［ｉ，ｊ］から明るさに応じて変化する信号Ｚ［ｉ，ｊ］を抽出または生成する。
近傍処理部は、画素［ｉ，ｊ］の近傍領域の画素の明るさに応じて変化する信号ＺＬ［ｉ，ｊ］を生成する。
ゲイン生成部は、信号Ｚ［ｉ，ｊ］とＺＬ［ｉ，ｊ］に依存させて、変換ゲインｋｓを生成する［ただし、変換ゲインｋｓは、信号Ｚまたは信号ＺＬが明るい画面内箇所では、暗い画面内箇所に比較して、比Ｚ／ＺＬへの依存性が少なくなり、かつ所定値に近づく値である］。
階調変換部は、画素［ｉ，ｊ］の変換ゲインｋｆを、画素［ｉ，ｊ］の色成分または色成分から生成した信号成分に乗ずることで階調変換を行う。

《１６》 本発明の階調変換プログラムは、コンピュータを、上記《１》ないし《１５》のいずれか１項に記載の階調変換装置として機能させるためのプログラムである。

《１７》 本発明の電子カメラは、上記《１》ないし《１５》のいずれか１項に記載の階調変換装置と、被写体を撮像して原画像を生成する撮像部とを備える。この電子カメラでは、撮像部で生成された原画像を、階調変換装置を用いて階調変換する。

《１８〜２０》 本発明の階調変換方法は、上記《１》《５》《１５》のいずれか一つに対応する方法である。

本発明は、画像全体に対する明暗バランスの調整と独立して、近傍領域の明るさに応じて変化する信号ＺＬを用いた細部の階調調整を実施する。その結果、画像全体の明暗バランスと、細部の階調再現との双方を、高い次元で両立させることが可能になる。

《第１実施形態》
図１は、階調変換装置１１の構成を示す図である。
図１において、階調変換装置１１は、下記の構成要件を備える。
（１）第１階調変換部１２・・原画像を階調変換して、大局的な明暗バランスを調整し、第１階調変換結果を得る。
（２）近傍処理部１３・・第１階調変換後の画素［ｉ，ｊ］の近傍領域を処理して信号ＺＬを生成する。
（３）第２階調変換部１４・・信号ＺＬに依存させて、第１階調変換結果に階調変換を行って第２階調変換結果を生成する。さらに、第１階調変換結果と第１階調変換結果を画像合成して、階調変換出力を生成する。
上述した階調変換装置１１は、その一部または全部をハードウェアにより構成してもよい。また、階調変換プログラムを用いることで、コンピュータ上において階調変換装置１１をソフトウェア的に実現してもよい。

図２は、このような階調変換装置１１を搭載した電子カメラ２１を示す図である。
図２において、電子カメラ２１には、撮影レンズ２２が装着される。この撮影レンズ２２の像空間側には、不図示の絞りやシャッターを介して、撮像素子２３の撮像面が配置される。この撮像素子２３から出力される画像信号は、Ａ／Ｄ変換部２４などを介した後、原画像として階調変換装置１１に入力される。この階調変換装置１１は、原画像に対して階調変換を施す。階調変換装置１１から出力された画像信号は、画像処理部２５を介して画像処理された後、記録部２６に保存記録される。
なお、階調変換装置１１は、記録部２６から記録済みの画像データを後から読み出して、階調変換を実施することも可能である。

図３は、第１実施形態における階調変換装置１１の動作を説明する流れ図である。
原画像を構成する複数の色成分としては、（Ｒ，Ｇ，Ｂ）、（Ｙ，Ｃｒ，Ｃｂ）、（Ｌ，ａ，ｂ）等の場合が多い。以下、これらの場合を中心に階調変換装置の動作を説明するが、他の色空間の場合も同様に処理出来る。なお、以下の説明での各ｓｔｅｐ番号は、図３に示すフローチャートのｓｔｅｐ番号に対応する。

［ステップＳ１］ 第１階調変換部１２は、入力される原画像から明るさに関する信号Ｚ［ｉ，ｊ］を抽出もしくは生成する。なお、［ｉ，ｊ］は画素の座標を示す。
この信号Ｚを算出する方法としては、例えば、輝度信号Y（Y=a1・R+a2・G+a3・B）を用いてもよい。また、原画像がＹＣｒＣｂで表現されている場合は、輝度信号Ｙをそのまま使うことも出来る。しかしながら、このＹを用いると、赤色や青色の彩度が高い領域が階調変換後に飽和する事が多いという欠点がある。そこで、好ましくは、
Ｚ＝max(R,G,B)・・・（１）
もしくはこれに類する関数を明るさに関する信号として用いる事が好ましい。
信号Ｚとして好ましい信号は、ＲＧＢ成分で考えた場合にＲの大きい所ではＲの寄与が大きく、Ｇの大きい所ではＧの寄与が大きく、Ｂの大きい所ではＢの寄与が大きくなるような関数である。
例えば、原画像がＲＧＢ色空間の信号ならば、Ｚ＝max(R,G,B)で求めればよい。
一方、原画像がＹＣｒＣｂ色空間の信号ならば、ＲＧＢに変換してＺ＝max(R,G,B)を求めることもできるが、計算の簡単化を考えると、
例えば輝度Ｙと色差ＣｂＣｒを用いて
Ｚ＝Ｙ＋ｗ１・｜Ｃｒ｜＋ｗ２・｜Ｃｂ｜ ・・・・（２）
（例えば、ｗ１＝ｗ２＝１／２が好ましい）
のような関数を用いることも出来る。
また、原画像がＬａｂ色空間の信号ならば、ＲＧＢに変換してからＺ＝max(R,G,B)を用いることが出来るが、計算の簡単化を考えると、
例えば輝度Ｌと色差ａ，ｂを用いて
Ｚ＝Ｌ＋ｗ１・｜a｜＋ｗ２・｜ｂ｜ ・・・・・・（３）
（例えば、ｗ１＝ｗ２＝１／２が好ましい）
のような関数を用いることも出来る。
なお、原画像が画素単位に欠落色成分を有するＲＡＷデータの場合、画素［ｉ，ｊ］の欠落色成分の代わりに近傍の色成分を代用することで、上記の信号Ｚを求めてもよい。また、ＲＡＷデータの欠落色成分を補間処理で生成した後に、上記の信号Ｚを求めてもよい。

［ステップＳ２］ 第１階調変換部１２は、信号Ｚ［ｉ，ｊ］に依存させて変換ゲインｋ（Ｚ）を生成する。
このステップにおける変換ゲインｋの作り方はどのようなやり方でもよい。最も単純な方法は、下記のガンマ変換式を用いる処理である。
ｋ（Ｚ）＝Ｚ＾γ ・・・・・（４）
一般的に、暗い原画像を明るい画像に変換することが多いので、γの値としては、０．１＜γ＜１の範囲の適当な値例えば０．５に設定すればよい。実際には原画像平均の明るさと目標とする画像の明るさに依存させてγの値を変更することが好ましい。
また、Ｚの値の小さい（暗い）部分の階調飛びを抑えるために、暗部のガンマカーブを１次関数（線形関数）に置き換えてもよい。
なお、ｋ（Ｚ）＝（Ｚ＋δ）＾γとしてもよいし、特定の関数で表せない場合はＺとｋ（Ｚ）の関係をＬＵＴ（ルックアップテーブル）として持つようにしてもよい。

［ステップＳ３］ 第１階調変換部１２は、変換ゲインｋを用いて、原画像の色成分もしくは原画像の色成分から合成した色成分に階調変換を施して、第１階調変換結果（’を付与して示す）を生成する。
原画像がＲＧＢ画像の場合は、Ｒ’＝ｋ・Ｒ、Ｇ’＝ｋ・Ｇ、Ｂ’＝ｋ・Ｂとなる。 原画像がＹCbCr画像の場合は、Ｙ’＝ｋ・Ｙ、Ｃ１’＝ｋ１・Ｃ１、Ｃ２’＝ｋ１・Ｃ２（Ｃ１，Ｃ２は色差）となる。
原画像がＬａｂ画像の場合は、Ｌ’＝ｋ・Ｌ、ａ’＝ｋ１・ａ、b’＝ｋ１・bとなる。
なお、式中のｋ１は、ｋをそのまま用いるか、彩度の調整を含めてｋを補正した関数を使用することが好ましい。なお、kへの補正の処理としては、定数ｃ倍（例えば０．８倍）するｋ１＝ｃ・ｋ（Ｚ）とか、明るさに依存した彩度調整をするためにＺに依存した適当な形の関数ｔ（Ｚ）を用いて、ｋ１＝ｔ（Ｚ）・ｋ（Ｚ）とか、ｋ１＝ｋ（ｔ（Ｚ））などとすることが好ましい。

［ステップＳ４］ 近傍処理部１３は、第１階調変換結果から、明るさに関する信号Ｚｓ［ｉ，ｊ］を抽出もしくは生成する。
生成方法はステップＳ１で述べたのと同様の方法である。例えば、
Ｚｓ＝max(R’,G’,B’) ・・・・・・（１）’
Ｚｓ＝Ｙ’＋（｜Ｃｒ’｜＋｜Ｃｂ’｜）／２・・・・・・（２）’
Ｚｓ＝Ｌ’＋（｜a’｜＋｜ｂ’｜）／２・・・・・・（３）’
等の処理を行えばよい。

［ステップＳ５］ 近傍処理部１３は、画素［ｉ，ｊ］の近傍領域の明るさに応じて変化する信号ＺＬ［ｉ，ｊ］を得る。例えば、近傍領域の画像信号（例えば、信号Ｚ、色信号、または色信号の合成値、明るさおよび彩度を反映する信号など）に対して、平滑化、ローパス化、または、ぼかし処理などを実施して、各画素の明るさの大きさを畳み込んだ明るさに応じて変化する信号ＺＬを求める。
具体的には、近傍領域に位置する複数の画像信号を母集団として、平均値、重み付き平均値、中央値、最頻度値、最小最大を除いた値の平均値、信号Ｚから所定範囲内に入る近傍画素値の平均値などを求めて、信号ＺＬとする。
また例えば、画素単位に欠落色成分を有するＲＡＷデータの場合、画素［ｉ，ｊ］の欠落色成分の代わりに近傍の色成分を代用することで、上記の信号ＺＬを求めてもよい。また、ＲＡＷデータの欠落色成分を補間処理で生成した後に、上記の信号ＺＬを求めてもよい。
なお好ましくは、画素［ｉ，ｊ］の周囲の近傍画素の内から、画素［ｉ，ｊ］となるべく値が離れた画素を選択し、その画素の画像信号またはその局所平均値を求めて、信号ＺＬとしてもよい。この場合、信号Ｚ，ＺＬの値に非等方な画像構造が反映するので、結果的に非等方な階調の立ち方を調整（強調や抑制）することが可能になる。
なお、近傍領域の大きさを示す半径ｒの目安としては、原画像の対角長の０．０１から０．５位の範囲の適当な値例えば０．０５等が好ましい。また、複数の半径について信号ＺＬをそれぞれ求め、これらを加重平均して信号ＺＬとしてもよい。
なお、この信号ＺＬに対して、べき乗などの非線形処理や正規化などの処理を施してもよい。

［ステップＳ６］ 第２階調変換部１４は、信号ＺＬ［ｉ，ｊ］に依存させて、変換ゲインｋｓ（ＺＬ）を生成する。
該信号ＺとＺＬに依存させて生成する変換ゲインｋｓは、概ねＺとＺＬの比に依存する関数として定める。最も単純な例としては
ｋｓ（ＺＬ）＝ｃ・｛（Ｚ）／（ＺＬ＋δ）｝＾ｐ
のように比（Ｚ／ＺＬ）に適当な重み付けを行った関数である。
なお、より一般的な式の展開は第２実施形態で説明する。

［ステップＳ７］ 第２階調変換部１４は、変換ゲインｋｓを用い、第１階調変換結果に階調変換を行い、次の第２階調変換結果（’’を付与して示す）を生成する
原画像がＲＧＢ画像の場合は、Ｒ’’＝ｋｓ・Ｒ’、Ｇ’’＝ｋｓ・Ｇ’、Ｂ’’＝ｋｓ・Ｂ’となる。
原画像がＹCbCr画像の場合は、Ｙ’’＝ｋｓ・Ｙ’、Ｃ１’’＝ｋｓ１・Ｃ１’、Ｃ２’’＝ｋｓ１・Ｃ２’（Ｃ１，Ｃ２は色差）となる。
原画像がＬａｂ画像の場合は、Ｌ’’＝ｋｓ・Ｌ’、ａ’’＝ｋｓ１・ａ’、b’’＝ｋｓ１・b’となる。
なお、式中のｋｓ１はｋｓそのまま、もしくはｋｓを補正した関数である。
これにより、第１階調変換画像に対して、局所的に階調の立った第２階調変換画像がえられる。
さらに、局所的な階調の立ち方を制御するには、step6の諸パラメータを変更する事で可能となるが、第１階調変換結果と第２階調変換結果を所定の重みで合成して合成画像を生成し、合成の重みを変更すれば、高速に階調の立ち方を変えた画像を得ることができる。

《第２実施形態》
図４は、階調変換装置３１の構成を示す図である。
図４において、階調変換装置３１は、下記の構成要件を備える。
（１）信号取得部３２・・原画像の各画素から信号Ｚを得る。
（２）近傍処理部３３・・原画像の各画素の近傍領域を処理して信号ＺＬを得る。
（３）第１ゲイン生成部３４・・信号Ｚに依存して、変換ゲインｋを生成する。
（４）第２ゲイン生成部３５・・信号ＺＬに依存して、変換ゲインｋｓを生成する。
（５）ゲイン合成部３６・・２種類の変換ゲインｋ，ｋｓに応じて、変換ゲインｋｆを生成する。
（６）階調変換部３７・・原画像の各画素の信号分に変換ゲインｋとを乗じて、階調変換を行う。

上述した階調変換装置３１は、その一部または全部をハードウェアにより構成してもよい。また、階調変換プログラムを用いることで、コンピュータ上において階調変換装置３１をソフトウェア的に実現してもよい。
なお、階調変換装置３１を電子カメラに搭載する構成については、第１実施形態（図２）と同じため、ここでの説明を省略する。

図５は、第２実施形態における階調変換装置３１の動作を説明する流れ図である。以下、図５に示すステップ番号に沿って、動作を説明する。

［ステップＳ１１］ 信号取得部３２は、第１実施形態と同様の処理で、原画像から、明るさに関する信号Ｚ［ｉ，ｊ］を抽出もしくは生成する。

［ステップＳ１２］ 第１ゲイン生成部３４は、第１実施形態と同様の処理で、信号Ｚ［ｉ，ｊ］に依存させて変換ゲインｋ（Ｚ）を生成する。

［ステップＳ１３］ 一方、近傍処理部３３は、原画像の画素［ｉ，ｊ］の近傍領域を処理して信号ＺＬ［ｉ，ｊ］を生成する。この処理については、第１実施形態のステップＳ５と同じ処理のため、ここでの説明を省略する。

［ステップＳ１４］ 第２ゲイン生成部３５は、「信号ＺＬ」または「信号ＺＬおよび信号Ｚ」の一方に応じて、変換ゲインｋｓを生成する。信号Ｚ，ＺＬに依存させて生成する変換ゲインｋｓは、概ねＺとＺＬの比に依存する関数として定めることが好ましい。即ちＱ［ｉ，ｊ］＝（Ｚ／ＺＬ）あるいはより一般的に、微少量δ１，δ２を用いてＱ［ｉ，ｊ］＝（Ｚ［ｉ，ｊ］＋δ１）／（ＺＬ［ｉ，ｊ］＋δ２）としてもよい。
更に一般的表現にすると、Ｑ［ｉ，ｊ］＝ｇ（Ｚ［ｉ，ｊ］）／ｇ（ＺＬ［ｉ，ｊ］）としてもよい。ただし、該関数ｇ（ｘ）はｘの単調増加関数で、例えばベキ乗関数ｘ＾ｔとかその変形（ｘ＋ｃ）＾ｔ、あるいは該変換ゲインｋを用いてｇ（ｘ）＝ｋ（ｘ）・ｘで表される関数及びその変形、あるいは所定の単調増加関数としてLUTで与えるものが好ましい。

この関数Ｑを用いて、変換ゲインｋｓ（Ｑ）を、単純なベキ乗関数ｋｓ（Ｑ）＝Ｑ＾ｐ、あるいはより一般的にＱの単調増加関数として、例えば、図６に示す実線カーブや、破線カーブのように与えてもよい。
なお、このようなカーブとして、次の式、ｋｓ＝（Ｑ[i,j]-1）×α＋１で表現されるカーブを使用することが好ましい。なお、αをＱ[i,j]に依存して変化する変数とすることが好ましい。この場合、変数αはＱ[i,j]の範囲に応じて、決まった定数を与えることが好ましい。例えば、Ｑ[i,j]で表される近傍画素と当該画素の明るさの差異によって、変換ゲインの関数Ｑに対する勾配を決定することで、画像全体の明暗バランスを維持しつつ、局部的に好ましい印象を与える階調補正を可能にできる。なお、演算処理の負荷を低減するために、αを定数にしてもよい。この場合も、画面全体の明暗バランスを維持しつつ、ある程度まで局部的に好ましい階調補正を行うことが可能である。

このような処理により、変換ゲインｋｓは、Ｑの関数ｋｓ（Ｑ）であり、信号Ｚ，ＺＬに依存して変化する関数ｋｓ（Ｚ，ＺＬ）となる（図７参照）。
なお、このような処理によって、画像の過度の階調増加に伴い、明るい部分での明暗境界で帯状のオーバーシュートやアンダーシュートが目立つ場合がある。そのような場合の対策としては、変換ゲインｋｓ（Ｚ，ＺＬ）は、Ｚ［ｉ，ｊ］もしくはＺＬ［ｉ，ｊ］が大きい（明るい部分）では、Ｚ［ｉ，ｊ］もしくはＺＬ［ｉ，ｊ］が小さい（暗い部分）におけるよりも、比Ｚ［ｉ，ｊ］／ＺＬ［ｉ，ｊ］への依存性が少なくなり、かつ所定値に近づく様な関数が有効である。

そのような関数の具体的な例としては、
Ｑ［ｉ，ｊ］＝｛（Ｚ［ｉ，ｊ］＋δ１）／（ＺＬ［ｉ，ｊ］＋δ２）｝＾ｐ１ （ただし、式中のδ１，δ２は、発散防止対策の微少量）
ｔ＝ｃ・（Ｚ［ｉ，ｊ］／Ｚｍ）＾ｐ２ ； ｛0<=ｔ＜＝１｝
（ただし、ｐ１，ｐ２，Zmは所定値）
ｋｓ［ｉ，ｊ］＝Ｑ［ｉ，ｊ］・（１−ｔ）＋ｔ
などが好ましい。

［ステップＳ１５］ ゲイン合成部３６は、該変換ゲインｋとｋｓとを用いて、変換ゲインｋｆを生成する。例えば、変換ゲインｋｆは以下のように与えられる。
ｋｆ＝ｋ・ｋｓ
あるいは、少なくともa2は０でない合成の重みa1,a2を用いて、
ｋｆ＝ｋ・（a1＋ａ２・ｋｓ））／（a1＋ａ２）
により算出してもよい。
なお、ゲインｋに対しては（１）（２）（３）式等で与えられる信号Ｚを使うことが望ましいが、ｋｓについてはＺの代わりにＹ、ＺＬの代わりにＹをローパスまたはぼやかしたＹＬを用いてもよい。
プログラムの流れによっては、Ｙを用いた方が高速化をはかることができる。

［ステップＳ１６］ 階調変換部３７は、原画像の少なくとも一つの色成分、もしくは原画像の色成分から合成された色成分に該変換ゲインｋｆを乗じて階調変換された画像（’’を付加して示す）は、次のようになる。
原画像がＲＧＢ画像の場合は、Ｒ’’＝ｋｆ・Ｒ、Ｇ’’＝ｋｆ・Ｇ、Ｂ’’＝ｋｆ・Ｂとなる。
原画像がＹCbCr画像の場合は、Ｙ’’＝ｋｆ・Ｙ、Ｃ１’’＝ｋｆ１・Ｃ１、Ｃ２’’＝ｋｆ１・Ｃ２（Ｃ１，Ｃ２は色差）となる。
原画像がＬａｂ画像の場合は、Ｌ’’＝ｋｆ・Ｌ、ａ’’＝ｋｆ１・ａ、b’’＝ｋｆ１・bとなる。
なお、式中のｋｆ１はｋｆそのまま、もしくはｋｆを補正した関数である。

なお、信号Ｚと信号ＺＬの組み合わせについて、好ましい組み合わせを本発明者は実験により見出している。
例えば、信号Ｚとして、輝度または明度のような明るさと、色差情報（ＹＣｂＣｒのＣｂＣｒや、Ｌａｂのａｂなど）とを含む信号を採用する場合、信号ＺＬとしては近傍領域の明るさに関する信号を採用することで優れた効果が得られる。具体的には、信号ＺＬとして、ＹＣｂＣｒのＹに相当する信号を採用する。また、信号ＺＬとして、ＬａｂのＬに相当する信号を採用する。また、信号ＺＬとして、max（ＲＧＢ）に相当する信号を採用してもよい。もちろん、予め信号Ｚを得る際に使用した『明るさ』と『色差情報』とに基づいて信号ＺＬを生成してもよい。

他にも、上記ほどの効果は得られなかったが、信号Ｚについてはmax（ＲＧＢ）を採用し、信号ＺＬについても近傍領域のmax（ＲＧＢ）から得た信号を採用しても適度な効果が得られる。特に、原画像がＲＧＢ色空間で表されている場合は、演算処理に関する負荷が小さくなる点で好ましい。特に、電子カメラなど、ハードの演算処理能力に制限のある機器に対して好適である。

《実施形態の補足事項》
なお、上述した実施形態では、階調変換装置、コンピュータまたは電子カメラを用いて、階調変換を実施するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、インターネット上の画像処理サーバー（画像アルバムサーバーなど）において、ユーザーから伝送される画像データに対して、上述の階調変換方法をサービス提供してもよい。

また、上述した実施形態では、画面全体に対して階調変換を実施するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、画面の一部（主要被写体、陰影部、トリミング範囲、顔認識領域、人物や肌色領域を除いた背景部分など）に限って、階調変換を実施してもよい。

なお、上述した実施形態では、原画像から信号ＺＬなどを生成している。しかしながら、電子カメラでは、縮小画像を別途生成するケースがある。このような場合、縮小画像から信号ＺＬを取得または生成することが好ましい。このような動作により、階調変換の処理時間を更に短縮することができる。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

以上説明したように、本発明は、画像処理などに利用可能な技術である。

第１実施形態における階調変換装置の構成を示すブロック図である。 電子カメラの構成を示すブロック図である。 第１実施形態における画像処理動作を示す流れ図である。 第２実施形態における階調変換装置の構成を示すブロック図である。 第２実施形態における画像処理動作を示す流れ図である。 関数ｋｓ（Ｑ）の一例を示す図である。 階調変換特性の一例を示す図である。

符号の説明

１１ 階調変換装置，１２ 第１階調変換部，１３ 近傍処理部，１４ 第２階調変換部，２１ 電子カメラ，２３ 撮像素子，３１ 階調変換装置，３２ 信号取得部，３３ 近傍処理部，３４ 第１ゲイン生成部，３５ 第２ゲイン生成部，３６ ゲイン合成部，３７ 階調変換部

Claims (20)

1. 原画像の階調を変換する階調変換装置であって、
   原画像を階調変換して第１階調変換結果を生成する第１階調変換部と、
   前記第１階調変換結果の画素［ｉ，ｊ］の近傍領域の画素の明るさに応じて変化する信号ＺＬ［ｉ，ｊ］を生成する近傍処理部と、
   前記信号ＺＬ［ｉ，ｊ］に依存させて、第１階調変換結果に階調変換を行って第２階調変換結果を生成する第２階調変換部と
   を備えたことを特徴とする階調変換装置。
2. 請求項１に記載の階調変換装置において、
   前記第２階調変換部は、前記第１階調変換結果と前記第２階調変換結果を画像合成して、階調変換出力を生成する
   ことを特徴とする階調変換装置。
3. 請求項１または請求項２に記載の階調変換装置において、
   前記原画像を階調変換して第１階調変換結果を生成する際に用いた信号は、前記原画像を構成する各画素[i,j]の明るさと複数の色差情報を基に得られた信号である
   ことを特徴とする階調変換装置。
4. 請求項１ないし請求項４のいずれか１項に記載の階調変換装置において、
   前記原画像を階調変換して第１階調変換結果を生成する際に用いた信号は、前記原画像の各画素を構成するＲＧＢ色成分の最大値を示す信号である
   ことを特徴とする階調変換装置。
5. 原画像の階調を変換する階調変換装置であって、
   前記原画像の画素［ｉ，ｊ］から明るさに応じて変化する信号Ｚ［ｉ，ｊ］を抽出または生成する信号取得部と、
   前記画素［ｉ，ｊ］の近傍領域の画素の明るさに応じて変化する信号ＺＬ［ｉ，ｊ］を生成する近傍処理部と、
   前記信号Ｚ［ｉ，ｊ］に応じて変換ゲインｋを生成する第１ゲイン生成部と、
   前記信号Ｚ［ｉ，ｊ］および前記信号ＺＬ［ｉ，ｊ］に応じて変換ゲインｋｓを生成する第２ゲイン生成部と、
   前記変換ゲインｋ，ｋｓに応じて、変換ゲインｋｆを生成するゲイン合成部と、
   前記画素［ｉ，ｊ］の前記変換ゲインｋｆを、前記画素［ｉ，ｊ］の色成分または前記色成分から生成した信号成分に乗ずることで階調変換を行う階調変換部と
   を備えたことを特徴とする階調変換装置。
6. 請求項５に記載の階調変換装置において、
   前記変換ゲインｋｆは、
   ｋｆ＝ｋ・ｋｓ
   または、
   ｋｆ＝ｋ・（a1＋ａ２・ｋｓ）／（a1＋ａ２）
   （ただし、ａ１，ａ２は合成の重みであり、少なくともａ２は０でない）
   のいずれかである
   ことを特徴とする階調変換装置。
7. 請求項５または請求項６の階調変換装置において、
   前記変換ゲインｋｓは、ＺとＺＬの比に対応する値である
   ことを特徴とする階調変換装置。
8. 請求項５ないし請求項７のいずれか１項に記載の階調変換装置において、
   Ｑ［ｉ，ｊ］＝（Ｚ［ｉ，ｊ］＋δ１）／（ＺＬ［ｉ，ｊ］＋δ２）
   （ただし、δ１，δ２は、発散防止対策の微少値）
   なるＱを用いて、前記変換ゲインｋｓを、Ｑ［ｉ，ｊ］＾ｐ、あるいはＱ［ｉ，ｊ］の単調増加関数とする（ただし、＾はべき乗演算子）
   ことを特徴とする階調変換装置。
9. 請求項５ないし請求項７のいずれか１項に記載の階調変換装置において、
   前記変換ゲインｋｓは、下記関数Ｑを用いて決定される
   Ｑ［ｉ，ｊ］＝ｇ（Ｚ［ｉ，ｊ］）／ｇ（ＺＬ［ｉ，ｊ］）
   （ただし、前記関数ｇ（）は、少なくとも単調増加域を有する関数である）
   ことを特徴とする階調変換装置。
10. 請求項９に記載の階調変換装置において、
    前記変換ゲインｋｓは、前記関数Ｑを用いた以下の式に基づいて決定される
    ｋｓ＝（Ｑ[i,j]-1）×α＋１
    （ただし、前記αは定数若しくはＱ[i,j]の大きさに依存する変数である）
    ことを特徴とする階調変換装置。
11. 請求項５ないし請求項９のいずれか１項に記載の階調変換装置において、
    前記変換ゲインｋｓは、
    明るい画面内箇所では、暗い画面内箇所に比較して比Ｚ／ＺＬへの依存性が少なくなり、かつ所定値に近づく値である
    ことを特徴とする階調変換装置。
12. 請求項１１に記載の階調変換装置において、
    Ｑ［ｉ，ｊ］＝｛（Ｚ［ｉ，ｊ］＋δ１）／（ＺＬ［ｉ，ｊ］＋δ２）｝＾ｐ１
    （ただし、δ１，δ２は、発散防止対策の微少値）
    ｔ＝（Ｚ［ｉ，ｊ］／Ｚｍ）＾ｐ２
    （ただし、ｐ１，ｐ２，Zmは所定値）
    ｋｓ＝Ｑ［ｉ，ｊ］・（１−ｔ）＋ｔ
    により、前記変換ゲインｋｓを決定する
    ことを特徴とする階調変換装置。
13. 請求項５ないし請求項１２のいずれか１項に記載の階調変換装置において、
    前記信号Ｚは、前記原画像の画素[i,j]を構成するＲＧＢ信号の最大値を示す信号を基に抽出または生成された信号であり、
    前記信号ＺＬは、前記近傍領域の画素を構成するＲＧＢ信号の最大値を示す信号を基に生成された信号である
    ことを特徴とする階調変換装置。
14. 請求項５ないし請求項１２のいずれか１項に記載の階調変換装置において、
    前記信号Ｚは、前記原画像の画素[i,j]の明るさと複数の色差情報を基に得られた信号である
    ことを特徴とする階調変換装置。
15. 原画像の階調を変換する階調変換装置であって、
    前記原画像の画素［ｉ，ｊ］から明るさに応じて変化する信号Ｚ［ｉ，ｊ］を抽出または生成する信号取得部と、
    前記画素［ｉ，ｊ］の近傍領域の画素の明るさに応じて変化する信号ＺＬ［ｉ，ｊ］を生成する近傍処理部と、
    前記信号Ｚ［ｉ，ｊ］とＺＬ［ｉ，ｊ］に依存させて、変換ゲインｋｓを生成するゲイン生成部と［ただし、前記変換ゲインｋｓは、信号Ｚまたは信号ＺＬが明るい画面内箇所では、暗い画面内箇所に比較して、比Ｚ／ＺＬへの依存性が少なくなり、かつ所定値に近づくものである］、
    前記画素［ｉ，ｊ］の前記変換ゲインｋｆを、前記画素［ｉ，ｊ］の色成分または前記色成分から生成した信号成分に乗ずることで階調変換を行う階調変換部と
    を備えたことを特徴とする階調変換装置。
16. コンピュータを、請求項１ないし請求項１５のいずれか１項に記載の階調変換装置として機能させるための階調変換プログラム。
17. 請求項１ないし請求項１５のいずれか１項に記載の階調変換装置と、
    被写体を撮像して原画像を生成する撮像部とを備え、
    前記撮像部で生成された前記原画像を、前記階調変換装置を用いて階調変換する
    ことを特徴とする電子カメラ。
18. 原画像の階調を変換する階調変換方法であって、
    原画像を階調変換して第１階調変換結果を生成するステップと、
    前記第１階調変換結果の画素［ｉ，ｊ］の近傍領域の画素の明るさに応じて変化する信号ＺＬ［ｉ，ｊ］を生成するステップと、
    前記信号ＺＬ［ｉ，ｊ］に依存させて、第１階調変換結果に階調変換を行って第２階調変換結果を生成するステップと
    を備えたことを特徴とする階調変換方法。
19. 原画像の階調を変換する階調変換方法であって、
    前記原画像の画素［ｉ，ｊ］から明るさに応じて変化する信号Ｚ［ｉ，ｊ］を抽出または生成するステップと、
    前記画素［ｉ，ｊ］の近傍領域の画素の明るさに応じて変化する信号ＺＬ［ｉ，ｊ］を生成するステップと、
    前記信号Ｚ［ｉ，ｊ］に応じて変換ゲインｋを生成するステップと、
    前記信号Ｚ［ｉ，ｊ］および前記信号ＺＬ［ｉ，ｊ］に応じて変換ゲインｋｓを生成するステップと、
    前記変換ゲインｋ，ｋｓに応じて、変換ゲインｋｆを生成するステップと、
    前記画素［ｉ，ｊ］の前記変換ゲインｋｆを、前記画素［ｉ，ｊ］の色成分または前記色成分から生成した信号成分に乗ずることで階調変換を行うステップと
    を備えたことを特徴とする階調変換方法。
20. 原画像の階調を変換する階調変換方法であって、
    前記原画像の画素［ｉ，ｊ］から明るさに応じて変化する信号Ｚ［ｉ，ｊ］を抽出または生成するステップと、
    前記画素［ｉ，ｊ］の近傍領域の画素の明るさに応じて変化する信号ＺＬ［ｉ，ｊ］を生成するステップと、
    前記信号Ｚ［ｉ，ｊ］とＺＬ［ｉ，ｊ］に依存させて、変換ゲインｋｓを生成するステップと［ただし、前記変換ゲインｋｓは、信号Ｚまたは信号ＺＬが明るい画面内箇所では、暗い画面内箇所に比較して、比Ｚ／ＺＬへの依存性が少なくなり、かつ所定値に近づく値である］、
    前記画素［ｉ，ｊ］の前記変換ゲインｋｆを、前記画素［ｉ，ｊ］の色成分または前記色成分から生成した信号成分に乗ずることで階調変換を行うステップと
    を備えたことを特徴とする階調変換方法。
    

Images