JP2007067907A - 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】 撮像装置で撮像された画像などにおいて、より自然な画像を容易に得られるようにする。
【解決手段】 典型的な複数の撮像画像に対応する特徴ヒストグラムと、複数の特徴ヒストグラムのそれぞれに対応するトーンカーブとを予めテーブルとして持つ。撮像画像のヒストグラムと、テーブルに格納された特徴ヒストグラムのそれぞれとの近似度を求め、最小の近似度に対応するトーンカーブをテーブルから読み出す。そして、求められた近似度に基づきテーブルから読み出されたトーンカーブを補正し、補正されたトーンカーブを用いて撮像画像の階調補正を行う。また、補正量に応じて、撮像画像内の明るい部分や暗い部分の分布、外光、ＩＳＯ感度などの他の要因に基づくトーンカーブの補正も行う。様々な撮像画像に対して適切に設定されたトーンカーブを用いて階調補正を行うことができ、高画質の画像を容易に得ることができる。
【選択図】 図５

Description

この発明は、画像データの補正を適応的に行う撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラムに関する。

被写体からの光をＣＣＤ(Charge Coupled Device)などの撮像素子を用いて撮像し、撮像信号に対して所定の信号処理を施してディジタル画像データとして半導体メモリなどの記録媒体に保存するようにしたディジタルカメラが普及している。ユーザは、ディジタルカメラ本体の機能を用いて、撮像された画像データに対して、例えば輪郭強調処理、コントラスト補正処理、色調補正処理など様々な画像処理を施すことができる。

この画像処理の一つに、入力信号と出力信号との相対関係を調整する補正処理（以降、入出力特性補正と呼ぶ）がある。入出力特性補正を行うことで、画面全体にわたり輝度がある階調に集中してコントラストの弱い画像に対してメリハリを持たせたり、逆光下で撮影されたため被写体が暗く、周辺が明るく写ってしまった画像に対して被写体部分の明度を上げると共に周辺部の明度を下げるような処理が可能である。

図１９および図２０を用いて、入出力特性補正について概略的に説明する。図１９は、上述の、画面全体にわたり輝度がある階調に集中しコントラストの弱い画像に対する階調補正の例である。図１９Ａに、このような画像における輝度の一例のヒストグラムを示す。横軸が輝度、縦軸が画面全体の画素による頻度を示す。補正前のヒストグラムの例を実線ｘで示す。この例では、補正前は、中間階調の特定の輝度近傍に度数が集中しており、コントラストの弱い画像となっている。

図１９Ｂは、ヒストグラムが図１９Ａの実線ｘで示される画像データに対して補正を施す際に用いる、階調の入出力特性曲線（トーンカーブと呼ぶ）の一例を示す。図１９Ｂに一例が示されるように、入力信号の低輝度側で凹に、高輝度側で凸になるＳ字曲線を描くトーンカーブＧを用いて補正を行う。この結果、図１９Ａの点線ｙで例示されるように、低輝度領域ではより暗く、高輝度領域ではより明るくされ、画像のコントラストが改善されることが期待される。

図２０は、上述の、逆効果で撮影された画像に対する入出力特性補正の例である。図２０Ａに、このような画像における輝度の一例のヒストグラムを示す。この例では、補正前は、図中に実線ｘで示されるように、逆光に対応する輝度が非常に高い領域と、逆光の陰になる被写体に対応する輝度が非常に低い領域とに度数が２分化している。被写体の像において、全体的に暗く写っていると共に、階調の分布が狭くなっており、被写体の細部が認識し辛い画像となっている。

図２０Ｂは、図２０Ａの実線ｘで示される画像データに対して入出力特性補正を施す際の一例のトーンカーブＧを示す。図２０Ｂに一例が示されるように、入力信号の低輝度領域において凸に、高輝度領域において凹になるようなＳ字曲線を描くトーンカーブＧを用いて補正を行う。この結果、図２０Ａの点線ｙで例示されるように、輝度が０付近の領域と、輝度が２５５付近の領域とが抑えられ、中輝度領域が持ち上げられるため、細部が認識しやすくなると共に逆光が弱められ、全体的に見やすい画像となることが期待される。

この、トーンカーブを用いた補正は、画像データに対する専門的な知識が必要とされ、そのような知識を持たない一般的なユーザが入出力特性補正を用いて適切な画像を得ることは、難しいとされている。そのため、画像データの輝度を自動的に調整できるような技術が幾つか、提案されている。

例えば、特許文献１には、画像のヒストグラムデータの特徴に基づき、入出力特性補正に用いるトーンカーブを選択して、自動的に入出力特性補正を行うようにした技術が記載されている。特許文献１においては、画像のヒストグラムからハイライトポイント、ヒストグラムのバランス度、シャドーポイントをそれぞれ求め、これらのパラメータに応じて補正階調曲線を選択するようにしている。
特開平２００２−７７６１６号公報

また、逆光補正を行う方法として、画像中に黒つぶれがあるような場合に、露出を自動的に補正するようにした技術が特許文献２に記載されている。特許文献２によれば、ＡＧＣアンプの出力信号に基づき画面内の比較的明るい領域を検出し、撮像画面を分割した複数の分割画面において明るい領域の占める割合を比較して逆光および順光を判断し、判断結果に基づき基準信号を発生してＡＧＣと絞りとを制御するようにしている。
特許２８７４１９２号

ところが、上述した特許文献１の方法によれば、パラメータに基づき階調補正の処理を所定の閾値に基づき段階的に切り換えるため、パラメータの値が閾値近傍にあるときに処理の連続性が無く、細かな制御ができないという問題点があった。

また、上述した特許文献２の方法によれば、背景となる領域が高輝度であるような場合に、背景部分の画像が白飛びし易くなるという問題点があった。すなわち、背景となる領域において、高輝度の部分の輝度値が白１００％の値より大きくなってしまい、その部分の輝度値が強制的に白１００％の値に制限されてしまう。

したがって、この発明の目的は、より自然な画像が容易に得られるようにした撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラムを提供することにある。

この発明は、上述した課題を解決するために、被写体からの光を撮像し撮像された画像の画像データを出力する撮像部と、撮像部から出力された画像データのヒストグラムを求めるヒストグラム生成部と、撮像部から出力された画像データに対して階調補正を行う階調補正部と、複数の撮像画像のパターンにそれぞれ対応した複数の特徴ヒストグラムが予め格納される特徴ヒストグラムテーブルと、複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性が予め格納される入出力特性テーブルと、ヒストグラム生成部で生成されたヒストグラムと特徴ヒストグラムテーブルに格納される複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された近似度に基づき入出力特性テーブルから入出力特性を選択し、選択された入出力特性を近似度に基づき調整する入出力特性調整部とを有し、階調補正部は、入出力特性調整部で調整された入手力特性を用いて階調補正を行うようにしたことを特徴とする撮像装置である。

また、この発明は、被写体からの光を撮像し撮像された画像の画像データを出力する撮像のステップと、撮像のステップにより出力された画像データのヒストグラムを求めるヒストグラム生成のステップと、撮像のステップにより出力された画像データに対して階調補正を行う階調補正のステップと、ヒストグラム生成のステップで生成されたヒストグラムと、特徴ヒストグラムテーブルに予め格納される、複数の撮像画像のパターンにそれぞれ対応した複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された近似度に基づき、入出力特性テーブルに予め格納される複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性から１を選択し、選択された入出力特性を近似度に基づき調整する入出力特性調整のステップとを有し、階調補正のステップは、入出力特性調整のステップで調整された入手力特性を用いて階調補正を行うようにしたことを特徴とする撮像方法である。

また、この発明は、被写体からの光を撮像し撮像された画像の画像データを出力する撮像のステップと、撮像のステップにより出力された画像データのヒストグラムを求めるヒストグラム生成のステップと、撮像のステップにより出力された画像データに対して階調補正を行う階調補正のステップと、ヒストグラム生成のステップで生成されたヒストグラムと、特徴ヒストグラムテーブルに予め格納される、複数の撮像画像のパターンにそれぞれ対応した複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された近似度に基づき、入出力特性テーブルに予め格納される複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性から１を選択し、選択された入出力特性を近似度に基づき調整する入出力特性調整のステップとを有し、階調補正のステップは、入出力特性調整のステップで調整された入手力特性を用いて階調補正を行うようにした撮像方法をコンピュータ装置に実行させることを特徴とする撮像プログラムである。

また、この発明は、画像データのヒストグラムを求めるヒストグラム生成部と、画像データに対して階調補正を行う階調補正部と、複数の画像のパターンにそれぞれ対応した複数の特徴ヒストグラムが予め格納される特徴ヒストグラムテーブルと、複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性が予め格納される入出力特性テーブルと、ヒストグラム生成部で生成されたヒストグラムと特徴ヒストグラムテーブルに格納される複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された近似度に基づき入出力特性テーブルから入出力特性を選択し、選択された入出力特性を近似度に基づき調整する入出力特性調整部とを有し、階調補正部は、入出力特性調整部で調整された入手力特性を用いて階調補正を行うようにしたことを特徴とする画像処理装置である。

また、この発明は、画像データのヒストグラムを求めるヒストグラム生成のステップと、画像データに対して階調補正を行う階調補正のステップと、ヒストグラム生成のステップで生成されたヒストグラムと、特徴ヒストグラムテーブルに予め格納される、複数の画像のパターンにそれぞれ対応した複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された近似度に基づき、入出力特性テーブルに予め格納される複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性から１を選択し、選択された入出力特性を近似度に基づき調整する入出力特性調整のステップとを有し、階調補正のステップは、入出力特性調整のステップで調整された入手力特性を用いて階調補正を行うようにしたことを特徴とする画像処理方法である。

また、この発明は、画像データのヒストグラムを求めるヒストグラム生成のステップと、画像データに対して階調補正を行う階調補正のステップと、ヒストグラム生成のステップで生成されたヒストグラムと、特徴ヒストグラムテーブルに予め格納される、複数の画像のパターンにそれぞれ対応した複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された近似度に基づき、入出力特性テーブルに予め格納される複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性から１を選択し、選択された入出力特性を近似度に基づき調整する入出力特性調整のステップとを有し、階調補正のステップは、入出力特性調整のステップで調整された入手力特性を用いて階調補正を行うようにした画像処理方法をコンピュータ装置に実行させることを特徴とする画像処理プログラムである。

上述のように、この発明は、被写体からの光を撮像し撮像された画像の画像データのヒストグラムと、特徴ヒストグラムテーブルに予め格納される、複数の撮像画像のパターンにそれぞれ対応した複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された近似度に基づき、入出力特性テーブルに予め格納される複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性から１を選択し、選択された入出力特性を近似度に基づき調整し、調整された入手力特性を用いて撮像された画像の画像データの階調補正を行うようにしているため、様々な撮像画像に対して適切に設定された入出力特性を用いて階調補正を行うことができ、より自然な撮像画像を容易に得ることができる。

また、この発明は、画像データのヒストグラムと、特徴ヒストグラムテーブルに予め格納される、複数の画像のパターンにそれぞれ対応した複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された近似度に基づき、入出力特性テーブルに予め格納される複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性から１を選択し、選択された入出力特性を近似度に基づき調整し、調整された入手力特性を用いて画像データの階調補正を行うようにしているため、様々な画像に対して適切に設定された入出力特性を用いて階調補正を行うことができ、より自然な画像を容易に得ることができる。

この発明は、上述したように、被写体からの光を撮像し撮像された画像の画像データのヒストグラムと、特徴ヒストグラムテーブルに予め格納される、複数の撮像画像のパターンにそれぞれ対応した複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された近似度に基づき、入出力特性テーブルに予め格納される複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性から１を選択し、選択された入出力特性を近似度に基づき調整し、調整された入手力特性を用いて撮像された画像の画像データの階調補正を行うようにしている。そのため、様々な撮像画像に対して適切な入出力特性を設定して階調補正を行うことが可能で、より自然な撮像画像を容易に得ることができる効果がある。

以下、この発明の実施の一形態について説明する。この発明では、画像データの輝度情報によるヒストグラムを、逆光の環境下で撮影された画像、輝度の分布が中間階調付近に集中してコントラストが弱い画像、全体的に暗めに撮影された画像など、複数の典型的な画像のパターンについてそれぞれ特徴ヒストグラムとして予め用意すると共に、特徴ヒストグラムのそれぞれについて、入力と実際の出力との相対関係を調整するための入出力特性を予め規定しておく。そして、複数の特徴ヒストグラムのうち撮像画像のヒストグラムに対して近似度が最も高い特徴ヒストグラムに対応する入出力特性を検索し、検索された入出力特性を近似度に基づき補正した補正入出力特性を用いて撮像画像の補正を行うようにしている。また、検索された入出力特性に対し、画像データの情報や撮像時の情報に基づき、必要に応じて適応的に調整を行い、よりきめ細かな補正が可能なようにしている。例えば逆光の環境下で撮像された画像データや、コントラストの弱い画像データに対する補正を、複雑な操作をすることなく、適切に行うことができる。

なお、画像データの入力と実際の出力との相対関係を調整するための入出力特性は、例えば入力される画像データの輝度に対して出力される輝度がマッピングされた所定の曲線や直線で表現される。以降、この入出力特性を示す曲線または直線をトーンカーブと呼び、トーンカーブを用いて画像データの補正を行うことを階調補正と呼ぶ。トーンカーブにおいて、入出力の関係が１対１であることを示す直線に対して凸の曲線は、階調が伸長されることを示し、当該直線に対して凹の曲線は、階調が圧縮されることを示す。

図１は、この発明の実施の一形態に適用可能な撮像装置１の一例の構成を示す。光学系１０は、少なくともレンズ、絞り機構およびフォーカス機構を有する。絞り機構およびフォーカス機構は、後述する駆動部１６からの制御信号に応じて駆動される。光学系１０にズーム機能などを持たせてもよい。

撮像部１１は、例えばＣＣＤ(Charge Coupled Device)といった、光電変換により光を電気信号に変換する撮像素子と、撮像時における撮像素子での光電変換の時間を制限するシャッタとを有する。シャッタは、図示されないシャッタボタンの操作に応じて、後述する駆動部１６から供給される制御信号に基づきシャッタ動作を制御される。撮像部１１は、撮像素子に入射された光が光電変換により変換された電気信号に対して所定の信号処理を施し、Ｒ（赤色）信号、Ｇ（緑色）信号、Ｂ（青色）信号からなる画像信号に変換して出力する。例えば、撮像素子から出力された電気信号は、ＣＤＳ(Correlated Double Sampling)回路により画像情報を有する信号だけがサンプリングされると共に、ノイズを除去され、ＡＧＣ(Auto Gain Control)回路によりゲインを調整される。そして、Ａ／Ｄ変換回路により画像データに変換され、出力される。

画像信号処理部１２は、入力された画像データに対して検波系の信号処理を施す。例えば、画像信号処理部１２は、入力された画像データの輝度情報に基づき、輝度ヒストグラムを作成する。一例として、入力された１フレームの画像データにおける全体または所定領域の画素について、輝度値の最小値から最大値までを所定に分割した階調毎に頻度を求め、階調についてヒストグラムを作成する。作成されたヒストグラムデータ２０は、後述するマイクロコンピュータ１４に供給される。

また、画像信号処理部１２は、入力された画像データに基づき、１フレームを所定に分割した各領域それぞれの平均輝度Ｙ[i][j]と、１フレーム全体の平均輝度Ｙ_aveとを求める。さらに、画像信号処理部１２は、入力された画像データの輝度情報に基づき、１フレームを所定に分割した各領域それぞれについて、輝度値が閾値以下の画素数Ｃ_YL[i][j]を計数する。各領域の平均輝度Ｙ[i][j]および１フレーム全体の平均輝度Ｙ_aveを示す情報２１（以下、平均輝度情報２１）、各領域の輝度値が閾値以下の画素数Ｃ_YL[i][j]を示す情報２２（以下、低輝度画素数情報２２）は、後述するマイクロコンピュータ１４に供給される。なお、[i]および[j]は、１フレームを所定に分割した際の、縦方向の分割数と横方向の分割数とをそれぞれ示す。

マイクロコンピュータ１４は、ＲＯＭ(Read Only Memory)１５を有し、ＲＯＭ１５に予め格納されるプログラムやデータに基づき、図示されないＲＡＭ(Random Access Memory)をワークメモリとして用いて、この撮像装置１の全体の動作を制御する。例えば、図示されないシャッタボタンに対する操作に応じて、シャッタ機能を制御するための制御信号を駆動部１６に供給すると共に、撮像され得られた画像データを記録媒体に記録する処理を行う。また、マイクロコンピュータ１４は、プログラムに従い、撮像で得られた画像データに対して階調補正するための階調補正量情報や、適切な露光で撮像を行うための撮像制御信号を生成する。

すなわち、ＲＯＭ１５は、１乃至複数の典型的な画像パターンにそれぞれ対応する特徴ヒストグラムデータが格納される特徴ヒストグラムテーブル１５Ａと、特徴ヒストグラムテーブル１５Ａに格納される特徴ヒストグラムデータにそれぞれ対応する複数のトーンカーブが格納されたトーンカーブテーブル１５Ｂとを、予め記憶している。また、マイクロコンピュータ１４は、上述のようにして画像信号処理部１２から供給されたヒストグラムデータ２０、平均輝度情報２１および低輝度画素数情報２２を例えばＲＡＭに保持する。そして、ＲＡＭから読み出したヒストグラムデータ２０、平均輝度情報２１および低輝度画素数情報２２と、ＲＯＭ１５に予め格納された特徴ヒストグラムテーブル１５Ａおよびトーンカーブテーブル１５Ｂとを用い、画像データに対する階調補正量を算出する。

例えば、マイクロコンピュータ１４は、特徴ヒストグラムテーブル１５Ａに記憶された特徴ヒストグラムのそれぞれについて、画像信号処理部１２から供給されたヒストグラムデータ２０との近似度を計算し、最も近似度の高い特徴ヒストグラムを抽出する。そして、抽出された特徴ヒストグラムに対応するトーンカーブを、トーンカーブテーブル１５Ｂから選択する。選択されたトーンカーブを、所定に計算された補正量に基づき調整し、階調補正量を求める。

また、マイクロコンピュータ１４は、画像信号処理部１２から供給された平均輝度情報２１に基づき、上述の特徴ヒストグラムテーブル１５Ａおよびトーンカーブテーブル１５Ｂとを用いて得られた階調補正量をさらに調整する。調整された階調補正量は、階調補正部１３に供給される。

階調補正部１３は、画像信号処理部１２から供給された画像データに対してγ曲線に基づくγ補正を施し撮像素子の特性補正を行うと共に、マイクロコンピュータ１４から供給された階調補正量に基づき階調補正を施し、出力する。γ曲線に基づくγ補正と、階調補正量に基づく階調補正とは、それぞれ異なる処理としてもよいし、合成された一つの処理としてもよい。階調補正部１３で補正され出力された画像データは、例えば図示されない記録系の回路に供給され、半導体メモリなどの記録媒体に記録される。

一方、マイクロコンピュータ１４は、画像信号処理部１２から供給された低輝度画素数情報２２に基づき、画像データ中の黒つぶれ領域を検出し、検出結果に基づき輝度の補正を行うか否かを判断する。なお、黒つぶれは、例えば、被写体に当たる光が弱く、撮像素子に入射する光の光量が不足しているような場合に、輝度が低い画素の割合が高くなり、その結果、画像が全体的に暗く（黒く）なり細部の判別がし難くなるような状態である。

判断の結果、補正を行うとされた場合には、図示されない測距手段により計測された被写体までの距離に基づき、被写体までの距離がストロボ１７の発光到達距離内であれば、マイクロコンピュータ１４は、ストロボ発光要求を発行しストロボ１７に供給する。

被写体までの距離がストロボ１７の発光到達距離外であれば、ＥＶ(露光：Exposure Value)補正や階調補正量の調整を適宜行う。ＥＶ補正を行う場合は、マイクロコンピュータ１４は、撮像部１１で取得される撮像信号および撮像感度などに関する情報や、光学系１０における絞り制御情報などに基づき、駆動部１６に対して絞り制御やシャッタ速度制御を所定に行うように命令を出す。駆動部１６は、この命令に従い、絞りやシャッタ速度の制御を行う。また、画像信号処理部１２から供給された低輝度画素数情報２２に基づき、階調補正量を調整し、調整された階調補正量を階調補正部１３に供給する。

このような構成において、被写体からの光が光学系１０を介して撮像部１１に入射される。撮像部１１は、入射された光を電気信号に変換し、さらに所定の処理により画像データに変換して出力する。画像データは、画像信号処理部１２に供給される。画像信号処理部１２では、供給された画像データに基づきヒストグラムデータ２０、平均輝度情報２１および低輝度画素情報２２を求める。求められたヒストグラムデータ２０、平均輝度情報２１および低輝度画素情報２２は、マイクロコンピュータ１４に供給される。

マイクロコンピュータ１４は、供給されたこれらヒストグラムデータ２０、平均輝度情報２１および低輝度画素情報２２と、特徴ヒストグラムテーブル１５Ａおよびトーンカーブテーブル１５Ｂとに基づき、必要に応じて、階調補正量の算出、ストロボ発光要求の発行、絞り制御やシャッタ速度制御のための撮像制御信号の生成などを行う。算出された階調補正量は、階調補正部１３に供給される。ストロボ発光要求は、ストロボ１７に供給される。また、撮像制御信号は、駆動部１６に供給される。

例えば、低輝度画素情報２２に基づき、ストロボ発光を行うと判断されれば、マイクロコンピュータ１４は、ストロボ発光要求を発行し、ストロボ１７に供給する。また例えば、低輝度画素情報２２に基づきＥＶ補正を行うと判断されれば、マイクロコンピュータ１４は、撮像制御信号を生成し、駆動部１６に供給する。駆動部１６は、供給された撮像制御信号に基づき絞りを制御する絞り制御信号や、シャッタ速度を制御するシャッタ速度制御信号を生成しする。絞り制御信号は、光学系１０に供給される。光学系１０は、供給された絞り制御信号に応じて絞りの開度を調整し、入射光量を制御する。撮像部１１は、供給されたシャッタ速度制御信号に応じて撮像素子における光電変換の時間を制御する。

図示されないシャッタボタンが押されると、マイクロコンピュータ１４から撮像部１１に対して撮像命令が出される。ストロボ発光要求が出されている場合には、ストロボ１７において、シャッタボタンが押されたタイミングに応じてストロボ発光がなされる。撮像部１１は、撮像命令に応じて、シャッタ速度制御情報に示される時間だけ入射光を光電変換し、光電変換された電気信号に対して所定に信号処理を施して画像データとして出力する。画像データは、画像信号処理部１２に供給され上述のヒストグラムデータ２０、平均輝度情報２１および低輝度画素数情報２２が生成されると共に、画像信号処理部１２を介して階調補正部１３に供給される。階調補正部１３は、供給された画像データに対して階調補正量に基づき階調補正を施し出力する。階調補正部１３から出力された画像データは、半導体メモリなどの記憶媒体に記憶される。

次に、ＲＯＭ１５に格納される特徴ヒストグラムテーブル１５Ａおよびトーンカーブテーブル１５Ｂについて説明する。特徴ヒストグラムテーブル１５Ａは、典型的な画像のパターンに対応するヒストグラムを、特徴ヒストグラムとして１乃至複数、有する。特徴ヒストグラムテーブル１５Ａは、例えば、頻度の少ない輝度領域の中心輝度が段階的に異なる複数のヒストグラムパターンが格納される。ヒストグラムパターンは、輝度０％〜輝度１００％までがＮ個に分割された階調のそれぞれに対応した値からなる。

図２は、特徴ヒストグラムテーブル１５Ａに格納される特徴ヒストグラムの例を示す。図２Ａは、逆光の環境下で撮像された場合の典型的な画像に対応する特徴ヒストグラムの例である。逆光の環境下で撮像された画像の特徴ヒストグラムは、このように、低輝度側と高輝度側とに度数が集中し、中輝度（例えば輝度５０％）付近の度数が小さくなる。

図２Ｂは、例えば露光不足などにより全体的に暗めに撮像された場合の典型的な画像に対応する特徴ヒストグラムの例である。低輝度側の度数が大きくなり、低輝度（例えば輝度０％）と中輝度（例えば輝度５０％）との中間部分の所定輝度付近、ならびに、高輝度側の度数が小さくなる。

図２Ｃは、被写体の輝度分布が比較的一様で、全体的にコントラストが弱く撮像された場合の典型的な画像に対応する特徴ヒストグラムの例である。高輝度（輝度１００％）側および低輝度（輝度０％）側の度数が小さく、中輝度（例えば輝度５０％）付近に度数が集中している。

なお、図２では、特徴ヒストグラムが曲線的に表現されているが、これはこの例に限定されない。例えば、図３に例示されるように、特徴ヒストグラムを直線的に表現して特徴ヒストグラムテーブル１５Ａに格納してもよい。図３Ａが図２Ａに、図３Ｂが図２Ｂに、図３Ｃが図２Ｃに、それぞれ対応する特徴ヒストグラムである。なお、特徴ヒストグラムを直線的に表現した場合、計算によって特徴ヒストグラムを求めることができる。この場合、ＲＯＭ１５の消費容量を極めて少なくすることが可能となる。

トーンカーブテーブル１５Ｂは、特徴ヒストグラムテーブル１５Ａが有する１乃至複数種類の特徴ヒストグラムのそれぞれに対応するトーンカーブを有する。トーンカーブテーブル１５Ｂに格納されるトーンカーブは、対応する特徴ヒストグラムを有する画像データに対して階調補正を行った場合に、適切な階調を持った画像が得られるように設定された基準トーンカーブである。

図４は、トーンカーブテーブル１５Ｂに格納されるトーンカーブの例を示す。図４の例では、トーンカーブを実線で示している。図４Ａは、逆光の環境下で撮像された場合の典型的な画像の特徴ヒストグラムに対応する一例のトーンカーブであって、上述した図２Ａまたは図３Ａに示す特徴ヒストグラムに対応する。図２Ａまたは図３Ａに例示されるような、中輝度部分の度数が小さく低輝度側および高輝度側で度数が大きい特徴ヒストグラムに対して、図４Ａに例示されるような、低輝度側で凸になり、高輝度側で凹になるようなＳ字曲線を描くトーンカーブを用いて階調補正を施すことで、低輝度の部分の明るさが増すと共に高輝度の部分の明るさが抑えられ、全体的な画質の向上が期待される。

図４Ｂは、例えば露光不足などにより全体的に暗めに撮像された場合の典型的な画像の特徴ヒストグラムに対応する一例のトーンカーブであって、上述した図２Ｂまたは図３Ｂに対応する。図２Ｂまたは図３Ｂに例示されるような、低輝度側と中輝度部分の中間部分の度数が小さい特徴ヒストグラムに対して、図４Ｂに例示されるような、低輝度側のみが凸になるようなトーンカーブを用いて階調補正を施すことで、低輝度の部分の明るさが増し、階調補正前の画像に対して全体的に明るめの画像となる。

なお、この実施の一形態では、図２Ｂおよび図３Ｂのように、高輝度側の度数が小さい特徴ヒストグラムに対応するトーンカーブを、図４Ｂに示されるような、度数が小さい高輝度側の入出力関係の変化が小さいものとしている。こうすることで、特徴ヒストグラムにおいて高輝度側の度数が小さい画像データの全画面を、適切な階調を有する画像データとすることができ、表示される画像の明るさも、適切なものとなる。

図４Ｃは、被写体の輝度分布が比較的一様で、全体的にコントラストが弱く撮像された場合の典型的な画像の特徴ヒストグラムに対応する一例のトーンカーブであって、上述した図２Ｃまたは図３Ｃに示す特徴ヒストグラムに対応する。図２Ｃまたは図３Ｃに例示されるような、低輝度側および高輝度側で度数が小さく、中輝度部分で度数が大きい特徴ヒストグラムに対して、図４Ｃに例示されるような、低輝度側で凹になり、高輝度側で凸になるようなＳ字曲線を描くトーンカーブを用いて階調補正を施すことで、暗い部分がより暗く、明るい部分がより明るくなり、コントラストが改善されることが期待される。

トーンカーブテーブル１５Ｂは、上述したようなトーンカーブが、例えば特徴ヒストグラムテーブル１５Ａに格納される特徴ヒストグラムにおける輝度値に対応した値からなるトーンカーブテーブルＧ_pとして格納される。

次に、撮像装置１における、この発明の実施の一形態による一例の撮像処理を、図５のフローチャートを用いて概略的に説明する。なお、この図５のフローチャートで示される一例の処理は、マイクロコンピュータ１４がＲＯＭ１５に記憶されたプログラムに従い撮像装置１の各部を制御することでなされる。また、図５のフローチャートに示される処理において、ステップＳ１０〜ステップＳ１９までの一連の処理は、撮像装置１においてシャッタボタンが押されるまで、例えば１／６０ｓｅｃ周期で循環的に繰り返される。

ステップＳ１０で、画像信号処理部１２は、撮像部１１から供給された画像データ（画像データＰとする）に基づきヒストグラムデータを作成する。１フレーム分の画像データについて、画素毎の輝度値を求め、輝度値の度数を計算する。計算されたヒストグラムデータをＨ(ｎ)で表す。なお、「ｎ」は、輝度の引数で、１，２，・・・，Ｎの値をとる。「Ｎ」は、階調の分割数である。例えば、輝度を８ビットで表現するとき、Ｎ＝２５６となり輝度が２５６階調で表現される。ヒストグラムデータＨ(ｎ)は、例えばマイクロコンピュータ１４に接続される図示されないＲＡＭに記憶され保持される。

次のステップＳ１１で、マイクロコンピュータ１４は、特徴ヒストグラムテーブル１５Ａに格納された特徴ヒストグラムデータを全て読み出す。読み出された特徴ヒストグラムデータは、Ｔ(ｍ)(ｎ)で表される。なお、「ｍ」は、特徴ヒストグラムテーブル１５Ａに格納される特徴ヒストグラムデータの引数で、ｍ＝１，２，・・・，Ｍの値をとる。図２または図３の例では、Ｍ＝３となり、例えば図２Ａまたは図３Ａのパターンがｍ＝１、図２Ｂまたは図３Ｂのパターンがｍ＝２、図２Ｃまたは図３Ｃのパターンがｍ＝３で表される。

ステップＳ１２では、ステップＳ１０で計算されたヒストグラムデータＨ(ｎ)と、ステップＳ１１で特徴ヒストグラムテーブル１５Ａから読み出された特徴ヒストグラムデータＴ(１)(ｎ)、Ｔ(２)(ｎ)、・・・、Ｔ(Ｍ)(ｎ)それぞれとの近似度Ｄ(１)、Ｄ(２)、・・・、Ｄ(Ｍ)が計算される。近似度Ｄ(ｍ)は、例えば次式（１）により算出される。

数式（１）において、Ｓｕｂ(ｍ)(ｎ)は、ヒストグラムデータＨ(ｎ)を求める際に分割された各輝度領域における、重み付けして計算した画像データＰのヒストグラムデータと、特徴ヒストグラムデータとの差分である。Ｓｕｂ(ｍ)(ｎ)は、例えば次式（２）により算出される。なお、数式（２）において、Ｗ₁(ｍ)(ｎ)は、引数(ｍ)で表される特徴ヒストグラムパターンに対する重み付け係数である。

数式（１）および数式（２）の意味について、図６を用いて概念的に説明する。ここでは、特徴ヒストグラムデータＴ(ｍ)(ｎ)として、図３Ａに例示される、中輝度部分の度数が小さく（ｍ＝１）且つ直線的に表されるデータを用いる。

読み出された特徴ヒストグラムデータＴ(ｍ)(ｎ)と画像データＰから計算されたヒストグラムデータＨ(ｎ)とを比較し、ヒストグラムデータＨ(ｎ)の、特徴ヒストグラムデータＴ(ｍ)(ｎ)の度数以下の部分（図中に斜線を付して示した領域Ｄ）を、式（２）の下側の式に従いＳｕｂ(ｍ)(ｎ)＝０とする。一方、ヒストグラムデータＨ(ｎ)の、特徴ヒストグラムデータＴ(ｍ)(ｎ)以上の部分（図中で点を付して示した領域ｖ）に対して、式（２）の上側の式に従い輝度領域毎に重みＷ₁(ｍ)(ｎ)を乗じてＳｕｂ(ｍ)(ｎ)を求める。こうして求められたＳｕｂ(ｍ)(ｎ)を、式（１）に従いＮについて積算し、近似度Ｄ(ｍ)を求める。なお、重み付け係数Ｗ₁(ｍ)(ｎ)は、例えばＲＯＭ１５に予め記憶される。

次のステップＳ１３で、ステップＳ１２で求められた近似度Ｄ(１)、Ｄ(２)、・・・、Ｄ(Ｍ)のうち最も小さい最小近似度Ｄ_minが探される。そして、最小近似度Ｄ_minを得る近似度Ｄ(ｍ)の引数ｍを、当該ヒストグラムデータＨ(ｎ)の元になる画像データＰのパターン番号Ｐｔｎ＿Ｎｕｍとする。例えば、近似度Ｄ(１)＞Ｄ(２)＞Ｄ(３)であれば、近似度Ｄ(３)が最小近似度Ｄ_minとなり、パターン番号Ｐｔｎ＿Ｎｕｍ＝３となる。

パターン番号Ｐｔｎ＿Ｎｕｍは、例えばマイクロコンピュータ１４に接続される図示されないＲＡＭや、マイクロコンピュータ１４のレジスタなどに記憶される。

ステップＳ１４で、マイクロコンピュータ１４により、パターン番号Ｐｔｎ＿Ｎｕｍに基づきトーンカーブテーブル１５Ｂが参照され、適切なトーンカーブを構成するトーンカーブテーブルＧ_pをトーンカーブテーブル１５Ｂから読み出す。読み出されたトーンカーブテーブルＧ_pが、当該画像データＰに対して階調補正を行う際の基本のトーンカーブの形を決める。

例えば、図７に一例が示されるように、特徴ヒストグラムデータＴ(ｍ)に対して、引数ｍがパターン番号Ｐｔｎ＿Ｎｕｍとしてそれぞれ割り当てられる。一方、特徴ヒストグラムデータＴ(ｍ)に対応するトーンカーブＧ(ｍ)が引数ｍの対応するパターン番号Ｐｔｎ＿Ｎｕｍにそれぞれ割り当てられる。

次のステップＳ１５で、上述のステップＳ３で求められた最小近似度Ｄ_minを用いて、当該画像データＰに対する階調補正量ｇｍＡｍｐを計算する。階調補正量ｇｍＡｍｐは、例えば次式（３）により計算される。なお、式（３）において、最小近似度Ｄ_minに対して所定に設定された下限側の閾値を閾値ＤＩＦ＿Ｌ、上限側の閾値を閾値ＤＩＦ＿Ｈとして示す。

式（３）によれば、図８に一例が示されるように、最小近似度Ｄ_minが所定に設定された下限側の閾値ＤＩＦ＿Ｌより小さければ、階調補正量ｇｍＡｍｐ＝１とする。一方、最小近似度Ｄ_minが所定に設定された上限側の閾値ＤＩＦ＿Ｈより大きければ、階調補正量ｇｍＡｍｐ＝０とする。閾値ＤＩＦ＿Ｌと閾値ＤＩＦ＿Ｈとの間では、階調補正量ｇｍＡｍｐは、値が１から０の間で変化する。後述するように、この階調補正量ｇｍＡｍｐに応じて、選択されたトーンカーブに対して変更を加える。

ステップＳ１６では、他の条件を考慮して階調補正量を調整するか否かが判断される。他の条件としては、シーンモード（撮影モード）や、装置の仕様などが考えられる。シーンモードは、例えば風景撮影や人物撮影といった、撮影対象や撮影環境などが予測できるような場合に対して、それぞれ撮影条件を予め用意しておくものである。ユーザは、撮影対象や撮影環境などに合わせてシーンモードを選択することで、高品質の撮像画像を容易に得ることができる。

一例として、黒つぶれ処理により階調補正量の調整を行う場合（詳細は後述する）について考える。シーンモードが風景を撮影するのに適した風景撮影モードであれば、後述する黒つぶれ処理を行わない方が好適であると考えられる。一方、シーンモードが人物を撮影するのに適した人物撮影モードであれば、黒つぶれ処理を行う方が好適であると考えられる。

この場合、ステップＳ１６において、他の条件としてシーンモードを考慮し、シーンモードとして風景撮影モードが選択されていれば階調補正量の調整を行わないと判断し、シーンモードとして人物撮影モードが選択されていれば、階調補正量の調整を行うと判断することができる。

なお、ステップＳ１６では、他の条件を考慮した階調補正量の調整を行うか否かを判断するだけでなく、例えば、他の条件を考慮した階調補正量の調整を行うと判断した場合に、シーンモードなどに応じて、階調補正量に対して制限値を設定するようにもできる。

また、他の条件として装置の仕様を考慮した場合の例として、高感度に設計された装置においては、ノイズレベルも低くされているため、後述する、ＩＳＯ値に基づく階調補正量の調整を行わないと判断するようにできる。すなわち、この場合、高感度に設計された装置においては、ＩＳＯ値に基づく階調補正量の調整を行わないと判断し、高感度が要求されない例えば低価格帯の製品として設計された装置においては、ＩＳＯ値に基づく階調補正量の調整を行うというように判断できる。

ステップＳ１６での判断処理は、上述に限定されない。例えば、階調補正値ｇｍＡｍｐの値に応じて、補正量の調整を行うか否かを判断することもできる。一例として、最小近似度Ｄ_minが下限側の閾値ＤＩＦ＿Ｌより小さければ（階調補正量ｇｍＡｍｐ＝１）、当該最小近似度Ｄ_minを得た特徴ヒストグラムデータＴ(ｍ)は、当該画像データＰのヒストグラムデータＨと略同一もしくは同一と見做してもよいと判断することができる。この場合、特徴ヒストグラムデータ(ｍ)に対応するトーンカーブテーブルＧ_pに基づき当該画像データＰの階調補正を行うことで、当該画像データＰを適切に補正することができると考えられる。

また、最小近似度Ｄ_minが下限側の閾値ＤＩＦ＿Ｌと上限側の閾値ＤＩＦ＿Ｈとの間にあれば（０＜階調補正量ｇｍＡｍｐ＜１）、当該最小近似度Ｄ_minを得た特徴ヒストグラムデータＴ(ｍ)は、当該画像データＰのヒストグラムデータＨと所定の範囲内で近似していると判断することができる。この場合、特徴ヒストグラムデータＴ(ｍ)に対応するトーンカーブテーブルＧ_pを、階調補正量ｇｍＡｍｐを所定に用いて補正し、補正されたトーンカーブテーブルＧ_pに基づき当該画像データＰの階調補正を行うことで、当該画像データＰを適切に補正することができると考えられる。

一方、最小近似度Ｄ_minが上限側の閾値ＤＩＦ＿Ｈよりも大きければ（階調補正量ｇｍＡｍｐ＝０）、当該最小近似度Ｄ_minを得た特徴ヒストグラムデータＴ(ｍ)と、当該画像データＰのヒストグラムデータＨとが近似しているとは見做せないと判断することができる。この場合、当該特徴ヒストグラムデータ(ｍ)に対応するトーンカーブテーブルＧ_pは、当該画像データＰの階調補正を行う際に用いるのに適さないと考えられる。

ステップＳ１６で、他の条件を考慮して階調補正値ｇｍＡｍｐの値を調整すると判断されれば、処理はステップＳ１７に移行される。詳細は後述するが、ステップＳ１７では、他の条件に基づき求めた補正値により階調補正量ｇｍＡｍｐを更新する。階調補正量ｇｍＡｍｐが更新されると、処理はステップＳ１８に移行される。

なお、ステップＳ１６における判断処理を行わず、常にステップＳ１７による処理を行うようにしてもよい。すなわち、ステップＳ１５が終了されると、ステップＳ１６による判断処理を行わずにステップＳ１７に直接的に処理が移行され、ステップＳ１７による後述する一連の処理の終了後に、処理がステップＳ１８に移行される。

一方、ステップＳ１６で、他の条件を考慮して階調補正値ｇｍＡｍｐの値を調整しないと判断されれば、特徴ヒストグラムデータＴ(ｍ)に対応するトーンカーブテーブルＧ_pを用いて当該画像データＰの階調補正を行うとして、処理はステップＳ１８に移行される。

ステップＳ１８では、ステップＳ１４で選択されたトーンカーブテーブルＧ_pと、ステップＳ１５で求められた階調補正量ｇｍＡｍｐまたはステップＳ１７で更新された階調補正量ｇｍＡｍｐとを用いて、入力輝度ｋに対する出力輝度の値である補正トーンカーブＧ(ｋ)を計算する。補正トーンカーブＧ(ｋ)は、例えば、上述した式（３）に階調補正量ｇｍＡｍｐを加味した次式（４）により計算される。なお、式（４）において、Ｌｉｎｅ(ｋ)は、所定の線形関数である。計算され得られた補正トーンカーブＧ(ｋ)は、階調補正部１３に供給される。
Ｇ(ｋ)＝Ｌｉｎｅ(ｋ)＋(Ｇ_p(ｋ)−Ｌｉｎｅ(ｋ))×ｇｍＡｍｐ ・・・（４）

階調補正量ｇｍＡｍｐによるトーンカーブの調整について、図９を用いてより具体的に説明する。図９は、パターン番号Ｐｔｎ＿Ｎｕｍ＝１に対応するトーンカーブ（図３Ａ参照）を基準トーンカーブとして、トーンカーブの階調補正量ｇｍＡｍｐによる一例の変化を示している。トーンカーブは、階調補正量ｇｍＡｍｐに応じて、０倍トーンカーブ１０１または基準トーンカーブ１００、あるいは、これらの中間のｘ倍（図９では０．６倍）トーンカーブ１０２をとる。

補正トーンカーブＧ(ｋ)が求められたら、処理は次のステップＳ１９に移行され、シャッタボタンが押されたか否かが判断される。ここでは、例えばステップＳ１０からステップＳ１８までの処理の間にシャッタボタンが押されていたか否かを判断することができる。シャッタボタンが押されていなければ、処理はステップＳ１０に戻される。

一方、ステップＳ１９で、シャッタボタンが押されていると判断されれば、処理はステップＳ２０に移行される。ステップＳ２０では、最終的に求められた階調補正量ｇｍＡｍｐを用いて、撮像された画像データに対する階調補正処理がなされる。

すなわち、シャッタボタンが押されると、被写体からの光が、シャッタ機構により所定に入射時間を制限されて撮像部１１に入射される。撮像部１１では、入射された光を電気信号に変換して画像データを出力する。この画像データは、画像信号処理部１２を介して階調補正部１３に供給される。階調補正部１３では、供給された画像データに対して、補正トーンカーブＧ(ｋ)を用いて階調補正処理を行う。階調補正処理され階調補正部１３から出力された画像データは、例えば図示されない記録部で半導体メモリなどの記録媒体に記録される（ステップＳ２１）。

次に、上述したステップＳ１７の処理について、より詳細に説明する。ステップＳ１７では、複数種類の方法を用いて、階調補正量ｇｍＡｍｐを更新するようにしている。図１０は、ステップＳ１７で行われる一例の処理を概略的に示す。ステップＳ１７では、図１０にステップＳ３０〜ステップＳ３３で示す４種類の方法により階調補正量ｇｍＡｍｐを調整する。なお、図１０のステップＳ３０〜ステップＳ３３の順序は、任意である。

ステップＳ３０では、画像データのフレームを所定に分割した各領域の平均輝度と、フレーム全体の平均輝度とに基づき、階調補正量ｇｍＡｍｐを調整する。ステップＳ３１では、フレームを所定に分割した各領域のそれぞれについて、輝度が所定値以下の画素の数をカウントし、得られた低輝度画素数に基づきフレーム内部の黒つぶれ情報を計算する。計算された黒つぶれ情報を用いて、階調補正量ｇｍＡｍｐの調整を行ったり、ストロボ１７に対する発光命令を出したりする。ステップＳ３２では、外光量に基づき階調補正量ｇｍＡｍｐを調整する。外光量は、例えば絞り開度（Ｆ値）、シャッタ速度、ＡＧＣの制御値および画像データの輝度値に基づき求めることができる。ステップＳ３３では、ＩＳＯ感度に基づき階調補正量ｇｍＡｍｐを調整する。

なお、ＩＳＯ(International Organization for Standarization)感度は、この場合、撮像部１１に設けられる撮像素子の感度をフィルムのＩＳＯ感度に変換したものである。撮像素子の感度は、マイクロコンピュータ１４による撮像部１１に対する制御に基づき所定に設定される。

なお、上述した図５のフローチャートステップＳ１６において、他の条件を考慮して階調補正量の調整を行うか否かを判断するように説明した。上述の、撮影モードを考慮して、黒つぶれ処理による階調補正量の調整を行うか否かの判断を行う例では、判断結果に基づき図１０のステップＳ３１の処理を行うか否かが決定される。同様に、装置の仕様を考慮して、ＩＳＯ感度に基づく階調補正量の調整を行うか否かの判断を行う例では、判断結果に基づき図１０のステップＳ３３の処理を行うか否かが決定される。また、図１０のフローチャートにおいて、ステップＳ３０の処理およびステップＳ３２の処理は、図５のステップＳ１６の判断に可否にかかわらず、必ず行うようにすることが好ましい。

図１０のステップＳ３０〜ステップＳ３３の各処理について、さらに詳細に説明する。

先ず、ステップＳ３０の画像データの平均輝度を用いた一例の処理について、図１１のフローチャートを用いて説明する。図１１のフローチャートによる処理に先立って、画像データのフレームが所定領域に分割される。図１２は、画像データの分割の一例を示す。図１２Ａに例示される画像データの１フレームが、図１２Ｂに一例が示されるように、縦方向にＩ個に分割されると共に横方向にＪ個に分割され、全体としてＩ×Ｊ個の領域に分割される。この図１２Ｂの例では、Ｉ＝５、Ｊ＝５である。また、分割された領域のそれぞれをＲ[i][j]として示す。なお、ｉおよびｊは分割枠の引数であって、ｉ＝１，２，・・・，Ｉ、ｊ＝１，２，・・・，Ｊである。

なお、図１２では画像データのフレームが縦横について等分割されているが、これはこの例に限定されない。例えば、縦横について中央付近の領域が他の領域よりも大きい面積となるように分割することができる。また、他の領域よりも大きい面積となる領域を所定に設定することも可能である。

図１１のフローチャートにおいて、マイクロコンピュータ１４は、最初のステップＳ４０で、各領域Ｒ[i][j]それぞれの平均輝度Ｙ[i][j]と１フレーム全体の平均輝度Ｙ_aveとをＲＡＭから読み出す。上述したように、これら各領域Ｒ[i][j]それぞれの平均輝度Ｙ[i][j]および１フレーム全体の平均輝度Ｙ_aveは、画像信号処理部１２において予め計算され、平均輝度情報２１としてマイクロコンピュータ１４に供給されＲＡＭに記憶されている。

次のステップＳ４１で、マイクロコンピュータ１４は、式（５）に従い、領域Ｒ[i][j]の平均輝度Ｙ[i][j]に対してそれぞれ所定に重み付けし、重み付けされた平均輝度Ｙ[i][j]の和を算出し、重み付け平均輝度Ｙ_{w_ave}としてレジスタやメモリなどに保持する。なお、式（５）において、Ｗ₂[i][j]は、領域Ｒ[i][j]のそれぞれに割り当てられた重みである。

次に、ステップＳ４２で、重み付き平均輝度Ｙ_{w_ave}と全体の平均輝度Ｙ_aveとの比Ｒ_yを、次式（６）により計算する。
Ｒ_y＝Ｙ_{w_ave}／Ｙ_ave ・・・（６）

ステップＳ４３では、ステップＳ４２で求めた輝度比Ｒ_yに基づき、階調補正量ｇｍＡｍｐの調整値Ａｄｊ₁を計算する。階調補正量ｇｍＡｍｐの調整値Ａｄｊ₁は、例えば次式（７）により計算される。なお、式（７）において、ＣＫ＿Ｌ２およびＣＫ＿Ｌ１、ならびに、ＣＫ＿Ｈ２およびＣＫ＿Ｈ１は、それぞれ所定に設定された閾値である。

調整値Ａｄｊ₁が計算されたら、次のステップＳ４４で、調整値Ａｄｊ₁を用いて式（８）により階調補正量ｇｍＡｍｐを更新する。
ｇｍＡｍｐ（調整後）＝ｇｍＡｍｐ（調整前）×Ａｄｊ₁ ・・・（８）

図１３は、上述の式（７）に対応し、輝度比Ｒ_Yと調整値Ａｄｊ₁との一例の関係を示す。輝度比Ｒ_yが所定の閾値ＣＫ＿Ｈ１以上の場合、より大きな重み付けがなされた領域において、高輝度の画素が非常に多いことを意味する。そのため、輝度比Ｒ_yが閾値ＣＫ＿Ｈ１以上であれば、図１３に一例が示されるように、階調補正量ｇｍＡｍｐ＝０とし、トーンカーブテーブルＧ_Pを用いた階調補正を行わないようにする。一方、輝度比Ｒ_yが所定の閾値ＣＫ＿Ｌ２以下の場合、より大きな重み付けがなされた領域において、低輝度の画素が非常に多いことを意味する。この場合、輝度比Ｒ_yが閾値ＣＫ＿Ｌ２以下であれば、図１３に例示されるように、階調補正量ｇｍＡｍｐ＞１とし、より強調された階調補正をステップＳ３０で行うようにする。

このようにすることで、重み付けされた領域について階調補正量を適応的に設定することができ、当該領域の画像が適切な輝度範囲にあるような場合にトーンカーブの補正量を小さくし、良好な階調を得ることができる。

重みＷ₂[i][j]は、例えばフレーム中央部分においてより大きな値にすることが考えられる。また、より大きな重みを割り当てる領域Ｒ[i][j]を、撮影時などにユーザが設定できるようにしてもよい。これに限らず、例えばフォーカスが合った位置などに基づき、大きな重みを割り当てる領域Ｒ[i][j]を自動的に設定することも考えられる。

次に、図１０のステップＳ３１による黒つぶれに対する一例の処理について、図１４のフローチャートを用いてより詳細に説明する。ステップＳ５０で、マイクロコンピュータ１４は、画像信号処理部１２から供給された、各領域の輝度値が閾値以下の画素数Ｃ_YL[i][j]（以下、低輝度画素数Ｃ_YL[i][j]）を示す低輝度画素数情報２２をメモリから読み出す。そして、次のステップＳ５１で、読み出された低輝度画素数情報２２に基づき、各領域について、低輝度画素数の比率Ｒ_YLを計算する。低輝度画素数比率Ｒ_YLは、例えば次式（９）により計算される。なお、式（９）において、Ｃ_sumは、分割された領域の画素数の和を示す。

ステップＳ５２で、マイクロコンピュータ１４は、次式（１０）に従い、領域Ｒ[i][j]の低輝度画素数比率Ｒ_YLに対してそれぞれ所定に重み付けし、重み付けされた低輝度画素数比率Ｒ_YLWを各領域毎に計算する。なお、式（１０）において、Ｗ₃[i][j]は、各領域Ｒ[i][j]のそれぞれに割り当てられた重みである。

重みＷ₃[i][j]は、例えばフレーム中央部分においてより大きな値にすることが考えられる。また、より大きな重みを割り当てる領域Ｒ[i][j]を、撮影時などにユーザが設定できるようにしてもよい。これに限らず、例えばフォーカスが合った位置などに基づき、大きな重みを割り当てる領域Ｒ[i][j]を自動的に設定することも考えられる。

次のステップＳ５３で、ステップＳ５２で計算された重み付き低輝度画素比率Ｒ_YLWが閾値と比較される。若し、重み付き定位輝度画素比率Ｒ_YLWが閾値より小さいと判断されれば、処理はステップＳ５８に移行され、低輝度画素数比率Ｒ_YLWを用いて階調補正量ｇｍＡｍｐに対する倍率を計算する。

ステップＳ５８では、例えば、各領域Ｒ[i][j]の低輝度画素数比率Ｒ_YLWを積分した値を用いて、階調補正量ｇｍＡｍｐに対する倍率を計算する。そして、次のステップＳ５９で、当該倍率を調整前の階調補正量ｇｍＡｍｐに乗じた値を調整後の階調補正量ｇｍＡｍｐとして階調補正量ｇｍＡｍｐを更新する。

一方、上述のステップＳ５３で、ステップＳ５２で計算された重み付き低輝度画素数比率Ｒ_YLWが閾値よりも大きいと判断されたら、処理はステップＳ５４に移行する。ステップＳ５４において、マイクロコンピュータ１４は、撮像装置１の動作モードがストロボオートモードになっており、且つ、被写体が撮像装置１が有するストロボ１７で発光されたストロボ光が到達可能な距離にあるか否かが判断される。

なお、ストロボオートモードは、例えば、被写体までの距離、シャッタ速度などの光学系の条件や、外光情報などに基づき、ストロボ１７の発光をマイクロコンピュータ１４が自動的に制御するような動作モードである。

若し、ステップＳ５４で、撮像装置１の動作モードがストロボオートモードで、且つ、被写体がストロボ光の到達可能距離内にいると判断されれば、処理はステップＳ５５に移行され、マイクロコンピュータ１４からストロボ１７に対して、ストロボ発光要求が出される。そして、次のステップＳ５６で、階調補正量ｇｍＡｍｐがリセットされる。

一方、ステップＳ５４で、撮像装置１の動作モードがストロボオートモードでないか、あるいは、被写体がストロボ光の到達可能距離外にいると判断されれば、処理はステップＳ５７に移行され、上述したステップＳ５１で求められた低輝度画素数比率Ｒ_YLWを用いてＥＶ補正量が計算される。マイクロコンピュータ１４は、計算されたＥＶ補正量に基づきシャッタ速度、絞り開度および／またはＡＧＣのゲインを調整する。ＥＶ補正がなされたら、処理は上述したステップＳ５８に移行する。

画像データに対する階調補正量を、領域毎に求めた低輝度画素数比率Ｒ_YLWに基づき計算しているので、撮像された画像データに黒つぶれ部分が多く存在する場合にトーンカーブの補正量を大きくして黒つぶれ部分を適正に補正し、全体として良好な階調の画像を得ることができる。

次に、図１０のステップＳ３２による、外光に基づく階調補正量調整の一例の処理について、図１５のフローチャートを用いて説明する。先ず、ステップＳ６０で、マイクロコンピュータ１４により外光量Ｌｖが計算される。外光量Ｌｖは、例えば、シャッタ速度Ｔ、絞り値Ｆ、ＩＳＯ感度および画像データの平均輝度ｙに基づき計算される。外光量Ｌｖは、一般的には例えば次式（１１）により計算される。なお、式（１１）において、値Ｙは、予め設定された基準輝度である。また、シャッタ速度Ｔは、例えばＴ＝１／３０ｓｅｃ、１／６０ｓｅｃ、１／１２５ｓｅｃ、・・・など、絞り値Ｆは、Ｆ＝１.４、２．０、２.８、・・・など、ＩＳＯ感度ｉｓｏは、ｉｓｏ＝１００、２００、４００、・・・などの値をとる。

次のステップＳ６１で、ステップＳ６０で計算された外光量Ｌｖに基づき、階調補正量ｇｍＡｍｐの調整値Ａｄｊ₂が次式（１２）により計算される。

式（１２）によれば、図１６に一例が示されるように、外光量Ｌｖが所定に設定された下限側の閾値Ｌｖ＿Ｌより小さければ、階調補正量の調整値Ａｄｊ₂＝０とする。一方、外光量Ｌｖが所定に設定された上限側の閾値Ｌｖ＿Ｈより大きければ、階調補正量の調整値Ａｄｊ₂＝１とする。外光量Ｌｖが閾値Ｌｖ＿Ｌと閾値Ｌｖ＿Ｈとの間では、階調補正量の調整値Ａｄｊ₂は、値が１から０の間で変化する。

調整値Ａｄｊ₂が計算されたら、次のステップＳ６２で、調整値Ａｄｊ₂を用いて式（１３）により階調補正量ｇｍＡｍｐを更新する。
ｇｍＡｍｐ（調整後）＝ｇｍＡｍｐ（調整前）×Ａｄｊ₂ ・・・（１３）

次に、図１０のステップＳ３３による、ＩＳＯ感度に基づく階調補正量調整の一例の処理について、図１７のフローチャートを用いて説明する。ＩＳＯ感度は、フィルムの感度と同様に、ＩＳＯ＝１００、２００、４００、・・・などと設定される。ＩＳＯ値が大きくなるに連れ、撮像素子の感度が高くなる一方で、撮像画像にノイズが乗り易くなる。ＩＳＯ感度は、例えば、撮像装置１の図示されない操作部に対するユーザによる操作に応じて入力され、マイクロコンピュータ１４は、入力されたＩＳＯ感度情報に応じて撮像部１１を制御し、撮像素子の感度を設定する。外光情報などに基づきＩＳＯ感度を自動的に設定するようにもできる。ここでは、ＩＳＯ感度がユーザにより設定されるものとする。

先ず、ステップＳ７０で、マイクロコンピュータ１４により、ＩＳＯ感度情報ｉｓｏが取得される。次に、ステップＳ７１で、取得されたＩＳＯ感度情報ｉｓｏに基づき、階調補正量ｇｍＡｍｐの調整値Ａｄｊ₃が次式（１４）により計算される。

式（１４）によれば、図１８に一例が示されるように、ＩＳＯ感度が所定に設定された下限側の閾値ＩＳＯ＿Ｌより小さければ、階調補正量ｇｍＡｍｐの調整値Ａｄｊ₃を１とする。一方、ＩＳＯ感度が所定に設定された上限側の閾値ＩＳＯ＿Ｈより大きければ、階調補正量ｇｍＡｍｐの調整値Ａｄｊ₃を、所定値Ｅ（０＜Ｅ＜１）とする。ＩＳＯ感度が閾値ＩＳＯ＿Ｌと閾値ＩＳＯ＿Ｈとの間では、階調補正量ｇｍＡｍｐの調整値Ａｄｊ₃は、値が１からＥの間で変化する。上述のように、ＩＳＯ感度が高くなるに連れ画像にノイズが乗り易くなるので、階調補正による画質調整を抑制する。

調整値Ａｄｊ₃が計算されたら、次のステップＳ７２で、調整値Ａｄｊ₃を用いて式（１５）により階調補正量ｇｍＡｍｐを更新する。
ｇｍＡｍｐ（調整後）＝ｇｍＡｍｐ（調整前）×Ａｄｊ₃ ・・・（１５）

なお、撮像装置１において、撮像時のモードとして、幾つかの典型的な撮像環境に対応する撮像条件が予め設定された、シーンモードを設けることができる。例えば、人物のバストアップを撮影するための人物撮影モード、風景を撮影するための風景撮影モード、夜間に撮影するための夜間撮影モード、逆光の環境下で撮影するための逆光モードなどの各シーンモードに対して、それぞれ適切な撮影条件が予め設定される。例えば、シャッタ速度Ｔ、絞り値ＦおよびＩＳＯ感度や、必要に応じてストロボ１７の発光パラメータなどがそれぞれ予め設定される。ユーザは、撮影時に、撮影目的や撮影環境などに応じてシーンモードを選択することで、適切に階調が取れた撮像画像を比較的容易に得ることができる。

このシーンモードに対して、この発明の実施の一形態による階調補正方法を適用することができる。すなわち、各シーンモードに対し、それぞれ適切な階調補正量を予め設定しておく。例えば、夜景撮影モードに対しては、階調補正量を小さく設定し、人物撮影モードに対しては、階調補正量を大きく設定する。このように、各シーンモードに対して最適な階調補正量を設定し、撮像された画像データに対して、設定された階調補正量を用いて階調補正を行うことで、より美しい撮像画像を容易に得ることができる。

なお、上述では、この発明が静止画を撮影するための撮像装置に適用されるように説明したが、これはこの例に限定されない。例えば、動画を撮影するための動画撮像装置にこの発明を適用することができる。また、図１における画像信号処理部１２および階調補正部１３をパーソナルコンピュータなどに搭載されるソフトウェアとして構成し、予め用意された特徴ヒストグラムテーブルとトーンカーブテーブルとに基づき画像データの補正を行うようにしてもよい。

この発明の実施の一形態に適用可能な撮像装置の一例の構成を示すブロック図である。 特徴ヒストグラムテーブルに格納される特徴ヒストグラムの例を示す略線図である。 特徴ヒストグラムテーブルに格納される特徴ヒストグラムの他の例を示す略線図である。 トーンカーブテーブルに格納されるトーンカーブの例を示す略線図である。 この発明の実施の一形態による一例の撮像処理を示すフローチャートである。 近似度Ｄ（ｍ）の計算方法を説明するための略線図である。 特徴ヒストグラムデータＴ(ｍ)、パターン番号Ｐｔｎ＿ＮｕｍおよびトーンカーブＧ(ｍ)の関連付けを説明するための図である。 最小近似度Ｄ_minと階調補正量ｇｍＡｍｐとの一例の関係を示す略線図である。 階調補正量ｇｍＡｍｐによるトーンカーブの調整について説明するための略線図である。 他の条件に基づき求めた補正値により階調補正量ｇｍＡｍｐを更新する一例の処理を示すフローチャートである。 画像データの平均輝度を用いた一例の処理を示すフローチャートである。 画像データの分割の一例を示す略線図である。 輝度比Ｒ_Yと階調補正量ｇｍＡｍｐの調整値Ａｄｊ₁との一例の関係を示す略線図である。 黒つぶれに対する一例の処理を示すフローチャートである。 外光に基づく階調補正量調整の一例の処理を示すフローチャートである。 外光量Ｌｖと階調補正量ｇｍＡｍｐの調整値Ａｄｊ₂との一例の関係を示す略線図である。 ＩＳＯ感度に基づく階調補正量調整の一例の処理を示すフローチャートである。 ＩＳＯ感度ｉｓｏと階調補正量ｇｍＡｍｐの調整値Ａｄｊ₃との一例の関係を示す略線図である。 階調補正について概略的に説明するための略線図である。 階調補正について概略的に説明するための略線図である。

符号の説明

１ 撮像装置
１０ 光学系
１１ 撮像部
１２ 画像信号処理部
１３ 階調補正部
１４ マイクロコンピュータ
１５Ａ 特徴ヒストグラムテーブル
１５Ｂ トーンカーブテーブル
１６ 駆動部
１７ ストロボ

Claims (19)

1. 被写体からの光を撮像し撮像された画像の画像データを出力する撮像部と、
   上記撮像部から出力された上記画像データのヒストグラムを求めるヒストグラム生成部と、
   上記撮像部から出力された上記画像データに対して階調補正を行う階調補正部と、
   複数の撮像画像のパターンにそれぞれ対応した複数の特徴ヒストグラムが予め格納される特徴ヒストグラムテーブルと、
   上記複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性が予め格納される入出力特性テーブルと、
   上記ヒストグラム生成部で生成された上記ヒストグラムと上記特徴ヒストグラムテーブルに格納される上記複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された該近似度に基づき上記入出力特性テーブルから上記入出力特性を選択し、選択された該入出力特性を上記近似度に基づき調整する入出力特性調整部と
   を有し、
   上記階調補正部は、上記入出力特性調整部で調整された上記入手力特性を用いて上記階調補正を行うようにした
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   上記階調補正部は、
   上記画像データの１フレーム分の平均輝度と、上記画像データの上記１フレームが分割された複数の領域それぞれの平均輝度に所定の重み付けした値とに基づき上記階調補正をさらに行うようにした
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   上記階調補正部は、
   上記画像データの輝度が閾値以下の画素数に基づき上記階調補正をさらに行うようにした
   ことを特徴とする撮像装置。
4. 請求項３に記載の撮像装置において、
   上記階調補正部は、
   上記画像データの１フレームが分割された複数の領域それぞれについて、上記画像データの輝度が閾値以下の画素数の比率を求め、上記複数の領域それぞれの上記比率を所定に重み付けして上記１フレーム分を積分した値に基づき、上記階調補正をさらに行うようにした
   ことを特徴とする撮像装置。
5. 請求項３に記載の撮像装置において、
   ストロボ発光を行うストロボ発光部をさらに有し、
   上記複数の領域それぞれの上記画像データの輝度が閾値以下の画素数に基づき上記ストロボ発光部による上記ストロボ発光を制御するようにした
   ことを特徴とする撮像装置。
6. 請求項３に記載の撮像装置において、
   露光補正を行う露光補正部をさらに有し、
   上記複数の領域それぞれの上記画像データの輝度が閾値以下の画素数に基づき上記露光補正部による上記露光補正を制御するようにした
   ことを特徴とする撮像装置。
7. 請求項１に記載の撮像装置において、
   上記階調補正部は、
   外光情報に基づき上記階調補正をさらに行うようにした
   ことを特徴とする撮像装置。
8. 請求項１に記載の撮像装置において、
   上記階調補正部は、
   ＩＳＯ情報に基づき上記階調補正をさらに行うようにした
   ことを特徴とする撮像装置。
9. 請求項１に記載の撮像装置において、
   上記入出力特性テーブルに格納される上記入出力特性のうち、低輝度側の頻度が大きく高輝度側の頻度が小さい上記特徴ヒストグラムに対応する上記入出力特性は、高輝度側で入力に対して出力が圧縮されないようにした
   ことを特徴とする撮像装置。
10. 請求項１に記載の撮像装置において、
    複数種類の撮像環境下にそれぞれ対応する複数の撮像モードを備え、
    上記階調補正部は、上記複数の撮像モードのそれぞれに応じて上記階調補正を行うようにした
    ことを特徴とする撮像装置。
11. 被写体からの光を撮像し撮像された画像の画像データを出力する撮像のステップと、
    上記撮像のステップにより出力された上記画像データのヒストグラムを求めるヒストグラム生成のステップと、
    上記撮像のステップにより出力された上記画像データに対して階調補正を行う階調補正のステップと、
    上記ヒストグラム生成のステップで生成された上記ヒストグラムと、特徴ヒストグラムテーブルに予め格納される、複数の撮像画像のパターンにそれぞれ対応した複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された該近似度に基づき、入出力特性テーブルに予め格納される上記複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性から１を選択し、選択された該入出力特性を上記近似度に基づき調整する入出力特性調整のステップと
    を有し、
    上記階調補正のステップは、上記入出力特性調整のステップで調整された上記入手力特性を用いて上記階調補正を行うようにした
    ことを特徴とする撮像方法。
12. 被写体からの光を撮像し撮像された画像の画像データを出力する撮像のステップと、
    上記撮像のステップにより出力された上記画像データのヒストグラムを求めるヒストグラム生成のステップと、
    上記撮像のステップにより出力された上記画像データに対して階調補正を行う階調補正のステップと、
    上記ヒストグラム生成のステップで生成された上記ヒストグラムと、特徴ヒストグラムテーブルに予め格納される、複数の撮像画像のパターンにそれぞれ対応した複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された該近似度に基づき、入出力特性テーブルに予め格納される上記複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性から１を選択し、選択された該入出力特性を上記近似度に基づき調整する入出力特性調整のステップと
    を有し、
    上記階調補正のステップは、上記入出力特性調整のステップで調整された上記入手力特性を用いて上記階調補正を行う
    ようにした撮像方法をコンピュータ装置に実行させることを特徴とする撮像プログラム。
13. 画像データのヒストグラムを求めるヒストグラム生成部と、
    上記画像データに対して階調補正を行う階調補正部と、
    複数の画像のパターンにそれぞれ対応した複数の特徴ヒストグラムが予め格納される特徴ヒストグラムテーブルと、
    上記複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性が予め格納される入出力特性テーブルと、
    上記ヒストグラム生成部で生成された上記ヒストグラムと上記特徴ヒストグラムテーブルに格納される上記複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された該近似度に基づき上記入出力特性テーブルから上記入出力特性を選択し、選択された該入出力特性を上記近似度に基づき調整する入出力特性調整部と
    を有し、
    上記階調補正部は、上記入出力特性調整部で調整された上記入手力特性を用いて上記階調補正を行うようにした
    ことを特徴とする画像処理装置。
14. 請求項１３に記載の画像処理装置において、
    上記階調補正部は、
    上記画像データの１フレーム分の平均輝度と、上記画像データの上記１フレームが分割された複数の領域それぞれの平均輝度に所定の重み付けした値とに基づき上記階調補正をさらに行うようにした
    ことを特徴とする画像処理装置。
15. 請求項１３に記載の画像処理装置において、
    上記階調補正部は、
    上記画像データの輝度が閾値以下の画素数に基づき上記階調補正をさらに行うようにした
    ことを特徴とする画像処理装置。
16. 請求項１５に記載の画像処理装置において、
    上記階調補正部は、
    上記画像データの１フレームが分割された複数の領域それぞれについて、上記画像データの輝度が閾値以下の画素数の比率を求め、上記複数の領域それぞれの上記比率を所定に重み付けして上記１フレーム分を積分した値に基づき、上記階調補正をさらに行うようにした
    ことを特徴とする画像処理装置。
17. 請求項１３に記載の画像処理装置において、
    上記入出力特性テーブルに格納される上記入出力特性のうち、低輝度側の頻度が大きく高輝度側の頻度が小さい上記特徴ヒストグラムに対応する上記入出力特性は、高輝度側で入力に対して出力が増幅されないようにした
    ことを特徴とする画像処理装置。
18. 画像データのヒストグラムを求めるヒストグラム生成のステップと、
    上記画像データに対して階調補正を行う階調補正のステップと、
    上記ヒストグラム生成のステップで生成された上記ヒストグラムと、特徴ヒストグラムテーブルに予め格納される、複数の画像のパターンにそれぞれ対応した複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された該近似度に基づき、入出力特性テーブルに予め格納される上記複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性から１を選択し、選択された該入出力特性を上記近似度に基づき調整する入出力特性調整のステップと
    を有し、
    上記階調補正のステップは、上記入出力特性調整のステップで調整された上記入手力特性を用いて上記階調補正を行うようにした
    ことを特徴とする画像処理方法。
19. 画像データのヒストグラムを求めるヒストグラム生成のステップと、
    上記画像データに対して階調補正を行う階調補正のステップと、
    上記ヒストグラム生成のステップで生成された上記ヒストグラムと、特徴ヒストグラムテーブルに予め格納される、複数の画像のパターンにそれぞれ対応した複数の特徴ヒストグラムそれぞれとの近似度を計算し、計算された該近似度に基づき、入出力特性テーブルに予め格納される上記複数の特徴ヒストグラムにそれぞれ対応する複数の入出力特性から１を選択し、選択された該入出力特性を上記近似度に基づき調整する入出力特性調整のステップと
    を有し、
    上記階調補正のステップは、上記入出力特性調整のステップで調整された上記入手力特性を用いて上記階調補正を行う
    ようにした画像処理方法をコンピュータ装置に実行させることを特徴とする画像処理プログラム。

Images