JP2018207429A - 撮像装置 - Google Patents

Abstract

【課題】シーンに応じて適応的に階調補正の手段を選択することで、色再現のずれを抑制しつつ自然な階調補正を行うことができる撮像装置を提供すること。【解決手段】画像の画素信号値の飽和を抑制する階調制御を行う撮像装置において、露出制御と、撮像された画像データの画素信号値に対するゲイン制御とを組み合わせて行う第一の階調制御手段と、撮像された画像データの画素信号値が所定よりも高い領域について選択的に前記信号値を低減する第二の階調制御手段と、撮像された画像データの画素の色信号毎の信号値を、各色信号の飽和レベルが高い信号値を用いて、飽和レベルが低い信号値を補正する第三の階調制御手段と、を有し、階調制御を行う画像領域の色信号に応じて、第一、第二、第三の補正量を其々決定することを特徴とする。【選択図】図１

Description

本発明は、撮像装置に関し、特に被写体の高輝度領域の階調補正を行う画像処理技術に関する。

従来、好ましい明るさ、コントラストの画像を得るために、画像の階調補正を行う技術が知られている。特に、主被写体の明るさが背景の明るさに比べて著しく暗いような、いわゆる逆光シーンにおいては、画素信号値が飽和する「飛び」が発生しやすく、その飛びを補正する技術として以下のような技術が知られている。

まず、撮像素子を露光する段階で、飛びを抑えるように適正露出よりも暗めの露出で撮影しておく。そして、暗めに撮影された領域の輝度値を適正レベルまで明るくするような出力輝度変換を行う（特許文献１参照）。以降、これを「Ｄレンジ拡大補正」と呼ぶ。

また、撮影後の画像の飛び領域に対して選択的に信号値を低減する手段が知られている（特許文献２参照）。以降、これを「てかり補正」と呼ぶ。

また、撮影データの各色信号の飽和レベルを算出し、飽和レベルが高い色信号を用いて飽和レベルが低い色信号を置換することで、元の色信号の飽和レベル以上の階調を表現する階調補正技術がある（特許文献３参照）。以降、これを「高輝度階調拡張補正」と呼ぶ。

特開２００１−２６７７０１号公報 特許第４８０３１７８号公報 特開２０１５−１５６６１５号公報

しかしながら、特許文献１のように、暗めの露出で撮影した画像を、明るくするような出力輝度変換を行うと、画像のノイズ成分も増幅させてしまい、Ｓ／Ｎ比が劣化することがあった。

また、特許文献２のように、画像の飛び領域に対して選択的に信号値を低減する処理を行う場合、飛び領域の階調は既に情報として失われているため、領域があまり大きいと、処理した部分がベタ塗りのように見え、不自然な画像になることがあった。

また、特許文献３のように、飽和レベル以上の階調を補正する方法では、置換する色信号は推定されたものであるため、色信号のバランスが崩れ、色再現が正確でなくなり、被写体によっては違和感のある画像になる場合があった。

本発明の目的は、上記問題点を鑑みてなされたものであり、シーンに応じて適応的に階調補正の手段を選択することで、色再現のずれを抑制しつつ自然な階調補正を行うことができる撮像装置を提供することにある。

上記の目的を達成するため、本発明に係る撮像装置は、
画像の画素信号値の飽和を抑制する階調制御を行う撮像装置において、露出制御と、撮像された画像データの画素信号値に対するゲイン制御とを組み合わせて行う第一の階調制御手段と、撮像された画像データの画素信号値が所定よりも高い領域について選択的に前記信号値を低減する第二の階調制御手段と、撮像された画像データの画素の色信号毎の信号値を、各色信号の飽和レベルが高い信号値を用いて、飽和レベルが低い信号値を補正する第三の階調制御手段と、を有し、階調制御を行う画像領域の色信号に応じて、第一、第二、第三の補正量を其々決定することを特徴とする。

本発明に係る撮像装置によれば、色再現のずれを抑制しつつ自然な階調補正を行うことができる。

本発明の実施の形態における撮像装置の構成を示すブロック図である。 本発明の実施の形態における階調補正の流れを示すフローチャートである。 本発明の実施の形態におけるＤレンジ拡大補正量決定の流れを示すフローチャートである。 本発明の実施の形態におけるてかり補正処理の流れを示すフローチャートである。 本発明の実施の形態における高輝度階調拡張処理の流れを示すフローチャートである。 本発明の実施に好適な逆光シーンの一例を示す図である。 本発明の実施の形態における高輝度階調拡張処理の信号置換処理を示す概念図である。 本発明の実施の形態における高輝度階調拡張処理のガンマ補正処理の一例を示す図である。 本発明の実施の形態におけるＤレンジ拡大補正量を算出するための輝度分布の一例を示す図である。 本発明の実施の形態における撮影条件ごとに予め設定されたＤレンジ拡大補正量の上限値の一例を示す図である。 本発明の実施の形態におけるトーンカーブ補正の補正カーブの一例を示す図である。 本発明の実施の形態におけるトーンカーブ補正のリミット量を決定するテーブルの一例を示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。

＜デジタルカメラの構成＞
図１は、本発明の実施形態に係るデジタルカメラの構成を示すブロック図である。

デジタルカメラ１００は、撮像機構として撮影レンズ１０１と、絞り及びシャッタ１０２と、自動露出（ＡＥ）処理部１０３と、フォーカスレンズ１０４と、オートフォーカス（ＡＦ）処理部１０５と、撮像素子１０６と、Ａ／Ｄ変換部１０７とを備える。

撮影レンズ１０１は、ズーム機構を有する。絞り及びシャッタ１０２は、ＡＥ処理部１０３からの指示に従って、被写体の反射光である入射光の撮像素子１０６への入射光量と電荷蓄積時間を制御する。ＡＥ処理部１０３は、絞り及びシャッタ１０２の動作を制御すると共に、後述するＡ／Ｄ変換部１０７を制御する。フォーカスレンズ１０４は、ＡＦ処理部１０５からの制御信号にしたがって、撮像素子１０６の受光面上に焦点を合わせて光学像を結像させる。また、ＡＦ処理部１０５は、デジタルカメラ１００から被写体までの距離情報を算出する。

撮像素子１０６は、受光面に結像した光学像をＣＣＤ素子或いはＣＭＯＳ素子等の光電変換手段によって電気信号に変換してＡ／Ｄ変換部１０７へ出力する。

Ａ／Ｄ変換部１０７は、受信した電気信号（アナログ信号）をデジタル信号に変換する。Ａ／Ｄ変換部１０７は、受信した電気信号からノイズを除去するＣＤＳ回路や、受信した電気信号をデジタル信号に変換する前に非線形増幅するための非線形増幅回路を含む。

また、デジタルカメラは、画像処理部１０８と、画像認識部１０９と、フォーマット変換部１１０と、ＤＲＡＭ１１１とを備える。

画像処理部１０８は、Ａ／Ｄ変換部１０７から入力されたデジタル信号に対して所定の画素補間や画像縮小等のリサイズ処理と色変換処理とを行って、画像データを出力する現像処理を行う。

さらに、画像処理部１０８はＡ／Ｄ変換部１０７から入力されたデジタル信号に対してホワイトバランス（ＷＢ）調整を行い、画像の輝度レベルの増減などの操作によって階調補正を行うことで、撮影画像の画質を調節するという役割も担っている。例えば、画像データのレベルに関しては、画像全体に一律の増幅率でレベルを増減させる機能や、元の信号レベルの大小に応じて信号レベルを変換するトーンカーブ（ガンマ）機能がある。この機能によって、後述のＤレンジ拡大補正処理を実現している。ほかにも、画像の所定の領域について、色輝度信号値に加算、減算、乗算、置換処理を施す機能がある。この機能によって、後述のてかり補正処理、高輝度階調拡張処理を実現している。

画像認識部１０９は、画像処理部１０８で適切に処理された画像データを入力することができる。また、画像認識部１０９は、入力された画像の明るさ状況、合焦状況の認識を行うことができる。この認識結果に基づいて、ＡＥ処理部１０３による露出制御、ＡＦ処理部１０５によるＡＦ制御を実現する。さらに、画像認識部１０９は、人物の顔認識とその表情を認識することができる。

フォーマット変換部１１０は、画像データをＤＲＡＭ１１１に記憶するために、画像処理部１０８で生成した画像データのフォーマット変換を行う。ＤＲＡＭ１１１は、高速な内蔵メモリの一例であり、画像データの一時的な記憶を司る高速バッファとして、或いは、画像データの圧縮／伸張処理における作業用メモリ等として使用される。

デジタルカメラは、画像記録部１１２と、システム制御部１１３と、ＶＲＡＭ１１４と、表示部１１５と、操作部１１６と、メインスイッチ（メインＳＷ）１１７と、撮影スイッチ（撮影ＳＷ）１１８とを備える。

画像記録部１１２は、撮影画像（静止画、動画）を記録するメモリーカード等の記録媒体とそのインターフェースを有する。

システム制御部１１３は、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより、デジタルカメラの全体的な動作制御を行う。また、撮像素子１０６の有する複数の撮像駆動モードからどのモードを使用するかの制御を行う。

ＶＲＡＭ１１４は画像表示用のメモリである。

表示部１１５は、例えば、ＬＣＤ等であり、画像の表示や操作補助のための表示、カメラ状態の表示を行う他、撮影時には撮影画面と測距領域を表示する。

ユーザは、操作部１１６を操作することによりデジタルカメラを外部から操作する。

操作部１１６は、例えば、露出補正や絞り値の設定、画像再生時の設定等の各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチ等を有する。

メインスイッチ１１７は、デジタルカメラのシステムに電源を投入するためのスイッチである。

撮影スイッチ１１８は、押し込む深さに応じて２段階の操作を行えるスイッチである。浅く押し込むとＡＥ処理やＡＦ処理等の撮影準備動作を行う。これをＳＷ１操作という。さらに深く押し込むと、システム制御部１１３に対して撮影指示を行う。これをＳＷ２操作という。

デジタルカメラ１００が行う一連の処理として、まず、メインスイッチ１１７の押下によって電源が入ると、撮像素子１０６によって撮影処理が３３ｍｓ周期等で周期的に行われ、表示部１１５に撮影画像が順次表示される本撮影待機状態となる。その後、撮影スイッチ１１８の押下による撮影指示がなされると、撮像素子１０６による本撮影処理が行われ、画像処理部１０８における画像処理を経て、画像記録部１１２にて画像が記録される。その後は、再び本撮影待機状態に戻る。メインスイッチ１１７の押下が再びなされると、デジタルカメラのシステムの電源が切れる。

次に、上記構成を有する撮像装置１００において実行される、本実施の形態における階調補正方法について説明する。

本実施の形態では、以下に示す４種類の階調補正方法を用いる場合について説明する。

＜第１の階調補正方法＞
本実施の形態では、第１の階調補正方法として、低輝度の被写体と高輝度の被写体とが混在しているシーンにおいて、露出制御とトーンカーブ補正を用いて、高輝度側の白飛び（飽和）を抑制する階調補正を行うＤレンジ拡大補正処理を実施する。

通常、撮影前に撮影条件として絞り値、シャッタ速度、ＩＳＯ感度等を決定するが、この時、画面の輝度情報や人物の顔の有無に応じて、適切な露出で撮影しようとする。しかしながら、撮像素子のダイナミックレンジは限りがあり、どのように絞り、シャッタ、ゲインを設定しても、光源を背にして立つ人物を撮影する時のような逆光シーンでは、人物が暗すぎる、あるいは背景が明るすぎる、といったことが起こる。このような、背景が明るすぎる現象を軽減するのがＤレンジ拡大補正処理である。図６（ａ）は、窓際に立つ人物を撮影した典型的な逆光シーンの例である。窓の外の景色が、人物に対して明るすぎるため、白飛びが発生している。

Ｄレンジ拡大補正では、高輝度部分の白飛びが発生しないように露出アンダーとなる露出を設定して撮影を行い、得られた画像データの低輝度部分の輝度を持ち上げるように設定されたトーンカーブ（ガンマ）を用いて、補正を行う。

＜第２の階調補正方法＞
本実施の形態では、第２の階調補正方法として、撮影後の画像の飛び領域に対して選択的に信号値を低減する階調補正を行う、てかり補正処理を実施する。第１の階調補正方法で述べたとおり、撮像素子のダイナミックレンジの限界により、被写体内に部分的に白飛びが発生する場合がある。例えば、太陽光や照明の直射を受けた人物の顔では、頬や額等で光が強く反射するてかりが発生し、その部分が白飛びすることがある。このようなてかり現象を軽減するのがてかり補正処理である。図６（ａ）では、照明によって人物の頬と額にてかりが発生している様子を示している。

てかり補正では、撮影された画像データから、顔などの補正対象を選定し、その補正対象領域内の色信号が飽和しているような高輝度な画素について、その領域の飽和していない低輝度の画素の色成分比率に近づくように、高輝度領域の信号値を減算する。この処理によって、白飛びが発生していた領域の輝度が下がり、色信号が復元される。

＜第３の階調補正方法＞
本実施の形態では、第３の階調補正方法として、撮影後の画像データの画素の色信号毎の信号値を、各色信号の飽和レベルが高い信号値を用いて、飽和レベルが低い信号値を補正する、高輝度階調拡張補正を実施する。

図７は、撮像センサーのＲＧＢの色信号が飽和している画素について、ＲＡＷデータの信号値（ａ）、ＷＢ調整後の信号値（ｂ）、高輝度階調拡張補正後の信号値（ｃ）の例を示している。

ＲＡＷデータの飽和レベルをＳ、ＷＢ調整後のＲ、Ｇ、Ｂ信号の飽和レベルをそれぞれＳｒ、Ｓｇ、Ｓｂとする。ＲＡＷデータで色信号が飽和している場合、ＷＢ調整後の信号では、Ｒ、Ｇ、Ｂの色比がずれてしまうため、このままでは飽和部に色がついてしまう。そのため、通常であればＲＡＷデータの飽和レベルでクリップするか、多少ＲＡＷデータの飽和レベルより大きい信号でクリップしておき、後の処理で飽和付近の輝度に対して色を薄くする処理を行うことがなされている。

一方、高輝度階調拡張補正では、ＷＢ調整後のＲ、Ｇ、Ｂ信号の飽和レベルが高い信号（ここではＲ信号）を用いて、飽和レベルが低い信号（ここでは、Ｇ、Ｂ信号）を置換する。この処理によって、信号をクリップすることなく、各色信号の飽和レベル以上の階調を表現することができる。

さらに、図８に示すように拡張量に応じてガンマカーブの形状を可変させて、拡張した輝度域に対して階調が滑らかになるように階調を割り当てる。図８において、横軸はガンマ補正前の信号値を示し、縦軸はガンマ補正後の信号値を示す。ガンマカーブＡは高輝度階調拡張補正を行わない場合のガンマカーブを示しており、ガンマカーブＢは高輝度階調拡張補正を行った場合のガンマカーブを示している。図７に対応させると、ガンマカーブＡの飽和レベルＳ１は図７のＳであり、ガンマカーブＢの飽和レベルＳ２は図７のＳｒである。

＜階調補正処理の流れ＞
次に、上述した３つの階調補正方法を用いて、より適切な階調の画像を得るための全体の流れを、図２〜５のフローチャートを参照しながら説明する。図２は全体の処理フローチャートである。

（Ｓ２０１）撮像装置１００の起動後、各種デバイスの初期化、起動を経てＥＶＦ画像表示などの撮影準備作業を行い、撮影ＳＷ１１８の押下によるＳＷ１操作の待ちに入る。
ＳＷ１操作が行われると、Ｓ２０２に進む。

（Ｓ２０２）システム制御部１１３は、ＡＥ処理部１０３を通じて仮露出の決定を行う。仮露出では、Ｄレンジ拡大補正処理を考慮しない露出を決定する。具体的には、画像認識部１０９は、撮像素子１０６によって得られた画像データを縦横２４×１６程度の細かさのブロックに分割し、それぞれのブロックの輝度分布値に対して、ブロックの位置ごとの重みを加重した平均値を算出する。そして、ＡＥ処理部１０３は、その加重平均値が所定値に近づくような露出を仮露出として決定する。この処理によって、画面全体の平均に近い被写体にとっては適切な露出が決定されるが、前述した逆光シーンにおいては、高輝度領域にとっては、高すぎる露出となり、白飛びが発生する場合がある。

（Ｓ２０３）システム制御部１１３は、Ｄレンジ拡大補正の補正量を決定する。Ｄレンジ拡大補正量決定フローは図３にて後述する。

（Ｓ２０４）システム制御部１１３は、ＡＥ処理部１０３を通じて本露出の決定を行う。本露出は、Ｓ２０２にて決定した露出に対して、Ｓ２０３にて決定したＤレンジ拡大補正量分だけ下げた露出に決定する。

（Ｓ２０５）システム制御部１１３は、撮影ＳＷ１１８の押下によるＳＷ２操作の待ちに入る。ＳＷ２操作が行われると、Ｓ２０６に進む。

（Ｓ２０６）システム制御部１１３は、Ｓ２０４で決定した本露出値に基づいて本露光を行い、撮像素子１０６からＡ／Ｄ変換部１０７を通じて画像データを取得する。

（Ｓ２０７）システム制御部１１３は、画像処理部１０８を通じてＷＢ調整を行う。

（Ｓ２０８）システム制御部１１３は、画像処理部１０８を通じて高輝度階調拡張の補正処理を行う。具体的には、Ｓ２０７で行ったＷＢ調整の係数に応じて、前述のようにＲＧＢ信号の信号置換を行い、ガンマカーブの設定を行う。この補正量の算出については図４にて後述する。

（Ｓ２０９）システム制御部１１３は、画像処理部１０８を通じてＤレンジ拡大補正処理を行う。より具体的には、第１の階調補正方法の説明で述べたとおり、露出アンダーの画像データの低輝度部の輝度を持ち上げるガンマ処理を行う。

（Ｓ２１０）システム制御部１１３は、画像処理部１０８を通じててかり補正処理を行う。てかり補正処理については図５にて後述する。

（Ｓ２１１）システム制御部１１３は、画像記録部１１２を通じて、適切に画像処理された画像データを記録する。画像データの記録が完了すると、Ｓ２０１に戻り、次の撮影のＳＷ１操作待ちの状態になる。

＜Ｄレンジ拡大補正量決定フロー＞
続いて、Ｄレンジ拡大補正量の決定について説明する。図３は、Ｄレンジ拡大補正量決定の流れを示している。

（Ｓ３０１）システム制御部１１３は、画像認識部１０９を通じて白飛びの判定を行う。Ｓ２０２において決定した仮露出で行われた、本撮影待機中の周期撮影画像データを、縦横２４×１６程度の細かさのブロックに分割し、それぞれのブロックの輝度値を取得し、輝度分布値を算出する。

ここで、画像認識部１０９を通じて得られた顔認識結果に基づき、画像中に人物の顔がある場合、顔領域のブロックか否かによって別々の輝度分布値を算出する。この輝度分布値の一例を図９に示す。図９で、適正輝度は、露出条件によって決められた、適正レベルの明るさで撮像できる輝度値を示しており、飽和輝度は、適正輝度と撮像センサーのＤレンジによって決まる飽和する輝度を示している。また、最大輝度は、顔領域と顔領域以外のそれぞれの輝度分布値において上位３％の分布となる輝度値とし、顔領域の最大輝度と飽和輝度の差をＤａ、顔領域以外の最大輝度と飽和輝度の差をＤｂとする。上位３％とするのは、点光源などの面積が非常に小さく輝度値が高い被写体を除去し、ある程度の面積以上の領域を検出するためである。

（Ｓ３０２）システム制御部１１３は、画像認識部１０９を通じてＷＢ係数を算出する。ＷＢ係数の算出は公知の方法で良い。概略を説明すると、Ｓ３０１で使用した２４ｘ１６程度のブロックについて、それぞれのブロックのＲ／Ｇ、Ｂ／Ｇといった色比を検出し、あらかじめ設定した範囲にある色比のブロックの色比のＲ，Ｇ，Ｂの信号値がそろうように、ＲおよびＢ信号に対して積算する係数を算出する。

（Ｓ３０３）Ｄレンジ拡大補正、高輝度階調拡張により補正できる最大の補正量を算出する。Ｄレンジ拡大補正で補正できる最大の補正量は、図１０のようにＩＳＯ感度に応じたテーブルをあらかじめ用意しておき、設定すれば良い。ここでは、ＩＳＯ感度が高いほどノイズの劣化が顕著になるため、補正量が小さくなるようなテーブルにしている。高輝度階調拡張で補正できる最大の補正量は、図７を用いて前述したように、Ｓ３０２で算出したＲ信号、Ｂ信号のＷＢ係数のうち大きい方の倍数である。

（Ｓ３０４）Ｄレンジ拡大補正の補正量を決定する。図９で、飽和輝度以上の輝度領域は白とびすることになるため、理想的には、ＤａとＤｂの大きい方の分だけ、３つの階調補正手段を用いてＤレンジを拡張する必要がある。ここで、高輝度階調拡張は、色曲がりが起きる可能性があるが、顔の肌色の色味は若干でも変わると人の目に敏感に差が感じられやすい。このため、顔領域に対してはＤレンジ拡大補正を優先的に使用することが望ましい。

一方、Ｄレンジ拡大補正は、Ｓ／Ｎが劣化するため、顔領域以外の比較的に色曲がりを許容できる被写体の場合は、Ｄレンジ拡大補正よりも高輝度階調拡張により補正することが望ましいと言える。

したがって、Ｄレンジ拡大補正、高輝度階調拡張により補正できる最大の補正量を、Ｄ１、Ｄ２とすると、Ｄレンジ拡大補正量は、Ｄ１、Ｄａ、Ｄｂ−Ｄ２のうち最大の補正量になるように決定する。Ｄｂ−Ｄ２の意味は顔領域以外について、高輝度階調拡張だけでは補正しきれない分をＤレンジ拡大補正で補正するためである。

（Ｓ３０５）システム制御部１１３は、撮影条件の判定を行う。具体的には、Ｓ２０２における露出に基づいた、ＩＳＯ感度、シャッタースピード、絞りを判定する。

＜高輝度階調拡張フロー＞
続いて、高輝度階調拡張処理について説明する。図４は、高輝度階調拡張処理の流れを示している。

（Ｓ４０１）Ｄレンジ拡大補正の算出時と同様に、顔領域および顔領域以外の飽和輝度以上の分布に応じて高輝度階調処理の補正量を決定するが、ここでは検出精度を高めるために、撮像したＲＡＷデータにＷＢ係数をかけた信号値から、画素単位のＲ、Ｂ信号の分布値を検出する。

（Ｓ４０２）顔領域および顔以外の領域について、Ｒ、Ｂ信号の分布値の上位３％の信号輝度値を検出し、このＲ、Ｂ信号の上位３％信号輝度値の大きい方を信号最大値として算出する。上位３％としたのは、Ｄレンジ拡大補正の算出時と同じ理由で、小さい面積の飽和部の影響を除去するためである。

（Ｓ４０３）顔領域の信号最大値が飽和レベルより大きい場合は、Ｓ４０４の処理に進み、飽和レベル以下の場合はＳ４０５の処理に進む。

（Ｓ４０４）顔領域の信号最大値が飽和レベルより大きい場合、顔領域の信号最大値と飽和レベルとの比をとることで高輝度階調拡張の補正量を算出するが、ここであらかじめ設定してあるリミット量でリミッター処理を行う。このリミッター処理は、前述したように顔領域については、色曲がりが敏感に感じられやすいため、顔領域の色曲がりが許容できる程度に小さい補正量に抑えるという意味である。

（Ｓ４０５）顔領域の信号最大値が飽和レベル以下の場合、顔領域以外の信号最大値と、飽和レベルとの比をとることで、高輝度階調拡張の補正量を算出する。

（Ｓ４０６）システム制御部１１３は、画像処理部１０８を通じて高輝度階調拡張処理を実施する。具体的な処理方法については、第３の階調補正方法で説明した。

＜てかり補正処理フロー＞
続いて、てかり補正処理について説明する。図５は、てかり補正処理の流れを示している。

（Ｓ５０１）システム制御部１１３は、画像認識部１０９を通じて、顔領域の輝度値を算出する。ここでは、撮像したＲＡＷデータにＷＢ係数をかけた信号値から、顔領域のＲＧＢを検出し、（式１）等を用いて輝度値Ｙを算出した後、ガンマ補正後相当の値に変換することで算出する。

Ｙ＝３×Ｒ＋６×Ｇ＋Ｂ （式１）
（Ｓ５０２）システム制御部１１３は、顔領域の輝度値によるラベリングを行う。より具体的には、Ｓ５０１において算出した顔の各画素について、輝度値が所定値を超えている画素を判定し、白飛び画素とする。そして、上下左右で隣接する白飛び画素を判定し、まとまって存在する白飛び画素連結領域を判定するラベリングを行う。

（Ｓ５０３）システム制御部１１３は、Ｓ５０２における複数の白飛び画素連結領域における最大の面積ＨＬ＿Ａｒｅａ２を算出する。図６（ｂ）に示したシーンでは、顔に発生したてかりは両頬と額の３か所であり、白飛び画素連結領域における最大の面積ＨＬ＿Ａｒｅａ２に該当する領域は額となる。

（Ｓ５０４）システム制御部１１３は、てかり補正量を決定する。より具体的には、
ＴＨ＿ＳｈＡｒｅａＬ＜ＨＬ＿Ａｒｅａ２＜ＴＨ＿ＳｈＡｒｅａＨ
であるとき、白飛び画素連結領域の平均輝度値に応じて、てかり補正量を決定する。ここで、ＨＬ＿Ａｒｅａ２がＴＨ＿ＳｈＡｒｅａＨ以上であるとき、テカリ補正量を０とするが、これは大きな面積をテカリ補正すると、階調がなくなり不自然な画像になるためである。

（Ｓ５０５）システム制御部１１３は、画像処理部１０８を通じててかり補正処理を実施する。具体的な処理方法については、第２の階調補正方法で説明した。

上記説明したとおり、顔領域と顔以外の領域の飽和レベルを用いて、Ｄレンジ拡大補正量、てかり補正の補正量、高輝度階調拡張の補正量をそれぞれ決定することにより、顔領域での色曲がりが発生しないようにしつつ、適切に白とびを補正した画像を得ることができる。

また、上記の白とびを補正する処理とは別に、飽和レベル以下の高輝度な輝度域に対してゲインダウンを行い、高輝度の階調を強調するトーンカーブ補正等の階調補正方法があるため、この補正量の算出方法について説明する。

図１１に、階調補正テーブルの一例を示す。横軸がトーンカーブ補正前の信号値、縦軸がトーンカーブ補正後の信号値であり、高輝度な輝度域について、補正テーブルの傾きを急峻にし、入力輝度に対して出力輝度を小さくするような補正テーブルを適用することで、高輝度の階調を強調することができる。

この補正量の算出には、たとえば、画像全体の輝度分布を算出し、所定値以上の高輝度の度数割合が大きいほど、あらかじめ設定してある強弱の補正カーブのうち補正量が大きいカーブを選択するようにする。これは高輝度の度数割合が大きい場合、この高輝度部の階調が白くつぶれたように感じられやすいため、階調を強調する目的である。

このトーンカーブ補正自体では、もともと飽和していない信号に対するゲインダウン処理なので、色曲がりは発生しにくいが、前述の高輝度階調拡張処理によって色曲がりが発生している場合、この色曲がりが強調されることになる。
したがって、図１２に示すような補正テーブルを用意しておき、前述の顔領域に対して高輝度階調拡張処理を行った補正量に応じて、トーンカーブ補正の補正量を抑えるようにする。

尚、本実施形態では、顔領域か否かに応じて、補正手段を決定するようにしたが、肌色等の色曲がりを抑制すべき重要色をあらかじめ設定しておき、重要色か否かに応じて、同様の決定フローを用いて補正手段を決定するようにしても良い。すなわち、肌色等の重要色では高輝度階調拡張以外の補正手段を用いることで、重要色の色曲がりを抑えつつ白とびを補正することができる。

１００ 撮像装置、１０１ 撮影レンズ、１０２ 絞り及びシャッタ、
１０３ ＡＥ処理部、１０４ フォーカスレンズ、１０５ ＡＦ処理部、
１０６ 撮像素子、１０７ Ａ／Ｄ変換部、１０８ 画像処理部、
１０９ 画像認識部、１１０ フォーマット変換部、１１１ ＤＲＡＭ、
１１２ 画像記録部、１１３ システム制御部、１１４ ＶＲＡＭ、
１１５ 表示部、１１６ 操作部、１１７ メインＳＷ、１１８ 撮影ＳＷ

Claims (7)

1. 画像の画素信号値の飽和を抑制する階調制御を行う撮像装置において、
   露出制御と、
   撮像された画像データの画素信号値に対するゲイン制御とを組み合わせて行う第一の階調制御手段と、
   撮像された画像データの画素信号値が所定よりも高い領域について選択的に前記信号値を低減する第二の階調制御手段と、
   撮像された画像データの画素の色信号毎の信号値を、各色信号の飽和レベルが高い信号値を用いて、飽和レベルが低い信号値を補正する第三の階調制御手段と、
   を有し、
   階調制御を行う画像領域の色信号に応じて、第一、第二、第三の補正量を其々決定することを特徴とする撮像装置。
2. 階調制御を行う画像領域の色信号が重要色であるかを判定する判定手段を有し、重要色であるほど、前記第三の階調制御手段の補正割合を小さくすることを特徴とする請求項１に記載の撮像装置。
3. 前記飽和レベルより低輝度の階調制御を行う第四の階調制御手段をさらに有し、重要色の画像領域に対して、前記第三の階調制御手段による補正を行った補正量に応じて、前記第四の階調制御手段の補正量を決定することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 画像の画素信号値の飽和を抑制する階調制御を行う撮像装置において、
   露出制御と、
   撮像された画像データの画素信号値に対するゲイン制御とを組み合わせて行う第一の階調制御手段と、
   撮像された画像データの画素信号値が所定よりも高い領域について選択的に前記信号値を低減する第二の階調制御手段と、
   撮像された画像データの画素の色信号毎の信号値を、各色信号の飽和レベルが高い信号値を用いて、飽和レベルが低い信号値を補正する第三の階調制御手段と、
   画像の特徴的な領域を検出する検出手段と、
   を有し、
   階調制御を行う画像領域が、特徴的な領域か否かに応じて、第一、第二、第三の補正量を其々決定することを特徴とする撮像装置。
5. 前記画像の特徴的な領域は、人物の顔領域であることを特徴とする請求項４に記載の撮像装置。
6. 階調性を行う画像領域が、特徴的な領域であるほど、前記第三の階調制御手段の補正割合を小さくすることを特徴とする請求項４又は請求項５に記載の撮像装置。
7. 飽和レベルより低輝度の階調制御を行う第四の階調制御手段をさらに有し、画像の特徴的な領域に対して、前記第三の階調制御手段による補正を行った補正量に応じて、前記第四の階調制御手段の補正量を決定することを特徴とする請求項４乃至請求項６の何れか一項に記載の撮像装置。