JP2009177764A

JP2009177764A - 撮像装置

Info

Publication number: JP2009177764A
Application number: JP2008095220A
Authority: JP
Inventors: Kenichi Nakajima; 謙一中嶋
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 2007-12-27
Filing date: 2008-04-01
Publication date: 2009-08-06
Anticipated expiration: 2028-04-01
Also published as: JP5149055B2

Abstract

【課題】多様な画像データに対して適正な階調処理を施す。
【解決手段】階調補正機能を有するデジタルカメラ。ＡＥ制御部２２は、ＣＣＤ１０で得られたプレビュー画像の輝度ヒストグラムを作成する。露出補正量計算部１６は、作成された輝度ヒストグラムに基づいて、階調補正部１８での階調補正を考慮して適正露出に対するアンダーの露出値を設定する。階調補正部１８は、撮影された画像データに対して部分領域毎に階調補正を施す。露出補正量計算部１６は、被写体に顔が存在する場合と存在しない場合とで露出値を変化させる。
【選択図】図１

Description

本発明は撮像装置に関し、特に階調補正に関する。

逆光等の照明条件で撮影された画像を補正するため、輝度やコントラストを補正する階調補正が知られている。ガンマ補正やヒストグラム補正はその代表であるが、一定の係数で補正するため、白飛びや黒つぶれが生じる問題がある。

一方、画像データの階調値だけでなく、補正すべき画素の周辺画素の情報を用いて補正係数を決定する適応的階調補正が提案されており、画像の内容に応じた補正が可能となっている。非特許文献１には、適応的階調補正が開示されている。適応的階調補正では、Ｒｅｔｉｎｅｘ理論を基にしており、Ｒｅｔｉｎｅｘ理論では入力画像を照明光と反射率の積で表されるとし、入力画像から照明光を分離することで反射率画像を補正画像として得るものである。いま、入力画像Ｉ＝照明光Ｌ×反射率Ｒ（補正画像）とすると、Ｒ（ｘ，ｙ）＝ｅｘｐ｛ｌｏｇ（Ｉ（ｘ，ｙ））−ｌｏｇ（Ｌ（ｘ，ｙ））｝である。照明光の推定には変分法が用いられ、解像度が原画像の１／２^ｋのレイヤｋを複数作成し、低解像度のレイヤから照明光更新の計算を繰り返す。照明光更新の計算は、Ｌ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）−μＮＳＤ×Ｇ（ｘ，ｙ）である。ここで、Ｇ（ｘ，ｙ）はコスト関数の勾配、μＮＳＤは学習係数である。具体的には、まずＧ（ｘ，ｙ）を計算し、次にμＮＳＤ（ｘ，ｙ）を計算し、これらに基づいてＬ（ｘ，ｙ）を計算するという処理を繰り返す。

また、特許文献１では、人物撮影モードが選択された場合に、ＡＥ（自動露出）検出手段により算出された適正な露出値よりも露出値をアンダーに設定して画像を撮影するとともに、撮影して得られた画像データに対して階調変換処理後の画像データのダイナミックレンジを広くするγ変換テーブルを用いて階調補正を施すことにより、被写体中心付近における輝度が不足する部分の輝度値を補正することが開示されている。

「適応的階調補正のハードウェア実現におけるＲｅｔｉｎｅｘ理論の比較評価」，野良等，信学技報ＳＩＳ２００５−１６，ｐｐ．１９−２４（２００５年６月）特開２００７−２７９６７号公報

このように、ＡＥで設定された最適露出値に対してアンダーに設定した露出値で被写体を撮影し、得られた画像データに対して適応的に階調補正を行うことで白飛びや黒つぶれを防止することが可能であるが、アンダーの露出値を固定的に設定したのでは、多様な画像に対応することができず、ユーザの意図する画像が得られない問題がある。

本発明の目的は、導出されたＡＥの適正露出に対し、撮影状態に応じた露出補正値を加味して撮影された画像データに対し、適応的に階調補正を行うことでユーザの意図する画像を得ることができる撮像装置を提供することにある。

本発明は、被写体像を撮像する撮像装置であって、適正な露出値を算出する露出制御手段と、前記適正な露出値よりも露出値をアンダーまたはオーバに設定して撮像された画像データに対し、階調補正を行う補正手段と、前記補正手段による階調補正前の前記画像データの輝度ヒストグラムが特定の条件を満足するか否かを判定することで露出値を調整する調整手段とを有する。

本発明の１つの実施形態では、前記調整手段は、調整に関するデータを前記画像補正手段に供給し、前記補正手段は、前記調整に関するデータを用いて補正量を調整する。

また、本発明の他の実施形態では、前記調整手段は、前記被写体に顔が存在する場合としない場合とで前記特定の条件を変更して判定する。

また、本発明の他の実施形態では、前記調整手段は、さらに、前記被写体の輝度がストロボを発光させることが必要な輝度レベルであるか否か、あるいは前記被写体が特定のシーンであるか否か、あるいはＩＳＯ値がしきい値以上か否か、あるいは被写体に顔が存在するか否かを判定することでアンダーに設定する露出値を調整する。

本発明によれば、導出されたＡＥの適正露出に対し、撮影状態に応じた露出補正値を加味して撮影された画像データに対し、適応的に階調補正を行うことでユーザの意図する画像を得ることができる。

以下、図面に基づき本発明の実施形態について、撮像装置としてデジタルカメラを例にとり説明する。

図１に、本実施形態におけるデジタルカメラの機能ブロック図を示す。なお、撮像素子に被写体像を結像するための光学系、撮像素子からの画像信号を相関二重サンプリングする手段、デジタル信号に変換する手段、画像データを圧縮伸長する手段、プレビュー画像を生成する手段、撮影済み画像あるいはプレビュー画像を表示装置に表示する手段、画像データを記録媒体に記録する手段、オートフォーカス（ＡＦ）手段、ホワイトバランス（ＷＢ）処理手段等は公知のデジタルカメラの構成と同一であるため省略する。

図１において、撮像素子としてのＣＣＤはＲ、Ｇ、Ｂ各画像信号を出力する。撮像素子はＣＣＤに限定されるものではなく、ＣＭＯＳでもよい。

領域分割平均部１２は、ＣＣＤ１０からの画像データ、より特定的にはプレビュー画像データを複数の領域に分割し、各領域毎に画素値の平均を算出して出力する。すなわち、画像データの全体をｎ×ｍの矩形領域に分割し、各領域毎にＲ、Ｇ、Ｂの画素値の単純平均を算出する。

ＡＥ制御部１４は、プレビュー画像データに基づいてプレビュー用の露出評価を行い、適正な露出値を計算する。プレビュー用の露出評価としては中央部に重点をおいて測光する方法とマルチポイントで測光する方法がある。マルチポイントで測光する方法を採用すれば撮影用の露出評価にも用いることができる。さらに、ＡＥ制御部１４は、プレビュー画像の画像データを用いて輝度ヒストグラムを作成し、この輝度ヒストグラムを露出補正量計算部１６に供給する。

露出補正量計算部１６は、輝度ヒストグラムが特定の条件を満たすか否かを判定することで適正露出に対する露出補正量を計算し、ＡＥ制御部１４に供給するとともに階調補正部１８に供給する。露出補正量計算部１６は、撮影された画像データが階調補正部１８で階調補正されることを前提として露出補正量を計算する。本実施形態では、露出補正量は、適正露出値に対して６段階に設定される。すなわち、露出補正量をΔＥＶとすると、ΔＥＶ＝０ＥＶ、−Δ_１ＥＶ、−Δ_２ＥＶ、−Δ_３ＥＶ、−Δ_４ＥＶ、＋Δ_５ＥＶのいずれかに設定される。ここで、露出補正量のプラスは適正露出値に対するオーバ露出を意味し、露出補正量のマイナスは適正露出値に対するアンダー露出を意味する。また、Δ_１＜Δ_２＜Δ_３＜Δ_４とする。

階調補正部１８は、露出補正量計算部１６からの露出補正量及び適正露出値（露出の基準）に基づき、露出補正されて撮影された画像データに対して適応的に階調補正を行う。階調補正の方法は任意であるが、輝度データに対して適応的なγ関数を用いてγ変換するとともに、色差データに対して補正を行うことで階調補正を行う。階調補正部１８は、アンダー露出で撮影された画像データの露出を補償して適正露出となるように階調補正するため、露出補正量が小さい場合にはその分だけ階調補正の補正量も小さくなり、露出補正量が大きい場合にはその分だけ階調補正の補正量も大きくなり、階調補正の効果が顕著に現れる（言い換えると、階調補正の歪みも顕著に現れる）。図１における露出補正量計算部１６は具体的にはＣＰＵで構成される。階調補正部１８は専用のＤＳＰで構成される。

図２に、図１におけるＡＥ制御部１４及び露出補正量計算部１６の詳細機能ブロック図を示す。ＣＣＤ１０で得られた画像信号を処理して得られるプレビュー画像２０は領域分割平均部１２に供給される。領域分割平均部１２は、ＡＥ評価用データを作成する。例えば、プレビュー画像を１２×８のブロックに分割し、各ブロック毎に、Ｒ、Ｇ、Ｂの平均値を計算する。

ＡＥ制御部１４のプレビュー用露出評価部２２は、プレビュー画像の露出を制御するための評価値を算出する。算出された評価値はプレビュー露出制御部３２に供給され、適正露出値に制御される。撮影露出予測ヒストグラム作成部２８は、プレビュー用露出評価部２２からのデータに基づいて、現在の露出値で撮影した場合に撮影後の画像データから得られるであろう輝度ヒストグラムを作成する。具体的には、撮影露出予測ヒストグラム作成部２８は、各ブロック毎のＲ、Ｇ、Ｂの平均値を輝度Ｙに変換し、ｌｏｇ２（輝度Ｙ／適正露出値）によりＥＶ単位に変換する。各ブロック毎に輝度ＹをＥＶ単位で算出した後、これら１２×８個＝９６個のデータでヒストグラムを作成する。ヒストグラムの横軸は、適正露出（１５３）からのずれ量とする。算出されたヒストグラムは、露出補正量計算部１６に供給される。

露出補正量計算部１８の露出補正量決定部３０は、ヒストグラムとその他の判定データに基づき露出補正量を決定する。その他の判定データとは、フラッシュＯＮの条件であるか否か、プレビュー画像が存在するか否か、顔情報（有無、位置、大きさ等）等の判定データである。露出補正量は、例えばヒストグラムにおいてｘ_４ＥＶ以上が全体の２５％以上存在し、かつ、ｘ_５ＥＶ以上が存在せず、かつ、ｘ_２ＥＶ以下が全体の１０％以下存在の場合に露出補正量を−Δ_３とする等である。ヒストグラムに基づく具体的な決定方法については後述する。決定された露出補正量は階調補正部１８に供給されるとともにＡＥ制御部２２のスチル撮影用露出判断部２６に供給される。スチル撮影用露出判断部２６は、スチル撮影用露出評価部２４からの評価結果と露出補正量とに基づいて撮影時の露出値を決定する。

図３に、本実施形態の処理フローチャートを示す。まず、デジタルカメラのＣＰＵは、プレビュー画像の輝度レベルがストロボ（フラッシュ）をＯＮするためのレベルより暗いか否かを判定する（Ｓ１０１）。この判定は、フラッシュ発光する場合には撮影シーン事態が暗いため、さらに露出アンダーとしないためである。したがって、フラッシュＯＮレベルよりも輝度レベルが暗い場合、適正露出値に対する露出補正量ΔＥＶは０、すなわち適正露出のままとする（Ｓ１１４）。

プレビュー画像の輝度レベルがフラッシュをＯＮするためのレベル以上に明るい場合、次にプレビューデータが存在しないか否かを判定する（Ｓ１０２）。電源ＯＮ直後や再生モードからの復帰直後においてはプレビュー画像データは存在せず、この状態でユーザがシャッタを一気押しした場合にはプレビュー画像データが存在しないため露出補正を行うことができない。そこで、このような場合には撮影できることを優先し、露出補正量計算部１６は露出補正量をデフォルトのアンダー露出値とする（Ｓ１１５）。すなわち、適正露出値に対してΔＥＶ＝−Δ_１ＥＶだけアンダー露出値に設定する。

プレビュー画像が存在する場合、次に、逆光状態か否かを判定する（Ｓ１０３）。逆光状態の場合、強制的にフラッシュ発光するため、この場合には露出補正量計算部１６は露出補正量をデフォルトのアンダー露出値とする（Ｓ１１５）。すなわち、適正露出値に対してΔＥＶ＝−Δ_１ＥＶだけアンダー露出値に設定する。

逆光状態でない場合、次に撮影シーンが特定のシーンか否か、具体的には撮影シーンがビーチ（海岸）のシーンあるいはテキスト（文書）を撮影するシーンであるか否かを判定する（Ｓ１０４）。撮影シーンがこれらのシーンである場合、露出アンダーで撮影するよりも露出オーバで撮影する方がよい場合があるからである。したがって、撮影シーンがこれらのシーンである場合、露出補正量計算部１６は露出補正量を適正露出値よりもオーバ露出値とする（Ｓ１１９）。すなわち、適正露出値に対してΔＥＶ＝＋Δ_５ＥＶだけオーバ露出値に設定する。なお、撮影シーンがビーチシーンであるかテキスト撮影シーンであるかは、公知のシーン判別技術を用いることができる。例えば、特開２００７−１２１６５４号公報には、温度特徴と、画像特徴抽出回路で検出した画像の動き、色相、彩度、輝度等とを組み合わせてシーンを判別する技術が開示されている。

撮影シーンが特定シーンでない場合、次にＩＳＯがしきい値以上か否かを判定する（Ｓ１０５）。撮影シーンが暗いと手ぶれ抑制のためにシャッタスピードを固定してＩＳＯを高くして感度を上げるが、ＩＳＯが高くなるとノイズが増大することになるのでＩＳＯがしきい値以上である場合に露出補正を実行しないためである。したがって、ＩＳＯがしきい値以上である場合には露出補正量計算部１６は基本的に適正露出のままとするように露出補正量を決定する。但し、ＩＳＯが高い場合としては、
（１）撮影シーン自体が暗い場合
（２）撮影シーンは暗くないが、動く被写体を止めて撮影することを目的として高速シャッタを用いる場合、結果的に光量が足りなくなるのでＩＳＯを高くする場合
の２つがある。このうち、（１）の場合において露出補正を行わないこととし、（２）の場合には露出補正を行うものとする。このため、撮影シーンの輝度が動く被写体用の輝度よりも低いか否かを判定し（Ｓ１０６）、動く被写体用の輝度よりも低い場合に露出補正量計算部１６は適正露出のままとするように露出補正量を決定する（Ｓ１１５）。すなわち、ΔＥＶ＝０とする。ここで、判定のためのＥＶ値のしきい値は、ヒストグラムの横軸上の値を表し、ｘ_０＜ｘ_１＜ｘ_２＜ｘ_３＜ｘ_４＜ｘ_５、ｙ_１＜ｙ_２＜ｙ_３とする。

ＩＳＯがしきい値より小さい場合、あるいはＩＳＯがしきい値以上であっても上記の（２）の条件に該当する場合、次にヒストグラムを用いて輝度差を判定する（Ｓ１０７）。そして、輝度差が特定の条件に該当するか否かを順次判定し、判定結果に応じて露出補正量を設定する。

具体的には、まず、撮影シーンに顔が存在するか否かを判定する（Ｓ１０８）。顔を検出する技術も公知であり、例えば画像データから肌色部分を抽出し、人物の顔のテンプレートと肌色部分の画像とのマッチング度を求め、マッチング度の高い部分を顔部候補とする等である。さらに、顔候補部分において目の部分を抽出し、顔か否かを判別してもよい。

顔が存在する場合には、次に輝度のヒストグラムが露出補正量ΔＥＶ＝−Δ_３ＥＶに相当する条件を満たすか否かを判定する（Ｓ１０９）。ΔＥＶ＝−Δ_３ＥＶに設定される条件は以下のとおりである。
＜−Δ_３ＥＶとなる条件：顔あり＞
ｘ_４ＥＶ以上が２５％以上、かつ、ｘ_５ＥＶ以上が存在せず、かつ、ｘ_２ＥＶ以下が１０％以下、かつ、顔エリアがｙ_２ＥＶ以上ｙ_３ＥＶ以下である。
−Δ_３ＥＶの条件を満たさない場合、次に、輝度のヒストグラムが露出補正量ΔＥＶ＝−Δ_２ＥＶに相当する条件を満たすか否かを判定する（Ｓ１１０）。ΔＥＶ＝−Δ_２ＥＶに設定される条件は以下のとおりである。
＜−Δ_２ＥＶとなる条件：顔あり＞
ｘ_３ＥＶ以上が６０％以上、かつ、顔エリアがｙ_１ＥＶ以上である。

そして、輝度のヒストグラムがこれらの条件を満たさない場合には、露出補正量計算部１６は露出補正量ΔＥＶをデフォルトの−Δ_１ＥＶに設定し（Ｓ１１５）、−Δ_２ＥＶの条件を満たす場合には、露出補正量ΔＥＶを−Δ_２ＥＶに設定する（Ｓ１１６）。これは、デフォルトのアンダー露出値よりもさらに露出値をアンダーに設定して撮影することを意味する。また、−Δ_３ＥＶの条件を満たす場合、露出補正量ΔＥＶを−Δ_３ＥＶに設定する（Ｓ１１７）。これは、デフォルトのアンダー露出値よりもさらに露出値をアンダーに設定して撮影することを意味する。

一方、撮影シーンに顔が存在しない場合、順次、輝度のヒストグラムが−Δ_４ＥＶに相当する条件を満たすか否か（Ｓ１１１）、−Δ_３ＥＶに相当する条件を満たすか否か（Ｓ１１２）、−Δ_２ＥＶに相当する条件を満たすか否かを判定する（Ｓ１１３）。これらの条件は、それぞれ以下のとおりである。
＜−Δ_４ＥＶとなる条件：顔なし＞
ｘ_４ＥＶ以上が２０％以上、かつ、ｘ_５ＥＶ以上が存在し、かつ、ｘ_１ＥＶ以下が１０％以下、もしくは、ｘ_０ＥＶ以下が２０％以上である。
＜−Δ_３ＥＶとなる条件：顔なし＞
ｘ_４ＥＶ以上が２５％以上、かつ、ｘ_５ＥＶ以上が存在せず、かつ、ｘ_２ＥＶ以下が１０％以下である。
＜−Δ_２ＥＶとなる条件：顔なし＞
ｘ_３ＥＶ以上が５０％以上である。

これらの条件をまとめて図４に示す。顔の有無で判定基準を変えているのは、顔が存在する場合には顔が存在しない場合に比べて階調補正における補正量を相対的に小さくするためである。すなわち、露出補正量計算部１６で計算された露出補正量ΔＥＶは、撮影時の露出制御に用いられるとともに、階調補正部１８にも供給されて階調補正時の補正量を調整するために用いられる。階調補正部３２は、アンダー露出値で撮影された画像データに対し、階調補正を施して適正露出値まで補正するため、アンダー露出値が小さいと階調補正時の補正量も小さくなる。したがって、露出補正量を調整することは、同時に、階調補正部３２での階調補正の補正量を調整することを意味する。また、図４に示すように、顔が存在する場合には顔が存在しない場合に比べて露出補正量ΔＥＶを小さく設定している。図４において、顔が存在する場合のアンダー露出値の最大値は、露出補正量ΔＥＶ＝−Δ_３ＥＶであるのに対し、顔が存在しない場合のアンダー露出値の最大値は、露出補正量ΔＥＶ＝−Δ_４であることに留意されたい。顔が存在する場合にアンダー露出値を小さくするのは、露出値をアンダーに設定するとその分だけノイズが混入しやすくなるので、アンダー露出値を小さくして顔の部分にノイズが混入することを防止するためである。

このように、本実施形態では、プレビュー画像の輝度のヒストグラムに基づいて露出補正量を動的に調整して撮影するとともに、撮影して得られた画像データに対して階調補正を行うため、固定的にアンダー露出値で撮影して階調補正を行う場合に比べて多様な撮影シーンに対応することができる。本実施形態における露出補正量は、後段の処理において適応的に階調補正されることを前提として設定されるものであり、適応的階調補正の補正量を調整するためのパラメータとして機能するものであって、単に輝度ヒストグラムに基づいて露出値を設定するものではない。

実施形態の機能ブロック図である。実施形態の詳細機能ブロック図である。実施形態の処理フローチャートである。実施形態の輝度ヒストグラムと露出補正量との関係を示すテーブル図である。

符号の説明

１０ＣＣＤ、１２領域分割平均部、１４ＡＥ制御部、１６露出補正量計算部、１８階調補正部。

Claims

被写体像を撮像する撮像装置であって、
適正な露出値を算出する露出制御手段と、
前記適正な露出値よりも露出値をアンダーまたはオーバに設定して撮像された画像データに対し、階調補正を行う補正手段と、
前記補正手段による階調補正前の前記画像データの輝度ヒストグラムが特定の条件を満足するか否かを判定することで露出値を調整する調整手段と、
を有することを特徴とする撮像装置。
請求項１記載の装置において、
前記調整手段は、調整に関するデータを前記画像補正手段に供給し、
前記補正手段は、前記調整に関するデータを用いて補正量を調整することを特徴とする撮像装置。
請求項２記載の装置において、
前記調整手段は、前記被写体に顔が存在する場合としない場合とで前記特定の条件を変更して判定することを特徴とする撮像装置。
請求項３記載の装置において、
前記調整手段は、前記被写体に顔が存在する場合にアンダーに設定する露出値の最大値を、前記被写体に顔が存在しない場合にアンダーに設定する露出値の最大値よりも小さく設定することを特徴とする撮像装置。
請求項２記載の装置において、
前記調整手段は、前記輝度ヒストグラムにおいて適正な露出値に対する高輝度な画素の比率あるいは低輝度な画素の比率の少なくともいずれかを用いてアンダーに設定する露出値を調整することを特徴とする撮像装置。
請求項２記載の装置において、
前記調整手段は、さらに、前記被写体の輝度がストロボを発光させることが必要な輝度レベルであるか否かを判定することでアンダーに設定する露出値を調整することを特徴とする撮像装置。
請求項２記載の装置において、
前記調整手段は、さらに、前記被写体が特定のシーンであるか否かを判定することでアンダーに設定する露出値を調整することを特徴とする撮像装置。
請求項２記載の装置において、
前記調整手段は、さらに、ＩＳＯ値がしきい値以上か否かを判定することでアンダーに設定する露出値を調整することを特徴とする撮像装置。
請求項２記載の装置において、
前記調整手段は、さらに被写体に顔が存在するか否かを判定することでアンダーに設定する露出値を調整することを特徴とする撮像装置。