JP2008104009A - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP2008104009A
JP2008104009A JP2006285107A JP2006285107A JP2008104009A JP 2008104009 A JP2008104009 A JP 2008104009A JP 2006285107 A JP2006285107 A JP 2006285107A JP 2006285107 A JP2006285107 A JP 2006285107A JP 2008104009 A JP2008104009 A JP 2008104009A
Authority
JP
Japan
Prior art keywords
image data
luminance
value
control value
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006285107A
Other languages
English (en)
Other versions
JP2008104009A5 (ja
Inventor
Naoya Kato
Masafumi Wakazono
直哉 加藤
雅史 若園
Original Assignee
Sony Corp
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, ソニー株式会社 filed Critical Sony Corp
Priority to JP2006285107A priority Critical patent/JP2008104009A/ja
Publication of JP2008104009A publication Critical patent/JP2008104009A/ja
Publication of JP2008104009A5 publication Critical patent/JP2008104009A5/ja
Application status is Pending legal-status Critical

Links

Images

Abstract

【課題】撮像装置において、画角内のシーンの輝度情報を、ユーザ操作を要することなく確実に捉えることを可能にする。
【解決手段】基準露出制御値を適用した撮像動作により得られた画像データを基に白飛びおよび黒つぶれを検出し、その検出結果を基にシーンの輝度レンジが撮像素子の検出輝度レンジに収まっているか否かを判定し(ステップS104)、収まっていない場合には、シーンの高輝度側および低輝度側の輝度レンジを検出し(ステップS106)、その検出輝度レンジにそれぞれ収まるように基準露出制御値を補正したアンダー側露出制御値およびオーバー側露出制御値を算出し、基準露出制御値と、算出されたアンダー側露出制御値およびオーバー側露出制御値とを適用して撮像動作を連続的に実行して、それぞれの撮像動作により個別の画像データを取得する(ステップS111)。
【選択図】図2

Description

本発明は、固体撮像素子を用いて画像を撮像する撮像装置に関し、特に、画角内のシーンの輝度レンジが固体撮像素子により検出可能な輝度レンジより広い場合に適する撮像装置および撮像方法に関する。

固体撮像素子を用いたデジタルスチルカメラ(DSC)では、撮像により取得した画像を、デジタル画像データとしてフラッシュメモリなどの記録媒体に記録することができる。また、記録されたデジタル画像データに基づいて、その画像をモニタに表示したり、あるいはプリンタから印刷することができる。

このようなDSCでの撮像時には、DSCの内部において撮像画像に対してAE(Auto Exposure)処理、AWB(Auto White Balance)処理、階調補正処理などを施すことで、所望の画質を有する画像データを得ることができる。ここで、AE処理を行う場合には、例えば、撮像画像の画角を複数のエリアに分割し、各エリアにおける重み付け平均輝度を被写体の輝度とする、あるいは、フォーカス点の輝度値を被写体の輝度とするといった手法で、被写体の輝度を測定する。そして、その測定結果に基づいて露光時間や絞りの開口、ISO(International Standards Organization)ゲインを調節することにより、露出量を決定している。

しかし、画角内の輝度レンジが広いシーンでは、AE処理の精度が悪化し、画角内の主な被写体が露出オーバーになって白飛びしたり、露出アンダーになってノイズに埋もれたり黒つぶれしたりする可能性が高くなる。そこで、このようなシーンにおいても適切な露光条件で撮像された画像を得るための撮像手法として、露光条件を変化させて複数回連続して露光し、それぞれの複数の画像信号を得る「ブラケット撮像」という手法が知られている。例えば、測光結果を基にブラケット撮像時の適切な条件を自動的に設定するようにした画像撮影方法が知られている(例えば、特許文献1参照)。

しかし、露光条件を適切に設定したとしても、そのシーンの輝度レンジに対して撮像素子出力のダイナミックレンジが不足している場合には、白飛びや黒つぶれが起こり、画質が悪化してしまうことがある。すなわち、ブラケット撮像により得られた個々の画像では、撮像素子出力のダイナミックレンジの範囲を超える輝度成分を再現することはできない。

そこで、ブラケット撮像を応用して、撮像素子の出力よりも広いダイナミックレンジを持つ画像(広ダイナミックレンジ画像)を得ることを可能とした撮像手法が考えられている。広ダイナミックレンジ画像の撮像では、ブラケット撮像により露出量を大きくした撮像画像と、露出量を抑えた撮像画像とを取得し、それらを合成することで広ダイナミックレンジの画像を生成する。すなわち、露出量を抑えて高輝度側の階調が得られた画像成分と、露出量を高めて低輝度側の階調が得られた画像成分とを合成することで、1回の露光では得ることができない広い輝度レンジの階調情報を、合成後の画像に取り入れることが可能となる。なお、ブラケット撮像機能を用いる代わりに、撮像素子上に大小2種類の開口を設け、それぞれの開口の領域で検出された出力を合成することで広ダイナミックレンジ画像を得る手法も提案されている。
特開2003−348438号公報(段落番号〔0047〕〜〔0050〕、図3)

しかしながら、効果的なブラケット撮像を行うため、特に、広ダイナミックレンジ画像の取得を前提としてブラケット撮像を行うためには、そのブラケット撮像時の露光条件を決定することが難しいという問題があった。特に、シーンの輝度レンジに応じて必要最小限の適切な露出補正値および露光回数を撮影者が決めることは非常に困難であり、それらの判断が自動的に行われることが要望されていた。また、ブラケット撮像により広ダイナミックレンジ画像を取得する場合、ブラケット撮像の際に、カメラがぶれていたり、被写体が動いていたりすると、得られた画像の合成を正しく行えず、広ダイナミックレンジ画像の品質が悪化するという問題もあった。

本発明はこのような点に鑑みてなされたものであり、画角内のシーンの輝度情報を、ユーザ操作を要することなく確実に捉えることが可能な撮像装置および撮像方法を提供することを目的とする。

本発明では上記課題を解決するために、固体撮像素子を用いて画像を撮像する撮像装置において、基準露出制御値を適用した撮像動作により得られた画像データを基に白飛びおよび黒つぶれを検出し、その検出結果を基に、画角内のシーンの輝度レンジが前記固体撮像素子により検出可能な検出輝度レンジに収まっているか否かを判定する露光状態判定部と、前記露光状態判定部によってシーンの輝度レンジが前記検出輝度レンジに収まっていないと判定された場合に、シーンの高輝度側の輝度レンジおよび低輝度側の輝度レンジが前記検出輝度レンジにそれぞれ収まるように前記基準露出制御値を補正したアンダー側露出制御値およびオーバー側露出制御値を算出する露出補正値算出部と、前記露出補正値算出部により前記アンダー側露出制御値および前記オーバー側露出制御値の少なくとも一方が算出された場合に、前記基準露出制御値と、算出された前記アンダー側露出制御値および前記オーバー側露出制御値とを適用して撮像動作を連続的に実行させ、それぞれの撮像動作により個別の画像データを取得するブラケット撮像制御部とを有することを特徴とする撮像装置が提供される。

このような撮像装置では、露光状態判定部により、基準露出制御値を適用した撮像動作により得られた画像データを基に白飛びおよび黒つぶれが検出され、その検出結果を基に、画角内のシーンの輝度レンジが固体撮像素子により検出可能な検出輝度レンジに収まっているか否かが判定される。この判定により、シーンの輝度レンジが検出輝度レンジに収まっていないと判定された場合には、露出補正値算出部により、シーンの高輝度側の輝度レンジおよび低輝度側の輝度レンジが検出輝度レンジにそれぞれ収まるように基準露出制御値を補正したアンダー側露出制御値およびオーバー側露出制御値が算出される。そして、露出補正値算出部により、アンダー側露出制御値およびオーバー側露出制御値の少なくとも一方が算出された場合には、ブラケット撮像制御部により、基準露出制御値と、算出されたアンダー側露出制御値およびオーバー側露出制御値とを適用した撮像動作が連続的に実行され、それぞれの撮像動作により個別の画像データが取得される。

また、本発明では、固体撮像素子を用いて画像を撮像する撮像装置において、基準露出制御値を適用した撮像動作により得られた画像データを基に白飛びを検出し、その検出結果を基に、画角内のシーンの輝度レンジが前記固体撮像素子により検出可能な検出輝度レンジに収まっているか否かを判定する露光状態判定部と、前記露光状態判定部によってシーンの輝度レンジが前記検出輝度レンジに収まっていないと判定された場合に、シーンの高輝度側の輝度レンジが前記検出輝度レンジに収まるように前記基準露出制御値を補正したアンダー側露出制御値を算出する露出補正値算出部と、前記露出補正値算出部により算出された前記アンダー側露出制御値を適用した撮像動作により得られた画像データに対して1倍以上のそれぞれ異なるゲインを印加して複数の補正画像データを生成するゲイン処理部と、前記ゲイン処理部により生成された複数の前記補正画像データに対してそれぞれノイズ除去処理を施し、前記ゲイン処理部におけるゲイン印加量が多い前記補正画像データほど前記ノイズ除去処理の強度を強くするノイズ除去処理部とを有することを特徴とする撮像装置が提供される。

このような撮像装置では、露光状態判定部により、基準露出制御値を適用した撮像動作により得られた画像データを基に白飛びおよび黒つぶれが検出され、その検出結果を基に、画角内のシーンの輝度レンジが固体撮像素子により検出可能な検出輝度レンジに収まっているか否かが判定される。この判定により、シーンの高輝度側の輝度レンジが検出輝度レンジに収まっていないと判定された場合には、露出補正値算出部により、シーンの高輝度側の輝度レンジが検出輝度レンジにそれぞれ収まるように基準露出制御値を補正したアンダー側露出制御値が算出される。アンダー側露出制御値が算出されると、ゲイン処理部は、そのアンダー側露出制御値を適用した撮像動作により得られた画像データに対して1倍以上のそれぞれ異なるゲインを印加し、複数の補正画像データを生成する。さらに、ノイズ除去処理部は、ゲイン処理部により生成された複数の補正画像データに対してそれぞれノイズ除去処理を施す。このとき、ゲイン処理部におけるゲイン印加量が多い補正画像データほど、ノイズ除去処理の強度を強くされる。

本発明の撮像装置によれば、シーンの輝度レンジが固体撮像素子の検出輝度レンジより広い場合でも、ユーザの操作を要することなく、基準露出制御値、アンダー側露出制御値、およびオーバー側露出制御値をそれぞれ適用して得られた複数の画像データの中に、そのシーンの高輝度側および低輝度側の各階調情報を確実に含めることができる。

また、本発明の撮像装置によれば、シーンの輝度レンジが固体撮像素子の検出輝度レンジより広い場合でも、ユーザの操作を要することなく、異なるゲインの印加処理および異なる強度のノイズ除去処理を施して得られた複数の画像データの中に、そのシーンの高輝度側および低輝度側の各階調情報を確実に含めることができる。

以下、本発明をデジタルスチルカメラ(DSC)に適用した場合を例に挙げ、本発明の実施の形態について図面を参照して詳細に説明する。
〔第1の実施の形態〕
図1は、本発明の第1の実施の形態に係るDSCの内部構成を示すブロック図である。

図1に示すDSCは、光学ブロック11、撮像素子12、A/D(アナログ/デジタル)変換部13、ISOゲイン調整部14、バッファメモリ15、合成処理部16、現像処理部17、記録部18、表示部19、マイクロコンピュータ20、ローパスフィルタ(LPF)21、および検波部22を備えている。

光学ブロック11は、被写体からの光を撮像素子12に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構(いずれも図示せず)、絞り11a、シャッタ11bなどを具備している。光学ブロック11内のこれらの駆動機構は、マイクロコンピュータ20からの制御信号に応じて駆動される。撮像素子12は、例えば、CCD(Charge Coupled Device)型、CMOS(Complementary Metal Oxide Semiconductor)型などの固体撮像素子であり、被写体からの入射光を電気信号に変換する。

A/D変換部13は、撮像素子12から出力された画像信号をデジタルデータに変換する。ISOゲイン調整部14は、マイクロコンピュータ20からのゲイン制御値に応じて、A/D変換部13からの画像データのRGB(Red,Green,Blue)各成分に対して一様のゲインをかける。なお、ISOゲインの調整は、A/D変換部13に入力される前のアナログ画像信号の段階で行われてもよい。

バッファメモリ15は、ブラケット撮像により得られた複数枚の画像のデータを一時的に記憶する。合成処理部16は、ブラケット撮像時に適用した露出補正値をマイクロコンピュータ20から受け、この露出補正値に基づいて、バッファメモリ15内の複数枚の画像を1枚の画像に合成する。

現像処理部17は、主に、合成処理部16から出力されるRAW(生)画像データを、可視画像のデータに変換する、いわゆるRAW現像処理を実行するブロックである。この現像処理部17は、RAW画像データに対して、データ補間(デモザイク)処理、各種色調整・変換処理(ホワイトバランス調整処理、高輝度ニー圧縮処理、ガンマ補正処理、アパーチャ補正処理、クリッピング処理など)、所定の符号化方式(ここでは、JPEG(Joint Photographic Experts Group)方式を適用する)に従った画像圧縮符号化処理などを実行する。

なお、以下の各実施の形態では、A/D変換部13から出力されるRAW画像データのビット数を12ビットとし、現像処理部17は、この12ビットデータを処理できる仕様となっている。また、現像処理部17は、現像処理の過程において、例えば高輝度ニー圧縮処理(あるいは下位ビットの切り捨てなどでもよい)によって、12ビットデータを8ビットデータにビット圧縮し、この8ビットデータに対して圧縮符号化処理を施す。また、この8ビットデータを表示部19に対して出力する。

記録部18は、撮像により得られた画像データをデータファイルとして保存するための装置であり、例えば、可搬型のフラッシュメモリ、HDD(Hard Disk Drive)などとして実現される。なお、記録部18には、現像処理部17によって符号化されたJPEGデータの他に、合成処理部16から出力されるRAW画像データをデータファイルとして記録することができる。また、記録部18に記録されたRAW画像データを読み出して、現像処理部17で処理し、記録部18にJPEGデータファイルとして新たに記録できるようにしてもよい。

表示部19は、LCD(Liquid Crystal Display)などからなるモニタを備えている。表示部19は、現像処理部17において処理された非圧縮状態の画像データを基に、モニタ表示用の画像信号を生成してモニタに供給する。撮像画像の記録前のプレビュー状態では、撮像素子12からは連続的に撮像画像信号が出力され、デジタル変換された後、そのデジタル画像データがISOゲイン調整部14および合成処理部16を介して現像処理部17に供給されて、現像処理(ただし、符号化処理を除く)が施される。表示部19は、このとき現像処理部17から順次出力される画像(プレビュー画像)をモニタに表示し、ユーザはこのプレビュー画像を視認して画角を確認することができる。

マイクロコンピュータ20は、CPU(Central Processing Unit)やROM(Read Only Memory)、RAM(Random Access Memory)などを備え、ROMに記憶されたプログラムを実行することで、このDSC全体を統括的に制御する。例えば、本実施の形態では、検波部22からの検波結果を基に露出補正値を計算し、その値に応じた制御信号を出力して絞り11aやシャッタ11bを制御することで、AE制御を実現する。また、後述する広ダイナミックレンジ撮像を行う際には、算出した露出補正値を合成処理部16に通知する。

LPF21は、ISOゲイン調整部14から出力された画像データに対して、必要に応じてローパスフィルタ処理を施す。検波部22は、ISOゲイン調整部14からLPF21を通じて供給された画像データを基に各種の検波を行うブロックであり、本実施の形態では、例えば、画像を所定の測光領域に分割し、測光領域ごとに輝度値を検出する。

次に、このDSCにおける撮像動作、特に、広ダイナミックレンジ撮像の動作について説明する。ここで、広ダイナミックレンジ撮像(以下、HDR撮像と呼ぶ)とは、撮像素子12により検出可能なシーン中の輝度レンジと比較して、より広い輝度レンジの階調情報を持つ画像(以下、HDR画像と呼ぶ)を得ることを可能とした撮像手法である。以下では、HDR撮像が必要か否かを撮像シーンに応じて自動的に判別する撮像動作モードに、DSCが設定されている場合について説明する。

図2は、第1の実施の形態に係るDSCでの撮像動作全体の手順を示すフローチャートである。
[ステップS101]DSCは、電源が投入されると、ユーザからの撮像画像の記録要求を待機する状態、すなわち、表示部19のモニタにプレビュー画像が表示される状態となる。この状態では、ISOゲイン調整部14から出力された画像データが、LPF21でフィルタ処理されることなく検波部22に入力され、マイクロコンピュータ20は、検波部22での輝度情報の検波値を基に、撮像素子12による電子シャッタ速度と絞り11aの開度制御とを行うことで、AE制御を行う。なお、このとき検波部22では、例えば、撮像画像の画角を所定数の測光領域に分割して輝度値を検出し、マイクロコンピュータ20は、各測光領域の輝度平均値からパターン判別を行うことで、適正な露出制御値を推定する。

[ステップS102]上記のようなプレビュー画像撮像用のAE制御は、ユーザによるシャッタボタンに対する操作が行われるまで実行される。そして、シャッタボタンが押下されると、画像記録のためのAE処理が実行される。なお、実際の動作では、例えば、ステップS102においてシャッタボタンが半押しされた場合に、ステップS103以降の処理が実行され、その後にシャッタボタンの状態が解除されることなく、全押しされた場合に、ステップS105、または、ステップS108〜S110、または、ステップS111〜S114の処理が実行される。

[ステップS103]シャッタボタンに対する半押し操作が検出されると、まず、記録画像撮像用の検波処理が実行される。この処理では、ISOゲイン調整部14から出力された画像データに対して、LPF21によりフィルタ処理が施される。そして、フィルタ処理後の画像データが検波部22に供給され、輝度値が検出されて、マイクロコンピュータ20に通知される。

このステップS103での輝度の検波値は、後述するように、HDR撮像やブラケット撮像が必要か否かの判定や、その判定のためのシーンの輝度レンジの測定や露出補正値の演算に用いられる。ここで、LPF21によりフィルタ処理が施された画像から検波を行うことで、入力画像に極端に明るい小領域や極端に暗い小領域が含まれた場合にも、それによる上記判定や演算の誤差を低減して、判定結果や演算結果を安定化させることができる。

なお、LPF21を用いる代わりに、後の第3の実施の形態において説明する、レンズのデフォーカス状態における撮像画像を用いる手法により、ローパスフィルタ処理が近似的に施された画像を取得してもよい。これにより、LPF21を省略でき、回路規模を抑制できる。

ところで、このステップS103において、ステップS101のAE制御時と同じ測光領域から検波した場合には、以後のステップにおいて、ステップS101で推定された適正な露出制御値を現在の露光条件としてそのまま用いる。ただし、以下のステップでは、撮像素子12による電子シャッタ機能だけでなく、シャッタ11bも用いて露光時間を制御した場合の露出制御値を、現在の露光条件とする。

また、ステップS101のAE制御とは異なる測光領域から検波し、適正な露出制御値をあらためて求めてもよい。例えば、画角中央部の所定領域(例えば全体に対して3%の面積の領域)のみから、あるいは、分割した測光領域のうち画角の中央部分とその周辺領域のみから検波して、その検波値に基づいて適正な露出制御値を推定し、現在の露光条件とする。また、このような測光領域の設定を、ユーザ操作により任意に変更できるようにしてもよい。

[ステップS104]次に、マイクロコンピュータ20は、HDR画像の撮像を行う必要があるか否かを判定する。ここでは、ステップS103で検波された輝度値を基に、白飛びしている画素の画像内での割合(白飛び画素割合)、および黒つぶれが生じている画素の画像内での割合(黒つぶれ画素割合)が多いか否かを判定し、それらの割合のいずれかがそれぞれに設定されたしきい値より高ければ、シーンの輝度レンジを考慮したHDR撮像が必要であると判定する。具体的には、輝度値を基に、撮像素子12の飽和電荷量Qs以上の画素の割合を白飛び画素割合とし、撮像素子12のノイズレベルNf以下の画素の割合を黒つぶれ画素割合として算出する。これらの割合は、例えば輝度値ごとの度数を示すヒストグラムから算出することができる。

[ステップS105]白飛び画素割合と黒つぶれ画素割合の両方が、それぞれに設定されたしきい値以下であれば、現在の露光条件(すなわち、ステップS101でのAE制御で推定された露光条件)で撮像した状態で、シーンの輝度レンジが撮像素子12の出力のダイナミックレンジの中に収まっていると考えられる。従って、マイクロコンピュータ20は、現在の露光条件に基づいて、従来からの通常の手順で撮像動作を実行させる。すなわち、シャッタボタンの全押し検出をトリガとして、現在の露光条件に基づいて露光され、取り込まれた画像データが、JPEGデータまたはRAW画像データとして記録部18に記録される。

[ステップS106]一方、白飛び画素割合と黒つぶれ画素割合のいずれかが、それぞれに設定されたしきい値を超えていた場合には、現在の露光条件では、シーンの輝度レンジが撮像素子12の出力のダイナミックレンジ内に収まっていないと考えられるので、HDR撮像が必要であると判定される。この場合には、次に、シーンの輝度レンジ、すなわち最高輝度YHおよび最低輝度YLの測定が行われる。

まず、最高輝度YHの測定では、マイクロコンピュータ20は、あらかじめ設定した露出補正値のマイナス側の限界値になるか、あるいは白飛び画素がなくなるまで、露出補正値を徐々に減少させてその都度露光条件を変えながら撮像を実行させ、シーンの高輝度側の輝度値が撮像素子12の出力のダイナミックレンジに収まるような露出補正値EVHを測定する。そして、測定した露出補正値EVHと、所定の基準露光条件下で撮像したときの撮像信号のダイナミックレンジにおける最大輝度YDHとを基に、次の式(1)により最高輝度YHを計算する。

同様に、最低輝度YLの測定では、あらかじめ設定した露出補正値のプラス側の限界値になるか、あるいは黒つぶれ画素がなくなるまで、露出補正値を徐々に増加させながら撮像を実行させ、シーンの低輝度側の輝度値が撮像素子12の出力のダイナミックレンジに収まるような露出補正値EVLを測定する。そして、測定した露出補正値EVLと、上記の基準露光条件下で撮像したときの撮像信号のダイナミックレンジにおける最小輝度YDLとを基に、次の式(2)により最低輝度YLを計算する。なお、ここでの黒つぶれ画素は、撮像素子12のダークノイズのノイズレベルNfの平均値での電荷量、あるいは以下の電荷量を持つ画素について判定される。また、ノイズレベルNfは、露光時間や撮像素子12の温度などに応じて変化する。

この式(1)および(2)において、Qsは撮像素子12の飽和電荷量を示す。また、QMAX,QMINはそれぞれ電荷量の最大値および最小値を示し、それぞれ白,黒と規定される輝度値(白レベル,黒レベル)の検波値から換算して求めることができる。また、輝度値YDHおよびYDLはそれぞれ、あらかじめ決められた基準露光条件下での撮像素子12の出力のダイナミックレンジ内の最大、最小の輝度値を示している。

また、この最高輝度YHおよび最低輝度YLの計算では、特に、画角中に極端に高い輝度値を持つ画素が存在した場合に、計算結果が不安定になることがある。これに対して、上述したように、撮像により得られた画像データに対して、LPF21によりフィルタ処理を施した後、輝度値の検波を行うことにより、このような問題を解決できる。

[ステップS107]次に、マイクロコンピュータ20は、上記の最高輝度YHおよび最低輝度YLの計算結果を基に、ブラケット撮像が必要か否かを判定する。具体的には、YH/YLの値と、撮像素子12の出力のダイナミックレンジの換算値DSENSORとの比較結果を基に判定する。

[ステップS108]YH/YLの値がダイナミックレンジの換算値DSENSOR以下となった場合には、撮像素子12の出力のダイナミックレンジの方がシーンの輝度レンジより広いと判断できるので、ブラケット撮像が不要と判定する。この場合、マイクロコンピュータ20は、ステップS101で推定した露光条件での露出制御値(ただし、シャッタ11bの制御も含む)を、白飛びおよび黒つぶれが生じないように露出補正値EVoptだけシフトして補正し、補正された露出制御値を用いて1回の露光動作を実行させる。

[ステップS109]さらに、マイクロコンピュータ20は、ISOゲイン調整部14に対して、2の(−EVopt)乗のゲインを設定して、撮像により得られた画像データを明るさLVが復元されるように補正する。

[ステップS110]補正された画像データは、合成処理部16を通過して現像処理部17に供給され、HDR画像のJPEGデータとして記録部18に記録される。あるいは、現像処理部17を介することなく、HDR画像のRAW画像データとして記録部18に記録されてもよい。

[ステップS111]一方、YH/YLの値がダイナミックレンジの換算値DSENSORを超えた場合には、ダイナミックレンジがシーンの輝度レンジより狭いと判断できるので、ブラケット撮像が必要と判定される。この場合、マイクロコンピュータ20は、ステップS106で測定された最高輝度YHおよび最低輝度YLに基づく露出制御値を用いて、ブラケット撮像を実行させる。すなわち、シーンの高輝度側および低輝度側の領域がそれぞれ適正な露光条件で撮像された画像を個別に取得する。

ここで、図3は、ステップS111のブラケット撮像の処理手順を示すフローチャートである。
[ステップS201]マイクロコンピュータ20は、ステップS106で測定された最高輝度YHおよび最低輝度YLを用いて、次の式(3)および(4)に従って、シーンの高輝度側および低輝度側での各露出補正値EVUNDERおよびEVOVERを計算する。ただし、EVUNDER≦0、EVOVER≧0とする。
EVUNDER=−log2(YH/YDH) ……(3)
EVOVER=−log2(YL/YDL) ……(4)
[ステップS202]マイクロコンピュータ20は、まず、ステップS101で推定した(またはステップS103であらためて推定した)露出制御値をそのまま補正せずに用いて、露光動作を実行させ、基準画像P0を撮像する。撮像により得られた画像データは、バッファメモリ15に一旦格納される。

[ステップS203]マイクロコンピュータ20は、露出補正値EVUNDERが0であるか否かを判定する。0である場合はステップS205の処理が実行され、0でない場合はステップS204の処理が実行される。

[ステップS204]露出補正値EVUNDERが0でなければ、マイクロコンピュータ20は、この露出補正値EVUNDERを適用して、露光動作を実行させる。これにより、高輝度の被写体が白飛びしないように必要最小限の分だけ露出をアンダー側に補正したときの画像PUNDERが得られ、その画像データがバッファメモリ15に一旦格納される。

[ステップS205]マイクロコンピュータ20は、露出補正値EVOVERが0であるか否かを判定する。0である場合はステップS112の処理が実行され、0でない場合はステップS206の処理が実行される。

[ステップS206]露出補正値EVOVERが0でなければ、マイクロコンピュータ20は、この露出補正値EVOVERを適用して、露光動作を実行させる。これにより、低輝度の被写体が黒つぶれしないように必要最小限の分だけ露出をオーバー側に補正したときの画像POVERが得られ、その画像データがバッファメモリ15に一旦格納される。

なお、この図3の処理手順では、露出補正値EVUNDER、EVOVERのいずれかが0の場合には、その露出補正値を用いた撮像を行わないので、必要最小限の回数の露光が実行されるようになる。また、基準画像P0を最初に撮像することで、シャッタラグを最小限に抑制している。さらに、2枚目以降の撮像については、露光時間の短い順に撮像する(すなわち、先にアンダー補正での撮像を行う)ことで、シャッタラグを抑制できる。また、3回の撮像動作の間の時間差が小さくなるので、被写体が多少動いた場合でもほぼ同じ画像を撮像できるようになり、次のステップS112において生成される合成画像の画質劣化を低減できる。

以下、図2に戻って説明する。
[ステップS112]次に、バッファメモリ15に格納された各画像データは、合成処理部16に読み出され、1枚のHDR画像として合成される。合成処理部16は、マイクロコンピュータ20から、高輝度側、低輝度側で露出補正値EVUNDERおよびEVOVERを受け取り、それらを用いて、合成後の画像Pにおける空間位置(x,y)での画素の電荷量P(x,y)を次の式(5)に従って決定し、1枚のHDR画像を生成する。なお、この式(5)において、P0(x,y),PUNDER(x,y),POVER(x,y)はそれぞれ、基準画像P0,画像PUNDER,画像POVERにおける空間位置(x,y)の画素の電荷量を示す。

この式(5)では、基準画像P0において電荷量が飽和していない画素のデータについては、画像Pに合成される。ただし、露出をオーバー側に補正した画像POVERにおいて電荷量が飽和していない画素については、基準画像P0ではなく画像POVERの画素データが画像Pに合成される。これにより、基準画像P0において黒つぶれが生じていた領域に、階調を残すことができる。また、上記条件以外の画素、すなわち基準画像P0において電荷量が飽和している画素については、露出をアンダー側に補正した画像PUNDERの画素データが画像Pに合成され、これにより、基準画像P0において白飛びが生じていた領域に、階調を残すことができる。従って、合成後の画像Pは、基準画像P0よりも広い輝度レンジの階調が表現されるHDR画像となる。

また、画像PUNDERおよびPOVERの画素データを適用する際には、それらの画素データに露出補正値EVUNDERおよびEVOVERに応じた係数が乗じられる。このような演算による作用について、次の図4を用いて説明する。

図4は、合成される画像間の明るさの関係を説明するための図である。
図4において、直線L0は、基準画像P0に適用した露光条件でのシーンの輝度値と撮像素子12の電荷量との関係を示している。また、直線LOVERは、露出をオーバー側に補正した画像POVERに適用した露光条件でのシーンの輝度値と撮像素子12の電荷量との関係を示している。さらに、直線LUNDERは、露出をアンダー側に補正した画像PUNDERに適用した露光条件でのシーンの輝度値と撮像素子12の電荷量との関係を示している。

OVER(x,y)≦Qsの条件により、基準画像P0における輝度値Y1以下の画素のデータは、画像POVERの画素のデータに置き換えられる。これにより、撮像素子12の出力のダイナミックレンジより低い輝度レンジの階調情報を、合成後の画像データに取り入れることが可能になる。このとき、露出補正値EVOVERに応じた係数(2の−EVOVER乗)を適用することで、直線LOVERの輝度値Y1以下に対応する成分である直線L1OVERは、直線L0と同じ傾きを持ち、かつ、この直線L0に連接する直線L2OVERに変換される。

また、P0(x,y)>Qsの条件により、基準画像P0における輝度値Y2以上の画素のデータは、画像PUNDERの画素のデータに置き換えられる。これにより、撮像素子12の出力のダイナミックレンジより高い輝度レンジの階調情報を、合成後の画像データに取り入れることが可能になる。このとき、露出補正値EVUNDERに応じた係数(2の−EVUNDER乗)を適用することで、直線LUNDERの輝度値Y2以上に対応する成分である直線L1UNDERは、直線L0と同じ傾きを持ち、かつ、この直線L0に連接する直線L2UNDERに変換される。

従って、画像合成の際に、露出制御値の異なる画像の画素が隣接する境界部を挟んで、明るさの変化が連続するように画素のデータを補正することができ、違和感のない自然な合成画像(HDR画像)を生成できるようになる。

以下、図2に戻って説明する。
[ステップS113]ステップS112の処理により合成されたHDR画像は、現像処理部17で現像処理(データ補間処理、各種の色調整・変換処理、圧縮符号化処理)を施すことが可能な画像データよりもビット数が多くなっている。例えば、現像処理部17で処理可能なRAW画像データが12ビットであるのに対して、合成処理部16で合成されたHDR画像データは、階調レンジが拡大された15ビットデータになっている。このため、現像処理部17は、その前段において、合成処理部16で合成されたHDR画像データに対してビット圧縮を行い、12ビットのRAW画像データに変換することで、その後段の現像処理部17内の構成を変更することなく処理することが可能になる。このとき、現像処理部17は、以下で説明するように、合成処理部16からのHDR画像の画質を良好に保てるような階調レンジの圧縮処理を施した後、ビット圧縮を行うようにする。

図5は、HDR画像の階調レンジ圧縮のための機能を示すブロック図である。
HDR画像の階調レンジ圧縮のために、現像処理部17は、図5に示すように、照明成分抽出部171、階調レンジ圧縮部172、反射率成分抽出部173、階調レンジ伸張部174、合成部175、およびビット圧縮部176を具備している。

照明成分抽出部171は、入力されたHDR画像データに対してローパスフィルタ処理を施すことにより、照明成分を抽出する。なお、この照明成分の抽出のためには、エッジ成分が残存するように高域カット処理する非線形のローパスフィルタを用いることが望ましい。また、同様なローパスフィルタ処理としては、非線形ローパスフィルタの他に、確率的な手法を用いることもできる。

階調レンジ圧縮部172は、入力された照明成分のみの画像データの各画素の輝度値を、例えば入出力レベルの対応を示すルックアップテーブル(LUT)に従って変換し、階調レンジを圧縮する。具体的には、次の図6にも示すように、照明成分の低輝度側の領域に対してはゲインを1より大きくして増幅し、高輝度側の領域に対してはゲインを1未満としてレベルを低減する。

反射率成分抽出部173は、入力されたHDR画像から反射率成分を抽出する。例えば、入力されたHDR画像のデータから、照明成分抽出部171で抽出された照明成分のデータを減算することで、反射率成分を求める。あるいは、入力されたHDR画像のデータから照明成分のデータを除算してもよい。階調レンジ伸張部174は、抽出された反射率成分の輝度値を、例えば入出力レベルの対応を示すLUTなどに従って画素ごとに変換し、階調レンジを伸張させる。

合成部175は、階調レンジ圧縮部172および階調レンジ伸張部174からそれぞれ出力された画像データを画素ごとに合成し、全体として階調レンジが圧縮されたHDR画像を出力する。例えば、反射率成分抽出部173において、入力画像データから照明成分のデータを減算することで反射率成分のデータが求められた場合、合成部175では、階調レンジ圧縮部172および階調レンジ伸張部174から出力された各画像データを加算することで合成処理を行う。また、反射率成分抽出部173において、入力画像データから照明成分のデータを除算することで反射率成分のデータが求められた場合、合成部175では、階調レンジ圧縮部172および階調レンジ伸張部174から出力された各画像データを乗算することで合成処理を行う。

ビット圧縮部176は、合成部175で合成されたHDR画像のデータのビット数を圧縮する。例えば、合成部175から出力されるHDR画像のデータが15ビットデータであるとき、このRAW画像データを、現像処理部17で処理可能な12ビットデータに変換する。

図6は、HDR画像の階調レンジ圧縮時に設定されるゲインカーブの例を示す図である。
図6において、a(x,y)は、照明成分抽出部171においてローパスフィルタ処理が施されて抽出された照明成分の画素ごとの輝度値を示す。階調レンジ圧縮部172は、図6(A)に示すように、照明成分の各画素のデータに対して、輝度が低いほど入力レベルを増幅し、輝度が高いほど入力レベルを圧縮する。これにより、全体として階調レンジが圧縮される。

一方、階調レンジ伸張部174では、最も基本的には、照明成分の輝度値に応じて階調レンジ圧縮部172と同じゲインが反射率成分に対して与えられればよい。これにより、照明成分が暗い領域において反射率成分のレベル(振幅)が増幅されるので、この領域における反射率成分がゲイン印加前に対して相対的に強調され、結果的に階調レンジが伸張される。反射率成分は、ディテールの再現性に大きく寄与する成分であるので、上記のゲインが与えられることで、暗部に埋もれていたディテール成分が強調される。従って、ディテール成分をできるだけ失うことなく、全体の階調レンジを圧縮することが可能になり、このような階調レンジ圧縮後の画像データをビット圧縮部176においてビット圧縮したとき、その画質を向上させることができる。

さらに、図5に示した構成では、照明成分と反射率成分のそれぞれに対応する階調レンジ圧縮部172および階調レンジ伸張部174を個別に設けており、この構成により照明成分と反射率成分のそれぞれに個別のゲインカーブを適用できるようになっている。これにより、照明成分の明るさ分布の任意の領域において、ディテールの再現性を高めることも可能になる。

この場合の好適な例としては、反射率成分に対しては、照明成分の低輝度領域に対応する画素に対して照明成分より高いゲインを印加することで、低輝度領域におけるディテール成分をさらに強調することができる。図6では、反射率成分に対しては、まず図6(A)に示す照明成分と共通のゲインカーブを印加した後、さらに図6(B)に示すゲインカーブを印加する例を示している。このようなゲインカーブを適用することにより、照明成分の階調レンジ圧縮量を必要最小限にして、画像全体のコントラスト感を維持しつつ、ディテールの再現性を高めることができる。

なお、図6に示したゲインカーブにおいて、輝度Y1〜Y3は固定値としてあらかじめ用意されていてもよいが、これらを入力画像の信号解析結果から演算により求めてもよい。例えば、輝度Y1,Y2,Y3を、それぞれ後の図13において説明する輝度Yl,Ym,Yhとし、これらの値を照明成分の解析結果を基に演算してもよい。

なお、図5では、階調レンジの圧縮前のHDR画像における輝度ごとの度数を示すヒストグラム177と、圧縮後のHDR画像における同様のヒストグラム178の各例を示している。これらのヒストグラム177および178によれば、階調レンジ圧縮後のHDR画像データでは、データが存在する輝度のレンジ(すなわち階調レンジ)が狭くなっているとともに、中間から低域側領域の輝度成分を持つ画素が増加し、この輝度領域における階調性が豊かになっていることがわかる。

また、この図5の説明では、照明成分の抽出にローパスフィルタを用いているが、後の第3の実施の形態において説明する、レンズのデフォーカス状態における撮像画像を用いる手法により、画像の照明成分を抽出してもよい。これにより、照明成分抽出用のローパスフィルタ回路を省略でき、回路規模を抑制できる。この手法を用いる場合には、例えば、ブラケット撮像後にデフォーカス状態にして、そのときの画像(デフォーカス画像)を取得すればよい。また、ステップS101に対応するプレビュー状態において、定期的にデフォーカス状態の画像を取得し、最新のデフォーカス画像を常にバッファメモリ15などに保持しておいて、シャッタボタン全押し後の階調レンジ圧縮処理時にこのデフォーカス画像を利用してもよい。あるいは、ステップS103でローパスフィルタ処理を施した画像をデフォーカス画像として取得した場合には、この画像データを保持しておいて、照明成分として利用してもよい。プレビュー状態において取得した画像データ、およびステップS103で取得した画像データのいずれを利用する場合も、シャッタラグを短縮することができる。

以下、図2に戻って説明する。
[ステップS114]階調レンジ圧縮後のHDR画像データは現像処理部17で現像され、HDR画像のJPEGデータとして記録部18に保存される。上述したように、本実施の形態に適用している現像処理部17の現像処理(データ補間、色調整・変換、圧縮符号化処理)の機能は、1回露光での撮像により得られた1枚の画像のデータを処理する仕様になっている。この画像データは例えば12ビットデータとなっており、ステップS105およびS108においてそれぞれ得られる画像データ、および、ステップS111のブラケット撮像時に得られる各画像のデータに相当する。

これに対して、ステップS112の処理により合成されたHDR画像のデータは、現像処理部17で現像処理可能な画像データよりもビット数が多くなっており、例えば15ビットデータとなっている。しかし、ステップS113の処理により良好な画質を保ったまま階調レンジを圧縮して、12ビットの画像データに変換することにより、現像処理部17の回路構成を変更することなく、現像処理を施すことができるようになる。

なお、ここでは、図5における合成部175による合成後のHDR画像のデータを、ビット圧縮部176で低ビット化してから、現像処理を施すようにしているが、現像処理部17における処理可能なビット数に余裕がある場合には、ビット圧縮を行わずに現像処理し、その処理の過程で表示デバイスなどに適合可能なビット数(ここでは8ビット)の画像データに変換してもよい。

また、この処理例では、撮像時にHDR画像をJPEGデータとして記録するようにしているが、その他に例えば、撮像時においては、合成処理部16からのHDR画像データを、現像処理部17を介することなく、RAW画像データとして記録部18に記録しておき、その後にこのRAW画像データを読み出して、現像処理部17で階調レンジ圧縮・現像処理を施すようにしてもよい。

また、以上の処理例では、画角の変化や被写体の動きがある場合、ステップS112の合成処理により適切な画像を生成できない可能性がある。そこで、ステップS112で合成されたHDR画像のデータをRAW画像データとして記録部18に保存する際に、それに加えて基準画像P0のデータを通常のダイナミックレンジを持つRAW画像データとしてともに保存しておいてもよい。また、撮像時に合成後のHDR画像をJPEGデータとして保存する場合にも、同様に基準画像P0のデータをJPEGデータとして保存しておいてもよい。

以上説明した第1の実施の形態では、露出補正値を徐々に変化させて露光し、得られた画像からその都度、白飛び画素や黒つぶれ画素の有無を判断して、シーンの最高輝度および最低輝度を測定し、その測定結果からブラケット時の露出補正値を決定するようにしたことで、輝度レンジが広く、露光条件を決めるのが困難なシーンでも、適正な露光条件を設定できる確率が高くなる。また、このようなシーンの状況に応じた適正な露出補正値をユーザ操作に依らず、自動的に決定できるようになり、ユーザの操作性が向上する。

さらに、最高輝度および最低輝度の測定結果から、ブラケット撮像が必要か否かの判断、および、ブラケット撮像時に必要な露光回数の判断をそれぞれ正確に行うことができるので、無駄な露光が防止され、シャッタラグを必要最小限に抑制することができる。また、各画像の撮像タイミングの時間差が最小限に抑えられるので、画像間の被写体の変化が最小限に留められ、合成後のHDR画像の画質劣化を抑制できる。

また、シーンの輝度レンジを測定する際に、ローパスフィルタ処理を施した後の撮像画像データからの検波値を用いることで、入力画像に極端に明るい小領域や極端に暗い小領域が含まれた場合にも、測定アルゴリズムが攪乱されて適正な画像を撮像できなくなる事態を防止できる。

また、ステップS112に示したHDR画像の合成手法により、ブラケット撮像により得られた複数の画像から、違和感のない自然なHDR画像を合成できる。特に、上記のように適正な露出補正値を用いてブラケット撮像を行うことで得られた画像から、1枚のHDR画像が合成されることで、一層高画質なHDR画像を生成することが可能になる。さらに、ステップS113の階調レンジ圧縮の手法により、その後に画像データのビット数を低減した際にも、画像のディテール成分を損なうことなく高い画質を維持できるようになる。以上の処理により、汎用フォーマットに変換された高画質のHDR画像を得ることができる。

〔第2の実施の形態〕
上述した第1の実施の形態では、図2のステップS106において、実際の露光条件を変化させることで、高輝度側および低輝度側での適正な露出補正値を計測し、その計測結果に応じて、ステップS107においてブラケット撮像が必要か否かを判定していた。これに対して、以下で説明する第2の実施の形態では、撮像動作を迅速に行ってシャッタラグを抑制するために、これらの手順に代えて、ステップS103での輝度値の検波結果を直接利用して、シーンの輝度レンジを推定する。この第2の実施の形態では、ステップS103で検波した輝度値と、輝度値ごとの度数を示すヒストグラム値を累積した累積ヒストグラムを基に、シーンの輝度レンジを推定する。

図7は、累積ヒストグラムから求められるパラメータを説明するための図である。
図7に示す累積ヒストグラムでは、すべての輝度に対応するヒストグラム値の累積値を、縦軸の最大値(100%)としている。なお、図7において、Y’DL、Y’DHは、それぞれ撮像素子12によって検出可能な最低、最高の輝度値を示す。本実施の形態では、このような累積ヒストグラムを基に、「キーレベル」、「ハイライトレベル」、および「シャドウレベル」の3種類のパラメータを用いて、推定されるシーンの状態を分類し、その分類結果に応じて露出補正の段数を決定する。

キーレベルとは、主要な被写体が存在している可能性の高い累積度数のレベル(割合)をしきい値ThMとして設定したとき、累積ヒストグラムがどの輝度領域でしきい値ThHに達するかを示すものである。この例では、輝度領域をLow、Mid、Highの3段階に分割し、この3段階の領域によりキーレベルを表す。なお、このようなしきい値は通常、累積度数が50%以上のレベルにあることが知られ、例えば65%〜75%程度に設定することができる。

ハイライトレベルとは、主要な被写体に対応する累積度数より高いレベルにしきい値ThHを設定したとき、累積ヒストグラムがどの輝度領域でしきい値ThHに達するかを示すものである。また、シャドウレベルとは、主要な被写体に対応する累積度数より低いレベルにしきい値ThLを設定したとき、累積ヒストグラムがどの輝度領域でしきい値ThLに達するかを示すものである。ハイライトレベルおよびシャドウレベルは、ともにLow、Mid、Highの3段階に分割された輝度領域によって表される。

ここで、累積ヒストグラムに基づく各パラメータの組み合わせに応じて露出補正値を決定するためのテーブルの例を、以下に示す。EVUNDER決定テーブルは、シーンの高輝度側での適正な露出補正値EVUNDERを決めるためのテーブルである。また、EVOVER決定テーブルは、シーンの低輝度側での適正な露出補正値EVOVERを決めるためのテーブルである。マイクロコンピュータ20は、上述した3つのパラメータを求めた後、これらの各テーブルに従って、ブラケット撮像時における露出補正値EVUNDERおよびEVOVERを決定する。

上記の各テーブルでは、露出補正値を、基準画像P0での露出制御値を基準とした補正段数で示しており、補正段数の1段に相当する露出補正値はあらかじめ決められているものとする。また、補正段数が0となる場合には、その補正段数を適用した露光動作を行わない。これにより、ブラケット撮像時の露光回数を必要最小限とし、シャッタラグを短縮できる。

さらに、これらのテーブルでは、高輝度側の適正補正段数の決定時、および低輝度側の適正補正段数の決定時において、それぞれ白飛び画素、黒つぶれ画素が存在しない場合には、HDR画像の撮像の必要がないと判定して補正段数を0とし、その補正段数を適用した露光動作を行わないようにしている(図2のステップS104の判定処理に対応)。また、高輝度側および低輝度側の適正補正段数がともに0の場合には、ブラケット撮像の必要がないと判断する(図2のステップS107の判定処理に対応)。

図8は、キーレベルとハイライトレベルの組み合わせに対応する輝度値の度数を示すヒストグラムの代表的な例を示す図である。
この図8に示すように、キーレベルのしきい値ThMと、それより高いしきい値ThHとを用いてシーンを分類することで、輝度値の分布に偏りがある場合でも、適正な補正段数を簡単かつ正確に決定することができる。このことは、低輝度側での適正な補正段数を決定する際でも同様である。

以上の第2の実施の形態では、ブラケット撮像時の適正露出補正値を決定するために、第1の実施の形態のように、実際に露出補正値を変化させて露光してその都度検波値を得る必要がないので、適正露出補正値の決定に要する時間を短縮し、シャッタラグを短縮してユーザに快適な操作性をもたらすことができる。また、マイクロコンピュータ20の演算処理が簡略化され、その処理負荷を軽減することができる。

なお、本実施の形態では、例として、シーンの分類のためのパラメータを、キーレベル以外に高輝度側、低輝度側についてそれぞれ1つずつ設定したが、それぞれに対して複数のパラメータを設定してさらにシーンを細かく分類し、それらの分類に応じて露出補正値をより細かく調整してもよい。これにより、適正露出補正値の推定精度を高めることができる反面、マイクロコンピュータ20による処理負荷は高くなる。

〔第3の実施の形態〕
本発明の第3の実施の形態では、上記各実施の形態に示したブラケット撮像により得た複数の画像を基に、内挿補間を施すことによって、表示デバイスなどへ出力可能な画像データと同じビット数(ここでは8ビット)を持つHDR画像を直接的に生成する。

図9は、第3の実施の形態に係るDSCの内部構成を示すブロック図である。なお、この図9では、図1に対応するブロックについては同じ符号を付して示し、その説明を省略する。

図9に示すDSCは、図1に示したDSCの構成に加えて、デフォーカス画像のデータを保持するためのバッファメモリ23と、重み係数生成処理部24と、補間処理部25を備える。なお、図9において、現像処理部17aは、図1に示す現像処理部17の機能のうち、画像圧縮符号化機能を除いた機能を持ち、その画像圧縮符号化機能は、符号化処理部17bとして補間処理部25の後段に接続される。また、バッファメモリ15aは、ブラケット撮像により得られた画像のデータを一時的に保持するが、この際に、ISOゲイン調整部14ではなく現像処理部17aから出力された画像データの供給を受ける。

バッファメモリ23は、デフォーカス状態で露光されたときに得られた画像データを、ISOゲイン調整部14から受けて一時的に格納する。重み係数生成処理部24は、バッファメモリ23に格納された画像データを基に、ブラケット撮像により得られた画像の合成時に用いる重み係数を生成する。補間処理部25は、ブラケット撮像により得られた画像データをバッファメモリ15aから読み出し、重み係数生成処理部24から供給された重み係数を用いて、各画像データを合成する。このときに出力されるHDR画像のデータは、第1の実施の形態における合成後のHDR画像のデータとは異なり、現像処理部17aで処理された画像データと同じビット数(8ビット)を持つことになり、その後に表示部19に供給してHDR画像を表示させたり、符号化処理部17bに供給してJPEGデータとして出力することが可能になる。

図10は、第3の実施の形態に係るDSCでの撮像時の処理手順を示すフローチャートである。
本実施の形態においては、HDR画像の撮像を行うか否か(図2のステップS104)、およびブラケット撮像が必要か否か(ステップS107)を判定する処理までは、第1の実施の形態の場合と同様の処理が行われる。従って、図10では、ステップS107でブラケット撮像が必要と判定された場合以降の処理についてのみ示す。なお、シーンの輝度レンジの判別(ステップS106)およびブラケット撮像の要否の判定(ステップS107)の各処理では、第1の実施の形態の処理手順の代わりに、第2の実施の形態の処理手順を適用することも可能である。

[ステップS301]このステップでは、図3のステップS201と同じ処理が行われる。すなわち、マイクロコンピュータ20は、ステップS106で測定された最高輝度YHおよび最低輝度YLを用いて、上記の式(3)および(4)に従って、シーンの高輝度側および低輝度側での各露出補正値EVUNDERおよびEVOVERを計算する。

[ステップS302]マイクロコンピュータ20は、図2のステップS101で推定した(またはステップS103であらためて推定した)露出制御値をそのまま補正せずに用いて、露光動作を実行させ、基準画像P0を撮像する。また、得られた基準画像P0のデータは、現像処理部17aで現像され、現像後の基準画像P’0のデータはバッファメモリ15aに一旦格納される。

[ステップS303]マイクロコンピュータ20は、露出補正値EVUNDERが0であるか否かを判定する。0である場合はステップS305の処理が実行され、0でない場合はステップS304の処理が実行される。

[ステップS304]露出補正値EVUNDERが0でなければ、マイクロコンピュータ20は、この露出補正値EVUNDERを適用して、露光動作を実行させる。また、得られた画像PUNDERのデータは、現像処理部17aで現像され、現像後の画像P’UNDERのデータがバッファメモリ15aに一旦格納される。

[ステップS305]マイクロコンピュータ20は、露出補正値EVOVERが0であるか否かを判定する。0である場合はステップS307の処理が実行され、0でない場合はステップS306の処理が実行される。

[ステップS306]露出補正値EVOVERが0でなければ、マイクロコンピュータ20は、この露出補正値EVOVERを適用して、露光動作を実行させる。また、得られた画像POVERのデータは、現像処理部17aで現像され、現像後の画像P’OVERのデータがバッファメモリ15aに一旦格納される。

なお、ステップS302,S304,S306における現像処理では、マイクロコンピュータ20の処理により、それぞれ対象の画像から個別に推定された制御値が用いられればよい。

[ステップS307]次に、マイクロコンピュータ20の制御により、補間処理部25で適用される重み係数を得るために必要な、撮像画像の照明成分を生成する処理が実行される。

照明成分は、一般的に、撮像画像に対してカットオフ周波数を比較的低くしたローパスフィルタ処理を施すことで得ることができるが、このためにはタップ数の多いフィルタ回路が必要であり、演算量が膨大になってしまうという問題があった。これに対して、本実施の形態では、そのようなフィルタ回路を利用する代わりに、光学ブロック11内のフォーカス調整レンズを制御してデフォーカス状態とし、その状態で露光して得た画像(デフォーカス画像)を、ローパスフィルタ処理された画像(ローパス画像)として利用する。これにより回路規模を削減する。

ここでは、まず、ステップS302,S304,S306でのブラケット撮像時の露光条件のうち、中央の露光条件となるように露光制御を行う。このとき、次の式(6)を満たすように、シャッタスピードSとISOゲインGとを決める。

ここで、FMINは開放絞り値を表し、S0,F0,G0は、上述したブラケット撮像時における中央の露光条件でのシャッタスピード、絞り値、ISOゲインをそれぞれ示す。この式(6)を適用することにより絞りが開放されるので、被写界深度が浅くなって、デフォーカス時のローパスフィルタ効果を強くすることができる。

次に、上記の手法で決められたシャッタスピードSとISOゲインGとを適用して露光を行い、デフォーカス画像を撮像する。ここでは、強いローパスフィルタ効果を確実に得るために、フォーカス調整レンズの位置を変えて2枚のデフォーカス画像を撮像し、後のステップS308の処理によりこれらの平均をとり、ローパス画像を生成する。

図11は、デフォーカス画像の撮像時におけるフォーカス調整レンズの駆動手順を説明するための図である。
図11では、光学ブロック11における光学レンズ群11cの構成例と、その中でのフォーカス調整レンズ11dの位置の例とを示している。ここでは、マクロ撮像モードを備えた場合を例に挙げている。なお、各図では、右側を撮像素子12の撮像面12aとしている。また、この光学レンズ群11cのレンズ構成および各レンズの位置は、あくまで一例である。

同図(A)では、無限遠側の撮像時におけるフォーカス調整レンズ11dの位置の例を示している。また、同図(B)では、同様にマクロ側の撮像時におけるフォーカス調整レンズ11dの位置の例を示している。ここで、無限遠側の撮像時とマクロ側の撮像時とでは、デフォーカス状態としたときに画像のボケの傾向が逆になることが知られている。このため、一方の撮像状態のみからデフォーカス状態としても、必ずしも強いローパスフィルタ効果が得られない場合がある。例えば、マクロ側の撮像でピントが合ってしまい、ローパスフィルタ効果が弱まるような被写体に対しては、無限遠側の撮像時にはピントのずれが大きくなり、強いローパスフィルタ効果が得られる。

そこで、本実施の形態では、マイクロコンピュータ20の制御により、無限遠側の撮像時の状態とマクロ側の撮像時の状態の両方からデフォーカス状態を作り出し、各状態で露光して2枚のデフォーカス画像を得る。具体的には、まず、同図(C)のように、無限遠側の撮像時の状態から、フォーカス調整レンズ11dをさらに遠端側に変位させて露光し、得られたデフォーカス画像のデータをバッファメモリ23に格納する。次に、同図(D)のように、マクロ側の撮像時の状態から、フォーカス調整レンズ11dをさらに近端側に変位させて露光し、得られたデフォーカス画像のデータをバッファメモリ23に格納する。

次に、重み係数生成処理部24(あるいはマイクロコンピュータ20)の処理により、バッファメモリ23から2つのデフォーカス画像のデータを読み出し、これらを平均してローパス画像のデータとする。このような処理により、ローパスフィルタ効果が弱まることが防止できる。なお、生成されたローパス画像のデータは、バッファメモリ23に格納しておく。

以下、図10に戻って説明する。
[ステップS308]重み係数生成処理部24(あるいはマイクロコンピュータ20)は、生成されたローパス画像のデータを解析し、このローパス画像に不要な高周波成分が残っているか否かを判定する。残っている場合はステップS309の処理が実行され、残っていない場合はステップS310の処理が実行される。

[ステップS309]ローパス画像に不要な高周波成分が残っている場合、重み係数生成処理部24(あるいはマイクロコンピュータ20)は、ローパス画像のデータに対して、例えば5タップ×5タップ程度の比較的小さなタップ数のローパスフィルタ処理を施す。処理後のデータは、バッファメモリ23に格納しておく。

[ステップS310]重み係数生成処理部24は、バッファメモリ23に格納されたローパス画像のデータを基に重み係数を求め、補間処理部25に供給する。このとき、重み係数生成処理部24は、後の図12に示すような、ローパス画像の輝度と重み係数との変換関数に従って、重み係数を求める。補間処理部25は、その重み係数を用いて、ステップS302,S304,S306で得られ、バッファメモリ15aに格納されていた画像データを内挿補間により合成し、1枚のHDR画像のデータを生成する。

ここで、図12は、ローパス画像の輝度を重み係数に変換するための変換関数の例を示す図である。
図12において、重み係数w0は、ステップS302で現像された基準画像P’0を補間処理部25において内挿補間する際の補間係数である。同様に、重み係数wUNDERおよびwOVERは、それぞれステップS304およびS306で現像された画像P’UNDERおよびP’OVERを補間処理部25において内挿補間する際の補間係数である。

重み係数生成処理部24は、バッファメモリ23から読み出したローパス画像の各画素の輝度データa(x,y)に応じて、上記の変換関数を参照して重み係数w0,wUNDER,wOVERを出力する。補間処理部25は、重み係数生成処理部24からの重み係数w0,wUNDER,wOVERを用いて、次の式(7)に従って、バッファメモリ15a内の基準画像P’0、画像P’UNDERおよびP’OVERの各データを合成する。

この式(7)において、P’(x,y)は、合成後の画像P’の各画素のデータを示し、P’n(x,y)は、バッファメモリ15aに格納された画像P’n(すなわち、基準画像P’0、画像P’UNDERおよびP’OVER)のそれぞれの画素のデータを示す。また、wn(a(x,y))は、画像P’nの各画素の合成時に適用される重み係数(すなわち、重み係数w0,wUNDER,wOVER)を示す。

このような処理により、被写体のうち、照明光が強く照射された部分に対しては、露出量を抑えた画像が高い比率で合成され、これにより、画像データの階調レンジを高輝度側に拡大することなく、基準画像P0の撮像時に検出できない高輝度領域の階調情報を合成後の画像に取り込むことが可能になる。また、照明光が弱く照射された部分に対しては、露出量を増した画像が高い比率で合成され、これにより、同様に、画像データの階調レンジを低輝度側に拡大することなく、基準画像P0の撮像時に検出できない低輝度領域の階調情報を合成後の画像に取り込むことが可能になる。その結果、現像処理部17aでの処理後の画像データと同じ階調レンジおよびデータビット数(8ビット)を持つHDR画像が生成される。

また、ブラケット撮像により得られた画像の合成比を、図12の変換関数に従い、撮像画像の照明成分(すなわちローパス画像)の輝度に基づいて決定することにより、輝度レンジの広いシーンにおいて得られた画像データの階調レンジを圧縮するとともに、特にローパス画像の低輝度領域でのディテール成分を強調して、全体の画質を向上させる効果を得ることもできる。

ところで、図12に示した変換関数については、ローパス画像の特性やブラケット撮像時の各種制御パラメータ、ブラケット撮像により得られた画像の特性などに応じて、設定を変化させることができる。以下、このような変換関数の設定手法について説明する。なお、ここでは例として、変換関数の設定を重み係数生成処理部24が行うものとするが、この処理をマイクロコンピュータ20で行うようにしてもよい。

図13は、ローパス画像における輝度値の度数を示すヒストグラムの例である。
まず、重み係数生成処理部24は、バッファメモリ23に記憶されたローパス画像のデータを基に輝度値の度数を示すヒストグラムを計算する。図13にはこのようなヒストグラムの例を示しているが、ここでは、ローパス画像の輝度値を、現像処理部17aで実行されるガンマ補正を施した場合の輝度値に換算してヒストグラムを求めている。重み係数生成処理部24は、求めたヒストグラムから度数がピークとなる輝度YhおよびYlを、輝度レベルの高い順に求める。さらに、輝度YhおよびYlに対応するピーク間に存在するヒストグラムの谷を検出し、それに対応する輝度Ymを求める。なお、ここでは、高輝度側から2番目のピークに対して輝度Ylを対応させているが、それより低輝度側のピーク(例えば最も低輝度側のピーク)に輝度Ylを対応させてもよい。

次に、重み係数生成処理部24は、バッファメモリ23に格納した基準画像P’0、画像P’UNDERおよびP’OVERの各データを基に、各画像における輝度値の頻度を示すヒストグラムを計算する。ここで、これらのヒストグラムから検出されるパラメータを基に、次の式(8)および(9)に従って、基準画像P’0と画像P’UNDERとの合成画像P’-と、基準画像P’0と画像P’OVERとの合成画像P’+とを考える。ただし、0≦Kh≦1、0≦Kl≦1とする。
P’-=Kh×P’UNDER+(1−Kh)×P’0 ……(8)
P’+=Kl×P’OVER+(1−Kl)×P’0 ……(9)
図14は、基準画像P’0、画像P’UNDERおよびP’OVERの各輝度値に基づくヒストグラムの例を示す図である。

同図(A)は、基準画像P’0および画像P’UNDERに対応するヒストグラムの例を示している。この(A)において、輝度Yh_0は、基準画像P’0のヒストグラム上で高輝度側から1番目のピークが存在する輝度値であり、輝度Yh_underは、画像P’UNDERのヒストグラム上で高輝度側から1番目のピークが存在する輝度値である。また、同図(B)は、基準画像P’0および画像P’OVERに対応するヒストグラムの例を示している。この(B)において、輝度Yl_0は、基準画像P’0のヒストグラム上で高輝度側から2番目のピークが存在する輝度値であり、輝度Yl_overは、画像P’OVERのヒストグラム上で高輝度側から2番目のピークが存在する輝度値である。

ここで、基準画像P’0および画像P’UNDERを式(8)に従って合成した合成画像P’-を考えると、図14(A)に示すように、合成画像P’-のヒストグラムにおける高輝度側から1番目のピークの位置は、重み係数Khが大きいほど低輝度側に変位する。重み係数生成処理部24は、このピークに対応する輝度値が、ローパス画像の輝度範囲(すなわち、ローパス画像中の最高輝度と最低輝度との範囲)の中間値となる輝度Yrmとなるように、重み係数Khを求める。

同様に、基準画像P’0および画像P’OVERを式(9)に従って合成した合成画像P’+を考えると、図14(B)に示すように、合成画像P’+のヒストグラムにおける高輝度側から2番目のピークの位置は、重み係数Klが大きいほど高輝度側に変位する。重み係数生成処理部24は、このピークに対応する輝度値が、ローパス画像の輝度範囲の中間値となる輝度Yrmとなるように、重み係数Klを求める。なお、ここでは例として、合成画像P’+のヒストグラムにおける高輝度側から2番目のピークに対応する輝度値を用いているが、それより低輝度側のピーク(例えば最も低輝度側のピーク)に対応する輝度値を用いて演算を行ってもよい。

以上の演算により、基準画像P’0に対する画像P’UNDERおよびP’OVERの適切な最大合成比率が求められる。この最大合成比率は、低輝度側および高輝度側の階調レンジの最大圧縮量を規定するものであり、輝度Yrmを基に演算することで、階調レンジの圧縮効果とコントラスト感とのバランスを良好に保つことができる。

次に、このように求めた重み係数KhおよびKlを用い、ローパス画像の輝度に応じて、合成画像P’-およびP’+をブレンドすることを考える。このブレンド処理は、例えば、単調増加関数f(Y)を用いて、次の式(10)に従って実行される。ただし、0≦Kg≦1とする。
P’=(0.5+Kg×f(Y))×P’-+(0.5−Kg×f(Y))×P’+
……(10)
ここで、図15は、単調増加関数f(Y)の例を示す図である。

重み係数生成処理部24は、この図15に示すように、f(Ym)が0となり、f(Yh)およびf(Yl)での傾きがともに十分小さくなるように、単調増加関数f(Y)を定義する。この条件と、上述した重み係数KhおよびKlの演算手法とにより、合成処理において、ヒストグラムのピークが存在する輝度領域(すなわち、ローパス画像内で多くの面積を占める輝度領域)に対する階調レンジ圧縮の影響を弱めることができ、その領域におけるグラデーションが失われることを防止して画質を高めることができる。

さらに、上記の式(10)におけるパラメータKgを変化させることで、合成後の画像P’において表現されるコントラスト感を調節することができる。パラメータKgが1のとき、基準画像P’0に対する画像P’UNDERおよびP’OVERの合成比率が最大になって、階調レンジ圧縮の効果が最大(すなわち、コントラストが最小)になり、パラメータKgが0のとき、コントラストが最大になる。このパラメータKgとしては、例えば、重み係数生成処理部24により、ブラケット撮像時における露出補正量に応じて、あるいは輝度Yhと輝度Ylとの比に応じて、LUTなどを参照して最適な値を決めることができる。例えば、露出補正量が小さいほど、また、Yh/Ylの値が小さいほど、パラメータKgを小さい値とする。また、ユーザの操作入力によりパラメータKgを調整できるようにしてもよい。

重み係数生成処理部24は、以上のように求められた重み係数KhおよびKl、単調増加関数f(Y)、パラメータKgを用いて、式(8)〜(10)から、重み係数wn(a(x,y))を求めるための変換関数を設定することができる。このような変換関数の設定手法によれば、各画像のヒストグラムのピークを基に設定することで、ローパス画像内で多くの面積を占める輝度領域において確実にグラデーションを残し、結果的に高い品質の画像を得ることが可能になる。また、ローパス画像の特性やブラケット撮像時の露出補正値を基に、さらにはユーザ設定に応じて、合成後の画像P’において再現されるコントラスト感を調節することもでき、画像を一層高画質化できるとともに、ユーザによる設定自由度を高めることもできる。

以下、図10に戻って説明する。
[ステップS311]合成後のHDR画像データは符号化処理部17bで圧縮符号化処理され、HDR画像のJPEGデータとして記録部18に記録される。

以上説明した第3の実施の形態では、基準画像P0、画像PUNDERおよびPOVERを撮像するたびに、それらのデータを現像処理部17aで現像するので、HDR画像を生成する際にも既存の現像処理部17aの回路をそのまま利用することができる。例えば、補間処理部25による補間処理の際には、重み係数が正の値を持つ条件の下では、通常撮像時と同じビット幅の範囲で補間処理を実行できる。また、第1の実施の形態のように、現像処理部17aで処理される画像データ(例えば12ビットデータ)より広いビット幅を持つ画像データ(合成処理部16からの出力データに相当。例えば15ビットデータ。)が生成されないので、現像処理部17a以前の処理系についてもそのまま利用してHDR画像を生成することができる。従って、回路規模や製造コストを抑制しながらも、高品質なHDR画像を得ることが可能になる。

なお、本実施の形態で用いた、ブラケット撮像で得た画像の合成手法は、撮像装置における撮像時ではなく、記録媒体に記録された画像データに対して適用することも可能である。この場合、記録媒体には、ブラケット撮像により得た、露光条件の異なる複数の画像データと、それらの撮像時の露光条件の情報とを記録しておき、露光条件の情報を基に各画像データを合成して、1枚のHDR画像を生成する。また、このような合成処理機能は、撮像装置のみならず、例えばPCで実行される画像処理プログラムによって実現されてもよい。

また、ブラケット撮像時の露光条件は、本実施の形態と同様の手法で決められることが望ましいが、その他の手法で決められた露光条件を基に合成処理を行っても、HDR画像を生成することが可能である。例えば、基準画像の撮像時の露光条件から、アンダー側およびオーバー側の両方に対してあらかじめ決められた補正段数分だけ露出制御値をシフトして、ブラケット撮像を行う手法が採られてもよい。従って、このような合成処理機能を実現するための画像処理プログラムは、ブラケット撮像を行った撮像装置の機種やそのメーカに依存しない汎用のプログラムとすることができる。

なお、このように撮像後の画像を合成する場合には、ローパス画像の取得に上記のような光学的手法を採ることができないので、ローパスフィルタ処理をデジタル演算によって実現する必要がある。

〔第4の実施の形態〕
ところで、輝度レンジが広いシーンでは、光源が複数存在することにより、ホワイトバランスを適正に自動調整することが難しい場合がある。例えば、室内の電球による照明と、屋外の太陽による照明とが、画角内に同時に含まれるような場合である。こういった複雑な条件下で撮像を行った場合に、ホワイトバランスのゲイン値が画角内で一定だと、被写体の見え方と撮像された画像の見え方とが異なってしまう。

上述した第3の実施の形態では、ブラケット撮像により得られた最大3枚の画像のデータは、それぞれ現像処理部17aにおいて現像処理が施され、バッファメモリ15aに格納される。ここで、現像処理部17aでのホワイトバランス調整においては、上記の各画像データから個別に光源の推定が行われて、その推定結果に応じたホワイトバランスゲインが算出される。本実施の形態では、この際に、重み係数生成処理部24で生成される重み係数を基に、各画像データに対するホワイトバランスゲインを画素ごとに最適化することで、照明の条件が複雑な場合にも対応できるようにする。

本実施の形態に係るDSCの構成は、図9に示したDSCとほぼ同様の構成で実現されるが、ホワイトバランスゲインの算出をマイクロコンピュータ20が行う場合には、重み係数生成処理部24が生成する重み係数をマイクロコンピュータ20が取得可能である必要がある。また、本実施の形態では、ブラケット撮像を行った際には、重み係数生成処理部24において重み係数が生成されている必要があるので、ブラケット撮像を行う直前に、デフォーカス画像の撮像を行って、その画像データをバッファメモリ23に格納しておくことが望ましい。あるいは、デフォーカス画像を一定時間ごとに取得するようにし、ブラケット撮像を行った後には、バッファメモリ23に格納された最新のデフォーカス画像のデータを利用して重み係数を生成するようにしてもよい。また、デフォーカス画像の撮像を行う代わりに、ブラケット撮像により基準画像P0を撮像した際に、そのデータに対してデジタル演算によりローパスフィルタ処理を施し、ローパス画像をバッファメモリ23に格納してもよい。

マイクロコンピュータ20は、重み係数生成処理部24から得た重み係数を基に、次の式(11−1)〜(11−3)に従って、画像Pn(すなわち、基準画像P0、画像PUNDERおよびPOVER)のR成分、G成分、B成分のそれぞれに対するオートホワイトバランス用の検波値を算出し、それらの検波値を用いて各成分に対するホワイトバランスゲインを算出する。そして、算出されたゲインを用いたホワイトバランス調整は、式(12)に従って行われ、これにより、画素ごとに異なるゲインが適用される。

なお、式(11−1)〜(11−3)では、各成分の検波値、すなわち重み係数を乗じた画素データの積分値を、画像全体における重み係数の加算値で除算して平均化している。また、Rn、Gn、Bnは、それぞれ画像PnのうちのR成分、G成分、B成分の値を示している。また、式(12)において、WBnは、各画像Pnに対応するゲイン係数を表す。

ブラケット撮像の際には、以上のようにホワイトバランス調整が施された基準画像P’0、画像P’UNDERおよびP’OVERのデータがバッファメモリ15aに格納された後、それらの画像データが補間処理部25において上記の式(7)に従って合成される。この結果、照明光の強さによってホワイトバランスゲインが画素ごとに滑らかに変化し、画像内の部分ごとの照明光に合わせたホワイトバランス調整を行うことが可能になる。特に、複数の照明光が存在するシーンで撮像した場合に、光源の推定を誤って画像が不自然になることが防止される。

例えば、シーンの比較的明るい領域に太陽光が多く照らされ、比較的暗い領域に電球光が多く照らされている場合、画像P’UNDERに対しては光源を太陽光と推定したホワイトバランス調整が施され、画像P’OVERに対しては光源を電球光と推定したホワイトバランス調整が施される。また、基準画像P’0に対しては各光源をミックスした光源に合わせたホワイトバランス調整が施される。そして、これらの画像を上記の式(7)に従って合成すると、太陽光および電球光がそれぞれより多く照らされた領域には、それらの光源に合わせたホワイトバランス調整が施された画像が高い比率で合成され、各領域において光源が正確に推定される。また、照明成分の輝度に応じた重み係数が用いられることで、各光源に合わせて調整された画像同士を滑らかに違和感なく合成することができる。

なお、以上の実施の形態では、上記のホワイトバランス調整後の画像P’nに対して補間処理部25で補間処理が行うようにしていたが、現像前の画像Pn(RAW画像)に対して、同様な画素ごとのホワイトバランス調整を行ってもよい。この場合の画素ごとのゲイン係数WB(x,y)は、次の式(13)によって得られる。

なお、式(13)では、現像処理部17aにおけるガンマ変換曲線を関数γ(A)として表し、また、そのガンマ変換曲線の逆関数を関数γ-1(A)と表している。
〔第5の実施の形態〕
上記の各実施の形態では、シーンの輝度レンジの測定結果または推定結果からブラケット撮像が必要と判断した場合に、輝度レンジに応じた適正な露出補正値を用いてブラケット撮像を行い、HDR画像を生成していた。しかし、このように求めた露出補正値を用いて1回だけ露光し、得られた1枚の画像からHDR画像を生成することもできる。例えば、上記のように複数回撮像して得た画像を合成する場合には、各撮像タイミングの間に被写体が動いてしまうと合成画像の画質が劣化してしまうが、1回の撮像であればこのような問題は生じない。以下、このような1回撮像によるHDR画像の生成手法について説明する。

まず、第5の実施の形態では、上記の第3の実施の形態で用いた画像補間手法を応用して、1回撮像によりHDR画像を生成するようにしたDSCについて説明する。
図16は、第5の実施の形態に係るDSCの内部構成を示すブロック図である。なお、この図16では、図1および図9に対応するブロックについては同じ符号を付して示し、その説明を省略する。

図16に示すDSCでは、図9に示したDSCの構成に対して、補間処理部25の代わりに、重み係数生成処理部24からの重み係数を用いて画素ごとのゲイン調整を行うゲイン調整部26が設けられている。また、現像処理部17は、第1の実施の形態と同様に符号化処理機能までも含んでいる。

この実施の形態のDSCは、上記の第1または第2の実施の形態で説明した手法により、シーンの輝度レンジを計測または推定し、ブラケット撮像が必要と判断した後、図10のステップS301で計算される露出補正値のうち、最高輝度YHに合わせた露出補正値EVUNDERのみを適用して露光を行う。得られた画像PUNDERのデータ(RAW画像データ)は、ゲイン調整部26に供給され、重み係数生成処理部24からの重み係数を用いたゲイン調整が施されることで、HDR画像が生成される。

なお、上述した第4の実施の形態と同様に、本実施の形態でも、画像PUNDERを撮像する前にデフォーカス画像の撮像を行って、その画像データをバッファメモリ23に格納しておき、画像PUNDERを撮像した際にバッファメモリ23の画像データから重み係数を生成できるようにしておく必要がある。あるいは、撮像した画像PUNDERのデータを一時的に格納するバッファメモリを設けておき、画像PUNDERの撮像後にデフォーカス画像の撮像を行い、重み係数を生成する手順としてもよい。また、デフォーカス画像の撮像を行う代わりに、デジタル演算によりローパスフィルタ処理を行い、得られたローパス画像のデータをバッファメモリ23に格納してもよい。この場合、ローパスフィルタ処理の対象とする画像は、新たな露光により得た基準画像P0であることが望ましいが、画像PUNDERで代用してもよい。

ゲイン調整部26は、撮像により得られた画像PUNDERに対して、次の式(14)によって求めたゲインG(x,y)を画素ごとに適用する。

この式(14)による演算は、画像PUNDERを基準として、基準画像P0、画像PUNDERおよびPOVERを撮像する際の露出制御値をそれぞれゲイン値に換算して、ゲインの印加量の変化に応じて基準画像P0、画像PUNDERおよびPOVERを擬似的に取得し、それらの画像を、ローパス画像の明るさに応じて、上記の第3の実施の形態における変換関数(図12参照)に基づく合成比で合成していることと等価である。従って、第3の実施の形態と同様に、被写体のうち、照明光のあたり方が強い部分に対しては、露出量を抑えた画像に相当する信号成分が高い比率で合成され、照明光のあたり方が弱い部分に対しては、露出量を増した画像に相当する信号成分が高い比率で合成される。なお、ゲイン調整後のHDR画像は、現像処理部17でそのまま処理可能なビット数(例えば12ビット)となる。

ただし、このような手順では、1回の撮像のみ行われるので、実際に撮像素子12の出力のダイナミックレンジを超える、シーンの輝度レンジの情報が取り込まれる訳ではない。このため、再現できる輝度レンジやノイズの多さの点で、第3の実施の形態のようにブラケット撮像を行った場合より画質が劣ることになる。

なお、以上の第5の実施の形態では、画像PUNDERの撮像時に式(14)に従ってゲイン調整をし、HDR画像を合成していたが、同様の手法を、過去に撮像され、記録媒体に記録されたRAW画像データを画像PUNDERのデータと見なして、そのRAW画像データに対して適用することもできる。

この場合、画像PUNDERを撮像した際における、基準画像P0の撮像を基準とした露出補正値EVUNDERと、画像POVERの撮像時の露出補正値EVOVERとを取得できる必要がある。露出補正値EVUNDERについては、例えば画像PUNDERの撮像時にそのデータファイルのメタデータとして付加して記録しておくことで、取得することができる。

露出補正値EVOVERについては、例えば、取得した露出補正値EVUNDERから推定すればよい。この推定手法としては、例えば、第2の実施の形態で説明した累積ヒストグラムによる露出補正値の推定手法を用いることが可能である。すなわち、露出補正値EVUNDERが得られている場合であれば、その値を基に画像PUNDERを逆補正して基準画像P0を求め、この基準画像P0の輝度値の累積ヒストグラムを求める。そして、図7および表2のEVOVER決定テーブルに従って、露出補正値EVOVERを推定することができる。

また、露出補正値EVUNDERが取得できない場合には、入力画像データを解析して露出補正値EVUNDERおよびEVOVERを推定してもよい。例えば、入力画像データにゲインを印加し、画像中での白飛びおよび黒つぶれの画素の割合が所定のしきい値以下となる限界のゲインの値を、それぞれ露出補正値EVUNDERおよびEVOVERに換算することで推定することができる。また、上記の同様の累積ヒストグラムを用いた手法により入力画像を解析することで、露出補正値EVUNDERおよびEVOVERを推定することもできる。また、画質の劣化が大きくなる可能性はあるものの、露出補正値EVUNDERおよびEVOVERともに固定的な補正段数として決定してもよい。

なお、入力された基準画像P0を解析して露出補正値EVUNDERおよびEVOVERを推定した場合、上記の式(14)において、wUNDER(a(x,y)),w0(a(x,y)),wOVER(a(x,y))に対して乗じる乗算係数を、それぞれγ(2^EVUNDER),1,γ(2^EVOVER)と変形することで、このゲインを入力画像に対してそのまま適用できるようになる(なお、「2^B」は「2のB乗」を示す)。

また、式(14)に従ってHDR画像を合成する際に必要なローパス画像は、露出補正値EVUNDERを基に入力画像を逆補正して基準画像P0を求め、その基準画像P0にローパスフィルタ処理を施すことで取得すればよい。あるいは、処理を簡略化するために、入力画像にローパスフィルタ処理を施すことで取得してもよい。

以上の各手法により、撮像時に露出補正を行ったか否かに関係なく、記録媒体に記録されたいかなる画像データからでも、上記手法によりHDR画像を生成することが可能になる。このような既存の画像データに対するゲイン調整処理機能は、撮像装置の内部に搭載できるだけでなく、例えば、RAW画像データを現像する画像処理プログラムとして実現することができる。

さらに、この第5の実施の形態でのHDR画像の生成処理は、第1の実施の形態の図5で説明した手法と同様に、入力画像の画質を良好に保ったまま階調レンジを圧縮できるという効果も奏する。このため、例えば、入力される画像PUNDERのデータを、現像処理部17で処理可能なビット数(12ビット)ではなく、それより大きいビット数(例えば15ビット)を持ち、階調レンジが拡大されたRAW画像データとして、このRAW画像データに対して上記ゲイン調整処理を施すようにしてもよい。この場合、ゲイン調整処理後にデータビット数を圧縮した際の画質をより向上させることができる。

すなわち、式(14)によれば、プラス側の露出補正量に対応する重み係数ほど、その露出補正量に応じた大きい係数が乗じられている。例えば、wUNDER(a(x,y))よりw0(a(x,y))に対して、またw0(a(x,y))よりwOVER(a(x,y))に対して、それぞれより大きい係数が乗じられている。一方、図12の変換関数によれば、ローパス画像の明るさに関係なく、すべての重み係数の加算値である「wUNDER(a(x,y))+w0(a(x,y))+wOVER(a(x,y))」は「1」である。

このため、式(14)によるゲイン値は、ローパス画像の低輝度領域において高い値となり、高輝度領域において低い値となって、基本的には図6(A)に示したゲインカーブとほぼ同じように変化する。ここで、図6に示す輝度Y1,Y2,Y3は、それぞれ図13の輝度Yl,Ym,Yhに対応させることができる。従って、図5および図6での説明と同様に、照明成分の階調レンジ圧縮効果と、低輝度領域における反射率成分の階調レンジ伸張効果(すなわち、ディテール成分の強調効果)とが生じ、ゲイン印加後にビット圧縮した際の画像の品質を向上させることができる。

また、図5の構成と同様に、入力画像の照明成分および反射率成分にそれぞれ個別のゲインを印加する構成とし、照明成分に対しては式(14)によるゲインを印加し、反射率成分に対しては式(14)のゲインに図6(B)のようなディテール成分強調のためのゲインをさらに乗じて、各成分を合成してもよい。

さらに、図13〜図15で説明した手法を用いて、式(14)のゲインを適用する入力画像を解析し、適切な重み係数を算出することもできる。例えば、入力画像の信号を基に基準画像P0をローパスフィルタ処理したローパス画像を演算により求めた後、ローパス画像のヒストグラムを算出して、そのピーク位置を基に輝度Yl,Ym,Yhを求め、これらに応じて重み係数の変換関数を設定する。このとき、式(14)のwUNDER(a(x,y)),w0(a(x,y)),wOVER(a(x,y))に対してそれぞれ乗じる乗算係数を、入力画像データに対するゲインとして適用することで、基準画像P0、画像PUNDERおよびPOVERを擬似的に求め、それらのヒストグラムを検出することができる。

これにより、ローパス画像内で多くの面積を示す輝度領域に対する階調レンジ圧縮の影響を弱め、この領域におけるグラデーションが失われることを防止できる。また、式(10)のパラメータKgを任意に変化させて、ゲイン調整後の画像におけるコントラスト感を調整することもできる。

以上のようなビット圧縮の前処理機能としてのゲイン調整処理機能は、例えば撮像装置の内部に組み込んでおくことができる。撮像装置の内部において処理される画像データは、実際には、表示デバイスなどに適合した画像データ(上記例では8ビットデータ)と比較してビット数が大きい場合が多く(上記例では12ビットデータまたは15ビットデータ)、このような画像データのビット数を圧縮する前に、上記のゲイン調整処理機能により階調レンジ圧縮を行うようにすることが好ましい。

さらに、上記機能は、そのような撮像装置で得られたビット数の大きいRAW画像データをPCなどにおいて処理するための画像処理プログラムとしても実現できる。この場合、特定の機種の撮像装置やメーカに対して専用の画像処理プログラムとして実現できるだけでなく、そのような撮像装置の機種やメーカに依存しない汎用の画像処理プログラムとしても実現でき、そのプログラムを実行することでRAW現像処理後の画像の品質を向上させることができる。

〔第6の実施の形態〕
第6の実施の形態では、1回の撮像により得た画像に対して、ISOゲインおよびノイズリダクション(NR)処理の各調整量を変化させて複数枚の画像を生成した後、それらの画像を合成して1枚のHDR画像を生成する。

図17は、第6の実施の形態に係るDSCの内部構成を示すブロック図である。なお、この図17では、図1に対応するブロックについては同じ符号を付して示し、その説明を省略する。

図17に示すDSCでは、図1に示したDSCの構成に対して、RAW画像データ用のバッファメモリ(RAWバッファメモリ)31と、RAW画像データ用のNR処理部(RAW・NR処理部)32とが追加されている。RAWバッファメモリ31には、シーンの高輝度側の輝度レンジが撮像素子12の出力のダイナミックレンジより広いと判断された場合に、A/D変換部13から出力される撮像画像のデジタルデータ(RAW画像データ)が格納される。RAWバッファメモリ31内の画像データは、ISOゲイン調整部14において画像全体のゲイン調整が施された後、さらにRAW/NR処理部32においてNR処理が施され、バッファメモリ15に格納される。

図18は、第6の実施の形態に係るDSCでの撮像時の処理手順を示すフローチャートである。
本実施の形態のDSCは、例えば上記の第1の実施の形態で説明した手法によりシーンの輝度レンジを計測し、その計測結果に応じて図18の処理を開始するか否かを判定する。この判定処理は、図2のステップS107でのブラケット撮像の要否の判定処理に対応するが、本実施の形態では、シーンの高輝度側の輝度レンジが撮像素子12の出力のダイナミックレンジより広いと判断した場合に、図18の処理を開始する。

[ステップS401]マイクロコンピュータ20は、計測された最高輝度YHに合わせた露出補正値EVEqを、次の式(15)に従って算出する。また、このとき、次のステップS402の撮像時におけるシャッタスピードS(ただし、ここでは主としてシャッタ11bの動作を制御する)と絞り値Fを、次の式(16)に従って求める。なお、S0,F0,G0は、上述した通り、図2のステップS101のAE制御時に設定した(またはステップS103であらためて設定した)シャッタスピード(ただし、電子シャッタ機能による)、絞り値、ISOゲインである。

[ステップS402]マイクロコンピュータ20は、ステップS401で求めた露出補正値EVEq、シャッタスピードS、絞り値Fを適用して、露光動作を実行させる。この動作によりA/D変換部13から出力されたRAW画像データは、RAWバッファメモリ31に一旦格納される。

[ステップS403]次に、マイクロコンピュータ20は、ISOゲイン調整部14でのISOゲインを「1」(すなわち、ゲインなし)、RAW・NR処理部32でのNR強度を「弱」として、RAWバッファメモリ31内の画像データをISOゲイン調整部14およびRAW・NR処理部32に順次処理させ、処理後の画像PHをバッファメモリ15に格納する。

[ステップS404]次に、マイクロコンピュータ20は、ISOゲイン調整部14でのISOゲインを上げ、RAW・NR処理部32でのNR強度を「中」の段階に上げて、RAWバッファメモリ31内の画像データをISOゲイン調整部14およびRAW・NR処理部32に順次処理させ、処理後の画像P0をバッファメモリ15に格納する。

[ステップS405]次に、マイクロコンピュータ20は、ISOゲイン調整部14でのISOゲインをさらに上げ、RAW・NR処理部32でのNR強度をさらに「強」の段階に上げて、RAWバッファメモリ31内の画像データをISOゲイン調整部14およびRAW・NR処理部32に順次処理させ、処理後の画像PLをバッファメモリ15に格納する。

ここで、ステップS403〜S405でのISOゲイン、NR強度の制御値を、以下に示す。これらのステップS403〜S405では、第1の実施の形態においてブラケット撮像により得た基準画像P0、画像PUNDERおよびPOVERを、それぞれ画像P0,PH,PLとして擬似的に生成していると言える。

[ステップS406]合成処理部16は、次の式(17)に従って、バッファメモリ15内の画像PH,P0,PLを合成し、HDR画像を生成する。この式(17)は、第1の実施の形態で示した式(5)に対応する。合成処理部16は、式(17)で必要となる露出補正値の代わりに、ステップS403〜S405で設定されたISOゲインの設定値をマイクロコンピュータ20から受け取り、式(17)に従った処理を実行する。なお、しきい値Th1およびTh2は、0≦Th1<Th2の関係を満たし、例えばあらかじめ決められた値が使用される。

[ステップS407,S408]これらの各ステップの処理は、図2のステップS113およびS114にそれぞれ対応する。すなわち、ステップS406で生成されたHDR画像は、現像処理部17で現像処理を施すことが可能な画像データよりもビット数が多くなっているため、現像処理部17の入力段において、合成されたHDR画像データの階調レンジおよびデータビット数を圧縮し、圧縮後の画像データを現像する。

ここで、上記のステップS403〜S405では、第1の実施の形態においてブラケット撮像により得た基準画像P0、画像PUNDERおよびPOVERを、それぞれ画像P0,PH,PLとして擬似的に生成していると言える。ただし、実際に露光制御を行う代わりにISOゲインを調整しており、ノイズが発生してしまうことから、ISOゲインを高くするほど、NR強度を強くしてノイズの発生量を抑えている。このような処理により、ステップS406で合成される画像においては、高輝度領域に対してはNR処理が弱めにかけられ、ディテール成分が保たれる。逆に、低輝度領域に対しては、NR処理が強めにかけられることでノイズレベルが抑えられ、階調情報が残されるので、検出されるシーンの輝度レンジが拡大される。従って、高画質なHDR画像を得ることができる。

図19は、生成される画像P0,PH,PLにおける明るさの特性を示す図である。
同図(A)において、直線LHは、画像PHで再現されるシーンの輝度値と撮像素子12の電荷量との関係を示している。また、直線L0は、露出補正を行わずに撮像した場合(すなわち、図2のステップS101での露光条件またはステップS103であらためて設定された露光条件で撮像した場合)におけるシーンの輝度値と撮像素子12の電荷量との関係を示している。通常の露光条件で撮像された画像の階調レンジは、輝度値YDLから輝度値YDHまでとなるが、露出をアンダー側に補正して得た画像P0では、高輝度側の階調レンジが最高輝度YHまでの輝度差DYhだけ拡大される。一方、低輝度側の階調レンジについては、NR処理によりノイズレベルをNfからNsupp_hに低減することで、露出補正しない場合と同程度まで確保することができる。

また、同図(B)において、直線L0は、画像P0で再現されるシーンの輝度値と撮像素子12の電荷量との関係を示している。この画像P0はゲインアップにより得たものなので、本来のノイズレベルNfは高くなるが、NR強度を「中」に上げたことで実際のノイズレベルNsupp_0はノイズレベルNfより低くなる。例えば、ノイズレベルNsupp_0を、同図(A)で示した露出補正なしの場合のノイズレベルNf程度に抑えることができる。

また、同図(C)において、直線LLは、画像PLで再現されるシーンの輝度値と撮像素子12の電荷量との関係を示している。この画像PLはゲインアップにより得たものなので、本来のノイズレベルNfはさらに高くなるが、NR強度を「強」に上げたことで実際のノイズレベルNsupp_lはノイズレベルNfより低くなる。

図20は、合成された画像における明るさの特性を示す図である。
この図20において、直線L0としきい値Th1およびTh2とがそれぞれ交差している点の輝度値をY1およびY2とすると、合成後の画像には、輝度値Y1以下では画像PLの画素データが用いられ、輝度値Y2以上では画像PHの画素データが用いられる。ここで、式(17)の演算により、輝度値Y1以下、および輝度値Y2以上の領域において、それぞれ直線LLおよびLHの傾きが直線L0と同じになることは、図4で説明した通りである。このように直線LLの傾きが緩やかになるように変換されることで、画像PLにおけるノイズレベルNsupp_lも低下する。このとき、NR強度の違いから、変換後のノイズレベルNsupp_lは画像P0のノイズレベルNsupp_0より低くなり、その結果、合成後の画像における低輝度側の階調レンジは、輝度差DYlの分だけ拡大されることになる。なお、上述したように、高輝度側の階調レンジも輝度差DYhの分だけ拡大される。従って、露出補正せずに撮像した画像よりも、シーン中のより広い輝度レンジの階調情報を持つHDR画像を生成することが可能になる。

なお、以上で説明した処理手順においては、ステップS407およびS408の処理の代わりに、第3の実施の形態で説明した内挿補間によるHDR画像の合成処理(図10のステップS307〜S310に対応)が用いられてもよい。この場合、例えば、図9に示した構成において、A/D変換後の画像(図17のRAWバッファメモリ31内の画像に対応)から3枚の画像を生成する際に、現像処理部17aによる現像処理を施し、現像後の画像P’0,P’H,P’Lの各データをバッファメモリ15aに格納して、補間処理により合成画像を生成すればよい。すなわち、図17のRAW・NR処理部32でのNR処理を、現像処理部17a内の機能により実行することができる。このため、図17の構成により合成後のHDR画像に対して現像処理が行われる場合と比較して、最終的な画像の画質をさらに良好にでき、シーン内のより広い輝度レンジに対応する階調情報をその画像データに取り込むことができるようにもなる。

なお、この場合には、第2の実施の形態と同様に、露出補正なしで、かつ、デフォーカス状態として撮像することで、ローパス画像データを取得すればよい。あるいは、ISOゲイン調整処理およびNR処理によって得られた3枚のうちの1つの画像(望ましくは画像P0)のデータを演算によりローパスフィルタ処理することで、ローパス画像データを取得してもよい。

また、以上の第6の実施の形態における処理機能を、RAW現像プログラムとして実現することも可能である。この場合、ステップS402で得たRAW画像データを記録媒体に保存しておき、後にPCなどにおいて、画像P0,PH,PLを生成し、HDR画像を合成することが可能になる。特に、上記手法の撮像により得られたRAW画像データに限らず、他の撮像手法により得られたRAW画像データに対して上記処理を施し、低輝度側の階調レンジが拡大されたHDR画像を得ることも可能である。すなわち、すでに撮像された1つの画像データを基にブラケット撮像後の画像データを擬似的に生成し、それらの画像データを基にHDR画像を得ることができる。この場合、入力された1枚の画像のデータに対して、第2の実施の形態で説明した累積ヒストグラムを用いた手法を適用して、露出補正値EVEqを推定してもよい。

なお、以上の各実施の形態では、本発明をDSCに適用した場合について説明したが、本発明はDSCに限らず、画像撮像機能を持ついかなる電子機器に適用することも可能である。

また、上述したように、上記各実施の形態に係るDSCの機能の一部は、コンピュータによって実現することができる。その場合、このような機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、そのプログラムを、サーバコンピュータからネットワークを介して他のコンピュータに転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

本発明の第1の実施の形態に係るDSCの内部構成を示すブロック図である。 第1の実施の形態に係るDSCでの撮像動作全体の手順を示すフローチャートである。 ステップS111のブラケット撮像の処理手順を示すフローチャートである。 合成される画像間の明るさの関係を説明するための図である。 HDR画像の階調レンジ圧縮のための機能を示すブロック図である。 HDR画像の階調レンジ圧縮時に設定されるゲインカーブの例を示す図である。 累積ヒストグラムから求められるパラメータを説明するための図である。 キーレベルとハイライトレベルの組み合わせに対応する輝度値の度数を示すヒストグラムの代表的な例を示す図である。 本発明の第3の実施の形態に係るDSCの内部構成を示すブロック図である。 第3の実施の形態に係るDSCでの撮像時の処理手順を示すフローチャートである。 デフォーカス画像の撮像時におけるフォーカス調整レンズの駆動手順を説明するための図である。 ローパス画像の輝度を重み係数に変換するための変換関数の例を示す図である。 ローパス画像における輝度値の度数を示すヒストグラムの例である。 撮像により得られる画像の輝度値に基づくヒストグラムの例を示す図である。 単調増加関数の例を示す図である。 本発明の第5の実施の形態に係るDSCの内部構成を示すブロック図である。 本発明の第6の実施の形態に係るDSCの内部構成を示すブロック図である。 第6の実施の形態に係るDSCでの撮像時の処理手順を示すフローチャートである。 ゲイン補正により生成される画像における明るさの特性を示す図である。 合成された画像における明るさの特性を示す図である。

符号の説明

11……光学ブロック、11a……絞り、11b……シャッタ、12……撮像素子、13……A/D変換部、14……ISOゲイン調整部、15,15a,23……バッファメモリ、16……合成処理部、17,17a……現像処理部、17b……符号化処理部、18……記録部、19……表示部、20……マイクロコンピュータ、21……ローパスフィルタ(LPF)、22……検波部、24……重み係数生成処理部、25……補間処理部、26……ゲイン調整部、31……RAWバッファメモリ、32……RAW/NR処理部

Claims (30)

  1. 固体撮像素子を用いて画像を撮像する撮像装置において、
    基準露出制御値を適用した撮像動作により得られた画像データを基に白飛びおよび黒つぶれを検出し、その検出結果を基に、画角内のシーンの輝度レンジが前記固体撮像素子により検出可能な検出輝度レンジに収まっているか否かを判定する露光状態判定部と、
    前記露光状態判定部によってシーンの輝度レンジが前記検出輝度レンジに収まっていないと判定された場合に、シーンの高輝度側の輝度レンジおよび低輝度側の輝度レンジが前記検出輝度レンジにそれぞれ収まるように前記基準露出制御値を補正したアンダー側露出制御値およびオーバー側露出制御値を算出する露出補正値算出部と、
    前記露出補正値算出部により前記アンダー側露出制御値および前記オーバー側露出制御値の少なくとも一方が算出された場合に、前記基準露出制御値と、算出された前記アンダー側露出制御値および前記オーバー側露出制御値とを適用して撮像動作を連続的に実行させ、それぞれの撮像動作により個別の画像データを取得するブラケット撮像制御部と、
    を有することを特徴とする撮像装置。
  2. 撮像動作により得られた画像データに対してローパスフィルタ処理を施すフィルタ処理部をさらに有し、
    前記露光状態判定部および前記露出補正値算出部は、前記フィルタ処理部によりローパスフィルタ処理が施された画像データを基に、白飛びおよび黒つぶれの検出、および、前記アンダー側露出制御値および前記オーバー側露出制御値の算出をそれぞれ実行することを特徴とする請求項1記載の撮像装置。
  3. 前記露出補正値算出部は、
    前記基準露出制御値を基準としてアンダー側およびオーバー側にそれぞれ徐々に補正した露出制御値を適用して、その都度撮像動作を実行させて得られた画像データを基に白飛びおよび黒つぶれの発生状態を検出し、
    白飛びが発生しない最大の露出制御値と、あらかじめ決められた基準露光条件下での画素出力の輝度最大値と、前記固体撮像素子の各画素の飽和電荷量と、所定の白レベルに対応する前記固体撮像素子の画素の電荷量とを基にシーンの最高輝度を検出し、また、黒つぶれが発生しない最小の露出制御値と、あらかじめ決められた基準露光条件下での画素出力の輝度最小値と、前記固体撮像素子の各画素の前記飽和電荷量と、所定の黒レベルに対応する前記固体撮像素子の画素の電荷量とを基にシーンの最低輝度を検出して、検出したシーンの最高輝度および最低輝度を基に、シーンの輝度レンジが前記検出輝度レンジより広いか否かを判定し、
    シーンの輝度レンジが前記検出輝度レンジより広いと判定した場合に、検出されたシーンの最高輝度および最低輝度がそれぞれ前記検出輝度レンジに収まるように前記基準露出制御値を補正した前記アンダー側露出制御値および前記オーバー側露出制御値を算出する、
    ことを特徴とする請求項1記載の撮像装置。
  4. 撮像動作により得られた画像データに対してローパスフィルタ処理を施すフィルタ処理部をさらに有し、
    前記露出補正値算出部は、前記基準露出制御値を基準としてアンダー側およびオーバー側にそれぞれ徐々に補正した露出制御値を適用した撮像動作によりそれぞれ得られた画像データに対して、前記フィルタ処理部によりローパスフィルタ処理を施した画像データを基に、白飛びおよび黒つぶれの発生状態を検出することを特徴とする請求項3記載の撮像装置。
  5. 前記露出補正値算出部は、前記基準露出制御値を適用した撮像動作により得られた画像データから、輝度ごとの度数を低輝度側から累積した累積ヒストグラムを検出し、前記累積ヒストグラムに基づき、主要な被写体が存在している可能性の高い所定の基準累積度数に対応する輝度領域と、前記基準累積度数より高い1つ以上の累積度数に対応する輝度領域と、前記基準累積度数より低い1つ以上の累積度数に対応する輝度領域とを検出して、検出した前記各輝度領域の組み合わせに応じて、前記アンダー側露出制御値および前記オーバー側露出制御値を推定して出力することを特徴とする請求項1記載の撮像装置。
  6. 撮像動作により得られた画像データに対してローパスフィルタ処理を施すフィルタ処理部をさらに有し、
    前記露出補正値算出部は、前記基準露出制御値を適用した撮像動作により得られた画像データに対して、前記フィルタ処理部によりローパスフィルタ処理が施された画像データを基に、前記累積ヒストグラムを検出することを特徴とする請求項5記載の撮像装置。
  7. 前記ブラケット撮像制御部の制御により得られた複数の画像データを合成して1つの合成画像データを生成する画像合成部であって、
    前記オーバー側露出制御値を適用した撮像動作により得られた画像データのうち、輝度値が、前記固体撮像素子の各画素の飽和電荷量から換算される輝度値以下である画素のデータを、前記合成画像データに合成し、
    前記基準露出制御値を適用した撮像動作により得られた画像データのうち、輝度値が、前記固体撮像素子の各画素の前記飽和電荷量から換算される輝度値以下である画素を、前記合成画像データに合成し、
    いずれの条件にも該当しない画素については、前記アンダー側露出制御値を適用した撮像動作により得られた画像データの画素のデータを、前記合成画像データに合成する前記画像合成部をさらに有することを特徴とする請求項1記載の撮像装置。
  8. 前記画像合成部は、前記アンダー側露出制御値を適用した画像データの画素のデータを、前記アンダー側露出制御値に応じた割合で増幅してから前記合成画像データに合成し、前記オーバー側露出制御値を適用した画像データの画素のデータを、前記オーバー側露出制御値に応じた割合で圧縮してから前記合成画像データに合成することを特徴とする請求項7記載の撮像装置。
  9. 前記画像合成部により合成された前記合成画像データに対して、当該合成画像データの照明成分の明るさに応じたゲインを印加して、当該合成画像データの階調レンジを圧縮する階調レンジ圧縮部をさらに有することを特徴とする請求項7記載の撮像装置。
  10. 前記階調レンジ圧縮部は、前記照明成分の低輝度領域に対応する前記合成画像データに対しては信号レベルを増幅するようなゲインを印加し、前記照明成分の高輝度領域に対応する前記合成画像データに対しては信号レベルを低減するようなゲインを印加することを特徴とする請求項9記載の撮像装置。
  11. 前記基準露出制御値を適用した撮像動作により得られた基準画像データに対してローパスフィルタ処理を施したローパス画像データを生成するローパス画像生成部と、
    前記基準画像データと、前記アンダー側露出制御値を適用した撮像動作により得られたアンダー補正画像データと、前記オーバー側露出補正値を適用した撮像動作により得られたオーバー補正画像データとを、前記ローパス画像データの各画素の輝度値に応じた補間係数を用いて内挿補間し、1つの合成画像データを生成する画像補間部と、
    をさらに有することを特徴とする請求項1記載の撮像装置。
  12. 前記画像補間部は、
    前記ローパス画像データの画素のうち、輝度値が中間的な値である画素については、前記合成画像データにおける対応する画素に前記基準画像データをより多く合成し、前記ローパス画像データの画素のうち、輝度値が高い値である画素については、前記合成画像データにおける対応する画素に前記アンダー補正画像データをより多く合成し、
    前記ローパス画像データの画素のうち、輝度値が低い値である画素については、前記合成画像データにおける対応する画素に前記オーバー補正画像データをより多く合成する、
    ことを特徴とする請求項11記載の撮像装置。
  13. 前記画像補間部は、
    前記ローパス画像データの輝度ごとの度数を示すヒストグラムから、当該ヒストグラムの最も高輝度側に存在する第1の度数ピークに対応する第1の輝度値と、それより低輝度側の領域に存在する第2の度数ピークに対応する第2の輝度値と、前記第1および第2の度数ピークの間における最低度数位置に対応する第3の輝度値とを検出し、
    前記ローパス画像データの輝度値に応じた前記合成画像データに対する前記基準画像データの合成比率を、前記第3の輝度値で最大となり、それより低輝度側および高輝度側でともに単純減少となるように設定し、
    前記合成画像データにおける前記アンダー補正画像データの合成比率を、前記ローパス画像データの輝度値の増加に従って単純増加して、前記第1の輝度値で略最大値に達するように設定し、
    前記合成画像データにおける前記オーバー補正画像データの合成比率を、前記ローパス画像データの輝度値の減少に従って単純増加して、前記第2の輝度値で略最大値に達するように設定する、
    ことを特徴とする請求項12記載の撮像装置。
  14. 前記合成画像データに対する前記アンダー補正画像データおよび前記オーバー補正画像データの各合成比率の最大値を、ユーザ操作に応じて任意に設定可能にする合成比率設定部をさらに有することを特徴とする請求項13記載の撮像装置。
  15. 前記画像補間部は、
    前記合成画像データに対する前記アンダー補正画像データの最大合成比率を、前記基準画像データおよび前記アンダー補正画像データのそれぞれの輝度ごとの度数を示すヒストグラム上の最も高輝度側に存在する度数ピークの位置と、前記ローパス画像データの輝度領域の中間値とに基づいて算出し、
    前記合成画像データに対する前記オーバー補正画像データの最大合成比率を、前記基準画像データおよび前記オーバー補正画像データのそれぞれの輝度ごとの度数を示すヒストグラム上の、最も高輝度側に存在する度数ピークより低輝度側の領域に存在する度数ピークの位置と、前記ローパス画像データの輝度領域の中間値とに基づいて算出する、
    ことを特徴とする請求項13記載の撮像装置。
  16. 前記ブラケット撮像制御部の制御により、前記基準露出制御値、前記アンダー側露出制御値、および前記オーバー側露出制御値をそれぞれ適用して得られた前記基準画像データ、前記アンダー補正画像データ、および前記オーバー補正画像データに対して、その都度、所定の画素補間処理および所定の画質補正処理を含む信号処理を施し、表示デバイスに出力可能な階調ビット数を持つ非圧縮の画像データに変換するRAW現像処理部をさらに有し、
    前記ローパス画像生成部は、前記RAW現像処理部によって変換された後の前記基準画像データを基に前記ローパス画像データを生成し、
    前記画像補間部は、前記RAW現像処理部によって変換された後の前記基準画像データ、前記アンダー補正画像データ、および前記オーバー補正画像データを内挿補間して前記合成画像データを生成する、
    ことを特徴とする請求項11記載の撮像装置。
  17. 前記RAW現像処理部は、入力画像データのホワイトバランスを調整するホワイトバランス調整部を備え、
    また、
    前記RAW現像処理部に入力される前記基準画像データ、前記アンダー補正画像データ、および前記オーバー補正画像データのそれぞれのRGB成分に対して各画像データに対応する前記補間係数を乗じた値を基に、前記基準画像データ、前記アンダー補正画像データ、および前記オーバー補正画像データのそれぞれについての前記ホワイトバランス調整部におけるゲイン量を演算するホワイトバランス制御部をさらに有することを特徴とする請求項16記載の撮像装置。
  18. 前記ホワイトバランス制御部は、前記基準画像データ、前記アンダー補正画像データ、および前記オーバー補正画像データのそれぞれのRGB成分に対して各画像データに対応する前記補間係数を乗じた値の積分値を、各画像データについて乗算した前記補間係数の加算値で除算した値を基に、前記基準画像データ、前記アンダー補正画像データ、および前記オーバー補正画像データのそれぞれについての前記ホワイトバランス調整部におけるゲイン量を演算することを特徴とする請求項17記載の撮像装置。
  19. 前記ローパス画像生成部は、撮像画像がデフォーカス状態となるようにフォーカス調整レンズの位置を調整し、かつ、前記基準露出制御値を適用して実行される撮像動作により得られた画像データを、前記ローパス画像データとして利用することを特徴とする請求項11記載の撮像装置。
  20. 前記ローパス画像生成部は、前記デフォーカス状態となるように前記フォーカス調整レンズを複数の位置に調整し、その都度撮像動作を実行させて得られた画像データを平均することで、前記ローパス画像データを生成することを特徴とする請求項19記載の撮像装置。
  21. 固体撮像素子を用いて画像を撮像する撮像装置において、
    基準露出制御値を適用した撮像動作により得られた画像データを基に白飛びを検出し、その検出結果を基に、画角内のシーンの輝度レンジが前記固体撮像素子により検出可能な検出輝度レンジに収まっているか否かを判定する露光状態判定部と、
    前記露光状態判定部によってシーンの輝度レンジが前記検出輝度レンジに収まっていないと判定された場合に、シーンの高輝度側の輝度レンジが前記検出輝度レンジに収まるように前記基準露出制御値を補正したアンダー側露出制御値を算出する露出補正値算出部と、
    前記露出補正値算出部により算出された前記アンダー側露出制御値を適用した撮像動作により得られた画像データに対して1倍以上のそれぞれ異なるゲインを印加して複数の補正画像データを生成するゲイン処理部と、
    前記ゲイン処理部により生成された複数の前記補正画像データに対してそれぞれノイズ除去処理を施し、前記ゲイン処理部におけるゲイン印加量が多い前記補正画像データほど前記ノイズ除去処理の強度を強くするノイズ除去処理部と、
    を有することを特徴とする撮像装置。
  22. 撮像動作により得られた画像データに対してローパスフィルタ処理を施すフィルタ処理部をさらに有し、
    前記露光状態判定部および前記露出補正値算出部は、前記フィルタ処理部によりローパスフィルタ処理が施された画像データを基に、白飛びの検出、および、前記アンダー側露出制御値の算出をそれぞれ実行することを特徴とする請求項21記載の撮像装置。
  23. 前記ノイズ除去処理が施された複数の前記補正画像データを合成して1つの合成画像データを生成し、前記合成画像データの画素のうち、いずれかの前記補正画像データの同一位置の画素の明るさが明るいほど、前記ゲイン処理部におけるゲイン印加量が少ない前記補正画像データの合成比を高くする画像合成部をさらに有することを特徴とする請求項21記載の撮像装置。
  24. 前記画像合成部は、前記ノイズ除去処理部から出力されるいずれかの前記補正画像データを基準補正画像データとし、前記基準補正画像データの画素の輝度を所定のしきい値と比較した比較結果に基づいて、前記ノイズ除去処理部から出力される前記補正画像データの前記合成画像データに対する合成比を決定することを特徴とする請求項23記載の撮像装置。
  25. 前記ゲイン処理部は、前記アンダー側露出制御値を適用した撮像動作により得られた画像データに対して、1倍のゲインを印加したアンダー補正画像データと、前記アンダー側露出制御値から前記基準露出制御値へ露出制御値を補正したときの第1の露出補正値に応じたゲインを印加した前記基準補正画像データと、前記基準露出制御値から前記第1の露出補正値の分だけさらにオーバー側に露出補正したときの第2の露出補正値に応じたゲインを印加したオーバー補正画像データとを生成し、
    前記画像合成部は、
    前記ノイズ除去処理が施された前記オーバー補正画像データのうち、前記ノイズ除去処理が施された前記基準補正画像データの同一画素の輝度値が、所定の第1のしきい値以下である画素のデータを、前記合成画像データに合成し、
    前記ノイズ除去処理が施された前記基準補正画像データのうち、輝度値が、前記第1のしきい値より大きい第2のしきい値以下である画素のデータを、前記合成画像データに合成し、
    いずれの条件にも該当しない画素については、前記ノイズ除去処理が施された前記アンダー補正画像データを前記合成画像データに合成する、
    ことを特徴とする請求項24記載の撮像装置。
  26. 前記画像合成部は、前記ノイズ除去処理を施した前記アンダー補正画像データを、前記第1の露出補正値に応じた割合で増幅してから前記合成画像データに合成し、前記ノイズ除去処理を施した前記オーバー補正画像データを、前記第1の露出補正値に応じた割合で圧縮してから前記合成画像データに合成することを特徴とする請求項25記載の撮像装置。
  27. 前記アンダー側露出制御値または前記基準露出制御値を適用した撮像動作により得られた画像データに対してローパスフィルタ処理を施したローパス画像データを生成するローパス画像生成部をさらに有し、
    前記ゲイン処理部は、前記アンダー側露出制御値を適用した撮像動作により得られた画像データに対して、1倍のゲインを印加したアンダー補正画像データと、前記アンダー側露出制御値から前記基準露出制御値へ露出制御値を補正したときの第1の露出補正値に応じたゲインを印加した前記基準補正画像データと、前記基準露出制御値から前記第1の露出補正値の分だけさらにオーバー側に露出補正したときの第2の露出補正値に応じたゲインを印加したオーバー補正画像データとを生成し、
    前記画像合成部は、前記アンダー補正画像データと前記基準補正画像データと前記オーバー補正画像データとを、前記ローパス画像データの各画素の輝度値に応じた補間係数を用いて内挿補間することで、前記合成画像データを生成する、
    ことを特徴とする請求項24記載の撮像装置。
  28. 前記画像合成部は、
    前記ローパス画像データの画素のうち、輝度値が中間的な値である画素については、前記合成画像データにおける対応する画素に前記基準補正画像データをより多く合成し、前記ローパス画像データの画素のうち、輝度値が高い値である画素については、前記合成画像データにおける対応する画素に前記アンダー補正画像データをより多く合成し、
    前記ローパス画像データの画素のうち、輝度値が低い値である画素については、前記合成画像データにおける対応する画素に前記オーバー補正画像データをより多く合成する、
    ことを特徴とする請求項27記載の撮像装置。
  29. 固体撮像素子を用いて画像を撮像する撮像方法において、
    露光状態判定部が、基準露出制御値を適用した撮像動作により得られた画像データを基に白飛びおよび黒つぶれを検出し、その検出結果を基に、画角内のシーンの輝度レンジが前記固体撮像素子により検出可能な検出輝度レンジに収まっているか否かを判定し、
    前記露光状態判定部によってシーンの輝度レンジが前記検出輝度レンジに収まっていないと判定された場合に、露出補正値算出部が、シーンの高輝度側の輝度レンジおよび低輝度側の輝度レンジが前記検出輝度レンジにそれぞれ収まるように前記基準露出制御値を補正したアンダー側露出制御値およびオーバー側露出制御値を算出し、
    前記露出補正値算出部により前記アンダー側露出制御値および前記オーバー側露出制御値の少なくとも一方が算出された場合に、ブラケット撮像制御部が、前記基準露出制御値と、算出された前記アンダー側露出制御値および前記オーバー側露出制御値とを適用して撮像動作を連続的に実行させ、それぞれの撮像動作により個別の画像データが取得されるように制御する、
    ことを特徴とする撮像方法。
  30. 固体撮像素子を用いて画像を撮像する撮像方法において、
    露光状態判定部が、基準露出制御値を適用した撮像動作により得られた画像データを基に白飛びを検出し、その検出結果を基に、画角内のシーンの輝度レンジが前記固体撮像素子により検出可能な検出輝度レンジに収まっているか否かを判定し、
    前記露光状態判定部によってシーンの輝度レンジが前記検出輝度レンジに収まっていないと判定された場合に、露出補正値算出部が、シーンの高輝度側の輝度レンジが前記検出輝度レンジに収まるように前記基準露出制御値を補正したアンダー側露出制御値を算出し、
    ゲイン処理部が、前記露出補正値算出部により算出された前記アンダー側露出制御値を適用した撮像動作により得られた画像データに対して1倍以上のそれぞれ異なるゲインを印加して複数の補正画像データを生成し、
    ノイズ除去処理部が、前記ゲイン処理部により生成された複数の前記補正画像データに対してそれぞれノイズ除去処理を施し、前記ゲイン処理部におけるゲイン印加量が多い前記補正画像データほど前記ノイズ除去処理の強度を強くする、
    ことを特徴とする撮像方法。
JP2006285107A 2006-10-19 2006-10-19 撮像装置および撮像方法 Pending JP2008104009A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006285107A JP2008104009A (ja) 2006-10-19 2006-10-19 撮像装置および撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006285107A JP2008104009A (ja) 2006-10-19 2006-10-19 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JP2008104009A true JP2008104009A (ja) 2008-05-01
JP2008104009A5 JP2008104009A5 (ja) 2009-11-05

Family

ID=39437993

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006285107A Pending JP2008104009A (ja) 2006-10-19 2006-10-19 撮像装置および撮像方法

Country Status (1)

Country Link
JP (1) JP2008104009A (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136113A (ja) * 2006-11-29 2008-06-12 Sanyo Electric Co Ltd 画像処理装置、撮像装置及び画像処理方法
EP2151991A2 (en) 2008-08-07 2010-02-10 HOYA Corporation Image-processing unit, imaging apparatus, and computer program product
JP2010050798A (ja) * 2008-08-22 2010-03-04 Sanyo Electric Co Ltd 電子カメラ
JP2010081025A (ja) * 2008-09-24 2010-04-08 Fujifilm Corp 撮影装置
JP2010193098A (ja) * 2009-02-17 2010-09-02 Canon Inc 撮像装置及び画像処理方法
JP2011015380A (ja) * 2009-06-03 2011-01-20 Sony Corp 撮像装置および撮像制御方法
JP2011023985A (ja) * 2009-07-15 2011-02-03 Canon Inc 画像処理装置およびその制御方法
JP2011129993A (ja) * 2009-12-15 2011-06-30 Canon Inc 撮像装置及びその制御方法
US8300141B2 (en) 2009-09-17 2012-10-30 Sharp Kabushiki Kaisha Portable terminal apparatus, image output apparatus, method of controlling portable terminal apparatus, and recording medium
JP2013176119A (ja) * 2013-04-12 2013-09-05 Canon Inc 撮像装置及び画像処理方法
JP2014050042A (ja) * 2012-09-03 2014-03-17 Toshiba Corp 画像処理装置及び固体撮像装置
JP2014123914A (ja) * 2012-12-21 2014-07-03 Canon Inc 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP2014123915A (ja) * 2012-12-21 2014-07-03 Canon Inc 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2014165865A (ja) * 2013-02-27 2014-09-08 Canon Inc 画像処理装置及び画像処理方法、プログラム並びに記憶媒体
US9148578B2 (en) 2011-11-11 2015-09-29 Canon Kabushiki Kaisha Image capture apparatus, control method thereof, and recording medium
KR101617553B1 (ko) 2014-12-29 2016-05-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 노이즈 인식 선형 모델을 사용한 최소 촬영 자동 노출 방법 및 장치
US9336619B2 (en) 2012-09-25 2016-05-10 Samsung Electronics Co., Ltd. Method and apparatus for generating photograph image
WO2016113961A1 (ja) * 2015-01-16 2016-07-21 三菱電機株式会社 画像処理装置及び方法、並びにプログラム及び記録媒体
US10171743B2 (en) 2015-12-24 2019-01-01 Canon Kabushiki Kaisha Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium for improving quality of captured image

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150668A (ja) * 1996-11-18 1998-06-02 Sony Corp 撮像装置及びカラー画像信号の処理方法
JPH10232927A (ja) * 1996-12-18 1998-09-02 Fujitsu Ltd 画像階調変換装置、画像階調変更方法およびその方法を実行させるプログラムを記録した媒体ならびに赤外線カメラ
JP2000152264A (ja) * 1998-11-18 2000-05-30 Sony Corp 画像処理装置及び画像処理方法
JP2000278529A (ja) * 1999-03-26 2000-10-06 Noritsu Koki Co Ltd 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
JP2001008087A (ja) * 1999-06-18 2001-01-12 Olympus Optical Co Ltd 電子スチルカメラ
JP2002171411A (ja) * 2000-11-30 2002-06-14 Canon Inc 画像処理方法、画像処理装置および記録媒体
JP2003046848A (ja) * 2001-07-27 2003-02-14 Olympus Optical Co Ltd 撮像システムおよび撮像プログラム
JP2003324656A (ja) * 2002-05-08 2003-11-14 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150668A (ja) * 1996-11-18 1998-06-02 Sony Corp 撮像装置及びカラー画像信号の処理方法
JPH10232927A (ja) * 1996-12-18 1998-09-02 Fujitsu Ltd 画像階調変換装置、画像階調変更方法およびその方法を実行させるプログラムを記録した媒体ならびに赤外線カメラ
JP2000152264A (ja) * 1998-11-18 2000-05-30 Sony Corp 画像処理装置及び画像処理方法
JP2000278529A (ja) * 1999-03-26 2000-10-06 Noritsu Koki Co Ltd 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
JP2001008087A (ja) * 1999-06-18 2001-01-12 Olympus Optical Co Ltd 電子スチルカメラ
JP2002171411A (ja) * 2000-11-30 2002-06-14 Canon Inc 画像処理方法、画像処理装置および記録媒体
JP2003046848A (ja) * 2001-07-27 2003-02-14 Olympus Optical Co Ltd 撮像システムおよび撮像プログラム
JP2003324656A (ja) * 2002-05-08 2003-11-14 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136113A (ja) * 2006-11-29 2008-06-12 Sanyo Electric Co Ltd 画像処理装置、撮像装置及び画像処理方法
US8085316B2 (en) 2008-08-07 2011-12-27 Hoya Corporation Image-processing unit, imaging apparatus, and computer program product
EP2151991A2 (en) 2008-08-07 2010-02-10 HOYA Corporation Image-processing unit, imaging apparatus, and computer program product
JP2010050798A (ja) * 2008-08-22 2010-03-04 Sanyo Electric Co Ltd 電子カメラ
JP2010081025A (ja) * 2008-09-24 2010-04-08 Fujifilm Corp 撮影装置
JP2010193098A (ja) * 2009-02-17 2010-09-02 Canon Inc 撮像装置及び画像処理方法
JP2011015380A (ja) * 2009-06-03 2011-01-20 Sony Corp 撮像装置および撮像制御方法
CN102790861A (zh) * 2009-06-03 2012-11-21 索尼公司 成像设备和成像控制方法
US8554010B2 (en) 2009-07-15 2013-10-08 Canon Kabushiki Kaisha Image processing apparatus combining plural sets of image data and method for controlling the same
JP2011023985A (ja) * 2009-07-15 2011-02-03 Canon Inc 画像処理装置およびその制御方法
US8300141B2 (en) 2009-09-17 2012-10-30 Sharp Kabushiki Kaisha Portable terminal apparatus, image output apparatus, method of controlling portable terminal apparatus, and recording medium
JP2011129993A (ja) * 2009-12-15 2011-06-30 Canon Inc 撮像装置及びその制御方法
US9148578B2 (en) 2011-11-11 2015-09-29 Canon Kabushiki Kaisha Image capture apparatus, control method thereof, and recording medium
CN103686101A (zh) * 2012-09-03 2014-03-26 株式会社东芝 图像处理装置、图像处理方法及固体拍摄装置
JP2014050042A (ja) * 2012-09-03 2014-03-17 Toshiba Corp 画像処理装置及び固体撮像装置
US9336619B2 (en) 2012-09-25 2016-05-10 Samsung Electronics Co., Ltd. Method and apparatus for generating photograph image
JP2014123915A (ja) * 2012-12-21 2014-07-03 Canon Inc 撮像装置及びその制御方法、プログラム、並びに記憶媒体
US9148561B2 (en) 2012-12-21 2015-09-29 Canon Kabushiki Kaisha Image capturing apparatus, executable autoexposure bracketing and control method thereof
JP2014123914A (ja) * 2012-12-21 2014-07-03 Canon Inc 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP2014165865A (ja) * 2013-02-27 2014-09-08 Canon Inc 画像処理装置及び画像処理方法、プログラム並びに記憶媒体
JP2013176119A (ja) * 2013-04-12 2013-09-05 Canon Inc 撮像装置及び画像処理方法
KR101617553B1 (ko) 2014-12-29 2016-05-03 재단법인 다차원 스마트 아이티 융합시스템 연구단 노이즈 인식 선형 모델을 사용한 최소 촬영 자동 노출 방법 및 장치
WO2016113961A1 (ja) * 2015-01-16 2016-07-21 三菱電機株式会社 画像処理装置及び方法、並びにプログラム及び記録媒体
JPWO2016113961A1 (ja) * 2015-01-16 2017-08-03 三菱電機株式会社 画像処理装置及び方法、並びにプログラム及び記録媒体
GB2549642A (en) * 2015-01-16 2017-10-25 Mitsubishi Electric Corp Image processing device and method, program, and recording medium
US10015410B2 (en) 2015-01-16 2018-07-03 Mitsubishi Electric Corporation Image processing device and method, program, and record medium for generating wide dynamic range images
US10171743B2 (en) 2015-12-24 2019-01-01 Canon Kabushiki Kaisha Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium for improving quality of captured image

Similar Documents

Publication Publication Date Title
US7349119B2 (en) Image storage and control device for camera to generate synthesized image with wide dynamic range
US6486915B2 (en) Determining a final exposure setting automatically for a solid state camera without a separate light metering circuit
JP5148989B2 (ja) 撮像装置
JP3762725B2 (ja) 撮像システムおよび画像処理プログラム
US7583297B2 (en) Image processing method, image processing apparatus, and computer program used therewith
US7460168B2 (en) Image processing apparatus for generating a wide dynamic range image
US20020122133A1 (en) Digital camera and image processing system
US7742637B2 (en) Apparatus, method, and program for taking an image, and apparatus, method, and program for processing an image
JP5136664B2 (ja) 画像処理装置、及びプログラム
JP4293174B2 (ja) 撮像装置および画像処理装置
US20100302405A1 (en) Image sensing apparatus and image processing method
US8106965B2 (en) Image capturing device which corrects a target luminance, based on which an exposure condition is determined
JP4163353B2 (ja) 画像処理装置
JP4210021B2 (ja) 画像信号処理装置および画像信号処理方法
JP4289259B2 (ja) 撮像装置及び露出制御方法
US20120177352A1 (en) Combined ambient and flash exposure for improved image quality
EP2018048A1 (en) Imaging device
CN101600056B (zh) 图像拾取设备和图像拾取方法
US7548689B2 (en) Image processing method
US6583820B1 (en) Controlling method and apparatus for an electronic camera
JP2007124604A (ja) 画像処理装置およびその処理方法
JPH06253147A (ja) フィルム画像再生装置
US8786764B2 (en) Imaging apparatus, imaging method, and non-transitory storage medium which perform backlight correction
JP4424292B2 (ja) 撮像装置、露出制御方法およびプログラム
CN101305397A (zh) 基于多个图像帧形成图像的方法,图像处理系统和数字照相机

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110705

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111108