JP2013009316A - 露出制御を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】白とびや黒つぶれを検出するだけでなく、白とび又は黒つぶれ領域の撮像画像上での分布に応じた露出値制御をより有効に実現可能とする。
【解決手段】撮像部からの撮像画像信号に基づいて、画面全体頻度分布検出手段１０３が画面全体の明るさ頻度分布を検出する。画面全体頻度分布露出制御値算出手段１０４は、画面全体の明るさ頻度分布から画面全体頻度分布露出制御値を算出する。小領域明るさ検出手段１０５は、小領域を代表する明るさを検出する。小領域明るさ露出制御値算出手段１０６は、小領域ごとの明るさから小領域明るさ露出制御値を算出する。露出補正値算出手段１０７は、画面全体頻度分布露出制御値と小領域明るさ露出制御値に基づいて、露出補正値を算出する。露出値算出手段１０８が、露出補正値と撮像画像信号の露出値を用いて算出した露出値により、露出制御手段１０９は、露出制御を行う。
【選択図】図１

Description

本発明は、被写体の明るさに応じて露出を制御して、撮像を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体に関する。

一般に、ＣＣＤ又はＣＭＯＳ等の固体撮像素子を用いた撮像装置では、撮像素子の露光量を、絞りやシャッタースピードによって調整することで撮像素子の露光量を制御している。例えば、撮像装置で明るいシーンを撮影する時には、シャッタースピードを速くすることにより、撮像画像に記録される被写体の明るさを適正な明るさに調整することができる。また、逆に撮像装置で暗いシーンを撮影する場合には、シャッタースピードを遅くすることにより、撮像画像に記録される被写体の明るさを適正な明るさに調整することができる。つまり、撮像装置では、露光量を制御することによって白とびや黒つぶれを抑制することができる。

従来の撮像装置では、白とびや黒つぶれを撮像画像信号の画面全体の明るさ頻度分布から検出し、それに応じて露光量の制御を行うことにより、白とびや黒つぶれを抑制する方法が提案されている（例えば、特許第４３０６７５０号参照）。

特許第４３０６７５０号

しかしながら、上述のような従来の撮像装置では、白とびや黒つぶれを検出することが可能であっても、白とびや黒つぶれ領域が撮像画像では分散しているのか、集中しているのかを判別することが難しい。

この理由について、図１０（ａ）〜（ｄ）を参照して説明する。図１０（ａ）は、空の部分が集中して白とびしている撮像画像を示す図である。また、図１０（ｂ）は、点光源が複数存在し、前記点光源の部分が白とびしているため、白とびしている領域が分散している撮像画像を示す図である。図１０（ｃ）は、図１０（ａ）の撮像画像の輝度頻度分布（ヒストグラム）を示す図である。図１０（ｄ）は、図１０（ｂ）の撮像画像の輝度頻度分布を示す図である。

図１０（ａ）は、白とびしている領域が集中しており、図１０（ｂ）は、白とびしている領域が分散している。しかし、図１０（ｃ）と図１０（ｄ）を見ると、頻度分布の形状は、白とび領域の面積が等しいため、どちらも同じ形状をしている。

図１０（ａ）の場合には、白とびしている領域が集中しているため、見た目に目立つ白とびになっている。また、白とびしている領域では、実際に階調がつぶれている可能性があるため、露光量を少なくするように露出制御を行うことで、空の階調を再現することができる可能性がある。

それに対して、図１０（ｂ）の場合には、白とびしている領域が分散しているため、視覚的にあまり目立たない。そのため、露光量を下げると、ノイズが撮像画像中に目立ってくるため、露光量を少なくするように露出制御すべきではない。つまり、視覚的に目立つ白とびだけをターゲットとして露出を制御することが望ましい。

しかしながら、従来の撮像装置には、図１０（ａ）と図１０（ｂ）の２シーンを判別し、異なる露出制御を行えるものが無かった。

本発明の目的は、白とびや黒つぶれを検出するだけでなく、白とび又は黒つぶれ領域の撮像画像上での分布に応じた露出値制御を有効に実現できる撮像装置、撮像装置の制御方法、プログラム及び記録媒体を提供することにある。

上記目的を達成するために、本発明の撮像装置は、被写体光を撮像して画像信号を出力する撮像部を備えた撮像装置において、前記画像信号に基づいて、画面全体の明るさ頻度分布を検出する第１の明るさ検出手段と、前記画面全体の明るさ頻度分布から第１の露出制御値を算出する第１の露出制御値算出手段と、前記画像信号を複数の小領域に分割し、当該小領域の明るさを検出する第２の明るさ検出手段と、前記第２の明るさ検出手段で検出した前記小領域ごとの明るさから第２の露出制御値を算出する第２の露出制御値算出手段と、前記第１の露出制御値と前記第２の露出制御値に基づいて、露出補正値を算出する露出補正値算出手段と、前記露出補正値と前記画像信号の露出値を用いて、露出値を算出する露出値算出手段と、前記露出値算出手段で算出された露出値に基づいて前記撮像部の露出制御を行う露出制御手段と、を有することを特徴とする。

上記目的を達成するために、本発明の撮像装置の制御方法は、被写体光を撮像して画像信号を出力する撮像部を備えた撮像装置の制御方法であって、前記画像信号に基づいて、画面全体の明るさ頻度分布を検出する第１の明るさ検出ステップと、前記画面全体の明るさ頻度分布から第１の露出制御値を算出する第１の露出制御値算出ステップと、前記画像信号を複数の小領域に分割し、当該小領域の明るさを検出する第２の明るさ検出ステップと、前記第２の明るさ検出ステップで検出した前記小領域ごとの明るさから第２の露出制御値を算出する第２の露出制御値算出ステップと、前記第１の露出制御値と前記第２の露出制御値に基づいて、露出補正値を算出する露出補正値算出ステップと、前記露出補正値と前記画像信号の露出値を用いて、露出値を算出する露出値算出ステップと、前記露出値算出ステップで算出された露出値に基づいて前記撮像部の露出制御を行う露出制御ステップと、を有することを特徴とする。

本発明によれば、撮像装置で、白とびや黒つぶれを検出し、白とび又は黒つぶれ領域の撮像画像上での分布に応じた露出値制御を実現できるという効果がある。

本発明の第１実施の形態に係る撮像装置の要部の概略ブロック図である。 本発明の第１実施の形態に係る撮像装置における撮像部の概略ブロック図である。 （ａ）（ｂ）（ｃ）（ｄ）は、第１実施の形態に係る撮像装置における小領域明るさ検出部の機能を説明するための説明図である。 （ａ）は、第１実施の形態に係る撮像装置における画面全体頻度露出制御値算出部での黒つぶれ時の算出処理のフローチャートである。（ｂ）は、画面全体頻度露出制御値算出部での白つぶれ時の算出処理のフローチャートである。 （ａ）（ｂ）は、第１実施の形態に係る撮像装置における小領域明るさ検出部と小領域明るさ露出制御値算出部との動作を説明するための説明図である。 第１実施の形態に係る撮像装置における露出制御値決定処理のフローチャートである。 本発明の第２実施の形態に係る撮像装置における撮像部の概略ブロック図である。 第２実施の形態に係る撮像装置における信号合成部の概略ブロック図である。 第２実施の形態に係る撮像装置における露出制御値決定処理のフローチャートである。 （ａ）（ｂ）（ｃ）（ｄ）は、従来の問題点を説明するための説明図である。 第２実施の形態に係る撮像装置における制御補正量の求め方を例示する説明図である。 第２実施の形態に係る撮像装置における連続ブロック数による制御補正量の求め方を例示する説明図である。

（第１実施の形態）
まず、本発明の第１実施の形態に係る撮像装置について図１乃至図６を参照しながら説明する。本第１実施の形態に係る撮像装置は、撮像画像信号の画面全体頻度分布と、撮像画像信号の画面を小領域に分割されたものの小領域明るさと、に応じて白とび又は黒つぶれを防ぐように露出制御を行うように構成されている。

図１は、本実施の形態に係る撮像装置の要部の概略ブロック図である。１０１は、露出制御部１０９から渡される露出制御値に基づいて被写体光を撮像し、撮像画像信号を出力する撮像部である。また、１０２は、上述の撮像部１０１から出力される撮像画像信号を出力映像信号に変換を行う映像信号処理部である。１０３は、上述の撮像画像信号から画面全体の明るさの頻度分布を検出する画面全体頻度分布検出部である。１０４は、上述の画面全体頻度分布検出部１０３で検出される、撮像画像信号の画面全体頻度分布に応じて、画面全体頻度分布露出制御値を算出する画面全体頻度分布露出制御値算出部である。１０５は、上述の撮像画像信号による画面全体を複数の小領域に分割し、小領域を代表する明るさを検出する小領域明るさ検出部である。

１０６は、上述の小領域明るさ検出部１０５で検出する、撮像画像信号の小領域明るさに応じて、小領域明るさ露出制御値を算出する小領域明るさ露出制御値算出部である。１０７は、上述の画面全体頻度分布露出制御値と小領域明るさ露出制御値に基づいて露出補正値を算出する露出補正値算出部（露出補正値算出ユニット）である。１０８は、上述の露出補正値算出部１０７で算出する露出補正値と、撮像画像信号の現フレームの露出値に基づいて、次のフレーム撮像時の露出値を算出する露出値算出部（露出値算出ユニット）である。露出制御部１０９（露出制御ユニット）は、上述の露出値算出部１０８で算出する次のフレーム撮像時の露出値を、絞り制御値とシャッタースピード制御値に変換した撮像部１０１の制御値を、撮像部１０１に出力する。

次に、前述した撮像部１０１、画面全体頻度分布検出部１０３、画面全体頻度分布露出制御値算出部１０４、小領域明るさ検出部１０５及び小領域明るさ露出制御値算出部１０６について説明する。

図２に示すように、撮像部１０１は、撮像光学部２０１、絞り２０２、撮像素子部２０３、Ａ／Ｄ変換部２０４、光学系駆動部２０５、タイミング制御部２０６を備える。このように構成された撮像部１０１は、被写体光を撮像し、撮像画像信号を出力する。

この撮像部１０１では、撮影の際に光学系駆動部２０５に駆動された撮像光学部２０１が、絞り２０２の面積を制御し、被写体光を撮像素子部２０３に導く。すると撮像素子部２０３は、ＣＣＤやＣＭＯＳ等を使って被写体を撮像し、得られた被写体像を電気信号に変換してＡ／Ｄ変換部２０４へ出力する。この撮影の際にタイミング制御部２０６は、シャッタースピード制御値を撮像素子部２０３へ出力して、被写体光の露光時間を制御する。また、撮像素子部２０３から電気信号を受信したＡ／Ｄ変換部２０４は、アナログ信号をディジタル信号に変換する。

次に、本実施の形態に係る撮像装置における画面全体頻度分布検出部１０３について説明する。この画面全体頻度分布検出部１０３では、撮像画像信号の明るさ情報として、撮像画像信号の輝度値を用いる。画面全体頻度分布検出部１０３は、撮像画像信号の画面全体頻度分布として輝度値の上限又は下限から指定する輝度値までの撮像画像信号の画素をカウントした累積値を検出し、画面全体頻度分布露出制御値算出部１０４に出力する。

画面全体頻度分布検出部１０３では、図３（ａ）に例示するように、指定輝度値Ａ１を撮像画像信号が扱うことができる輝度レンジの上限輝度値の例えば１％の輝度値とし、指定輝度値である図３（ｂ）のＡ２を輝度レンジの上限輝度値の例えば１０％とする。さらに、この画面全体頻度分布検出部１０３では、指定輝度値である図３（ｃ）のＡ３を、輝度レンジの上限輝度値の例えば９９％とし、指定輝度値である図３（ｄ）のＡ４を、輝度レンジの上限輝度値の例えば９０％とする。

そして、この画面全体頻度分布検出部１０３では、撮像画像信号の画面全体の画素明るさ集中度合いを検出することにより撮像画像信号の画面全体頻度分布を検出する。この画面全体輝度分布検出部１０３は、指定した下限輝度値から２つの異なった、図３（ａ）に示す指定輝度値Ａ１までのカウント値であるＸ１と、指定輝度値図３（ｂ）に示すＡ２までのカウント値であるＸ２を検出する。また、この画面全体頻度分布検出部１０３は、指定した上限輝度値から２つの異なった、図３（ｃ）に示す指定輝度値Ａ３までのカウント値であるＸ３と、図３（ｄ）に示す指定輝度値Ａ４までのカウント値であるＸ４とを検出する。

本実施形態では、予めユーザが黒つぶれ、あるいは白とびのどちらを少なくする画像が欲しいかに応じて、黒つぶれを減少させる露出制御と白とびを減少させる露出制御を選択させる。ユーザの選択（不図示のインターフェースからの指示）に応じて画面全体頻度分布検出部１０３は、後述する黒つぶれ時の画面全体頻度分布露出制御値の算出処理と白とび時の画面全体頻度分布露出制御値の算出処理とを切り換える。また、初めに上述したＸ１〜Ｘ４を検出し、Ｘ１とＸ３の大小関係、あるいはＸ２とＸ４の大小関係によって自動的に黒つぶれ、白とびの何れを減少させる画面全体頻度分布露出制御値の算出処理にするかを切り換えても良い。例えば、Ｘ１＞Ｘ３であれば黒つぶれ時の画面全体頻度分布露出制御値の算出処理を行う。

なおここで、撮像画像信号の画素明るさとしては、撮像画像信号の色信号に変換する前の画素値又は色信号に変換した後のＲ、Ｇ、Ｂの各成分いずれかの画素値を用いても良い。またカウント値については、必ずしも１画素単位での精度のカウントは必要ではない。例えばカウント値は、撮像画像信号の全画素数に占める１パーセントの画素数をカウント値１とすることも可能である。このときの画素のカウント値は、撮像画像信号における画素の割合として表すこともできる。

黒つぶれ時の画面全体頻度分布露出制御値の算出について説明する。画面全体頻度分布露出制御値算出部（以下「制御値算出部」と称する）１０４は、図３（ａ）のカウント値Ｘ１と図３（ｃ）のカウント値Ｘ３とを比べ、図３（ａ）のカウント値Ｘ１が大きい場合に撮像画像信号中に黒つぶれの占める割合が多いことを検出する。すなわち、制御値算出部１０４（以下処理済み）は、黒つぶれを改善する画面全体頻度分布露出制御値の算出を行う。

図４（ａ）を参照して黒つぶれ時の画面全体頻度分布露出制御値の算出処理を説明する。この黒つぶれ時の画面全体頻度分布露出制御値の算出処理は、制御値算出部１０４によって、撮像装置で撮影を行う際に開始され、黒つぶれを検出するための判定を実行する。制御値算出部１０４は、図３（ａ）に示すように、例えば、撮像画像信号の画素カウント値Ｘ１が全カウント値の１％以上の場合に黒つぶれと判別（ステップＳ４０１ａでＹＥＳ）する。そして、黒つぶれと判別した場合に、制御値算出部１０４は、ステップＳ４０２ａに移る。また、制御値算出部１０４は、例えば、撮像画像信号の画素カウント値Ｘ１が全カウント値の１％未満の場合に、黒つぶれ無しと判別し（ステップＳ４０１ａでＮＯ）、ステップＳ４０３ａに進む。

次に、ステップＳ４０２ａでは、制御値算出部１０４が、画面全体頻度分布露出制御値Ｅｈに値Ｃａを設定して本処理を終了する。この画面全体頻度分布露出制御値Ｅｈの値Ｃａは、図３（ａ）に示すカウント値Ｘ１が全画素カウント値の１％未満になるような値である。

次に、制御値算出部１０４は、黒つぶれが無いと判定してステップＳ４０３ａに進んだ場合に、黒浮きが起こらない適切な露出値かどうかを判定する。このとき、制御値算出部１０４は、図３（ａ）のカウント値Ｘ１と図３（ｂ）のカウント値Ｘ２を用いて、（Ｘ２−Ｘ１）が全カウント値の１０％以上か否かを判定することにより、黒浮きが起こらない適切な露出値か否かを判定する。

ここで黒浮きの画像とは、画像の輝度値の頻度分布を解析したときに暗部に画素が殆ど存在しないような画像である。黒浮きの画像では、暗部が持ち上がってしまいコントラストが低い画像になってしまう場合があるので、黒浮きが起こらない露出値の判定を行う。

この制御値算出部１０４は、上述した（Ｘ２−Ｘ１）が１０％以上のカウント値を持つと判定した場合、即ち黒浮きが起こらない適切な露出値であると判定した場合に、ステップＳ４０４ａへ進む。また、制御値算出部１０４は、１０％以内のカウント値を持つと判定した場合、即ち黒浮きが起こっている可能性のある露出値であると判定した場合に、ステップＳ４０５ａへ進む。

この制御値算出部１０４は、ステップＳ４０４ａへ進んだ場合に、黒つぶれが検出されなく、かつ黒浮きが起こらない適切な露出値である場合なので、画面全体頻度分布露出制御値Ｅｈを０に設定する。そして、制御値算出部１０４は、本処理を終了する。

また、制御値算出部１０４は、ステップＳ４０５ａへ進んだ場合に、黒浮きが減少するように画面全体頻度分布露出制御値Ｅｈに値Ｄａに設定して本処理を終了する。なお、制御値算出部１０４は、画面全体頻度分布露出制御値ＣａとＤａとをあらかじめ適切に設定された固定値として不図示の記憶部に格納しているものとする。例えば、制御値算出部１０４は、ステップＳ４０２ａのステップの場合に正の値、ステップＳ４０５ａの場合に負の値を設定しても良い。なお、画面全体頻度分布露出制御値ＣａとＤａとは、Ｃａが正、Ｄａが負の符号であれば、絶対値が等しい値であっても、異なる値であっても良い。

次に、白飛び時の画面全体頻度分布露出制御値の算出処理について図４（ｂ）を参照して説明する。制御値算出部１０４は、図３（ａ）のカウント値Ｘ１と図３（ｃ）のカウント値Ｘ３とを比べ、図３（ｃ）のカウント値Ｘ３の値が大きい場合に、撮像画像信号中に白とびの占める割合が多いことを検出する。すなわち、白とびを改善するために白飛び時の画面全体頻度分布露出制御値の算出処理を行う。

この白飛び時の画面全体頻度分布露出制御値の算出処理は、撮像装置で撮影を行う際に開始され、制御値算出部１０４が白とびを検出するための判定を実行する。

制御値算出部１０４は、図３（ｃ）に示すように、例えば、カウント値Ｘ３が、撮像画像信号の全画素カウント値の１％以上のカウント値を持つ場合に白とびと判別する（ステップＳ４０１ｂでＹＥＳ）。そして、制御値算出部１０４は、白とびと判定した場合に、ステップＳ４０２ｂへ進む。また、制御値算出部１０４は、カウント値Ｘ３が、撮像画像信号の全画素カウント値の１％未満のときに白とび無しと判別して（ステップＳ４０１ｂでＮＯ）、ステップＳ４０３ｂへ進む。

次に、白とびと判定された場合のステップＳ４０２ｂでは、制御値算出部１０４が、画面全体頻度分布露出制御値Ｅｈとして値Ｃｂを設定して本処理を終了する。この画面全体頻度分布露出制御値Ｅｈの値Ｃｂは、制御値算出部１０４は、図３（ｄ）のカウント値Ｘ４が全画素カウント値の１％未満になるような値である。

次に、制御値算出部１０４は、白とびが無いと判定してステップＳ４０３ｂに進んだ場合に、白さがりが起こらない適切な露出値かどうか判定する。このとき、制御値算出部１０４は、図３（ｃ）のカウント値Ｘ３と図３（ｄ）のカウント値Ｘ４を用いて、（Ｘ４−Ｘ３）が全カウント値の１０％以上かを判定することにより、白さがりが起こらない適切な露出値か否かを判定する。

ここで、白さがりの画像とは、画像の輝度値の頻度分布を解析すると明部に画素が殆ど存在しないような画像である。白さがりの画像では、全体的に暗い画像になってしまう場合があるため、白さがりが起こらない露出値か否かを判定する必要がある。

制御値算出部１０４は、上述した（Ｘ４−Ｘ３）が全カウント値の１０％以上と判定した場合、即ち白さがりが起こらない適切な露出値であると判定した場合に、ステップＳ４０４ｂへ進む。また、制御値算出部１０４は、全カウント値の１０％以内と判定した場合、即ち白さがりが起こる可能性のある露出値であると判定した場合に、ステップＳ４０５ｂへ進む。

この制御値算出部１０４は、ステップＳ４０４ｂへ進んだ場合に、白とびが検出されなく、かつ白さがりが起こらない適切な露出値である場合なので、画面全体頻度分布露出制御値Ｅｈを０とする。そして、制御値算出部１０４は、この場合に露出の制御を行わず、本処理を終了する。

また、制御値算出部１０４は、ステップＳ４０５ｂへ進んだ場合に、白下がりが解消されるように画面全体頻度分布露出制御値Ｅｈを値Ｄｂに設定する。なお、制御値算出部１０４は、画面全体頻度分布露出制御値ＣｂとＤｂとを固定値として設定する。例えば、制御値算出部１０４は、ステップＳ４０２ｂの場合に正の値、ステップＳ４０５ｂの場合に負の値を設定しても良い。この後、制御値算出部１０４は、本処理を終了する。なお、画面全体頻度分布露出制御値ＣｂとＤｂとは、Ｃｂが負、Ｄｂが正の符号であれば、絶対値が等しい値であっても、異なる値であっても良い。

次に、本実施の形態に係る撮像装置に設けられた小領域明るさ検出部について、図５（ａ）を参照して説明する。小領域明るさ検出部１０５及び小領域明るさ露出制御値算出部１０６による露出制御値の算出は、図４（ａ）、図４（ｂ）のステップＳ４０１ａ、ステップＳ４０１ｂにおいてＸ１が１％以上、あるいはＸ３が１％以上でＹＥＳである場合に行われる。小領域明るさ検出は、画面全体で黒つぶれあるいは白とびが起こっている状態で、さらに画面全体における黒つぶれあるいは白とびの分散の程度を検出するためである。

小領域明るさ検出部１０５では、撮像画像信号の画面全体を小領域ブロックに分割し、小領域の明るさを検出する。各々の小領域ブロックは、それぞれが小領域ブロックの位置を表すアドレス情報を持つ。例えば、図５（ａ）に示す小領域ブロックでは、均等に縦横を７×７の小領域ブロックに分割されている。この小領域明るさ検出部１０５では、小領域の明るさとしての小領域ブロック内の平均輝度値を、小領域明るさ露出制御値算出部１０６に出力する。

なお、小領域ブロックは、上述の構成に限ったものではなく、ブロックの大きさを縦と横で違うサイズに構成しても良いし、小領域に分割したブロックのサイズを全て均等なサイズにせず、異なる大きさのブロックにしても良い。この小領域明るさ検出部１０５は、小領域ブロックに対して各画素の輝度値に対してメディアンフィルタ処理を行い、メディアンフィルタ処理の結果を小領域ブロックの小領域明るさとしても良い。この小領域明るさ検出部１０５は、小領域ブロック内の撮像画像信号の輝度値頻度分布に応じた値を有する信号強度積算値を小領域ブロックの小領域明るさとして算出してもよい。あるいは、この小領域明るさ検出部１０５では、所定値以上（設定された閾値以上）の輝度の画素数を小領域ブロックの小領域明るさとしても良い。さらにまた、所定値以下（設定された閾値以下）の輝度の画素数を小領域ブロックの小領域明るさとしても良い。

次に、撮像装置の小領域明るさ露出制御値算出部１０６について、図５（ｂ）を参照して説明する。

小領域明るさ露出制御値算出部１０６は、設定された閾値である所定値以下又は所定値以上の小領域明るさを持つ小領域ブロックを検出し、小領域露出制御値を算出する。例えば、小領域明るさ露出制御値算出部１０６は、小領域明るさ露出制御値を、小領域明るさ露出制御を行うかどうかの２値で表す。即ち、小領域明るさ露出制御値は、後述の露出補正値Ｅｒ算出に用いられる乗算値Ｅａであり、その値を０又は１に設定することにより、小領域明るさ露出制御の実行又は不実行が設定されることになる。

この小領域明るさ露出制御値算出部１０６は、例えば、白とびを改善する小領域明るさ露出制御値を算出する場合に、輝度値２００以上の小領域のブロックを検出する。この小領域明るさ露出制御値算出部１０６は、輝度値２００以上の小領域のブロックが検出された場合に、白とびしている領域が撮像画像信号中の小領域のブロックにまとまっていると判断する。この場合、小領域明るさ露出制御値算出部１０６は、撮像画像信号が撮像された際の露出値を低く制御する必要がある。すなわち、小領域明るさ露出制御値算出部１０６は、小領域明るさ露出制御値を１とする。

逆に、小領域明るさ露出制御値算出部１０６は、輝度値２００以上の小領域のブロックが検出されない場合に、撮像画像信号中に小領域のブロック内で白とび領域があっても、白とびしている領域が分散していると判断する。この場合に小領域明るさ露出制御値算出部１０６は、小領域明るさ露出制御を行う必要がないと判断する。そして小領域明るさ露出制御値算出部１０６は、小領域明るさ露出制御値を０とする。

小領域明るさ露出制御値算出部１０６は、黒つぶれを改善する小領域明るさ露出制御値を算出する場合に、例えば、輝度値５０以下の小領域ブロックを検出する。また、小領域明るさ露出制御値算出部１０６は、輝度値５０以下の小領域ブロックが検出された場合に、黒つぶれしている領域が撮像画像信号中の小領域ブロックにまとまっていると判断する。この場合に小領域明るさ露出制御値算出部１０６は、撮像画像信号が撮像された際の露出値を低く制御する必要があると判断する。そして、小領域明るさ露出制御値算出部１０６は、小領域明るさ露出制御値を１とする。

逆に、小領域明るさ露出制御値算出部１０６は、輝度値５０以下の小領域ブロックが検出されない場合に、黒つぶれしている領域が分散していると判断する。この場合、小領域明るさ露出制御値算出部１０６は、小領域のブロック内が黒つぶれしていないか又は黒つぶれしている領域が分散していると判断するので、小領域明るさ露出制御を行う必要がないと判定する。そして小領域明るさ露出制御値算出部１０６は、小領域明るさ露出制御値を０とする。

また、小領域明るさ露出制御値算出部１０６は、輝度値が所定値以上又は所定値以下である検出された小領域ブロック間の連続性（小領域ブロックが連続している範囲）を検出し、それに応じて小領域明るさ露出制御値を算出しても良い。この場合に小領域明るさ露出制御値算出部１０６は、検出された小領域ブロックの範囲を検出する所定領域範囲検出ユニットを構成することになる。例えば、小領域明るさ露出制御値算出部１０６は、３ブロック（連続性の閾値）以上である小領域ブロックの連続性が検出されない場合に、小領域明るさ露出制御値を０にする。また、小領域明るさ露出制御値算出部１０６は、小領域ブロックが３ブロック（連続性の閾値）以上の連続性を検出した場合に、小領域明るさ露出制御値を１とする。

小領域明るさ露出制御値算出部１０６は、小領域のブロックのサイズによって、小領域ブロックの連続性を検出し小領域明るさ露出制御値を算出するか、連続性を検出せず小領域明るさ露出制御値を算出するか、を選択しても良い。例えば、小領域明るさ露出制御値算出部１０６は、小領域のブロックのサイズが指定サイズよりも小さい場合に、小領域ブロックの連続性を検出する。逆に小領域明るさ露出制御値算出部１０６は、小領域のブロックのサイズが指定サイズよりも大きい場合に、小領域ブロックの連続性を検出せず、小領域明るさ露出制御値を算出する。

また、小領域明るさ露出制御値算出部１０６は、小領域明るさ露出制御値を０又は１の２値で設定する以外の方法を行っても良い。例えば、小領域明るさ露出制御値算出部１０６は、輝度値が所定値以上又は所定値以下であると検出された小領域ブロックの連続ブロック数（以下「連続ブロック数」と称する）に応じて、小領域明るさ露出制御値を算出してもよい。例えば、小領域明るさ露出制御値算出部１０６は、連続ブロック数が５ブロック以上のときに所定値を小領域明るさ露出制御値とし、連続ブロック数が１ブロック以上５ブロック未満の時には所定値の５０％を小領域明るさ露出制御値とする。

ここで、黒つぶれを改善する小領域明るさ露出制御値は、符号を正にする。また、白とびを改善する小領域明るさ露出制御値は、符号を負にする。さらに、連続ブロック数が０の場合には、小領域明るさ露出制御値を０とする。

次に、上述した第１実施の形態の撮像装置における画面全体の露出値決定処理（以下処理済み）を、図６を参照して説明する。

この撮像装置では、使用者が撮像のため露出を決める操作を行うと、撮像装置における画面全体の露出制御値決定処理の動作が開始する。そして、この撮像装置では、制御値算出部１０４が、図４（ａ）図４（ｂ）で示したように、撮像部１０１から出力される撮像画像信号から画面全体頻度分布露出制御値Ｅｈを算出する（ステップＳ６０１）。次に、図４（ａ）、図４（ｂ）で示したステップＳ４０１ａ、ステップＳ４０１ｂにおける判定結果がＹＥＳかＮＯかで次のステップを切り換える（ステップＳ６０２）。すなわち、ステップＳ４０１ａ、あるいはステップＳ４０１ｂでＹＥＳであった場合にはステップＳ６０３に進み、ステップＳ４０１ａ、あるいはステップＳ４０１ｂでＮＯであった場合にはステップＳ６０５に進みＥａの算出は行わない。ステップＳ６０３では、小領域明るさ露出制御値算出部１０６が、図５（ａ）、図５（ｂ）で示したように、小領域明るさ露出制御値Ｅａを算出する。

次に、露出補正値算出部１０７は、画面全体頻度分布露出制御値Ｅｈを小領域明るさ露出制御値算出部１０６から算出される小領域明るさ露出制御値Ｅａによって補正して、露出補正値Ｅｒを算出する（ステップＳ６０４）。

露出補正値算出部１０７（露出補正値算出ユニット）は、小領域明るさ露出制御値Ｅａが０のとき、画面内に固まって明るい個所が少ないということで露出補正値Ｅｒを０にする。逆に、露出補正値算出部１０７（露出補正値算出ユニット）は、小領域明るさ露出制御値Ｅａが１のとき、画面全体頻度分布露出制御値Ｅｈを露出補正値Ｅｒにする。すなわち、Ｅｒ＝Ｅｈ＊Ｅａとする。

ここで、露出補正値算出部１０７は、小領域明るさ露出制御値Ｅａが０の場合は、画面全体頻度分布露出制御値Ｅｈの一部の値を露出補正値Ｅｒにすることを行っても良い。すなわち、例えばＥｒ＝α＊Ｅｈ＋（１−α）Ｅａ＊Ｅｈ，０＜α＜１とすると、Ｅａが０のときＥｒはα＊Ｅｈ、Ｅａが１のときＥｒはＥｈとなる。これにより、画面全体では黒つぶれあるいは白とびの割合が大きくても、固まって明るい個所あるいは暗い個所が少ない場合には補正を弱めることができる。

ステップＳ６０５では、画面全体において黒つぶれあるいは白とびの少ない画像であると判定されているので、Ｅａの算出は行わず、画面全体頻度分布露出制御値Ｅｈを露出補正値Ｅｒにする。

次に、露出値算出部１０８（露出値算出ユニット）は、撮像画像信号の露出値Ｅｔに、ステップＳ６０４又はステップＳ６０５で算出される露出補正値Ｅｒを加える処理をする（ステップＳ６０６）。次に、露出制御部１０９（露出制御ユニット）は、露出値算出部１０８（露出値算出ユニット）で算出された露出値Ｅｔを撮像部１０１に設定すると、撮像部１０１が、画像を撮像する（ステップＳ６０７）。

次に、露出制御部１０９は、所定の動作で露出値が確定されたか否かを判別し（ステップＳ６０８）、所定の動作で露出値が確定されたと判断した場合（ステップＳ６０８でＹＥＳ）に、本処理を終了する。本実施形態では、露出補正値Ｅｒが所定回数ゼロであったときに、露出補正値が収束したと判断して露出値が確定されたと判定する。また、露出制御部１０９は、露出値が確定されなかったと判断した場合（ステップＳ６０８でＮＯ）に、ステップＳ６０１へ戻り、ステップＳ６０１〜ステップＳ６０７を繰り返す。具体的に説明すると、静止画撮影においては、フォーカスがロックされたときに、露出値が確定する場合もある。また、静止画撮影においては、指定回数のループ処理が終われば、処理が終了するようにしても良い。

一方、動画撮影の場合には、常時、図６に示すステップＳ６０１〜ステップＳ６０７の処理が行われているので、撮影ボタンが押された場合に処理を終了する。

以上のように、本実施形態では、画面全体頻度分布から得られる露出制御値と画面内を小領域に分けたときの小領域における明るさから得られる小領域明るさ露出制御値に基づいて露出制御を行う。これにより、白とびや黒つぶれを検出するだけでなく、白とび又は黒つぶれ領域の撮像画像上での分布に応じた露出値制御を有効に実現できる。

また、露出補正値算出部１０７は、小領域明るさ露出制御値算出部１０６から算出される小領域明るさ露出制御値Ｅａを、画面全体頻度分布露出制御値Ｅｈによって補正する処理を行っても良い。なお、この場合、画面全体頻度分布露出制御値Ｅｈは、前述のように、制御値算出部１０４によって算出され、例えば、小領域明るさ露出制御値算出部１０６は、小領域明るさ露出制御値Ｅａを０又は１の２値ではなく多値で算出する処理を行う。

即ち、この変形例においては、制御値算出部１０４は、ステップＳ４０２ａにおいて画面全体頻度分布露出制御値Ｅｈとして１を算出する。また、ステップＳ４０４ａにおいてはＥｈとして０を、ステップＳ４０５ａにおいてはＥｈとして黒浮きを解消するために−１を算出する。

逆に、制御値算出部１０４は、ステップＳ４０２ｂにおいて画面全体頻度分布露出制御値Ｅｈとして−１を算出する。また、ステップＳ４０４ｂにおいてはＥｈとして０を、ステップＳ４０５ｂにおいてはＥｈとして白下がりを解消するために１を算出する。

ここで、露出補正値算出部１０７は、画面全体頻度分布露出制御値Ｅｈが１の場合に、小領域明るさ露出制御値Ｅａを露出補正値Ｅｒ、Ｅｈが０の場合にＥｒを０に、Ｅｈが−１の場合に−ＥａをＥｒとする。

以下、本発明の第２実施の形態に係る撮像装置について図７乃至図９を参照しながら説明する。本第２実施の形態に係る撮像装置は、第１露出値と、第１露出値に比べて相対的に露出値が高い第２露出値とのそれぞれ異なる露出値の撮像画像信号を合成した広ダイナミックレンジ撮像画像信号の露出制御が可能となるように構成される。本第２実施の形態に係る撮像装置は、白とびと黒つぶれの両方を改善する広ダイナミックレンジ撮像画像信号の露出制御を実行可能に構成されている。

以下、本第２実施の形態に係る撮像装置について図７を参照して説明する。なお、前述した第１実施の形態に係る撮像装置と同一の部分には同一符号を付すこととして、その詳細な説明を省略する。

図７は、第２実施の形態に係る撮像装置の概略ブロック図で、７０１は、第１露出値の撮像画像信号と第２露出値の撮像画像信号を合成し、合成画像信号を出力する信号合成部である。この信号合成部７０１では、２つの異なる露出値で撮像された撮像画像信号の合成処理を実行可能である。例えば、この場合に信号合成部７０１では、まず所定の輝度値を設定する。そして例えば第１露出値の撮像画像信号において所定の輝度値よりも高い輝度値の領域に対応する合成後の画像信号として、低露光画像信号である第１露出値の撮像画像信号の画素信号を取得する。また、第１露出値の撮像画像信号において所定の輝度値よりも低い輝度値の領域に対応する合成後の画像信号として、高露光画像信号である第２露出値の撮像画像信号の画素信号を取得する。そして、第１露出値と第２露出値の撮像画像信号間の露光比に基づいて、両撮像画像信号のどちらか一方の信号強度を他方の信号強度に合わせて、同じレベルの信号強度となるようにゲイン補正を行う。また、通常のガンマ補正と合わせて前記ゲイン補正を行うようにしても良い。

具体的には、この信号合成部７０１では、第１露出値と第２露出値との露光比が１：１０であるとする。この場合には、第１露出値の撮像画像信号は第２露出値の撮像画像信号の光量１０分の１となるため、第１露出値の撮像画像信号の信号強度に１０のゲインを乗算すれば第２露出値の撮像画像信号と同レベルの信号強度となる。また、第２露出値の撮像画像信号の信号強度を１０で割った信号強度に合わせて画像を合成することもできる。なお、上述した以外の本第２実施の形態に係る撮像装置は、前述した図１に示す第２実施の形態に係る撮像装置に係る撮像装置と同様の構成を有する。

この撮像装置の信号合成部７０１は、広ダイナミックレンジ撮像画像信号の露出制御を実行可能とするため、図８に示すように、画像記憶部８０１と、合成処理部８０２とを備える。

この撮像装置では、広ダイナミックレンジ撮像画像信号の露出制御を実行するため、撮像部１０１が、第１露出値の撮像画像信号と第２露出値の撮像画像信号として、２つの異なる露出値で交互に連続して撮像する。このようにして撮像された撮像画像信号は、一旦、信号合成部７０１の画像記憶部８０１に保存される。

その後、撮像部１０１が合成する最後の撮像画像信号を撮像したときに、合成処理部８０２は、画像記憶部８０１に含まれる撮像画像信号と最後の撮像画像信号とを用いて、少なくとも２枚の撮像画像信号を合成する。例えば、合成処理部８０２は、第１露出値と第２露出値を持つ撮像画像信号を合成する場合に、第１露出値と第２露出値の撮像画像信号を信号強度のレベル合わせを行い、合成画像信号を出力する。

次に、本第２実施の形態に係る撮像装置で実行される広ダイナミックレンジ撮像画像信号の生成における撮像画像信号の露出制御について説明する。

広ダイナミックレンジ撮像画像信号の生成における撮像画像信号の露出制御では、第１露出値Ｅｔ１と、第１露出値Ｅｔ１に比べ相対的に高い露光量を持つ第２露出値Ｅｔ２の２つの異なる露出値を用いた制御を行う。このため、撮像部１０１は、第１実施の形態と異なり、第１露出値の撮像画像信号と第２露出値の撮像画像信号とを交互に取得する操作を行う。

次に、上述した第２実施の形態の撮像装置における２つの露出値を用いた場合の露出値決定処理を、図９を参照して説明する。この撮像装置では、使用者が撮像のため露出を決める操作を行うと、撮像装置における２つの露出値を用いた場合の露出値決定処理の動作が開始する。この２つの露出値を用いた場合の露出値決定処理では、第１露出値の露出制御を先に行う。このため、前処理として、撮像部１０１は、第１露出値の撮像画像信号を取得しておく。

撮像装置では、制御値算出部１０４が、撮像部１０１から出力される第１露出値Ｅｔ１の撮像画像信号から画面全体頻度分布露出制御値Ｅｈを算出する（ステップＳ９０１）。ここで第１露出値Ｅｔ１は、白とびを起こさない画像を得るための露出値であるので、ステップＳ９０１では、第１の実施形態における図４（ｂ）に示した白とび時の画面全体頻度分布露出制御値算出処理を行う。次に、ステップＳ９０２では、ステップＳ９０１の算出処理の結果に応じて、すなわち図４（ｂ）に示した露出値算出処理のステップＳ４０１ｂにおける判定結果がＹＥＳかＮＯかで次のステップを切り換える。ステップＳ４０１ｂでＹＥＳであった場合にはステップＳ９０３に進み、ステップＳ４０１ｂでＮＯであった場合にはステップＳ９０５に進み小領域明るさ露出制御値Ｅａの算出は行わない。ステップＳ９０３では、小領域明るさ露出制御値算出部１０６は、小領域明るさ露出制御値Ｅａを算出する。

次に、露出補正値算出部１０７は、第１の実施形態と同様に、画面全体頻度分布露出制御値Ｅｈに対して、小領域明るさ露出制御値算出部１０６で算出された小領域明るさ露出制御値Ｅａにより補正して、露出補正値Ｅｒを算出する（ステップＳ９０４）。

一方、ステップＳ９０５では、画面全体において白とびの少ない画像であると判定されているので、小領域明るさ露出制御値Ｅａの算出は行わず、画面全体頻度分布露出制御値Ｅｈを露出補正値Ｅｒにする。

次に、露出値算出部１０８は、撮像画像信号の露出値Ｅｔに、ステップＳ９０４又はステップＳ９０５で算出される露出補正値Ｅｒを加えて第１露出値Ｅｔ１を算出する（ステップＳ９０６）。次に、上述のようにして得られた第１露出値Ｅｔ１を撮像部１０１に保存する（ステップＳ９０７）。

次に、露出制御部１０９は、第２露出値を設定するため、撮像部１０１に保存されている第２露出値Ｅｔ２を読み出す。そして、露出制御部１０９は、第２露出値Ｅｔ２で撮像部１０１を制御して、第２露出値Ｅｔ２で撮像された撮像画像信号を得る（ステップＳ９０８）。

次に、制御値算出部１０４は、撮像部１０１から出力された第２露出値で撮像された撮像画像信号から画面全体頻度分布露出制御値Ｅｈを算出する（ステップＳ９０９）。ここで第２露出値Ｅｔ２は、黒つぶれを起こさない画像を得るための露出値であるので、ステップＳ９０９では、第１の実施形態における図４（ａ）に示した黒つぶれ時の画面全体頻度分布露出制御値算出処理を行う。次に、ステップＳ９１０では、ステップＳ９０９の露出値算出処理の結果に応じて、すなわち図４（ａ）に示した露出値算出処理のステップＳ４０１ａにおける判定結果がＹＥＳかＮＯかで次のステップを切り換える。ステップＳ４０１ａでＹＥＳであった場合にはステップＳ９１１に進み、ステップＳ４０１ａでＮＯであった場合にはステップＳ９１３に進み小領域明るさ露出制御値Ｅａの算出は行わない。ステップＳ９１１では、小領域明るさ露出制御値算出部１０６は、小領域明るさ露出制御値Ｅａを算出する。

次に、露出補正値算出部１０７は、第１の実施形態と同様に画面全体頻度分布露出制御値Ｅｈに対して、小領域明るさ露出制御値算出部１０６から算出される小領域明るさ露出制御値Ｅａにより補正して、露出補正値Ｅｒを算出する（ステップＳ９１２）。

一方、ステップＳ９１３では、画面全体において黒つぶれの少ない画像であると判定されているので、小領域明るさ露出制御値Ｅａの算出は行わず、画面全体頻度分布露出制御値Ｅｈを露出補正値Ｅｒにする。次に、露出値算出部１０８は、撮像画像信号の露出値Ｅｔに、ステップＳ９１２又はステップＳ９１３で算出される露出補正値Ｅｒを加えて第２露出値Ｅｔ２を算出する（ステップＳ９１４）。

次に、露出制御部１０９は、所定の動作で露出値が確定されたか否かを判別し、所定の動作で露出値が確定されたと判断した場合（ステップＳ９１５でＹＥＳ）に、本処理を終了する。本実施形態では、露出補正値Ｅｒが所定回数０であったときに、露出補正値が収束したと判断して露出値が確定されたと判定する。また、露出制御部１０９は、露出値が確定されなかったと判断した場合（ステップＳ９１５でＮＯ）に、ステップＳ９１６へ進み第２露出値Ｅｔ２を保存する。

次に、露出制御部１０９は、撮像部１０１に保存されている第１露出値Ｅｔ１を読み出し、第１露出値Ｅｔ１で撮像部１０１を制御する。撮像部１０１は、第１露出値Ｅｔ１を設定して撮像し、撮像画像信号を得る（ステップＳ９１７）。

次に、露出制御部１０９は、前述したステップＳ９０１へ戻り、ステップＳ９１５で露出値が決定したと判断されるまで、ステップＳ９０１〜ステップＳ９１４を繰り返す。なお、上述した２つの露出値を用いた場合の露出値決定処理では、第１露出値の露出制御を先に行ったものについて説明したが、第２露出値の露出制御を先に行っても良い。

この撮像装置では、上述した図９に示す２つの露出値を用いた場合の露出値決定処理によって決定された第１露出値の撮像画像信号と第２露出値の撮像画像信号とから、信号合成部７０１が、合成画像信号を作成する。

また、図９に示す２つの露出値を用いた場合の露出制御値決定処理では、適切な第１露出値と第２露出値の決定を、それぞれ異なる露出値で撮像された撮像画像信号で行うものについて説明した。しかし、この２つの露出値を用いた場合の露出制御値決定処理では、合成処理部８０２の出力である合成画像に基づいて、適切な第１露出値と第２露出値の決定を行うようにしても良い。この場合には、合成画像に対して、図６のフローチャートに従った露出制御動作を行うことによって、第１露出値と第２露出値の適切な露出値を求めることが可能である。

要するに、本実施の形態に係る撮像装置では、撮像画像信号の画面全体頻度（第１の明るさ）分布を検出して白とび又は黒つぶれを防ぐよう露出制御を行う。この際に、この撮像装置では、白とび又は黒つぶれ領域が、撮像画像上で分散しているか又は集中しているかを検出し、その度合いに応じて制御補正量を調整し、よりノイズが低減された良好な画像を得ようとするものである。さらに、この撮像装置では、白とび又は黒つぶれを検出するためのエリアであるブロックで輝度値がそれぞれの所定値と比べて高い又は低いブロックの連続性を検出し、その連結性の度合い即ち輝度値がそれぞれの所定値と比べて高い又は低いと判定された連続するブロックの数（連続ブロック数）に応じて制御補正量を調整し、より適切な画像を得ようとするものである。

このため、撮像装置は、撮像画像信号の画面全体頻度分布を検出して白とび及び黒つぶれを防ぐよう露出制御を行うための画面全体頻度分布検出部１０３及び画面全体頻度分布露出制御値算出部１０４を備える。

この撮像装置は、白とび又は黒つぶれ領域が撮像画像上で分散しているか又は集中しているかの度合いに応じて制御補正量を調整するために、小領域明るさ検出部１０５（第２の明るさ検出ユニット）及び小領域明るさ露出制御値算出部１０６（第２の露出制御値算出ユニット）を備える。

そして、この撮像装置では、画面全体頻度分布露出制御値算出部１０４（第１の露出制御値算出ユニット）の出力値と、小領域明るさ露出制御値算出部１０６の出力値とが、露出補正値算出部１０７に入力される。この露出補正値算出部１０７は、画面全体頻度分布露出制御値（第１の露出制御値）及び小領域明るさ露出制御値（第２の露出制御値）に基づいて、より適切な露出補正値を算出して出力する。この撮像装置では、露出補正値算出部１０７から出力された露出補正値を利用して、シャッタースピード（被写体光の露光時間）や絞り等の機能を制御することにより、露出制御を行って、適切に撮像する。

次に、この撮像装置で、小領域明るさ検出部１０５において、白とび又は黒つぶれ領域が撮像画像上で分散しているか又は集中しているかを検出するためのエリアの設定について具体的に説明する。

本実施の形態に係る撮像装置を検証したところ、画像中の１％の全面積のエリアに、白飛び又は黒潰れが集中し固まっている状態に至ると、白飛び又は黒潰れとして目立つことが判明した。そこで、本実施の形態に係る撮像装置では、白飛び又は黒潰れの検出エリア（小領域ブロック；ＩＰＸＸ）として設定する１ブロックの大きさを、画像の全面積の１％の割合とすることが理論的には望ましい。

但し、この撮像装置では、検出領域となる１ブロックの大きさを細かく設定するほど処理時間が増加し、小領域明るさ検出部１０５の構成が複雑化して、大型化してしまう。そこで、本実施の形態に係る撮像装置では、これらの条件を勘案して撮像装置を適切に設計するため、白飛びまたは黒潰れの検出エリアとして設定する１ブロックの大きさを、画像の全面積の５％に設定する構成が実際上は望ましいと考えられる。

なお、白飛び又は黒潰れの検出エリアとして設定する１ブロックの大きさは、撮像装置における画像の大きさに依存するので、実際に撮像装置の画面を観察して白飛び又は黒潰れが目立つと判断される大きさを基準に考える。さらに、１ブロックの大きさは、撮像装置を適切に設計するための条件を勘案して、適宜決定する。

また、この撮像装置では、１ブロック内に、どれだけ設定された閾値である所定値以上の画素値を持つ画素が含まれているかによって白飛びが集中しているかどうかを判定する。

ここで、１ブロック内が全部白飛び画素と判定された場合（１００％に近い）は、制御量を小さくするように補正しないように構成しても良い。また逆に、１ブロック内に白飛び画素が無いと判定された場合（０％に近い場合）には、制御量を限界まで小さくなるように補正するように構成しても良い。

具体的に、この撮像装置では、図１１に示すように、下限割合（ここでは１０％）と上限割合（ここでは８０％）を設定する。さらに、図１１に示すように、０−１までの間の係数αを設定する。そして、１ブロック内で白飛び画素（又は黒潰れ画素）と判定された割合（％）に対応した係数αを最大補正量に乗算することで、制御補正量を求める。

次に、この撮像装置で、白とび又は黒つぶれを検出するためのエリアである各ブロックで輝度値がそれぞれの所定値と比べて高い又は低いと判定されたものの連続性（連続ブロック数）を検出し、より大きな領域を対象として白飛び又は黒つぶれの点在度合いを広い領域で検出する場合について説明する。すなわち、白とび又は黒つぶれが同時に発生している相互に隣接した小領域ブロックのグループに存在する、小領域ブロックの数である、連続ブロック数を検出する。連続ブロック数は、近くに白飛び又は黒つぶれが点在しているか、一群となるようにまとまって存在するかを判別するために利用される。

具体的に、この撮像装置では、図１２に示すように、下限連続ブロック数と上限連続ブロック数を設定する。さらに、この撮像装置では、図１０に示すように、０−１までの間の係数βを設定する。そして、この撮像装置では、連続ブロック数に対応した係数βを最大補正量に乗算することで、連続ブロック数による制御補正量を求める。ここで、下限連続ブロック数と上限連続ブロック数とは、ブロックのサイズと連動し設定する必要がある。そこで、下限連続ブロック数と上限連続ブロック数との設定方法としては、まず、ブロックのサイズを前述した白飛び又は黒潰れの検出エリアとして設定する１ブロックの大きさを決定する。次に、決定されたサイズのブロックにおいて、その連続ブロック数がどの位になれば白飛びとして目立ち始めるか（上限割合）、目立たなくなるか（下限割合）を主観的な評価等で決定する。

この撮像装置では、前述のような、白とび又は黒つぶれ領域が撮像画像上で分散しているか又は集中しているかの度合いに応じて求めた制御補正量と、連続ブロック数による制御補正量とを利用する。これにより、この撮像装置では、撮像画像信号の画面全体頻度分布を検出して白とび又は黒つぶれを防ぐよう露出制御を行う場合より、撮像画面に影響するノイズを低減することができる。また、この撮像装置では、ある一定量の白飛びあるいは黒潰れが、あるエリアに全て集中せず周囲にある程度固まって点在している場合と、全体に分散して点在している場合とで、白飛び又は黒潰れの主観的な目立ち度が変わる。そこで、この撮像装置では、例えば、白飛びが周囲にある程度固まっている場合には白飛びが目立つので、撮像時の露出画像の露出時間を短くするように制御する。また、この撮像装置では、例えば、白飛びが、全体に分散して点在している場合に、主観的に白飛びが目立ちにくくなるため、撮像時の画像の露出時間を長くするように制御し、ノイズの少ない画像を作成することができる。

また、この撮像装置は、ダイナミックレンジが広い合成画像信号を生成するものである。このため、この撮像装置では、通常の撮影の場合に、カメラに収めることができる光量に限界があるため、黒潰れをしないように頻度分布による補正を行うと、明るいところは白飛びしやすくなる。逆に、白飛びをしないように頻度分布による補正を行うと、暗いところが黒潰れする。そこで、この撮像装置では、広いダイナミックレンジ合成画像を撮影することにより、白飛びしないような低露出画像と黒潰れしないような高露出画像を生成して、白飛びと黒潰れを起こさない画像を作成することができる。

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記録媒体（記憶媒体）としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

１０１ 撮像部
１０２ 映像信号出力部
１０３ 画面全体頻度分布検出部
１０４ 画面全体頻度分布露出制御値算出部
１０５ 小領域明るさ検出部
１０６ 小領域明るさ露出制御値算出部
１０７ 露出補正値算出部
１０８ 露出値算出部
１０９ 露出制御部
７０１ 信号合成部
８０１ 画像記憶部
８０２ 合成処理部

Claims (16)

1. 被写体光を撮像して画像信号を出力する撮像部を備えた撮像装置において、
   前記画像信号に基づいて、画面全体の明るさ頻度分布を検出する第１の明るさ検出手段と、
   前記画面全体の明るさ頻度分布から第１の露出制御値を算出する第１の露出制御値算出手段と、
   前記画像信号を複数の小領域に分割し、当該小領域の明るさを検出する第２の明るさ検出手段と、
   前記第２の明るさ検出手段で検出した前記小領域ごとの明るさから第２の露出制御値を算出する第２の露出制御値算出手段と、
   前記第１の露出制御値と前記第２の露出制御値に基づいて、露出補正値を算出する露出補正値算出手段と、
   前記露出補正値と前記画像信号の露出値を用いて、露出値を算出する露出値算出手段と、
   前記露出値算出手段で算出された露出値に基づいて前記撮像部の露出制御を行う露出制御手段と、
   を有することを特徴とする撮像装置。
2. 前記露出値算出手段は、
   前記画像信号として、露光量が相対的に少ない低露光画像信号の第１露出値と、露光量が相対的に多い高露光画像信号の第２露出値との、少なくとも２つの異なる露出値を算出することを特徴とする請求項１記載の撮像装置。
3. 前記露出補正値算出手段は、
   前記第１の露出制御値算出手段により算出される前記第１の露出制御値を、前記第２の露出制御値算出手段により算出される前記第２の露出制御値に基づいて補正して、前記露出補正値を算出することを特徴とする請求項２記載の撮像装置。
4. 前記露出値算出手段により前記第１露出値が算出される場合において、前記第２の露出制御値算出手段は、前記第２の明るさ検出手段が検出した小領域の明るさが設定された閾値以上となるときに、露光量がより少なくなるように前記第２の露出制御値が算出されることを特徴とする請求項３記載の撮像装置。
5. 前記露出値算出手段により前記第１露出値が算出される場合において、前記第２の露出制御値算出手段は、第２の明るさ検出手段が検出した小領域の明るさが設定された閾値以下となるときに、露光量がより多くなるように前記第２の露出制御値が算出されることを特徴とする請求項３記載の撮像装置。
6. 前記露出値算出手段により前記第２露出値が算出される場合において、前記第２の露出制御値算出手段は、第２の明るさ検出手段が検出した小領域の明るさが設定された閾値以下となるときに、露光量がより多くなるように前記第２の露出制御値が算出されることを特徴とする請求項３記載の撮像装置。
7. 前記露出値算出手段により前記第２露出値が算出される場合において、前記第２の露出制御値算出手段は、第２の明るさ検出手段が検出した小領域の明るさが設定された閾値以上となるときに、露光量がより少なくなるように前記第２の露出制御値が算出されることを特徴とする請求項３記載の撮像装置。
8. 前記第２の明るさ検出手段により検出される小領域の明るさが設定された閾値以上又は設定された閾値以下の明るさ情報をもつ小領域の範囲を検出する所定領域範囲検出手段をさらに備え、
   前記第２の露出制御値算出手段が、前記所定領域範囲検出手段から検出される小領域の範囲に応じて前記第２の露出制御値が算出されることを特徴とする請求項３記載の撮像装置。
9. 前記露出値算出手段により前記第１露出値が算出される場合において、所定領域範囲検出手段により検出される小領域ブロックがつながっている範囲が、範囲の閾値以上の場合に、露光量がより少なくなるように前記第２の露出制御値が算出されることを特徴とする請求項８記載の撮像装置。
10. 前記露出値算出手段により前記第１露出値が算出される場合において、所定領域範囲検出手段により検出される小領域ブロックがつながっている範囲が、範囲の閾値以下の場合に、露光量がより多くなるように前記第２の露出制御値が算出されることを特徴とする請求項８記載の撮像装置。
11. 前記露出値算出手段により前記第２露出値が算出される場合において、所定領域範囲検出手段により検出される小領域ブロックがつながっている範囲が、範囲の閾値以下の場合に、露光量がより多くなるように前記第２の露出制御値が算出されることを特徴とする請求項８記載の撮像装置。
12. 前記露出値算出手段により前記第２露出値が算出される場合において、所定領域範囲検出手段により検出される小領域ブロックがつながっている範囲が、範囲の閾値以下の場合に、露光量がより少なくなるように前記第２の露出制御値が算出されることを特徴とする請求項８記載の撮像装置。
13. 第２の明るさ検出手段は、小領域の各画素が持つ信号強度積算値を小領域の明るさとして検出することを特徴とする請求項１記載の撮像装置。
14. 被写体光を撮像して画像信号を出力する撮像部を備えた撮像装置の制御方法であって、前記画像信号に基づいて、画面全体の明るさ頻度分布を検出する第１の明るさ検出ステップと、
    前記画面全体の明るさ頻度分布から第１の露出制御値を算出する第１の露出制御値算出ステップと、
    前記画像信号を複数の小領域に分割し、当該小領域の明るさを検出する第２の明るさ検出ステップと、
    前記第２の明るさ検出ステップで検出した前記小領域ごとの明るさから第２の露出制御値を算出する第２の露出制御値算出ステップと、
    前記第１の露出制御値と前記第２の露出制御値に基づいて、露出補正値を算出する露出補正値算出ステップと、
    前記露出補正値と前記画像信号の露出値を用いて、露出値を算出する露出値算出ステップと、
    前記露出値算出ステップで算出された露出値に基づいて前記撮像部の露出制御を行う露出制御ステップと、
    を有することを特徴とする撮像装置の制御方法。
15. 請求項１４に記載の撮像装置の制御方法をコンピュータにより実行させるためのコンピュータで読み取り可能なプログラム。
16. 請求項１５に記載のプログラムをコンピュータで読み取り可能に記録した記録媒体。

Images