JP2008148180A - 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム - Google Patents

撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP2008148180A
JP2008148180A JP2006335328A JP2006335328A JP2008148180A JP 2008148180 A JP2008148180 A JP 2008148180A JP 2006335328 A JP2006335328 A JP 2006335328A JP 2006335328 A JP2006335328 A JP 2006335328A JP 2008148180 A JP2008148180 A JP 2008148180A
Authority
JP
Japan
Prior art keywords
image
subject
control
luminance
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006335328A
Other languages
English (en)
Inventor
Takashi Kobashi
貴志 小橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006335328A priority Critical patent/JP2008148180A/ja
Publication of JP2008148180A publication Critical patent/JP2008148180A/ja
Pending legal-status Critical Current

Links

Abstract

【課題】最適露出制御および画像補正処理を行なう装置および方法を提供する。
【解決手段】撮像装置の取得画像に基づいて、主要被写体の平均輝度および輝度分布範囲を算出し、算出した主要被写体輝度分布範囲と、主要被写体対応の必要階調数とに基づいて被写体の制御目標平均輝度レベルを決定し、主要被写体が制御目標平均輝度レベルを持つように露出制御を実行する。また、露出制御によって平均輝度のレベルがずれた被写体像について、平均輝度レベルを出力輝度分布のほぼ中央に設定する階調変換処理を実行する。本構成により、露出の最適制御、バランスのとれた明るさの出力画像の生成が可能となる。
【選択図】図５

Description

本発明は、撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、自動的な露光量の制御である露出制御を行う撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラムに関する。
例えばデジタルスチルカメラ等の撮像装置には、一般的に、自動的に露光量を調整するＡＥ（自動露出）機能が設けられている。露出制御は、視野内の光量を測光し、その測光結果に基づき、レンズの開口度、電子シャッタ量及び撮像素子から出力される電気信号の利得を調整することにより行われる。
光量の測光は専用のセンサを用いるものや、撮像素子の出力信号を用いるものがある。光量を測定する方式としては、画面全体の平均の輝度を測定する全面平均測光方式、画面内の中央部分の輝度を重点的に測定する中央部重点測光方式、画面内を分割してそれぞれの領域で平均の輝度を測定する多分割測光方式、画面内の任意の位置の輝度を測定するスポット測光方式等がある。
さらに測光性能を改善する方法を開示した従来技術として、例えば特許文献１（特開２００３−１５８６７３号公報）がある。この特許文献１は、撮影画像から輝度レベルに対する画素の度数を示すヒストグラムを生成し、生成したヒストグラムに基づいて撮影画像の特徴を検出し、その特徴に応じて露出制御量を補正する方法を開示している。
この露出制御手法は、画面内の主要被写体が最適露光量になるように制御することを基本とし、白とびや黒つぶれが多く発生するような特殊な画像においてその程度を軽減するように露光量を補正することで輝度再現のダイナミックレンジを拡大するものである。しかしながら、補正量の制限がないため画像によっては過補正になる可能性がある。さらに、あまり大きな補正をすると白とびや黒つぶれが軽減される反面で主要被写体の露光量が最適値から大きく外れてしまうという問題がある。
特開２００３−１５８６７３号公報
本発明は、例えば上述のような問題点を解決するものであり、自動的な露光量の制御機構であるＡＥ（自動露出）の最適制御を行う撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。
さらに、具体的には、本発明は、被写体の平均輝度と、輝度分布から被写体の階調が十分に取れる輝度制御範囲を算出し、その算出範囲内において白とびや黒つぶれを最小とする露出制御を行う撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第１の側面は、
露出制御処理を実行する撮像装置において、
前記撮像装置において取得される画像データに基づいて被写体の平均輝度および輝度分布範囲を算出する手段と、
算出された前記平均輝度および前記輝度分布範囲に基づいて被写体を良好に再現できる制御目標平均輝度レベル範囲を定める手段と、
設定した前記制御目標平均輝度レベルに応じた露出制御を実行する制御手段を備え、
前記制御手段は、
被写体輝度分布範囲の白とび画素および黒つぶれ画素を排除または削減し、かつ撮影画像のダイナミックレンジが広くなるように前記制御目標平均輝度レベルを決定する処理を行なう構成であることを特徴とする撮像装置にある。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、
被写体の平均輝度＝ＹＭ、
被写体の輝度分布範囲＝ａ×ＹＭ〜ｂ×ＹＭ（０≦ａ≦１、１≦ｂ）、
白とびの判断をする輝度閾値（スレッショルドレベル）である白とび閾値を、
白とび閾値＝ＴＨ、
被写体対応の必要階調数＝Ｍ、
としたとき、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・式Ａ、
上記式Ａを満足するように、被写体の制御目標平均輝度レベルＹＭを決定し、撮影画像における被写体が前記制御目標平均輝度レベルＹＭを持つように露出制御を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、撮像装置の取得画像データに含まれる白とび画素の面積である白とび面積［ＳＨ］と、黒つぶれ画素の面積である黒つぶれ面積［ＳＬ］を算出し、前記式Ａを満足し、かつ前記白とび面積［ＳＨ］と、前記黒つぶれ面積［ＳＬ］の総計が最小値となるように前記制御目標平均輝度レベル［ＹＭ］を設定する露出制御を行う構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、撮像装置の取得画像データに含まれる白とび画素の面積である白とび面積［ＳＨ］と、黒つぶれ画素の面積である黒つぶれ面積［ＳＬ］を算出し、白とび面積［ＳＨ］が予め定めた許容値［ＲＨ］より大きいか、または、黒つぶれ面積［ＳＬ］が予め定めた許容値［ＲＬ］より大きい場合に、許容値を超えた白とび面積［ＳＨ］または黒つぶれ面積［ＳＬ］を小さくするように前記制御目標平均輝度レベル［ＹＭ］を設定する露出制御を行う構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、撮像装置の取得画像データから主要被写体を判別し、主要被写体の平均輝度および輝度分布範囲を算出し、算出した主要被写体輝度分布範囲と、主要被写体対応の必要階調数とに基づいて、主要被写体の制御目標平均輝度レベルを決定し、撮影画像における主要被写体が前記制御目標平均輝度レベルを持つように露出制御を実行する制御部を有することを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、被写体対応の必要階調数を、被写体の種類、または撮影モード、または被写体の大きさ、または被写体の重要度、少なくともこれらいずれかの情報を適用して決定する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記撮像装置は、さらに、前記制御部における露出制御の結果取得された画像データの補正処理を実行するデジタル信号処理部を有し、前記デジタル信号処理部は、前記制御部における露出制御の結果取得された画像データの被写体の平均輝度レベルを、画像の出力輝度分布の最適値に設定する階調変換処理を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記デジタル信号処理部は、前記制御部における露出制御の結果取得された画像データの輝度分布を解析し、主要被写体領域により多くの階調を割り当てる階調変換処理を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記デジタル信号処理部は、前記制御部における露出制御の結果取得された画像データの輝度分布を解析し、出現輝度の少ない領域により少ない階調を割り当てる階調変換処理を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記デジタル信号処理部は、入力輝度値に基づいて出力輝度値を決定する変換テーブルを適用して、階調変換処理を実行する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、撮像装置において取得される画像データであるＲＡＷ画像を記録デバイスに出力し記録する処理に際して、前記制御目標平均輝度レベルの値をＲＡＷ画像とともに記録デバイスに出力し記録する処理制御を実行する構成であることを特徴とする。
さらに、本発明の第２の側面は、
画像データの補正処理を実行する画像処理装置であり、
画像データの補正処理を実行する画像信号処理部を有し、
前記画像信号処理部は、
画像データの被写体の平均輝度レベルを、画像の出力輝度分布の最適値に設定する階調変換処理を実行する構成であることを特徴とする画像処理装置にある。
さらに、本発明の画像処理装置の一実施態様において、前記画像信号処理部は、画像データの輝度分布を解析し、主要被写体領域により多くの階調を割り当てる階調変換処理を実行する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記画像信号処理部は、画像データの輝度分布を解析し、出現輝度の少ない領域により少ない階調を割り当てる階調変換処理を実行する構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記画像信号処理部は、入力輝度値に基づいて出力輝度値を決定する変換テーブルを適用して、階調変換処理を実行する構成であることを特徴とする。
さらに、本発明の第３の側面は、
撮像装置において、露出制御処理を実行する撮像装置制御方法であり、
制御部が、前記撮像装置において取得される画像データに基づいて被写体の平均輝度および輝度分布範囲を算出するステップと、
制御部が、算出された前記平均輝度および前記輝度分布範囲に基づいて被写体を良好に再現できる制御目標平均輝度レベル範囲を定める制御目標平均輝度レベル決定ステップと、
制御部が、設定した前記制御目標平均輝度レベルに応じた露出制御を実行する制御ステップとを実行し、
前記制御目標平均輝度レベル決定ステップは、
被写体輝度分布範囲の白とび画素および黒つぶれ画素を排除または削減し、かつ撮影画像のダイナミックレンジが広くなるように前記制御目標平均輝度レベルを決定する処理を行なうステップであることを特徴とする撮像装置制御方法にある。
さらに、本発明の撮像装置制御方法の一実施態様において、前記制御部は、
被写体の平均輝度＝ＹＭ、
被写体の輝度分布範囲＝ａ×ＹＭ〜ｂ×ＹＭ（０≦ａ≦１、１≦ｂ）、
白とびの判断をする輝度閾値（スレッショルドレベル）である白とび閾値を、
白とび閾値＝ＴＨ、
被写体対応の必要階調数＝Ｍ、
としたとき、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・式Ａ、
上記式Ａを満足するように、被写体の制御目標平均輝度レベルＹＭを決定し、撮影画像における被写体が前記制御目標平均輝度レベルＹＭを持つように露出制御を実行することを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記制御部は、撮像装置の取得画像データに含まれる白とび画素の面積である白とび面積［ＳＨ］と、黒つぶれ画素の面積である黒つぶれ面積［ＳＬ］を算出し、前記式Ａを満足し、かつ前記白とび面積［ＳＨ］と、前記黒つぶれ面積［ＳＬ］の総計が最小値となるように前記制御目標平均輝度レベル［ＹＭ］を設定する露出制御を行うことを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記制御部は、撮像装置の取得画像データに含まれる白とび画素の面積である白とび面積［ＳＨ］と、黒つぶれ画素の面積である黒つぶれ面積［ＳＬ］を算出し、白とび面積［ＳＨ］が予め定めた許容値［ＲＨ］より大きいか、または、黒つぶれ面積［ＳＬ］が予め定めた許容値［ＲＬ］より大きい場合に、許容値を超えた白とび面積［ＳＨ］または黒つぶれ面積［ＳＬ］を小さくするように前記制御目標平均輝度レベル［ＹＭ］を設定する露出制御を行うことを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記制御部は、撮像装置の取得画像データから主要被写体を判別し、主要被写体の平均輝度および輝度分布範囲を算出し、算出した主要被写体輝度分布範囲と、主要被写体対応の必要階調数とに基づいて、主要被写体の制御目標平均輝度レベルを決定し、撮影画像における主要被写体が前記制御目標平均輝度レベルを持つように露出制御を実行することを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記制御部は、被写体対応の必要階調数を、被写体の種類、または撮影モード、または被写体の大きさ、または被写体の重要度、少なくともこれらいずれかの情報を適用して決定することを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記撮像装置制御方法は、さらに、デジタル信号処理部が、前記制御部における露出制御の結果取得された画像データの補正処理を実行するデジタル信号処理ステップを有し、前記デジタル信号処理ステップは、前記制御部における露出制御の結果取得された画像データの被写体の平均輝度レベルを、画像の出力輝度分布の最適値に設定する階調変換処理を実行するステップであることを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記デジタル信号処理ステップは、前記制御部における露出制御の結果取得された画像データの輝度分布を解析し、主要被写体領域により多くの階調を割り当てる階調変換処理を実行するステップであることを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記デジタル信号処理ステップは、前記制御部における露出制御の結果取得された画像データの輝度分布を解析し、出現輝度の少ない領域により少ない階調を割り当てる階調変換処理を実行するステップであることを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記デジタル信号処理ステップは、入力輝度値に基づいて出力輝度値を決定する変換テーブルを適用して、階調変換処理を実行することを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記撮像装置制御方法は、さらに、前記制御部が、撮像装置において取得される画像データであるＲＡＷ画像を記録デバイスに出力し記録する処理に際して、前記制御目標平均輝度レベルの値をＲＡＷ画像とともに記録デバイスに出力し記録する処理を実行することを特徴とする。
さらに、本発明の第４の側面は、
画像処理装置において、画像データの補正処理を実行する画像処理方法であり、
画像信号処理部において画像データの補正処理を実行する画像信号処理ステップを有し、
前記画像信号処理ステップは、
画像データの被写体の平均輝度レベルを、画像の出力輝度分布の最適値に設定する階調変換処理を実行するステップであることを特徴とする画像処理方法にある。
さらに、本発明の画像処理方法の一実施態様において、前記画像信号処理ステップは、画像データの輝度分布を解析し、主要被写体領域により多くの階調を割り当てる階調変換処理を実行するステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記画像信号処理ステップは、画像データの輝度分布を解析し、出現輝度の少ない領域により少ない階調を割り当てる階調変換処理を実行するステップであることを特徴とする。
さらに、本発明の画像処理方法の一実施態様において、前記画像信号処理ステップは、入力輝度値に基づいて出力輝度値を決定する変換テーブルを適用して、階調変換処理を実行することを特徴とする。
さらに、本発明の第５の側面は、
撮像装置において、露出制御処理を実行させるコンピュータ・プログラムであり、
制御部に、前記撮像装置において取得される画像データに基づいて被写体の平均輝度および輝度分布範囲を算出させるステップと、
制御部に、算出された前記平均輝度および前記輝度分布範囲に基づいて被写体を良好に再現できる制御目標平均輝度レベル範囲を決定させる制御目標平均輝度レベル決定ステップと、
制御部に、設定した前記制御目標平均輝度レベルに応じた露出制御を実行させるステップとを実行させ、
前記制御目標平均輝度レベル決定ステップは、
被写体輝度分布範囲の白とび画素および黒つぶれ画素を排除または削減し、かつ撮影画像のダイナミックレンジが広くなるように前記制御目標平均輝度レベルを決定する処理を行なわせるステップであることを特徴とするコンピュータ・プログラムにある。
さらに、本発明の第６の側面は、
画像処理装置において、画像データの補正処理を実行させるコンピュータ・プログラムであり、
画像信号処理部に画像データの補正処理を実行させる画像信号処理ステップを有し、
前記画像信号処理ステップは、
画像データの被写体の平均輝度レベルを、画像の出力輝度分布の最適値に設定する階調変換処理を実行させるステップを含むことを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例の構成によれば、撮像装置において取得される画像データに基づいて、主要被写体の平均輝度および輝度分布範囲を算出し、算出した主要被写体輝度分布範囲と、主要被写体対応の必要階調数とに基づいて、被写体の制御目標平均輝度レベルを決定し、撮影画像における主要被写体が制御目標平均輝度レベルを持つように露出制御を実行する構成としたので、主要被写体の白とびや黒つぶれが抑制され、最適な露出制御による画像撮影が可能となる。さらに、本発明の一実施例の構成によれば、露出制御によって平均輝度のレベルがずれた被写体像について、平均輝度レベルを出力輝度分布のほぼ中央に設定する階調変換処理を実行する構成としたので出力画像における被写体像をバランスのとれた明るさの画像とすることができる。
以下、図面を参照しながら本発明の撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラムの詳細について説明する。説明は、以下の項目について順次行なう。
１．撮像装置の全体構成および撮影処理の概要について
２．自動露出制御処理について
［１．撮像装置の全体構成および撮影処理の概要について］
まず、図１、図２を参照して、本発明の撮像装置の全体構成および撮影処理の概要について説明する。図１は、本発明の撮像装置の一実施例としての撮像装置（デジタルカメラ）１０の外観を示す図である。図１（ａ）は、撮像装置１０の上面図、（ｂ）は正面図、（ｃ）は背面図である。（ａ）上面図のレンズ部分は断面図として示してある。
撮像装置１０は、電源スイッチ１１、画像取り込みタイミングを設定するトリガ手段、すなわちシャッタとして機能するレリーズスイッチ１２、撮像装置によって撮影される画像（スルー画像）や操作情報などを表示するモニタ１３、撮像素子（例えばＣＣＤ）としてのイメージャ１４、各種の操作情報を入力する操作ボタン１５、撮像装置によって取得される画像（スルー画像）を確認するためのビューファインダ１６、フォーカス調整において駆動されるフォーカスレンズ１７、ズーム調整に際して駆動されるズームレンズ１８、撮影モードを設定するためのモードダイアル１９、フォーカスレンズ１７を駆動するためのフォーカスレンズモータ（Ｍ１）２１、ズームレンズ１８を駆動するためのズームレンズモータ（Ｍ２）２２、露出制御の際に駆動される絞り羽根２５、絞り羽根を駆動する絞り駆動部２６、および、ストロボ発光手段３１を有する。
被写体画像は、ビューファインダ１６およびモニタ１３に表示される。ビューファインダ１６およびモニタ１３は例えばＬＣＤによって構成され、レンズを介する被写体画像が動画像として映し出される。この動画像はスルー画と呼ばれる。ユーザは、ビューファインダ１６またはモニタ１３を確認して、撮影する目標被写体を確認して、シャッタとしてのレリーズスイッチ１２を押すことで画像の記録処理が実行されることになる。
図２を参照して本発明の一実施例に係る撮像装置（デジタルカメラ）１００の内部構成について説明する。撮像装置１００は、図２に示すように、レンズ部１０１と、ＣＣＤ１０２と、タイミング信号発生回路（ＴＧ）１０３と、サンプリングホールドゲインコントロール（Ｓ／Ｈ・ＧＣ：Ｓａｍｐｌｉｎｇ Ｈｏｌｄ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路等から構成されるアナログ信号処理部１０４と、Ａ／Ｄコンバータ１０５と、デジタル信号処理部（ＤＳＰ）１０６と、モニタ１０７、ビューファインダ１０８、記録デバイス１０９、検波部１１０、シャッタ等の操作部１１５、シャッタ判定部１１６、制御部１２０を備えている。
ＣＣＤ１０２は、レンズ部１０１を介して受光面に結像された被写体の撮像光を、画素毎に電気信号に変換し、画像信号を出力する。ＣＣＤ１０２により蓄積された画像信号は、所定のタイミング（画像更新周期）で、アナログ信号処理部１０４に供給され、アナログ信号処理部１０４においてノイズ除去、ゲイン制御等のアナログ信号処理が施される。これらの処理回路として、アナログ信号処理部１０４は、サンプリングホールドゲインコントロール（Ｓ／Ｈ・ＧＣ）回路を備えている。
タイミング信号発生回路１０３は、ＣＣＤ１０２が１画面毎の画像信号の読み出しに必要とする各種の駆動パルス、並びに、ＣＣＤ１０２に蓄積される電荷の蓄積時間を制御する電子シャッタパルスを発生する。タイミング信号発生回路１０３から発生された各種パルスは、ＣＣＤ１０２に供給され、画像信号の撮像処理や出力処理のタイミング信号として用いられる。また、タイミング信号発生回路１０３は、操作部１１５に構成される電子シャッタのシャッタスピードを、制御部１２０からの制御命令に従い制御する。
サンプリングホールドゲインコントロール（Ｓ／Ｈ・ＧＣ）回路を備えたアナログ信号処理部１０４は、ＣＣＤ１０２から供給された画像信号に対して、サンプリング処理や増幅処理等のアナログ処理を行う。Ｓ／Ｈ・ＧＣ回路から出力されたアナログの画像信号は、Ａ／Ｄコンバータ１０５に供給される。また、ＣＣＤ１０２から供給された画像信号の増幅度は、制御部１２０により制御される。
Ａ／Ｄコンバータ１０５は、アナログ信号処理部１０４から供給されたアナログの画像信号を所定のサンプリングレートでサンプリングして、デジタルの画像信号に変換する。Ａ／Ｄコンバータ１０５から出力されたデジタル画像信号は、デジタル信号処理部（ＤＳＰ）１０６に供給されるとともに、ＲＡＷ画像記録モードにおいては記録デバイス１０９にも供給される。
デジタル信号処理部（ＤＳＰ）１０６は、Ａ／Ｄコンバータ１０５から供給されたデジタル画像信号から、例えば、ＮＴＳＣフォーマットや記録メディアに必要なフォーマット等のデジタルの映像信号を生成し、外部に出力する。デジタル信号処理部（ＤＳＰ）１０６は、フレーミング時には、デジタル画像信号から表示画像信号を生成し、モニタ１０７やビューファインダ１０８に供給する。デジタル信号処理部（ＤＳＰ）１０６は、静止画像撮像時には、デジタル画像信号から１枚の静止画像信号を生成し、それを圧縮等した後、記録デバイス１０９に供給する。これらの信号処理において露出制御結果情報に基づき階調補正を行うが、この詳細については後述する。
モニタ１０７やビューファインダ１０８は、例えば液晶パネル等から構成された電子式の表示装置であり、フレーミング時に、デジタル信号処理部（ＤＳＰ）１０６から表示画像信号が入力され、その画像信号を表示する。
記録デバイス１０９は静止画像撮像時に例えばメモリカード等の記憶メディアに画像信号を記録するが、画像記録モードによって動作が異なる。通常画像記録モードではデジタル信号処理部（ＤＳＰ）１０６から供給される静止画像信号を記録し、ＲＡＷ画像記録モードではＡ／Ｄコンバータ１０５から供給されるＲＡＷ画像信号を記録する。ＲＡＷ画像記録モードにおいてはＲＡＷ画像信号とともにデジタル信号処理部（ＤＳＰ）１０６から供給される静止画像信号を記録してもよい。
検波部１１０は、デジタル信号処理部（ＤＳＰ）１０６から供給される映像信号から、オートフォーカス（ＡＦ）、自動露出（ＡＥ）等に必要となる各種検波信号を生成する。各種検波信号は、制御部１２０により例えば１フレーム毎に読み出される。制御部１２０は、ＣＰＵ１２１，メモリ１２２を備え、読み出した各種検波信号に基づき、適切な画像が撮像できるようにレンズ部１０１等を制御する。
具体的な検波部１１０が検出する検波信号としては、例えばオートフォーカスに関する検波信号や自動露出制御に関する検波信号等がある。検波部１１０は、オートフォーカスに関する検波信号として、撮像画像上の所定の位置に設定されたＡＦ検波エリア内における輝度のエッジ成分を検出し、そのエッジ成分を積算して得られるコントラスト値を出力する。また、検波部１１０は、自動露出制御に関する検波信号として、主要被写体の平均輝度と輝度分布範囲および画像全体における白とび部分の面積と黒つぶれ部分の面積を制御部１２０に出力する。
制御部１２０はこれらのデータから主要被写体の階調が十分取れる範囲で白とび、黒つぶれが最小限になるように露出制御を行う。なお、この露出制御に関する詳細については後段において説明する。また、上記各種検波信号は検波部１１０で得られるとしたが、検波部１１０の代わりに別途光学センサを設けて検出する構成としてもよい。検波部や光学センサを制御部１２０の構成用素として、制御部において検波処理、すなわち、主要被写体の平均輝度と輝度分布範囲および画像全体における白とび部分の面積と黒つぶれ部分の面積の算出処理を実行する構成としてもよい。
操作部１１５は、例えばシャッタレリーズスイッチを含む。シャッタレリーズスイッチは、例えばユーザにより操作されるモーメンタリ型の押圧スイッチである。このシャッタレリーズスイッチは、スイッチを全く押さない状態（オフ）と、スイッチを押しきった状態（全押し）と、スイッチを半分程度まで押した状態（半押し）との３つの状態を区別してスイッチングする機能が設けられている。このシャッタレリーズスイッチの３つの押圧状態（オフ、半押し、全押し）は、シャッタ判定部１１６により判別がされ、その判別情報が制御部１２０に供給される。
レンズ部１０１は、ズームレンズ１３１と、フォーカスレンズ１３２と、絞り羽根１３３と、絞り羽根１３３を駆動する絞り羽根駆動部１３４とを備えている。また、レンズ部１０１は、これらの他に、例えば、入射光の赤外線をカットする赤外カットフィルタ、入射光を遮光するシャッタ羽根等の光学系や、ズームレンズ１３１を駆動するズームレンズ駆動部、フォーカスレンズを駆動するフォーカスレンズ駆動部、シャッタ羽根を駆動するシャッタ駆動部等も備えている。
レンズ部１０１内のズームレンズ１３１は、その光軸が、ＣＣＤ１０２の受光面の略中心から延ばした鉛直線と一致する位置に設けられている。ズームレンズ１３１は、光軸上を前後に直線移動可能に設けられ、その移動位置に応じてＣＣＤ１０２の受光面上の結像画像の撮像倍率を変える。ズームレンズ１３１は、その移動位置が、ズームレンズ駆動部を介して制御部１２０により制御される。
レンズ部１０１内のフォーカスレンズ１３２は、その光軸が、ＣＣＤ１０２の受光面の略中心から延ばした鉛直線と一致する位置に設けられている。フォーカスレンズ１３２は、光軸上を前後に直線移動可能に設けられ、その移動位置に応じてＣＣＤ１０２上の受光面上の結像画像の焦点位置を変える。フォーカスレンズ１３２は、その移動位置が、フォーカスレンズ駆動部を介して制御部１２０により制御される。
絞り羽根１３３は、ＣＣＤ１０２の受光面に結像される撮像光の光量を調整する。絞り羽根１３３は、レンズ部１０１の光学系の光軸を中心とした孔を形成し、その孔径を変化させることにより、光の量を制御する。すなわち、この絞り羽根１３３は、カメラの絞り値（Ｆ値）を制御する。絞り羽根１３３は、その孔径が、絞り駆動部１３４を介して制御部１２０により制御される。
制御部１２０は、撮像装置１００の各部の制御を行う。例えば、操作部１１５を構成するシャッタレリーズスイッチの押圧状態に基づき、フレーミング処理制御（オフ）、オートフォーカス処理制御（半押し）、静止画像記録制御（全押し）を行う。
フレーミング処理とは、画面内の被写体の位置や画面の構図を、ユーザが撮影前に確認することができるように、ＣＣＤ１０２に撮像されている画像をモニタ１０７やビューファインダ１０８に表示する処理である。このフレーミング処理時には、一定の画像更新周期毎（例えば１／３０秒毎）にＣＣＤ１０２が１画面分の撮像処理を行い、撮像して得られた画像信号が出力される。そのため、モニタ１０７やビューファインダ１０８に表示される画像も、一定時間毎（例えば１／３０秒毎）に更新され、ユーザは表示されている撮像画像を、動画で確認することができる。通常ＣＣＤ１０２の画素数よりもモニタ１０７やビューファインダ１０８の画素数が少ないため、フレーミング処理時にはＣＣＤ１０２の出力信号を間引きして出力することで、画像処理の負荷を軽減し滑らかな動画像をモニタ１０７やビューファインダ１０８に表示できる。このフレーミング処理は、撮像装置１００自体が撮影可能な状態になっており、且つ、シャッタレリーズスイッチがオフの状態のとき、つまりユーザがシャッタレリーズスイッチを押していない状態のときに行われる。
オートフォーカス処理とは、静止画の撮像対象となる被写体画像のフォーカスを、自動的に設定する処理である。つまり、オートフォーカス処理は、自動的にフォーカスレンズ１３２の移動位置を調整して、撮像画像のピント調整を行う処理である。撮像装置１００は、フレーミング処理を実行中、シャッタレリーズスイッチの半押し状態の検出がなされると、撮像画像に基づき合焦点位置を検出するオートフォーカス処理を開始する。
具体的には、オートフォーカス処理時に制御部１２０は、フォーカスレンズ１３２を移動させながら各位置におけるこのコントラスト値を検波部１１０から取得し、フォーカスレンズ１３２の各移動位置に対するコントラスト値の増減を判断する。そして、制御部１２０は、そのコントラスト値の増減から、フォーカスレンズ１３２の移動位置に対する画像のフォーカスの合焦の度合いを判断し、もっともその合焦度合いが高い位置にフォーカスレンズ１３２を移動する。
また、この撮像装置１００では、このオートフォーカス処理時に、静止画像記録時の絞り羽根１３３の開度や電子シャッタのスピード等の設定、つまり、カメラの絞り値（Ｆ値）やシャッタスピードの設定も行うことができる。ただし、オートフォーカス時に特別なカメラの絞り値（Ｆ値）やシャッタスピード等を設定する時には、オートフォーカス処理後に静止画像記録時のＦ値やシャッタスピードの再設定を行う。
静止画像撮影処理とは、被写体画像を１画面分撮像して、その１画面分の被写体画像をメディアに記録する処理である。撮像装置１００の制御部１２０は、オートフォーカス処理を完了したのちに、操作部１１５のシャッタレリーズスイッチが全押しされたことを検出すると、フォーカスレンズ１３２の移動位置、並びに、絞り羽根１３３の開度、電子シャッタ時間、及びアナログ信号処理部１０４のＳ／Ｈ・ＧＣの利得を設定して、１画面分の静止画像をＣＣＤ１０２で取り込む。取り込まれた静止画像は、Ａ／Ｄコンバータ１０５によりデジタルの画像信号に変換され、ＲＡＷ画像信号としてメディアに保存されるとともに、デジタル信号処理部（ＤＳＰ）１０６等により圧縮等の処理がされたのち、メディアに保存される。
［２．自動露出制御処理について］
つぎに、本発明の撮像装置において実行する自動露出制御処理について説明をする。
自動露出制御処理は、フレーミング処理時やオートフォーカス処理時において、撮影した被写体画像が最適な露出となるように、図２に示す各構成部の制御を行う。具体的には、
（ａ）絞り羽根１３３の開口度の設定、
（ｂ）ＣＣＤ１０２の電子シャッタスピードの設定、
（ｃ）アナログ信号処理部１０４のサンプリングホールドゲインコントロール（Ｓ／Ｈ・ＧＣ）回路に設定される増幅度（ゲイン値）の設定、
これらの設定を決定して最適な露出制御を行う。
これらの各設定は、制御部１２０の内部メモリ１２２内に格納される露出制御パラメータに応じて制御部１２０の制御の下、実行される。露出制御パラメータに基づく露出制御は、例えば、露出制御パラメータの各値に対する絞り羽根１３３の開口度数、電子シャッタスピード量、画像信号の増幅度数等が示されたテーブルや、露出制御パラメータからこれらのデータを算出する演算数式を用いて行われる。
制御部１２０は、露出制御パラメータの値が大きくなれば画像を明るくする方向に露出を制御し、露出制御パラメータの値が小さくなれば画像を暗くする方向に露出を制御する。つまり、制御部１２０は、
（１）露出制御パラメータが大きくなれば、
（１ａ）絞り羽根１３３の開口度を大きくする（絞り羽根１３３を開く）、
（１ｂ）電子シャッタスピードを遅くする（ＣＣＤ１０２の露光時間を長くする）、
（１ｃ）ＣＣＤ１０２から出力される画像信号の増幅度を大きくする（アナログ信号処理部１０４におけるＳ／Ｈ・ＧＣ回路のゲイン（利得）を大きくする）
といった方向に制御をする。
反対に、制御部１２０は、
（２）露出制御パラメータが小さくなれば、
（２ａ）絞り羽根１３３の開口度を小さくする（絞り羽根１３３を閉じる）、
（２ｂ）電子シャッタスピードを早くする（ＣＣＤ１０２の露光時間を短くする）、
（２ｃ）ＣＣＤ１０２から出力される画像信号の増幅度を小さくする（アナログ信号処理部１０４におけるＳ／Ｈ・ＧＣ回路のゲイン（利得）を小さくする）
といった方向に制御をする。
制御部１２０の内部メモリ１２２に格納される露出制御パラメータは、検波部１１０で検出された主要被写体の平均輝度と輝度分布範囲および画像全体における白とび部分の面積と黒つぶれ部分の面積に基づき、例えば１フレーム毎に逐次補正がされていく。
主要被写体の検出処理態様としては、様々な手法が適用可能である。例えば、
＊画面の中央部分を主要被写体とする手法、
＊画面を複数領域に分割してその輝度分布から主要被写体を推定する手法、
＊画像のヒストグラムから主要被写体を推定する手法、
＊ユーザが主要被写体を指定する手法、
これらの種々の方法が適用可能である。また、主要被写体を特定せず画面全体を主要被写体として判断した処理を行なう構成としてもよい。
Ａ／Ｄコンバータ１０５の出力データにおける主要被写体の平均輝度を、
平均輝度＝ＹＭ、
主要被写体の輝度分布範囲を、
輝度分布範囲＝ａ×ＹＭ〜ｂ×ＹＭ（０≦ａ≦１、１≦ｂ）、
白とびおよび黒つぶれの判断をする輝度閾値（スレッショルドレベル）をそれぞれ、
白とび閾値＝ＴＨ
黒つぶれ閾値＝ＴＬ
とする。
あるサンプル画像データにおける、上記の各値と画像の輝度分布の関係を示すヒストグラム（度数分布）の一例を図３に示す。図３において横軸が輝度レベルであり、縦軸が、各輝度を持つ画素数に相当する輝度の度数を示している。輝度レベルの横軸には、左から、
黒つぶれ閾値［ＴＬ］、
主要被写体の輝度分布範囲の最低輝度［ａ×ＹＭ］、
主要被写体の輝度分布範囲の最高輝度［ｂ×ＹＭ］、
白とび閾値［ＴＨ］
これらの各輝度値を示している。
輝度分布範囲（ａ×ＹＭ〜ｂ×ＹＭ）にある被写体を良好に再現するために必要な階調数をＭとする。Ｍは想定する主要被写体の種類やノイズのレベルに応じて決定される。被写体表現のために必要な階調数の設定例について、図４を参照して説明する。撮像装置の制御部１２０のメモリには、例えば図４に示すような必要階調数決定テーブルが格納され、制御部１２０は、必要階調数Ｍを撮像装置において取得される画像情報とテーブルとに基づいて必要階調数Ｍを決定する。
必要階調数Ｍは、固定データを適用する構成としてもよいが、［被写体の種類］、［撮影モード］、［被写体の大きさ］、［被写体の重要度］、これらの条件によって変更する構成としてもよい。
１）必要階調数Ｍを被写体の種類によって変える場合は、図４（１）に示すような、被写体の種類に応じた必要階調数決定テーブルを適用する。たとえば、被写体が人物の時は肌色の階調には敏感であること、また人物以外の背景の重要度は低い可能性が高いことから、被写体が人物であると判定された場合には、被写体を重視してＭを大きくする設定とする。例えば、撮像装置に顔認識処理を実行させて、撮像装置において取得された画像から顔認識がなされた場合に、必要階調数Ｍを上げる設定とする。
２）必要階調数Ｍを撮影モードによって変える場合は、図４（２）に示すように撮像装置において設定可能なモードに対応する必要階調数Ｍを設定したテーブルを適用し、設定モードに応じて必要階調数Ｍを決定する。たとえば、ポートレートモードでは被写体が人物の可能性が高いのでＭを大きくする。
３）必要階調数Ｍを被写体の大きさによって変える場合は、図４（３）に示すような、被写体の大きさに応じた必要階調数決定テーブルを適用する。被写体が大きいほど階調変化が認識しやすいこと、また被写体以外の背景の重要度は低い可能性が高いことから被写体が大きくなるほどＭを大きくする。なお、被写体の大きさは、例えば、撮影画像に占める人物領域の大きさであり、前述の顔認識処理構成を撮像装置に備えることで人物の占める領域を算出して被写体の大きさを求めることができる。
４）必要階調数Ｍを被写体の重要度によって変える場合は、図４（４）に示すように被写体の重要度に応じた必要階調数決定テーブルを適用する。主要被写体を重視しそれ以外はあまり考慮しなくて良いという場合には必要階調数Ｍを大きく設定する。このような設定により、背景は白とびしたりする可能性が高くなるが主要被写体の階調表現が良好になる。なお、この重要度情報は、ユーザが操作部を介して入力し、制御部１２０が入力情報と、図４（４）に示すテーブルに基づいて必要階調数Ｍを決定する。
上記のように、必要階調数Ｍは、［被写体の種類］、［撮影モード］、［被写体の大きさ］、［被写体の重要度］、これらの条件の少なくともいずれか、あるいは複合的に適用して決定する構成が可能である。なお、被写体についての様々な条件、すなわち、人物か否か、被写体の大きさ、被写体の重要度は、ユーザが設定する構成としても良い。たとえば被写体が人物であるかどうかを設定したり、被写体の重要度を設定したりして、それに応じてＭの値を制御する構成としてもよい。
このようにして、制御部１２０は、輝度分布範囲（ａ×ＹＭ〜ｂ×ＹＭ）にある被写体を良好に再現するために必要な階調数Ｍを決定する。この必要階調数を確保するためには、
被写体の輝度分布範囲［ａ×ＹＭ〜ｂ×ＹＭ］が必要階調数［Ｍ］以上であればよい。すなわち、
ｂ×ＹＭ−ａ×ＹＭ≧Ｍ・・・（式１）
上記式が満足されればよい。
このとき、上記（式１）の条件が満足され被写体の最低輝度を黒つぶれしない設定（ＴＬ以上）とすれば、主要被写体は黒つぶれしない。また、主要被写体が白とびしないためには、
ｂ×ＹＭ＜ＴＨ・・・（式２）
上記式が満足されればよい。
これらの式１、および式２より、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
上記式３を満足するように露出制御パラメータを制御すれば主要被写体の構成画素を白とびさせず、かつ主要被写体に十分な階調が確保できることとなる。撮像装置の制御部は、このようにして、被写体輝度分布範囲の白とび画素および黒つぶれ画素を排除または削減し、かつ撮影画像のダイナミックレンジが広くなるように制御目標平均輝度レベルを決定する処理を行なう。
画像全体において、
白とび部分の面積すなわち輝度がＴＨ以上の部分の面積をＳＨ、
黒つぶれ部分の面積すなわち輝度がＴＬ以下の部分の面積をＳＬとし、
ＳＨ、ＳＬの許容値をＲＨ、ＲＬとする。
上記［式３］を満たす範囲内でＳＨ、ＳＬを最小となるように露出を制御すれば主要被写体の階調を確保した上で最もダイナミックレンジの広い画像が得られる。
具体的な様々な画像のケース各々についての処理について説明する。
（ケース１：白とび面積（ＳＨ）のみが許容値（ＲＨ）より大きい場合）
たとえば白とび面積（ＳＨ）が許容値（ＲＨ）より大きく黒つぶれ面積（ＳＬ）が許容値（ＲＬ）以下（ＳＨ＞ＲＨ、ＳＬ≦ＲＬ）のときは、上述した式３、すなわち、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
上記式を満足する範囲内で、主要被写体平均輝度（ＹＭ）が小さくなるように露出制御パラメータを変更する。すなわち、全体として輝度を低下させて白とび面積を減少させる。
（ケース２：黒つぶれ面積（ＳＬ）のみが許容値（ＲＬ）より大きい場合）
白とび面積（ＳＨ）が許容値（ＲＨ）以下で黒つぶれ面積（ＳＬ）のみが許容値（ＲＬ）より大きい（ＳＨ≦ＲＨ、ＳＬ＞ＲＬ）ときは、上述した式３、すなわち、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
上記式を満足する範囲内で、主要被写体平均輝度（ＹＭ）が大きくなるように露出制御パラメータを変更する。すなわち、全体として輝度を高くして黒つぶれ面積を減少させる。
（ケース３：白とび面積（ＳＨ）、黒つぶれ面積（ＳＬ）ともに許容値以下の場合）
白とび面積（ＳＨ）、黒つぶれ面積（ＳＬ）ともに許容値以下（ＳＨ≦ＲＨ、ＳＬ≦ＲＬ）のときは露出制御パラメータを変更しなくても良いが、白とび面積（ＳＨ）、黒つぶれ面積（ＳＬ）の大きい方をより小さくするように露出制御パラメータを変更しても良いし、Ｓ／Ｎ比をより良くするために、上記［式３］の範囲内で主要被写体平均輝度（ＹＭ）が大きくなるように露出制御パラメータを変更しても良い。
（ケース４：白とび面積（ＳＨ）、黒つぶれ面積（ＳＬ）ともに許容値より大きい場合）
白とび面積（ＳＨ）、黒つぶれ面積（ＳＬ）ともに許容値より大きい（ＳＨ＞ＲＨ、ＳＬ＞ＲＬ）ときは許容値に比べてより大きく離れている方を軽減するように露出制御パラメータを変更する。
たとえば、白とびが目立つ画像、具体的には、
ＳＨ−ＲＨ＞ＳＬ−ＲＬ、
上記の関係式が成立する場合、上記［式３］、すなわち、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
上記式を満足する範囲内で、主要被写体平均輝度（ＹＭ）が小さくなるように露出制御パラメータを変更する。すなわち全体輝度を低下させて白とびをめだたなくする。
一方、黒つぶれが目立つ画像、具体的には、
ＳＨ−ＲＨ＜ＳＬ−ＲＬ、
上記の関係式が成立する場合、上記［式３］、すなわち、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
上記式を満足する範囲内で、主要被写体平均輝度（ＹＭ）が大きくなるように露出制御パラメータを変更する。すなわち全体輝度を上げて黒つぶれをめだたなくする。
なお、上記（ケース４）の場合は、適用する比較式（ＳＨ−ＲＨ＞ＳＬ−ＲＬ，ＳＨ−ＲＨ＜ＳＬ−ＲＬ）において両辺に重み付けをしても良い。すなわち、
（ＳＨ−ＲＨ）と（ＳＬ−ＲＬ）
を比較する場合、重み付けパラメータｃ，ｄを適用し、
ｃ×（ＳＨ−ＲＨ）とｄ×（ＳＬ−ＲＬ）
上記の重み付けパラメータを適用した値を算出して比較処理を行なう構成としてもよい。
例えば、白とびを少なくすることを重視するならば、
重み付けパラメータｃ，ｄの設定を、
ｃ＞ｄとし、
黒つぶれを少なくすることを重視するならば、
ｃ＜ｄ
とする。
どちらを重視するかについては、たとえば全体の輝度分布によって決定することが可能である。画像が高輝度に偏っている場合は白とびを重視し、逆ならば黒つぶれを重視する方法がある。前記比較式において差分の代わりに比率（ＳＨ／ＲＨ、ＳＬ／ＲＬ）を用いても良い。
以下、本発明の一実施例に係る撮像装置の実行する露出制御処理の具体的な処理シーケンスについて、図５に示すフローチャートを用いて説明をする。撮像装置では、電源が投入されて動作を開始すると、露出制御処理を、以下のステップＳ１０１から開始する。
ステップＳ１０１では制御部１２０は、内部メモリ１２２内に保持している露出制御パラメータに基づき露出制御を行う。内部メモリ１２２内には、図５に示すフロー制御の開始時には、例えば、予め不揮発性メモリ等にプリセットしておいた露出制御パラメータが格納される。また、本フロー制御が一回以上ループ処理された後には、内部メモリ１２２に前ループにおけるステップＳ１０４での処理で求められた新たな露出制御パラメータが格納される。
なお、露出制御パラメータは、先に説明したように、
（ａ）絞り羽根１３３の開口度の設定値、
（ｂ）電子シャッタスピードの設定値、
（ｃ）ＣＣＤ１０２から出力される画像信号の増幅度、すなわち、Ｓ／Ｈ・ＧＣ回路のゲイン（利得）の設定値、
これらの値であり、制御部１２０は、露出制御パラメータの値が大きくなれば画像を明るくする方向に露出を制御し、露出制御パラメータの値が小さくなれば画像を暗くする方向に露出を制御する。
具体的には、制御部１２０は、
（１）露出制御パラメータが大きくなれば、
（１ａ）絞り羽根１３３の開口度を大きくする（絞り羽根１３３を開く）、
（１ｂ）電子シャッタスピードを遅くする（ＣＣＤ１０２の露光時間を長くする）、
（１ｃ）ＣＣＤ１０２から出力される画像信号の増幅度を大きくする（アナログ信号処理部１０４におけるＳ／Ｈ・ＧＣ回路のゲイン（利得）を大きくする）
といった方向に制御を実行し、
（２）露出制御パラメータが小さくなれば、
（２ａ）絞り羽根１３３の開口度を小さくする（絞り羽根１３３を閉じる）、
（２ｂ）電子シャッタスピードを早くする（ＣＣＤ１０２の露光時間を短くする）、
（２ｃ）ＣＣＤ１０２から出力される画像信号の増幅度を小さくする（アナログ信号処理部１０４におけるＳ／Ｈ・ＧＣ回路のゲイン（利得）を小さくする）
といった方向に制御をする。
ステップＳ１０２では画面内の主要被写体を検出する。検出方法は前述のように各種の方法がある。すなわち、
＊画面の中央部分を主要被写体とする手法、
＊画面を複数領域に分割してその輝度分布から主要被写体を推定する手法、
＊画像のヒストグラムから主要被写体を推定する手法、
＊ユーザが主要被写体を指定する手法、
これらの種々の方法が適用可能である。また、主要被写体を特定せず画面全体を主要被写体として判断した処理を行なう構成としてもよい。
ステップＳ１０３では、ステップＳ１０２において特定した主要被写体の平均輝度［ＹＭ］、輝度分布範囲［ａ×ＹＭ〜ｂ×ＹＭ（０≦ａ≦１、１≦ｂ）］、および画面全体の白とび面積［ＳＨ］、黒つぶれ面積［ＳＬ］を求める。なお、これらの算出処理は、前述したように検波部１１０において実行し、算出結果を制御部１２０に入力する構成としてもよいし、専用の光学センサを用いて、これらの値の算出処理を行なう構成としてもよい。また、検波部や光学センサを制御部の一構成用素として、制御部においてこれらの処理を実行する構成としてもよい。
ステップＳ１０４では、前述の［式３］、すなわち、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
に示す輝度制御範囲を算出する。なお、前述したように輝度分布範囲（ａ×ＹＭ〜ｂ×ＹＭ）にある被写体を良好に再現するために必要な階調数をＭとする。Ｍは想定する主要被写体の種類やノイズのレベルに応じて決定される。
ステップＳ１０５では白とび面積［ＳＨ］、黒つぶれ面積［ＳＬ］から露出制御パラメータを変更し、制御部１２０の内部メモリ１２２に格納する。ステップＳ１０５の処理の詳細は後に述べる。
制御部１２０は、ステップＳ１０１からステップＳ１０５までの処理を、例えば１フレーム毎に行い、次のフレームに対する処理を行う際には、再度ステップＳ１０１から処理を開始する。
ステップ１０５における処理、すなわち、白とび面積［ＳＨ］、黒つぶれ面積［ＳＬ］から露出制御パラメータを変更し、制御部１２０の内部メモリ１２２に格納する処理の詳細について、図６に示すフローチャートを参照して説明する。図６に示すフローは制御部１２０の処理として実行される露出制御パラメータ決定処理である。
ステップＳ２０１では白とび面積［ＳＨ］とその許容値［ＲＨ］を比較しＳＨ≦ＲＨならばステップＳ２０２に移り、ＳＨ＞ＲＨならばステップＳ２０３に移る。
ステップＳ２０２では黒つぶれ面積［ＳＬ］とその許容値［ＲＬ］を比較しＳＬ≦ＲＬならばステップＳ２０４に移り、ＳＬ＞ＲＬならば画像を明るくしたほうが良いと判断してステップＳ２０６に移る。
ステップＳ２０３では黒つぶれ面積［ＳＬ］とその許容値［ＲＬ］を比較しＳＬ≦ＲＬならば画像を暗くしたほうが良いと判断してステップＳ２０７に移り、ＳＬ＞ＲＬならばステップＳ２０５に移る。
ステップＳ２０４では白とび面積［ＳＨ］と黒つぶれ面積［ＳＬ］を比較しＳＨ＞ＳＬならば画像を暗くしたほうが良いと判断してステップＳ２０７に移り、ＳＨ＜ＳＬならば画像を明るくしたほうが良いと判断してステップＳ２０６に移り、ＳＨ＝ＳＬならば処理を終了する。
ステップＳ２０５では白とび面積［ＳＨ］とその許容値［ＲＨ］の差分（ＳＨ−ＲＨ）と黒つぶれ面積［ＳＬ］とその許容値［ＲＬ］の差分（ＳＬ−ＲＬ）を比較しＳＨ−ＲＨ＞ＳＬ−ＲＬならば画像を暗くしたほうが良いと判断してステップＳ２０７に移り、ＳＨ−ＲＨ＜ＳＬ−ＲＬならば画像を明るくしたほうが良いと判断してステップＳ２０６に移り、ＳＨ−ＲＨ＝ＳＬ−ＲＬならば処理を終了する。
ステップＳ２０６では画像を明るくするために露出制御パラメータを増加させて処理を終了する。この場合、具体的には、制御部１２０は、露出制御パラメータを増加させて、
（１ａ）絞り羽根１３３の開口度を大きくする（絞り羽根１３３を開く）、
（１ｂ）電子シャッタスピードを遅くする（ＣＣＤ１０２の露光時間を長くする）、
（１ｃ）ＣＣＤ１０２から出力される画像信号の増幅度を大きくする（アナログ信号処理部１０４におけるＳ／Ｈ・ＧＣ回路のゲイン（利得）を大きくする）
といった方向での露出制御を実行することになる。
ステップＳ２０７では画像を暗くするために露出制御パラメータを減少させて処理を終了する。この場合、具体的には、制御部１２０は、
（２ａ）絞り羽根１３３の開口度を小さくする（絞り羽根１３３を閉じる）、
（２ｂ）電子シャッタスピードを早くする（ＣＣＤ１０２の露光時間を短くする）、
（２ｃ）ＣＣＤ１０２から出力される画像信号の増幅度を小さくする（アナログ信号処理部１０４におけるＳ／Ｈ・ＧＣ回路のゲイン（利得）を小さくする）
といった方向での露出制御を実行することになる。
主要被写体の輝度分布範囲、すなわち、
輝度分布範囲＝ａ×ＹＭ〜ｂ×ＹＭ（０≦ａ≦１、１≦ｂ）、
は、画像の中で特に良好に再現したい輝度範囲であり、上述した実施例では、主要被写体の輝度分布範囲として処理をおこなってきたが、たとえば主要被写体とその周囲を含む画像の輝度分布範囲とする構成としてもよい。ただしこれらの輝度分布範囲の設定に応じて前述の必要階調数［Ｍ］に最適な値を設定することが必要である。
本発明の露出制御を実行することによって得られる画像データについて、従来の露出制御方式によって得られる画像データと比較して説明する。以下、画像のタイプ毎に、順次説明する。
（処理例１．被写体のダイナミックレンジが小さい場合）
まず、被写体のダイナミックレンジが小さい場合における従来の露出制御によって撮影した画像と本発明の露出制御を適用して撮影した画像を比較検証する。図７は、
（ａ）従来の露出制御によって撮影した画像の輝度分布を示すヒストグラム、
（ｂ）本発明の露出制御を適用して撮影した画像の輝度分布を示すヒストグラム、
である。
なお、（ｂ）に示す画像データは、本発明の撮像装置におけるＡ／Ｄコンバータ１０５の出力画像に相当する。このＡ／Ｄコンバータ１０５の出力画像に対してデジタル信号処理部（ＤＳＰ）１０６において、適宜、補正処理が実行されて最終出力画像が得られる。デジタル信号処理部（ＤＳＰ）１０６において実行する補正処理については後段で説明する。
なお、図７（ａ）に示す従来方式の画像では主要被写体の平均輝度［ＹＭ］を輝度レベルの中心付近に制御するものとした。この場合、従来方式の図７（ａ）では高輝度部分のデータ、すなわち図７（ａ）に示す輝度領域３０１の高輝度データが存在せずＡ／Ｄコンバータ１０５のダイナミックレンジが無駄になっている。
一方、本発明に従った露出制御を実行して撮影した画像の輝度分布を示す図７（ｂ）では、黒つぶれ閾値［ＴＬ］〜白とび閾値［ＴＨ］間にデータが存在し、有効にＡ／Ｄコンバータ１０５のダイナミックレンジを利用した画像データが得られる。
このケースは、先に説明したケース３の場合に相当する。すなわち、先に説明したように、（ケース３：白とび面積（ＳＨ）、黒つぶれ面積（ＳＬ）ともに許容値以下の場合）では、露出制御パラメータを変更しなくても良いが、白とび面積（ＳＨ）、黒つぶれ面積（ＳＬ）の大きい方をより小さくするように露出制御パラメータを変更しても良いし、Ｓ／Ｎ比をより良くするために、上記［式３］の範囲内で主要被写体平均輝度（ＹＭ）が大きくなるように露出制御パラメータを変更しても良い。
本処理例は、主要被写体平均輝度（ＹＭ）が大きくなるように露出制御パラメータを変更した例である。この結果、図７（ｂ）に示すように、黒つぶれ閾値［ＴＬ］〜白とび閾値［ＴＨ］間にデータが存在し、有効にＡ／Ｄコンバータ１０５のダイナミックレンジを利用した画像データが得られる。
（処理例２．被写体のダイナミックレンジが大きい場合）
次に、被写体のダイナミックレンジが大きい場合における従来の露出制御によって撮影した画像と本発明の露出制御を適用して撮影した画像を比較検証する。図８は、
（ａ）従来の露出制御によって撮影した画像の輝度分布を示すヒストグラム、
（ｂ）本発明の露出制御を適用して撮影した画像の輝度分布を示すヒストグラム、
である。
図８に示す例は、被写体のダイナミックレンジが大きく、特に高輝度側に大きく広がっていて画像全体の白とび面積が許容値以下に出来ない場合の例である。なお、従来方式では主要被写体の平均輝度［ＹＭ］を輝度レベルの中心付近に制御するものとした。
図８（ａ）に示す従来方式の露出制御によって得られる画像の輝度分布ヒストグラムでは、白とび面積、すなわち輝度レベルで白とび閾値［ＴＨ］以上の画素数が多くなっているが、図８（ｂ）に示す本発明に従った露出制御を実行して得られる画像の輝度分布ヒストグラムでは白とび面積、すなわち輝度レベルで白とび閾値［ＴＨ］以上の画素数が大幅に小さくなっている。
なお、図８においても、（ｂ）に示す画像データは、Ａ／Ｄコンバータ１０５の出力画像に相当し、デジタル信号処理部（ＤＳＰ）１０６において、さらなる補正処理を行って最終画像を生成して出力する。この処理については後段で説明する。
この図８に示すケースは、先に説明したケース１の場合に相当する。すなわち、本発明に従った露出制御では、白とび面積（ＳＨ）のみが許容値（ＲＨ）より大きい場合の処理に相当する。白とび面積（ＳＨ）が許容値（ＲＨ）より大きく黒つぶれ面積（ＳＬ）が許容値（ＲＬ）以下（ＳＨ＞ＲＨ、ＳＬ≦ＲＬ）のときは、上述した式３、すなわち、
Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・（式３）
上記式を満足する範囲内で、主要被写体平均輝度（ＹＭ）が小さくなるように露出制御パラメータを変更する。結果として、全体として輝度を低下させて白とび面積を減少させることが可能となり、図８（ｂ）に示すような輝度分布の画像、すなわち白とび画素の面積を小さくした画像データが得られる。
以上、説明したように本発明に従った露出制御方式を適用することで、Ａ／Ｄコンバータ１０５のダイナミックレンジを最大限有効活用することが可能となる。しかし、上述した処理においては、主要被写体の平均輝度［ＹＭ］の調整を行うため、このままの調整画像を出力してしまうと、本来の被写体の平均輝度と異なる平均輝度を持つ画像となってしまうことがある。
そこで、本発明の撮像装置では、最終的な出力画像において最適な画像とするためにデジタル信号処理部（ＤＳＰ）１０６において主要被写体の輝度が最適になるように階調補正を行う。階調補正特性は基本的に主要被写体の平均輝度によって決定されるが、さらに画像の輝度分布に応じて最適化することでより好ましい輝度再現を実現することが出来る。
たとえば主要被写体の平均輝度を輝度レベルの中心に補正するとした場合の階調補正例について図９を参照して説明する。
図９は、図７（ｂ）を参照して説明した画像データのように、本発明に従った露出制御において主要被写体の平均輝度［ＹＭ］を中心値より大きい値に制御した場合の例を示している。図９には、（ａ），（ｂ），（ｃ）のグラフを示しているが、各グラフは、以下のデータである。
図９（ａ）は、本発明の露出制御処理によって撮影された画像の輝度分布ヒストグラムである。図７（ｂ）に相当し、Ａ／Ｄコンバータ１０５の出力する画像に相当する。
図９（ｂ）は、デジタル信号処理部（ＤＳＰ）１０６において主要被写体の輝度が最適になるように階調補正を行うために適用する階調補正用の変換テーブルである。デジタル信号処理部（ＤＳＰ）１０６はこのような階調補正用の変換テーブルをメモリに保持し、この変換テーブルを適用した階調補正処理を実行する。
図９（ｃ）は、図９（ｂ）に示す階調補正テーブルを適用した階調補正処理を実行した結果得られる補正後画像データの輝度分布ヒストグラムである。
デジタル信号処理部（ＤＳＰ）１０６は、図９（ａ）に示す輝度分布を持つ画像データをＡ／Ｄコンバータ１０５から入力して、図９（ｂ）に示す階調補正用の変換テーブルを適用した階調補正処理を実行して、図９（ｃ）に示す輝度分布を持つ画像データを生成して出力する。
図９に示す例は、図７を参照して説明した本発明に従った露出制御、すなわち、主要被写体の平均輝度［ＹＭ］を中心値より大きい値に制御した場合の補正処理例を示している。図９（ａ）が、本発明の露出制御処理によって撮影された画像の輝度分布ヒストグラムであり、図７（ｂ）に相当し、Ａ／Ｄコンバータ１０５の出力する画像に相当する。このまま出力すると、主要被写体全体が明るすぎる輝度を持つ画像となってしまう。デジタル信号処理部（ＤＳＰ）１０６は、この輝度分布画像を図９（ｂ）に示す階調補正用の変換テーブルを適用した階調補正処理を実行して、図９（ｃ）に示す輝度分布を持つ画像データを生成して出力する。
図９（ｂ）に示す階調補正用の変換テーブルは横軸が入力輝度レベルであり、縦軸が出力輝度レベルとなっている。例えば、図９（ａ）に示す平均輝度［ＹＭ］＝Ｐ１は、変換テーブルにおいて、出力輝度［Ｐ２］に変換される。
この変換テーブルによる輝度レベルの変換処理によって、図９（ａ）に示される主要被写体の平均輝度［ＹＭ］＝Ｐ１は、図９（ｃ）に示すように出力画像の出力輝度の最適値、例えばほぼ中心値に変換される。さらに、この変換テーブルの変換により、主要被写体の輝度分布範囲に多くの階調が割り当てられる。
図９（ｂ）に示す変換テーブルは、傾きがほぼ４５度の領域Ｑ２と、４５度より傾斜が小さい領域Ｑ１，Ｑ３を有する。傾きがほぼ４５度の領域Ｑ２では、入力輝度値と出力輝度値がほぼ１対１に対応するが、傾きが小さい領域Ｑ１，Ｑ３では、入力輝度値の範囲が圧縮されて輝度範囲が小さくされた出力とされる。この変換テーブルの変換により、主要被写体の輝度分布範囲に多くの階調が割り当てられ、その他の低輝度領域や高輝度領域の階調の割り当ては少なくなる。
この変換テーブルによって変換された補正画像においては、図９（ｃ）に示すように、主要被写体の平均輝度［ＹＭ２］＝Ｐ２は、出力画像の持つ輝度範囲の最適値、例えばほぼ中心に位置するようになり、最適な出力画像が得られる。
図１０も、図９と同様、デジタル信号処理部（ＤＳＰ）１０６において主要被写体の輝度が最適になるように階調補正を行った例を示している。図１０にも、
（ａ）本発明の露出制御処理によって撮影された画像の輝度分布ヒストグラム
（ｂ）デジタル信号処理部（ＤＳＰ）１０６において適用する階調補正用の変換テーブル
（ｃ）（ｂ）に示す階調補正テーブルを適用した階調補正処理を実行した結果得られる補正後画像データの輝度分布ヒストグラム
これらのデータを示している。
ただし、図１０（ｂ）に示す変換テーブルは、図９（ｂ）に示す変換テーブルとは異なる変換処理を行なうテーブルである。デジタル信号処理部（ＤＳＰ）１０６は、階調補正用の様々な変換テーブルをメモリに保持し、最適な変換テーブルを選択して適用して階調補正処理を実行する。
図１０（ａ）に示す露出制御の結果得られた画像（Ａ／Ｄコンバータ１０５の出力画像）も、図９と同様、被写体の平均輝度［ＹＭ］を画像全体の輝度分布の中心値より大きい値に制御している。従って、この被写体の平均輝度［ＹＭ］を画像全体の輝度分布の中心に設定する操作を図１０（ｂ）に示す変換テーブルを用いて実行する点は、図９を参照して説明した変換処理と同様である。
図１０に示す例では、さらに、図１０（ａ）に示す露出制御の結果得られた画像の輝度分布において、度数が非常に少ない部分がある。図１０（ａ）に示す輝度領域３２１である。この領域に多くの階調を割り当てることは結果として無駄になることが明らかであるため、この輝度領域の階調数を減らし度数の多い部分により多くの階調を割り当てるという変換処理を実行する。
このような変換処理を行なうために適用する変換テーブルが図１０（ｂ）に示す変換テーブルであり、図１０（ａ）に示す輝度領域３２１に対応する領域の傾斜を小さくした図１０（ｂ）に示す変換テーブルが適用される。この傾斜の小さい部分は、入力輝度範囲より出力輝度の範囲が小さくなり、階調の割り当てがより少なくなる。
この変換テーブルによって変換された補正画像においては、図１０（ｃ）に示すように、主要被写体の平均輝度［ＹＭ２］は、出力画像の持つ輝度範囲のほぼ中心に位置するようになり、また、度数の少ない部分の輝度範囲が狭められ、画像に適合した最適な出力画像が得られる。
なお、デジタル信号処理部（ＤＳＰ）１０６は、階調補正用の変換テーブルを適用した階調補正処理を実行するが、画像に応じた変換処理を行なうばかりでなく、階調補正特性（変換特性）を画面全体で一様とするのではなく、画素ごとあるいはブロックごとに変えた補正特性（変換特性）を適用する構成としてもよい。
このようにデジタル信号処理部（ＤＳＰ）１０６において、露出制御で決定された輝度レベルや輝度分布に応じた階調補正を行うことによりＡ／Ｄコンバータ１０５のダイナミックレンジを最大限活用しつつ、最終画像における輝度再現を最適にすることが出来る。
なお、デジタル信号処理部（ＤＳＰ）１０６は、階調補正の他、ガンマ補正などの階調補正を行なう構成であり、階調補正特性はこれらの階調補正特性を考慮して決定される。
ＲＡＷ画像記録モードで記録されるＲＡＷ画像には露出制御で決定された前記主要被写体の平均輝度［ＹＭ］の値も記録される。撮像装置の制御部の制御により、この被写体の平均輝度［ＹＭ］の値の記録処理が実行される。ＲＡＷ画像を画像再生装置やコンピュータの現像プログラムで現像処理する場合には前記［ＹＭ］の値に合わせた階調補正を行うことで最適な輝度再現が得られる。ここで行う階調補正はデジタル信号処理回路１０６での階調補正と同様である。また、画像再生装置やコンピュータの現像プログラムにおいて画像解析を行い、さらに最適な階調補正を行うことも出来る。
例えば、ＰＣ等の画像処理装置において、入力画像に基づく階調補正を実行する場合、図９、図１０を参照して説明した階調補正を入力画像に対して実行して出力画像または記録画像を生成する。例えば、画像処理装置は、画像データの補正処理を実行する画像信号処理部を有し、画像信号処理部において画像データの被写体の平均輝度レベルを、画像の出力輝度分布のほぼ中心に設定する階調変換処理を実行する。さらに、画像信号処理部は、画像データの輝度分布を解析し、主要被写体領域により多くの階調を割り当てる階調変換処理や、出現輝度の少ない領域により少ない階調を割り当てる階調変換処理を実行する。これらの変換処理は、例えば、先に、図９、図１０を参照して説明した入力輝度値に基づいて出力輝度値を決定する変換テーブルを適用して実行する。このような処理によって黒つぶれや白とびを削減した高品質な画像データを出力することができる。
なお、図２に示す撮像装置１００において、Ａ／Ｄコンバータ１０５の出力データはＣＣＤ１０２の色フィルタに対応したデータであり、たとえば原色フィルタの場合は輝度信号ではなくＲＧＢ信号で構成されるが、そこから適当な信号を生成することにより本方式を適用することが出来る。たとえば、ＲＧＢ信号から合成した輝度信号に対して前記露出制御を適用できる。あるいはＧ信号を輝度信号の代わりに用いて露出制御を適用できる。
なお、上述した実施例はデジタルスチルカメラとしたがデジタルビデオカメラにおいても本発明は適用可能である。また撮像素子はＣＣＤとしたが、たとえばＣＭＯＳなどの他の撮像素子でも良い。
本発明の実施の形態の撮像装置では、主要被写体の平均輝度と輝度分布範囲から被写体の階調が十分取れる輝度制御範囲を求め、その範囲内で白とび、黒つぶれが最小限になるように露出制御を行う。さらにデジタル信号処理回路やＲＡＷ現像処理プログラムにおいて露出制御結果情報に基づき階調補正を行うことで最終画像における輝度再現を最適にすることが出来る。このように輝度制御範囲を設定することで露出の過度の補正などを防ぎ露出制御の誤制御が防止可能となる。また、露出制御においては撮像素子のダイナミックレンジを最大限に活かすことを第一とし、信号処理で最終画像の輝度再現を最適にするように補正するため、従来よりも広いダイナミックレンジの画像を撮像することが出来る。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例の構成によれば、撮像装置において取得される画像データに基づいて、主要被写体の平均輝度および輝度分布範囲を算出し、算出した主要被写体輝度分布範囲と、主要被写体対応の必要階調数とに基づいて、被写体の制御目標平均輝度レベルを決定し、撮影画像における主要被写体が制御目標平均輝度レベルを持つように露出制御を実行する構成としたので、主要被写体の白とびや黒つぶれが抑制され、最適な露出制御による画像撮影が可能となる。さらに、本発明の一実施例の構成によれば、露出制御によって平均輝度のレベルがずれた被写体像について、平均輝度レベルを出力輝度分布のほぼ中央に設定する階調変換処理を実行する構成としたので出力画像における被写体像をバランスのとれた明るさの画像とすることができる。
本発明の一実施例に係る撮像装置の外観構成例について説明する図である。 本発明の一実施例に係る撮像装置のハードウェア構成例について説明する図である。 サンプル画像データにおける、画像および被写体対応の輝度値と輝度分布の関係を示すヒストグラム（度数分布）の一例について説明する図である。 被写体表現のために必要な階調数の設定例について説明する図である。 本発明の一実施例に係る撮像装置の実行する露出制御処理の具体的な処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る撮像装置の実行する白とび面積［ＳＨ］、黒つぶれ面積［ＳＬ］から露出制御パラメータを変更し、制御部１２０の内部メモリ１２２に格納する処理シーケンスについて説明するフローチャートを示す図である。 被写体のダイナミックレンジが小さい場合における従来の露出制御によって撮影した画像と本発明の露出制御を適用して撮影した画像を比較検証する図である。 被写体のダイナミックレンジが大きい場合における従来の露出制御によって撮影した画像と本発明の露出制御を適用して撮影した画像を比較検証する図である。 デジタル信号処理部（ＤＳＰ）において被写体の平均輝度を輝度レベルの中心に補正する階調補正例について説明する図である。 デジタル信号処理部（ＤＳＰ）において実行する階調補正例について説明する図である。
符号の説明
１０ 撮像装置
１１ 電源スイッチ
１２ レリーズスイッチ
１３ モニタ
１４ イメージャ
１５ 操作ボタン
１６ ビューファインダ
１７ フォーカスレンズ
１８ ズームレンズ
１９ モードダイアル
２１ フォーカスレンズモータ（Ｍ１）
２２ ズームレンズモータ（Ｍ２）
２５ 絞り羽根
２６ 絞り駆動部
３１ ストロボ発光手段
１００ 撮像装置
１０１ レンズ部
１０２ 撮像素子
１０３ タイミングジェネレータ（ＴＡ）
１０４ アナログ信号処理部
１０５ Ａ／Ｄコンバータ
１０６ デジタル信号処理部
１０７ モニタ
１０８ ビューファインダ
１０９ 記録デバイス
１１０ 検波部
１１５ 操作部
１１６ シャッタ判定部
１２０ システムコントローラ
１２１ ＣＰＵ
１２２ メモリ
１３１ ズームレンズ
１３２ フォーカスレンズ
１３３ 絞り羽根
１３４ 絞り羽根駆動部

Claims (32)

  1. 露出制御処理を実行する撮像装置において、
    前記撮像装置において取得される画像データに基づいて被写体の平均輝度および輝度分布範囲を算出する手段と、
    算出された前記平均輝度および前記輝度分布範囲に基づいて被写体を良好に再現できる制御目標平均輝度レベル範囲を定める手段と、
    設定した前記制御目標平均輝度レベルに応じた露出制御を実行する制御手段を備え、
    前記制御手段は、
    被写体輝度分布範囲の白とび画素および黒つぶれ画素を排除または削減し、かつ撮影画像のダイナミックレンジが広くなるように前記制御目標平均輝度レベルを決定する処理を行なう構成であることを特徴とする撮像装置。
  2. 前記制御部は、
    被写体の平均輝度＝ＹＭ、
    被写体の輝度分布範囲＝ａ×ＹＭ〜ｂ×ＹＭ（０≦ａ≦１、１≦ｂ）、
    白とびの判断をする輝度閾値（スレッショルドレベル）である白とび閾値を、
    白とび閾値＝ＴＨ、
    被写体対応の必要階調数＝Ｍ、
    としたとき、
    Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・式Ａ、
    上記式Ａを満足するように、被写体の制御目標平均輝度レベルＹＭを決定し、撮影画像における被写体が前記制御目標平均輝度レベルＹＭを持つように露出制御を実行する構成であることを特徴とする請求項１に記載の撮像装置。
  3. 前記制御部は、
    撮像装置の取得画像データに含まれる白とび画素の面積である白とび面積［ＳＨ］と、黒つぶれ画素の面積である黒つぶれ面積［ＳＬ］を算出し、
    前記式Ａを満足し、かつ前記白とび面積［ＳＨ］と、前記黒つぶれ面積［ＳＬ］の総計が最小値となるように前記制御目標平均輝度レベル［ＹＭ］を設定する露出制御を行う構成であることを特徴とする請求項２に記載の撮像装置。
  4. 前記制御部は、
    撮像装置の取得画像データに含まれる白とび画素の面積である白とび面積［ＳＨ］と、黒つぶれ画素の面積である黒つぶれ面積［ＳＬ］を算出し、白とび面積［ＳＨ］が予め定めた許容値［ＲＨ］より大きいか、または、黒つぶれ面積［ＳＬ］が予め定めた許容値［ＲＬ］より大きい場合に、許容値を超えた白とび面積［ＳＨ］または黒つぶれ面積［ＳＬ］を小さくするように前記制御目標平均輝度レベル［ＹＭ］を設定する露出制御を行う構成であることを特徴とする請求項１に記載の撮像装置。
  5. 前記制御部は、
    撮像装置の取得画像データから主要被写体を判別し、主要被写体の平均輝度および輝度分布範囲を算出し、算出した主要被写体輝度分布範囲と、主要被写体対応の必要階調数とに基づいて、主要被写体の制御目標平均輝度レベルを決定し、撮影画像における主要被写体が前記制御目標平均輝度レベルを持つように露出制御を実行する制御部を有することを特徴とする請求項１に記載の撮像装置。
  6. 前記制御部は、
    被写体対応の必要階調数を、被写体の種類、または撮影モード、または被写体の大きさ、または被写体の重要度、少なくともこれらいずれかの情報を適用して決定する構成であることを特徴とする請求項１に記載の撮像装置。
  7. 前記撮像装置は、さらに、
    前記制御部における露出制御の結果取得された画像データの補正処理を実行するデジタル信号処理部を有し、
    前記デジタル信号処理部は、
    前記制御部における露出制御の結果取得された画像データの被写体の平均輝度レベルを、画像の出力輝度分布の最適値に設定する階調変換処理を実行する構成であることを特徴とする請求項１〜６いずれかに記載の撮像装置。
  8. 前記デジタル信号処理部は、
    前記制御部における露出制御の結果取得された画像データの輝度分布を解析し、主要被写体領域により多くの階調を割り当てる階調変換処理を実行する構成であることを特徴とする請求項７に記載の撮像装置。
  9. 前記デジタル信号処理部は、
    前記制御部における露出制御の結果取得された画像データの輝度分布を解析し、出現輝度の少ない領域により少ない階調を割り当てる階調変換処理を実行する構成であることを特徴とする請求項７に記載の撮像装置。
  10. 前記デジタル信号処理部は、
    入力輝度値に基づいて出力輝度値を決定する変換テーブルを適用して、階調変換処理を実行する構成であることを特徴とする請求項７に記載の撮像装置。
  11. 前記制御部は、
    撮像装置において取得される画像データであるＲＡＷ画像を記録デバイスに出力し記録する処理に際して、前記制御目標平均輝度レベルの値をＲＡＷ画像とともに記録デバイスに出力し記録する処理制御を実行する構成であることを特徴とする請求項１に記載の撮像装置。
  12. 画像データの補正処理を実行する画像処理装置であり、
    画像データの補正処理を実行する画像信号処理部を有し、
    前記画像信号処理部は、
    画像データの被写体の平均輝度レベルを、画像の出力輝度分布の最適値に設定する階調変換処理を実行する構成であることを特徴とする画像処理装置。
  13. 前記画像信号処理部は、
    画像データの輝度分布を解析し、主要被写体領域により多くの階調を割り当てる階調変換処理を実行する構成であることを特徴とする請求項１２に記載の画像処理装置。
  14. 前記画像信号処理部は、
    画像データの輝度分布を解析し、出現輝度の少ない領域により少ない階調を割り当てる階調変換処理を実行する構成であることを特徴とする請求項１２に記載の画像処理装置。
  15. 前記画像信号処理部は、
    入力輝度値に基づいて出力輝度値を決定する変換テーブルを適用して、階調変換処理を実行する構成であることを特徴とする請求項１２に記載の画像処理装置。
  16. 撮像装置において、露出制御処理を実行する撮像装置制御方法であり、
    制御部が、前記撮像装置において取得される画像データに基づいて被写体の平均輝度および輝度分布範囲を算出するステップと、
    制御部が、算出された前記平均輝度および前記輝度分布範囲に基づいて被写体を良好に再現できる制御目標平均輝度レベル範囲を定める制御目標平均輝度レベル決定ステップと、
    制御部が、設定した前記制御目標平均輝度レベルに応じた露出制御を実行する制御ステップとを実行し、
    前記制御目標平均輝度レベル決定ステップは、
    被写体輝度分布範囲の白とび画素および黒つぶれ画素を排除または削減し、かつ撮影画像のダイナミックレンジが広くなるように前記制御目標平均輝度レベルを決定する処理を行なうステップであることを特徴とする撮像装置制御方法。
  17. 前記制御部は、
    被写体の平均輝度＝ＹＭ、
    被写体の輝度分布範囲＝ａ×ＹＭ〜ｂ×ＹＭ（０≦ａ≦１、１≦ｂ）、
    白とびの判断をする輝度閾値（スレッショルドレベル）である白とび閾値を、
    白とび閾値＝ＴＨ、
    被写体対応の必要階調数＝Ｍ、
    としたとき、
    Ｍ／（ｂ−ａ）≦ＹＭ＜ＴＨ／ｂ・・式Ａ、
    上記式Ａを満足するように、被写体の制御目標平均輝度レベルＹＭを決定し、撮影画像における被写体が前記制御目標平均輝度レベルＹＭを持つように露出制御を実行することを特徴とする請求項１６に記載の撮像装置制御方法。
  18. 前記制御部は、
    撮像装置の取得画像データに含まれる白とび画素の面積である白とび面積［ＳＨ］と、黒つぶれ画素の面積である黒つぶれ面積［ＳＬ］を算出し、
    前記式Ａを満足し、かつ前記白とび面積［ＳＨ］と、前記黒つぶれ面積［ＳＬ］の総計が最小値となるように前記制御目標平均輝度レベル［ＹＭ］を設定する露出制御を行うことを特徴とする請求項１７に記載の撮像装置制御方法。
  19. 前記制御部は、
    撮像装置の取得画像データに含まれる白とび画素の面積である白とび面積［ＳＨ］と、黒つぶれ画素の面積である黒つぶれ面積［ＳＬ］を算出し、白とび面積［ＳＨ］が予め定めた許容値［ＲＨ］より大きいか、または、黒つぶれ面積［ＳＬ］が予め定めた許容値［ＲＬ］より大きい場合に、許容値を超えた白とび面積［ＳＨ］または黒つぶれ面積［ＳＬ］を小さくするように前記制御目標平均輝度レベル［ＹＭ］を設定する露出制御を行うことを特徴とする請求項１６に記載の撮像装置制御方法。
  20. 前記制御部は、
    撮像装置の取得画像データから主要被写体を判別し、主要被写体の平均輝度および輝度分布範囲を算出し、算出した主要被写体輝度分布範囲と、主要被写体対応の必要階調数とに基づいて、主要被写体の制御目標平均輝度レベルを決定し、撮影画像における主要被写体が前記制御目標平均輝度レベルを持つように露出制御を実行することを特徴とする請求項１６に記載の撮像装置制御方法。
  21. 前記制御部は、
    被写体対応の必要階調数を、被写体の種類、または撮影モード、または被写体の大きさ、または被写体の重要度、少なくともこれらいずれかの情報を適用して決定することを特徴とする請求項１６に記載の撮像装置制御方法。
  22. 前記撮像装置制御方法は、さらに、
    デジタル信号処理部が、前記制御部における露出制御の結果取得された画像データの補正処理を実行するデジタル信号処理ステップを有し、
    前記デジタル信号処理ステップは、
    前記制御部における露出制御の結果取得された画像データの被写体の平均輝度レベルを、画像の出力輝度分布の最適値に設定する階調変換処理を実行するステップであることを特徴とする請求項１６〜２１いずれかに記載の撮像装置制御方法。
  23. 前記デジタル信号処理ステップは、
    前記制御部における露出制御の結果取得された画像データの輝度分布を解析し、主要被写体領域により多くの階調を割り当てる階調変換処理を実行するステップであることを特徴とする請求項２２に記載の撮像装置制御方法。
  24. 前記デジタル信号処理ステップは、
    前記制御部における露出制御の結果取得された画像データの輝度分布を解析し、出現輝度の少ない領域により少ない階調を割り当てる階調変換処理を実行するステップであることを特徴とする請求項２２に記載の撮像装置制御方法。
  25. 前記デジタル信号処理ステップは、
    入力輝度値に基づいて出力輝度値を決定する変換テーブルを適用して、階調変換処理を実行することを特徴とする請求項２２に記載の撮像装置制御方法。
  26. 前記撮像装置制御方法は、さらに、
    前記制御部が、撮像装置において取得される画像データであるＲＡＷ画像を記録デバイスに出力し記録する処理に際して、前記制御目標平均輝度レベルの値をＲＡＷ画像とともに記録デバイスに出力し記録する処理を実行することを特徴とする請求項１６に記載の撮像装置制御方法。
  27. 画像処理装置において、画像データの補正処理を実行する画像処理方法であり、
    画像信号処理部において画像データの補正処理を実行する画像信号処理ステップを有し、
    前記画像信号処理ステップは、
    画像データの被写体の平均輝度レベルを、画像の出力輝度分布の最適値に設定する階調変換処理を実行するステップであることを特徴とする画像処理方法。
  28. 前記画像信号処理ステップは、
    画像データの輝度分布を解析し、主要被写体領域により多くの階調を割り当てる階調変換処理を実行するステップであることを特徴とする請求項２７に記載の画像処理方法。
  29. 前記画像信号処理ステップは、
    画像データの輝度分布を解析し、出現輝度の少ない領域により少ない階調を割り当てる階調変換処理を実行するステップであることを特徴とする請求項２７に記載の画像処理方法。
  30. 前記画像信号処理ステップは、
    入力輝度値に基づいて出力輝度値を決定する変換テーブルを適用して、階調変換処理を実行することを特徴とする請求項２７に記載の画像処理方法。
  31. 撮像装置において、露出制御処理を実行させるコンピュータ・プログラムであり、
    制御部に、前記撮像装置において取得される画像データに基づいて被写体の平均輝度および輝度分布範囲を算出させるステップと、
    制御部に、算出された前記平均輝度および前記輝度分布範囲に基づいて被写体を良好に再現できる制御目標平均輝度レベル範囲を決定させる制御目標平均輝度レベル決定ステップと、
    制御部に、設定した前記制御目標平均輝度レベルに応じた露出制御を実行させるステップとを実行させ、
    前記制御目標平均輝度レベル決定ステップは、
    被写体輝度分布範囲の白とび画素および黒つぶれ画素を排除または削減し、かつ撮影画像のダイナミックレンジが広くなるように前記制御目標平均輝度レベルを決定する処理を行なわせるステップであることを特徴とするコンピュータ・プログラム。
  32. 画像処理装置において、画像データの補正処理を実行させるコンピュータ・プログラムであり、
    画像信号処理部に画像データの補正処理を実行させる画像信号処理ステップを有し、
    前記画像信号処理ステップは、
    画像データの被写体の平均輝度レベルを、画像の出力輝度分布の最適値に設定する階調変換処理を実行させるステップを含むことを特徴とするコンピュータ・プログラム。
JP2006335328A 2006-12-13 2006-12-13 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム Pending JP2008148180A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006335328A JP2008148180A (ja) 2006-12-13 2006-12-13 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006335328A JP2008148180A (ja) 2006-12-13 2006-12-13 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム

Publications (1)

Publication Number Publication Date
JP2008148180A true JP2008148180A (ja) 2008-06-26

Family

ID=39607831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006335328A Pending JP2008148180A (ja) 2006-12-13 2006-12-13 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム

Country Status (1)

Country Link
JP (1) JP2008148180A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101005769B1 (ko) 2009-03-18 2011-01-06 고려대학교 산학협력단 하이 다이나믹 레인지 상황에 대응하는 자동 노출 제어 및 자동 화이트밸런스 방법
JP2011067941A (ja) * 2009-09-22 2011-04-07 Gm Global Technology Operations Inc 人間型ロボットのための視覚認知システムおよび方法
JP2012029196A (ja) * 2010-07-27 2012-02-09 Canon Inc 撮像装置及びその制御方法
US8305487B2 (en) 2009-10-21 2012-11-06 Samsung Electronics Co., Ltd. Method and apparatus for controlling multiple exposures
US8564862B2 (en) 2008-11-27 2013-10-22 Sony Corporation Apparatus, method and program for reducing deterioration of processing performance when graduation correction processing and noise reduction processing are performed
US8582923B2 (en) 2010-03-24 2013-11-12 Sony Corporation Image processing apparatus, image processsing method, and program
JP2015029225A (ja) * 2013-07-30 2015-02-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体
CN114390211A (zh) * 2020-10-20 2022-04-22 北京小米移动软件有限公司 曝光收敛方法、装置、电子设备及存储介质
CN115002357A (zh) * 2022-07-27 2022-09-02 联宝(合肥)电子科技有限公司 光信号的处理方法、电子设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564862B2 (en) 2008-11-27 2013-10-22 Sony Corporation Apparatus, method and program for reducing deterioration of processing performance when graduation correction processing and noise reduction processing are performed
KR101005769B1 (ko) 2009-03-18 2011-01-06 고려대학교 산학협력단 하이 다이나믹 레인지 상황에 대응하는 자동 노출 제어 및 자동 화이트밸런스 방법
JP2011067941A (ja) * 2009-09-22 2011-04-07 Gm Global Technology Operations Inc 人間型ロボットのための視覚認知システムおよび方法
US8305487B2 (en) 2009-10-21 2012-11-06 Samsung Electronics Co., Ltd. Method and apparatus for controlling multiple exposures
US8582923B2 (en) 2010-03-24 2013-11-12 Sony Corporation Image processing apparatus, image processsing method, and program
JP2012029196A (ja) * 2010-07-27 2012-02-09 Canon Inc 撮像装置及びその制御方法
JP2015029225A (ja) * 2013-07-30 2015-02-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体
CN114390211A (zh) * 2020-10-20 2022-04-22 北京小米移动软件有限公司 曝光收敛方法、装置、电子设备及存储介质
CN114390211B (zh) * 2020-10-20 2024-03-22 北京小米移动软件有限公司 曝光收敛方法、装置、电子设备及存储介质
CN115002357A (zh) * 2022-07-27 2022-09-02 联宝(合肥)电子科技有限公司 光信号的处理方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US8224176B1 (en) Combined ambient and flash exposure for improved image quality
JP4561912B2 (ja) 撮像装置、撮像方法及びプログラム
JP5123137B2 (ja) 撮像装置および撮像方法
JP2008148180A (ja) 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム
JP2007180631A (ja) 撮像装置および撮影方法
JP2007251860A (ja) 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
JP5759190B2 (ja) 撮像装置及びその制御方法
JP2017022610A (ja) 画像処理装置、画像処理方法
JP4136464B2 (ja) 撮像装置及び撮像方法
JP2008131530A (ja) 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム
JP4885902B2 (ja) 撮影装置及びその制御方法
JP2003008986A (ja) 撮像装置及び露出制御方法
JP2006345388A (ja) 撮像装置
JPWO2019187901A1 (ja) 撮像装置、撮像方法、およびプログラム
JPWO2019111659A1 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
KR20090095920A (ko) 디지털 이미지 촬영 장치, 상기 장치의 노출 제어 방법,디지털 이미지 촬영 방법 및 상기 디지털 이미지 촬영방법을 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는매체
JP4458194B2 (ja) 撮像装置及びその露出制御方法並びに記録媒体
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP4285668B2 (ja) 撮像装置及びその露出制御方法並びに記録媒体
JP2012124652A (ja) 撮像装置及び画像処理方法
JP2003259200A (ja) 撮像装置
JP5310331B2 (ja) 撮像装置および撮像方法
JP5268823B2 (ja) 撮像装置及び撮像方法
JP4274207B2 (ja) 撮像装置及びその露出制御方法並びに記録媒体
JP2006319465A (ja) 撮像装置