JP2017228961A - 撮像装置およびその制御方法、プログラム - Google Patents

Abstract

【課題】ダイナミックレンジ（Ｄレンジ）の変更時に、露出制御による画質変化を抑制しつつ設定可能なＤレンジの自由度を向上させること。【解決手段】撮像装置は露出制御にて、段階的に濃度が変更できるＮＤフィルタの挿抜が可能である。画像処理部２４は、撮像後の画像データにガンマ補正を行うガンマ補正回路を備える。システム制御部５０はガンマ補正前の画像データから得られる測光値に基づき、露出およびガンマ補正特性を変更する制御を行う。システム制御部５０はＤレンジの決定を支援するアシストモードを有し、目標のＤレンジを算出し、現在のＤレンジに対する特定の測光値との差分を算出する。システム制御部５０はＤレンジの変更量とＮＤフィルタの変更量との差分が所定の判定条件を満たす場合に、ＮＤフィルタの挿入制御を行い（Ｓ７０４）、当該差分が所定の判定条件を満たさない場合には、露出パラメータを決定して露出を変更する（Ｓ７０５）。【選択図】 図７

Description

本発明は、撮影画像のダイナミックレンジの変更および露出制御の技術に関する。

適正露出時よりも画像のダイナミックレンジ（以下、Ｄレンジともいう）を拡大する方法として、適正露出より低い露出（露出アンダー）で撮影し、ガンマ補正（階調補正）によって輝度を調整する方法がある。この方法により、撮影画像における白飛びや黒つぶれを抑制可能である。ガンマ補正特性（ガンマカーブとも呼ばれる）は、設定されたＤレンジに応じた入力レベルの範囲と、予め定められた出力レベルの範囲との対応付けを規定する特性である。ガンマ補正特性（ガンマカーブの形状）の変更によって、入力レベルの階調性をどのように出力レベルに反映させるかを制御できる。

Ｄレンジ拡大とともにガンマ補正特性を変更する方法が提案されている。特許文献１では、Ｄレンジ拡大とともにガンマ補正特性の高輝度部の傾きをなだらかにすることによって高輝度部の階調を有効に使用する方法が開示されている。Ｄレンジが狭い状態でも、階調特性の高輝度部の傾きを変化させることで高輝度部の階調を有効に利用できる。また特許文献２では、撮像素子の最大出力に対応させる入射光量（被写体の最大反射率）を可変にするとともに、最大反射率を変更した場合でも基準反射率に対応する出力値を維持するようにガンマ補正特性を変更する方法が開示されている。最大反射率を高める場合にはガンマ値を０に近づけ、最大反射率を低くする場合にはガンマ値を１に近づける。こうすることで、最大反射率が高い場合にコントラストを下げ、最大反射率が低い場合にコントラストを高めている。

特開２００４−１２０５１１号公報 特開２００６−８１０３７号公報

露出アンダーでの撮影と、ガンマ補正特性の変更との組み合わせによってＤレンジ拡大を行う場合、露出の不足分をガンマ補正で補うことになる。この場合、ガンマ補正は信号の増幅を伴うことから、Ｓ／Ｎ（信号対ノイズ）比の低下を招く原因となる。Ｓ／Ｎ比の観点からは、必要以上のＤレンジ拡大を行わない方がよい。例えば、ある撮影条件で撮影した画像の明るい部分が真っ白になってしまう、いわゆる白飛びが生じている場合を想定する。ユーザは白飛びを解消できる最小限のＤレンジ拡大を希望するであろうが、白飛びの発生している部分に関しては測光値も飽和しているので、白飛び部分の入射光のレベルを特定することはできない。よって、ユーザは白飛びを回避するために必要なＤレンジの拡大量を知ることができないという問題がある。

この問題を解決するためにはＤレンジを一旦拡大し、入射光の最大レベルを特定した後で必要最小限のＤレンジ拡大を行うための撮影条件を設定する方法が考えられる。以下、この方法をＤレンジ決定アシストと称し、Ｄレンジ決定アシストを実行するモードをＤレンジ決定アシストモード、または単にアシストモードと称する。アシストモードでは、ユーザに与える違和感を低減するために、Ｄレンジの拡大に伴い、取得された画像の画質や見栄えが極力変化しないようにすることが望ましい。例えば、絞り開口径の変更では被写界深度、シャッタースピードの変更では動解像度、ＩＳＯ感度の変更ではＳ／Ｎ比が、それぞれ変化する。このため、これらの露出パラメータを用いてＤレンジを拡大した場合、同時に画像の画質や見栄えも変化してしまう。したがって、アシストモードにおいては、ユーザに与える違和感を低減するために、ＮＤ（Neutral Density）フィルタを用いてＤレンジを一旦拡大することが望ましい。

ＮＤフィルタを用いる場合、異なる濃度のフィルタを入れ替えるか、または、ＮＤフィルタの組み合わせを変更する方式が一般的である。ＮＤフィルタを使用してＤレンジを変更する場合には、他の露出パラメータとは異なり、連続的な変更はできない。つまり、所定の段数での段階的なＤレンジ変更となる。したがって、Ｄレンジの選択の自由度が少なくなってしまう。
本発明の目的は、ダイナミックレンジの変更時に、露出制御による画質変化を抑制しつつ設定可能なＤレンジの自由度を向上させることである。

本発明の一実施形態の装置は、撮像光学系を通して被写体を撮像する撮像手段を備え、前記撮像光学系にて光学フィルタの挿抜が可能な撮像装置であって、前記撮像手段により取得される画像データに対して階調補正を行う補正手段と、前記画像データに係る現在のダイナミックレンジを目標のダイナミックレンジに変更するモードにおいて、ダイナミックレンジの変更量を算出して露出および前記補正手段の特性を制御する制御手段と、を備える。前記制御手段は、前記ダイナミックレンジの変更量と前記光学フィルタの変更量との差分が判定条件を満たす場合、前記光学フィルタの挿入制御を行い、前記ダイナミックレンジの変更量と前記光学フィルタの変更量との差分が前記判定条件を満たさない場合には前記光学フィルタの挿入制御を行わずに前記ダイナミックレンジの変更量に対応する露出の変更を行う。

本発明によれば、Ｄレンジの変更時に、露出制御による画質変化を抑制しつつ設定可能なＤレンジの自由度を向上させることができる。

本発明の実施形態に係る撮像装置の外観図である。 本発明の実施形態に係る撮像装置の構成を示すブロック図である。 第１の実施形態における露出とガンマ補正特性の決定処理のフローチャートである。 第１の実施形態におけるＤレンジアシスト前後のガンマ補正特性例を示す図である。 第１の実施形態における差分値の表示処理のフローチャートである。 被写体の画像に対する測光枠と差分値の表示例を示す図である。 第１の実施形態におけるＤレンジアシスト後の露出制御のフローチャートである。 第２の実施形態における露出とガンマ補正特性の決定処理のフローチャートである。 第２の実施形態における目標Ｄレンジ決定処理のフローチャートである。

以下に本発明の各実施形態を詳細に説明する。各実施形態では、ダイナミックレンジの決定を支援するアシストモードを有し、光学フィルタを挿抜可能な撮像装置の例を説明する。光学フィルタの例としてＮＤフィルタを示す。本発明はデジタルカメラ等の撮像装置や、撮像部を有する各種の情報処理装置に適用可能である。

［第１の実施形態］
図１は、撮像装置の例としてデジタルビデオカメラ１００を示す外観図である。以下では、被写体側を前側と定義して各部の位置関係を説明する。表示部２８はカメラ本体部の側面にて開閉可能に取り付けられ、画像や各種情報を画面に表示する。録画スイッチ６１は撮影指示を行うための操作部材であり、カメラ本体部の後面部に配置される。モード切替スイッチ６０は各種モードを切り替えるための操作部材であり、カメラ本体部の側面部に配置される。操作部７０はユーザから各種操作の指示を受け付ける各種ボタン、十字キー等の操作部材により構成され、カメラ本体部の側面部や表示部２８の筐体に配置される。コネクタ１１２はカメラ本体部の側面部に配置され、接続ケーブルとデジタルビデオカメラ１００とを接続する部材である。

電源スイッチ７２はカメラ本体部の上面部に配置され、ユーザが電源オン操作と電源オフ操作との切り替えに使用する。記録媒体２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１はカメラ本体部の後面部に配置され、記録媒体２００が格納される。記録媒体スロット２０１に格納された記録媒体２００は、デジタルビデオカメラ１００との通信が可能となる。

図２は、デジタルビデオカメラ１００の内部構成例を示すブロック図である。撮像レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体からの光を結像させる。絞り１０１は光量調整用部材である。ＮＤフィルタ１０４は減光用の光学フィルタである。撮像部２２は光学像を電気信号に光電変換する撮像素子を備える。撮像素子は、ＣＣＤ（電荷結合素子）型イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ等である。また、撮像部２２は電子シャッタによる蓄積の制御や、アナログゲイン、読み出し速度の変更等の機能も備える。バリア１０２は、撮像レンズ１０３を含む撮像光学系の構成部材を覆うことにより、撮像レンズ１０３、絞り１０１、撮像部２２等の汚れや破損を防止する。撮像部２２は撮像信号をＡ（アナログ）／Ｄ（デジタル）変換器２３に出力する。

Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換し、画像処理部２４およびメモリ制御部１５に出力する。画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、または、メモリ制御部１５からのデータに対し、所定の画素補間、リサイズ処理や色変換処理、ガンマ補正、デジタルゲインの付加等の処理を行う。また画像処理部２４は、撮像画像データを用いて所定の演算処理を行い、演算結果をシステム制御部５０に送信する。システム制御部５０は画像処理部２４から送信された演算結果に基づいて露出制御、焦点検出および焦点調節制御、ホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。なお、本実施形態では、絞り値やシャッタースピードの変更やＮＤフィルタの挿抜、アナログおよびデジタルゲイン量を調整することで、露出を変更（制御）可能である。

Ａ／Ｄ変換器２３の出力データは、画像処理部２４およびメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって撮像されてＡ／Ｄ変換器２３がデジタルデータに変換した画像データや、表示部２８に表示するための画像データを記憶する。メモリ３２は、所定時間に亘る動画像および音声の記憶に十分な記憶容量を有する。また、メモリ３２は画像表示用メモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２から読み出された画像表示用のデータをアナログ信号に変換して表示部２８に出力する。表示部２８はＬＣＤ（液晶ディスプレイ）等の表示デバイスを備え、画像表示用のデータにしたがって画面上に画像を表示する。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されてメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３がアナログ信号に変換し、表示部２８に逐次転送して画像を表示することで、電子ビューファインダ機能によるスルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去および記録可能なメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等が用いられる。不揮発性メモリ５６は、システム制御部５０の動作用の定数、プログラム等を記憶している。ここでいう、プログラムとは、後述するフローチャートの処理を実行するためのプログラムのことである。

システム制御部５０はＣＰＵ（中央演算処理装置）を備え、デジタルビデオカメラ１００全体を制御する。システム制御部５０は不揮発性メモリ５６に記憶されたプログラムを実行することで各種処理を行う。システムメモリ５２にはＲＡＭ（ランダム・アクセス・メモリ）が用いられる。システムメモリ５２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を記憶する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御を行う。システムタイマ５３は各種制御に用いる時間を計測する計時部である。

ユーザはモード切替スイッチ６０、録画スイッチ６１、操作部７０を用いて、システム制御部５０に各種の動作を指示する。モード切替スイッチ６０は、システム制御部５０のモードを切り替える操作部材である。例えばモードは、静止画記録モード、動画記録モード、再生モード、Ｄレンジ決定アシストモードである。ユーザはモード切替スイッチ６０を操作することで、所望のモードに直接切り替えることができる。

録画スイッチ６１は撮影待機状態と撮影状態を切り替える際にユーザが使用する操作部材である。システム制御部５０は、録画スイッチ６１の操作指示を受け付けた場合、撮像部２２の信号読み出しから記録媒体２００への動画データの書き込みまでの一連の動作を開始する。

操作部７０は、例えば表示部２８に表示される種々の機能アイコンをユーザが選択操作する際に使用し、場面ごとに適宜機能が割り当てられた機能ボタンを有する。例えば終了ボタン、戻りボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。ユーザがメニューボタンを操作すると、表示部２８は各種の設定可能なメニュー項目を画面に表示する。ユーザは、表示部２８に表示されたメニュー画面を見ながら、上下左右の４方向ボタンやＳＥＴボタンを用いて各種設定を行うことができる。

電源スイッチ７２は、ユーザがカメラの電源のＯＮ操作またはＯＦＦ操作に使用する。電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。電源制御部８０は電池の装着の有無、電池の種類、電池残量を検出し、検出結果およびシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、記録媒体２００を含む各部へ電力を供給する。電源部３０は１次電池または２次電池、ＡＣアダプタ等を備える。記録媒体Ｉ/Ｆ部１８は記録媒体２００とのインターフェース部である。記録媒体２００は、撮像された画像のデータを記録するメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に本実施形態における動作について説明する。本実施形態では最大の測光値に対する、現在のダイナミックレンジとの差分値を表示する機能（以下、Ｄレンジアシストという）を利用して、ユーザはＤレンジを決定することができる。Ｄレンジアシストにて決定されたＤレンジに基づく露出制御について例を示す。Ｄレンジの変更量に基づいて露出およびガンマ補正特性を変更する第１の処理と、測光値に基づいて差分値を算出する第２の処理とが実行される。

図３に示すフローチャートを参照して第１の処理について説明する。まずシステム制御部５０は、Ｄレンジアシストの状態を判断する（Ｓ３０１）。Ｄレンジアシストの有効、無効については、ユーザが操作部７０を介して設定できるものとする。Ｄレンジアシストの設定が無効であると判断された場合、システム制御部５０はＤレンジアシスト前の露出とガンマ補正特性に戻して、処理を終了する。またＤレンジアシストの設定が有効である場合、システム制御部５０はＤレンジの変更量を算出する（Ｓ３０２）。Ｄレンジの変更量をＤｃｈａｎｇｅと表記し、現在のＤレンジをＤｎｏｗと表記する。撮像装置にて設定可能な最大のＤレンジをＤｍａｘと表記すると、Ｄレンジの変更量は下記（式１）から算出される。

式中のｌｏｇ_２（）は、２を底とする対数関数を表わす。例えば最大のＤレンジを８００％とし、現在のＤレンジを４００％とする。この場合、Ｄレンジ変更量は１段である。また現在のＤレンジを３００％とすると、Ｄレンジ変更量は約１．５２段となる。

次にシステム制御部５０は、Ｓ３０２で算出したＤレンジ変更量に応じて、露出とガンマ補正特性を変更する（Ｓ３０３）。例えば露出については、応答速度の速いシャッタースピードをＤレンジ変更量に相当する分だけ変更する方法がある。このような露出変更と同時に、システム制御部５０は画像処理部２４の中のガンマ補正回路に設定するガンマ補正特性を変更する処理を行う。Ｄレンジアシスト前の入力をＸと表記し、出力をＹと表記する。Ｄレンジアシスト時には「Ｘ×Ｄｎｏｗ／Ｄｍａｘ」の出力がＹとなるようにガンマ補正特性が変更される。また、Ｄレンジアシスト前の入力の最大値をＸｍａｘと表記し、出力の最大値をＹｍａｘと表記する。Ｄレンジアシスト時には入力Ｘｍａｘ×Ｄｎｏｗ／Ｄｍａｘの時にＹｍａｘとし、それ以上の入力に対する出力はＹｍａｘとする。図４を参照して、Ｄレンジアシスト前後のガンマ補正特性について具体例を説明する。

図４はＤｎｏｗが４００％であって、Ｄｍａｘが８００％の例を示す。横軸はガンマ補正回路の入力ビットを表わし、縦軸は出力ビットを表わす。Ｄレンジアシスト前のガンマ補正特性４０１を実線で示し、Ｄレンジアシスト後のガンマ補正特性４０２を１点鎖線で示している。Ｄｎｏｗ／Ｄｍａｘが１／２（＝４００％／８００％）であるので、Ｄレンジアシスト前の入力Ｘに対する出力Ｙと、Ｄレンジアシスト後の入力Ｘ／２に対する出力Ｙとが同じになるガンマ補正特性を示している。またＤレンジアシスト後には、Ｘｍａｘ／２のときの出力がＹｍａｘとなり、Ｘｍａｘ／２より大きい範囲ではＹｍａｘを維持する特性である。システム制御部５０はＤｎｏｗに応じて決定したガンマ補正特性に基づく設定値を、画像処理部２４に送信し、画像処理部２４の内部のガンマ補正回路に設定する。これにより、階調補正特性が変更される。

図３の処理ではＤレンジアシスト時にだけ、Ｄレンジ変更量を算出する例を示した。Ｄレンジの変更量についてはＤレンジアシスト時に限らず、常に計算できるので、Ｄレンジアシストの状態にかかわらずシステム制御部５０が算出を行ってもよい。その際には、Ｄレンジアシスト時以外での処理負荷の増加に留意すべきである。

次に図５のフローチャートを参照して、第２の処理を説明する。まずシステム制御部５０は、図３と同様にＤレンジアシストの有効または無効を判断する（Ｓ３０１）。Ｄレンジアシストが有効と判断された場合、Ｓ５０１に処理を進め、無効と判断された場合には処理を終了する。

システム制御部５０は測光値を取得する（Ｓ５０１）。画像処理部２４はガンマ補正回路を通過する前の画像データから測光値を算出する。測光値は、画像データを複数の特定のサイズに区切り、区切られた枠の中の画像データに係るそれぞれの輝度信号の平均値を算出した値である。図６を参照して具体例を説明する。図６は撮像された画像に対する測光枠の表示例として、縦方向に８分割で横方向に８分割とし、８×８の枠に区切った場合を例示する。図６（Ａ）は被写体の画像例６０１を示し、図６（Ｂ）は被写体の画像６０２と測光枠６０３を例示する。この例では、システム制御部５０は各測光枠内の画像データに関する６４個の輝度平均値を取得する。なお、測光値として輝度信号の平均値を用いる例を示したが、枠ごとの明るさがわかればよいので、積分値で表してもよいし、ＥＶ値等の明るさの指標となる値を用いてもよい。

次にシステム制御部５０は最大測光値を判定する（Ｓ５０２）。システム制御部５０は６４個の測光値から最大測光値を抽出し、枠の位置情報とともにメモリに記憶しておく。そしてシステム制御部５０は、現在のＤレンジと最大のＤレンジ、最大値、および最大測光値から差分値を算出する（Ｓ５０３）。現在のＤレンジと最大測光値との差分値は下記（式２）から算出される。

例えば、現在のＤレンジを４００％、最大のＤレンジを８００％、最大値（１２ビットの場合）を４０９５、最大測光値を３５００とすると、差分値は約０．７７となる。つまりＤレンジを０．７７段変更して約６８０％のＤレンジにすると、最大測光値の枠も含めた全ての枠についてＤレンジの範囲内に測光値が収まることとなる。算出された差分値をユーザに提示することで、０．７７段分のＳ／Ｎ比の低下の可能性や露出変更の必要性についても理解することができる。システム制御部５０は表示部２８の画面に差分値を表示させる処理を行う（Ｓ５０４）。

システム制御部５０は枠の位置情報と差分値を画像処理部２４に送信する。画像処理部２４は枠の位置に応じた測光枠および測光枠の中に差分値を描いた画像を作成し、画像データに重ねた画像を生成する。画像データはメモリ制御部１５とＤ／Ａ変換器１３を経て表示部２８に表示される。図６（Ｃ）は差分値の表示例を示し、図６（Ｂ）に符号６０４で示す測光枠Ａの測光値が最大であるときの例である。画面６０５内で測光枠Ａに対応する位置６０６には、算出された差分値が表示される。ユーザは測光枠Ａの被写体に対してＤレンジの範囲内に収めるには、現状より０．７７段のＤレンジに変更（増加）する必要があることを把握できる。このとき、ユーザは操作部により、差分値の選択を行うことができる。例えば、表示部２８に付設されたタッチパネル上で測光枠Ａに対応する位置６０６をユーザが手指で指示すると、システム制御部５０は、選択された差分値によりＤレンジの変更指示を受け付け、ユーザがＤレンジを決定したと判断する。あるいは、ユーザは撮像装置に設けられた操作ボタン等を操作することで、差分値に対応するＤレンジの変更指示および決定指示を行える。システム制御部５０は操作指示を受け付け、ユーザがＤレンジを決定したと判断する。

図７のフローチャートを参照して、以上のＤレンジ変更および差分値表示に基づいて、ユーザがＤレンジを決定した後の露出の変更例を説明する。システム制御部５０は、Ｄレンジ決定アシストモードでＤレンジが変更されたか否かを判定する（Ｓ７０１）。判定の結果、Ｄレンジが変更されなかった場合、露出の変更は行われず、処理を終える。Ｄレンジが変更された場合には、Ｄレンジの変更量に応じた撮影用の露出制御が開始する。本実施形態ではＤレンジを高くした場合を例にして説明する。システム制御部５０は、現状のＮＤフィルタより１段階濃いＮＤフィルタの濃度を取得する（Ｓ７０２）。

次のＳ７０３でシステム制御部５０はＤレンジの変更量とＮＤフィルタ濃度との差分が、所定の判定条件を満たすか否かを判定する。所定の判定条件として、Ｄレンジの変更量とＮＤフィルタ濃度との差分が、ＮＤフィルタ濃度の２分の１以上であるものとする。差分がＮＤフィルタ濃度の２分の１以上であると判定した場合、Ｓ７０４へ進む。システム制御部５０はＮＤフィルタの挿入制御を行い、ＮＤフィルタの濃度が１段階分変化するようにＮＤフィルタが挿入される。なお、ＮＤフィルタの濃度の１段階分は、ＡＰＥＸ単位の明るさ１段分（１Ｅｖ）に相当する。

ＮＤフィルタの挿抜制御については、システム制御部５０がＮＤフィルタの自動挿抜の制御を行う場合と、ユーザに対して手動操作でＮＤフィルタを挿抜することを促す制御を行う場合とがある。本実施形態では、ＮＤフィルタの自動挿抜の例を説明する。この場合、撮像装置は複数のＮＤフィルタを切り換えるための機構部および駆動部を備える。システム制御部５０は濃度の異なるＮＤフィルタの挿抜を制御する。例えば、複数のＮＤフィルタ部を有する光学部材の駆動により、撮像光学系の光軸上に所定のＮＤフィルタ部が配置される。なお、手動操作によるＮＤフィルタの挿抜時には、システム制御部５０はＮＤフィルタの挿抜（１段階変化）に関して画面表示等によってユーザに報知する処理を行う。ユーザは報知内容にしたがってＮＤフィルタの挿抜を行い、不図示の検出部はＮＤフィルタの挿抜やＮＤフィルタの濃度を検出して、検出信号をシステム制御部５０に出力する。手動操作の場合、ＮＤフィルタの挿入制御ではＮＤフィルタの変更量、つまり変更後の濃度を判定することが必要である。

Ｓ７０４でＮＤフィルタが挿入された場合、Ｄレンジの変更量とＮＤフィルタ濃度との差分は最終的に、ＮＤフィルタ以外の露出制御で補う必要がある。そうしないと、差分の影響が画質変化となって現れるからである。Ｄレンジの変更量とＮＤフィルタ濃度との差分がＮＤフィルタ濃度の半分以上である場合には、ＮＤフィルタを利用した方が、ＮＤフィルタ以外で露出変更を実施する場合と比べて、画質の変化を少なくすることができる。また、Ｄレンジの変更量とＮＤフィルタ濃度との差分がＮＤフィルタ濃度の半分未満である場合にＮＤフィルタを利用すると、ＮＤフィルタを使用しなかったときと比べて画質変化が大きくなってしまう。このため、ＮＤフィルタは挿入されず（Ｓ７０３でＮｏの場合）、Ｓ７０５に移行する。システム制御部５０は、アシストモードにてＤレンジの変更量に相当する分だけ変更されているシャッタースピードを、変更前のシャッタースピードに戻し、代わりに絞り１０１の開口径をＤレンジの変更量に対応する量だけ変化させる（Ｓ７０５）。そして処理を終了する。

Ｓ７０４からＳ７０６へ処理を進め、システム制御部５０はＤレンジの変更量がＳ７０４で挿入した１段階分のＮＤフィルタ濃度よりも大きいか否かを判定する。Ｄレンジの変更量が１段階分のＮＤフィルタ濃度よりも大きいと判定された場合、Ｓ７０７に処理を進め、Ｄレンジの変更量が１段階分のＮＤフィルタ濃度以下であると判定された場合にはＳ７０８に移行する。

Ｓ７０７でシステム制御部５０は、Ｄレンジの変更量から、Ｓ７０４で挿入した１段階分のＮＤフィルタ濃度を減算することで差分を算出してメモリに記憶する。そして、Ｓ７０２に戻り、更にＮＤフィルタの挿入が必要であるか否かを判定する。また、Ｓ７０８でシステム制御部５０は、Ｄレンジの変更量とＳ７０４で挿入した１段階分のＮＤフィルタ濃度との差分に対応する量だけ、絞り１０１の開口径を変化させる。なお、Ｓ７０５およびＳ７０８では絞り値を変更して絞り１０１の開口径を変化させる例を示した。これに限らず、予め露出変更の順位情報がメモリに記憶されている場合には、システム制御部５０は記憶されている優先順位に従って、優先順位の高い露出制御から実施する。具体例については第２の実施形態で説明する。
以上の処理を繰り返すことにより、最終的にＳ７０５またはＳ７０８に到達した後、Ｄレンジ決定アシスト後の露出制御が完了する。

本実施形態では、Ｄレンジの決定を支援するモードにて決定可能なＤレンジの選択の自由度の最大化と、当該モードでＤレンジが決定された後の撮影用露出調整における画質変化の最小化とを両立させることができる。本実施形態によれば、Ｄレンジ決定アシストモードにおいて、露出制御による画質変化を抑制しつつ、設定可能なダイナミックレンジの自由度を向上させることができる。

［第２の実施形態］
次に本発明の第２の実施形態を説明する。第１の実施形態ではＤレンジアシストが有効である場合、Ｄレンジを最大にした状態において階調補正特性を変更することで入射光に対する出力をほぼ一定とし、高輝度部の階調を維持する例を示した。しかしながら、Ｄレンジを拡大することは、拡大の量に応じてゲインを高くすることとほぼ同等であるため、Ｓ／Ｎ比が低下する。すなわちＤレンジアシスト前後でノイズ感に違いが生じる可能性がある。そこで本実施形態では、Ｄレンジアシスト時のＤレンジを拡大する量を極力少なくし、必要最小限度に設定する例を説明する。本実施形態において、第１の実施形態の場合と同様の構成要素については既に使用した符号を用いることで、それらの説明を省略し、主に相違点を説明する。

図８は、本実施形態における露出とガンマ補正特性の決定処理を表わすフローチャートである。まず、システム制御部５０はＤレンジアシストが有効かどうかを判断する（Ｓ３０１）。Ｄレンジアシストが無効であると判断された場合、システム制御部５０はＤレンジアシスト前に設定されていた露出とガンマ補正特性に戻して（Ｓ８０６）、処理を終了する。Ｓ３０１でＤレンジアシストが有効であると判断された場合、システム制御部５０は測光値に基づいてＤレンジの目標値を算出する（Ｓ８０１）。Ｄレンジの目標値（Ｄｔａｒｇｅｔと記す）の算出に関しては後述する。次にシステム制御部５０は、現在のＤレンジ（Ｄｎｏｗ）とＤレンジの目標値（Ｄｔａｒｇｅｔ）から、Ｄレンジの変更量（Ｄｃｈａｎｇｅ）を下記（式３）から算出する（Ｓ８０２）。

露出制御においては、Ｄレンジの変更量に基づいて撮像部２２の電子シャッタ（または機械式シャッタ）、絞り１０１、ＮＤフィルタ１０４を使用して露出が変更される。システム制御部５０は優先順位に従って変更を実施する（Ｓ８０３、Ｓ８０４、Ｓ８０５）。例えば優先順位を、電子シャッタ、絞り１０１、ＮＤフィルタ１０４の順とする。Ｓ８０３でシステム制御部５０は、Ｄレンジの変更量に対して露出の変更を電子シャッタ制御で対応可能であるかどうかを判断する。電子シャッタ制御によって対応可能であると判断された場合、Ｓ８０７へ進み、対応可能でないと判断された場合にはＳ８０４へ移行する。Ｓ８０４でシステム制御部５０は、Ｄレンジの変更量に対して露出の変更を絞りの制御で対応可能であるかどうかを判断する。絞り１０１の制御によって対応可能であると判断された場合、Ｓ８０７へ進み、対応可能でないと判断された場合にはＳ８０５へ移行する。Ｓ８０５でシステム制御部５０は、Ｄレンジの変更量に対して露出の変更を、ＮＤフィルタ１０４の挿抜で対応可能であるかどうかを判断する。ＮＤフィルタの挿抜によって対応可能であると判断された場合、Ｓ８０７へ進み、対応可能でないと判断された場合には、処理を終了する。

Ｓ８０７にてシステム制御部５０は、Ｓ８０２で算出したＤレンジの変更量に応じて、露出とガンマ補正特性を変更する。Ｄレンジの変更量に応じた露出の変更については、優先順位にしたがい、電子シャッタ（または機械式シャッタ）、絞り、ＮＤフィルタによって行われる。また、ガンマ補正特性については、Ｄレンジアシスト時には入力Ｘ×Ｄｎｏｗ／Ｄｔａｒｇｅｔに対する出力がＹとなるように変更される。Ｄレンジアシスト前の入力の最大値Ｘｍａｘ、出力の最大値Ｙｍａｘに対して、Ｄレンジアシスト時には、入力Ｘｍａｘ×Ｄｎｏｗ／Ｄｔａｒｇｅｔ以上の入力に対する出力がＹｍａｘとなる階調補正特性に変更される。

次に図９のフローチャートを参照して、Ｄレンジの目標値の算出処理（図８のＳ８０１）を説明する。判定処理に用いる第１のＤレンジとして最大Ｄレンジを例示し、第２のＤレンジとして最小Ｄレンジを例示する。第１および第２のＤレンジは、予め定められた範囲内で設定可能なＤレンジである。まず、システム制御部５０は測光値を取得する（Ｓ９０１）。第１の実施形態と同様に８行８列の６４枠における測光値を取得するものとする。システム制御部５０は６４枠分の測光値の中で最大測光値を検出する（Ｓ９０２）。システム制御部５０は最大測光値が飽和しているかどうかを判定する（Ｓ９０３）。例えば、測光値が１２ビットである場合、最大測光値が４０９５になっているか否かの判定処理が行われる。飽和判定においては所定の範囲をもって行われてもよい。例えば、最大測光値が４０００以上である場合に飽和していると判断してもよい。最大測光値が飽和していると判定された場合、Ｓ９０４に進み、最大測光値が飽和していないと判定された場合にはＳ９０７に移行する。

Ｓ９０４でシステム制御部５０は、現在のＤレンジが最大Ｄレンジであるかどうかを判定する。現在のＤレンジが最大Ｄレンジである場合には、測光値が飽和していてもＤレンジをそれ以上拡大できないので、システム制御部５０は目標のＤレンジを最大Ｄレンジとする（Ｓ９０５）。またＳ９０４にて、目標のＤレンジが最大Ｄレンジでない場合には、Ｄレンジを拡大することができるので、Ｓ９０６に進み、システム制御部５０はＤレンジを固定値αだけ増加させる。例えば現在のＤレンジを７００％とし、固定値αが現在のＤレンジ×１／２０であったすると、目標のＤレンジは現在のＤレンジの１．０５倍、つまり７３５％に設定される。

Ｓ９０７でシステム制御部５０は、現在のＤレンジと最小Ｄレンジとを比較する。現在のＤレンジが最小Ｄレンジであるかどうかを判定する。現在のＤレンジが最小Ｄレンジである場合には、測光値が低くてもＤレンジを縮小できないので、システム制御部５０は目標のＤレンジを最小Ｄレンジとする（Ｓ９０８）。またＳ９０７にて目標のＤレンジが最小Ｄレンジでない場合、システム制御部５０は最大測光値が所定の範囲内に収まっているかどうかを判定する（Ｓ９０９）。最大測光値が飽和に近い状態であれば、Ｄレンジを変更する必要がない。つまり、予め定められた範囲内に測光値が入っている場合には、システム制御部５０は目標のＤレンジを現在のＤレンジとする（Ｓ９１０）。例えば測光値が１２ビットであるとし、最大測光値が４０９５×９／１０以上であれば、目標Ｄレンジは変更されずに維持されるとする。例えば、目標Ｄレンジが７００％である場合に、所定の範囲は最大測光値が６３０％〜７００％に相当する範囲である。一方、Ｓ９０９にて最大測光値が所定の範囲内でない場合、Ｄレンジに対して最大測光値が低いので、システム制御部５０はＤレンジを固定値αだけ減算して縮小する（Ｓ９１１）。例えば固定値αを現在のＤレンジ×１/２０とする場合、現在のＤレンジが７００％であれば、その０．９５倍、つまり６６５％に変更される。

本実施形態では固定値αを用いてＤレンジの変更を行う例を説明したが、α値をＤレンジに応じて変更してもよい。また、Ｓ９０６やＳ９１１では目標のＤレンジの増減ができればよく、Ｓ９０６とＳ９１１の各ステップで異なるα値を使用してもよい。さらに、Ｓ９１１では最大測光値から目標Ｄレンジを算出してもよい。その際にシステム制御部５０は、例えば最大測光値が４０９５×１９／２０になるＤレンジとして、目標Ｄレンジを設定する。つまり、目標Ｄレンジ（Ｄｔａｒｇｅｔ）は、現在のＤレンジ（Ｄｎｏｗ）と最大測光値（Ｅｍａｘ）から、下記（式４）により算出することができる。

Ｓ９０５、Ｓ９０６、Ｓ９０８、Ｓ９１０、Ｓ９１１の処理後に一連の処理を終了する。

次に本実施形態における差分値の表示に関して説明する。基本的な処理の流れは図５と同じであるが、Ｓ５０３の処理内容が相違する。本実施形態では、現在および目標のＤレンジと最大値、最大測光値から、差分値が下記（式５）により算出される。

（式５）により算出された差分値は、表示部２８の画面上に表示される（図６（Ｃ）参照）。

本実施形態では、Ｄレンジアシスト時に、画像の最大測光値に近いＤレンジに変更されるので、Ｄレンジアシスト前後でのＳ／Ｎ比の変化を極力低減することができる。本実施形態によれば、Ｄレンジを一旦拡大し、入射光の最大レベルを特定した後で必要最小限のＤレンジ拡大を行う場合に、露出制御による画質変化を抑制しつつ、設定可能なＤレンジの自由度を向上させることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２２‥‥撮像部
２４‥‥画像処理部
２８‥‥表示部
５０‥‥システム制御部
６０‥‥モード切替スイッチ
１００‥‥デジタルビデオカメラ
１０４‥‥ＮＤフィルタ

Claims (12)

1. 撮像光学系を通して被写体を撮像する撮像手段を備え、前記撮像光学系にて光学フィルタの挿抜が可能な撮像装置であって、
   前記撮像手段により取得される画像データに対して階調補正を行う補正手段と、
   前記画像データに係る現在のダイナミックレンジを目標のダイナミックレンジに変更するモードにおいて、ダイナミックレンジの変更量を算出して露出および前記補正手段の特性を制御する制御手段と、を備え、
   前記制御手段は、前記ダイナミックレンジの変更量と前記光学フィルタの変更量との差分が判定条件を満たす場合、前記光学フィルタの挿入制御を行い、前記ダイナミックレンジの変更量と前記光学フィルタの変更量との差分が前記判定条件を満たさない場合には前記光学フィルタの挿入制御を行わずに前記ダイナミックレンジの変更量に対応する露出の変更を行うことを特徴とする撮像装置。
2. 前記判定条件は、前記ダイナミックレンジの変更量と、前記光学フィルタの変更量に対応する濃度との差が、当該光学フィルタの濃度の２分の１以上であることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記光学フィルタが挿入された場合、前記ダイナミックレンジの変更量が前記光学フィルタの濃度よりも大きいときに前記ダイナミックレンジの変更量から前記光学フィルタの濃度を減算し、前記ダイナミックレンジの変更量が前記光学フィルタの濃度より小さいときには前記ダイナミックレンジの変更量に対応する露出の変更を行うことを特徴とする請求項２に記載の撮像装置。
4. シャッタ、絞り、前記光学フィルタによる露出の変更の順位情報を記憶する記憶手段を備え、
   前記制御手段は前記記憶手段から取得した前記順位情報にしたがって露出制御を行うことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記目標のダイナミックレンジは、設定を行うことができる最大のダイナミックレンジであることを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、階調補正が行われる前の前記画像データから取得した最大測光値が飽和している状態で、
   現在のダイナミックレンジが予め定められた第１のダイナミックレンジである場合には、前記目標のダイナミックレンジとして前記第１のダイナミックレンジを設定し、
   現在のダイナミックレンジが前記第１のダイナミックレンジでない場合には、前記目標のダイナミックレンジとして、現在のダイナミックレンジよりも拡大したダイナミックレンジを設定することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
7. 前記制御手段は、前記最大測光値が飽和していない状態で、
   現在のダイナミックレンジが、前記第１のダイナミックレンジよりも小さい第２のダイナミックレンジである場合、前記目標のダイナミックレンジとして前記第２のダイナミックレンジを設定し、
   現在のダイナミックレンジが前記第２のダイナミックレンジでなく、かつ前記最大測光値が予め定められた範囲内である場合、前記目標のダイナミックレンジとして現在のダイナミックレンジを設定し、
   現在のダイナミックレンジが前記第２のダイナミックレンジでなく、かつ前記最大測光値が予め定められた範囲内でない場合、前記目標のダイナミックレンジとして現在のダイナミックレンジよりも縮小したダイナミックレンジを設定することを特徴とする請求項６に記載の撮像装置。
8. 前記制御手段は前記モードにて、現在のダイナミックレンジ、前記目標のダイナミックレンジ、前記最大測光値を用いて、前記最大測光値に対するダイナミックレンジの差分値を算出し、前記差分値を表示手段に表示させる処理を行うことを特徴とする請求項６または請求項７に記載の撮像装置。
9. 前記制御手段は、前記表示手段の画面に測光枠を表示させ、前記差分値を算出した場合、前記最大測光値が取得された前記測光枠に対応する位置に前記差分値を表示させる処理を行うことを特徴とする請求項８に記載の撮像装置。
10. 前記差分値の選択に用いる操作手段を備え、
    前記制御手段は、前記操作手段で選択された前記差分値によりダイナミックレンジの変更指示を受け付けることを特徴とする請求項８または請求項９に記載の撮像装置。
11. 撮像光学系を通して被写体を撮像する撮像手段を備え、前記撮像光学系にて光学フィルタを挿抜可能な撮像装置にて実行される制御方法であって、
    前記撮像手段により取得される画像データに対して補正手段が階調補正を行う工程と、
    制御手段が、前記画像データに係る現在のダイナミックレンジを目標のダイナミックレンジに変更するモードにおいて、ダイナミックレンジの変更量を算出して露出および前記補正手段の特性を制御する工程と、を有し、
    前記制御手段は、前記ダイナミックレンジの変更量と前記光学フィルタの変更量との差分が判定条件を満たす場合、前記光学フィルタの挿入制御を行い、前記ダイナミックレンジの変更量と前記光学フィルタの変更量との差分が前記判定条件を満たさない場合には前記光学フィルタの挿入制御を行わずに前記ダイナミックレンジの変更量に対応する露出の変更を行うことを特徴とする撮像装置の制御方法。
12. コンピュータを、請求項１から１０のいずれか１項に記載の撮像装置が備える前記制御手段として機能させることを特徴とするプログラム。
    
    

Images