JP2018042066A - 撮像装置およびその制御方法、プログラム - Google Patents

Abstract

【課題】映像が大きく変化した場合でも、Ｄ（ダイナミック）レンジと測光値との差を表示し、Ｄレンジの決定を支援する処理を行うこと。【解決手段】撮像装置の制御部は、Ｄレンジの変更に応じて撮像素子に係る露出制御と、撮像画像データのガンマ補正の制御を行う。制御部はＤレンジ決定のアシストモードが設定された場合、現在のＤレンジを算出（Ｓ３０２）して表示し（Ｓ３０３）、Ｄレンジ変更量を算出する（Ｓ３０４）。制御部はガンマ補正前の画像データから複数の測光値を取得し（Ｓ３０６）、画像データごとに最大測光値を算出する（Ｓ３０７）。制御部はアシストモードが設定された時点から現在までの最大測光値のピークホールド値を算出し、新たに算出された最大測光値が現在のピークホールド値よりも大きい場合、ピークホールド値を最大測光値で更新し（Ｓ３０９）、表示部の画面上に現在のＤレンジと併せて表示させる制御を行う（Ｓ３１０）。【選択図】 図３

Description

本発明は、撮像装置のダイナミックレンジの変更処理に関する。

適正露出時よりも画像のダイナミックレンジ（以下、Ｄレンジともいう）を拡大する方法として、適正露出より低い露出（露出アンダー）で撮影し、ガンマ補正（階調補正）によって輝度を調整する方法がある。ガンマ補正特性は、設定されたＤレンジに応じた入力レベルの範囲と、予め定められた出力レベルの範囲との対応付けを規定する特性である。設定されたＤレンジまで、あらかじめ準備された入射光に対する出力の関係となるようにＤレンジに応じてガンマ補正特性を変更することで、拡大前よりも広い範囲の入射光と出力との関係を所定の状態に保った状態で出力が可能となる。

Ｄレンジ拡大とともにガンマ補正特性を変更する方法が提案されている。特許文献１では、Ｄレンジ拡大とともにガンマ補正特性の高輝度部の傾きをなだらかにすることによって高輝度部の階調を有効に使用する方法が開示されている。Ｄレンジが狭い状態でも、階調特性の高輝度部の傾きを変化させることで高輝度部の階調を有効に利用できる。また特許文献２では、被写体の入射光量の最大反射率に応じて、Ｄレンジをシフトするとともにガンマ補正特性を最大反射率に応じた特性に変更しつつ、基準入射光量に対する出力を維持する方法が開示されている。この方法では、最大反射率が高いときにガンマ値を１に近づけ、最大反射率が低いときにはガンマ値を０に近づける。こうすることで、最大反射率が高い場合にコントラストを下げ、最大反射率が低い場合にコントラストを高めている。

特開２００４−１２０５１１号公報 特開２００６−８１０３７号公報

ところで、露出アンダーでの撮影と、ガンマ補正特性の変更とを組み合わせてＤレンジを拡大する場合には、露出状態を露出アンダーにした分に応じて、ガンマ補正特性を変更することにより、入出力の関係を維持できる。この場合、ガンマ補正は信号の増幅を伴うことから、Ｓ／Ｎ（信号対ノイズ）比の低下を招く原因となり得る。このため、撮影条件によっては所定範囲内にＤレンジを縮小して、Ｓ／Ｎ比を向上させることも必要となる。その際、撮影時の映像に対してＤレンジが所定範囲内に収まるか否かを、ユーザが目視で確認することは煩雑であり、かつ、正否の判断が困難である。

この問題に対して、ダイナミックレンジを変更する際の目安として、所定の測光値とＤレンジに対する差分値を表示し、ユーザに提示する方法が考えられる。しかしながら、測光値が飽和している場合には差分値を正しく算出することができない。特に、撮像装置のパンニング操作等が行われ、画角内に含まれる被写体の変化が大きい場合には、Ｄレンジが大きく変化する。この場合、Ｄレンジを合わせるべき明るさであるか否かの判断が困難である。
本発明は、映像が大きく変化した場合でも、ダイナミックレンジと測光値との差を表示し、Ｄレンジの決定を支援する処理を行うことを目的とする。

本発明の一実施形態の装置は、被写体を撮像して画像データを出力する撮像手段と、前記画像データの階調補正を行う補正手段と、前記階調補正が行われる前の前記画像データを取得して前記画像データごとに測光値を算出する算出手段と、取得する前記画像データに係る現在のダイナミックレンジを所定のダイナミックレンジに変更する際にダイナミックレンジの決定を支援するモードを設定する設定手段と、ダイナミックレンジが変更される場合、前記撮像手段の露出を制御するとともに、前記階調補正の特性を制御する制御手段と、を備える。前記制御手段は、前記設定手段により前記モードが設定された時点から現在までに算出された前記測光値のピークホールド値を算出して保持し、現在のダイナミックレンジの情報および前記ピークホールド値を表示手段に表示させる制御を行い、設定された前記モードにて操作により決定されたダイナミックレンジを受け付ける処理を行う。

本発明によれば、映像が大きく変化した場合でも、ダイナミックレンジと測光値との差を表示し、Ｄレンジの決定を支援する処理を行うことができる。

本発明の実施形態に係る撮像装置の外観図である。 本発明の実施形態に係る撮像装置の構成を示すブロック図である。 第１実施形態における処理を説明するフローチャートである。 第１実施形態における表示例を示す図である。 第１実施形態におけるＤレンジアシスト前後のガンマ補正特性例を示す図である。 被写体画像に対する測光枠を示す模式図である。 第２実施形態における処理を説明するフローチャートである。 第２実施形態における表示例を示す図である。

以下に本発明の各実施形態について、添付図面を参照して詳細に説明する。撮影の際にダイナミックレンジが十分でないと高輝度被写体の画像信号が飽和する場合があるため、Ｄレンジの変更が必要となる。本明細書では撮像装置にてユーザがＤレンジを決定する際に支援する機能を「Ｄレンジ決定アシスト」と称する。Ｄレンジ決定アシストを実行するモードを「Ｄレンジ決定アシストモード」、または単にアシストモードと称する。

［第１実施形態］
図１は、撮像装置の例としてデジタルビデオカメラ１００を示す外観図である。以下では、被写体側を前側と定義して各部の位置関係を説明する。表示部２８はカメラ本体部の側面にて開閉可能に取り付けられ、画像や各種情報を画面に表示する。録画スイッチ６１は撮影指示を行うための操作部材であり、カメラ本体部の後面部に配置される。モード切替スイッチ６０は各種モードを切り替えるための操作部材であり、カメラ本体部の側面部に配置される。操作部７０はユーザから各種操作の指示を受け付ける各種ボタン、十字キー等の操作部材により構成され、カメラ本体部の側面部や表示部２８の筐体に配置される。コネクタ１１２はカメラ本体部の側面部に配置され、接続ケーブルとデジタルビデオカメラ１００とを接続する部材である。

電源スイッチ７２はカメラ本体部の上面部に配置され、ユーザが電源オン操作と電源オフ操作との切り替えに使用する。記録媒体２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１はカメラ本体部の後面部に配置され、記録媒体２００が格納される。記録媒体スロット２０１に格納された記録媒体２００は、デジタルビデオカメラ１００との通信が可能となる。

図２は、デジタルビデオカメラ１００の内部構成例を示すブロック図である。撮像レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体からの光を結像させる。絞り１０１は光量調整用部材である。ＮＤフィルタ１０４は減光用の光学フィルタである。撮像部２２は光学像を電気信号に光電変換する撮像素子を備える。撮像素子は、ＣＣＤ（電荷結合素子）型イメージセンサやＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサ等である。また、撮像部２２は電子シャッタによる蓄積の制御や、アナログゲイン、読み出し速度の変更等の機能を備える。バリア１０２は、撮像レンズ１０３を含む撮像光学系の構成部材を覆うことにより、撮像レンズ１０３、絞り１０１、撮像部２２等の汚れや破損を防止する。撮像部２２は撮像信号をＡ（アナログ）／Ｄ（デジタル）変換器２３に出力する。

Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換し、画像処理部２４およびメモリ制御部１５に出力する。画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、または、メモリ制御部１５からのデータに対し、所定の画素補間、リサイズ処理や色変換処理、ガンマ補正、デジタルゲインの付加等の処理を行う。また画像処理部２４は、撮像画像データを用いて所定の演算処理を行い、演算結果をシステム制御部５０に送信する。システム制御部５０は画像処理部２４から送信された演算結果に基づいて露出制御、焦点検出および焦点調節制御、ホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。なお、本実施形態では、絞り値やシャッタ速度の変更やＮＤフィルタの挿抜、アナログおよびデジタルゲイン量を調整することで、露出変更が可能である。また、システム制御部５０の指令により画像処理部２４は表示用の重畳データを作成し、画像表示用のデータに対して重畳データを重畳する処理を実行する。撮影時のアイリス情報、ＳＴＯＰ情報（例えば、１ＳＴＯＰごとにＤレンジが２倍変化するストップ数）、フォーカス情報等の撮影情報が重畳される。

ジャイロセンサ２５はデジタルビデオカメラ１００の角速度を検出することによって動きを検出する。ジャイロセンサ２５の検出信号はシステム制御部５０が取得して処理する。

Ａ／Ｄ変換器２３の出力データは、画像処理部２４およびメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって撮像されてＡ／Ｄ変換器２３がデジタルデータに変換した画像データや、表示部２８に表示するための画像データを記憶する。メモリ３２は、所定時間に亘る動画像および音声の記憶に十分な記憶容量を有する。また、メモリ３２は画像表示用メモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２から読み出された画像表示用のデータをアナログ信号に変換して表示部２８に出力する。表示部２８はＬＣＤ（液晶ディスプレイ）等の表示デバイスを備え、画像表示用のデータにしたがって画面上に画像を表示する。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されてメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３がアナログ信号に変換し、表示部２８に逐次転送して画像を表示することで、電子ビューファインダ機能によるスルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去および記録可能なメモリであり、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等が用いられる。不揮発性メモリ５６は、システム制御部５０の動作用の定数、プログラム等を記憶している。ここでいう、プログラムとは、後述するフローチャートの処理を実行するためのプログラムのことである。

システム制御部５０はＣＰＵ（中央演算処理装置）を備え、デジタルビデオカメラ１００全体を制御する。システム制御部５０は不揮発性メモリ５６に記憶されたプログラムを実行することで各種処理を行う。システムメモリ５２にはＲＡＭ（ランダム・アクセス・メモリ）が用いられる。システムメモリ５２は、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を記憶する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御を行う。システムタイマ５３は各種制御に用いる時間を計測する計時部である。

ユーザはモード切替スイッチ６０、録画スイッチ６１、操作部７０を用いて、システム制御部５０に各種の動作を指示する。モード切替スイッチ６０は、システム制御部５０のモードを切り替える操作部材である。例えばモードは、静止画記録モード、動画記録モード、再生モード、Ｄレンジ決定アシストモードである。ユーザはモード切替スイッチ６０を操作することで、所望のモードに直接切り替えることができる。録画スイッチ６１は撮影待機状態と撮影状態を切り替える際にユーザが使用する操作部材である。システム制御部５０は、録画スイッチ６１の操作指示を受け付けた場合、撮像部２２の信号読み出しから記録媒体２００への動画データの書き込みまでの一連の動作を開始させる。

操作部７０は、例えば表示部２８に表示される種々の機能アイコンをユーザが選択操作する際に使用し、場面ごとに適宜機能が割り当てられた機能ボタンを有する。例えば終了ボタン、戻りボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。ユーザがメニューボタンを操作すると、表示部２８は各種の設定可能なメニュー項目を画面に表示する。ユーザは、表示部２８に表示されたメニュー画面を見ながら、上下左右の４方向ボタンやＳＥＴボタンを用いて各種設定を行える。

電源スイッチ７２は、ユーザがカメラの電源のＯＮ操作またはＯＦＦ操作に使用する。電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。電源制御部８０は電池の装着の有無、電池の種類、電池残量を検出し、検出結果およびシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、記録媒体２００を含む各部へ電力を供給する。電源部３０は１次電池または２次電池、ＡＣアダプタ等を備える。記録媒体Ｉ/Ｆ部１８は記録媒体２００とのインターフェース部である。記録媒体２００は、撮像された画像のデータを記録するメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に本実施形態における動作について説明する。本実施形態では最大の測光値に対する、現在の撮像部２２が表示可能な明るさのダイナミックレンジとの差分を表示する機能（以下、Ｄレンジアシストという）を利用して、ユーザはＤレンジを決定することができる。以下では、ユーザ操作によってＤレンジアシストが有効に設定された場合において、撮影時に設定可能なＤレンジに変更する例を示す。本実施形態ではＤレンジに応じて露出状態およびガンマ補正特性を変更し、Ｄレンジアシストの設定が有効となった場合に、最大測光値（ＰｅａｋＨｏｌｄ値）とＤレンジを表示する処理が実行される。

本実施形態における各処理は、システム制御部５０のＣＰＵが不揮発性メモリ５６に記憶されたプログラムをシステムメモリ５２に展開して実行することにより実現される。図３に示すフローチャートを参照して、本実施形態における処理を説明する。

まずＤレンジアシストの状態について判断処理が実行される（Ｓ３０１）。ユーザは操作部材を用いて、Ｄレンジアシストの有効または無効を設定することができる。Ｓ３０１でＤレンジアシストの設定が無効であると判断された場合、下記処理を行わずに終了する。またＳ３０１にてＤレンジアシストの設定が有効であると判断された場合、Ｓ３０２の処理へ進む。

Ｓ３０２でシステム制御部５０は、現在の露出設定に基づいてＤレンジを算出し、算出結果である現在のＤレンジの情報を表示する制御を行う（Ｓ３０３）。表示方法としては、映像にＤレンジ情報を重畳する表示形態や、Ｄレンジ情報を別途表示する形態がある。本実施形態では、映像にＤレンジ情報を重畳して表示させる形態を説明する。図４にＤレンジ情報の表示例を示す。図４はＤレンジ表示情報を画面の右側に配置し、左側の画像表示領域４２０に撮像画像を配置した例を示す。図４に示す範囲４００は、現在のＤレンジ情報に対応するＤレンジを示しており、垂直バーの長さによってＤレンジ範囲が分かるように表示される。なお、現在のＤレンジの範囲４００を示す垂直バーは、実際には後述の指標４０１が表示される左側の垂直バー４１０に重なった画像として表示されるが、図示の便宜上、並列配置された垂直バー表示として説明する。範囲４００を表示する第１の画像データと、垂直バー４１０を表示する第２の画像データは画像処理部２４により生成され、システム制御部５０の制御指令にしたがって表示部２８の画面上に表示される。なお範囲４００のバー表示は例示であって、表示方法は任意であり、特に限定されない。

次にシステム制御部５０は、Ｄレンジの変更量を算出する（Ｓ３０４）。Ｄレンジの変更量をＤｃｈａｎｇｅと表記し、現在のＤレンジをＤｎｏｗと表記する。撮像装置にて設定可能な最大のＤレンジをＤｍａｘと表記すると、Ｄレンジの変更量は下記（式１）から算出される。
Ｄｃｈａｎｇｅ＝ｌｏｇ_２（Ｄｍａｘ／Ｄｎｏｗ） （式１）
（式１）中のｌｏｇ_２（）は、２を底とする対数関数を表わす。例えば最大のＤレンジを８００％とし、現在のＤレンジを４００％とする。この場合、Ｄレンジ変更量は１段である。また現在のＤレンジを３００％とすると、Ｄレンジ変更量は約１．５２段となる。（式１）で目標のＤレンジとして最大のＤレンジを例示するが、目標のＤレンジの値については、αを１未満の係数として最大のＤレンジから算出される所定範囲内（例えばα・Ｄｍａｘ≦目標Ｄレンジ＜Ｄｍａｘ）の値でもよい。

次にシステム制御部５０は、Ｓ３０４で算出したＤレンジ変更量に応じて、露出とガンマ補正特性を変更する（Ｓ３０５）。露出については絞り１０１、ＮＤフィルタ１０４、撮像部２２における電子シャッタ制御、アナログゲイン設定等で変更される。電子シャッタ制御による変更例として、Ｄレンジ変更前の電子シャッタ値（秒時）を１／６０とし、Ｄレンジ変更量を１段とする場合を想定する。この場合、システム制御部５０は電子シャッタ値を１／１２０に変更する。露出変更方法については、撮像素子から信号が出力される前に変更できる手段を用いた方法であれば任意であり、特に限定されない。

システム制御部５０は露出変更と同時に、画像処理部２４内におけるガンマ補正回路の設定変更により、ガンマ補正特性を変更する。Ｄレンジアシストの設定前の入力をＸと表記し、出力をＹと表記する。Ｄレンジアシスト時には「Ｘ×Ｄｎｏｗ／Ｄｍａｘ」の出力がＹとなるようにガンマ補正特性が変更される。また、Ｄレンジアシストの設定前の入力の最大値をＸｍａｘと表記し、出力の最大値をＹｍａｘと表記する。Ｄレンジアシスト時には入力Ｘｍａｘ×Ｄｎｏｗ／Ｄｍａｘの時にＹｍａｘとし、それ以上の入力に対する出力はＹｍａｘとする。図５を参照して、Ｄレンジアシスト前後のガンマ補正特性について具体例を説明する。

図５はＤｎｏｗが４００％であって、Ｄｍａｘが８００％の例を示す。横軸はガンマ補正回路の入力ビットを表わし、縦軸は出力ビットを表わす。Ｄレンジアシスト前のガンマ補正特性５０１を実線で示し、Ｄレンジアシスト後のガンマ補正特性５０２を１点鎖線で示している。Ｄｎｏｗ／Ｄｍａｘが１／２（＝４００％／８００％）であるので、Ｄレンジアシスト前の入力Ｘに対する出力Ｙと、Ｄレンジアシスト後の入力Ｘ／２に対する出力Ｙとが同じになるガンマ補正特性を示している。またＤレンジアシスト後には、Ｘｍａｘ／２のときの出力がＹｍａｘとなり、Ｘｍａｘ／２より大きい範囲ではＹｍａｘを維持する特性である。システム制御部５０はＤｎｏｗに応じて決定したガンマ補正特性に基づく設定値を、画像処理部２４に送信し、画像処理部２４内のガンマ補正回路に設定する。これにより、階調補正特性が変更される。

次にシステム制御部５０は測光値を取得する（Ｓ３０６）。画像処理部２４はガンマ補正回路を通過する前の画像データから測光値を算出する。測光値は、画像データを複数の特定のサイズに区切り、区切られた枠の中の画像データに係るそれぞれの輝度信号の平均値を算出した値である。図６を参照して具体例を説明する。図６は撮像された画像に対する測光枠の表示例として、縦方向に８分割で横方向に８分割とし、８×８の枠に区切った場合を例示する。

図６（Ａ）は被写体の画像例６０１を示し、図６（Ｂ）は被写体の画像６０２と測光枠６０３を例示する。この例では、システム制御部５０は各測光枠内の画像データに関する６４個の輝度平均値を取得する。なお図６では６４個の枠を例示したが、枠数や枠形状は任意に設定可能である。また、測光値として輝度信号の平均値を用いる例を示したが、枠ごとの明るさがわかればよいので、積分値で表してもよいし、ＡＰＥＸ単位で表わしたＥＶ値等の明るさの指標となる値を用いてもよい。また、本実施形態では測光対象とする画像データを、画像データ全体（１面）としているが、特定の領域内の画像データを対象としてもよい。特定の領域とは、例えばユーザ操作等により指定された画像領域であり、当該領域内の画像データが測光データとして使用される。

次に、システム制御部５０は６４個の測光値から最大測光値を算出する（Ｓ３０７）。取得した測光値の中から最大値が算出され、その値が最大測光値として決定される。次にシステム制御部５０は現在のピークホールド値（ＰｅａｋＨｏｌｄ値と記す）と、Ｓ３０７で決定された最大測光値を比較し、最大測光値が現在のＰｅａｋＨｏｌｄ値よりも大きいか否かを判定する（Ｓ３０８）。ＰｅａｋＨｏｌｄ値とは、Ｄレンジアシストの開始時点から現在までの最大測光値のうちで最も大きい測光値を保持した値である。ＰｅａｋＨｏｌｄ値よりも最大測光値の方が大きい場合、Ｓ３０９の処理に進み、最大測光値が現在のＰｅａｋＨｏｌｄ値以下である場合、Ｓ３１０の処理に進む。

Ｓ３０９でシステム制御部５０はＰｅａｋＨｏｌｄ値に、Ｓ３０７で算出した最大測光値を代入して更新を行い、Ｓ３１０へ進む。Ｓ３１０にてシステム制御部５０はＰｅａｋＨｏｌｄ値を画像処理部２４に送信する。画像処理部２４はＰｅａｋＨｏｌｄ値を表現する第３の画像データを生成する。生成された画像データはメモリ制御部１５とＤ／Ａ変換器１３を経て表示部２８の画面に表示される。図４に具体例を示す。ＰｅａｋＨｏｌｄ値６.０は指標４０１を用いて表示される。垂直バー４１０の長さは撮像装置における最大Ｄレンジに対応する範囲を表す。ＰｅａｋＨｏｌｄ値を指示する指標４０１の表示画像は、垂直バー４１０上に重ねた画像として生成され、ＰｅａｋＨｏｌｄ値の位置が表示される。ユーザは指標４０１を目安として操作部材を用いてＤレンジの設定操作を行い、システム制御部５０はアシストモードにて決定されたＤレンジ設定情報を受け付けてＤレンジ変更処理を実行する。なお、ＰｅａｋＨｏｌｄ値を表現する画像についてはポインタ表示に限らず、所定の図形を用いた表示でもよく、その表現方法は特に限定されない。

図３の処理ではＤレンジ決定アシストモード時にＤレンジ変更量を算出する例を示した。Ｄレンジ変更量についてはＤレンジアシスト時に限らず、常に計算できるので、Ｄレンジアシストの設定状態にかかわらずシステム制御部５０が算出を行ってもよい。その際には、Ｄレンジアシスト時以外での処理負荷の増加に留意すべきである。

本実施形態では、現在のＤレンジ範囲とＰｅａｋＨｏｌｄ値との関係が画像表示によってユーザに提示される。測光値が最大のＤレンジの範囲内であれば、現在のＤレンジを超えた測光値であっても高輝度部の階調を維持した状態で、ユーザは現在のＤレンジと測光値の関係を把握できる。そして、Ｄレンジが大きく変化した場合にユーザは、その変化中の最大測光値を知ることができる。つまりユーザは最大でどのＤレンジまで必要であるかが明確に分かるので、Ｄレンジを変更する際の目安とすることができる。本実施形態によれば、パンニング等で映像が大きく変化し、Ｄレンジが大きく変化する場合でも、ユーザは設定したアシストモードにおいて、容易にＤレンジを決定することができる。

［第２実施形態］
次に本発明の第２実施形態を説明する。第１実施形態では、Ｄレンジと測光値との差分をユーザに提示して、Ｄレンジ変更の際に目安とする例を示した。しかしながら、ユーザがパンニング等を行った場合、映像が大きく変化している最中の一瞬だけＤレンジが高い場合に、その都度Ｄレンジを高く設定することはＳ／Ｎ比を不必要に低下させることになりかねない。そこで本実施形態では、映像が大きく変化している場合のＤレンジ変化の影響を抑えて、Ｄレンジアシストを行う例を説明する。本実施形態にて第１実施形態の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。

図７のフローチャートを参照して、本実施形態における処理を説明する。Ｓ３０１からＳ３０７の処理は、図３にて説明済みであるため、Ｓ７０１からＳ７０５の処理を説明する。Ｓ３０７からＳ７０１へ進み、システム制御部５０は画像データが前回の画像データからどの程度変化しているかを検出するために、その変化の量を示す映像変化量を算出する。映像変化量の算出処理では、例えば、ジャイロセンサ２５により得られる角速度からカメラの動き量が算出され、当該動き量が映像変化量として使用される。あるいは今回の画像データと前回の画像データとの差分が算出され、当該差分の値と方向をベクトル化した動きベクトルの大きさが映像変化量として使用される。または、前回の画像データに対するＤレンジの変化量を算出して、これを映像変化量に使用してもよい。これらは例示であって、映像変化量の算出方法が特定の方法に限定されるわけではない。

次にシステム制御部５０は、Ｓ７０１で算出した映像変化量を所定の閾値と比較し、映像変化量が閾値以上であるかどうかを判断する（Ｓ７０２）。映像変化量が閾値以上であると判断された場合、Ｓ３０８に進み、映像変化量が閾値未満であると判断された場合にはＳ７０３に進む。なお、当該閾値としては、例えば、算出した映像変化量が、デジタルビデオカメラ１００のパンニング動作などによりダイナミックレンジが変化しているか否かを判別出来るような値であればどのようなものであってもよい。

Ｓ７０３でシステム制御部５０は、Ｄレンジアシストが有効に設定された時点から最大の明るさの目安となる指標値（以下、ＲｏｕｇｈＰｅａｋ値という）と、最大測光値とを比較する。システム制御部５０は、現在のＲｏｕｇｈＰｅａｋ値よりも最大測光値の方が大きいか否かを判定する。現在のＲｏｕｇｈＰｅａｋ値よりも最大測光値の方が大きい値であると判定された場合、Ｓ７０４の処理に進む。また現在のＲｏｕｇｈＰｅａｋ値が最大測光値以上であると判定された場合、Ｓ３０８の処理へ進む。

Ｓ７０４でシステム制御部５０は、ＲｏｕｇｈＰｅａｋ値を算出する。ＲｏｕｇｈＰｅａｋ値の算出処理では、例えば、出現率で重み（重み付けの度合い）を乗算した最大測光値がＲｏｕｇｈＰｅａｋ値として算出される。画像データごとの最大測光値の出現率（出現頻度）に応じた重み付け演算を行う理由は、最大測光値がどのぐらいの頻度で出現しているかを指標値に加味するためである。あるいは、映像変化量を指標値に加味するために、映像変化量が少ないほど重み付け係数値を増して、当該係数値を最大測光値に乗算した値がＲｏｕｇｈＰｅａｋ値として算出される。これらの算出方法は一例であり、ＲｏｕｇｈＰｅａｋ値の算出方法が特定の方法に限定されるわけではない。Ｓ７０４の処理後、Ｓ３０８へ進む。

Ｓ３０８では、現在のＰｅａｋＨｏｌｄ値と最大測光値とが比較される。現在のＰｅａｋＨｏｌｄ値よりも最大測光値の方が大きい場合、ＰｅａｋＨｏｌｄ値に最大測光値を代入する処理が行われ（Ｓ３０９）、Ｓ７０５へ進む。また、最大測光値が現在のＰｅａｋＨｏｌｄ値以下である場合、Ｓ７０５へ進む。

Ｓ７０５でシステム制御部５０は、ＰｅａｋＨｏｌｄ値とＲｏｕｇｈＰｅａｋ値を画像処理部２４に送信する。画像処理部２４はＰｅａｋＨｏｌｄ値を表現する画像データとＲｏｕｇｈＰｅａｋ値を表現する画像データを生成する。図８に具体例を示す。垂直バー４１０上には、ＰｅａｋＨｏｌｄ値を表わす指標４０１と、ＲｏｕｇｈＰｅａｋ値を表わす指標８０１が表示される。つまり、ＰｅａｋＨｏｌｄ値７.０は指標４０１を用いて表示され、ＲｏｕｇｈＰｅａｋ値６.０は指標８０１を用いて表示される。ＰｅａｋＨｏｌｄ値やＲｏｕｇｈＰｅａｋ値を表現する指標画像については、任意のポインタや図形等により表現可能である。ユーザは指標４０１および８０１を目安として操作部材を用いてＤレンジの設定操作を行い、システム制御部５０はアシストモードにて決定されたＤレンジ設定情報を受け付けてＤレンジ変更処理を実行する。

本実施形態では、Ｄレンジアシスト時にＰｅａｋＨｏｌｄ値とＲｏｕｇｈＰｅａｋ値が表示されてユーザに提示される。ユーザはそれらの表示値を見て、最大Ｄレンジを把握しつつ、最低限どの程度のＤレンジまでカバーすべきかという指標値がわかるため、映像全体を俯瞰しながらＤレンジの変更および決定の操作を行うことができる。

［変形例］
前記実施形態の変形例では、映像変化量に対応する重み付け係数値を測光値に乗算して現在のピークホールド値を算出する処理が行われる。例えば、図３、図７のＳ３０９にてシステム制御部５０はＰｅａｋＨｏｌｄ値に最大測光値を代入するのではなく、算出した映像変化量に対応する重み付け係数値を最大測光値に乗算して現在のピークホールド値を算出する。システム制御部５０はアシストモードが設定された時点から算出される最大測光値と現在のピークホールド値とを比較し、最大測光値が現在のピークホールド値よりも大きい場合にピークホールド値を更新する。あるいはシステム制御部５０は画像データごとの最大測光値の出現頻度に応じた重み付け係数値を当該最大測光値に乗算して現在のピークホールド値を算出する。システム制御部５０はアシストモードが設定された時点から算出される最大測光値と現在のピークホールド値とを比較し、最大測光値が現在のピークホールド値よりも大きい場合にピークホールド値を更新する。

ピークホールド値についても映像変化量や画像データごとの最大測光値の出現頻度に応じた重み付け処理を行うことにより、映像変化に対応したＤレンジアシスト処理を実現できる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２２‥‥撮像部
２４‥‥画像処理部
２５‥‥ジャイロセンサ
２８‥‥表示部
５０‥‥システム制御部

Claims (14)

1. 被写体を撮像して画像データを出力する撮像手段と、
   前記画像データの階調補正を行う補正手段と、
   前記階調補正が行われる前の前記画像データを取得して前記画像データごとに測光値を算出する算出手段と、
   取得する前記画像データに係る現在のダイナミックレンジを所定のダイナミックレンジに変更する際にダイナミックレンジの決定を支援するモードを設定する設定手段と、
   ダイナミックレンジが変更される場合、前記撮像手段の露出を制御するとともに、前記階調補正の特性を制御する制御手段と、を備え、
   前記制御手段は、前記設定手段により前記モードが設定された時点から現在までに算出された前記測光値のピークホールド値を算出して保持し、現在のダイナミックレンジの情報および前記ピークホールド値を表示手段に表示させる制御を行い、設定された前記モードにて操作により決定されたダイナミックレンジを受け付ける処理を行う
   ことを特徴とする撮像装置。
2. 現在のダイナミックレンジを表示する第１の画像データと、設定可能な最大のダイナミックレンジを表示する第２の画像データと、前記ピークホールド値を表示する第３の画像データを生成する画像処理手段を備え、
   前記制御手段は、前記設定手段により前記モードが設定された場合、新たに算出された前記測光値が前記ピークホールド値よりも大きい場合に当該ピークホールド値が前記測光値と同じ値となるように更新し、更新されたピークホールド値を示す前記第３の画像データと、前記第１および第２の画像データを前記表示手段に表示させる制御を行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、被写体を撮像することで取得された映像の変化量を算出し、前記映像の変化量が閾値以上である場合、前記ピークホールド値を更新しない
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記制御手段は、前記映像の変化量に対応する重み付けの度合いを前記測光値に乗じて現在のピークホールド値を算出し、前記設定手段により前記モードが設定された時点から算出される前記測光値が現在のピークホールド値よりも大きい場合に前記ピークホールド値を更新する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記制御手段は、前記画像データごとの最大測光値の出現頻度に対応する重み付けの度合いを当該最大測光値に乗じて現在のピークホールド値を算出し、前記設定手段により前記モードが設定された時点から算出される前記最大測光値が現在のピークホールド値よりも大きい場合に前記ピークホールド値を更新する
   ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記設定手段により前記モードが設定された時点から映像の明るさに関する指標値を算出し、当該指標値を前記表示手段に表示させる制御を行う
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記制御手段は、被写体を撮像することで取得された映像の変化量を算出し、前記映像の変化量が閾値より小さい場合であって、前記設定手段により前記モードが設定された時点から算出された前記測光値が前記指標値よりも大きい場合に当該指標値が前記測光値と同じ値となるように更新し、前記映像の変化量が閾値以上である場合には前記指標値を更新しない
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記制御手段は、撮像された映像の変化量を算出し、前記映像の変化量に対応する重み付けの度合いを前記測光値に乗じて現在の指標値を算出し、前記設定手段により前記モードが設定された時点から算出される前記測光値が現在の指標値よりも大きい場合に前記指標値を更新する
   ことを特徴とする請求項６に記載の撮像装置。
9. 前記制御手段は、前記画像データごとの最大測光値の出現頻度に対応する重み付けの度合いを当該最大測光値に乗じて現在の指標値を算出し、前記設定手段により前記モードが設定された時点から算出される前記最大測光値が現在の指標値よりも大きい場合に前記指標値を更新する
   ことを特徴とする請求項６に記載の撮像装置。
10. 前記補正手段は前記画像データのガンマ補正を行う手段であり、
    前記制御手段は、現在のダイナミックレンジから前記モードで決定されたダイナミックレンジへの変更量に対応して前記露出を変更する制御および前記補正手段の特性を変更する制御を行う
    ことを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 前記モードが設定された場合に前記補正手段は、前記モードの設定前の入力Ｘに対して現在のダイナミックレンジを乗じて目標のダイナミックレンジを除した値として算出される出力が、前記モードの設定前の補正手段の出力Ｙと等しくなる特性に変更される
    ことを特徴とする請求項１０に記載の撮像装置。
12. 前記モードの設定前の入力Ｘの最大値をＸｍａｘとし、前記モードの設定前の出力Ｙの最大値をＹｍａｘとするとき、前記モードが設定された場合の前記補正手段の特性において、Ｘｍａｘに現在のダイナミックレンジを乗じて目標のダイナミックレンジを除した値に等しいか又は当該値よりも大きい入力に対する出力はＹｍａｘである
    ことを特徴とする請求項１１に記載の撮像装置。
13. 被写体を撮像して画像データを出力する撮像手段を備えた撮像装置の制御方法であって、
    前記画像データの階調補正を行う補正工程と、
    前記階調補正が行われる前の前記画像データを取得して前記画像データごとに測光値を算出する算出工程と、
    取得する前記画像データに係る現在のダイナミックレンジを所定のダイナミックレンジに変更する際にダイナミックレンジの決定を支援するモードを設定する設定工程と、
    ダイナミックレンジが変更される場合、前記撮像手段の露出を制御するとともに、前記階調補正の特性を制御する制御工程と、を備え、
    前記制御工程では、前記設定工程で前記モードが設定された場合に、前記モードが設定された時点から現在までに算出された前記測光値のピークホールド値を算出して保持し、
    現在のダイナミックレンジの情報および前記ピークホールド値を表示手段に表示させる制御を行い、設定された前記モードにて操作により決定されたダイナミックレンジを受け付ける処理を行う
    ことを特徴とする撮像装置の制御方法。
14. コンピュータを、請求項１から１２のいずれか１項に記載の撮像装置が備える前記制御手段として機能させるプログラム。

Images