JP2019057794A - 撮像装置およびその制御方法、プログラムならびに記録媒体 - Google Patents

Abstract

【課題】撮影した映像を、当該映像よりダイナミックレンジの狭い出力機器で表示する際に、高輝度の解像力の低減を抑制する映像データを出力可能な技術を提供する。【解決手段】上述の実施形態に係る撮像装置は、撮像手段で撮像された映像信号を、所定の入出力特性を有する第１の表示手段に表示するための第１の階調変換特性で階調変換する変換手段と、撮像された映像信号を第２の表示手段に表示するために、撮像された映像信号を第１の階調変換特性の有する輝度範囲よりも狭い輝度範囲に階調変換するための、第２の階調変換特性を決定する階調変換決定手段と、撮像された映像信号に付加する、第２の階調変換特性を表すパラメータをメタデータとして生成するメタデータ生成手段と、を有する。【選択図】 図３

Description

本発明は、撮像装置およびその制御方法、プログラムならびに記録媒体に関する。

近年、画像や映像を表示するテレビやディスプレイなどの出力機器の性能が向上し、実被写体に近い広ダイナミックレンジを表現することが可能なものが提案されている。これらの出力機器には、映像の臨場感を向上させるため、被写体を見たままの明るさで表示する（すなわち映像を被写体の絶対輝度で表示する）技術を用いるものがある。
被写体の絶対輝度で表示する映像を撮像装置で撮影する場合、絞りやシャッター速度などに基づいて被写体の絶対輝度値を算出し、絶対輝度値と表示機器の入出力特性に基づいて、表示機器の出力輝度値が被写体の絶対輝度値となる絶対輝度コードを決定する。そして、被写体の輝度値が絶対輝度コードとなるよう映像信号の変換や露出変更を行う。なお、このような、被写体の絶対輝度値の取得と出力機器で表示される被写体の出力輝度値の表示制御とを合わせて行い、映像の臨場感を向上させる撮影のモードを「絶対輝度表示モード」という。絶対輝度表示モードで撮影された映像は、広いダイナミックレンジを有するテレビなどで再生されれば、実被写体と同等の明るさで出力され、臨場感のある映像となる。

このような撮影に関し、絶対輝度情報を記録しておき、記録されている絶対輝度情報に基づいて階調／周波数特性を変更する画像処理を施して画像を出力する方法が提案されている（特許文献１）。

特開２０００−２６１７１９号公報

ところで、絶対輝度表示モードで撮影された映像を、スタンダード・ダイナミックレンジ（ＳＤＲ）対応のモニタ等の、実被写体のダイナミックレンジより狭いダイナミックレンジの出力機器に入力した場合、映像が低い出力輝度で暗く表示される。このため、絶対輝度表示モードで撮影された映像を、ダイナミックレンジの狭い出力機器に適した出力輝度に変換する場合がある。このような変換を実現する方法として、映像編集ソフトを用いて、再生する出力機器上で映像を確認しながら明るさを補正する方法がある。しかしながら、適切な明るさを実現する補正量は、被写体の明るさやコントラストによって異なるため、作成者が撮影シーンごとに手動で補正量を調節せざるを得ず、手間が掛かっていた。

また、絶対輝度表示モードで撮影された映像を、限られたダイナミックレンジ内で輝度を表現するために、映像に階調変換を施して相対輝度画像に圧縮する必要があり、階調変換が適切に行われなければ高輝度部分の解像力が低下する場合がある。

更に、特許文献１に開示された技術は、階調及び周波数特性を知覚特性に合わせて変更することで絶対輝度に近い階調表現を実現可能であるが、絶対輝度表示モードで撮影した映像をダイナミックレンジの狭い出力機器に表示することは考慮されていなかった。

本発明は、上記課題に鑑みてなされ、その目的は、撮影した映像を、当該映像よりダイナミックレンジの狭い出力機器で表示する際に、高輝度の解像力の低減を抑制する映像データを出力可能な技術を提供することを目的とする。

この課題を解決するため、例えば本実施形態の撮像装置は以下の構成を備える。すなわち、撮像手段で撮像された映像信号を、所定の入出力特性を有する第１の表示手段に表示するための第１の階調変換特性で階調変換する変換手段と、前記撮像された映像信号を第２の表示手段に表示するために、前記撮像された映像信号を前記第１の階調変換特性の有する輝度範囲よりも狭い輝度範囲に階調変換するための、第２の階調変換特性を決定する階調変換決定手段と、前記撮像された映像信号に付加する、前記第２の階調変換特性を表すパラメータをメタデータとして生成するメタデータ生成手段と、を有することを特徴とする。

本発明によれば、撮影した映像を、当該映像よりダイナミックレンジの狭い出力機器で表示する際に、高輝度の解像力の低減を抑制する映像データを出力可能になる。

本実施形態におけるデジタルカメラの機能構成例を示すブロック図 本実施形態における画像処理部の機能構成例を示すブロック図 実施形態におけるシステム制御部の機能構成例を示すブロック図 本実施形態における階調変換処理の一連の動作を示すフローチャート 本実施形態におけるモニタの入出力特性を示すグラフ（ａ）、及び本実施形態におけるガンマ特性を示すグラフ（ｂ） 実施形態におけるデジタルカメラのガンマ特性と各モニタの入出力特性とを説明するためのグラフ 本実施形態における相対輝度に対応するメタデータ生成処理の一連の動作を示すフローチャート 本実施形態におけるオートニー制御とオートダイナミックレンジ制御とを説明するためのグラフ

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では撮像装置の一例として、撮影した映像よりダイナミックレンジの狭い出力機器で表示する際に、高輝度の解像力の低減を抑制した映像を出力可能なデジタルカメラを用いる例を説明する。しかし、本実施形態は、デジタルカメラに限らず、撮影した映像よりダイナミックレンジの狭い出力機器で表示する際に、高輝度の解像力の低減を抑制した映像を出力可能な他の機器にも適用可能である。これらの機器には、例えばパーソナルコンピュータ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器、監視システムや車載用システムの機器などが含まれてよい。

（デジタルカメラ１００の構成）
図１は、本実施形態の撮像装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＧＰＵ等のプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

絞り１０１は、撮像部２２へ入射する光量を調整するための絞りである。バリア１０２は、撮影レンズ１０３、絞り１０１及び撮像部２２を含む撮像系を覆うことにより、撮像系の汚れや破損を防止する。撮影レンズ１０３は、ズームレンズ、フォーカスレンズを含むレンズ群を含み、レンズ群に入射する被写体像を撮像部２２の撮像面に結像させる。ＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）１０４は減光用に使用するフィルタである。撮像部２２は、光学像を電気信号に変換する光電変換素子が二次元状に配列された撮像素子であり、例えばＣＣＤやＣＭＯＳ素子等で構成される。また、撮像部２２は、電子シャッターによる、電気信号に変換された電荷の蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能を備える。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号（画像データ）に変換する。

画像処理部２４は、例えば信号処理用の回路或いはＧＰＵを含み、Ａ／Ｄ変換器２３からの画像データ、又は、メモリ制御部１５からの画像データに対して色変換処理、ガンマ補正、デジタルゲインの付加等の処理を行う。また、撮像した画像データを用いた所定の演算処理を行い、演算結果をシステム制御部５０に送信する。送信された演算結果に基づいてシステム制御部５０が露出制御、測距制御及びホワイトバランス制御等行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。画像処理部２４の詳細な構成については後述する。なお、画像処理部２４で実行する処理の一部又は全部をシステム制御部５０が代わりに行ってもよいし、システム制御部５０が実行する処理の一部を画像処理部２４が行ってもよい。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介して直接、メモリ３２に書き込まれる。メモリ３２は、撮像部２２によって撮像されてＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定時間分の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３から出力されるアナログ信号に応じた表示を行う。デジタルカメラ１００は、Ａ／Ｄ変換されてメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３によってアナログ変換し、表示部２８で逐次表示することにより、電子ビューファインダとして機能し、スルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６は、システム制御部５０の動作用の定数、後述する本実施形態に係る一連の動作を実行するためのプログラム等を記憶する。

システム制御部５０は、ＣＰＵ（或いはＭＰＵ）を含み、デジタルカメラ１００全体を制御する。システム制御部５０は、不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開、実行することで、後述する本実施形態に係る機能を実現する。このプログラムは、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムメモリ５２は、例えばＲＡＭを含む記憶媒体である。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、録画スイッチ６１、操作部７０、電源スイッチ７２はシステム制御部５０に各種の動作指示を入力するためのスイッチ等の操作部材である。モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。動画記録モードや静止画撮影モードには、絶対輝度表示モード及び相対輝度表示モードが含まれてもよい。モード切替スイッチ６０で、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ６１は撮影待機状態と撮影状態を切り替える。電源スイッチ７２が押下されると、システム制御部５０は電源部３０からの電源を各部に供給する。システム制御部５０は、録画スイッチ６１により、撮像部２２からの信号読み出しから記録媒体９０への動画データの書き込みまでの一連の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体９０、または外部出力機器とのインターフェースである。なお、図１は、記録媒体９０とデジタルカメラ１００の接続時の状態を示しているが記録媒体９０はデジタルカメラ１００から着脱可能に構成されてよい。記録媒体９０は、撮影された画像を記録するための記録媒体であり、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリであってよい。

（画像処理部２４の構成）
次に、図２を参照して、本実施形態に係る画像処理部２４の機能構成例について、より詳細に説明する。図２は、画像処理部２４の機能構成例とデジタルカメラ１００内の関連する構成を示している。なお、画像処理部２４は、ホワイトバランス（ＷＢ）の制御やシャープネス制御などの処理を行うことも想定されているが、以下の説明では当該処理については説明を省略する。画像処理部２４内の各ブロックは、システム制御部５０を通じて、絞りや、ＮＤ情報、シャッター速度などの露出パラメータを含めたカメラ内部のあらゆるデータを取得可能である。

検波部２０１は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からの画像データに対する検波を行って、画像データの代表値を求める。代表値は、例えば、１フレームの画像全体における輝度信号の平均値、或いは、１フレームの画面を複数の枠に分割して枠ごとの輝度の平均値を取得し、枠に重みをつけた平均値としても良い。また、１フレーム内の高輝度部の信号量を表す高輝度信号量の代表値の算出方法として、例えば、予め閾値を超えた輝度信号を積分し、その積分値を代表値としてもよい。このとき、検波部２０１は、代表値と合わせて最大輝度値や、所定の閾値以上である高輝度領域の割合なども検出しておく。

ＢＶ算出部２０２は、基準信号、絞り、感度、シャッター値、及び検波部２０１で取得した代表値からＢＶ値（絶対輝度値）を算出する。ＢＶ値の算出については後述する。絶対輝度コード決定部２０３は、不揮発性メモリ５６またはメモリ制御部１５から表示先の表示機器の入出力特性を取得し、表示がＢＶ算出部２０２で算出したＢＶ値となる絶対輝度コードを表示機器の入出力特性に基づいて決定する。表示機器の入出力特性は、予め不揮発性メモリ５６に記録していても良いし、ユーザからの入力を受けても良いし、接続した表示機器から取得しても良い。

ガンマ補正部２０５は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対して、輝度に対する入出力特性を変更するガンマ補正を行う。撮像された映像のダイナミックレンジより狭いダイナミックレンジの出力機器に映像を出力する場合、表示される映像は、ダイナミックレンジが低く、高輝度部が白飛びしやすくなる。そこで、ガンマ補正部２０５は、高輝度部では階調を犠牲にして、表示機器の入出力特性に対して逆ガンマである特性よりも抑圧された特性を適用することによって、ダイナミックレンジを広げる処理を行う。例えば、ガンマ補正部２０５は、高輝度部の階調表現を高めるため、適応的に高輝度部の階調を変更するオートニー制御やオートダイナミックレンジ制御を適用する。オートニー制御は、高輝度部の信号量が多い場合に、ガンマ特性に対して高輝度部の非線形特性の傾きを大きくすることにより、高輝度部の階調表現を高める制御である。また、オートダイナミックレンジ制御は、高輝度部の信号量が多い場合、ダイナミックレンジが広がり高輝度部においてより高い階調表現を実現できるような非線形特性になるように階調を変更する制御である。

（システム制御部５０の構成）
次に、図３を参照して、本実施形態のシステム制御部５０の機能構成例について説明する。露出制御量算出部３０１は、ガンマ補正部２０５からガンマ特性を取得するとともに、絶対輝度コード決定部２０３から決定された絶対輝度コードを取得する。露出制御量算出部３０１は、取得したガンマ特性と絶対輝度コードに基づいて、表示機器が絶対輝度で出力できるようにするための第一露出制御量を決定する。システム制御部５０は、決定した第一露出制御量を基に各露出を制御する。

階調変換決定部３０２は、ガンマ補正部２０５からのガンマ特性と、検波部２０１から出力される高輝度情報とに基づいて、オートニー制御或いはオートダイナミックレンジ制御によって高輝度部の階調補正を行うための、ニーポイント及び傾き値を決定する。

信号処理パラメータ算出部３０３は、階調変換決定部３０２で決定したニーポイント及び傾き値に基づいて、高輝度部の解像力を保つために必要な輪郭強調の信号処理パラメータを算出する。

補正値生成部３０４は、映像の輝度を、映像記録時（すなわち撮影時）の想定とは異なる出力輝度範囲を持つ出力機器で視聴するための適切な輝度に補正するため、算出されたニーポイント及び傾き値と輪郭強調パラメータとを補正値として生成する。

メタデータ生成部３０５は、補正値生成部３０４が生成した補正値を含んだ、記録する映像のメタデータを生成するメタデータ生成部である。３０６は画像処理部２４で処理された映像信号にメタデータ生成部３０５で生成された記録データを重畳する（付加する）信号重畳部である。

（階調変換処理に係る一連の動作）
次に、図４を参照して、本実施形態に係る階調変換処理に係る一連の動作を説明する。なお、本処理は、システム制御部５０が不揮発性メモリ５６に記憶されたプログラムをシステムメモリ５２の作業用領域に展開、実行すると共に、画像処理部２４等を制御することにより実現される。

なお、以下の説明では、デジタルカメラ１００は絶対輝度表示モードに設定されており、撮影時に撮影映像を視聴する表示部２８のモニタは被写体に近い広いダイナミックレンジを有するモニタ（単にモニタＡもいう）である場合を例に説明する。また、本実施形態の処理は、記録した映像が後に狭いダイナミックレンジを持つモニタ（単にモニタＢともいう）で再生されることを想定している。このため、デジタルカメラ１００は、絶対輝度表示モードで映像を記録する際に、自動露出制御で撮影した場合の映像と同等の明るさにするための補正値を生成し、記録する映像に生成した補正値をメタデータとして記録する。なお、本実施形態で想定する自動露出制御は、所定の被写体の出力輝度値が輝度の所定の目標範囲を維持するように露出パラメータを調整する制御を指し、例えば人物の顔などがモニタ出力輝度の約７０％の状態を維持するように露出を制御するものである。なお、このように所定被写体に対してモニタ上の出力輝度値を保つような撮影モードを、相対輝度表示モードという。このような補正値をメタデータとして記録することにより、絶対輝度表示モードで記録した映像を狭いダイナミックレンジのモニタで表示する場合であっても、人物の顔の出力輝度を適切な明るさを保つことができる。

Ｓ４０１において、画像処理部２４の検波部２０１は、Ａ／Ｄ変換器２３からの画像データ（或いは、メモリ制御部１５からの画像データ）を取得し、画像データの輝度の代表値を求めるための検波処理を行う。検波部２０１は、例えば測光用の所定領域の中央部分の平均輝度を算出して輝度の代表値を求める。或いは、顔などの特定被写体の領域の平均輝度を算出したり、指定した１点の輝度を取得したりしてもよく、代表値の求め方はこれらに限定されない。なお、検波後に行う露出制御によりデジタルカメラ１００のダイナミックレンジが変化してしまう可能性があるため、検波の対象となる点又は領域は、ダイナミックレンジの変化後にも検波出来るような対象を選ぶ方が、都合が良い。このため、予め、デジタルカメラ１００のダイナミックレンジに応じて輝度の上限下限の閾値を設けておき、検波部２０１が、輝度が当該閾値の間にある対象（領域や点）を選択する処理を行うことが望ましい。

Ｓ４０２において、ＢＶ算出部２０２は、Ｓ４０１において求めた代表値に対するＢＶ値（絶対輝度値）を算出する。ＢＶ算出部２０２は、検波部２０１で取得した代表値のほか、例えば、基準信号、絞り、感度、ゲイン値、シャッタースピード等を用いてＢＶ値を算出する。ＡＰＥＸ（Additive System of Photographic Exposure）表現における基準信号のＢＶ値（基準ＢＶ値）は、式１に従って求められる。例えば、絞り値がＦ４．０、シャッタースピードが１／１２８、感度がＩＳＯ２００であって、ＡＶ値、ＴＶ値及びＳＶ値がそれぞれ４、７、６である場合、基準ＢＶ値は式１に従って１２８ｃｄ／ｍ^２となる。

基準ＢＶ値＝ＡＶ（絞り値）＋ＴＶ（シャッターＳＰ）−ＳＶ（感度） （式１）

このとき、デジタルカメラ１００のダイナミックレンジが１２００％、基準信号が２０％、データのbit数が１４である場合、基準信号のコードは、式２に従って２７３と求められる。

基準信号のコード＝（２^bit数） ＊ ダイナミックレンジ ／ 基準信号 （式２）

ここで、代表値のコードが２１３２の場合、Ｘを代表値のＢＶ値と基準ＢＶ値との差分とすると、式３が成り立つ。

代表値のコード＝基準信号のコード ＊（２^Ｘ） （式３）

式３に各数値を当てはめると、Ｘ＝２．９６と算出され、代表値のＢＶ値は、２^２．９６＊１２８ｃｄ／ｍ^２＝１０００ｃｄ／ｍ^２と求められる。なお、もちろん上記以外の他の方法で代表値のＢＶ値を求めてもよい。また、外部センサなどから取得した信号からＢＶ値を算出しても良く、算出方法は上述の方法に限定されない。

Ｓ４０３において、画像処理部２４の絶対輝度コード決定部２０３は、表示機器の表示が代表値のＢＶ値となる絶対輝度コードを決定する。絶対輝度コード決定部２０３は、絶対輝度コードを、例えば、表示機器の入出力特性とＳ４０２で算出した代表値のＢＶ値に基づいて算出する。図５（ａ）にモニタの入出力特性の一例を示す。モニタが図５（ａ）に示す入出力特性を有する場合、出力輝度が代表値のＢＶ値となるような入力コードを一意に決定することができる。絶対輝度コード決定部２０３は、予めグラフに示す入出力特性を定めたテーブルデータを不揮発性メモリ５６に記憶させ、当該データを参照して絶対輝度コードを求めることができる。或いは、予め定めた入出力特性の式と算出した代表値のＢＶ値とに基づいて絶対輝度コードを算出しても良い。

Ｓ４０４において、システム制御部５０の露出制御量算出部３０１は、求めた絶対輝度コードに基づいて、露出制御量を算出する。具体的に、露出制御量算出部３０１は、代表値のＢＶ値に対してガンマ補正部からの出力が絶対輝度コードとなるには露出制御量をいくらにすればよいかを算出する。例えば、システム制御部５０は画像処理部２４のガンマ補正部２０５からガンマ特性を取得し、そのガンマ特性に基づいて第一露出制御量を算出する。図５（ｂ）には、本実施形態のガンマ補正部２０５が画像データに適用するガンマ特性の一例を示している。このようなガンマ特性に対し、出力コードが絶対輝度コードとなるような入力コードはＹとなる。このガンマ特性がモニタの入出力特性に対して逆ガンマの関係であれば、データが代表値のときに出力コードを絶対輝度コードとする露出制御量が式４に従って求められる。

露出制御量 ＝ Ｙ ／ 代表値 （式４）

なお、上述の本実施形態では、本実施形態に係るガンマ特性がモニタの入出力特性に対して逆ガンマの特性を有する場合を例に説明しているが、本実施形態で用いるガンマ特性が必ずしもモニタの入出力特性の逆ガンマの特性を有しなくてもよい。

Ｓ４０５において、システム制御部５０は、露出制御量算出部３０１で算出した露出制御量に基づいて露出制御を行う。システム制御部５０は、例えば、露出制御量が式４に従って得られた場合、現状の露出制御値から、得られた露出制御量に応じて露出を変更する制御を行う。具体的には、露出制御量が１／２だった場合、絞りを１段絞る露出制御を行う。露出制御の方法は、露出制御量に応じて変わってもよい。例えば、システム制御部５０は、大きく露出を変更する（露出制御量が大きい）場合には、露出制御量の分だけ一気に露出を変更せず、時間をかけて徐々に変更する。このように露出を制御すれば、撮影する映像が急激に変化せず、変化前後のつなぎがスムーズになる。また、どの露出パラメータを制御して露出制御量に対応するかについては様々な方法をとることができる。例えば、絞り、シャッター、ＮＤフィルタ、ゲインのいずれかの露出パラメータを変更しても良いし、これらの複数のパラメータを同時に変更しても良い。

Ｓ４０６において、画像処理部２４のガンマ補正部２０５は、Ａ／Ｄ変換器２３からのデータ（或いはメモリ制御部１５からのデータ）に対してガンマ特性を変更する。

このように、上述の画像処理により、代表値のデータは階調変換処理によって絶対輝度コードとなり、出力機器に絶対輝度コードが入力されることで、代表値のＢＶ値で表示されるようになる。つまり、被写体の絶対輝度で表示ができるようになり、臨場感のある映像を表示させることができる。

次に、絶対輝度表示モードにおける処理との対比のため、相対輝度表示モードにおける動作について説明する。ここでは、図４に示した階調変換処理の一連の動作を参照しながら、動作の差を説明する。まず、Ｓ４０１において、絶対輝度表示モードの際と同様に、検波を行う。代表値の算出は、絶対輝度表示モードと同様でも良いし、別の被写体を用いたり、別の算出方法を採用したりしてもよい。Ｓ４０２において、代表値のＢＶ値を算出する。Ｓ４０２では、後段の露出制御量算出部３０１でＢＶ値を使用しない場合には省略しても構わない。Ｓ４０３における絶対輝度コードの決定は、相対輝度モードでは不要であるため実行しない。次に、システム制御部５０は、Ｓ４０４に示した処理の代わりに、代表値に基づいて、定められた目標値に達するための露出制御量を算出する。例えば、代表値が顔の明るさである場合、当該目標値が顔の明るさを７０％の明るさで表示するような場合について説明する。ガンマ特性がモニタの入出力特性と逆ガンマの関係にあり、データのbit数を１４とする場合、システム制御部５０は露出制御量を式５に従って算出する。

露出制御量 ＝ （７０％ ＊ ２^１４）／ 代表値 （式５）

ここでは、目標値が代表値と直接関係する例を示したが、目標値は、代表値から算出される値、例えばＢＶ値に関係した目標値でもよく、代表値と目標値の関係は限定されない。

Ｓ４０５において、システム制御部５０は、露出制御量算出部３０１で算出した露出制御量に基づいて露出制御を行う。Ｓ４０６は絶対輝度モードと同様である。

このように、相対輝度で出力するモードで動作する場合、絶対輝度表示モードと異なるのは、絶対輝度コードを決定しない点と、露出制御量算出部３０１が絶対輝度コードに基づいて露出制御量を算出しない点である。上記説明では、代表値を顔の明るさによるものとしたが、撮影領域全体の平均輝度値でも良いし、撮影領域中の中心付近の重み付けを加重した所謂中央重点測光により得られる輝度評価値を用いても良い。また、目標値は被写体や撮影条件に応じて任意の値としても良い。

相対輝度表示モードの動作と絶対輝度表示モードの動作の比較を単純にするため、相対輝度表示モードにおいても、露出制御量算出部３０１を利用した場合を例に説明した。すなわち、本実施形態においては、絶対輝度表示モードで動作する際の露出制御値を露出制御量算出部３０１が算出し、撮影時の露出制御は、露出制御量算出部３０１の算出した露出制御値、またはユーザ指示の露出制御値によって制御される。

続いて、図６を参照して、モニタＡ及びモニタＢのそれぞれに、絶対輝度表示モードで撮影した映像を補正すること無くそのまま入力した場合の表示について説明する。この例では、モニタＡは、例えば、輝度が１０，０００ｃｄ/ｍ^２かつデータのｂｉｔ数が１２であり、モニタＢは、例えば、輝度が１００ｃｄ/ｍ^２かつデータのｂｉｔ数が８であるとする。なお、デジタルカメラ１００のガンマ特性（単にカメラガンマともいう）に係るデータのｂｉｔ数は１２である。モニタＡの入出力特性はカメラガンマとは逆ガンマの関係であり、モニタＢの入出力特性はγ２．２（ガンマ値が２．２）である。更に、デジタルカメラ１００によって撮影される被写体は人物の顔であり、その絶対輝度値は１００ｃｄ/ｍ^２である場合を例として説明する。

図６（ａ）〜（ｃ）は、カメラガンマ（デジタルカメラ１００のガンマ特性）と各モニタの入出力特性を示す。図６（ａ）に示す６０１はカメラガンマの特性を示しており、入力コードＡは１００ｃｄ/ｍ^２である被写体の顔を撮影した場合に対応する入力コードを示している。上述のように、デジタルカメラ１００は絶対輝度表示モードで動作するため、モニタＡにおいて顔の映像領域が１００ｃｄ/ｍ^２で出力されるように、撮影された顔領域の映像信号がカメラガンマの入力コードＡとなるように露出・映像信号の制御が行われる。入力コードＡは、カメラガンマ６０１によって、出力コード２０４８に変換され、システムメモリ５２或いは不揮発性メモリ５６に記憶される。図６（ｂ）に示す６０２はモニタＡの入出力特性を示している。変換されたコード値２０４８は、モニタＡに入力される場合、モニタＡの入出力特性である６０２によって出力輝度値に変換され、１００ｃｄ/ｍ^２の出力輝度で表示される。

一方、カメラガンマ６０１によって変換されたコード値２０４８は、モニタＢに入力される場合、まず１２ビット信号を８ビットへ変換するために１６で除算されて１２８のコード値となる。除算によって変換された入力コード１２８は、モニタＢの入出力特性である６０３によって出力輝度値に変換され、１５ｃｄ/ｍ^２の出力輝度でモニタＢに表示される。

このように、絶対輝度表示モードで撮影された映像は、モニタＡで再生される場合には被写体の絶対輝度値とモニタ上に表示される被写体の出力輝度値とが一致した状態で表示することができる。しかし、絶対輝度表示モードで撮影された映像がモニタＢで再生される場合は、約１５ｃｄ/ｍ^２と暗く出力されてしまう。なお、相対輝度表示モードで撮影した場合には、出力輝度の７０％となるように露出制御されるため、モニタＢ上で人物の顔が７０ｃｄ/ｍ^２で出力される。すなわち、モニタＢで表示される輝度は、相対輝度表示モードで行う自動露出制御に対しても暗い映像となることが分かる。

（メタデータ生成処理に係る一連の動作）
次に、図７を参照して、絶対輝度表示モードで撮影された映像に対して、相対輝度あるいは狭いダイナミックレンジを有するモニタへの表示に対応するための、メタデータ生成処理について説明する。なお、メタデータ生成処理は、システム制御部５０が不揮発性メモリ５６に記録されたプログラムをシステムメモリ５２に展開、実行することにより実現される。

Ｓ７０１において、システム制御部５０の階調変換決定部３０２は、検波部２０１で検出された被写体の輝度情報を取得する。Ｓ７０２において、階調変換決定部３０２は、相対輝度への階調変換を行うガンマ変換特性（階調変換特性）を決定する。例えば、階調変換決定部３０２は、入力信号の範囲と出力信号の輝度の範囲とからガンマ変換特性を決定すればよい。Ｓ７０３において、階調変換決定部３０２は、所定の輝度より高輝度な部分の階調補正を行うニーポイント及び傾きを決定する。例えば、階調変換決定部３０２は、Ｓ７０１で検出した被写体の高輝度情報に基づいてニーポイント及び傾きを決定する。

既知の相対輝度表示モードの動作として、撮影シーンのコントラストや、最大輝度値に応じてダイナミックレンジを変更することで、映像の白飛びを軽減するものがある。例えば、ガンマ特性のニーポイント及び高輝度部の非線形特性の傾き（ニーポイントから出力の最大レベルへの傾き）を変更することにより、高輝度部を圧縮し、ダイナミックレンジを拡張することができる。ニーポイントは、所定の入力レベル以上の高輝度部分において、入力レベルに対して出力レベルを抑える点を指す（図８（ａ）の８０１〜８０３の各点）。高輝度部の信号量が多い場合に、ニーポイント（８０１〜８０３）の位置及び直線の傾き（図８（ａ）の８０４〜８０６）を変化させて、高輝度部の非線形特性の傾きを大きくすることにより、高輝度部の階調表現を高めることができる。また、高輝度部の信号量が多い場合、図８（ｂ）に示すように、ダイナミックレンジが広がり高輝度部においてより高い階調表現を実現できるように、ニーポイントの位置及び直線の傾きを異ならせることもできる。このような動作を実現するため、階調変換決定部３０２は、補正輝度値としてモニタＢでの再生に適するように決定したニーポイント及び傾き値を含むダイナミックレンジ情報を生成する。例えば、階調変換決定部３０２は、想定される入力輝度値に適したニーポイント及び傾きの値を予め記録しておき、Ｓ７０１において取得した輝度情報に応じて各値を決定する。メタデータ生成部３０５は生成された当該ダイナミックレンジ情報を含むメタデータを生成して、動画ファイルに記録する。このようにすれば、モニタＢでの再生時に映像の明るさを補正する場合に、ダイナミックレンジ情報に基づいて高輝度部を圧縮処理して白飛びを軽減することができる。

Ｓ７０４において、信号処理パラメータ算出部３０３は、Ｓ７０３で決定されたニーポイント及び傾きに基づいて、高輝度部の解像力を保つために必要となる輪郭強調のためのフィルタ係数を信号処理パラメータとして算出する。例えば、Ｓ７０３で決定されたニーポイント及び傾きに応じて輪郭強調のためのフィルタの強度を変更するような信号処理パラメータを算出する。Ｓ７０５において、メタデータ生成部３０５は、Ｓ７０３及びＳ７０４で決定された、ニーポイント及び傾きと輪郭強調パラメータとを含むメタデータを生成する。信号重畳装置３０６は、生成されたメタデータを、映像を含む動画ファイルに重畳し、記録情報の重畳された動画ファイルが記録媒体９０に記録される。

なお、上述のメタデータに更なるデータを追加してもよい。既知の相対輝度表示モードの動作には、所定目標値に明るさを制御する際に急峻な明るさ変化を避けるため、露出制御の応答性を変更する制御を行うものがある。例えば、露出変更の単位時間あたりの変更量である変更ステップ量に上限を設けたり、目標値との乖離度に応じてステップ量を変更したりする。このような動作を実現するため、メタデータ生成部３０５は、補正輝度値として露出制御の応答性に関する情報をメタデータに含め、（モニタＢにおいて出力画像を生成する際に）再生時に補正する映像の明るさを露出制御の応答性に応じて調整可能にしてもよい。

また、ダイナミックレンジの変更は、急峻な明るさの変化を避けるため、露出制御で上述した例と同様に、応答性を持たせる場合がある。例えば、補正値生成部３０４がダイナミックレンジ変更の応答性に対する補正輝度値を生成して、メタデータ生成部３０５がメタデータを生成、記録するようにしてもよい。そして、モニタＢでの再生時に補正する映像の高輝度圧縮処理の応答性を変更するようにしてもよい。

以上説明したように、本実施形態では、絶対輝度コードでモニタＡに映像を表示し、更に、モニタＢに映像を表示するために、映像の輝度範囲よりもダイナミックレンジの狭い輝度範囲に映像を変換するための階調変換特性を決定するようにした。このとき、決定した階調変換特性を表すメタデータを生成して、映像に付加するようにした。ダイナミックレンジの狭い輝度範囲に変換するための階調変換特性は、映像に適用するガンマ補正のための階調変換特性を、所定の入力レベル以上の高輝度部分において、入力レベルに対して出力レベルを抑えるようにした特性である。上述の例では、例えば、ニーポイント及びニーポイントからの出力レベルの傾きを用いて入力レベルに対して出力レベルを抑えるようにした。このようにすることで撮影した映像よりダイナミックレンジの狭い出力機器で表示する際に、高輝度の解像力の低減を抑制する映像データを出力可能になる。

なお、本実施形態では、モニタＡ用の撮影を絶対輝度表示モードで行って、モニタＢでの再生は相対輝度表示モードの動作として再生されることを想定して説明した。しかし、モニタＡ、Ｂとも相対輝度表示モードの動作として表示するように露出制御を実施することが可能であっても良い。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２４…画像処理部、２０１…検波部、２０２…ＢＶ算出部、２０３…絶対輝度コード決定部、２０５…ガンマ補正部、３０１…露出制御量算出部、３０２…階調変換決定部、３０３…信号処理パラメータ算出部、３０５…メタデータ生成部

Claims (11)

1. 撮像手段で撮像された映像信号を、所定の入出力特性を有する第１の表示手段に表示するための第１の階調変換特性で階調変換する変換手段と、
   前記撮像された映像信号を第２の表示手段に表示するために、前記撮像された映像信号を前記第１の階調変換特性の有する輝度範囲よりも狭い輝度範囲に階調変換するための、第２の階調変換特性を決定する階調変換決定手段と、
   前記撮像された映像信号に付加する、前記第２の階調変換特性を表すパラメータをメタデータとして生成するメタデータ生成手段と、を有することを特徴とする撮像装置。
2. 前記第２の階調変換特性は、前記撮像された映像信号に適用するガンマ補正のための階調変換特性を、所定の輝度より高輝度の入力レベルに対して出力レベルを抑えるように変更した特性を含む、ことを特徴とする請求項１に記載の撮像装置。
3. 前記階調変換決定手段は、前記ガンマ補正のための階調変換特性におけるニーポイントの位置と前記ニーポイントから最大輝度までの傾きとを決定することにより、前記第２の階調変換特性を、前記所定の輝度より高輝度の入力レベルに対して出力レベルを抑えるように変更した特性として決定する、ことを特徴とする請求項２に記載の撮像装置。
4. 前記撮像された映像信号に適用する輪郭強調のためのフィルタを表すパラメータを、決定された前記第２の階調変換特性に応じて算出するパラメータ算出手段を更に有し、
   前記メタデータ生成手段は、前記フィルタを表すパラメータを、前記メタデータに更に含める、ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記撮像された映像信号に適用する輪郭強調のためのフィルタを表すパラメータを、決定された前記第２の階調変換特性に応じて算出するパラメータ算出手段を更に有し、
   前記パラメータ算出手段は、前記フィルタを表すパラメータを、前記ニーポイントの位置と前記ニーポイントから最大輝度までの傾きとに応じて決定する、ことを特徴とする請求項３に記載の撮像装置。
6. 前記第１の階調変換特性は、前記撮像された映像信号を被写体の絶対輝度で前記第１の表示手段に表示するための階調変換特性である、ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記第２の階調変換特性は、前記撮像された映像信号を前記第１の表示手段よりもダイナミックレンジの狭い前記第２の表示手段に表示する際に、前記撮像された映像信号を、前記被写体の出力レベルが所定の目標範囲を維持する相対輝度へ階調変換するための変換特性である、ことを特徴とする請求項６に記載の撮像装置。
8. 前記撮像された映像信号に、前記メタデータ生成手段によって生成された前記メタデータを付加して記録媒体に記録する記録手段を更に有する、ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 変換手段が、撮像された映像信号を、所定の入出力特性を有する第１の表示手段に表示するための第１の階調変換特性で階調変換する変換工程と、
   階調変換決定手段が、前記撮像された映像信号を第２の表示手段に表示するために、前記撮像された映像信号を前記第１の階調変換特性の有する輝度範囲よりも狭い輝度範囲に階調変換するための、第２の階調変換特性を決定する階調変換決定工程と、
   メタデータ生成手段が、前記撮像された映像信号に付加する、前記第２の階調変換特性を表すパラメータをメタデータとして生成するメタデータ生成工程と、を有することを特徴とする撮像装置の制御方法。
10. コンピュータを、請求項１から８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
11. コンピュータを、請求項１から８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラムを格納する記録媒体。

Images