JP2019153971A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】被写体の階調性を良好に表現できるような露出制御が可能な撮像装置を提供する。【解決手段】被写体像を撮像する撮像部と、撮像部の露出パラメータと、撮像部から出力される画像信号から得られる輝度値とに基づいて、被写体領域における特定の絶対輝度値である第１の輝度値を算出する算出部と、画像信号に対して、被写体の暗い領域に対しては線形特性を有する第１の部分と、被写体の明るい領域に対しては非線形特性を有する第２の部分とを有し、第１の部分と前記第２の部分との間に変曲点を持つ非線形特性を有する階調補正特性により、階調補正を行う階調補正部と、階調補正特性が、変曲点に対応する絶対輝度値である第２の輝度値が、第１の輝度値以下となる階調補正特性となるように露出制御を行う制御部とを備える。【選択図】図９

Description

本発明は、出力機器のダイナミックレンジが広い場合における階調性を向上するための露出制御技術に関するものである。

従来、テレビやディスプレイといった表示機器の出力ダイナミックレンジは狭く、実際の被写体に比べてかなり狭いレンジまでしか階調表現が出来なかった。そのため、撮像装置で被写体を撮影した際に、広いダイナミックレンジの映像信号を表示機器のダイナミックレンジに押し込むように圧縮する処理が必要となっていた。そのような処理を行った場合、見た目とは異なった状態で表示機器に映像が表示され、臨場感が失われてしまうという問題がある。

たとえば、映像信号のダイナミックレンジを、主となる被写体である顔の明るさが出力機器の表示能力の７０％程度の明るさとなるように圧縮する処理を行った場合、顔は見やすい明るさで表示されるが、実際の明るさとは異なるため臨場感がなくなる。さらに、顔より明るい被写体は階調が大きく圧縮され階調が失われた映像となってしまう。これに対し、近年は出力機器の性能が向上し、より広いダイナミックレンジを表現することが可能となってきている。

特開２００４−２８６９７９号公報

Report ITU-R BT.2246-1(08/2012)/The present state of ultra high definition television

出力機器の性能を十分発揮し、広いダイナミックレンジの表示を可能とさせるためには、撮影した映像が広いダイナミックレンジに対し階調を保持している必要がある。しかしながら、撮像装置の信号処理のｂｉｔ数や撮像素子の分解能の制限により、広いダイナミックレンジにわたり階調を保持することが困難な場合がある。たとえば１００００ｃｄ／ｍ²までの輝度に対して階調を保持しようとした場合、撮像素子の階調の分解能としては１９ｂｉｔが必要となるが、そのような撮像素子を用いた撮像装置は一般的には存在しない。その場合、各領域の階調が破綻し、なめらかな階調の部分で輝度の段差が見えてしまい、画質が劣化してしまう。このように、全領域での階調の保持が難しい場合、特定の被写体について画質の劣化を防ぐために、特定の領域だけでも階調を保つという方法が考えられる。

特許文献１に示されるように被写体の絶対輝度に応じて適した階調処理を行うことにより、再現すべき階調を得ることはできるが、露出については絶対輝度に応じて制御しているわけではない。そのため、現在の露出状態での階調の限界以上の階調を表現することは出来ない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、被写体の階調性を良好に表現できるような露出制御が可能な撮像装置を提供することである。

本発明に係わる撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段の露出パラメータと、前記撮像手段から出力される画像信号から得られる輝度値とに基づいて、被写体領域における特定の絶対輝度値である第１の輝度値を算出する算出手段と、前記画像信号に対して、被写体の暗い領域に対しては線形特性を有する第１の部分と、被写体の明るい領域に対しては非線形特性を有する第２の部分とを有し、前記第１の部分と前記第２の部分との間に変曲点を持つ非線形特性を有する階調補正特性により、階調補正を行う階調補正手段と、前記階調補正特性が、前記変曲点に対応する絶対輝度値である第２の輝度値が、前記第１の輝度値以下となる階調補正特性となるように露出制御を行う制御手段と、を備えることを特徴とする。

また、本発明に係わる撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段の露出パラメータと、前記撮像手段から出力される画像信号から得られる輝度値とに基づいて、被写体領域における絶対輝度値の分布を取得する取得手段と、前記画像信号に対して、被写体の暗い領域に対しては線形特性を有する第１の部分と、被写体の明るい領域に対しては非線形特性を有する第２の部分とを有する階調補正特性により、階調補正を行う階調補正手段と、前記取得手段により取得された前記絶対輝度値の分布に基づいて、前記第２の部分の最も暗い輝度値未満の絶対輝度値を有する第１の領域と、前記第２の部分の最も明るい輝度値より大きい絶対輝度値を有する第２の領域とのバランスを取るように、露出制御を行う制御手段と、を備えることを特徴とする。

本発明によれば、被写体の階調性を良好に表現できるような露出制御が可能な撮像装置を提供することが可能となる。

本発明の撮像装置の第１の実施形態であるデジタルビデオカメラの内部構成を示すブロック図。 第１の実施形態における画像処理部の内部構成を示すブロック図。 第１の実施形態における信号変換処理の流れを示すフローチャート。 第１の実施形態における出力機器の入出力特性を示す図。 第１の実施形態におけるガンマ特性を示す図。 第１の実施形態における露出制御量の決定処理の流れを示すフローチャート。 第１の実施形態における一部非線形特性部を持つガンマ特性を示す図。 第１の実施形態における輝度とコントラスト差に対する輝度識別視覚特性と特定露出設定時のガンマ特性を示す図。 第１の実施形態における輝度とコントラスト差に対する特定露出設定時のガンマ特性と代表値のＢＶ値の例を示す図。 第２の実施形態における輝度分布に対する各領域の階調の良し悪しを示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルビデオカメラ１００の内部構成を示すブロック図である。

図１において、撮像レンズ１０３はズームレンズ及びフォーカスレンズを含むレンズ群であり、被写体像を撮像面上に結像させる。絞り１０１は撮像面に投影される光量を調整する絞りである。ＮＤフィルタ１０４は減光用に使用するＮＤフィルタである。撮像部２２は光学像を電気信号（画像信号）に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子を有する。また、撮像部２２は電子シャッターにより露光時間を制御する機能や、アナログゲイン処理、読み出し速度の変更などの機能も備える。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。バリア１０２は、デジタルビデオカメラ１００の撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３や絞り１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

画像処理部２４は、Ａ／Ｄ変換器２３又はメモリ制御部１５から転送される撮像部２２の映像信号をＡ／Ｄ変換したデータに対して色変換処理、ガンマ補正処理、デジタルゲインの付加処理等を行う。また、撮像した画像データを用いて所定の演算処理を行い、演算結果をシステム制御部５０に送信する。システム制御部５０は、送信された演算結果に基づいて測距制御や露出制御やホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。画像処理部２４の詳細については後述する。

Ａ／Ｄ変換器２３から出力される映像データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって撮像されＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することにより、電子ビューファインダ機能を実現でき、スルー画像表示を行うことができる。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数やプログラム等が記憶される。ここでいうプログラムとは、本発明の実施形態において後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０は、デジタルビデオカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することにより、後述する各処理を実現する。システムメモリ５２にはＲＡＭが用いられ、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ６０、録画スイッチ６１、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０により、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０により動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ６１は撮影待機状態と撮影状態を切り替える。システム制御部５０は、録画スイッチ６１の操作に応じて、撮像部２２からの信号読み出しから記録媒体９０への動画データの書き込みまでの一連の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右４方向の十字キーやＳＥＴボタンを用いて直感的に各種設定を行うことができる。また、操作部７０は表示部２８に重ねて配置されたパネルをタッチすることによって操作するタッチパネルでもよい。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。電源部３０は、アルカリ電池、リチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体９０、または外部表示機器とのインターフェースである。図１では記録媒体９０との接続時の状態を示している。記録媒体９０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

次に、本実施形態における画像処理部２４の内部構成について説明する。図２は画像処理部２４の内部構成と関係部位を示すブロック図である。画像処理部２４は、通常ＷＢの制御やシャープネス制御なども行うが、本実施形態の説明には関連しないため表記を省略している。また、画像処理部２４内の各ブロックは、システム制御部５０を通じて、絞り値（Ｆ値）、ＮＤ情報、シャッター速度等の露出パラメータを含めたカメラ内部のあらゆるデータを取得可能なように構成されている。

図２において、検波部２０１は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し検波を行うことでデータの代表値を求める。また、ＢＶ算出部２０２は、基準信号、絞り値、感度、シャッター速度、検波部２０１で取得した代表値からＢＶ値（絶対輝度値）を算出する。露出制御量決定部２０３に渡すＢＶ値（絶対輝度値）と絶対輝度コード決定部２０４に渡すＢＶ値（絶対輝度値）は、検波部２０１で同じように取得された代表値を用いたものでもよいし、別々に取得された代表値でもよく、特に限定されるものではない。たとえば、露出制御量決定部２０３には被写体の最低輝度を代表値として算出したＢＶ値（絶対輝度値）を渡し、絶対輝度コード決定部２０４には被写体の顔の輝度値を代表値として算出したＢＶ値（絶対輝度値）を渡してもよい。

露出制御量決定部２０３は、ガンマ補正部２０７からガンマ特性（階調補正特性）を取得するとともに、ＢＶ算出部２０２から算出したＢＶ値（絶対輝度値）を取得し、ガンマ特性とＢＶ値（絶対輝度値）に基づいて露出制御量を決定する。決定された露出制御量に基づいてシステム制御部５０が露出を制御する。

絶対輝度コード決定部２０４は、不揮発性メモリ５６またはメモリ制御部１５から表示機器の入出力特性を取得し、表示がＢＶ算出部２０２で算出したＢＶ値（絶対輝度値）となる絶対輝度コードを表示機器の入出力特性に基づいて決定する。表示機器の入出力特性は、予め不揮発性メモリ５６に記録していてもよいし、ユーザーが入力するようにしてもよいし、表示機器を接続して表示機器から取得してもよく、取得方法は特に限定されない。

変換係数算出部２０５は、ガンマ補正部２０７からガンマ特性を取得するとともに、絶対輝度コード決定部２０４から決定した絶対輝度コードを取得し、ガンマ特性と絶対輝度コードとから表示機器が絶対輝度で表示するために信号を変換する係数である信号変換係数を算出する。

信号変換部２０６は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対して変換係数算出部２０５で算出した信号変換係数を用いて信号変換を行う。ガンマ補正部２０７は、映像の入出力特性いわゆるガンマ特性を変更し、信号変換部２０６で信号変換されたデータに対してガンマ補正を行う。

なお、本実施形態における各処理はシステム制御部５０が不揮発性メモリ５６に格納されたプログラムをシステムメモリ５２に展開して実行することにより実現される。

次に、上記のように構成された撮像装置における動作について説明する。まず、本実施形態の信号変換処理の動作について説明する。

図３は本実施形態における信号変換処理の動作を示すフローチャートである。まず、Ｓ３０１では、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し検波部２０１で検波を行う。検波を行うことによりデータの代表値（被写体領域の特定の絶対輝度値）を求める。代表値の求め方は、たとえば、中央部分の平均輝度を算出したり、顔などの特定被写体の平均輝度を算出したり、指定した１点の輝度を取得したりする方法などが考えられる。ただし、本実施形態では、特に代表値の求め方はこれらの方法に限定されるものではない。

次に、Ｓ３０２では、代表値のＢＶ値（絶対輝度値）をＢＶ算出部２０２において算出する。ＢＶ値の算出方法としては、たとえば、基準信号、絞り値、感度、シャッター速度、検波部２０１で取得した代表値から求める方法がある。ＡＰＥＸ（Additive System of Photographic Exposure ）表現における基準信号のＢＶ値である基準ＢＶ値の求め方は、
基準ＢＶ値＝ＡＶ（絞り）＋ＴＶ（シャッター）−ＳＶ（感度） …（式１）
となる。絞り値がＦ４．０、シャッター速度が１／１２８秒、感度がＩＳＯ２００の場合は（式１）から、
基準ＢＶ値＝４（Ｆ４．０）＋７（１／１２８）−６（ＩＳＯ２００）
＝５
＝（２^５） ＊ ４ｃｄ／ｍ^２
＝１２８ｃｄ／ｍ^２
このとき、撮像装置のダイナミックレンジを１２００％、基準信号を２０％、データのbit数を１４とすると、
基準信号のコード＝（２^bit数）＊（基準信号／ダイナミックレンジ）
…（式２）
のように基準信号のコードが求められる。（式２）に対し数値を代入すると、
基準信号のコード＝（２^１４）＊２０／１２００
＝２７３
となり、基準信号のコードは２７３と求められる。

ここで、代表値のコードが２１３２の場合、Ｘを代表値のＢＶ値と基準ＢＶ値との差分段数とすると、
代表値のコード＝基準信号のコード＊（２^Ｘ） …（式３）
となる。（式３）に各数値を当てはめると、
２１３２＝２７３ ＊（２^Ｘ）
Ｘ＝２．９６
となる。以上より、代表値のＢＶ値は、
代表値のＢＶ値＝２^２．９６ ＊ １２８ｃｄ／ｍ^２
＝１０００ｃｄ／ｍ^２
と求められる。ここに挙げた方法は１つの例であり、他の方法で代表値のＢＶ値を求めてもよい。また、外部センサーなどから取得した信号からＢＶ値を算出してもよく、本実施形態では算出方法は限定されない。

次に、Ｓ３０３では、表示機器の出力が代表値のＢＶ値となる絶対輝度コードを絶対輝度コード決定部２０４で決定する。たとえば、表示機器の入出力特性とＳ３０２で算出した代表値のＢＶ値に基づいて算出する方法について説明する。

図４は表示機器の入出力特性を示す図である。図４のような表示機器の入出力特性の場合、出力輝度が代表値のＢＶ値となるような入力コードは一意に決まる。このように絶対輝度コードをグラフから求めてもよいし、入出力特性の式と代表値のＢＶ値から算出してもよい。あるいは、入出力関係をテーブルデータとして保持し、その中から代表値のＢＶ値に基づいて絶対輝度コードを選択してもよく、本実施形態では、その決定方法は制限されない。

Ｓ３０３において絶対輝度コードが決定されたら、Ｓ３０４では、変換係数算出部２０５において、その絶対輝度コードに基づいて信号変換係数を算出する。データが代表値の場合、ガンマ補正部２０７からの出力が絶対輝度コードとなるように信号変換係数を算出する。たとえば、ガンマ補正部２０７からガンマ特性を取得し、そのガンマ特性に基づいて信号変換係数を算出することが出来る。図５はガンマ特性を示す図である。このようなガンマ特性に対し、出力コードが絶対輝度コードとなるような入力コードはＹとなる。ガンマ特性が出力機器の入出力特性に対して逆特性の関係であれば、データが代表値のときに出力コードを絶対輝度コードとする信号変換係数は下記の式で求められる。

信号変換係数＝Ｙ／代表値 …（式４）
この例ではガンマ特性が逆特性を持っている場合を示したが、本実施形態は必ずしもガンマ特性が逆特性を持っていなくてもよく、ガンマ特性は特に限定はされるものではない。

次に、Ｓ３０５では、信号変換部２０６において、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し、信号変換を行う。変換係数算出部２０５で算出された変換係数に基づいて信号変換を行う。たとえば、信号変換係数が（式４）で与えられる場合、データに対して信号変換係数を乗算することで信号変換を行う。信号変換の方法は、信号変換係数によって変わり、乗算だけでなく二次関数などの関数によって変換する場合などもあり、本実施形態では特に変換方法は限定されない。

最後に、Ｓ３０６では、ガンマ補正部２０７において、信号変換されたデータに対してガンマ特性の変更を行う。

このように信号変換処理を行うことで、代表値のデータが撮像装置から出力されるときに絶対輝度コードとなり、出力機器に絶対輝度コードが入力されることにより、代表値のＢＶ値が出力機器で表示されるようになる。

次に、本実施形態の特徴的な処理である露出制御量の決定処理の動作について説明する。図６は、本実施形態における露出制御量の決定処理の動作を示すフローチャートである。

まず、Ｓ６０１では、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し検波部２０１で検波を行う。検波を行うことによりデータの代表値を求める。代表値の求め方は、たとえば、中央部分の平均輝度を算出したり、顔などの特定被写体の一部の輝度や最低輝度を取得したり、特定被写体の平均輝度を算出したり、指定した１点の輝度を取得したりする方法などが考えられる。ただし、本実施形態では、特に代表値の求め方はこれらの方法に限定されるものではない。また、Ｓ３０１と同じ検波でもよいし、別の検波でもよく、特定被写体が別でも構わない。

次に、Ｓ６０２では、代表値のＢＶ値（絶対輝度値）をＢＶ算出部２０２において算出する。ＢＶ値の算出方法として、たとえば、基準信号、絞り値、感度、シャッター速度、検波部２０１で取得した代表値から求める方法がある。求め方の例はＳ３０２と同様である。また、Ｓ３０２と同様に本実施形態ではＢＶ値の算出方法は限定されない。

次に、Ｓ６０３では、露出制御量決定部２０３において現在の露出におけるガンマ特性のＢＶ値を算出する。たとえば、ガンマ補正部２０７からガンマ特性を取得し、ガンマ特性と基準信号のＢＶ値と基準信号のコードとからガンマ特性の変曲点を求める。図７はガンマ特性の例を示す図である。図７の実線がガンマ特性（入出力特性）を示しており、Ｓ１は傾き１の直線であり、点Ｃ１が直線部と非線形特性部との接続部（変曲点）となっている。このようなガンマ特性に対し、ガンマ特性の変曲点のＢＶ値を算出する例を示す。まず、変曲点にあたる部分の入力コードを求め、その入力コードが２１３２だった場合、基準信号のＢＶ値を１２８ｃｄ／ｍ^２、基準信号のコードを２７３、Ｚを変曲点のＢＶ値と基準ＢＶ値とのＡＰＥＸ表記での差分段数とすると、以下のようになる。

変曲点のコード＝基準信号のコード＊（２^Ｚ） …（式５）
（式５）に数値を当てはめると、
２１３２＝２７３＊（２^Ｚ）
Ｚ＝２．９６
となる。以上より、変曲点のＢＶ値は、
変曲点のＢＶ値＝２^２．９６ ＊ １２８ｃｄ／ｍ^２
＝１０００ｃｄ／ｍ^２
となる。ここに挙げた方法は１つの例であり、他の方法で変曲点のＢＶ値を求めてもよい。また、ガンマ特性が、非線形部が輝度識別視覚特性を満たすのであれば、ガンマ特性の輝度値として非線形部分の中心位置のＢＶ値を求めてもよい。Ｓ６０４で階調性が良いかどうかを比較するために用いることが可能なガンマ特性の輝度値であれば、本実施形態はガンマ特性の輝度値の算出方法や算出対象については限定されない。また、図７に示したガンマ特性は説明するための例であり、ガンマ特性はこの例に限定されるものではない。

次に、Ｓ６０４では、Ｓ６０２で露出制御量決定部２０３により求められた代表値のＢＶ値とＳ６０３で求められたガンマ特性の輝度値を比較する。このステップでは、階調性の良さを、代表値のＢＶ値とガンマ特性の輝度値を比較することにより確認する。

図８は、輝度識別視覚特性と特定露出設定時のガンマ特性を輝度とコントラスト差のグラフ上に示した図である。輝度識別視覚特性は横軸の任意の輝度の被写体の輝度変化が縦軸に対応するコントラスト差ほどある場合、人間の視覚特性として認識しやすいという関係を表している。つまり、この輝度識別視覚特性よりもグラフ上で下に位置すれば、段差を認識出来ないため、階調性が良いということになる。そのため、図８に示すような特定露出設定時のガンマ特性（非線形特性部は輝度識別視覚特性を満たす）の場合、非線形特性部の範囲であれば階調性が良いということになる。非線形特性部よりも低い輝度は黒潰れしたり、階調の段差が見えたりし、非線形特性部よりも高い輝度は飽和して階調が無くなってしまう。

代表値のＢＶ値と変曲点のＢＶ値の比較方法として、たとえば、図８のような特定露出設定時のガンマ特性であれば、非線形特性部に被写体がいれば階調性が良いということになるため、非線形特性部に対して代表値のＢＶ値がどこにいるかを比較すればよい。つまり、代表値が特定被写体の最低輝度値だったのであれば、変曲点よりも高い輝度に代表値のＢＶ値があれば階調性が良いということになる。逆に言えば、変曲点の絶対輝度値が代表値の絶対輝度値以下であれば階調性が良いということになる。また、代表値が特定被写体の平均輝度値であれば、非線形部の中心位置と代表値のＢＶ値が一致すれば階調性が良いということになる。これらの、階調性の良さを確認する比較方法は一例で、階調性の良さを確認出来れば、比較する方法は特に限定されない。

次に、Ｓ６０５では、露出制御量決定部２０３において、Ｓ６０４での比較結果に基づいて露出制御量を決定する。Ｓ６０４での比較結果が、階調性が悪いという結果であった場合、階調性が良くなるよう露出制御量を決定する。

たとえば、図９に示すような特定露出設定時のガンマ特性、代表値のＢＶ値である場合の動作を示す。図９では代表値は特定被写体の最低輝度の例であり、代表値のＢＶ値が変曲点よりも低くなっているため黒潰れや階調性が悪くなっている。この状態を改善するために、Ｓ６０５では、代表値のＢＶ値が変曲点よりも高くなるように露出量を多くするよう露出制御量を決定する。露出量を多くすると、図９上の矢印のようにガンマ特性がグラフの左方向にずれ、特定被写体を変曲点よりも輝度の高い状態にすることが出来る。

また、代表値が特定被写体の平均輝度であれば、ガンマ特性の非線形特性部の中心輝度と代表値のＢＶ値が同じになるような露出制御量を決定する。さらには、代表値が特定被写体の最大輝度であれば、代表値のＢＶ値が非線型特性部の最大輝度値以下になるように、露出制御量を決定する。これらの露出制御量の決定方法は一例であり、本実施形態はこの決定方法に限定されるものではない。現状の露出設定で階調性を満足できる場合は、露出制御量は０としてもよい（露出を変更しない）。つまり、図９において、特定被写体がガンマ特性の非線形特性部に入っている場合は露出を変更せず、特定被写体が非線形特性部に入って無い場合は露出を変更するために露出制御量を算出する、としてもよい。

また、露出制御量は一度に大きく動かし過ぎると映像の時間方向の変化が大きすぎる場合があるため、時間方向に露出制御量を分割して細かく動かすことも考えられる。その場合、階調性が悪いと判断した理由が飽和していることならば、完全に情報が欠損しているため、露出制御量の分割を少なくし、単位時間当たりの露出制御量（露出変更量）を大きくする。黒潰れや階調段差が見える状態だったのであれば、飽和している場合よりも露出制御量の分割を多くし、単位時間あたりの露出制御量を小さくするという制御も考えられる。つまり、図８で、ガンマ特性の非線形特性部より特定被写体の輝度が高い場合は単位時間あたりの露出制御量を大きくし、ガンマの非線形特性部よりも特定被写体の輝度が低い場合は単位時間あたりの露出制御量を小さくするということである。ただし、本実施形態はこの制御に限定されるわけではない。

次に、Ｓ６０６では、システム制御部５０が露出制御を行う。Ｓ６０５で露出制御量決定部２０３が算出した露出制御量に基づいて露出制御を行う。

以上のように露出制御量決定処理を行うことにより、階調性が悪い露出状態であった場合に、輝度識別視覚特性とガンマ特性の関係性に基づいて、階調性が良い状態となるように露出量を決定することが出来る。

（第２の実施形態）
第１の実施形態では、主に特定被写体の階調性を良い状態にするための例を示した。しかしながら、実際の撮影では主被写体だけでなく、背景などの主被写体ではない被写体も数多く存在する場合が多い。そのような場合に、特定被写体だけは階調が良いが、画面全体において飽和している部分が多すぎたり、黒潰れしている部分が多すぎたりすると映像のイメージが悪くなってしまう。本実施形態では、そのような場合に対処する方法について説明する。撮像装置の構成は第１の実施形態と同様であるため、撮像装置の構成についての説明は省略する。また、本実施形態の動作のうち、信号変換処理の動作についても第１の実施形態と同様であるため、説明を省略する。第１の実施形態と異なる部分として、露出制御量の決定処理の動作について、以下説明する。

図６のフローチャートを用いながら、第２の実施形態の動作について説明する。

まず、Ｓ６０１で検波を行うのは第１の実施形態と同様であるが、第２の実施形態では、映像全体の輝度分布を取得する。次に、Ｓ６０２では、ＢＶ算出部２０２において輝度分布をＢＶ値に変換する。ＢＶ値への変換はＳ６０２と同様でもよいし、別の方法でも構わず、特に限定はされない。

次に、Ｓ６０３では、第１の実施形態と同様に現在の露出に対するガンマ特性のＢＶ値を算出する。その後、Ｓ６０４では、露出制御量決定部２０３で輝度分布（ＢＶ値）とガンマ特性のＢＶ値を比較する。第２の実施形態では、輝度分布（ＢＶ値）に対して、階調性が良い領域と階調性が悪い領域を決定するためにガンマ特性のＢＶ値と比較を行う。図８に示したようなガンマ特性の場合、非線形特性部以外の領域（非線形特性部の最も暗い輝度値未満の絶対輝度値を有する第１の領域と、非線形特性部の最も明るい輝度値より大きい絶対輝度値を有する第２の領域）が階調性の悪い領域となるため、非線形特性部の上下端のＢＶ値と輝度分布とを比較することになる。

図１０は、輝度分布と階調性の良し悪しを表した図である。この図は矢印で領域を示している。階調が良いとされる領域は、図８ではガンマ特性の非線形特性部に入る輝度である。次に、Ｓ６０５では、露出制御量を決定する。Ｓ６０４で比較した結果に基づいて露出制御量決定部２０３が露出制御量を決定するステップである。

たとえば、図１０において、黒潰れしてしまう領域と飽和してしまう領域のバランスをとるために、両領域が同等となるようにするために、露出量を少なくする方法が考えられる。また、領域のバランスを考える際、輝度分布に固まりがある場合は被写体が有ると考え、固まりのある領域は重みを加えて、バランスをとるという方法も１つの方法である。さらに重みの別の考え方として、輝度分布に位置情報も付加しておいて、映像の中心と周辺とで重みを変えるという方法もある。いくつかの黒潰れと飽和領域のバランスのとりかたの例を示したが、本実施形態はこれらの方法に限定されるものではない。次に、Ｓ６０６では、システム制御部５０が露出制御を行う。Ｓ６０５で露出制御量決定部２０３が算出した露出制御量に基づいて露出制御を行う。

以上のように露出制御量決定処理を行うことで、画面全体に対し飽和している部分と黒潰れしている部分のバランスがとれ、映像のイメージの悪化を防ぐことが出来る。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２２：撮像部、２４：画像処理部、５０：システム制御部、１００：デジタルビデオカメラ、１０３：撮像レンズ、２０１：検波部、２０２：ＢＶ算出部、２０３：露出制御量決定部、２０４：絶対輝度コード決定部、２０５：変換係数算出部、２０６：信号変換部、２０７：ガンマ補正部

Claims (19)

1. 被写体像を撮像する撮像手段と、
   前記撮像手段の露出パラメータと、前記撮像手段から出力される画像信号から得られる輝度値とに基づいて、被写体領域における特定の絶対輝度値である第１の輝度値を算出する算出手段と、
   前記画像信号に対して、被写体の暗い領域に対しては線形特性を有する第１の部分と、被写体の明るい領域に対しては非線形特性を有する第２の部分とを有し、前記第１の部分と前記第２の部分との間に変曲点を持つ非線形特性を有する階調補正特性により、階調補正を行う階調補正手段と、
   前記階調補正特性が、前記変曲点に対応する絶対輝度値である第２の輝度値が、前記第１の輝度値以下となる階調補正特性となるように露出制御を行う制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記第１の輝度値とは、特定の被写体の一部の輝度値であることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の輝度値とは、特定の被写体の最低輝度値であることを特徴とする請求項１に記載の撮像装置。
4. 前記第１の輝度値とは、特定の被写体の平均輝度値であり、前記制御手段は、前記第１の輝度値が、前記第２の部分の中心の絶対輝度値と一致するように、露出制御を行うことを特徴とする請求項１に記載の撮像装置。
5. 前記特定の被写体とは、顔であることを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記第１の輝度値と前記第２の輝度値の関係に基づいて露出を変更するか否かを決定することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第２の輝度値が前記第１の輝度値以下である場合に、前記制御手段は露出を変更しないことを特徴とする請求項６に記載の撮像装置。
8. 前記第１の輝度値が前記第２の部分の最も高い輝度値よりも高い場合は、前記制御手段は、前記第１の輝度値が前記第２の部分の最も高い輝度値以下となるように、露出を変更することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記第１の輝度値が前記第２の部分の最も高い輝度値よりも高い場合は、前記制御手段は、前記第１の輝度値が前記第２の輝度値よりも低い場合よりも、単位時間当たりの露出の変更量を大きくすることを特徴とする請求項８に記載の撮像装置。
10. 前記露出パラメータとは、絞り値、感度、シャッター速度、ＮＤフィルタの特性のうち少なくとも１つを含むことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 被写体像を撮像する撮像手段と、
    前記撮像手段の露出パラメータと、前記撮像手段から出力される画像信号から得られる輝度値とに基づいて、被写体領域における絶対輝度値の分布を取得する取得手段と、
    前記画像信号に対して、被写体の暗い領域に対しては線形特性を有する第１の部分と、被写体の明るい領域に対しては非線形特性を有する第２の部分とを有する階調補正特性により、階調補正を行う階調補正手段と、
    前記取得手段により取得された前記絶対輝度値の分布に基づいて、前記第２の部分の最も暗い輝度値未満の絶対輝度値を有する第１の領域と、前記第２の部分の最も明るい輝度値より大きい絶対輝度値を有する第２の領域とのバランスを取るように、露出制御を行う制御手段と、
    を備えることを特徴とする撮像装置。
12. 前記制御手段は、前記第１の領域の大きさと前記第２の領域の大きさが同等となるように露出制御を行うことを特徴とする請求項１１に記載の撮像装置。
13. 前記制御手段は、前記絶対輝度値の分布に固まりが有る場合、該固まりがある領域に重みを加えて、前記第１の領域と前記第２の領域のバランスをとるように露出制御を行うことを特徴とする請求項１１または１２に記載の撮像装置。
14. 前記画像信号の周辺と中心で異なる重みを加えて、前記第１の領域と前記第２の領域のバランスをとるように露出制御を行うことを特徴とする請求項１１または１２に記載の撮像装置。
15. 非線形特性を有する前記第２の部分は、輝度を識別するための視覚特性を備えることを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 被写体像を撮像する撮像手段を備える撮像装置を制御する方法であって、
    前記撮像手段の露出パラメータと、前記撮像手段から出力される画像信号から得られる輝度値とに基づいて、被写体領域における特定の絶対輝度値である第１の輝度値を算出する算出工程と、
    前記画像信号に対して、被写体の暗い領域に対しては線形特性を有する第１の部分と、被写体の明るい領域に対しては非線形特性を有する第２の部分とを有し、前記第１の部分と前記第２の部分との間に変曲点を持つ非線形特性を有する階調補正特性により、階調補正を行う階調補正工程と、
    前記階調補正特性が、前記変曲点に対応する絶対輝度値である第２の輝度値が、前記第１の輝度値以下となる階調補正特性となるように露出制御を行う制御工程と、
    を有することを特徴とする撮像装置の制御方法。
17. 被写体像を撮像する撮像手段を備える撮像装置を制御する方法であって、
    前記撮像手段の露出パラメータと、前記撮像手段から出力される画像信号から得られる輝度値とに基づいて、被写体領域における絶対輝度値の分布を取得する取得工程と、
    前記画像信号に対して、被写体の暗い領域に対しては線形特性を有する第１の部分と、被写体の明るい領域に対しては非線形特性を有する第２の部分とを有する階調補正特性により、階調補正を行う階調補正工程と、
    前記取得工程において取得された前記絶対輝度値の分布に基づいて、前記第２の部分の最も暗い輝度値未満の絶対輝度値を有する第１の領域と、前記第２の部分の最も明るい輝度値より大きい絶対輝度値を有する第２の領域とのバランスを取るように、露出制御を行う制御工程と、
    を有することを特徴とする撮像装置の制御方法。
18. 請求項１６または１７に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
19. 請求項１６または１７に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images