JP2019129506A - 撮像装置およびその制御方法 - Google Patents

撮像装置およびその制御方法 Download PDF

Info

Publication number
JP2019129506A
JP2019129506A JP2018011846A JP2018011846A JP2019129506A JP 2019129506 A JP2019129506 A JP 2019129506A JP 2018011846 A JP2018011846 A JP 2018011846A JP 2018011846 A JP2018011846 A JP 2018011846A JP 2019129506 A JP2019129506 A JP 2019129506A
Authority
JP
Japan
Prior art keywords
reference value
exposure
value
control unit
system control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018011846A
Other languages
English (en)
Inventor
圭介 松野
Keisuke Matsuno
圭介 松野
池田 剛
Tsuyoshi Ikeda
剛 池田
健造 久
Kenzo Hisa
健造 久
剛敏 木下
Takatoshi Kinoshita
剛敏 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018011846A priority Critical patent/JP2019129506A/ja
Priority to US16/253,967 priority patent/US10855928B2/en
Publication of JP2019129506A publication Critical patent/JP2019129506A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

【課題】自動露出制御を利用しつつ、撮影される画像の明るさをユーザが容易に変更することが可能な撮像装置およびその制御方法を提供すること。【解決手段】被写体の輝度情報と、適正露出の基準値とに基づいて、露出条件を決定する自動露出制御が可能な撮像装置において、基準値をユーザが設定するための設定手段を有することを特徴とする。【選択図】図1

Description

本発明は、撮像装置およびその制御方法に関する。
一般的な撮像装置は、適正露出条件を自動的に決定する自動露出制御(AE)機能を有している。また、手動露出制御を支援するため、現在設定されている露出条件と、自動露出制御で得られた適正露出条件との差を提示する機能も知られている。なお、適正露出条件は、例えば被写体輝度ごとに適正な露出条件(絞り値、シャッタスピード、撮影感度の組み合わせ)を予め規定したプログラム線図を、測定した被写体輝度によって参照することで決定することができる。
一般的な自動露出制御は、反射率18%の無彩色の被写体が適切な明るさ(出力レベル)となるような露出条件を決定する。このように決定される露出条件は大半の撮影において適切である。しかし、逆光や雪景色など、非常に明るい背景に主被写体が存在するシーンについては、適切な露出条件が決定できないことがある。
このような場合には露出補正が必要となるが、露出補正を設定して撮影したあと、解除を忘れると、露出補正不要なシーンを露出補正した状態で撮影してしまうことがある。また、適切な量の露出補正を行うにはある程度の知識や操作の習熟が必要である。
例えば、特許文献1には、砂浜や雪景色などを想定した撮影モードを設定することで、絞り値、シャッタスピード、測光方法など複数のパラメータを一括変更することで、一般的な自動露出制御に適さないシーンでの撮影を支援する撮像装置が開示されている。
特開平5−56330号公報
しかしながら、撮影モードは特定の被写体やシーンを撮影することを想定しており、複数のパラメータ群が一括して変更されるため、ユーザが意図する露出条件で撮影することが容易でない。例えば、自動露出制御で用いる適正露出の基準値をユーザが容易に変更することができれば、自動露出制御による適正露出で撮影しつつ、露出補正なしに画像の明るさを変更することができるが、そのような仕組みは提供されていなかった。
本発明の目的は、自動露出制御を利用しつつ、撮影される画像の明るさをユーザが容易に変更することが可能な撮像装置およびその制御方法を提供することにある。
上述の目的は、被写体の輝度情報を取得する取得手段と、輝度情報と、適正露出の基準値とに基づいて、露出条件を決定する決定手段と、基準値をユーザが設定するための設定手段と、を有することを特徴とする撮像装置によって達成される。
本発明によれば、自動露出制御を利用しつつ、撮影される画像の明るさをユーザが容易に変更することが可能な撮像装置およびその制御方法を提供することができる。
実施形態に係る撮像装置100の機能構成例を示すブロック図 実施形態に係るガンマ曲線の例を示す図 実施形態における適正露出の基準値設定処理に関するフローチャート 実施形態に係るガンマ曲線の詳細に関する図 実施形態に係るガンマ曲線選択処理に関するフローチャート 実施形態に係る警告表示処理に関するフローチャート 実施形態に係る警告表示内容の一例を示す図 実施形態に係る警告内容の趣旨を説明するための図 実施形態に係る適正露出の基準値変更処理に関するフローチャート 図9のS906の詳細に関するフローチャート 実施形態に係る補間基準値の算出方法の例を示す図 実施形態において補間基準値を設定する際の表示例を示す図
以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。なお、以下では、撮像素子を用いた撮像装置(デジタルカメラ、デジタルビデオカメラなど)に本発明を適用した実施形態について説明するが、本発明は、撮像機能を有する任意の電子機器に適用可能である。なお、このような電子機器には撮像装置以外にスマートフォン、パーソナルコンピュータ、タブレット端末、ゲーム機などが含まれるが、これらに限定されない。
また、図において機能ブロックとして記載されている構成は、それぞれが独立したハードウェア(ASIC、ASSP、ディスクリート回路など)で構成されてもよいし、複数の機能ブロックが1つのハードウェアで構成されてもよい。また、プログラマブルプロセッサがプログラムを実行することによって機能ブロックで示される構成を実現してもよい。
●<第1実施形態>
図1は、本発明の第1実施形態に係る撮像装置100の機能構成例を模式的に示すブロック図である。
撮像レンズ103は複数のレンズから構成される結像光学系であり、被写体の光学像を撮像面に形成する。撮像レンズ103は可動レンズとその駆動メカニズムを有する。可動レンズには例えば変倍レンズ、フォーカスレンズ、シフトレンズなどが含まれる。撮像レンズ103の前面には可動式のバリア102が設けられている。バリア102は撮像装置100の電源オフ時やスリープ時などに撮像レンズ103の前面を覆い、撮影スタンバイ状態や撮影中などには撮像レンズ103の前面を露出させる。
絞り101はメカニカルシャッタを兼ねてもよい。NDフィルタ104は光路への挿入/非挿入が可能であり、光路に挿入されると光量を減少させる。
撮像部22は撮像素子と、撮像素子の駆動に関する周辺回路を有する。撮像素子は複数の光電変換部が2次元配列されたCCD/CMOSイメージセンサであってよい。周辺回路は水平走査回路、垂直走査回路などを含む。後述するシステム制御部は50、周辺回路を通じて、撮像素子の電荷蓄積期間(電子シャッタスピード)や、光電変換部からの信号読み出し方法(例えば加算や間引きを伴う/伴わない読み出し)、信号ゲインなどを制御することができる。画素もしくは光電変換領域単位で読み出され、入射光量(被写体輝度)に応じた値を有するアナログ画像信号が撮像部22から出力される。
A/D変換器23は、撮像部22から出力されるアナログ画像信号をデジタル画像信号(画像データ)に変換する。A/D変換器23は、デジタル画像信号を画像処理部24またはメモリ制御部15に出力する。
画像処理部24は、A/D変換器23またはメモリ制御部15から供給される画像データ(入力データ)に対して様々な画像処理を適用する。画像処理部24は、画像処理結果を、適用した処理に応じてメモリ制御部15またはシステム制御部50に出力する。画像処理部24が適用する画像処理には例えば、画素補間(デモザイク)処理、リサイズ処理、色変換処理、ガンマ補正処理、ホワイトバランス調整処理、デジタルゲインの付加処理などがある。また、画像処理部24は、自動露出制御(AE)や自動焦点検出(AF)に用いる評価値や像信号を生成したり、動きベクトルを検出したり、特定の特徴を有する領域(例えば顔領域)を検出したりすることもできる。例えば画像処理部24は、1フレームの撮像画像の輝度情報として、顔領域の平均輝度や、1フレーム全体の平均輝度などを算出することができる。画像処理部24さらに、静止画または動画データを記録のために符号化したり、符号化された静止画または動画データを例えば表示のために復号したりする。
システム制御部50は撮像装置100各部の動作を制御することにより、撮像装置100の機能を実現する。システム制御部50は例えば1つ以上のプログラマブルプロセッサ(CPU、MPUなど)であってよい。この場合、システム制御部50は例えば不揮発性メモリ56に記憶されたプログラムをシステムメモリ52に読み込んで実行することにより、撮像装置100各部の動作を制御する。
不揮発性メモリ56は、少なくとも一部が書き換え可能である。不揮発性メモリ56は、システム制御部50が実行可能なプログラム、設定値などの定数、メニュー画面などのGUIを表示するためのデータ、撮像装置100の固有情報などを記憶する。
システムメモリ52は、システム制御部50が用いるメモリであり、プログラム、変数および定数、プログラムの実行に必要な情報などを一時的に保存するために用いられる。
システム制御部50はまた、表示部28における表示に関しても制御する。さらに、システム制御部50は、画像処理部24が算出した撮像画像の輝度情報や各種の評価値などを用いて撮像レンズ103、絞り101、NDフィルタ104、撮像部22などを制御し、AEやAFを実行する。
例えばジャイロセンサである加速度センサ40は、撮像装置100の動きや姿勢の変化を表す信号をシステム制御部50に出力する。システム制御部50は、加速度センサ40からの信号に応じて、例えば撮像レンズ103のシフトレンズの位置や、撮像部22の撮像素子から信号を読み出す範囲を変更することにより、像振れ補正を行うことができる。
メモリ32には、メモリ制御部15やシステム制御部50を通じて画像データや音声データが一時的に記憶される。メモリ32は例えば連写時のバッファとして用いられる、撮像部22によって撮像されA/D変換器23によりデジタルデータに変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32の一部は画像表示用のメモリ(ビデオメモリ)としても用いられる。D/A変換器13は、メモリ32に記憶されている表示用の画像データをアナログ信号に変換してLCDなどの表示部28に供給する。これにより、表示部28に撮像画像やGUI、撮像装置の情報などが表示される。表示部28はまた、電子ビューファインダとして用いられる。この場合システム制御部50は、撮像部22により動画を撮影する動作、撮影された動画から表示用の画像データを生成してメモリ32に書き込む動作、メモリ32から表示用の画像データを読み出し、D/A変換して表示部28に供給する動作とを制御する。
システムタイマー53は内蔵時計や内蔵クロックに基づいて各種のタイミングを制御するための信号を生成し、システム制御部50に供給する。モード切替スイッチ60、録画スイッチ61、および操作部70は、ユーザが撮像装置100に指示を入力するための入力デバイス群である。また、表示部28がタッチディスプレイの場合、表示部28もユーザが撮像装置100に指示を入力するための入力デバイスとして機能する。これら入力デバイスの操作はシステム制御部50が検出する。システム制御部50は検出した操作に応じた動作を行うために各部を制御する。
撮像装置100は例えば動画記録モード、静止画記録モード、再生モードを含む複数の動作モードのいずれかで動作し、動作モードはモード切替スイッチ60で選択する(切り替える)ことができる。なお、動画記録モードや静止画記録モードはさらに、オート撮影モード、オートシーン判定モード、マニュアルモード、各種シーンモード、プログラムAEモード、カスタムモード等のサブモードに細分化されてもよい。シーンモードは代表的な撮影シーンの種類から1つを指定することで、撮影に適した設定が行われるモードである。モード切替スイッチ60の操作により全てのモードを直接選択できるように構成してもよい。あるいは、動画記録モード、静止画記録モード、再生モードの選択はモード切替スイッチ60で、サブモードの選択は別の操作部材で行うように構成してもよい。
システム制御部50は、録画スイッチ61が動画記録モードにおいて操作されるごとに撮影スタンバイ状態と撮影(記録)状態とを切り替える。なお、静止画記録モードや再生モードにおいて録画スイッチ61の操作を検出した場合、システム制御部50は動作モードを動画記録モードに切り替えて動画記録を開始させてもよい。なお、静止画の撮影(記録)は、操作部70に含まれるレリーズボタンの操作が検出された際に実行される。動画および静止画の撮影、記録に関する動作は公知の方法で行うことができるためその詳細については説明を省略する。動画記録中にレリーズボタンの操作が検出された場合、システム制御部50は静止画記録動作を実行してもよい。システム制御部50は、撮影によって得られた静止画や動画をデータファイルに格納して記録媒体200に記録する。
操作部70にはレリーズボタン以外に、メニューボタン、電源スイッチ、方向を指定する操作部材(例えば上下左右キーやジョイスティック)、決定(SET)ボタンなどが含まれてよい。また、表示部28に表示されるGUIパーツと、関連づけられた操作部材(タッチパネルやボタンなど)との組み合わせも、操作部70を構成する入力デバイスとして機能する。
電源制御部80は、電源部30の状態、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。電源制御部80は、電源部30の状態として、例えば外部から電源が供給されているか否か、電池が装着されているか否か、電池の種類、電池残量などを検出する。また、電源制御部80は、これらの検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御することにより、記録媒体200を含む各部へ供給する電圧を制御する。電源部30は、着脱可能な一次電池や二次電池、ACアダプター等からなる。
記録媒体I/F18は、記録媒体200とのインターフェースである。記録媒体200はメモリカードやハードディスクドライブなどであってよい。記録媒体200は撮像装置100に内蔵されていても着脱可能であってもよい。また、記録媒体200は複数であってもよい。
(適正露出の決定方法)
次に、撮像装置100におけるAE処理などで用いる、適正露出の決定方法について説明する。適正露出とは、測光範囲内の画像の輝度評価値が、予め定められた基準値となるような露出量である。したがって、同一撮影シーンに対する適正露出は、測光範囲や輝度評価値の算出方法、基準値に応じて異なり得る。
輝度評価値は撮影して得られた画像のデータ(ガンマ補正処理の適用前とする)から画像処理部24が生成する。輝度評価値は測光範囲に含まれる画像のデータを用いて算出することができる。一般的な撮像装置では、測光範囲や輝度評価値の算出方法を複数の選択し(測光モード)から選択することができる。例えば画像全体についての代表輝度、1つ以上の部分画像における代表輝度の少なくとも一方を求め、1つ以上の代表輝度に基づいて最終的な輝度評価値を求めることができる。複数の代表輝度を用いる場合、画像の中央部や顔領域の代表輝度の重み付けを大きくしたりすることができる。代表輝度は例えば平均輝度や輝度の積分値であってよい。なお、ここで説明した輝度評価値の算出方法は単なる例示であり、他の方法で算出してもよい。
なお、カラーフィルタを有する撮像素子を用いて得られた画像のデータから輝度評価値を算出する場合、各画素はカラーフィルタの色成分の1つに対応する輝度情報しか有しない。そのため、輝度評価値を特定の色成分に対応する画素の値だけから算出してもよい。
一方、輝度の基準値には反射率18%の無彩色被写体(標準反射体)の明るさが用いられる。輝度評価値が輝度の基準値よりも低い(暗い)場合には露出量を増やし、輝度評価値が輝度の基準値よりも高い(明るい)場合には露出量を減らすように露出条件を決定する。換言すれば、測光範囲内の画像が反射率18%の無彩色被写体を撮影した画像と仮定した場合の輝度評価値を基準値として、実際に得られた輝度評価値が基準値より低ければ露出量を増やし、基準値より高ければ露出量を減らす。露出量は絞りを開く(絞り値を小さくする)、撮影感度を上げる、シャッタスピードを遅くする(電荷蓄積期間を延ばす)、NDフィルタの濃度を下げる(または光路から退避させる)等により増やすことができる。露出量を減らす場合にはそれぞれ逆方向に制御すればよい。
このような自動露出制御によって決定される適正露出は、輝度評価値が撮影者が意図した被写体(主被写体)の明るさを適切に表す場合にはうまく機能する。一方、輝度評価値が主被写体の明るさを適切に表さない場合にはうまく機能しない。例えば、主被写体が画像に占める割合が低く、かつ背景の明るさが主被写体の明るさと大きく異なるシーンでは、自動露出制御で得られる適正露出では主被写体が暗すぎたり明るすぎたりする。このようなシーンには例えば逆光シーンや、雪景色や夜空を背景にしたシーンなどがある。また、主被写体が人物の場合、服装の色が明るい場合には露出不足気味に、暗い場合には露出過多気味になったりする。
この問題は、主被写体を含むシーン全体の反射光に基づいて露出値を決定することに起因している。そのため、撮像装置100とは別個の入射光式の露出計を用い、主被写体の入射光量に基づいて露出を決定すれば、主被写体の背景や服装の明るさや色に影響を受けずに露出を決定することができる。
被写体を照らしている照明光の照度値、撮像装置100の絞り値、露光時間、撮影感度をそれぞれAPEX(Additive System of Photographic Exposure)単位で表すと、適正露出時には式(1)が成り立つ。
AV+TV=IV+SV ・・・(1)
AVは絞り値(F値)、TVは露光時間(シャッタスピードまたは電荷蓄積期間)、IVは照度値、SVは露光指数(ISO感度など)をAPEX単位に換算した値である。
適正露出としたい被写体領域と同じ明るさの部分の入射光量(照度値)を計測し、式(1)を満たすようにAV,TV,SVの組み合わせを決定することで、適正露出となる露出条件を決定することができる。
一方、撮像装置100のAEのように被写体の反射光に基づいて露出値を決定する場合、被写体輝度、撮像装置100の絞り値、露光時間、撮影感度をそれぞれAPEX単位で表すと、適正露出時の各値の関係は以下の式(2)を満たす。
AV+TV=BV+SV ・・・(2)
BVは被写体輝度をAPEX単位に換算した値である。
上述した輝度評価値をBVとして、式(2)を満たすようにAV,TV,SVの組み合わせを決定することで、適正露出となる露出条件を決定することができる。
(ガンマ補正)
図2は、画像処理部24において、例えばA/D変換器23から供給される画像データ(入力データ)に適用されるガンマ補正の特性(ガンマ曲線)の例を示す図である。ここで入力データは被写体輝度に応じた値を有する10bitデータであるものとする。また、0〜100%の画像信号の出力レベル(明るさ)に変換するガンマ曲線の例を示している。例えば100%の出力レベルは100%白の画像信号の輝度レベルに相当する。ガンマ補正は画像データを例えば撮像素子が出力する輝度の特性を例えば人間の視覚特性に合わせた階調特性に変換したり、ポストプロダクションに適した階調特性に変換するために行われる。ガンマ補正は一般的に非線形な変換特性を有し、変換特性を表す曲線をガンマ曲線と呼ぶ。画像処理部24におけるガンマ補正処理は、ガンマ曲線を用いた階調変換処理ということもできる。
画像処理部24が画像データから算出する輝度評価値と比較する輝度基準値は、画像処理部24での処理に適した数値で表現されているため、ユーザが輝度基準値の明るさをイメージすることが難しい。例えば、図2(a)に示すように、画像処理部24が画像データを10bitのデータとして取り扱い、撮像素子からの最大入力値(1023)が反射率576%に相当する場合、輝度基準値は反射率18%に相当する入力値32となる。
したがって、システム制御部50は輝度評価値が32であれば現在の露出条件で適正露出が得られると判定し、露出条件を変更する必要はない。一方、輝度評価値が32と異なる場合、システム制御部50は適正露出が得られるように露出条件を変更する。なお、輝度基準値の値は、撮像素子の最大出力値に対応する反射率の大きさに応じて変化する。
本実施形態では、反射率18%の被写体を適正露出で撮影した際の出力レベル(輝度基準値をガンマ曲線で変換して得られる出力レベル)を適正露出の基準値として用いる。例えば、図2(a)に示すガンマ曲線を用いる場合、適正露出の基準値は出力レベル40%に相当する。このように適正露出の基準値として、ガンマ補正後の出力レベルを用いることで、適正露出の基準値を、映像信号を波形モニタで表示した際のレベルと同様に扱うことができるため、基準値の明るさが容易にイメージできるようになる。
ここで、適正露出時よりも被写体が明るく写るようにすることは、例えば図2(b)に示すように、反射率18%に対応する入力データ値が40%よりも大きい出力レベルに変換されるようにすることに相当する。これは、適正露出の基準値を大きくすることで実現できる。
図3のフローチャートを用いて、適正露出の基準値の変更動作について説明する。
S301でシステム制御部50は、適正露出の基準値とする出力レベルの設定を受け付ける。例えばシステム制御部50は表示部28に基準値の設定画面を表示し、ユーザによる出力レベルの設定を受け付けることができる。設定画面においてユーザは、基準値とする出力レベルを複数の選択肢から選択するか、数値を直接入力することによって出力レベルを設定することができる。なお、選択肢は数値ではなく、用途(例えば屋内用、屋外用)など、ユーザが設定を行いやすい項目であってもよい。この場合、システム制御部50は、例えば不揮発性メモリ56を参照して、選択肢に対応する出力レベルを取得することができる。なお、設定画面を提供する代わりに、操作部70に含まれる入力デバイスに出力レベルの値を調整する機能を割り当てたり、特定の選択肢を選択する機能を割り当てたりしてもよい。
S301で出力レベルが設定されると、S302でシステム制御部50は、設定された出力レベルと、ガンマ曲線(変換特性)とに基づいて輝度の基準値を取得する。例えば、図2(b)に示すガンマ曲線を用いている場合、適正露出とする出力レベルが50%に設定されると、輝度の基準値は64となる。輝度の基準値は反射率18%に相当するため、入力データの最大値1023が対応する反射率は288%(≒18*1024/64)になる。
輝度の基準値を32から64に変更することは、適正露出を1段分明るくすることに相当し、式(2)において例えば、AV値もしくはTV値を−1した状態、またはBV値を+1した状態とも言える。この場合、SV値を−1することで、式(2)を満たすことができる。S303でシステム制御部50は、輝度基準値の変化に応じて露光指数(適正露出に相当するISO感度)を1/2にすることでSV値を−1する。
なお、この状態では適正露出の基準値を変更する前後で絞り値とシャッタスピードは変えていない。そのため、式(2)が満たされず、変更前の適正露出が得られる露出条件では変更後の適正露出を得ることはできない。ここでは適正露出が以前より明るく変更されているため、変更前の適正露出が得られる露出条件で撮影した場合、変更後の適正露出よりも被写体は暗く写る。そこで、適正露出の基準値が変更された場合には、変更を打ち消すように露出条件を変更してもよい。本実施形態の場合、AV値もしくはTV値の値を−1することで式(2)を満たすことができる。つまり、絞り101のF値を1段小さくするか、シャッタスピード(または電荷蓄積期間)を2倍に変更すればよい。これにより、変更後の適正露出が得られる露出条件を設定することができる。
本実施形態は適正露出の基準値をユーザが変更できるようにした。そのため、たとえば屋内用の基準値と屋外用の基準値とを切り替え可能にしておくことで、ユーザは常に内蔵露出計もしくは外部露出計が示す適正露出の指針を基準として露出量を調整することができる。適正露出の基準値が固定である場合に必要となる露出補正量の管理が不要となり、露出補正量の誤りに起因する撮影の失敗を防止することができる。
また、適正露出の基準値をガンマ補正後の出力レベルで設定できるようにしたので、適正露出で撮影した際の被写体の明るさをイメージしやすく、ユーザが意図した被写体の明るさを実現するための適正露出の基準値を容易に設定することができる。
また、適正露出の基準値の変更に伴って露出条件を変更するようにした。そのため、適正露出の基準値の変更後も式(1)および式(2)が成り立つ。これにより、外部露出計を用いて適正露出が得られる露出条件を把握したり、撮像装置100の表示部28に表示される適正露出の基準値を参考にした露出条件の設定が容易となる。
例えば、ITU-R勧告 BT.2100で規定されているハイダイナミックレンジ(HDR)に対応した動画を撮影する場合、屋内ではより暗く、屋外ではより明るく被写体を撮像するなど、シーンに応じた明るさでの撮像が好ましい。本実施形態では屋内撮影と屋外撮影とでそれぞれ適正露出の基準値を容易に変更できるようにしたため、自動露出制御を用いつつ、屋外撮影の場合には屋内撮影よりも明るい動画を容易に撮影することができる。
なお、本実施形態で説明に用いたガンマ曲線や入力データ値のビット数などは単なる例示であり、本発明を限定しない。
●<第2実施形態>
次に、本発明の第2実施形態について説明する。第1実施形態では、出力レベルを指定することで適正露出の基準値を変更する構成について説明した。本実施形態ではダイナミックレンジを指定することで適正露出の基準値を変更する構成について説明する。撮像装置の構成や、式(1)および式(2)に基づいて適正露出を決定することは第1実施形態と同様である。ここで、ダイナミックレンジとは、適正露出に対応する輝度の基準値に対し、どの程度明るい被写体まで表現可能であるかを表す。具体的には、ダイナミックレンジは、適正露出に対応する輝度の基準値を反射率18%とした際に、最大入力値(10ビット入力なら1023)に対応する反射率(X%)として表すことができる。あるいは、ダイナミックレンジは、X%が18%に対してAPEX単位で何段分に相当するか(=log2(X/18))によって表すこともできる。
図2(a)に示した適正露出の基準値では、ダイナミックレンジ(反射率)は576%である。これは、適正露出(反射率18%)から5段分(=log2(576/18))明るい被写体まで表現可能であることを示す。しかし、明るい空や光源を撮影する場合など、ダイナミックレンジをさらに広げたくなる場合がある。
そこで、本実施形態ではダイナミックレンジの大きさで適正露出の基準値をを設定可能にする。例えばシステム制御部50は表示部28に基準値の設定画面として、ダイナミックレンジの大きさを設定可能な画面を表示し、ユーザによる設定を受け付けることができる。設定画面においてユーザは、実現したいダイナミックレンジを複数の選択肢から選択するか、数値(例えば反射率や段数)を直接入力することによってダイナミックレンジを設定することができる。なお、選択肢は数値ではなく、用途(例えば屋内用、屋外用)、被写体の種類(例えば青空、雪景色)、標準よりも広くする、狭くするなど、ユーザが設定を行いやすい項目名としてもよい。なお、設定画面を提供する代わりに、操作部70に含まれる入力デバイスにダイナミックレンジの値を調整する機能を割り当てたり、特定の選択肢を選択する機能を割り当てたりしてもよい。この場合、システム制御部50は、例えば不揮発性メモリ56を参照して、選択肢に対応するダイナミックレンジを取得することができる。ダイナミックレンジそのものは適正露出の基準値ではないが、ダイナミックレンジを変更することで適正露出の輝度の基準値が変わるため、ダイナミックレンジの設定は実質的に適正露出の輝度の基準値を設定することに等しい。
図2(c)に示すように、ダイナミックレンジを1段分広げて6段分(最大反射率1152%)とすると、適正露出に相当する輝度(反射率18%)の基準値は、1024*18/1152≒16になる。このようにして、S302でシステム制御部50は、S301で設定されたダイナミックレンジに基づいて輝度の基準値を算出する。これにより、輝度の基準値に対応する出力レベルも40%から30%へと変化する。
輝度の基準値を32から16に変更することは、第1実施形態とは逆に、適正露出量を1段分暗くすること(AV値またはTV値を+1すること)に相当する。変更後の適正露出量について式(2)を満たすため、システム制御部50は、輝度基準値の変化に応じて露光指数(適正露出に対応するISO感度)を2倍にしてSV値を+1する。
本実施形態においても変更後の適正露出量を得るために露出条件を変更することができる。例えば、変更前の適正露出量が得られる露出条件が設定されていた場合、システム制御部50は、適正露出の基準値の変更を打ち消すようにAV値もしくはTV値の値を+1する。つまり、絞り101をF値を1段大きくするか、シャッタスピード(または電荷蓄積期間)を1/2にすることで、変更後の適正露出が得られる露出条件を設定することができる。
本実施形態ではダイナミックレンジを設定することによって適正露出の基準値をユーザが変更できるようにした。そのため、たとえば屋内用のダイナミックレンジと屋外用のダイナミックレンジとを切り替え可能にしておくことで、ユーザは常に内蔵露出計もしくは外部露出計が示す適正露出の指針を基準として露出量を調整することができる。適正露出の基準値が固定である場合に必要となる露出補正量の管理が不要となり、露出補正量の誤りに起因する撮影の失敗を防止することができる。
また、ダイナミックレンジを設定することで適切な適正露出の基準値に変更されるため、ユーザが表現したい被写体最大輝度に応じた適切な適正露出の基準値を容易に設定することができる。
また、適正露出の基準値の変更に伴って露出条件を変更するようにした。そのため、適正露出の基準値の変更後も式(1)および式(2)が成り立つ。これにより、外部露出計を用いて適正露出が得られる露出条件を把握したり、撮像装置100の表示部28に表示される適正露出の基準値を参考にした露出条件の設定が容易となる。
なお、本実施形態で説明に用いたガンマ曲線や入力データ値のビット数などは単なる例示であり、本発明を限定しない。
●<第3実施形態>
次に、本発明の第3実施形態について説明する。例えば、屋外で撮影した画像が屋内で撮影した画像よりも明るくなるように撮影した方が、臨場感のある画像が撮影できる場合がある。例えば、室内の撮影については出力レベル40%、屋外の撮影については出力レベル50%を適正露出の基準値とし、それぞれ適正露出で撮影すると、屋外で撮影した画像が屋内で撮影した画像よりも明るくなるように撮影することができる。
適正露出の基準値が出力レベル40%である図2(a)と、50%である図2(b)とを比較すると、屋内撮影のダイナミックレンジが反射率576%であるのに対し、屋外撮影のダイナミックレンジが反射率288%と低下している。つまり、通常は被写体輝度が屋内より高い屋外の撮影において、屋内撮影よりも白とびしやすくなってしまう。
本実施形態では、適正露出の基準値に応じてガンマ補正による変換特性(ガンマ曲線)を異ならせることにより、このような課題を解決する。図4は本実施形態で用いるガンマ曲線の例を示す図である。本実施形態において画像処理部24は、適正露出の輝度の基準値に相当する入力データを異なる出力レベルに変換する複数のガンマ曲線の1つを選択的に用いる。具体的には、適正露出の輝度の基準値に相当する入力データを、出力レベル40%に変換する屋内撮影用ガンマ曲線と、出力レベル50%に変換される屋外撮影用ガンマ曲線のいずれかを選択的に用いるものとする。
画像処理部24が屋内撮影用ガンマ曲線を用いる場合、システム制御部50は、被写体の平均の明るさが出力レベル40%となるように輝度評価値に基づいて露出条件を決定する。入力データが10bitの場合、適正露出の輝度の基準値(反射率18%)は32である。
一方、画像処理部24が屋外撮影用ガンマ曲線を用いる場合、システム制御部50は、被写体の平均の明るさが出力レベル50%となるように輝度評価値に基づいて露出条件を決定する。本実施形態の屋外撮影用ガンマ曲線は、適正露出の輝度の基準値(反射率18%)が屋内撮影用ガンマ曲線と等しくなるような特性(ロ)を有する。適正露出の輝度の基準値を維持することで、画像のコントラストを変更することなく、あたかも露出が変更されたような効果を得ることができる。例えば、屋内撮影用ガンマ曲線を反射率288%のダイナミックレンジの範囲に圧縮した破線Aに示す特性を屋外撮影用ガンマ曲線として用いることで、適正露出の輝度の基準値を維持することができる。しかし、破線Aに示す特性の全部を用いるとダイナミックレンジが反射率288%に圧縮されてしまうため、反射率18%から288%までの1点(ニーポイント)から反射率576%までの区間については破線Bで示す特性(ハ)に切り替える。破線Bで示す特性で屋内撮影用ガンマ曲線と同じ最大反射率までカバーすることで、屋外撮影においても屋内撮影と同様のダイナミックレンジを実現できる。
なお、屋内撮影用ガンマ曲線から屋外撮影用ガンマ曲線に切り替わることで適正露出時の出力レベルは変化するが、適正露出の輝度の基準値やダイナミックレンジは変化しない。従って、システム制御部50が自動露出制御によって決定する露出条件は用いるガンマ曲線に依存しない。つまり、用いるガンマ曲線が変化しても撮像装置100の露光指数に変化はない。
屋内撮影用ガンマ曲線と屋外撮影用ガンマ曲線とのいずれを用いるかは、ユーザがメニュー画面や操作部70の特定の入力デバイスを操作することによって手動で設定(切り替え)することができる。あるいは、用いるガンマ曲線を、撮像画像の平均輝度や最高輝度値の変化に応じてシステム制御部50が自動的に設定してもよい。
本実施形態によれば、適正露出の輝度の基準値と輝度のダイナミックレンジが等しく、輝度の基準値に対する出力レベルが異なる複数のガンマ曲線を選択的に用いることができる。そのため、用いるガンマ曲線に依存しない自動露出制御により、撮像装置の露光指数を変更することなく、画像の明るさを異ならせた撮影を行うことができる。
ここでは説明および理解を容易にするため、2つのガンマ曲線が用意されている例を説明した。しかし3つ以上のガンマ曲線を用意しておくこともできる。なお、本実施形態で説明に用いたガンマ曲線や入力データ値のビット数などは単なる例示であり、本発明を限定しない。
●<第4実施形態>
次に、本発明の第4実施形態について説明する。第3実施形態では、撮像装置100のシステム制御部50が自動露出制御によって露出条件を決定する場合について説明した。そのため、例えばシステム制御部50が屋外撮影用ガンマ曲線と屋内撮影用ガンマ曲線とを自動で切り替えた場合、画像の明るさが変化することになる。本実施形態では、露出条件がマニュアル設定される場合について説明する。この場合、露出条件はユーザが設定した値に固定され、ユーザが変更しない限り露出条件は変化しない。したがって、用いるガンマ曲線が変わっても画像の明るさができるだけ変化しないようにする必要がある。
ここでは、マニュアル設定される露出条件として、上述したAv値、Tv値、Sv値に加え、屋内用露出設定、屋外用露出設定があるものとする。屋内用露出設定では適正露出の輝度の基準値に対応する出力レベルは40%、屋外用露出設定では適正露出の輝度の基準値に対応する出力レベルは50%とする。
屋内用露出設定で適正露出の撮影を行う場合、ユーザは出力レベルが40%になるようにAv値、Tv値、Sv値の組み合わせを決定する。
この状態でユーザが屋外用露出設定に変更したとする。システム制御部50は、この変更に伴い、図4(a)に示した屋内撮影用ガンマ曲線から屋外撮影用ガンマ曲線に変更する。ガンマ曲線を変更し、Av値、Tv値、Sv値の組み合わせを変更しないと、第3実施形態で説明したように画像の出力レベルが50%に変化する。これは、ユーザにとって、意図しない露出変化に見える。
そのため、システム制御部50は、ガンマ曲線の変更時に、マニュアル設定された露出条件が維持されているように見えるように制御する。具体的には、システム制御部50は、画像の明るさがガンマ曲線の変更前とできるだけ変わらなくなるように入力データ値を変更する。図4(b)の例では、屋外撮影用ガンマ曲線における出力レベル40%に対応する入力データ値は16である。そのため、制御手段としてのシステム制御部50は、屋外撮影用ガンマ曲線を用いる場合、例えば露光指数(適正露出に対応するISO感度)を変更することにより、SV値を低下させ、適正露出の輝度の基準値に対応する入力データ値を32から16に低減させる。これにより、入力データ値に対する出力レベルが異なるガンマ曲線を撮影中に切り替えて用いる場合であっても、撮影された画像の明るさを維持することができる。そのため、用いるガンマ曲線がマニュアル設定された露出条件での撮影中に変更されても、撮影される画像の明るさに与える影響を抑制することができる。
なお、本実施形態において、屋外撮影用ガンマ曲線を用いた撮影は適正露出より露出量が低い(露出アンダー)状態である。そのため、第1実施形態と同様、撮像装置の露光指数(ISO感度)は低下する。
なお、本実施形態で説明に用いたガンマ曲線や入力データ値のビット数などは単なる例示であり、本発明を限定しない。
図5は、第3および第4実施形態における補正特性選択動作に関するフローチャートである。S501でシステム制御部50は、撮影環境が屋内であるか屋外であるかを判定する。判定方法に制限はないが、例えば撮影された画像から得られる輝度情報(例えば平均輝度や最高輝度など)が予め定められた閾値を超える場合に屋外撮影であると判定することができる。あるいは、ユーザが屋外か屋内かを明示的に設定している場合には設定値に基づいて判定することができる。
S503でシステム制御部50は、撮影環境が屋内と判定された場合にはS505に、撮影環境が屋内と判定されない場合(もしくは屋外と判定された場合)にはS507に処理を進める。
S505でシステム制御部50は、屋内撮影用の補正特性(ガンマ曲線)を用いるように画像処理部24に設定し、S509に処理を進める。例えばシステム制御部50は、不揮発性メモリ56から屋内撮影用の補正特性を表すデータを画像処理部24に供給してもよいし、画像処理部24に使用する補正特性の識別情報を通知してもよい。
S507でシステム制御部50は、屋外撮影用の補正特性(ガンマ曲線)を用いるように画像処理部24に設定する。システム制御部50は、露出条件が自動設定される場合(第3実施形態)では処理をS509に、マニュアル設定される場合(第4実施形態)はS521に、処理を進める。
S521でシステム制御部50は、補正特性の変更前と画像の明るさが変わらないように露光指数を変更し、処理をS509に進める。
S509でシステム制御部50は、S501と同様に撮影環境を判定し、処理をS511に進める。
S511でシステム制御部50は、撮影環境が変化したか否かを判定し、変化したと判定されればS503に処理を戻し、変化したと判定されなければ(あるいは変化しないと判定されれば)S509に処理を戻す。システム制御部50は例えば、現在使用している補正特性に対応する撮影環境と、S509で判定された撮影環境とが異なる場合に、撮影環境が変化したと判定することができる。
●<第5実施形態>
次に、本発明の第5実施形態について説明する。第1、2実施形態では、出力レベルやダイナミックレンジを設定することによって適正露出の基準値(輝度値や出力レベル)を変更可能な構成を提案した。また、第3、4実施形態では適正露出の基準値(輝度値や出力レベル)の変更がダイナミックレンジに影響を与えないようなガンマ曲線や、自動露出設定、マニュアル露出設定に応じた動作について提案した。
上述した適正露出の基準値(輝度値や出力レベル)の変更や、ガンマ曲線の変更は、撮影で得られる画像の画質に影響を与える。特に第3および第4実施形態におけるガンマ曲線の変更は、表示装置での識別が困難な画質の変化をもたらす場合がある。そのため、本実施形態に係る撮像装置は、適正露出の基準値(輝度値や出力レベル)が変更されたり、用いるガンマ曲線が変更されたりした場合にユーザに報知する機能を有する。この機能はシステム制御部50が報知手段として動作することにより実現される。
図1に示した撮像装置100で本実施形態は実現できるため、撮像装置100の構成を用いて説明する。また、以下では、図4の破線Aのガンマ曲線の高輝度部の傾きを破線Bのガンマ曲線のように緩やかにすることを、ニーを有効にすると表現する。また、破線Aのガンマ曲線と破線Bのガンマ曲線との切り替わり位置をニーポイントと呼ぶ。また、破線Bのニーポイント以降のガンマ曲線の傾きを変更するための、ニーポイント以降のガンマ曲線の入力値の増加率をニースロープと呼ぶ。
システム制御部50は例えばニー設定画面を呼び出す操作を検出すると、不揮発性メモリ56に記憶されているデータを用いてニー設定画面を表示部28に表示させる。ニー設定画面ではニーの有効または無効が設定可能である。なお、ニーポイントやニースロープの傾きなど、他の項目が設定可能であってもよい。また、適正露出の基準値は第1実施形態で説明したように出力レベルに関して設定することができるものとする。
システム制御部50は、適正露出の現在の基準値を例えばメモリ32に記憶し、管理する。適正露出の基準値の設定画面において、適正露出の基準値を変更する操作(決定ではない)が検出されると、システム制御部50は、メモリ32に記憶されている現在の基準値と比較する。なお、設定画面で基準値を指定する単位と、メモリ32に記憶されている基準値の単位が異なる場合、システム制御部50は一方の値を他方の単位に換算してから比較する。例えば設定画面では出力レベルの%を基準値として設定し、メモリ32には輝度値が基準値として記憶されているとする。この場合、システム制御部50は、ガンマ曲線を用いて出力レベルを輝度値に変換してから、メモリ32に記憶されている値と比較する。
システム制御部50は、現在の基準値と、設定画面における変更後の基準値とから、設定画面で基準値が高くされたのか低くされたのかを判定する。そして、システム制御部50は、判定結果を基準値の変更方向の情報としてメモリ32に記憶する。なお、基準値が変更されていない(あるいは変更前と変更後の基準値が等しい)場合、システム制御部50は、基準値に変更が無いことを示す情報を基準値の変更方向の情報としてメモリ32に記憶する。そして、システム制御部50は、設定画面で変更した基準値が設定された場合に想定される画質変化に関する情報をユーザに報知(警告)する。
図6は、本実施形態に係る撮像装置100において、設定画面で適正露出の基準値が変更された際の動作に関するフローチャートである。
S601でシステム制御部50は、例えばメモリ32に記憶されている適正露出の基準の変更方向の情報を参照して、設定画面で適正露出の基準値が高く変更されたのか否かを判定する。システム制御部50は、基準値が高く変更されたと判定されればS602に、判定されなければ(あるいは、低く変更されたと判定されるか、変更無しと判定されれば)S605に、処理を進める。
S602でシステム制御部50は、メモリ32を参照して、ニーが有効であるか否かを判定する。システム制御部50は、ニーが有効に設定されていると判定されればS603に、判定されなければ(あるいは、ニーが無効に設定されてると判定されれば)S604に、処理を進める。
S603でシステム制御部50(報知手段)は、ニーが有効な状態で基準値を高い値に変更したときに想定される画質変化として、例えば高輝度部分の階調性変化をユーザに報知(警告)する。例えばシステム制御部50は、警告内容に関するメッセージウィンドウを表示部28に表示したり、警告内容を表すアイコンを表示したりすることにより画質変化に関して警告することができる。なお、システム制御部50は、公知の任意の方法を用いて警告を行うことができる。警告の表示は適正露出の基準値が変更されていないと判定されたこと(例えば設定がキャンセルされた場合や、変更前の値に戻された場合)に応じて、直ちに、あるいは一定の期間が経過した後に消去することができる。
S604でシステム制御部50は、ニーが無効で状態で基準値を高い値に変更したときに想定される画質変化として、例えばダイナミックレンジの低下をユーザに報知(警告)する。
S605でシステム制御部50は、設定画面で適正露出の基準値が低く変更されたのか否かを判定する。システム制御部50は、基準値が低く変更されたと判定されればS606に、判定されなければ(あるいは、変更無しと判定されれば)S609に、処理を進める。
S606でシステム制御部50は、メモリ32を参照して、ニーが有効であるか否かを判定する。システム制御部50は、ニーが有効に設定されていると判定されればS607に、判定されなければ(あるいは、ニーが無効に設定されてると判定されれば)S608に、処理を進める。
S607でシステム制御部50は、ニーが有効な状態で基準値を低い値に変更したときに想定される画質変化として、例えば低輝度部分(暗部)の階調性が低下する可能性があることをユーザに報知(警告)する。
S608でシステム制御部50は、ニーが無効な状態で基準値を低い値に変更したときに想定される画質変化として、例えば低輝度部分(暗部)の階調性低下をユーザに報知(警告)する。
S609でシステム制御部50は、特に警告を行わない。
なお、図6のフローチャートに示した処理は、設定画面で基準値の変更操作が検出されるごとに実行される。その後、設定キャンセルの指示が検出されるとシステム制御部50は基準値を変更せずに設定画面を閉じる。一方、決定の指示が検出されるとシステム制御部50は、メモリ32に記憶されている基準値の値を変更後の値に更新する。これにより、基準値の変更が有効になる。また、システム制御部50は、メモリ32に記憶されている、基準値の変更方向の情報を、基準値に変更が無いことを示すように更新する。
なお、適正露出の基準値の変更方向は他の方法で判定してもよい。例えば動画撮影中であれば直前のフレームについて用いた基準値と比較することができる。また、変更前後の基準値をメモリ32に記憶し、両者を比較して基準値の変更方向を判定してもよい。
上述した、ニーの有効無効と基準値の変更方向との組み合わせごとに警告の内容を図7にまとめて示す。ここで、図8を用い、警告内容に関して説明する。
図8は適正露出の基準値が高い(出力レベル50%)ときと低い(出力レベル40%)ときのガンマ曲線の例を示し、ここでは横軸を入射光の反射率としている。図8(a)はニーが無効の場合、図8(b)はニーが有効の場合を示している。
本実施形態では10ビット入力データの最大値(=1023)が、撮像素子の飽和信号を表すように入力データ値を割り当てる。そのため、適正露出の基準値に応じて飽和信号に対応する反射率が異なる場合には、同様に入力データ値と反射率との対応も異なる。図8(a)の例では、適正露出の基準値が出力レベル40%のとき、入力データの最大値(=1023)は反射率576%に対応する。適正露出の基準値が出力レベル50%のとき、入力データの最大値(=1023)は反射率288%に対応する。
この結果、ニーが無効の場合、暗部(反射率18%以下)に割り当てられる入力データ値は適正露出の基準値が出力レベル50%のとき64であるのに対し、出力レベル40%のときは32に半減する。また、出力レベルの数についても、適正露出の基準値が出力レベル50%のとき110であるのに対し、出力レベル40%のときは88に減少する。したがって、ニーが無効な場合に適正露出の基準値を低い値に変更する場合には、暗部の階調性が低下することを警告する。
また、ニーが無効の場合、適正露出の基準値が出力レベル40%のときに対し、出力レベル50%のときは、入力データ値がカバーする最大反射率(ダイナミックレンジ)が576%から288%に低下する。そのため、ニーが無効な場合に適正露出の基準値を高い値に変更する場合には、ダイナミックレンジが低下することを警告する。
一方、ニーが有効の場合、本発明では図8(b)に図示するように、適正露出の基準値として異なる出力レベルを設定しても、同一反射率(18%)に対応するようなガンマ曲線を用いる。そのため、暗部に割り当てられる入力データ値は適正露出の基準値にかかわらず32である。しかしながら、暗部に対する出力レベルの数は、適正露出の基準値が出力レベル50%のとき110であるのに対し、出力レベル40%のときは88に減少する。入力データ値0から32の全てが互いに異なる出力レベルに変換されれば暗部の階調性は低下しない。しかし、入力データ値0から32のうち、同じ出力レベルに変換される入力データ値がある場合、暗部の階調性は低下する。
ガンマ曲線の特性やダイナミックレンジにも依存するが、暗部の入力データ値(0から32)に対する出力レベルの数が少なくなるほど、同じ出力レベルに変換される入力データ値が存在する可能性が高くなる。そのため、本実施形態では、ニーが有効な場合に適正露出の基準値を低い値に変更する場合には、暗部の階調性が低下する可能性があることを警告する。なお、ガンマ曲線とダイナミックレンジとの組み合わせごとに、暗部の階調性が低下する適正露出の基準値の範囲を予め不揮発性メモリ56に記憶しておいてもよい。この場合システム制御部50は、変更後の基準値が、基準値を変更した際に用いられるガンマ曲線とダイナミックレンジとの組み合わせについて階調数が低下する基準値の範囲に含まれることが確認されたことに応じて警告を行ってもよい。この場合システム制御部50は、階調性が低下する可能性があることではなく、階調性が低下することを警告する。一方、システム制御部50は、変更後の基準値が、基準値を変更した場合に用いられるガンマ曲線とダイナミックレンジとの組み合わせについて階調数が低下する基準値の範囲に含まれない場合には警告を行わない。
ニーが有効の場合には、ダイナミックレンジは適正露出の基準値に依存しない。しかし、ニーポイント以降の高輝度部の階調を圧縮しているため、高輝度部の階調性が低下する。したがって、ニーが有効な場合に適正露出の基準値を高い値に変更する場合には、高輝度部の階調性が低下することを警告する。
本実施形態では適正露出の基準値を変更した場合に想定される画質への影響について、ガンマ曲線やダイナミックレンジを勘案してユーザに報知するようにした。そのため、ユーザは基準値の変更によって生じうる画質への影響を認識した上で基準値を変更することができる。
●<第6実施形態>
次に、本発明の第6実施形態について説明する。本実施形態は、被写体の輝度情報に基づいて自動で適正露出の基準値を設定(変更)する構成に関する。本実施形態は図1に示した構成の撮像装置100で実現できるため、撮像装置100の構成を用いて説明する。本実施形態においてシステム制御部50は、基準値の自動設定手段として機能する。また、本実施形態においても反射率18%の被写体を適正露出で撮影した際の出力レベルを適正露出の基準値として用いるものとする。
システム制御部50は、輝度情報から、被写体輝度が屋内用の閾値(以下、屋内閾値)以下と判定されれば、屋内用の適正露出の基準値(以下、Indoor)を設定する。また、システム制御部50は、輝度情報から、被写体輝度が屋外用の閾値(以下、屋外閾値)以上と判定されれば、屋外用の適正露出の基準値(以下、Outdoor)を設定する。
また、一例として、Indoorは出力レベル34%、Outdoorは出力レベル45%とする。Indoor<Outdoorであれば他の値であってもよい。さらに、屋内閾値と屋外閾値とが異なる値である場合に、被写体輝度が屋内閾値より大きく屋外閾値未満の値であれば、システム制御部50は補間により適正露出の基準値を設定する。以下、補間により得られる適正露出の基準値を補間基準値と呼ぶ。
適正露出の基準値を補間基準値とする場合、システム制御部50は、現在の基準値を初期値とする仮基準値を徐々に補間基準値に近づけ、仮基準値が補間基準値と等しくなった時点で、適正露出の基準値を仮基準値(=補間基準値)に変更する。ただし、仮基準値を補間基準値に近づけている途中で、ユーザによる適正露出の基準値を選択操作を検出した場合、システム制御部50はユーザが選択した基準値(以下、ユーザ選択基準値)を補間基準値より優先し、新たな基準値として設定する。
図9は、本実施形態における撮像装置100が適正露出の基準値を自動設定する動作に関するフローチャートである。この処理は、例えば撮像装置100でライブビュー表示用もしくは記録用の動画撮影動作と並行して繰り返し実行することができるが、他の任意のタイミング実行することができる。
S901でシステム制御部50は、画像処理部24から被写体の輝度情報を取得する。本実施形態においてシステム制御部50が適正露出の基準値を設定するために画像処理部24から取得する輝度情報は画像全体の輝度平均値とする。なお、画像処理部24が画像に対して顔検出処理を適用し、かつ顔領域が検出されている場合、システム制御部50は、顔領域の平均輝度値を輝度情報として取得してもよい。なお、適正露出の基準値を設定するために用いることのできる被写体の輝度情報はこれらに限定されない。例えば、画像中の合焦領域の平均輝度値を用いてもよいし、他の輝度情報を用いてもよい。さらに、被写体の輝度情報は画像処理部24が撮影で得られた画像から算出する輝度情報でなくてもよい。例えば、外部機器から撮影シーンの輝度情報を取得してもよい。
S902でシステム制御部50は、S901で取得した輝度情報が屋内閾値以下であるか否か判定する。システム制御部50は、輝度情報が屋内閾値以下と判定されればS903へ、判定されなければ(あるいは屋内閾値より大きいと判定されれば)S904へ、処理を進める。
S903でシステム制御部50は、適正露出の基準値をIndoorに設定し、処理を終了する。
S904でシステム制御部50は、S901で取得した輝度情報が屋外以上であるか否か判定する。システム制御部50は、輝度情報が屋外閾値以上と判定されればS905へ、判定されなければ(あるいは屋外閾値より小さいと判定されれば)S906へ、処理を進める。
S905でシステム制御部50は、適正露出の基準値をOutdoorに設定し、処理を終了する。
S906でシステム制御部50は、適正露出の基準値をIndoorとOutdoorの間の値(補間値)に設定して処理を終了する。
S906の処理の詳細について、図10のフローチャートを用いて説明する。
まず、S1002でシステム制御部50は、輝度情報、屋内閾値、屋外閾値、Indoor、Outdoorの値から、補間基準値を算出する。ここでは、補間基準値を、IndoorとOutdoorの線形補間値とするが、IndoorとOutdoorに何らかの重み付けをした補間値としてもよい。システム制御部50は、現在の基準値を変更することなく、算出した補間基準値を例えばメモリ32に記憶する。
図11に、例えば、屋内閾値が100(cd/m2)、屋外閾値が1000(cd/m2)、輝度情報が550(cd/m2)の場合の補間基準値の算出方法を模式的に示す。また、補間基準値の算出式は以下の通りである。
補間基準値={(45 - 34)/(1000 - 100)}*(550-100) + 34 = 39(%)
図10に戻り、S1003でシステム制御部50は、ユーザが適正露出の基準値を設定する操作を操作部70を通じて検出したか否かを判定する。システム制御部50は、適正露出の基準値を設定する操作を検出したと判定されればS1004へ、判定されなければ(あるいは検出していないと判定されれば)S1009へ、処理を進める。
S1004でシステム制御部50は、ユーザ選択基準値がIndoorより大きくOutdoorより小さいか否かを判定する。システム制御部50は、ユーザ選択基準値がIndoorより大きくOutdoorより小さいと判定されればS1005へ処理を進める。また、システム制御部50は、ユーザ選択基準値がIndoorより大きくOutdoorより小さいと判定されなければ(あるいは、ユーザ選択基準値がIndoor以下もしくはOutdoor以上と判定されれば)S1006へ処理を進める。
S1005でシステム制御部50は、ユーザ選択基準値を適正露出の新たな基準値として設定するため、メモリ32に記憶されている現在の基準値をユーザ選択基準値で更新し、処理を終了する。
S1006でシステム制御部50は、ユーザ選択基準値がIndoor以下か否かを判定し、Indoor以下と判定されればS1007に、判定されなければ(あるいはOutdoor以上と判定されれば)S1008に、処理を進める。
S1007でシステム制御部50は、Indoorを適正露出の新たな基準値として設定するため、メモリ32に記憶されている現在の基準値をIndoorで更新し、処理を終了する。
S1008でシステム制御部50は、Outdoorを適正露出の新たな基準値として設定するため、メモリ32に記憶されている現在の基準値をOutdoorで更新し、処理を終了する。
一方、S1009でシステム制御部50は、現在の適正露出の基準値を初期値とする仮基準値を、補間基準値に近づけるために予め定められた単位量(1ステップ)増加または減少させる。増加させるか減少させるかは現在の基準値と補間基準値との大小関係に基づいてシステム制御部50が決定する。
次にS1010でシステム制御部50は、仮基準値が補間基準値と等しくなったか否かを判定し、等しくなったと判定されればS1011に処理を進め、判定されなければ(あるいは等しくないと判定されれば)S1003に処理を戻す。なお、仮基準値の初期値と目標値(補間基準値)との差が1ステップの大きさで割り切れない場合もあるため、S1010では、仮基準値と補間基準値との差の絶対値が1ステップ未満になったか否かを判定してもよい。
図12(a)は、表示部28に表示される露出インジケータ1201、被写体輝度の評価値の指標1202、適正露出の基準値の指標1203、仮基準値の指標1204の例を示す。これらの表示はシステム制御部50が周期的に更新する。したがって、被写体輝度の評価値(輝度情報)、適正露出の基準値、仮基準値が変化すれば、対応する指標の表示位置も変化する。なお、図12(a)には便宜上示しているが、仮基準値の指標1204は、図10の処理の実行中以外には表示されない。
図10のフローチャートを用いて説明した処理の実行中、図12(a)の表示がどのように変化するかについて説明する。ここでは、適正露出の基準値としてIndoorが設定されていた状態から、輝度情報が屋内閾値より大きく、屋外閾値より小さい値になったことにより、図10の処理が実行された場合を想定する。
この場合、図10の処理が開始された時点では適正露出の基準値がIndoorに設定されているため、基準値の指標1203はIndoor(出力レベル34%)に対応した位置に表示されている。また、現在の適正露出の基準値に対して自動露出制御されているため、被写体輝度の評価値の指標1202は、基準値の指標1203と同じ水平位置に表示されている。
この状態で図10の処理が開始されると、例えばS1002でシステム制御部50は、仮基準値の指標1204を現在の基準値の指標1203と同じ位置に表示する。そして、ユーザによる基準値の選択がないまま処理が継続されると、システム制御部50は、S1009が実行されて仮基準値の値が変化する都度、仮基準値の指標1204の表示位置を変更する。従って、図12(a)に矢印で示しているように、ユーザには仮基準値の指標1204が徐々に移動していくように見える。
仮基準値が補間基準値に等しくなる前にユーザがメニュー画面などから所望の基準値(ユーザ選択基準値)を設定したとする。この場合、S1005、S1007またはS1008でシステム制御部50は、ユーザ選択基準値の値に応じた位置に現在の基準値の指標1203を移動させる。また、システム制御部50は、仮基準値の指標1204の表示を終了する。図12(b)は、ユーザ選択基準値がIndoorより大きくOutdoorより小さい場合に、S1005で現在の基準値の指標1203の表示位置が更新された状態を示している。
一方、ユーザが基準値を設定することなく仮基準値が補間基準値に等しくなると、S1011でシステム制御部は補間基準値(出力レベル39%)に対応する位置に現在の基準値の指標1203を移動させる。また、システム制御部50は、仮基準値の指標1204の表示を終了する。
このように、本実施形態では、適正露出の基準値を、予め定められた基準値(IndoorおよびOutdoor)ではなく、補間基準値に自動設定する場合、ユーザに基準値が変更されることおよび変更の方向を知らせる表示を行う。そのため、ユーザは適正露出の基準値が変更されようとしていることを知ることができ、必要なら所望の基準値をマニュアル設定することができるため、使い勝手がよい。
(その他の実施形態)
上述の実施形態は動画撮影時に特に有効であるが、静止画撮影時において実行してもよい。また、本発明を例示的な実施形態に基づいて説明したが、本発明はこれらの実施形態で説明した特定の構成に限定されない。実施形態は発明の説明を目的としたものであって、発明を限定することを目的としていない。当業者は特許請求の範囲の記載で規定される発明の範囲内で上述の実施形態の変形物や変更物を実施することができる。これら変形物や変更物もまた本発明に含まれる。また、上述の実施形態の2つ以上について、その一部または全部を適宜組み合わせてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
24…画像処理部、28…表示部、32…メモリ、50…システム制御部、52…システムメモリ、56…不揮発性メモリ、61…録画スイッチ、70…操作部、100…撮像装置、101…絞り、103…撮像レンズ、200…記録媒体

Claims (20)

  1. 被写体の輝度情報を取得する取得手段と、
    前記輝度情報と、適正露出の基準値とに基づいて、露出条件を決定する決定手段と、
    前記基準値をユーザが設定するための設定手段と、
    を有することを特徴とする撮像装置。
  2. 前記設定手段は、前記基準値を出力レベルの大きさに関して設定可能であることを特徴とする請求項1に記載の撮像装置。
  3. 予め定められた変換特性において、設定された前記出力レベルの大きさに対応する入力データの値を前記基準値として用いることを特徴とする請求項2に記載の撮像装置。
  4. 前記設定手段は、前記基準値を輝度のダイナミックレンジの大きさに関して設定可能であることを特徴とする請求項1に記載の撮像装置。
  5. 前記ダイナミックレンジの大きさが最大反射率で表され、入力データの最大値が前記最大反射率に相当する際の反射率18%に対応する入力データの値を前記基準値として用いることを特徴とする請求項4に記載の撮像装置。
  6. 前記設定手段は、屋内撮影用と屋外撮影用の基準値を設定可能であることを特徴とする請求項1から請求項5のいずれか1項に記載の撮像装置。
  7. 前記基準値が変更された場合、変更後の前記基準値が反射率18%の被写体の明るさに相当するように前記撮像装置の露光指数を変更する制御手段をさらに有することを特徴とする請求項1から請求項6のいずれか1項に記載の撮像装置。
  8. 被写体輝度に応じた値を有する入力データを予め定められた変換特性にしたがって出力レベルに変換する補正手段をさらに有し、
    前記補正手段は、適正露出の輝度の基準値に相当する入力データを異なる出力レベルの大きさに変換する複数の変換特性のうち1つを選択的に用いることを特徴とする請求項1から7のいずれか1項に記載の撮像装置。
  9. 前記複数の変換特性は、入力データが表す輝度のダイナミックレンジが同一となるような変換特性であることを特徴とする請求項8に記載の撮像装置。
  10. 前記決定手段は、前記基準値が変更された場合、変更後の基準値に基づく適正露出が得られるように前記露出条件を変更することを特徴とする請求項1から請求項9のいずれか1項に記載の撮像装置。
  11. 前記露出条件がマニュアル設定されている状態で前記基準値が変更された場合には、撮影で得られる画像の明るさに前記基準値の変更が与える影響を抑制するように前記撮像装置の露光指数を変更する制御手段をさらに有することを特徴とする請求項1から請求項10のいずれか1項に記載の撮像装置。
  12. 前記基準値を変更することにより想定される画質への影響に関してユーザに報知する報知手段をさらに有することを特徴とする請求項1から請求項11のいずれか1項に記載の撮像装置。
  13. 被写体の輝度情報に基づいて前記基準値を自動で設定する自動設定手段をさらに有することを特徴とする請求項1から請求項12のいずれか1項に記載の撮像装置。
  14. 被写体の輝度情報を取得する取得手段と、
    前記輝度情報と、適正露出の基準値とに基づいて、露出条件を決定する決定手段と、
    前記輝度情報に基づいて前記基準値を自動で設定する自動設定手段と、
    を有することを特徴とする撮像装置。
  15. 前記自動設定手段は、前記輝度情報と閾値との比較の結果に応じて、予め定められた複数の基準値の1つを設定することを特徴とする請求項13または請求項14に記載の撮像装置。
  16. 前記自動設定手段は、予め定められた複数の基準値を補間して得られる補間基準値を設定する場合、現在の基準値が変更されることをユーザに報知してから設定することを特徴とする請求項13から請求項15のいずれか1項に記載の撮像装置。
  17. 前記報知の間にユーザが前記基準値を設定した場合には、前記補間基準値よりも前記ユーザが設定した前記基準値を優先することを特徴とする請求項16に記載の撮像装置。
  18. 撮像装置が実行する撮像装置の制御方法であって
    被写体の輝度情報を取得する取得工程と、
    前記輝度情報と、適正露出の基準値とに基づいて、露出条件を決定する決定工程と、
    前記基準値をユーザが設定するための設定手段を提供する提供工程と、
    を有することを特徴とする撮像装置の制御方法。
  19. 撮像装置が実行する撮像装置の制御方法であって
    被写体の輝度情報を取得する取得工程と、
    前記輝度情報と、適正露出の基準値とに基づいて、露出条件を決定する決定工程と、
    前記輝度情報に基づいて前記基準値を自動で設定する自動設定工程と、
    を有することを特徴とする撮像装置の制御方法。
  20. 撮像装置が有するコンピュータを、請求項1から請求項17のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。
JP2018011846A 2018-01-26 2018-01-26 撮像装置およびその制御方法 Pending JP2019129506A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018011846A JP2019129506A (ja) 2018-01-26 2018-01-26 撮像装置およびその制御方法
US16/253,967 US10855928B2 (en) 2018-01-26 2019-01-22 Image capture apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018011846A JP2019129506A (ja) 2018-01-26 2018-01-26 撮像装置およびその制御方法

Publications (1)

Publication Number Publication Date
JP2019129506A true JP2019129506A (ja) 2019-08-01

Family

ID=67391630

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018011846A Pending JP2019129506A (ja) 2018-01-26 2018-01-26 撮像装置およびその制御方法

Country Status (2)

Country Link
US (1) US10855928B2 (ja)
JP (1) JP2019129506A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107251A (zh) * 2019-10-10 2020-05-05 曹婷 基于通信内容分析的信号补偿装置
JP2021093608A (ja) * 2019-12-09 2021-06-17 国立大学法人 鹿児島大学 画質調整装置、画質調整方法及びプログラム
CN117714890A (zh) * 2024-02-18 2024-03-15 荣耀终端有限公司 一种曝光补偿方法、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9571741B1 (en) * 2015-10-08 2017-02-14 Gopro, Inc. Smart shutter in low light
CN115150558B (zh) * 2022-09-05 2022-11-18 深圳比特微电子科技有限公司 亮度检测方法、摄像装置的控制方法、装置和介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3402617B2 (ja) 1991-08-22 2003-05-06 キヤノン株式会社 撮像装置及び撮像方法
EP2478746A1 (en) * 2009-09-15 2012-07-25 Koninklijke Philips Electronics N.V. Method of controlling light distribution in a space including multiple installed light sources and an external light source
US9363446B2 (en) * 2013-04-15 2016-06-07 Htc Corporation Automatic exposure control for sequential images

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111107251A (zh) * 2019-10-10 2020-05-05 曹婷 基于通信内容分析的信号补偿装置
JP2021093608A (ja) * 2019-12-09 2021-06-17 国立大学法人 鹿児島大学 画質調整装置、画質調整方法及びプログラム
CN117714890A (zh) * 2024-02-18 2024-03-15 荣耀终端有限公司 一种曝光补偿方法、电子设备及存储介质

Also Published As

Publication number Publication date
US10855928B2 (en) 2020-12-01
US20190238737A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
JP7071137B2 (ja) 電子機器およびその制御方法
US9215372B2 (en) Image device and imaging method
US10855928B2 (en) Image capture apparatus and control method thereof
JP4387183B2 (ja) デジタルカメラ
JP6752667B2 (ja) 画像処理装置と画像処理方法およびプログラム
JP2009044313A (ja) 撮像装置および制御方法
JP2015231118A (ja) 画像合成装置、画像合成システム及び画像合成方法
JP6003081B2 (ja) 撮像装置及び撮像方法
US8570394B1 (en) Systems, methods, and mediums for adjusting an exposure of an image using a histogram
JP2020010317A (ja) 撮像装置およびその制御方法、プログラム
JP6883971B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
US20140218600A1 (en) Image device and imaging method
JP6758950B2 (ja) 撮像装置、その制御方法とプログラム
JP2019057794A (ja) 撮像装置およびその制御方法、プログラムならびに記録媒体
JP2008118389A (ja) 撮像装置、画像処理装置、及び画像処理方法
JP2009027622A (ja) 露出量算出装置、撮像装置および露出量算出プログラム
JP2006333052A (ja) 露出調整装置
JP6335497B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP5747595B2 (ja) 露出制御装置及びカメラ
JP6765919B2 (ja) 画像処理装置、その制御方法、プログラム
US20190007593A1 (en) Image capturing apparatus, control method for the same, and storage medium
JP2020048139A (ja) 画像処理装置
JP7361557B2 (ja) 撮像装置および露出制御方法
JP2017034473A (ja) 撮影装置及びその制御方法
JP6789672B2 (ja) 撮像装置、その制御方法とプログラム