JP2013162272A - 撮像装置 - Google Patents

Abstract

【課題】撮像素子のフレームレートを高くしつつ、低輝度の被写体に対する測光精度を改善させた撮像装置を提供すること。
【解決手段】スルー画表示動作によって逐次得られる画像データにおいて信号レベルが平均化実施レベルを超える領域については現在のフレームのデータを用いて被写体輝度を算出し、信号レベルが平均化実施レベルを以下の領域については過去の複数フレームのデータを平均化したデータを用いて被写体輝度を算出する。
【選択図】図５

Description

本発明は、低輝度のシーンを撮影するのに好適な撮像装置に関する。

従来、デジタルカメラ等の撮像装置においては、撮影時やスルー画表示時における被写体の露出（明るさ）が適正になるように、絞りやシャッタスピード（露出時間）を制御することが行われている。このような露出制御を行うためには、被写体の明るさを測定する必要がある。このような明るさ測定は、一般的に測光と呼ばれている。この測光の一つの手法として、撮像素子を介して得られる画像データから明るさを算出する手法がある。近年、このような画像データを利用した測光をスルー画表示中や動画撮影中にも行うようにして、スルー画表示中や動画撮影中の露出をリアルタイムで制御しようという提案もなされている。

前述の画像データを利用した測光を高速化するための１つの手法として、撮像素子のフレームレートを上げることが考えられる。しかしながら、撮像素子のフレームレートを上げると短い時間間隔で画像データを取得することになるので、各フレームで得られる画像データの明るさが十分なものとならない可能性がある。この場合、低輝度の被写体の測光時にはノイズの影響が特に大きくなり、正しい測光結果が得られない可能性が生じる。

特許文献１においては、撮像素子の複数回の動作によって得られる連続した複数の画像データを被写体の輝度に応じた枚数分だけ加算することによって撮影画像データを得るようにしている。これにより、特許文献１では、撮像素子のフレームレートを上げつつ、低輝度被写体に露出を合わせた撮影画像データを得ることができる。

特開２００４−４８４２１号公報

特許文献１では、被写体が低輝度である場合に、複数の画像データを加算するようにしているが、低輝度被写体に対する測光の精度を改善する提案ではない。このため、被写体の輝度が非常に低い場合には加算する画像データの枚数等に誤差が生じる可能性がある。

本発明は、前記の事情に鑑みてなされたもので、撮像素子のフレームレートを高くしつつ、低輝度の被写体に対する測光精度を改善させた撮像装置を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、撮像により画像データを取得する撮像素子と、複数回の前記撮像を実行するように前記撮像素子を制御する撮像制御部と、前記画像データの輝度レベルが所定の低輝度レベルを超える領域に対しては前記複数回の撮像のうちの１回の撮像により取得された画像データに基づく第１の被写体輝度データを算出し、前記画像データの輝度レベルが前記所定の低輝度レベル以下の領域に対しては複数回の前記撮像により取得された複数の画像データを平均化処理した画像データに基づく第２の被写体輝度データを算出する測光部と、を具備することを特徴とする。

また、前記の目的を達成するために、本発明の第２の態様の撮像装置は、撮像により画像データを取得する撮像素子と、複数回の前記撮像を実行するように前記撮像素子を制御する撮像制御部と、前記複数回の撮像のうちの１回の撮像により取得された画像データから被写体輝度データを算出し、該算出された被写体輝度データの所定の低輝度レベルを超える領域に対しては前記１回の撮像により取得された画像データから算出された前記被写体輝度データを用い、前記算出された被写体輝度データの前記所定の低輝度レベル以下の領域に対しては複数回の前記撮像により取得された複数の画像データから算出された被写体輝度データを平均化処理した被写体輝度データを用いる測光部と、を具備することを特徴とする。

本発明によれば、撮像素子のフレームレートを高くしつつ、低輝度の被写体に対する測光精度を改善させた撮像装置を提供することができる。

本発明の一実施形態に係る撮像装置の構成を示す図である。 本発明の一実施形態に係る撮像装置の動作を示すフローチャートである。 明暗の差の大きいシーンにおける画像信号の分布の例を示した図である。 平均化処理及びゲイン調整処理について示す図である。 測光エリアについて示す図である。 測光処理１について示すフローチャートである。 測光処理１の輝度変化に対する追従性について示す図である。 画像合成について示す図である。 撮像素子の撮像動作について示すタイミングチャートである。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る撮像装置の構成を示す図である。図１は、本発明の一実施形態に係る撮像装置をレンズ交換式のデジタルカメラに適用した場合の構成例である。したがって、撮像装置１は、交換レンズ１００と、本体２００と、を有している。撮像装置１は、レンズ交換式でなくとも良い。

交換レンズ１００は、撮影レンズ１０２と、レンズ駆動部１０４と、レンズ位置検出部１０６と、絞り１０８と、絞り駆動部１１０と、レンズ情報記憶部１１２と、レンズ制御部１１４と、通信部１１６と、を有している。

撮影レンズ１０２は、フォーカスレンズ１０２ａ及びズームレンズ１０２ｂ等の複数のレンズを有するレンズ群である。この撮影レンズ１０２は、図示しない被写体からの光を、本体２００に設けられた撮像素子に結像させる。フォーカスレンズ１０２ａは、撮影レンズ１０２のピント調節のためのレンズであり、ズームレンズ１０２ｂは、撮影レンズ１０２の画角調節のためのレンズである。

レンズ駆動部１０４は、レンズ制御部１１４による制御に従って撮影レンズ１０２のフォーカスレンズ１０２ａやズームレンズ１０２ｂを駆動する。このレンズ駆動部１０４は、撮影レンズ１０２に含まれるそれぞれのレンズを駆動するためのモータと、これらのモータを駆動する駆動回路と、を有している。レンズ位置検出部１０６は、フォーカスレンズ１０２ａ及びズームレンズ１０２ｂの駆動位置を検出する。レンズ位置検出部１０６は、例えばエンコーダにより構成されている。

絞り１０８は、開閉自在に構成されており、撮影レンズ１０２を介して撮像素子に結像される光の量を調節する。絞り１０８の開口量によって、撮像素子に結像される被写体の像のボケ具合も調節される。

絞り駆動部１１０は、レンズ制御部１１４による制御に従って絞り１０８を駆動する。この絞り駆動部１１０は、絞りを駆動するためのモータと、その駆動回路と、を有している。

レンズ情報記憶部１１２は、撮影レンズ１０２の焦点距離、Ｆナンバー、収差情報といった撮影レンズ１０２のレンズ情報を記憶している。

レンズ制御部１１４は、通信部１１６を介して本体２００の制御部２１６と通信自在に接続されている。レンズ制御部１１４は、制御部２１６の制御に従って、レンズ駆動部１０４及び絞り駆動部１１０を制御する。また、レンズ制御部１１４は、ＡＦ動作の時等において、レンズ位置検出部１０６で検出されたフォーカスレンズ１０２ａの位置やレンズ情報記憶部１１２に記憶されているレンズ情報を、通信部１１６を介して本体２００に送信することも行う。

通信部１１６は、レンズ制御部１１４と制御部２１６との通信のための交換レンズ１００側のインターフェイスである。

また、本体２００は、撮像素子２０２と、ゲイン調整部２０３と、Ａ/Ｄ変換部２０４と、画像処理部２０６と、表示部２０８と、記録部２１０と、操作部２１２と、タッチ操作部２１４と、制御部２１６と、通信部２１８と、を有している。

撮像素子２０２は、撮像素子を有している。撮像素子は、画素としての光電変換素子が２次元状に配置された受光面を有して構成されている。それぞれの画素は、撮影レンズ１０２を介して結像された被写体の像を電気信号（画像信号）に変換する。撮像素子の撮像動作は、撮像制御部としての機能を有する制御部２１６によって制御される。

ゲイン調整部２０３は、撮像素子２０２で得られた画像信号を、ユーザによって設定された撮像素子感度（ＩＳＯ感度）に応じたゲイン値に従って増幅する。このゲイン値は、制御部２１６から指示される。Ａ／Ｄ変換部２０４は、ゲイン調整部２０３でゲイン調整された画像信号を、デジタル信号としての画像データに変換する。

画像処理部２０６は、画像データに対して画像処理を施す。画像処理部２０６が施す画像処理は、ホワイトバランス補正処理及びγ補正処理等の画像データに対応した画像を表示部２０８に表示させたり記録したりするために必要な各種の処理、並びに圧縮処理、伸張処理等が含まれる。また、画像処理部２０６は、画像合成部を有している。画像合成部は、後述の撮影時において複数の露出条件で撮像素子２０２を介して得られた複数の画像データを合成する。

表示部２０８は、画像処理部２０６によって処理された画像データに基づく画像等の各種の画像を表示する。表示部２０８は、例えば液晶ディスプレイで構成されている。

記録部２１０は、画像処理部２０６によって圧縮処理された画像データから生成される画像ファイルが記録される。記録部２１０は、例えば本体２００に着脱自在なメモリカードで構成されている。記録部２１０を本体２００に内蔵させるようにしても良い。

操作部２１２は、ユーザが撮像装置１の各種の操作を行うための複数の操作部材を有して構成されている。操作部材としては、レリーズボタン、モードダイアル、電源ボタン等が含まれる。レリーズボタンは、ユーザが本体２００に対して撮影開始の指示をするための操作部材である。モードダイアルは、ユーザが本体２００に対して動作モードの設定の指示をするための操作部材である。電源ボタンは、ユーザが本体２００に対して電源のオン又はオフを指示するための操作部材である。

タッチ操作部２１４は、例えば表示部２０８の表示画面の上に形成されている。タッチ操作部２１４は、例えば静電容量式のタッチ操作部であり、ユーザの指等の表示部２０８の表示画面への接触があった場合に、その接触位置を検出する。このタッチ操作部２１４により、ユーザによるタッチ操作を検出する。

制御部２１６は、本体２００の各ブロックの動作を制御する。例えば、制御部２１６は、レンズ制御部１１４を制御して撮影レンズ１０２のオートフォーカス（以下、ＡＦと言う）動作を制御する。ＡＦの方式としては、例えば、周知のコントラスト方式を用いることができる。また、制御部２１６は、撮像素子２０２の撮像動作を制御する。また、制御部２１６は、表示部２０８の表示動作を制御する。また、制御部２１６は、画像データから画像ファイルを生成し、生成した画像ファイルを記録部２１０に記録することも行う。この他、制御部２１６は、操作識別部としての機能も有し、ユーザによって操作部２１２又はタッチ操作部２１４が操作された場合には、その操作の内容を識別することも行う。さらに、制御部２１６は、測光部としての機能も有し、撮像素子２０２を介して得られる画像データから被写体輝度データを算出することも行う。また、制御部２１６は、記憶部を有し、撮像素子２０２を介して得られた画像データ等の各種の情報を一時的に保持する。

通信部２１８は、レンズ制御部１１４と制御部２１６との通信のための本体２００側のインターフェイスである。

次に、図１に示した撮像装置の動作について説明する。図２は、本実施形態に係る撮像装置１の動作を示すフローチャートである。ここで、図２の動作は、制御部２１６が主体となって行われる。
例えば撮像装置１の電源がオンされる等して図２の動作が開始される。図２の動作の開始後、制御部２１６は、撮像装置１の動作モードが撮影モードであるか否かを判定する（ステップＳ１００）。本実施形態では、撮像装置１が撮影モードと再生モードとを動作モードとして少なくとも有している。撮影モードは、記録用の画像を得るためのモードである。一方、再生モードは、記録された画像を再生するためのモードである。

ステップＳ１００において、撮像装置１の動作モードが撮影モードであると判定した場合に、制御部２１６は、撮像素子２０２を動作させてスルー画表示用の画像データの取り込みを行う（ステップＳ１０１）。撮像素子２０２を介して得られた画像信号は、ゲイン調整部２０３において増幅され、Ａ/Ｄ変換部２０４においてデジタル信号に変換された後で記憶部に記憶される。

スルー画表示用の画像データの取り込み後、制御部２１６は、取り込んだ画像データの中に、所定の信号レベルよりも高輝度の画素があるか否かを判定する（ステップＳ１０２）。この所定の信号レベルは、例えば撮像素子２０２の飽和レベルである。

ステップＳ１０２において、画像データの中に高輝度画素があると判定した場合に、制御部２１６は、高輝度画素のゲイン調整を行う（ステップＳ１０３）。その後、制御部２１６は、処理をステップＳ１０４に移行させる。なお、ゲイン調整については後述する。また、ステップＳ１０２において、画像データの中に高輝度画素がないと判定した場合に、制御部２１６は、ステップＳ１０３の処理をスキップして処理をステップＳ１０４に移行させる。

ステップＳ１０２又はステップＳ１０３の後、制御部２１６は、記憶部に取り込んだ画像データを用いて測光処理１を行って露出量を決定する（ステップＳ１０４）。この測光処理１については後述する。

測光処理１の後、制御部２１６は、スルー画表示動作を行う（ステップＳ１０５）。スルー画表示動作として、制御部２１６は、記憶部に記憶させた画像データを画像処理部２０６に入力する。そして、制御部２１６は、画像処理部２０６において表示用の画像処理がなされた画像データを表示部２０８に入力することにより、撮像素子２０２を介して得られる画像データに対応した画像を表示部２０８に表示させる。このようなスルー画表示動作によって表示部２０８に表示された画像により、ユーザは、撮影構図等を確認することが可能である。

スルー画表示動作の後、制御部２１６は、ユーザにより、撮影指示がなされたか否かを判定する（ステップＳ１０６）。ここでは、例えばレリーズボタンが押された場合に撮影指示がなされたと判定する。

ステップＳ１０６において、撮影指示がなされたと判定した場合に、制御部２１６は、撮影レンズ１０２のピント合わせを行う（ステップＳ１０７）。ピント合わせの方式は、例えば山登り方式を用いることができる。山登り方式においては、山登りＡＦ用の撮像動作に伴って取得される画像データから、画像のコントラストを評価するための評価値を演算し、この演算した評価値が最大となるようにフォーカスレンズ１０２ａを駆動することによって、撮影レンズ１０２のピント合わせを行う。

ピント合わせの後、制御部２１６は、測光処理２を行って露出量を決定する（ステップＳ１０８）。測光処理２は、画像データにおける高輝度部分の被写体に対する露出量を主に決定するための処理である。測光処理２において、制御部２１６は、撮像素子２０２を動作させ、撮像素子２０２からＡ／Ｄ変換部２０４を介して得られた画像データから被写体輝度データ（第１の被写体輝度データ）を演算する。

測光処理２の後、制御部２１６は、測光処理２の結果を用いた撮影動作を行う（ステップＳ１０９）。この撮影動作において、制御部２１６は、測光処理２の結果として得られた被写体輝度データに基づいて、画像データにおける高輝度被写体の部分の露出量が予め定められた適正露出量になるように、絞り１０８の絞り値並びに撮像素子２０２の露出時間及び感度を決定する。そして、制御部２１６は、決定した露出量が得られるように、レンズ制御部１１４に対して絞り１０８の駆動を指示するとともに、撮像素子２０２による撮像動作を実行させる。そして、制御部２１６は、撮像素子２０２を介して得られた画像データを画像処理部２０６に入力する。その後、制御部２１６は、画像処理部２０６において記録用の画像処理がなされた画像データを、画像ファイルとして記録部２１０に記録する。ここで、以後の説明においては、測光処理２の結果を用いた撮影動作によって得られた画像データを、明部撮影画像データと言う。

測光処理２の結果を用いた撮影動作の後、制御部２１６は、測光処理１の結果を用いた撮影動作を行う（ステップＳ１１０）。この撮影動作において、制御部２１６は、後述する測光処理１の結果として得られる被写体輝度データに基づいて、画像データにおける低輝度被写体の部分の露出量が予め定められた適正露出量になるように、絞り１０８の絞り値並びに撮像素子２０２の露出時間及び感度を決定する。そして、制御部２１６は、決定した露出量が得られるように、レンズ制御部１１４に対して絞り１０８の駆動を指示するとともに、撮像素子２０２による撮像動作を実行させる。そして、制御部２１６は、撮像素子２０２を介して得られた画像データを画像処理部２０６に入力する。その後、制御部２１６は、画像処理部２０６において記録用の画像処理がなされた画像データを、画像ファイルとして記録部２１０に記録する。ここで、以後の説明においては、測光処理１の結果を用いた撮影動作によって得られた画像データを、暗部撮影画像データと言う。

測光処理１の結果を用いた撮影動作の後、制御部２１６は、先の２回の撮影動作の結果として得られたそれぞれの画像ファイルから明部撮影画像データ及び暗撮影画像データを読み出して画像処理部２０６に入力する。画像処理部２０６は、入力された２つの画像データを合成して合成画像データを生成する。そして、制御部２１６は、合成画像データを画像ファイルとして記録部２１０に記録する（ステップＳ１１１）。合成の際には、シーン中の各被写体の露出が適正となるようにする。即ち、低輝度被写体の部分には暗部撮影画像データを合成し、高輝度被写体の部分には明部撮影画像データを合成する。低輝度でも高輝度でもない部分については何れの画像データを合成しても良い。この合成については後でさらに説明する。

続いて、制御部２１６は、撮像装置１の動作を終了するか否かを判定する（ステップＳ１１２）。例えば、撮像装置１の電源がオフされた場合や所定時間の無操作状態が継続した場合に、撮像装置１の動作を終了することとする。ステップＳ１１２において、撮像装置１の動作を終了しないと判定した場合に、制御部２１６は、処理をステップＳ１００に戻す。一方、ステップＳ１１２において、撮像装置１の動作を終了すると判定した場合に、制御部２１６は、図２の動作を終了させる。

また、ステップＳ１００の判定において、撮像装置１の動作モードが撮影モードでないと判定した場合に、制御部２１６は、撮像装置１の動作モードが再生モードであるか否かを判定する（ステップＳ１１３）。ステップＳ１１３において、撮像装置１の動作が再生モードでないと判定した場合に、制御部２１６は、処理をステップＳ１００に戻す。

ステップＳ１１３において、撮像装置１の動作が再生モードであると判定した場合に、制御部２１６は、暗部撮影画像データを表示部２０８に再生する（ステップＳ１１４）。この処理において、制御部２１６は、記録部２１０から暗部撮影画像データが記録された画像ファイルを読み出し、この画像ファイルに記録されている圧縮済みの暗部撮影画像データを画像処理部２０６に入力する。画像処理部２０６は、入力された圧縮画像データを伸張する。そして、制御部２１６は、伸張された暗部撮影画像データを表示部２０８に入力して表示部２０８に画像を表示させる。

暗部撮影画像データの再生後、制御部２１６は、タッチ操作部２１４の出力から、再生中の画像における明るい部分、例えばステップＳ１０３において高輝度と判定された部分やステップＳ１０９における撮影動作時に露出を合わせた部分にユーザの指等がタッチされたか否かを判定する（ステップＳ１１５）。

前述したように、暗部撮影画像データは、低輝度被写体に対して露出を合わせた画像データである。したがって、高輝度被写体に対応した部分は、飽和レベルに達して白く飛んでいる可能性がある。このような画像の明るい部分を確認したいと感じた場合に、ユーザは、暗部撮影画像データにおける明るい部分をタッチする。ステップＳ１１５において、明るい部分へのタッチがあったと判定した場合に、制御部２１６は、明部撮影画像データを表示部２０８に再生する（ステップＳ１１６）。

明部撮影画像データの再生後、制御部２１６は、タッチ操作部２１４の出力から、再生中の画像における暗い部分、例えば後述の測光処理１において低輝度と判定された部分にユーザの指等がタッチされたか否かを判定する（ステップＳ１１７）。

前述したように、明部撮影画像データは、高輝度被写体に対して露出を合わせた画像データである。したがって、低輝度被写体に対応した部分は、ノイズの影響を強く受けている可能性がある。このような画像の暗い部分を確認したいと感じた場合に、ユーザは、明部撮影画像データにおける暗い部分をタッチする。ステップＳ１１７において、暗い部分へのタッチがあったと判定した場合に、制御部２１６は、合成画像データを表示部２０８に再生する（ステップＳ１１８）。

前述したように、合成画像データは、低輝度被写体と高輝度被写体の何れに対しても露出が合っている画像データである。このような画像を再生することにより、ユーザは、シーンにおける低輝度部分と高輝度部分とを一度に且つ適正な露出状態で観察することが可能である。

ステップＳ１１５又はステップＳ１１７において、ユーザの指等のタッチがないと判定した場合に、制御部２１６は、処理をステップＳ１１２に移行させる。この場合には、画像の再生が継続される。

以下、図２の動作についてさらに説明する。本実施形態における撮像装置１の動作の例として、例えば図３に示すような明暗の差が大きいシーンを撮影するとする。このようなシーンとしては、例えば夜景シーンにおいてすすきのような高輝度の被写体を撮影するようなシーンが考えられる。

図３に示すようなシーンに対し、撮像素子２０２による撮像動作を実行したとする。このとき、例えば図３のＡ方向に沿った画像信号は、図３の下部のような分布となる。ここで、図３の縦軸に示す信号レベルは、画像信号の大きさを示す。

図３に示すように、ビルの照明の部分３０１は、ある程度の輝度を有しているので画像信号もある程度の信号レベルを有する。
これに対し、人物の部分３０２は、ビルの照明の部分３０１に対して低輝度であり、図３に示すように信号レベルがノイズレベル以下となる可能性もある。信号レベルがノイズレベルになると、例えば測光時には測光の結果がノイズの影響を大きく受けるので、測光精度が低下する。特に、ライブビュー動作中や動画撮影中等で撮像素子２０２を高いフレームレートで動作させると、撮像素子２０２の露出時間が不足して画像信号の信号レベルがノイズレベルとなり易い。

また、図３に示すすすきの部分３０３は、ビルの照明の部分３０１に対して高輝度であり、図３に示すように信号レベルが飽和レベルを超える可能性もある。信号レベルが飽和レベルとなると、本来の被写体の輝度よりも低い測光結果が得られることになる。結果として、すすきの部分３０３における測光精度が低下する。

本実施形態では、人物の部分３０２の測光精度を確保するための手法として、複数フレームの画像データを平均化することによってノイズを低減させる。一般に、ｍフレームの画像データを平均化することにより、ノイズ量をルート１/ｍにできることが知られている。ただし、本実施形態では、高輝度の部分についてはこのような平均化を行わない。これは、平均化を行った場合には輝度の時間変化に追従し難くなるためである。例えば、画像内のある部分の輝度が急激に低輝度から高輝度に変化したとき、その部分に対して平均化を行ってしまうと、高輝度のデータと低輝度のデータとが平均化されることになるので、現フレームの実際の輝度よりも低輝度のデータが得られてしまう。このような低輝度のデータを用いて露出を制御してしまうと大きな誤差が生じる。一方、低輝度の部分に対しては輝度の時間変化に多少追従できなくとも測光精度がそれほど劣化することはない。

以上を踏まえて、本実施形態においては、画像データにおける高輝度部分と低輝度部分とをそれぞれ検出し、低輝度部分については、図４に示すように複数フレームの画像データを加算して平均化する。一方、高輝度部分については、例えば図４に示すようにゲインを調整することによって画像信号が飽和しないようにする。このゲインの調整は、例えばゲイン調整部２０３において行う。

このように本実施形態では、画像データにおける高輝度部分と低輝度部分とで異なる処理を行うことにより、画像データにおける高輝度部分と低輝度部分との両方の測光精度を確保することが可能である。

以下、本実施形態における測光処理１について説明する。ここで、以下で説明する測光処理１においては、画像データを図５に示すようなｋ個（図５の例では１８×２０＝３６０個）の輝度エリアに分割し、それぞれの輝度エリア毎に被写体輝度を演算し、輝度エリア毎に演算した被写体輝度データを測光エリア毎に平均化することによって測光エリア毎の最終的な被写体輝度データ（第２の被写体輝度データ）を得る。ここで、図５においては、中央エリア４０１、中間エリア４０２、周辺エリア４０３の３個の測光エリアを設定している。このような測光エリアの設定は一例である。例えば、測光エリアを１個とし、全てのエリアの輝度データを平均するようにしても良い。また、測光方式として必ずしも平均測光を用いる必要もない。

図６は、測光処理１の処理を示すフローチャートである。ここで、測光処理１は、図２に示すように、スルー画表示用の画像データが取得される毎に実行される。図６において、制御部２１６は、パラメータｎを初期値１に設定する（ステップＳ２０１）。パラメータｎは、輝度エリアの番号を示すパラメータである。例えば、図５の左上の輝度エリアを番号１とし、その他の輝度エリアについては右方向、下方向の順で番号を順次割り当てる。

次に、制御部２１６は、ｎ番目の輝度エリアに対応した画像データを取得する（ステップＳ２０２）。その後、制御部２１６は、全て（ｋ個）の輝度エリアに対する被写体輝度データの算出が完了したか否かを判定する（ステップＳ２０３）。

ステップＳ２０３において、全ての輝度エリアに対する被写体輝度データの算出が完了していないと判定した場合に、制御部２１６は、ｎ番目の輝度エリアが低輝度エリアであるか否かを判定する（ステップＳ２０４）。例えば信号レベル（Ａ/Ｄ変換後の画像信号の値）が所定の平均化実施レベル以下の画素が輝度エリア内に存在する場合や輝度エリアの平均の信号レベルが平均化実施レベル以下の場合に低輝度エリアであると判定する。ここで、平均化実施レベルは、後述の低輝度限界に応じて設定する。

ステップＳ２０４において、低輝度エリアであると判定した場合に、制御部２１６は、平均化処理を実施する（ステップＳ２０５）。また、ステップＳ２０４において、低輝度エリアでないと判定した場合に、制御部２１６は、ステップＳ２０５の処理をスキップして処理をステップＳ２０６に移行させる。

平均化処理は、輝度エリア内の各画素のデータを平均化する処理である。ここで、ｍフレーム目のｎ番目の輝度エリアにおける任意の画素のデータの平均化処理の例を（式１）に示す。実際の平均化処理は、（式１）と同様の演算を輝度エリア内の各画素に対して行う。

Dave(m)＝（Dave(m-1)＋D（m））/2 （式１）
ここで、Dave(m)は、平均化処理の実施後のｍフレームの画素のデータを示す。また、Dave(m-1)は、（ｍ−１）フレームにおける平均化処理の実施後のデータである。さらに、D(m)は、平均化処理の実施前のｍフレームの画素のデータを示す。

（式１）の平均化処理は、一例であって適宜変更可能である。例えば、（式１）は、過去１フレームの画像データとの加算平均によって平均化処理を実施している。これに対し、過去１フレームの画像データとの加重平均によって平均化処理を実施しても良い。この場合の平均化処理の例を（式２）に示す。

Dave(m)＝Dave(m-1)×(1−(1/m))＋D(m)×(1/m) （式２）
さらに、図６の例は、１フレームの画像データを取り込む毎に平均化処理を実施する例であるが、複数フレーム（例えば８フレーム）の画像データを取り込んだ後で平均化処理を実施するようにしても良い。

ステップＳ２０４又はステップＳ２０５の後、制御部２１６は、輝度エリア内の低輝度限界を選択する（ステップＳ２０６）。
低輝度限界とは、次のフレームにおける平均化実施レベルを設定するための画像データの信号レベルであり、所定の低輝度レベルである。この低輝度限界は、前述したノイズレベルに対応している。そして、ノイズレベルは、撮像素子２０２の低輝度ダイナミックレンジに応じて決定される。低輝度ダイナミックレンジは、Ａ/Ｄ変換部２０４のダイナミックレンジ（Ａ/Ｄ変換部２０４がＡ/Ｄ変換可能な画像信号の信号レベルの範囲）のうち、適正露出レベルよりも低いレンジのことである。ただし、実際には、低輝度の被写体に対応した画像信号は、仮にＡ/Ｄ変換が可能であったとしても非常にＳ／Ｎの悪い状態となっており、このような画像信号をそのまま用いて被写体輝度データを演算すると、測光精度の低下につながる。したがって、本実施形態ではある低輝度限界を平均化実施レベルと定めてこの平均化実施レベル以下の信号レベルの画像データに対しては平均化処理を実施するようにする。例えば、通常の低輝度限界を飽和レベルの１％程度に設定しておく。実際には、ノイズの大きさは、撮像素子２０２の感度設定（ゲイン調整部２０３のゲイン設定）等によっても変化する。したがって、種々の条件に応じて低輝度限界を選択することによって、シーンに応じて適応的に測光処理を行えるようにする。

次に、制御部２１６は、ｎ番目の輝度エリアにおける被写体輝度データを演算する（ステップＳ２０７）。ｎ番目の輝度エリアにおける被写体輝度データの演算後、制御部２１６は、ｎに１を加える（ステップＳ２０８）。その後、制御部２１６は、処理をステップＳ２０２に移行させて次の番号の輝度エリアに対して前述したのと同様の処理を行う。

そして、ステップＳ２０３において、全ての輝度エリアに対する被写体輝度データの算出が完了したと判定した場合に、制御部２１６は、ｍフレームの各輝度エリアにおいて得られた被写体輝度データの平均値を、前述の測光エリア毎に演算する（ステップＳ２０４）。その後、制御部２１６は、図６に示す処理を終了させて図２のステップＳ１０６の判定を行う。

図６のような測光処理１では、現在フレームにおいて得られた画像データの信号レベルが平均化実施レベル以下の場合には現在フレームを含めた複数フレームの画像データを用いた平均化処理によって輝度エリア内の各画素のデータを平均化してから、被写体輝度データを算出している。これにより、画像データにおけるノイズの低減を図って低輝度被写体に対する測光精度を向上させることが可能である。一方、現在フレームにおいて得られた画像データの信号レベルが平均化実施レベルを超えた場合にはステップＳ２０５の処理がスキップされる。この場合には、現在フレームの画像データのみを用いて被写体輝度データを算出している。これにより、図７に示すように、被写体輝度の変化に即座に追従して測光を行うことが可能であり、高輝度被写体に対する測光精度も維持することが可能である。したがって、測光処理１では、撮像素子２０２のフレームレートが高くなったとしても、低輝度被写体及び高輝度被写体の両方の測光精度を確保することが可能である。このため、特にスルー画表示時の測光処理や動画撮影時の測光処理に好適である。

図８は、画像合成について示す図である。
前述したステップＳ１０９においては、測光処理２の結果に基づいて撮影動作が行われる。図２にも示すように、測光処理２は、測光処理２の結果を用いた撮影動作の直前に行われるものである。このようにして撮影動作の直前に得られた最新の画像データを用いて測光処理を行うことにより、測光処理から実際の撮影動作までのタイムラグを最小とすることが可能である。これにより、測光処理から撮影動作までの被写体輝度データの変化を最小とすることができる。この測光処理２は、高輝度の被写体に対する測光精度を測光処理１よりも向上させることが可能である。ここで、図２の例では、撮影動作の直前に得られた最新の画像データを用いて測光処理２を行うようにしているが、撮像素子２０２のフレームレートが十分に高ければ、被写体輝度データの変化も小さくなる。したがって、この場合には必ずしも最新の画像データを用いて測光処理２を行う必要はない。

一方、ステップＳ１１０においては、測光処理１の結果に基づいて撮影動作が行われる。前述したように、測光処理１は、画像データにおける低輝度部分については複数のフレームの画像データを平均化処理してから被写体輝度データを演算している。したがって、測光処理１は、低輝度の被写体に対する測光精度を測光処理２よりも向上させることが可能である。

画像合成においては、明部撮影画像データにおいて露出を合わせている高輝度被写体の部分（図８のすすきの部分）と暗部撮影画像データにおいて露出を合わせている低輝度被写体の部分（図８の人物の部分）とを合成して１つの画像データを得る。このようにして画像合成を行うことにより、高輝度被写体と低輝度被写体の両方の露出が適正な、広ダイナミックレンジの画像データを得ることが可能である。

ここで、明部撮影画像データの撮影動作と暗部撮影画像データの撮影動作との間に被写体の移動等がある可能性がある。したがって、明部撮影画像データと暗部撮影画像データとの間の被写体の動きを例えば周知の動きベクトル検出によって検出し、被写体の動きが検出された場合にはその動き量だけ明部撮影画像データと暗部撮影画像データとの何れかをシフトさせてから合成することが望ましい。

図９（ａ）は、図２のフローチャートの処理中の撮像素子２０２の動作について示したタイミングチャートである。図９（ａ）に示すように、電源オン等によって図２の処理が開始されると、予め定められたフレームレートに従って撮像素子２０２によるスルー画表示用の撮像動作が行われる。このスルー画表示用の撮像動作によって得られた画像データを用いて低輝度被写体の測光に適した測光処理１も行われる。そして、測光処理１の結果に従って次フレームにおけるスルー画表示用の画像データにおける露出が制御される。また、この測光処理１の結果は、後述の暗い部分の撮影用の測光結果としても使用される。

その後、ユーザによって撮影開始が指示されると、例えば山登り方式のＡＦが行われる。図９（ａ）に示すように、山登りＡＦ時の撮像動作におけるフレームレートは、スルー画表示用の撮像動作におけるフレームレートと異ならせて良い。フォーカスレンズ１０２ａの位置が、山登りＡＦ時の撮像動作に伴って逐次取得される画像データから評価値が算出され、評価値の最大値が検出されたとき（評価値が増加から減少に転じたとき）に、この評価値の最大値に対応した位置にフォーカスレンズ１０２ａが駆動される。

ピント合わせの後、測光処理２用の撮像動作が行わる。測光処理２用の撮像動作は、測光処理１と異なり、１回である。これは、被写体輝度の変化に対する追従性の向上と画像データの加算による飽和を防止するためである。

測光処理２の後、測光処理２の結果を用いて、シーンにおける高輝度被写体に対して露出を合わせた撮影動作が実行される。この撮影動作に続いて、測光処理１の結果を用いて、シーンにおける低輝度被写体に対して露出を合わせた撮影動作が実行される。図９（ａ）に示すように、この２回の撮影動作は、露出時間が異なっている。これは、低輝度被写体の露出を適正にするためには高輝度被写体に比べて露出時間を長くする必要があるためである。

以上説明したように、本実施形態では、スルー画表示動作によって得られた画像データを用いて測光処理１を行うことが可能である。また、スルー画表示動作時のフレームレートが高速で各画像データの露出時間が短くなっても複数フレームの画像データを平均化処理することによって測光処理１を行う際の画像データのノイズの低減を図ることが可能である。さらに、測光処理１は、低輝度でない測光エリアについては平均化処理を行わないようにしているので、例えばスルー画表示動作中に低輝度被写体の部分に露出を合わせたとしても高輝度被写体の部分が白く飛んでしまうようなことがない。

［変形例］
以下、本実施形態の変形例について説明する。図２及び図９（ａ）に示した例では、測光処理１を、撮影開始指示の前に行う例を示している。これに対し、低輝度被写体に対する輝度の追従性も重視して、図９（ｂ）に示すように、測光処理１をＡＦ動作の後に行うようにしても良い。測光処理１をＡＦ動作の後に行う場合、測光処理１用の最後の撮像動作で得られた画像データを測光処理２にも利用することができる。勿論、測光処理２用の画像データを別途に取得しても良い。

また、図２で示した例では、画像データを平均化してから被写体輝度データを算出するようにしている。これに対し、現在のフレームの画像データを用いて被写体輝度データを算出してから、この被写体輝度データが平均化実施レベル以下か否かを判定し、平均化実施レベル以下の場合に、現在のフレームの被写体輝度データと過去のフレームの被写体輝度データとに対して平均化処理を実施するようにしても良い。この場合、ステップＳ２０７の輝度演算処理をステップＳ２０３の後に行うようにすればよい。

また、本実施形態における測光処理１は、スルー画表示動作中の測光処理の他に、動画撮影時や連写時の測光処理にも適用することが可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…撮像装置、１００…交換レンズ、１０２…撮影レンズ、１０２ａ…フォーカスレンズ、１０２ｂ…ズームレンズ、１０４…レンズ駆動部、１０６…レンズ位置検出部、１０８…絞り、１１０…絞り駆動部、１１２…レンズ情報記憶部、１１４…レンズ制御部、１１６…通信部、２００…本体、２０２…撮像素子、２０３…ゲイン調整部、２０４…Ａ/Ｄ変換部、２０６…画像処理部、２０８…表示部、２１０…記録部、２１２…操作部、２１４…タッチ操作部、２１６…制御部、２１８…通信部

Claims (7)

1. 撮像により画像データを取得する撮像素子と、
   複数回の前記撮像を実行するように前記撮像素子を制御する撮像制御部と、
   前記画像データの輝度レベルが所定の低輝度レベルを超える領域に対しては前記複数回の撮像のうちの１回の撮像により取得された画像データに基づく第１の被写体輝度データを算出し、前記画像データの輝度レベルが前記所定の低輝度レベル以下の領域に対しては複数回の前記撮像により取得された複数の画像データを平均化処理した画像データに基づく第２の被写体輝度データを算出する測光部と、
   を具備することを特徴とする撮像装置。
2. 前記撮像制御部は、複数回の前記撮像の前に前記撮像素子のピント合わせを行うことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像制御部は、前記１回の撮像の前に前記撮像素子のピント合わせを行うことを特徴とする請求項１に記載の撮像装置。
4. 前記撮像制御部は、前記第１の被写体輝度データに基づいて前記画像データの輝度レベルが前記所定の低輝度レベル以上の領域に対して前記撮像素子の露出を合わせた第１の撮像と、前記第２の被写体輝度データに基づいて前記画像データの輝度レベルが前記所定の低輝度レベル未満の領域に対して前記撮像素子の露出を合わせた第２の撮像と、をさらに実行するように前記撮像素子を制御し、
   前記第１の撮像により得られた画像データと前記第２の撮像により得られた画像とを合成する画像合成部をさらに具備することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記測光部の動作に先立ち、画像データの輝度レベルが所定の高輝度レベルを超える領域に対して、輝度レベルが前記所定の高輝度レベル以下となるようにゲイン調整するゲイン調整部をさらに具備することを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 前記複数回の撮像は、スルー画表示動作用の撮像に含まれることを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
7. 撮像により画像データを取得する撮像素子と、
   複数回の前記撮像を実行するように前記撮像素子を制御する撮像制御部と、
   前記複数回の撮像のうちの１回の撮像により取得された画像データから被写体輝度データを算出し、該算出された被写体輝度データの所定の低輝度レベルを超える領域に対しては前記１回の撮像により取得された画像データから算出された前記被写体輝度データを用い、前記算出された被写体輝度データの前記所定の低輝度レベル以下の領域に対しては複数回の前記撮像により取得された複数の画像データから算出された被写体輝度データを平均化処理した被写体輝度データを用いる測光部と、
   を具備することを特徴とする撮像装置。

Images