JP2012230260A

JP2012230260A - 撮像装置及び制御方法

Info

Publication number: JP2012230260A
Application number: JP2011098590A
Authority: JP
Inventors: Yuichi Ariga; 雄一有賀
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-04-26
Filing date: 2011-04-26
Publication date: 2012-11-22

Abstract

【課題】測光可能範囲を拡大でき、かつ、露出制御に用いるデータに基づいて被写体追尾を行う場合に精度よく被写体追尾を行うことができるようにする。
【解決手段】前回の露出制御に用いる画像データの露光量と今回の露出制御に用いる画像データの露光量との差よりも、電荷蓄積手段による前回の第１の蓄積の露光量と今回の第１の蓄積の露光量との差が小さくなるように、今回の第１の蓄積の露光量を制御し、前回の露出制御に用いる画像データを得るための演算を行うときと今回の露出制御に用いる画像データを得るための演算を行うときとで、演算方法を変更する。
【選択図】図４

Description

本発明は、露出制御に用いるデータに基づいて被写体追尾を行う撮像装置に関する。

デジタルカメラやデジタルビデオカメラのような撮像装置に要求される測光可能範囲は、一般にＡＰＥＸ単位におけるＢｖ値で約−５〜＋１５である。すなわち測光可能範囲のダイナミックレンジは２０段程度である。一方、蓄積型の撮像素子による１回の蓄積で測光できるダイナミックレンジは２０段よりも小さい。

そこで、蓄積型の撮像素子を用い、同一シーンについて異なる露光量で複数回撮像した画像信号を合成することで、１回の蓄積（撮像）で実現できるダイナミックレンジよりも広いダイナミックレンジを有する画像を生成する技術が知られている。このような技術は、一般的にＨＤＲ（ハイダイナミックレンジ）合成と呼ばれている。

また、同様の考え方で、蓄積型の受光素子を用いる測光装置の測光可能範囲を拡大することも提案されている。例えば、特許文献１では、蓄積型の受光素子を用いた測光装置において、電荷蓄積時間を長くした測光と、電荷蓄積時間を短くした測光とを交互に行い、被写界内の輝度差が非常に大きい場合でも低輝度部分から高輝度部分までの測光値を得ている。

また、従来、撮像画面内で主要被写体がどこにあるかを認識し、その位置を自動的に追尾する、いわゆる、被写体追尾機能を有する撮像装置が知られている。この被写体追尾機能を用いることで、動きのある主要被写体に対して連続的に自動焦点調節制御（ＡＦ制御）や露出制御（ＡＥ制御）を行うことが可能となる。

このような被写体追尾機能を有する撮像装置の一例として、一眼レフカメラのような、撮像素子とは別に測光に用いる測光部を有する撮像装置において、測光部から出力される測光データに基づいて被写体追尾を行うものが特許文献２に記載されている。

特開平６−１３０４６２号公報特開平７−１１０４２９号公報

しかしながら、特許文献２に記載された撮像装置のように、測光部から出力される測光データに基づいて被写体追尾を行う構成において、特許文献１に記載されたようにして測光可能範囲を拡大しようとした場合、以下のような問題が生じてしまう。

測光可能範囲を拡大するために、電荷蓄積時間を長くした測光と短くした測光とを交互に行うことによって、被写体追尾処理において２つの測光データを相関演算する場合に、２つの測光データが示すそれぞれの輝度値が大きく異なってしまう。そのため、相関演算の精度が低下してしまい、被写体追尾ができなかったり被写体追尾の精度が低下したりしてしまう。

そこで、本発明は、測光可能範囲を拡大でき、かつ、露出制御に用いるデータに基づいて被写体追尾を行う場合に精度よく被写体追尾を行うことができるようにすることを目的とする。

上記目的を達成するために、本発明に係る撮像装置は、撮像した被写体像に応じた電荷の蓄積を行う電荷蓄積手段と、露出制御を行う露出制御手段と、前記電荷蓄積手段により第１の蓄積を行って得られた画像データと第２の蓄積を行って得られた画像データとに基づいて、前記露出制御手段による露出制御に用いる画像データを演算する演算手段と、前記第１の蓄積を行って得られた画像データに基づいて、所定の条件を満たす対象の追尾を行う追尾手段と、前回の露出制御に用いる画像データの露光量と今回の露出制御に用いる画像データの露光量とが異なるように、前記第１及び第２の蓄積を行う際の露光量を制御する制御手段と、を有し、前記制御手段は、前回の露出制御に用いる画像データの露光量と今回の露出制御に用いる画像データの露光量との差よりも、前回の前記第１の蓄積の露光量と今回の前記第１の蓄積の露光量との差が小さくなるように、今回の前記第１の蓄積の露光量を制御し、前記演算手段は、前回の露出制御に用いる画像データを得るための演算を行うときと今回の露出制御に用いる画像データを得るための演算を行うときとで、演算方法を変更することを特徴とする。

また、上記目的を達成するために、本発明に係る撮像装置の制御方法は、撮像した被写体像に応じた電荷の蓄積を行う電荷蓄積手段と、露出制御を行う露出制御手段と、を有する撮像装置の制御方法であって、前記電荷蓄積手段により第１の蓄積を行って得られた画像データと第２の蓄積を行って得られた画像データとに基づいて、前記露出制御手段による露出制御に用いる画像データを演算する演算ステップと、前記第１の蓄積を行って得られた画像データに基づいて、所定の条件を満たす対象の追尾を行う追尾ステップと、前回の露出制御に用いる画像データの露光量と今回の露出制御に用いる画像データの露光量とが異なるように、前記第１及び第２の蓄積を行う際の露光量を制御する制御ステップと、を有し、前記制御ステップは、前回の露出制御に用いる画像データの露光量と今回の露出制御に用いる画像データの露光量との差よりも、前回の前記第１の蓄積の露光量と今回の前記第１の蓄積の露光量との差が小さくなるように、今回の前記第１の蓄積の露光量を制御し、前記演算ステップは、前回の露出制御に用いる画像データを得るための演算を行うときと今回の露出制御に用いる画像データを得るための演算を行うときとで、演算方法を変更することを特徴とする。

本発明によれば、測光可能範囲を拡大でき、かつ、露出制御に用いるデータに基づいて被写体追尾を行う場合に精度よく被写体追尾を行うことができるようにすることを目的とする。

本発明の実施形態にかかる撮像装置の構成を示したブロック図。連写撮影シーケンスを示すタイミングチャート。ＡＥ処理及び追尾処理の詳細に示したタイミングチャート。ＡＥ処理及び追尾処理の詳細を示す図。データの並び替え処理を示す図。撮像素子Ｂ１１６の測光可能範囲を示す図。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態に係る撮像装置のブロック図であり、撮像装置は、カメラ本体１００と、カメラ本体１００に着脱可能な交換レンズであるレンズユニット２００とで構成される。

カメラ本体１００の構成について説明する。制御部１０１は、各種の演算処理と撮像装置の全体を統括的に制御する。

ミラー１０２はレンズユニット２００の撮影レンズ２０２を通った被写体像を、ファインダー使用時にはファインダーと露出制御用の電荷蓄積を行う撮像素子Ｂ１１６（第１の撮像素子）に導く。また、撮影時には跳ね上がり、被写体像を撮像素子Ａ（第２の撮像素子）１０６へと導く。以下では、ミラー１０２の状態について、撮影レンズ２０２を通った被写体像をファインダーと撮像素子Ｂ１１６に導く状態のことをダウン状態、撮影レンズ２０２を通った被写体像を撮像素子Ａ１０６に導く状態のことをアップ状態とする。また、ミラー１０２をダウン状態にするための動作をダウン動作、アップ状態にするための動作をアップ動作とする。ミラー駆動部１０３は、制御部１０１からの制御信号に従ってミラー１０２を駆動する。

シャッタ機構１０４はフォーカルプレーン型の先幕／後幕に相当するシャッタ幕を有していて、撮影レンズ２０２を通ってきた被写体像が撮像素子Ａ１０６に導かれる時間を制御する。シャッタ駆動部１０５は、制御部１０１からの制御信号に従ってシャッタ機構１０４の駆動を行う。

撮像素子Ａ１０６は撮影レンズ２０２により結像された被写像に応じた電荷の蓄積を行い撮像信号を出力する（固体）撮像素子であり、例えば、ＣＣＤセンサやＣＭＯＳセンサなどである。

撮像信号処理部Ａ１０７は、撮像素子Ａ１０６から出力される撮像信号の増幅処理や、アナログからデジタルへの変換を行うＡ／Ｄ変換処理、Ａ／Ｄ変換後の画像データに対するキズ補正等の各種の補正処理、或いは、画像データを圧縮する圧縮処理等を行う。タイミング発生部Ａ１０８は、撮像素子Ａ１０６と撮像信号処理部Ａ１０７に対して各種のタイミング信号を出力する。

メモリ部１０９は、撮像信号処理部Ａ１０７により処理された画像データ等を一時的に記憶し、また各種の調整値や制御部１０１による各種の制御を実行させるためのプログラムなどを記憶する。

記録媒体制御インターフェース（Ｉ／Ｆ）部１１０は、記録媒体１１１に対する画像データ等の記録処理又は記録媒体１１１から画像データ等の読み出し処理を行うためのものである。記録媒体１１１は、画像データ等の各種のデータを記録する半導体メモリ等からなる着脱可能な記録媒体である。

表示駆動部１１２は、制御部１０１からの制御信号に従って、撮影した静止画像や動画像等を表示する表示部１１３を駆動する。

外部インターフェース（Ｉ／Ｆ）部１１４は、コンピュータやプリンタなどの外部機器１１５と画像データ、制御信号等の情報のやりとりを行う。

撮像素子Ｂ１１６は、露出制御や光源検知に用いるデータを取得するための撮像素子であり、撮像した被写体像に応じた電荷の蓄積を行い撮像信号を出力する。本実施の形態では、ＲＧＢがストライプ配列のＣＣＤセンサを用いるものとする。なお、読み出し時間の短いセンサであればＣＭＯＳセンサを用いてもよい。

撮像信号処理部Ｂ１１７は、撮像素子Ｂ１１６から出力される撮像信号の増幅処理や、アナログからデジタルへの変換を行うＡ／Ｄ変換処理、Ａ／Ｄ変換後の画像データに対するキズ補正等の各種の補正処理、或いは、画像データを圧縮する圧縮処理等を行う。タイミング発生部Ｂ１１８は、撮像素子Ｂ１１６と撮像信号処理部Ｂ１１７に対して各種のタイミング信号を出力する。

ペンタプリズム１１９は、ミラー１０２で曲げられた光線を不図示のファインダと撮像素子Ｂ１１６へ導く。

焦点検出部１２１は、位相差方式により焦点検出を行うものであって、ミラー１０２を透過して反射された光線により１対の画像を取得する。制御部１０１は、この１対の画像のズレ量から被写体のデファーカス量を演算して撮影レンズ２０２の駆動量を求め、レンズ制御部２０１へ伝える。焦点検出駆動部１２０は、制御部１０１からの制御信号に従って焦点検出部１２１を駆動する。

次に、レンズユニット２００の構成について説明する。撮影レンズ２０２は被写体像を撮像素子Ａ１０６に結像させる。レンズ駆動部２０３は、焦点調節や変倍を行うために、レンズ制御部２０１からの制御信号に従って撮影レンズ２０２を駆動する。絞り機構２０４は撮影レンズ２０２を通った光束の光量を制御する。絞り駆動部２０５は、レンズ制御部２０１からの制御信号に従って絞り機構を駆動する。

カメラ本体１００とレンズユニット２００との間では、制御部１０１とレンズ制御部２０１が通信をしていて、送信／受信の管理を行っている。

図２は、本実施の形態の撮像装置の連写撮影シーケンスを示すタイミングチャートであり、連写撮影におけるＮフレーム目（Ｎ≧１）の本画像露光開始前からＮ＋２目フレームの本画像露光終了後まで示している。

連写撮影において、ダウン状態であったミラー１０２がアップ動作によりアップ状態となってから、ダウン動作が開始されるまでの間にＮフレーム目の本画像露光を行う。すなわち、本画像を得るために撮像素子Ａ１０６の蓄積を行う。

続いて、ミラー１０２のダウン動作が完了しダウン状態となってから次にアップ動作が開始されるまでの間に、露出制御処理（以下、ＡＥ処理とする）の蓄積・演算及び被写体追尾処理（以下、追尾処理とする）の蓄積・演算を行う。追尾処理とは、連続する複数の画像において、撮像画面内で所定の条件を満たす追尾対象（主被写体など）の輝度パターン及び色パターンの分布からその追尾対象がどこに移動したかを演算する処理である。なお、ここでの蓄積は撮像素子Ｂ１１６による蓄積である。

そして再び、ミラー１０２のアップ動作が完了しアップ状態となってから次にダウン動作が開始されるまでの間にＮ＋１フレーム目の本画像露光を行う。

この時、直前のダウン状態におけるＡＥ処理の蓄積・演算の結果に基づいて露出制御を行って本画像露光を行う。また、Ｎ＋１フレーム目の直前のダウン状態及びＮフレーム目の直前のダウン状態における追尾処理の蓄積・演算の結果に基づいて、Ｎフレーム目で焦点調節の対象とした主被写体領域を追尾するようにＮ＋１フレーム目の焦点調節処理を行う。

続いて再び、ミラー１０２のダウン動作が完了しダウン状態となってから次にアップ動作が開始されるまでの間に、ＡＥ処理の蓄積・演算及び追尾処理の蓄積・演算を行う。その後、ミラー１０２のアップ動作が完了しアップ状態となってから次にダウン動作が開始されるまでの間にＮ＋２フレーム目の本画像露光を行う。以降は上述のシーケンスが繰り返される。

次に、本画像撮影に関する処理について説明する。ミラー１０２のアップ状態において本画像露光、すなわち、撮像素子Ａ１０６の蓄積を行う。蓄積が完了すると、撮像信号処理部Ａ１０７は、蓄積された撮像信号の読み出しを行う。タイミングチャートに示すように、蓄積された撮像信号の読み出しは、次の本画像の蓄積が開始するまでに完了しなければならない。

撮像信号の読み出しが完了すると、撮像信号処理部Ａ１０７は、読み出した撮像信号に対して現像処理及び圧縮処理を行う。現像処理及び圧縮処理が完了すると、記録媒体制御インターフェース（Ｉ／Ｆ）部１１０は、記録処理を開始する。このようにして、各種処理が行われた画像データは記録媒体１１１に記録される。

上記では、本画像の蓄積から記録処理までを説明したが、図２に示すように、Ｎフレーム目の撮像信号に対する現像処理に並行して、撮像信号処理部Ａ１０７は、Ｎ＋１フレーム目の本画像露光により蓄積された撮像信号の読み出しを行う。また、撮像信号処理部Ａ１０７は、Ｎフレーム目の画像データに対する記録処理に並行してＮ＋１フレーム目の撮像信号に対する現像処理とＮ＋２フレーム目の本画像露光により蓄積された撮像信号の読み出しを行うなど、複数の処理を並行して行う。

図３は、図２にあるＡＥ処理及び追尾処理の詳細に示したタイミングチャートである。

ミラー１０２がダウン状態になると、撮像素子Ｂ１１６で追尾用の蓄積である蓄積１を行う。追尾処理は、追尾演算の結果を焦点調節に反映させるために、焦点調節処理のタイミングに基づいて設定される追尾リミットまでに完了しなければならない。そのため、この蓄積１は追尾演算に利用可能な信号を得ることができる最低限の蓄積時間となっている。

蓄積１が完了すると、撮像信号処理部Ｂ１１７は、蓄積１で蓄積された撮像信号の読み出しを行う。読み出しが完了すると、撮像信号処理部Ｂ１１７は追尾演算を行うために現像処理を行う。現像処理が完了すると、撮像信号処理部Ｂ１１７は追尾演算を行う。追尾演算ではＹＵＶと言われるデータ形式を用いるため、このＹＵＶ形式への変換を含む現像処理を行っている。このようにして得られた追尾演算の結果は次の本撮影のための焦点調節処理に用いられる。

また、蓄積１が完了すると、蓄積１で蓄積された撮像信号の読み出しを行っているときに、撮像素子Ｂ１１６はＡＥ用の蓄積である蓄積２を行う。蓄積２が完了すると、撮像信号処理部Ｂ１１７は蓄積２で蓄積された撮像信号の読出しを行い、蓄積１で蓄積された撮像信号に基づく画像データ（第１の画像データ）と蓄積２で蓄積された撮像信号に基づく画像データ（第２の画像データ）との加算演算を行う。

蓄積１及び蓄積２で蓄積された撮像信号に基づく画像データの加算演算を行うことにより、蓄積１の蓄積時間と蓄積２の蓄積時間とを合計した蓄積時間で蓄積を行った場合の画像データと略等しい画像データが得られる。

このように加算演算を行って得られた画像データは、蓄積１あるいは蓄積２で蓄積された撮像信号に基づく画像データよりも長い蓄積時間で蓄積された撮像信号に基づく画像データに相当する。そのため、蓄積１あるいは蓄積２で蓄積された撮像信号に基づく画像データよりも蛍光灯下等でのフリッカ光源の影響が軽減され、蓄積１あるいは蓄積２で蓄積された撮像信号に基づく画像データを用いて露出制御を行う場合より正確に露出制御を行うことができる。

読み出し及び加算演算が完了すると、撮像信号処理部Ｂ１１７は、加算演算をした画像データを撮像画面に対応させて複数領域に分割してそれぞれの領域で積分動作を行い、各領域の積分データを算出する。そして、撮像信号処理部Ｂ１１７はこの積分結果を用いてＡＥ演算を行う。撮像信号処理部Ｂ１１７は、このＡＥ演算により、本画像撮影時のシャッタスピード（露光時間）、絞り値、ＩＳＯ値（撮像感度）などの露出制御値を決定し、制御部１０１はこれらの露出制御値に基づいて各部を制御し本画像撮影を行う。図４は、図３で示したＡＥ処理及び追尾処理の詳細を示している。

図４（ａ）は、蓄積１で蓄積された撮像信号の流れを示している。撮像信号処理部Ｂ１１７は、蓄積１で撮像素子Ｂ１１６に蓄積された撮像信号を読み出した後、読み出した撮像信号に基づく画像データをストライプデータ１としてメモリ部１０９に記憶する。

図４（ｂ）は、追尾処理における読み出し後からＹＵＶ画像を生成するまでの詳細を示している。撮像信号処理部Ｂ１１７は、メモリ部１０９に記憶されたストライプデータ１を読み出し、補正処理及びデータの並び替え処理を行う。この補正処理及び並び替え処理の詳細については後述する。そして、撮像信号処理部Ｂ１１７は、補正処理及び並び替え処理された画像データを現像処理して、ＹＵＶ画像を生成する。

図４（ｃ）は、追尾演算の詳細を示している。撮像信号処理部Ｂ１１７は、今回の蓄積１で蓄積された撮像信号に基づいて生成されたＹＵＶ画像データ（以下、今回のＹＵＶ画像とする）と前回のＹＵＶ画像とを比較する。そして、撮像信号処理部Ｂ１１７は、前回のＹＵＶ画像の主被写体領域に対して今回のＹＵＶ画像の主被写体領域が撮像画面のＸ方向・Ｙ方向それぞれにどの位ずれているかを算出する。撮像信号処理部Ｂ１１７は、このずれ量を用いて主被写体領域が撮像画面内のどこに移動したかを求め、追尾演算を行う。制御部１０１は、この追尾結果を用いて、今回の本画像撮影のための焦点調節処理を行う。

図４（ｄ）は、蓄積１で蓄積された撮像信号に基づく画像データと蓄積２で蓄積された撮像信号に基づく画像データとの加算演算の流れを示している。撮像信号処理部Ｂ１１７は、蓄積２で撮像素子Ｂ１１６に蓄積された撮像信号を読み出した後、読み出した撮像信号に基づく画像データをストライプデータ２としてメモリ部１０９に記憶する。

次に、撮像信号処理部Ｂ１１７は、メモリ部１０９に記憶されたストライプデータ１及びストライプデータ２を読み出し加算演算を行い、得られた画像データをストライプデータ３としてメモリ部１０９に記憶する。このとき、撮像信号処理部Ｂ１１７は、加算値を１／２にするか否かを蓄積１及び蓄積２の露光量に基づいて選択する。

図４（ｅ）は、加算演算後からＡＥ演算までの詳細を示している。まず、撮像信号処理部Ｂ１１７は、メモリ部１０９に記憶されたストライプデータ３を読み出し、データの並び替え処理を行う。撮像信号処理部Ｂ１１７は、並び替え処理された画像データに対して、前述したＡＥ処理の積分動作と同様にして積分データを算出する。

撮像信号処理部Ｂ１１７はこの積分データを用いてＡＥ演算を行い、今回の本画像撮影時に用いるシャッタスピード、絞り値、ＩＳＯ値などの露出制御値を決定する。

図５は、前述のストライプ配列の画像データをベイヤ配列の画像データへ並び替える並べ替え処理の例を示している。

本実施の形態では、撮像素子Ｂ１１６は主として露出制御や光源検知に用いるデータを取得するために利用するので、ストライプ配列のＣＣＤセンサを撮像素子Ｂ１１６に用いている。そのため、撮像素子Ｂ１１６から読み出された撮像信号は図５のＡに示すようなストライプ配列になっている。

撮像信号処理部Ｂ１１７は、この撮像信号を一般的な撮像信号の配列である図５のＢに示すようなベイヤ配列となるように画像データの並べ替え処理を行う。なお、撮像素子Ｂ１１６にベイヤ配列の撮像素子を用いる場合には、このような画像データの並び替え処理を行う必要はない。

図６は、撮像素子Ｂ１１６の測光可能範囲を示す図である。本実施の形態では、撮像素子Ｂ１１６の測光可能範囲を拡大するために、適正な露光量（以下、適露光とする）での蓄積と適正な露光量より低輝度側を重視した露光量（以下、オーバー露光とする）での蓄積とを交互に行う。なお、本実施の形態では、露光量を交互に変更する場合、蓄積１と蓄積２との間で露光量を変更するのではなく、前回の蓄積１と今回の蓄積１、及び、前回の蓄積２と今回の蓄積２とで露光量を変更するものとする。なお、露光量を交互に変更する場合、適露光とオーバー露光とで変更するのではなく、適露光と適露光より高輝度側を重視した露光量（以下、アンダー露光とする）とで変更するようにしてもよい。

図６（ａ）では、撮像素子Ｂ１１６の、適露光で蓄積を行うときの測光可能範囲と適露光よりａ段分オーバー露光で蓄積を行うときの測光可能範囲を示している。このように、適露光と適露光よりａ段分オーバー露光とで蓄積を行い、蓄積して得られたそれぞれの画像データに基づいて測光を行うことにより、適露光で蓄積しただけの場合よりもａ（ａ＞０）段分低輝度側の範囲まで測光可能になる。すなわち、ａ段分測光可能範囲を拡大することができる。なお、以下では、適露光の露光量を０［ＥＶ］とし、適露光よりａ段分オーバー露光の露光量を−ａ［ＥＶ］とするが、適露光の露光量は０［ＥＶ］以外の値であっても構わない。

図６（ｂ）は、ＡＥ演算に用いるデータと露光量の関係を示している。蓄積１及び蓄積２を適露光で行った場合、蓄積１及び２を行って得られる画像データを単純に加算すると、加算して得られる画像データの積分データの値が適正な露光量で蓄積した場合の輝度値の２倍の値を示すことになる。すなわち、適正な露光量よりも１段オーバー露光で蓄積を行った場合の輝度値に相当する。そこで、加算平均演算を行うことで、画像データの積分データの値が適正な露光量で蓄積した場合の輝度値を示すようにしている。図６（ｂ）では、前回の蓄積１及び蓄積２を適露光で行い得られたそれぞれ画像データを加算平均することで、加算平均して得られた画像データを適露光で蓄積した場合と略等しくしている。すなわち、図６（ｂ）に示した前回の蓄積のように蓄積１及び蓄積２を適露光で行った場合、撮像信号処理部Ｂ１１７は、図４（ｄ）において加算値を１／２にすることを選択する。

一方、図６（ｂ）において、今回の蓄積では、測光可能範囲を拡大するために、今回の蓄積を行って得られる画像データの積分データの値が適露光よりもａ段分オーバー露光で蓄積した場合の輝度値を示すようにする。そこで、上記と同様にして、前回の蓄積１及び蓄積２をａ段分オーバー露光で行い得られたそれぞれの画像データを加算平均することで、加算平均して得られた画像データをａ段分オーバー露光で蓄積した場合と略等しくすることが考えられる。しかしながら、ここで、今回の蓄積１をａ段分オーバー露光で蓄積した場合、前回の蓄積１とは露光量が大きく異なってしまい、被写体追尾ができなかったり被写体追尾の精度が低下したりしてしまうおそれがある。また、ａ段分オーバー露光で蓄積して得られた画像データを適露光で蓄積した場合と略等しくなるように補正しようとした場合、ａ段分オーバー露光することで適露光時には白とびしていなかった領域でも白とびが生じてしまう。そのような適露光時には白とびしていなかった白とび領域は、撮像素子Ｂ１１６から読み出した撮像信号が飽和している領域であるため、適露光で蓄積した場合と略等しくなるように補正できない。

そこで、図６（ｂ）に示すように、適露光時には白とびしていなかった白とび領域の発生を抑制するために、今回の蓄積１及び２では、適露光から（ａ−１）段分オーバー露光で蓄積を行い得られたそれぞれの画像データを加算する。すなわち、前回の露出制御に用いる画像データの露光量と今回の露出制御に用いる画像データの露光量とが異なるように、第１及び第２の蓄積を行う際の露光量を制御する。（ａ−１）段分オーバー露光で蓄積を行い得られたそれぞれの画像データを加算することで、加算して得られる画像データの積分データの値が（ａ−１）段分オーバー露光で蓄積した場合の輝度値の２倍の値を示すことになる。すなわち、（ａ−１）段分オーバー露光よりも１段オーバー露光で蓄積を行った場合の輝度値に相当し、ａ段分オーバー露光で蓄積を行った場合の輝度値と略等しくなる。このように、今回の蓄積１を適露光から（ａ−１）段分オーバー露光で行うことで、ａ段分オーバー露光で行う場合よりも適露光時には白とびしていなかった白とび領域の発生を抑制することができる。そのため、今回の蓄積１で得られた画像データを適露光で蓄積した場合と略等しくなるように補正しようとした場合に、より正確に補正することができる。

なお、このように（ａ−１）段分オーバー露光で蓄積を行った場合には、撮像信号処理部Ｂ１１７は、図４（ｄ）において加算値を１／２することを選択しない。すなわち、（ａ−１）段分オーバー露光で蓄積を行った場合には、撮像信号処理部Ｂ１１７は、図４（ｄ）において加算値を１／２しない。

図６（ｃ）は、追尾演算に用いる画像データと露光量の関係を示している。本実施の形態では、上述した理由から、追尾演算の精度を高めるために、追尾演算に用いる２つの画像データの露光量が略等しくなるように補正処理を行う。具体的には、図６（ｃ）に示すように、（ａ−１）段分オーバー露光で蓄積を行って得られた画像データに対して、適露光との露光量差を補償するように（ａ−１）段分ゲインダウンする補正処理を行う。この補正処理は図４（ｂ）の補正処理に対応しており、図４（ｂ）の補正処理における補正量は、前回の蓄積１と今回の蓄積１の露光量の差に基づいて決定される。なお、前回の蓄積１と今回の蓄積１の露光量の差を補償するために補正処理を行うので、前回の蓄積１及び今回の蓄積１により得られた画像データのうち少なくとも一方を補正すればよい。例えば、前回の蓄積１の露光量が適露光であれば、前回の蓄積１で得られた画像データは補正せず、今回の蓄積１で得られた画像データのみ補正すればよい。

このような補正処理により、追尾演算に用いる２つの画像データの輝度値の差が小さくなり精度よく被写体追尾を行うことができる。

以上のように、露光量を変えて測光のための蓄積を複数回行うので、測光可能範囲を拡大できる。また、複数の蓄積を行って得られたそれぞれの画像データを加算演算して得られた結果に基づいて露出制御を行うので、複数の蓄積のそれぞれの蓄積時間が短い場合であってもフリッカ光源の影響を軽減することができる。また、露出制御に用いるデータに基づいて被写体追尾を行う場合にも、被写体追尾に用いる複数の画像データの露光量の差を補償するための補正処理を行ってから追尾演算を行うので、精度よく被写体追尾を行うことができる。また、蓄積時の露光量に応じて、複数の蓄積を行って得られたそれぞれの画像データを加算演算する際の演算方法を変更するので、追尾に用いる複数の画像データの露光量の差を小さくできる。そのため、追尾に用いる複数の画像データの一方の画像データでのみ白とびする領域が生じることを軽減することができ、より正確に追尾演算を行うことができる。

なお、上記の実施の形態では、連写撮影時の被写体追尾について説明を行ったが、本画像撮影前に被写体追尾を行う場合においても本発明は適用できる。

また、上記の実施の形態で撮像信号処理部Ｂ１１７が実行した処理の少なくとも一部を、撮像信号処理部Ａ１０７及び制御部１０１の少なくとも一方で行う構成であってもよい。あるいは、撮像信号処理部Ｂ１１７がなく、撮像信号処理部Ｂ１１７が実行した全ての処理を撮像信号処理部Ａ１０７及び制御部１０１の少なくとも一方で行う構成であってもよい。

また、カメラ本体にレンズユニットが内蔵された構成であってもよい。

また、被写体追尾に用いる複数の画像データの露光量の差を補償するための補正処理を行う際に、被写体追尾に用いる複数の画像データの露光量が等しくなるように補正処理をしなくてもよい。すなわち、被写体追尾の精度が十分得られる程度に、複数の画像データの露光量の差の少なくとも一部を補償するような補正処理を行えばよい。

また、被写体追尾に用いる複数の画像データの差が小さく上記の補正処理と演算方法の変更のいずれか一方のみで被写体追尾の精度が十分得られる程度に露光量の差を補償できる場合、上記の補正処理と演算方法の変更のいずれか一方のみ実行するようにしてもよい。

また、被写体追尾に用いる複数の画像データの差を補償するために上記の演算方法の変更を優先して実行し、演算方法の変更では十分に補償出来ない場合に上記の補正処理を行うようにしてもよい。

また、上記の実施形態の変形例として、追尾演算に用いる画像データを得るための蓄積１の露光量は常に適露光にして、蓄積２の露光量だけを交互に変更するようにしてもよい。すなわち、上記の実施の形態では、ＡＥ演算を簡単かつ正確に行うために、第１の蓄積及び第２の蓄積の露光量を等しくしているが、変形例では、追尾演算を簡単かつ正確に行うために、前回の第１の蓄積及び今回の第１の蓄積の露光量を等しくしている。このように第１の蓄積と第２の蓄積の露光量を異ならせた場合、図４（ｄ）に示した加算演算の際に補正処理を行えばよい。例えば、前回の第１及び第２の蓄積を適露光で行い、今回の第１の蓄積を適露光、今回の第２の蓄積を（ａ−１）段オーバー露光で行ったとする。すなわち、第１の蓄積の露光量を変更せずに、前回の露出制御に用いる画像データの露光量と今回の露出制御に用いる画像データの露光量とが異なるように、第２の蓄積の露光量を制御する。この場合、図４（ｄ）に示した加算演算の際に、今回の第１の蓄積を行って得られた画像データを、（ａ−１）段オーバー露光で蓄積した場合と略等しくなるように補正してから加算演算を行うようにする。そうすることで、今回のＡＥ演算では、ａ段オーバー露光で蓄積した場合の測光結果を得ることができる。このとき、今回の第２の蓄積をａ段オーバー露光で行い、今回の第１の蓄積を行って得られた画像データをａ段オーバー露光で蓄積した場合と略等しくなるように補正してから加算平均演算を行う場合よりも、今回の第２の蓄積で白とびする白とび領域を軽減できる。そのため、より正確に露出制御を行うことができる。

また、上記の実施形態で説明した方法と上記の変形例の方法とを切り換え可能な構成であってもよい。その場合、撮影モードや撮影条件などによって適した方法を選択する選択手段を有するようにしてもよい。例えば、不図示のフリッカ検出部によってフリッカが検出された場合には、フリッカの影響をより軽減させることができる上記の実施形態で説明した方法を選択するようにすればよい。反対に、フリッカが検出されない場合には、被写体追尾をより精度よく行うことができる変形例の方法を選択するようにすればよい。

１００カメラ本体
１０１制御部
１０６撮像素子Ａ
１０９メモリ部
１１６撮像素子Ｂ
１１７撮像信号処理部Ｂ
１２１焦点検出部

Claims

撮像した被写体像に応じた電荷の蓄積を行う電荷蓄積手段と、
露出制御を行う露出制御手段と、
前記電荷蓄積手段により第１の蓄積を行って得られた画像データと第２の蓄積を行って得られた画像データとに基づいて、前記露出制御手段による露出制御に用いる画像データを演算する演算手段と、
前記第１の蓄積を行って得られた画像データに基づいて、所定の条件を満たす対象の追尾を行う追尾手段と、
前回の露出制御に用いる画像データの露光量と今回の露出制御に用いる画像データの露光量とが異なるように、前記第１及び第２の蓄積を行う際の露光量を制御する制御手段と、を有し、
前記制御手段は、前回の露出制御に用いる画像データの露光量と今回の露出制御に用いる画像データの露光量との差よりも、前回の前記第１の蓄積の露光量と今回の前記第１の蓄積の露光量との差が小さくなるように、今回の前記第１の蓄積の露光量を制御し、
前記演算手段は、前回の露出制御に用いる画像データを得るための演算を行うときと今回の露出制御に用いる画像データを得るための演算を行うときとで、演算方法を変更することを特徴とする撮像装置。
前記制御手段は、前回の露出制御に用いる画像データの露光量と今回の露出制御に用いる画像データの露光量のいずれか一方が適正な露光量となるように前記第１及び第２の蓄積の露光量を制御し、
前記演算手段は、前回の露出制御に用いる画像データの露光量と今回の露出制御に用いる画像データの露光量のうち、適正な露光量ではないほうの画像データを得る際には前記第１の蓄積を行って得られた画像データと前記第２の蓄積を行って得られた画像データとを加算し、適正な露光量であるほうの画像データを得る際には前記第１の蓄積を行って得られた画像データと前記第２の蓄積を行って得られた画像データとを加算平均することを特徴とする請求項１に記載の撮像装置。
前回の前記第１の蓄積の露光量と今回の前記第１の蓄積の露光量との差を補償するように、前回の前記第１の蓄積を行って得られた画像データと今回の前記第１の蓄積を行って得られた画像データの少なくとも一方を補正する補正手段を有することを特徴とする請求項１または２に記載の撮像装置。
前記補正手段は、前回の前記第１の蓄積の露光量と今回の前記第１の蓄積の露光量のうちいずれか一方が適正な露光量の場合、適正な露光量でない露光量で蓄積を行って得られた画像データを補正することを特徴とする請求項３に記載の撮像装置。
前記追尾手段は、前記補正手段により補正された画像データを用いて前記追尾を行うことを特徴とすることを特徴とする請求項３または４に記載の撮像装置。
前記制御手段は、前記第１の蓄積の露光量を変更せずに、前回の露出制御に用いる画像データの露光量と今回の露出制御に用いる画像データの露光量とが異なるように、前記第２の蓄積の露光量を制御し、
前記第１の蓄積の露光量と前記第２の蓄積の露光量との差を補償するように、前記第１の蓄積を行って得られた画像データを補正する補正手段を有することを特徴とする請求項１または２に記載の撮像装置。
前記演算手段は、前記補正手段により補正された前記第１の蓄積を行って得られた画像データ及び当該画像データに対応する前記第２の蓄積を行って得られた画像データを加算することを特徴とする請求項６に記載の撮像装置。
撮像した被写体像に応じた信号を出力する撮像手段を有し、
前記露出制御手段は、前記撮像手段で撮像を行う際に、前記演算手段により演算された画像データを用いて露出制御を行うことを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
撮像した被写体像に応じた電荷の蓄積を行う電荷蓄積手段と、露出制御を行う露出制御手段と、を有する撮像装置の制御方法であって、
前記電荷蓄積手段により第１の蓄積を行って得られた画像データと第２の蓄積を行って得られた画像データとに基づいて、前記露出制御手段による露出制御に用いる画像データを演算する演算ステップと、
前記第１の蓄積を行って得られた画像データに基づいて、所定の条件を満たす対象の追尾を行う追尾ステップと、
前回の露出制御に用いる画像データの露光量と今回の露出制御に用いる画像データの露光量とが異なるように、前記第１及び第２の蓄積を行う際の露光量を制御する制御ステップと、を有し、
前記制御ステップは、前回の露出制御に用いる画像データの露光量と今回の露出制御に用いる画像データの露光量との差よりも、前回の前記第１の蓄積の露光量と今回の前記第１の蓄積の露光量との差が小さくなるように、今回の前記第１の蓄積の露光量を制御し、
前記演算ステップは、前回の露出制御に用いる画像データを得るための演算を行うときと今回の露出制御に用いる画像データを得るための演算を行うときとで、演算方法を変更することを特徴とする撮像装置の制御方法。