JP2018064256A - 撮像装置、その制御方法 - Google Patents

Abstract

【課題】 ２つの撮像素子を利用した撮影を行う際に、一方の撮像素子で検出した信号に基づく結果を他方の撮像素子を反映するタイミングのばらつきを低減すること。【解決手段】 本実施例の撮像装置は撮像素子１０５及び撮像素子１０６を有する。ＣＰＵ１３１は撮像素子１０５と撮像素子１０６の画像取得タイミングを制御し、撮像素子１０５と撮像素子１０６のいずれの画像取得タイミングを優先して制御を行うかを決定する。また、ＣＰＵ１３１は優先して制御をすることを決定した撮像素子の画像取得タイミングに基づいて他方の撮像素子の画像取得タイミングを制御する。【選択図】 図６

Description

本発明は、２つの撮像素子を備える撮像装置及びその制御方法に関する。

従来、２つの撮像素子を備えた撮像装置が知られている。

特許文献１では、静止画撮影用の撮像素子と、動画撮影用の撮像素子を有する撮像装置が開示されている。

特開２０１４−１２２９５７号公報

特許文献１によれば、動画撮影を中断することなく静止画を撮影することができる。しかしながら、特許文献１で２つの撮像素子を独立したタイミングで駆動すると、一方の撮像素子で検出した信号に基づく結果を他方の撮像素子を反映して制御する場合に、反映のタイミングにばらつきが発生してしまう場合があった。

そこで、本発明の目的は、２つの撮像素子を利用した撮影を行う際に、一方の撮像素子で検出した信号に基づく結果を他方の撮像素子を反映するタイミングのばらつきを低減することができる撮像装置及びその制御方法を提供することである。

本発明は、第１の撮像素子と、第２の撮像素子と、前記第１の撮像素子と前記第２の撮像素子の画像取得タイミングを制御する制御手段と、前記第１の撮像素子と前記第２の撮像素子のいずれの画像取得タイミングを前記制御手段が優先して制御を行うかを決定する決定手段と、を有し、前記制御手段は、前記決定手段が優先して制御をすることを決定した撮像素子の画像取得タイミングに基づいて他方の撮像素子の画像取得タイミングを制御するよう構成したことを特徴とする。

本発明によれば、２つの撮像素子を利用した撮影を行う際に、一方の撮像素子で検出した信号に基づく結果を他方の撮像素子を反映するタイミングのばらつきを低減することができる。

撮像装置の構成例を示す図である。 映像信号処理部とＣＰＵに含まれる処理ブロック図である。 撮像素子の画像取得タイミングの例を説明するタイミングチャートである。 撮影処理を説明するフローチャートである。 動画撮影処理及びレリーズ優先静止画連続撮影処理を説明するフローチャートである。 優先設定処理を説明するフローチャートである。 画像取得タイミング変更を説明するフローチャートである。 撮像素子の画像取得タイミングの例を説明するタイミングチャートである。 フォーカス優先静止画連続撮影処理を説明するフローチャートである。 拡大ライブビュー処理を説明するフローチャートである。

［実施例１］
以下、本発明の実施形態について図１を参照して説明する。

［撮像装置の構成］
図１は本実施例に係る撮像装置であるカメラ１００の構成例を示したブロック図である。カメラ１００はレンズ１０１を交換可能に構成した撮像装置である。尚、本発明が適用される撮像装置はカメラ１００だけではなく、例えば、レンズとカメラ本体とが一体構造となっているような撮像装置であってもよい。

レンズ１０１は、フォーカスレンズやズームレンズなどを含む複数のレンズからなるレンズ群であり、入射した被写体の光学像をハーフミラー１０３（光束分割手段）へと導く。本実施例では、ハーフミラー１０３が撮像光学系から入射した光束を２つの光束へと分割し、一方の光束を撮像素子１０５へ、他方の光束を撮像素子１０６へと１次結像するよう導く。

レンズ制御部１４１は、レンズ１０１側のＣＰＵであり、レンズ１０１を駆動制御する。レンズ制御部１４１がレンズ１０１駆動を制御することでズーム、フォーカスが制御される。また、レンズ制御部１４１は絞り（不図示）を制御する。

また、レンズ１０１は、レンズマウント１０２を介してカメラ本体に対して取り外し可能になっている。

ハーフミラー１０３は入射した光束を２つに分離し、ハーフミラー１０３を透過した光束を撮像素子１０５へ、反射した光束を撮像素子１０６へと導く。

撮像素子１０５、および撮像素子１０６は、ＣＭＯＳ撮像素子等で構成される光電変換手段である。撮像素子１０５、および撮像素子１０６は、レンズ１０１、シャッタ１０４を備える撮像光学系で形成された被写体像を光電変換し、画像信号を出力することができる。

また、撮像素子１０５、および撮像素子１０６が有する各画素は、記録するための画像信号を取得するだけでなく、位相差検出式の焦点検出を行うための画素構成を有している。画素構成の一例は、例えば特開２０１４−１７４４６０号公報や特開２０１３−７９９８号公報に開示されている。

シャッタ１０４は、静止画撮影時に露光秒時を調節するフォーカルプレーンシャッタである。本実施例では、フォーカルプレーンシャッタにて撮像素子１０５の露光秒時を調節する構成であるが、この限りではない。撮像素子１０５が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成でもよい。本実施例では、撮像素子１０５で主に静止画撮影を、撮像素子１０６で主に動画撮影を行うことを想定している。ただし、撮像素子１０６に対するシャッタを具備し、撮像素子１０６で静止画撮影を行う構成としてもよく、撮像素子１０５、および撮像素子１０６の用途を限定するものではない。

映像信号処理部１２１は、撮像素子１０５、及び、撮像素子１０６が出力する画像データに対し、デジタル画像データのホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換、ノイズ低減処理や、画像の明るさ、コントラスト等の解析を行う。そして処理を行った画像データをメモリ１３２に出力する。

映像信号処理部１２１が出力した解析データは、露出制御、オートフォーカス制御に利用する。

静止画エンコード処理部１２２は、メモリ１３２に配置されている画像データを入力として、例えばＪＰＥＧなどに代表される画像圧縮を行い、圧縮静止画像データを再度メモリ１３２に出力する。

動画エンコード処理部１２３は、メモリ１３２に配置されている複数の画像データを入力として、例えばＨ．２６４などに代表される画像圧縮を行い、圧縮動画像データを再度メモリ１３２に出力する。

メモリ１３２は、映像信号処理部１２１の出力画像データの他、ＣＰＵ１３１が各種処理を行なう際にデータを一時的に記憶する。

不揮発性メモリ１３３は、ＣＰＵ１３１が実行するプログラムデータを記憶している。

タイミング発生部１４２は、撮像素子１０５、撮像素子１０６、映像信号処理部１２１にタイミングを提供する。

バス１５０には前述した構成部以外にレンズ制御部１４１、電源１１０、メモリ１３２、不揮発性メモリ１３３、表示制御部１５１、カード入出力部１７１、そして、各種のスイッチ類が接続される。

尚、上述の各種のスイッチ類とは、メインスイッチ１６１、第１レリーズスイッチ１６２、第２レリーズスイッチ１６３、露出制御モード変更ボタン１６４、動画記録開始ボタン１６５、上下左右選択ボタン１６６、決定ボタン１６７である。

電源１１０は、バス１５０を介してカメラ１００の内部に設けられている各回路に電源供給を行う。

表示制御部１５１は、バス１５０を介してタイミング発生部１４２からの信号に応じて、メモリ１３２に保存された表示用画像データをＤ／Ａ変換部１５２においてデジタル画像データから表示用のアナログ画像データへと変換する。変換されたアナログ画像データは、液晶表示素子からなるＴＦＴなどの表示部１５３、若しくはＶＩＤＥＯ出力端子１５４、ＨＤＭＩ（登録商標）出力端子１５５などのケーブルを介して外部に設けられた外部表示部（不図示）に表示される。

尚、デジタル画像データが記憶されているメモリ１３２内部の領域をＶＲＡＭと呼ぶ。表示制御部１５１が、メモリ１３２のＶＲＡＭを読み出し前述の処理をおこなうことで、表示部１５３に表示用のアナログ画像データが更新される。そして、上述の動作を連続的におこない表示部１５３に表示画像が更新され続けることによって動画の表示が可能となる。

カードスロット１７２は、例えばＳＤカード等の着脱可能な記録媒体１７３を差し込み可能である。そして、記録媒体１７３は、カードスロット１７２に差し込まれた状態でカード入出力部１７１と電気的に接続される。この状態で、メモリ１３２に記録されている画像データを記録媒体１７３へと記録することが可能である。また、記録媒体１７３の内部に記録されたデータをカメラ１００で読み出すことも可能である。

ＣＰＵ１３１は、バス１５０を介して上述したようなカメラ１００内の各部へと接続されており、カメラ１００内の各部を統括的に制御する制御部である。本実施例では、ＣＰＵ１３１は、レンズ制御部１４１、タイミング発生部１４２、映像信号処理部１２１、表示制御部１５１に対して、カメラ１００内の各部の制御を指示する。尚、上述したような制御部や処理部を設けずに、ＣＰＵ１３１がカメラ１００内の各部の駆動を制御するような構成であっても良い。また、ＣＰＵ１３１を設けずに上述した制御部や処理部がそれぞれ連動して制御（処理）をおこなうことでカメラ１００内の各部の駆動を制御するような構成であってもよい。

［カメラ１００の基本動作］
以下、本実施例に係る撮像装置であるカメラ１００の基本動作について図１を参照して説明する。まず、ユーザによりメインスイッチ１６１がオンされることで、電源１１０はカメラ１００を構成する各部へと電源を供給する。

次に、カメラ１００を構成する各部へと電源の供給がなされると、撮像素子１０６に、レンズ１０１によって導かれた被写体の光学像が結像される。

次に、撮像素子１０６から定期的（例えば１秒に６０回）に画像データが取り込まれ、各種処理を実行した後にメモリ１３２のＶＲＡＭへ配置する。これにより、撮像素子１０６から取り込んだ画像データを表示部１５３に逐次表示（ライブビュー）することができる。また、撮像素子１０５の読出し領域を限定し、同様に定期的に画像データを取得することで、拡大ライブビュー表示を行うことができる。

次に、上下左右選択ボタン１６６、決定ボタン１６７をユーザが操作することによって、ＧＵＩに表示された各種のパラメータの選択と設定を行うことが可能である。

また、露出制御モード変更ボタン１６４をユーザが押下することで、露出制御モードの選択と設定を行うことが可能である。

次に、ライブビュー中にユーザが動画記録開始／終了ボタン１６５を押すと、動画の記録が開始または終了される。

次に、第１レリーズスイッチ１６２（以下ＳＷ１）はレリーズボタン（不図示）の第１ストローク（半押し状態）でオンとなり、被写体の撮影準備を開始する。ここで、撮影準備の詳細としては、レンズ制御部１４１によるレンズ１０１の駆動制御によって前述したフォーカス、ズーム、絞りなどの制御を必要に応じて実行する。

次に、第２レリーズスイッチ１６３（以下ＳＷ２）は、レリーズボタン（不図示）の第２ストローク（全押し状態）でオンとなり、被写体の撮影を開始する。被写体の撮影の詳細としては、シャッタ１０４と、撮像素子１０５を駆動することで被写体の光学像を取り込み、画像データを取り込む。

［露出制御・焦点制御］
以下、本実施例に係る撮像装置であるカメラ１００の露出制御及び焦点制御について図２の概念図を参照して説明する。図２は映像信号処理部１２１、及び、ＣＰＵ１３１での露出制御及び焦点制御の流れを表すブロック図である。映像信号処理部１２１及び、ＣＰＵ１３１は、第一映像信号処理部２０１、第一露出検出部２０２、第一焦点検出部２０３、第二映像信号処理部２１１、第二露出検出部２１２及び第二焦点検出部２１３を有する。また、露出制御部２２１、撮像素子制御部２２２、焦点制御部２２３及び顔・動き検出部２３１を有する。

第一映像信号処理部２０１は、撮像素子１０５から出力される画像から、画像内の領域ごとの明るさ、コントラスト値等の解析を行い、画像の明るさ等の解析結果を第一露出検出部２０２に、コントラスト値等の解析結果を第一焦点検出部２０３に出力する。また、撮像素子が位相差検出画素の出力が可能な場合、第一映像信号処理部２０１は、位相差検出データを、第一焦点検出部２０３に出力する。

第一露出検出部２０２は第一映像信号処理部２０１から出力される画像の明るさ等の解析データを元に露出検出を行い、解析結果を露出制御部２２１に出力する。第一焦点検出部２０３は第一映像信号処理部２０１から出力されるコントラスト、または位相差検出データ等の解析データを元に焦点検出を行い、解析結果を焦点制御部２２３に出力する。

第二映像信号処理部２１１、第二露出検出部２１２、第二焦点検出部２１３は、撮像素子１０６が出力する画像データに対し、それぞれ第一映像信号処理部２０１、第一露出検出部２０２、第一焦点検出部２０３と同等の処理を行う。

露出制御部２２１は、第一露出検出部２０２、及び第二露出検出部２１２から出力される解析結果を入力とし露出制御値を算出し、撮像素子制御部２２２に出力する。絞り制御自動を含む露出制御モードである場合、絞り値をレンズ制御部１４１に出力してもよい。撮像素子制御部２２２は露出制御部２２１から出力される露出制御値を入力とし、撮像素子１０５、及び、撮像素子１０６のアナログゲイン量、およびデジタルゲイン量を制御する。また、撮像素子制御部２２２は、撮像素子１０５、及び撮像素子１０６の読出し領域、画素加算数、または画素間引き量を指定することで、読出し画素数の制御を行う。さらに、読出し領域の決定にあたっては、撮像素子制御部２２２は、顔・動き検出部２３１の検出結果を利用する構成としてもよい。

焦点制御部２２３は、第一焦点検出部２０３、及び、第二焦点検出部２１３から出力される解析結果を入力とし焦点制御値を算出し、レンズ制御部１４１に出力する。

顔・動き検出部２３１は、第二映像信号処理部の出力をもとに、画像内に含まれる顔の検出と、過去の画像との比較から被写体の動き量を検出する。顔・動き検出部２３１で検出した結果は、露出制御部２２１、及び焦点制御部２２３で利用する。

以上が本実施例におけるカメラ１００の基本動作である。

［タイミング制御］
次に、動画撮影中の静止画撮影、及びレリーズ優先静止画連続撮影における、撮像素子１０５、及び撮像素子１０６のタイミング制御について、図３のタイミングチャートを参照して説明する。

本実施例では、撮像素子１０５のフレームレートと撮像素子１０６のフレームレートとが、優先する撮像素子のフレームレートを基準に整数倍の関係になる（周期を合わせる）よう制御する。これにより、一方の撮像素子の信号に基づく検出結果を他方の撮像素子に反映する場合のタイミングのバラつきを低減することができる。

また、検出結果を取得するための撮像素子１０６の画像取得タイミングよりも撮像素子１０５の画像取得タイミングを第１の所定時間遅くする（位相をずらす）よう制御する。本実施例では一例として、撮像素子１０５の蓄積開始のタイミングを撮像素子１０６の蓄積開始のタイミングよりも第１の所定時間遅くするよう制御する。これにより、撮像素子１０６による検出から撮像素子１０５の蓄積までのタイムラグをより短縮することができる。

図３（ａ）はレリーズ優先静止画連続撮影におけるタイミングチャートである。撮像素子１０５では静止画像の蓄積と読出しを行う。撮像素子１０５の静止画像読出し期間中はシャッタ１０４を閉じる。撮像素子１０６では周期的に画像の蓄積と読出しを行い、ライブビュー表示画像や露出検出、焦点検出、顔・動き検出に利用する。撮像素子１０６から焦点検出結果が得られたら、レンズ１０１のフォーカスレンズを駆動する。第２レリーズスイッチ１６３の押下などで、撮像素子１０５での静止画像取得を開始したら、撮像素子１０６の蓄積と読出しタイミングを、撮像素子１０６の蓄積周期に合わせて、変更する。

図３（ｂ）は動画記録中静止画撮影におけるタイミングチャートである。撮像素子１０５では静止画像の蓄積と読出しを行う。撮像素子１０５の静止画像読出し期間中はシャッタ１０４を閉じる。撮像素子１０６では周期的に画像の蓄積と読出しを行い、ライブビュー表示画像や、動画像記録用画像、露出検出、焦点距離検出、顔・動き検出に利用する。第２レリーズスイッチ１６３の押下などで、静止画撮影を開始する場合、撮像素子１０６の蓄積と読出しタイミングに合わせて、撮像素子１０５での静止画像取得を開始する。

［撮影処理（図４）］
次に、図４を用いて本実施例のメインフローを説明する。

ステップＳ０１０で、ＣＰＵ１３１は撮影モードが変更されたか否かを判定する。撮影モードが変更されたと判定した場合にはステップＳ０１１へと進み、変更されていないと判定した場合にはステップＳ０１２へと進むようＣＰＵ１３１が制御する。ＣＰＵ１３１は、カメラ１００の電源１１０がオンされた場合や電源１１０がオンされた後に撮影モードが変更された場合に、撮影モードが変更されたと判定する。

ステップＳ０１１で、ＣＰＵ１３１はステップＳ１０１に進み、現在のカメラ１００の設定状態に基づいて、ＣＰＵ１３１が優先して制御（優先制御）する撮像素子を決定する（優先設定処理）。優先制御する撮像素子に対して他方の撮像素子は、優先制御する撮像素子の画像取得タイミングに基づいて（に従属させて）ＣＰＵ１３１が制御する。優先設定処理の詳細については図６を用いて後述する。

ステップＳ０１２で、撮影モードが動画撮影モード又はレリーズ優先静止画連続撮影モードに設定されているかをＣＰＵ１３１が判定する。撮影モードが動画撮影モード又はレリーズ優先静止画連続撮影モードである場合にはステップＳ０１３へ進み、そうでない場合にはステップＳ０１４へと進む。

ステップＳ０１３で、ＣＰＵ１３１は動画撮影処理／レリーズ優先静止画連続撮影処理を行うよう制御する。動画撮影処理／レリーズ優先静止画連続撮影処理については図５で後述する。動画撮影処理／レリーズ優先静止画連続撮影処理を終了すると、ステップＳ０１９へと進む。

ステップＳ０１４で、撮影モードがフォーカス優先静止画連続撮影モードに設定されているかをＣＰＵ１３１が判定する。撮影モードがフォーカス優先静止画連続撮影モードである場合にはステップＳ０１６へ進み、そうでない場合にはステップＳ０１５へと進む。

ステップＳ０１６で、フォーカス優先静止連続撮影処理を行うようＣＰＵ１３１が制御する。詳しくは図９を用いて後述する。フォーカス優先静止連続撮影処理を終了すると、ステップＳ０１９へと進む。

ステップＳ０１５で、現在の撮影モードが拡大ライブビュー表示モードであるか否かをＣＰＵ１３１が判定する。現在の撮影モードが拡大ライブビュー表示モードである場合にはステップＳ０１７へと進み、そうでない場合には優先制御する撮像素子が設定されていないとしてステップＳ０１８へと進む。

ステップＳ０１７で、拡大ライブビュー表示処理を行うようＣＰＵ１３１が制御する。詳しくは図１０を用いて後述する。拡大ライブビュー表示処理を終了すると、ステップＳ０１９へと進む。

ステップＳ０１８では、撮像素子１０５と撮像素子１０６を独立して駆動する。詳細は省略する。

ステップＳ０１９では、撮影処理を終了するか否かをＣＰＵ１３１が判定する。撮影処理を終了しないとＣＰＵ１３１が判定した場合には、ステップＳ０１０へと戻り、終了すると判定した場合には、本フローの処理を終了するようＣＰＵ１３１が制御する。

［優先設定処理（図６）］
次に、優先設定処理について説明する。本フローでは、撮影モードに応じて、撮像素子１０５（静止画用撮像素子）と撮像素子１０６（動画用撮像素子）のいずれを優先して制御を行うか、又は優先して制御する撮像素子を設定しないかをＣＰＵ１３１が設定する。

本実施例では、主に次の４つの撮影モードを想定している。動画撮影モード、フォーカス優先静止画連続撮影モード、レリーズ優先静止画連続撮影モード及び拡大ライブビュー表示モードである。各撮影モードで撮像素子１０５と撮像素子１０６のいずれを優先するか及びその理由を説明する。

動画撮影モードは、動画の記録を行うモードであるため、動画の画質を優先するモードである。動画の画質はフレームレートにも依存しているため、本モードでは撮像素子１０６（動画用撮像素子）を優先してＣＰＵ１３１（決定手段）が制御する。

フォーカス優先静止画連続撮影モードは、連続撮影中のコマ速よりもフォーカスレンズの被写体に対する追従精度を優先するモードである。このため、本モードでは撮像素子１０６（動画用撮像素子）を優先してＣＰＵ１３１が制御することで、撮像素子１０６（動画用撮像素子）の検出周期を保つことで、動画の画質を保つ。

レリーズ優先静止画連続撮影モードは、撮像素子１０５による連像撮影中の静止画の取得タイミングを優先するモードである。このため、本モードでは撮像素子１０５（静止画用撮像素子）を優先してＣＰＵ１３１が制御する。

拡大ライブビュー表示モードは、取得した画像を拡大してライブビューするモードである。このため、本モードでは撮像素子１０５（静止画用撮像素子）を優先してＣＰＵ１３１が制御する。撮像素子１０６では、撮像素子１０５で取得した信号に基づいて表示している領域の外側の領域についても信号の取得を続行することができる。

以上のような、モードに応じた撮像素子の優先制御の設定をフローチャートで表わした図が図６である。以下、図６を用いて優先設定処理のフローを説明する。

まず、優先設定処理を開始したら、ステップＳ２０１に進み、ＣＰＵ１３１は、カメラ１００の動画撮影モードかどうかを判断する。動画撮影モードでない場合、ステップＳ２０２に進み、動画撮影モードである場合、ステップＳ２０５に進む。

ステップＳ２０２では、ＣＰＵ１３１は、カメラ１００の設定状態がフォーカス優先静止画連続撮影となっているかを判断する。フォーカス優先静止画連続撮影設定でない場合、ステップＳ２０３に進み、フォーカス優先静止画連続撮影設定である場合、ステップＳ２０５に進む。

ステップＳ２０３では、ＣＰＵ１３１は、カメラ１００の設定状態がレリーズ優先静止画連続撮影となっているかを判断する。レリーズ優先静止画連続撮影設定でない場合、ステップＳ２０４に進み、レリーズ優先静止画連続撮影設定である場合、ステップＳ２０６に進む。

ステップＳ２０４では、ＣＰＵ１３１は、カメラ１００の動作状態が拡大ライブビュー表示かどうかを判断する。拡大ライブビュー状態である場合、ステップＳ２０６に進み、拡大ライブビュー状態でない場合、ステップＳ２０７に進む。

ステップＳ２０５では、ＣＰＵ１３１は、撮像素子１０６を優先制御するよう設定し、優先設定処理を終了する。

ステップＳ２０６では、ＣＰＵ１３１は、撮像素子１０５を優先制御するよう設定し、優先設定処理を終了する。

ステップＳ２０７では、ＣＰＵ１３１は、いずれの撮像素子についても優先制御せず、独立して制御する設定をし、優先設定処理を終了する。

［動画撮影処理／レリーズ優先静止画連続撮影処理（図５）］
次に図３のタイミングチャートの動作を実現するための、映像信号処理部１２１、及びＣＰＵ１３１の処理について、図５のフローチャートを参照して説明する。

まず、ステップＳ１０２に進み、ＣＰＵ１３１は、ステップＳ１０１で決定した優先制御する撮像素子のタイミングに合わせて、従属させる撮像素子の画像取得タイミングを変更することで、画像取得タイミングを調整する。画像取得タイミング変更処理の詳細については後述する。

次に、ステップＳ１０３及びステップＳ１０６に並行して進み、撮像素子１０５と撮像素子１０６の制御をＣＰＵ１３１が並行して行う。

まずステップＳ１０３では、ＣＰＵ１３１は、静止画撮影を行うかを判断する。ここでは、第２レリーズスイッチ１６３が押下されているか否かを判定する。静止画撮影する場合（第２レリーズスイッチ１６３が押下されている場合）は、ステップＳ１０４に進み、静止画撮影しない場合（第２レリーズスイッチ１６３が押下されていない場合）はステップＳ１１１に進む。

ステップＳ１０４では、ＣＰＵ１３１は、露出制御部２２１、撮像素子制御部２２２へ指示し、撮像素子１０５の露出設定を行い、ステップＳ１０５に進む。

ステップＳ１０５では、撮像素子１０５は、シャッタ１０４と協調して画像の蓄積と読出しを行い、静止画像を取得して、ステップＳ１１１に進む。

一方で、ステップＳ１０６では、ＣＰＵ１３１は露出制御部２２１、撮像素子制御部２２２へ指示し、撮像素子１０５の露出設定を行い、ステップＳ１０７に進む。

ステップＳ１０７では、撮像素子１０６は、画像の蓄積と読出しを行い、ステップＳ１０８に進む。なお、モードが動画撮影モードである場合には、ステップＳ１０７で読みだした画像を記録媒体１７３へと保存する。レリーズ優先静止画連続撮影モードである場合には、ステップＳ１０７で読みだした画像を記録媒体１７３へと保存しない。

ステップＳ１０８では、ステップＳ１０７で取得した撮像素子１０６の画像を利用し、第二露出検出部２１２が露出検出を行い、露出検出結果を露出制御部２２１へ送り、ステップＳ１０９に進む。ステップＳ１０８で露出検出した結果は、再度ステップＳ１０４、及びステップＳ１０６を実行する際に利用する。

ステップＳ１０９では、ステップＳ１０７で取得した撮像素子１０６の画像を利用して、第二焦点検出部２１３が焦点検出を行い、焦点制御部２２３に結果を送り、ステップＳ１１０に進む。

ステップＳ１１０では、ステップＳ１０９で取得した、焦点検出結果を利用して、焦点制御部２２３が、レンズ制御部１４１を経由して、レンズ１０１のフォーカスレンズを駆動し、ステップＳ１１１に進む。

ステップＳ１１１では、ＣＰＵ１３１は、メインスイッチ１６１の状態を取得し、オフ状態であれば、撮影処理を終了する。オン状態であれば、ステップＳ１０２に戻り、処理を継続する。

以上のように、本実施例の動画撮影モード中に静止画撮影を行う場合であっても、撮像素子１０６が優先制御する撮像素子として扱われるため、そうでない場合と比較して動画の画質を高く保つことができる。

また、本実施例のレリーズ優先静止画連続撮影モードは、撮像素子１０５による連像撮影中の静止画の取得タイミングを優先するモードである。このため、本モードでは撮像素子１０５（静止画用撮像素子）を優先してＣＰＵ１３１が制御する。

［フォーカス優先静止画連続撮影処理（図９）］
まず、フォーカス優先静止画連続撮影処理について、図８のタイミングチャートを参照して説明する。

図８でも図３と同様、撮像素子１０５のフレームレートと撮像素子１０６のフレームレートとが、優先する撮像素子のフレームレートを基準に整数倍の関係になる（周期を合わせる）よう制御する。これにより、一方の撮像素子の信号に基づく検出結果を他方の撮像素子に反映する場合のタイミングのバラつきを低減することができる。

また、検出結果を取得するための撮像素子１０６の画像取得タイミングよりも撮像素子１０５の画像取得タイミングを第１の所定時間遅くする（位相をずらす）よう制御する。本実施例では一例として、撮像素子１０５の蓄積開始のタイミングを撮像素子１０６の蓄積開始のタイミングよりも第１の所定時間遅くするよう制御する。これにより、撮像素子１０６による検出から撮像素子１０５の蓄積までのタイムラグをより短縮することができる。

撮像素子１０６は、周期的に画像の蓄積と読出しを行い、ライブビュー表示画像や露出検出、焦点検出、顔・動き検出に利用する。撮像素子１０６の制御と並行して、ＣＰＵ１３１は撮像素子１０５では蓄積と部分読出しを行うよう制御する。撮像素子１０６の部分読出し領域は、焦点検出を行う領域であり、撮像素子１０６の読出し周期以内となる読出し画素数となるように領域の広さを調整する。このとき、撮像素子１０５から焦点検出結果が得られたら、レンズ１０１のフォーカスレンズを駆動する。また、撮像素子１０５と撮像素子１０６それぞれの焦点検出結果の差分をメモリ１３２に記憶しておく。

次に、第２レリーズスイッチ１６３の押下などで、静止画撮影を開始する場合、撮像素子１０６の蓄積と読出しタイミングに合わせて、撮像素子１０５での静止画像取得を開始する。撮像素子１０５の静止画像読出し期間中はシャッタ１０４を閉じる。同時に、撮像素子１０６から焦点検出結果が得られたら、メモリ１３２が記憶している撮像素子１０５と撮像素子１０６焦点検出結果の差分データを加味して、レンズ１０１のフォーカスレンズを駆動する。

次に、図８のタイミングチャートの動作を実現するための、映像信号処理部１２１、及びＣＰＵ１３１の処理について、図９のフローチャートを参照して説明する。

まず、ここでは、フォーカス優先静止画連続撮影が前提であるため、撮像素子１０６が優先設定となる。

次に、ステップＳ４０２に進み、ＣＰＵ１３１は、カメラ１００内部の撮影設定を更新して、ステップＳ４０３に進む。撮影設定として、一例としてＡＦ枠の位置やレンズ１０１の焦点距離、デフォーカス量の変化を考慮する。

ステップＳ４０３では、ＣＰＵ１３１は、ステップＳ４０３で設定した撮影設定に変更があったかを判断する。ここでいう撮影設定とは、現在メモリ１３２で記憶している焦点検出結果との差分データと、現在の撮影条件での焦点検出結果の差分データとの間に所定以上の変化が生じると判断する指標となる撮影設定である。撮影設定に変更がなかった場合、Ｓ４０４に進み、撮影設定に変更があった場合、Ｓ４１１に進む。本実施例では一例として、焦点距離が第１の所定値以上変化した場合、ＡＦ枠が変更された場合は、撮影設定に変更があったとＣＰＵ１３１が判定する。撮影設定に変更があったとＣＰＵ１３１が判定した場合には、ステップＳ４１８で撮像素子１０５により取得した信号に基づく焦点検出結果と撮像素子１０６により取得した信号に基づく焦点検出結果との差分データを算出すべくステップＳ４１１へと進む。撮影設定に変更がないとＣＰＵ１３１が判定した場合には、過去にステップＳ４１９で算出した差分を用いればよいとして、ステップＳ４０５及びステップＳ４０７へと進む。

ステップＳ４０４では、ＣＰＵ１３１は、撮像素子１０５により取得した信号に基づく焦点検出結果と撮像素子１０６により取得した信号に基づく焦点検出結果との差分データが取得済みである否かを判断する。焦点検出結果の差分データが取得済みである場合は、ステップＳ４０５、及びステップＳ４０７の平行処理に進み、焦点検出結果の差分データが取得済みではない場合は、ステップＳ４１１に進む。

ステップＳ４０５では、ＣＰＵ１３１は、静止画撮影を行うか否かを判断する。例えば、第２レリーズスイッチ１６３が押下されている場合は静止画撮影を行うと判定し、そうでない場合には静止画撮影を行わないと判定する。静止画撮影する場合は、ステップＳ４０６に進み、静止画撮影しない場合は、ステップＳ４１９に進む。

ステップＳ４０６では、撮像素子１０５は、シャッタ１０４と協調して画像の蓄積と読出しを行い、静止画像を取得して、ステップＳ４１９に進む。

ステップＳ４０７では、撮像素子１０６は、画像の蓄積と読出しを行い、ステップＳ４０８に進む。

ステップＳ４０８では、ステップＳ４０７で取得した撮像素子１０６の画像を利用して、第二焦点検出部２１３が焦点検出を行い、焦点制御部２２３に結果を送り、ステップＳ４０９に進む。

ステップＳ４０９では、焦点制御部２２３は、ステップＳ４０８で取得した焦点検出結果と、取得済みの焦点検出結果の差分データから、レンズ１０１のフォーカスレンズ駆動量を算出し、ステップＳ４１０に進む。

ここで、撮像素子１０６の焦点検出結果に加えてステップＳ４０９で焦点検出結果の差分データを用いる理由を説明する。本実施例の撮像素子１０６は主に表示・検出に用いるため、フレームレートの高さを優先している。このため、撮像素子１０６では複数の画素の信号を加算して読み出している。つまり、取得する画像としての画素数は撮像素子１０６の実際の画素数よりも少なくなる。加算した信号を用いて焦点検出を行うと、加算しなかった場合と比較して焦点検出精度が低下する。そこで、ステップＳ４１８で算出したステップＳ４１８で撮像素子１０５により取得した信号に基づく焦点検出結果と撮像素子１０６により取得した信号に基づく焦点検出結果との差分データを算出する。そして、ステップＳ４０９では当該差分データを用いて撮像素子１０６により取得した信号に基づく焦点検出結果を補正する。これにより、当該補正後の焦点検出結果に基づきより被写体にピントが合うようなレンズ駆動量を算出することができる。

ステップＳ４１０では、ステップＳ４０９で算出した、フォーカスレンズ駆動量を元に、焦点制御部２２３が、レンズ制御部１４１を経由して、レンズ１０１のフォーカスレンズを駆動し、ステップＳ４１９に進む。

ステップＳ４１１では、ＣＰＵ１３１は、ステップＳ４０１で決定した優先制御する撮像素子１０５の画像取得タイミングに合わせて、従属する撮像素子１０６の画像取得タイミングを変更することで、画像取得タイミングを調整する。画像取得タイミング変更処理の詳細については前述の処理と同様である。当該ステップを経ることで、例えば優先制御する撮像素子のフレームレートが本フロー中に変更になった場合であっても、一方の撮像素子で検出した信号に基づく結果を他方の撮像素子を反映するタイミングのばらつきを低減することができる。画像取得タイミング変更処理が終了したら、ステップＳ４１２、及びステップＳ４１５の平行処理に進む。

ステップＳ４１２では、ＣＰＵ１３１は、撮像素子１０５は、画像の蓄積と指定された領域の読出しを行うよう制御し、ステップＳ４１３に進む。本実施例では、ステップＳ４１２で静止画の記録を行う場合（第２レリーズスイッチ１６３が押下されている場合）と静止画の記録を行わない場合（第２レリーズスイッチ１６３が押下されていない場合）とで信号の読み出し範囲を変える。静止画の記録を行う場合は撮像素子１０５の全面の信号を読み出すようＣＰＵ１３１が制御する。静止画の記録を行わない場合は、ＡＦ枠に対応する撮像素子１０５の座標を含む部分的な領域を指定して読み出すことで、読出し時間を短縮することができる。

ステップＳ４１３では、ステップＳ４１２で取得した撮像素子１０５の画像を利用して、第一焦点検出部２０３が焦点検出を行い、焦点制御部２２３に結果を送り、ステップＳ４１４に進む。

ステップＳ４１４では、ステップＳ４１３で算出した焦点検出結果を利用して、焦点制御部２２３がレンズ駆動量を算出し、レンズ制御部１４１を経由して、レンズ１０１のフォーカスレンズを駆動するようＣＰＵ１３１が制御して、ステップＳ４１８に進む。

ステップＳ４１５では、撮像素子１０６は、画像の蓄積と読出しを行い、ステップＳ４１６に進む。

ステップＳ４１６では、ステップＳ４１５で取得した撮像素子１０６の画像を利用して、第二焦点検出部２１３が焦点検出を行い、焦点制御部２２３に結果を送り、ステップＳ４１７に進む。

ステップＳ４１７では、ステップＳ４１５で取得した撮像素子１０６の画像を利用して、顔・動き検出部２３１が、画像内に存在する顔画像の座標や、指定した被写体の座標を検出する。顔・動き検出結果の取得が終わったら、ステップＳ４１８に進む。

ステップＳ４１８では、ステップＳ４１３で取得した撮像素子１０５の焦点検出結果と、ステップＳ４１６で取得した撮像素子１０６の焦点検出結果の差分データを算出してメモリ１３２に記憶するようＣＰＵ１３１が制御する。焦点検出結果の差分データの算出が終わったら、ステップＳ４１９に進む。

ステップＳ４１９では、ＣＰＵ１３１は、メインスイッチ１６１の状態を取得し、オフ状態であれば、撮影処理を終了する。オン状態であれば、ステップＳ４０２に戻り、処理を継続する。

以上のように、本実施例のフォーカス優先静止画連続撮影モードでは、撮像素子１０６が優先制御する撮像素子として扱われるため、そうでない場合と比較してフォーカスレンズの被写体に対する追従精度が高まる。これにより、より被写体にピントの合った状態で連続撮影を行うことができる。

［拡大ライブビュー表示処理（図１０）］
図１０のフローチャートを参照して、拡大ライブビュー処理を説明する。本フローチャートはユーザによる拡大ライブビュー開始指示がなされた場合であるため、撮像素子１０５が優先設定となる。

まず、ステップＳ５０２で、ＣＰＵ１３１は、ステップＳ５０１で決定した優先制御する撮像素子の画像取得タイミングに合わせて、従属する撮像素子の画像取得タイミングを変更することで、画像取得タイミングを調整する。画像取得タイミング変更処理の詳細については前述の処理と同様である。画像取得タイミング変更処理が終了したら、ステップＳ５０３、及びステップＳ５０６の平行処理に進む。

ステップＳ５０３では、ＣＰＵ１３１は、ユーザによる上下左右選択ボタン１６６操作、または後述の撮像素子１０６の顔・動き検出結果を元に、撮像素子１０５の読出し位置を決定して、ステップＳ５０４に進む。

ステップＳ５０４では、撮像素子１０５は、画像の蓄積とステップＳ５０４で決定した読出し位置での読出しを行い、ステップＳ５０９に進む。

ステップＳ５０５では、ステップＳ５０４で読み出した信号に基づく画像を拡大ライブビュー表示する。

ステップＳ５０６では、撮像素子１０６は、画像の蓄積と読出しを行い、ステップＳ５０７に進む。

ステップＳ５０７では、ステップＳ５０６で取得した撮像素子１０６の画像を利用して、顔・動き検出部２３１が、画像内に存在する顔位置の座標や、指定した被写体位置の座標を検出する。顔・動き検出結果の取得が終わったら、ステップＳ５０８に進む。

ステップＳ５０８では、ＣＰＵ１３１は、ステップＳ５０７で取得した、顔位置の座標や、被写体位置の座標を、撮像素子における読出し位置へと換算する。撮像素子の読出し位置算出が終わったら、ステップＳ５０９に進む。

ステップＳ５０９では、ＣＰＵ１３１は、ユーザによる拡大ライブビュー終了指示がなされたかを判断し、拡大ライブビュー終了指示がなされた場合、撮影処理を終了する。拡大ライブビュー終了指示がなされていない場合、ステップＳ５０２に戻り、処理を継続する。

以上のように、拡大ライブビュー表示モードは、取得した画像を拡大してライブビューするモードである。このため、本モードでは撮像素子１０５（静止画用撮像素子）を優先してＣＰＵ１３１が制御する。

前述の制御を行うことで、拡大ライブビュー表示では、撮像素子１０５が優先制御する撮像素子として扱われるため、撮像素子１０５で部分的な読出しを行いながら、同じタイミングで、より広い画角となる撮像素子による顔・動き検出等の検出結果が得られる。また、撮像素子による顔・動き検出結果を撮像素子１０５の読出し位置に反映させることで、リアルタイムに変化する被写体位置に合わせた拡大ライブビュー表示が可能となる。

［画像取得タイミング変更処理（図７）］
次に、画像取得タイミング変更処理の詳細について、図７のフローチャートを参照して説明する。ここでは、前述したように一方の撮像素子の信号に基づく検出結果を他方の撮像素子に反映する場合のタイミングのバラつきを低減するようＣＰＵ１３１が画像取得のタイミングを制御する。すなわち、撮像素子１０５のフレームレートと撮像素子１０６のフレームレートとが、優先する撮像素子のフレームレートを基準に整数倍の関係になる（周期を合わせる）よう制御する。

また、検出結果を取得するための撮像素子１０６の画像取得タイミングよりも撮像素子１０５の画像取得タイミングを第１の所定時間遅くする（位相をずらす）よう制御する。本実施例では一例として、撮像素子１０５の蓄積開始のタイミングを撮像素子１０６の蓄積開始のタイミングよりも第１の所定時間遅くするよう制御する。これにより、撮像素子１０６による検出から撮像素子１０５の蓄積までのタイムラグをより短縮することができる。

まず、画像取得タイミング変更処理を開始したら、ステップＳ３０１に進み、ＣＰＵ１３１は、優先設定処理の際に設定した優先設定（いずれの撮像素子を優先制御するか）を取得して、ステップＳ３０２に進む。

ステップＳ３０２では、ＣＰＵ１３１は、優先設定が撮像素子１０５かどうかを判断する。優先設定が撮像素子１０５の場合、ステップＳ３０３に進み、優先設定が撮像素子１０５でない場合、ステップＳ３０５に進む。

ステップＳ３０３では、ＣＰＵ１３１は、基準となる撮像素子１０５の画像取得タイミングを、撮像素子制御部２２２経由で取得して、ステップＳ３０４に進む。

ステップＳ３０４では、ＣＰＵ１３１は、ステップＳ３０３で取得した撮像素子１０５の画像取得タイミングに合わせて、撮像素子１０６の画像取得タイミングを、撮像素子制御部２２２経由で変更し、画像取得タイミング変更処理を終了する。

ステップＳ３０５では、ＣＰＵ１３１は、優先制御する撮像素子の設定が撮像素子１０６かどうかを判断する。優先制御する撮像素子の設定が撮像素子１０６の場合、ステップＳ３０６に進み、優先制御する撮像素子の設定が撮像素子１０６でない場合、画像取得タイミング変更処理を終了する。

ステップＳ３０６では、ＣＰＵ１３１は、基準となる撮像素子１０６の画像取得タイミングを、撮像素子制御部２２２経由で取得して、ステップＳ３０７に進む。

ステップＳ３０７では、ＣＰＵ１３１は、ステップＳ３０６で取得した撮像素子１０６の画像取得タイミングに合わせて、撮像素子１０５の画像取得タイミングを、撮像素子制御部２２２経由で変更し、画像取得タイミング変更処理を終了する。

前述の制御を行うことで、レリーズ優先静止画連続撮影では、撮像素子１０５が優先制御する撮像素子として扱われるため、静止画撮影の間隔を一定に保ちながら、撮像素子１０６の画像を元に検出した露出や焦点距離を安定して適用することができる。

［本実施例の効果］
以上のように、本実施例では、ＣＰＵ１３１（決定手段）優先して制御をすることを決定した撮像素子の画像取得タイミングに基づいて他方の撮像素子の画像取得タイミングをＣＰＵ１３１（制御手段）が制御する。これにより、一方の撮像素子の信号に基づく検出結果を他方の撮像素子に反映する場合のタイミングのバラつきを低減することができる。

［その他の実施形態］
なお、前述の実施例では撮像素子１０５を静止画用撮像素子、撮像素子１０６を動画用撮像素子として説明した。そして前述の実施例では撮像素子１０６は各画素部から取得した信号を加算して読み出すことでフレームレートをより高くしていることを説明した。これに代えて撮像素子１０５の画素数が撮像素子１０６の画素数よりも多くなるようにしても良い。これにより、撮像素子１０６のフレームレートを撮像素子１０５のフレームレートよりもより高くすることができる。この場合、撮像素子１０５の画素ピッチを撮像素子１０６よりも小さくし、その分撮像素子１０５の画素数を撮像素子１０６の画素数よりも増やすようにしても良い。また、信号の加算も行いつつ、上述のように撮像素子１０５と撮像素子１０６とで画素数が画素ピッチを異ならせても良い。

また、ステップＳ４０３において、デフォーカス量の変化量が第２の所定値未満であれば、設定変更がなかったと判定するようにしても良い。被写体の奥ゆき方向の移動が少ない場合は焦点検出結果の差分データに大きな変化が生じないと考えられるためである。

以上、本発明の好ましい実施の形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ カメラ（撮像装置）
１０５ 撮像素子
１０６ 撮像素子
１３１ ＣＰＵ（制御手段・決定手段）

Claims (14)

1. 第１の撮像素子と、
   第２の撮像素子と、
   前記第１の撮像素子と前記第２の撮像素子の画像取得タイミングを制御する制御手段と、
   前記第１の撮像素子と前記第２の撮像素子のいずれの画像取得タイミングを前記制御手段が優先して制御を行うかを決定する決定手段と、を有し、
   前記制御手段は、前記決定手段が優先して制御をすることを決定した撮像素子の画像取得タイミングに基づいて他方の撮像素子の画像取得タイミングを制御することを特徴とした撮像装置。
2. 前記決定手段は、第１の撮像素子を優先して制御し、第２の撮像素子を従属させて制御と決定することを特徴とした請求項１に記載の撮像装置。
3. 前記決定手段は、第２の撮像素子を優先して制御、第１の撮像素子を従属させて制御と決定することを特徴とした請求項１に記載の撮像装置。
4. 前記第１の撮像素子の画像から焦点検出する第１の焦点検出手段と、
   前記第２の撮像素子の画像から焦点検出する第２の焦点検出手段と、
   前記第１の焦点検出手段による焦点検出結果と、前記第２の焦点検出手段の焦点検出結果との差分を記憶する記憶手段と、
   前記第１の焦点検出手段又は前記第２の焦点検出手段による焦点検出結果と前記記憶手段が記憶している前記差分に基づいて焦点制御を行う焦点制御手段を備えることを特徴とした請求項１に記載の撮像装置。
5. 前記記憶手段は、前記差分に所定以上の変化があったと判定した場合には、前記記憶手段に記憶している前記差分を更新して記憶することを特徴とした請求項４に記載の撮像装置。
6. 前記記憶手段は、焦点距離の第１の所定値以上の変化があった場合に、前記差分に所定以上の変化があったとして、前記記憶手段に記憶している前記差分を更新して記憶することを特徴とした請求項５に記載の撮像装置。
7. デフォーカス量の変化量が第２の所定値未満である場合には、焦点検出結果の差分を更新しないことを特徴とした請求項４乃至請求項６のいずれか１項に記載の撮像装置。
8. 第１の撮像素子の部分的な領域を読出しライブビュー表示に利用する場合には、
   前記決定手段は、第１の撮像素子を優先して制御し、第１の撮像素子を従属させて制御することを決定することを特徴とした請求項１乃至請求項７のいずれか１項に記載の撮像装置。
9. 前記制御手段は、前記決定手段が優先して制御すると決定した撮像素子のフレームレートと、従属させて制御すると決定した撮像素子のフレームレートとが整数倍の関係になるよう、前記決定手段が従属させて制御すると決定した撮像素子のフレームレートを変更するよう制御することを特徴とした請求項１乃至請求項８のいずれか１項に記載の撮像装置。
10. 前記制御手段は、前記第１の撮像素子の画像取得タイミングが前記第２の撮像素子の画像取得タイミングよりも第１の所定時間遅くなるように制御することを特徴とした請求項９に記載の撮像装置。
11. 前記第１の撮像素子は前記第２の撮像素子と比較して画素数が多いことを特徴とする請求項１乃至請求項１０のいずれか１項に記載の撮像装置。
12. 前記第１の撮像素子は前記第２の撮像素子と比較して画素ピッチが小さいことを特徴とする請求項１乃至請求項１１のいずれか１項に記載の撮像装置。
13. 撮像光学系から入射する光を２つの光束に分割して、一方の光束を前記第１の撮像素子に、他方の光束を前記第２の撮像素子に１次結像させる光束分割手段を有することを特徴とする請求項１乃至請求項１２のいずれか１項に記載の撮像装置。
14. 第１の撮像素子及び第２の撮像素子を有する撮像装置の制御方法において、
    前記第１の撮像素子と前記第２の撮像素子の画像取得タイミングを制御する制御ステップと、
    前記第１の撮像素子と前記第２の撮像素子のいずれの画像取得タイミングを前記制御ステップで優先して制御を行うかを決定する決定ステップと、を有し、
    前記制御ステップでは、前記決定ステップで優先して制御をすることを決定した撮像素子の画像取得タイミングに基づいて他方の撮像素子の画像取得タイミングを制御することを特徴とした撮像装置の制御方法。

Images