JP2016134886A

JP2016134886A - 撮像装置およびその制御方法

Info

Publication number: JP2016134886A
Application number: JP2015010344A
Authority: JP
Inventors: 樋口　大輔; Daisuke Higuchi; 大輔樋口
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-01-22
Filing date: 2015-01-22
Publication date: 2016-07-25

Abstract

【課題】複数の光学系および撮像素子を備える撮像装置において、撮影待機中の消費電力を低減すること。
【解決手段】撮像装置は、複数の光学系を構成するレンズ群と、各光学系を通してそれぞれ撮像する複数の撮像素子と、画角確認用の表示部を備える。制御部は、撮影待機中であるか否かを判断し（Ｓ１０１）、撮像装置が撮影待機中である場合には、表示部に表示させる映像および撮影情報を生成するために必要な撮像素子のみを駆動させ、その他の撮像素子を停止させる制御を行う（Ｓ１０２）。撮像装置が撮影待機中でない場合には、全ての撮像素子が駆動される（Ｓ１０３）。
【選択図】図１４

Description

本発明は、複数の光学系および撮像素子を備える撮像装置とその制御方法に関する。

近年、コンピュテーショナルフォトグラフィ（ＣｏｍｐｕｔａｔｉｏｎａｌＰｈｏｔｏｇｒａｐｈｙ）という技術を搭載した撮像装置が研究されている。これは、単に画像の輝度や色のデータを保存するだけでなく、従来の撮像装置では記録されなかった情報を撮像素子で取り込み、画像データとともに保存することで、画像処理ＬＳＩで様々な処理を行う技術である。

新たに記録する代表的な情報として、被写体からの光の入射角度や奥行きの情報がある。従来の撮像装置では記録できなかった情報を使用し、被写体を撮像したときに一意に決定されていたフォーカス、アイリスによる被写界深度、焦点距離などを、撮影後の画像処理により正確に再現できる。被写体のライトフィールド（以下、ＬＦと記す）と呼ばれる光線情報を記録することで、従来の撮像装置では実現できなかった機能をもつ撮像装置が提案されている。実際に撮影した画像について、撮影後に焦点位置を変更できるカメラが発表されている。

次にＬＦデータの代表的な取得方法として、多視点で画像を取得する方法について説明する。例えば、１台の撮像装置で焦点距離を変えて複数の画像を取得し、それらを１枚の画像としてデータを記録することにより、その画像の焦点距離を後から画像処理で自由に変更することができる。また、カメラを水平方向または垂直方向に移動させて複数枚の画像を取得することで、それらの画像の視差から被写体の距離情報を取得できる。このような方法では、単一の撮像装置または撮像素子を用いるので、動体である被写体に対してＬＦデータを有効に取得することができないというデメリットがある。

上述したデメリットを補いつつ、多視点で画像を取得するために、複数の撮像素子や撮像装置を用いる方法が提案されている。複数の撮像素子または撮像装置をアレイ状に配置することで、取得する画像に同時性を持たせるとともに、複数の画像データを取得することでＬＦデータの情報量を増やすことができる。しかし、複数の撮像素子または撮像装置が必要であるので、消費電力の増加や装置の大型化を伴うというデメリットもある。特許文献１には、複数の撮像素子を備える撮像装置において消費電力の増加を抑える技術として、信号処理回路を共通化する方法が提案されている。

特開平７−７６５３号公報

特許文献１に開示の技術では、信号処理部の消費電力を低減できるが、複数の撮像素子は常に駆動される。このため、撮像部の消費電力が大きいことや、それに伴い、カメラ本体部の発熱およびバッテリーの消耗が問題となっていた。
本発明の目的は、複数の光学系および撮像素子を備える撮像装置において、撮影待機中の消費電力を低減することである。

本発明に係る撮像装置は、複数の光学系を構成するレンズ群と、前記複数の光学系をそれぞれ通して撮像する複数の撮像素子と、前記撮像素子により取得される画像を表示する表示手段と、撮影待機中である場合、前記複数の撮像素子から選択した撮像素子を駆動させ、該撮像素子の出力から前記表示手段に表示させる画像または撮影情報を生成する制御を行うとともに、駆動させた撮像素子以外の撮像素子を停止させる制御を行い、撮影待機中でない場合には前記複数の撮像素子を全て駆動させる制御を行う制御手段と、を備える。

本発明によれば、撮影待機中の消費電力を低減することができる。

本発明の実施形態に係る撮像装置を表す図である。本発明の実施形態における光学系（A,B,C,D）の構造を示す図である。本発明の実施形態に係るフォーカス群の作用（被写体距離が無限遠の場合）の説明図である。本発明の実施形態に係るフォーカス群の作用（被写体距離が有限の場合）の説明図である。本発明の実施形態に係るフォーカス群を移動させた場合の作用の説明図である。本発明の実施形態に係る光学系の配置を説明する図である。本発明の実施形態に係る撮像装置の全体ブロック図である。本発明の実施形態に係る撮像部のブロック図である。本発明の実施形態に係る距離測定の原理図である。本発明の実施形態に係る多眼画像処理部の処理を説明するフローチャートである。本発明の実施形態における再構成画像の生成処理の説明図である。本発明の実施形態における記録用の信号フォーマットの説明図である。本発明の実施形態における通信用の信号フォーマットの説明図である。本発明の第１の実施形態を説明するフローチャートである。本発明の第１の実施形態における表示例を示す図である。本発明の第２の実施形態を説明するフローチャートである。本発明の第２の実施形態における表示例を示す図である。本発明の第３の実施形態を説明するフローチャートである。本発明の第３の実施形態における表示例を示す図である。

以下に、本発明の各実施形態に共通する構成として、一実施例である撮像装置全体の構成について、図１から図１３を参照して説明する。その後、図１４から図１９を参照して本発明の第１から第３の実施形態をそれぞれ説明する。
図１（Ａ）は撮像装置の一実施例を表す正面図であり、図１（Ｂ）は図１（Ａ）に示す撮像装置の背面図である。以下では、被写体側を正面側と定義して各部の位置関係を説明する。カメラ本体部１は、複数の結像光学系（図１（Ａ）にて円形枠でそれぞれ示す）により構成される撮影レンズ部２を正面側に備える。撮影レンズ保持部３は、撮影レンズ部２を保持する。シャッターレリーズボタン４はユーザが撮影時に操作し、ズームレバー５はユーザがズーム操作に使用する。グリップ部６はユーザが撮像装置を把持する部分である。カメラ本体部１の背面には、撮影画像などを表示するモニタ７が配置されている。モニタ７の横には、ユーザが撮影モードを選択する際に操作するモードダイヤル８と、露出補正のためのＡＥ（Auto Exposure）ダイヤル９が配置されている。

次に、図２を参照して、光学系（A,B,C,D）の構造を説明する。
撮像レンズ部２は、異なる４つの焦点距離の光学系（A,B,C,D）をそれぞれ４個ずつ用いて構成される。つまり撮像レンズ部２は、４種類の光学系を正方格子状に４個ずつ配列させた、１６個の光学系を備える。光学系Aは、光軸Ｏａ上にて、物体側から順に凹レンズ１１ａ、凸レンズ１２ａ、凸レンズ１３ａ、凹レンズ１４ａから構成され、その像面に撮像素子１５ａが配置されている。光学系Bは、光軸Ｏｂ上にて、物体側から順に凹レンズ１１ｂ、凸レンズ１２ｂ、凸レンズ１３ｂ、凹レンズ１４ｂから構成され、その像面に撮像素子１５ｂが配置されている。光学系Cは、光軸Ｏｃ上にて、物体側から順に凸レンズ１１ｃ、凹レンズ１２ｃ、凹レンズ１３ｃ、凸レンズ１４ｃから構成され、その像面に撮像素子１５ｃが配置されている。光学系Dは、光軸Ｏｄ上にて、物体側から順に凸レンズ１１ｄ、凹レンズ１２ｄ、凹レンズ１３ｄ、凸レンズ１４ｄから構成され、その像面に撮像素子１５ｄが配置されている。

４つの撮像素子１５ａから１５ｄの前側（被写体側）には光学部材１７が配置される。光学部材１７は、エレクトロ・ルミネッセンス・フィルタなどの光量調整素子である。本実施形態では、光学部材１７は各光学系（A,B,C,D）に共通の減光率で作用する。さらに、複数の光学系が近接して配置されるため、隣り合う光学系からの不要な光が撮像素子に到達しないように不図示の開口絞りまたは遮光壁が設けられる。開口絞りまたは遮光壁は、レンズ間、およびレンズと撮像素子との間で光線の有効範囲を限定する。

光学系Aの焦点距離をfaと記し、光学系Bの焦点距離をfbと記し、光学系Cの焦点距離をfcと記し、光学系Dの焦点距離をfdと記すとき、以下の関係式が成立するように各光学系が構成されている。

図２において点線枠で囲んだ部分Fは、撮影時の被写体距離（撮像装置から被写体までの距離）に応じて移動するフォーカス群を示す。図３から図５を参照してフォーカス群の作用について説明する。
図３は被写体距離が無限遠のときに焦点が合っている状態での各光学系を示す。図３に示す黒矢印は結像している像を表す。図４は被写体が有限距離に移動した状態での各光学系を示す。この場合、各光学系のフォーカス群は移動していないので、結像位置が撮像素子１５a〜１５ａの各位置からずれていることを示している。白矢印は図３に示す無限遠の場合の結像位置（撮像素子上）での像を表し、下向きの黒矢印は被写体が有限距離に移動したときの結像位置での像を表す。この場合、各光学系（A,B,C,D）の焦点距離がそれぞれ異なるため、結像位置の移動量（黒矢印と白矢印との間隔）が異なる。

光学系Aのピント移動量をΔaと記し、光学系Bのピント移動量をΔbと記し、光学系Cのピント移動量をΔcと記し、光学系Dのピント移動量をΔdと記すと、以下の関係となる。

図５はフォーカス群Fを物体側に移動させた状態を示している。白矢印はフォーカス群Fを移動させる前の結像位置での像（図４参照）を表す。下向きの黒矢印はフォーカス群Fを移動させた後の結像位置（撮像素子上）での像を表す。
各光学系（A,B,C,D）のフォーカス群は、下記の通りである。
・光学系A：凹レンズ１１ａと凸レンズ１２ａの合成光学系（光軸Ｏａ方向の移動量に対する結像位置の移動の敏感度をβaと記す）。
・光学系B：凹レンズ１１ｂと凸レンズ１２ｂの合成光学系（光軸Ｏｂ方向の移動量に対する結像位置の移動の敏感度をβbと記す）。
・光学系C：凸レンズ１１ｃと凹レンズ１２ｃの合成光学系（光軸Ｏｃ方向の移動量に対する結像位置の移動の敏感度をβcと記す）。
・光学系D：凸レンズ１１ｄと凹レンズ１２ｄの合成光学系（光軸Ｏｄ方向の移動量に対する結像位置の移動の敏感度をβdと記す）。

この場合、以下の関係式を満たすことで、各フォーカス群の繰り出し量が同一となる。

よって、焦点調節時に各光学系を一体で移動させる場合でも、それぞれの光学系の結像位置を各撮像素子の位置に一致させることができる。

図６は、撮影レンズ部２における複数の光学系の配置を説明する図である。円形枠は、撮影レンズ部を構成する１６個の光学系をそれぞれ示す。円形枠内には、前記した４種類の、焦点距離が異なるユニット（レンズ群）から構成される光学系を区別するために、記号A,B,C,Dをそれぞれ付して示す。光学系（A,B,C,D）の光軸重心が、点Ｏgで一致するように配置される。光軸重心は各光学系の光軸から決定される主光軸を正面側から見た場合の光学的な中心である。

図７は撮像装置の構成例を示すブロック図である。
システム制御部２１は撮像装置全体の制御を統括し、撮影動作を制御する。システム制御部２１は、ＣＰＵ（中央演算処理装置）と、ＣＰＵが実行する制御プログラムを格納するＲＯＭ（読出し専用メモリ）を備える。操作部３０は、ユーザがカメラに対して指示を与えるために操作するキーやボタンなどの入力デバイスを備える。システム制御部２１は、これらの入力デバイスの操作信号に応じて、撮像装置のモード遷移やメニュー画面や各種情報などを表示するためのデータをモニタ部４３へ供給し、撮影時または再生時の画像とともに表示させる。

ユーザが操作部３０により撮影指示を行うと撮影動作が開始する。システム制御部２１は撮影指示を受け付けると、撮影指示信号を撮像部２２へ送る。図８を参照して撮像部２２の動作を詳細に説明する。
撮像部２２は、撮像レンズ部２で結像される被写体像を光電変換して画像信号を出力する。撮像部２２は、図２に示した複数の光学系（A,B,C,D）と、各光学系に対応した複数の撮像素子１５と、光学部材１７、複数のＡ（アナログ）／Ｄ（デジタル）変換部４１を備える。システム制御部２１は撮影指示信号を、それぞれの撮像素子１５に出力する。撮像素子１５では所定期間の露光後に、光電変換により電荷が生成さる。撮像素子１５は、例えばＣＭＯＳ（相補型金属酸化膜半導体）型イメージセンサであり、ローリングシャッター方式により撮像信号がアナログ処理にて所定の読み出しタイミングで取得される。Ａ／Ｄ変換部４１は、読み出されたアナログ信号をデジタルデータ列に変換し、転送部２３へ出力する。

図７の転送部２３は複数の光学系（A,B,C,D）によりそれぞれ取得された撮像信号を、後工程の現像処理と画像処理と、処理部の構成に応じて、データ出力の順番およびタイミングを適宜に調整して画像修復部４２に出力する。画像修復部４２は、画素ごとにノイズの低減や画素欠陥補正などを行い、いわゆるRAWデータとして現像部２４へ出力する。現像部２４は、各画素について色補間処理を行って画像信号を生成し、所定のダイナミックレンジのデジタル撮像信号として画像処理部２５へ出力する。現像部２４が行う色補間処理では、撮像素子(１５ａから１５ｄ)のカラーフィルタ構造に対応して、全画素にＲ（赤），Ｇ（緑），Ｂ（青）の各色情報がそれぞれ割り当てられるように色デコード処理が実行される。操作部３０に含まれるシャッターレリーズボタン４をユーザが押下すると、システム制御部２１は画像処理部２５に画像処理を指示する。画像処理部２５は、さらにホワイトバランス補正、ガンマ補正、シャープネス補正、彩度補正などの画像処理を行う。

距離演算部２８は、画像処理部２５から、同一の焦点距離である複数の光学系による画像信号を取得して、距離マップを測定により算出する。以下、図９を参照して距離マップの生成に関して説明する。
図９は、距離測定の原理図である。図９（Ａ）には、同じ焦点距離の２つのレンズ系A1,A2を示している。各レンズ系の光軸をo1,o2で示す。被写体Pからの光は２つのレンズ系A1,A2により、それぞれに対応する撮像素子での位置p1,p2に結像し、撮像信号として読み出される。各レンズ系の主点の位置から被写体Pまでの距離をLと記し、２つの光軸o1と光軸o2の間隔をDと記す。各レンズ系の主点から撮像素子までの距離をFaと記す。各撮像素子の撮像面S1，S2にて、各レンズ系の光軸o1,o2から結像点までの距離をそれぞれd1,d2と記す。この場合、以下の関係式が成り立つ。

ここで、(d1+d2)は図９（Ｂ）に示すように、２つの撮像画像をそれぞれの光軸が一致するようにして表示すると、被写体像の位置p1,p2に対し、撮像面（S1,S2）上での間隔Δとなる。

異なる光軸の画像から被写体像の対応点をブロックマッチング法などにより、相関検出式特徴点マッチング手法を用いて検出し、撮像素子の像面上の間隔を計算する処理が実行される。そして予めメモリなどに記憶されている撮影状態の情報を用いて計算式により、被写体までの距離を算出する処理が実行される。撮影状態の情報とは、レンズ系の主点から撮像素子までの距離Faの情報と、光軸の間隔Dの情報である。この計算を画面全体にて実行することで距離マップが生成される。なお、視差のある２つの画像を用いて距離マップを生成する方法を説明したが、物体の影などにより対応点がない画像を補うためには、３以上の画像が使用される。距離演算部２８が算出した距離マップは、システム制御部２１を介して、画像処理部２５や多眼画像処理部２６にフィードバックされる。距離情報は、後述の再構成画像信号に対して、被写体距離に応じた暈けを重畳処理するといった特殊効果の画像処理にも用いることができる。また、より多くのレンズ系を使用することでオクルージョンの問題やレンズ系の誤差などに対するロバスト性が向上する。

図７の多眼画像処理部２６は、ユーザが操作部（図１のズームレバー５参照）で指示した撮影画角の仮想光軸に基づいて撮影したＲＧＢ画像を生成する。このＲＧＢ画像の信号を、以下、再構成画像信号と呼ぶ。仮想光軸とは、図６に示した視点の重心（各光軸の中心Ｏg）に仮想のレンズ系を設定したときの光軸である。ここでは４つの視点でのＲＧＢ画像信号から、仮想光軸に視点を補正した画像信号が生成される。さらに、ユーザが指定した撮像画角に関し、その焦点距離が各光学系（A,B,C,D）の焦点距離と異なる場合には電子ズーム処理が画像処理により行われる。すなわち、ユーザが指定した撮像画角よりも１段階広角の焦点距離の光学系で撮影した再構成画像信号から、指定した画角に相当する画像領域を切り出す電子ズーム処理が実行される。

図１０のフローチャートを参照して、多眼画像処理部２６が行う処理を説明する。
Ｓ００１で多眼画像処理部２６は画像処理部２５から画像信号を読み込み、Ｓ００２で同一焦点距離の画像をグループ化する。Ｓ００３で多眼画像処理部２６は焦点距離に応じた演算係数を読み込む。演算係数とは、焦点距離やイメージサイズ、光学系の間隔などの、視点の補正に必要なデータである。Ｓ００４で多眼画像処理部２６は、演算係数を用いて視点の補正を行い、再構成画像信号を生成する。Ｓ００５は、全ての焦点距離について補正処理を終了したか否かの判定処理である。補正処理が終了した場合、Ｓ００６へ処理を進めるが、未終了の場合にはＳ００４へ処理を戻す。Ｓ００６で多眼画像処理部２６は、システム制御部２１からの画角の指示により、画像領域の切り出しが必要か否かを判定する。画像領域の切り出しが必要であると判定された場合、Ｓ００７へ処理を進め、不必要の場合にはＳ００９へ移行する。Ｓ００７で多眼画像処理部２６は、指示された画角よりも広角の再構成画像信号を読み込む処理を行い、Ｓ００８では画像領域の切り出しを行う。Ｓ００９で多眼画像処理部２６は、切り出された画像領域の信号を指定画角での再構成画像信号として出力し、一連の処理を終了する。

図１１を参照して、再構成画像の生成方法を説明する。なお、図１１では図９で使用した記号と同じ記号を付している。図１１（Ａ）において、前述のように被写体Pからの光は２つのレンズ系A1,A2により、それぞれ対応する撮像素子の撮像面S1，S2上での各位置p1,p2に結像して、光電変換により撮像信号として読み出される。

まず、画像の輝度信号分布や色信号分布の相関性に基づいて、異なるレンズ系A1,A2でそれぞれ生成された画像から対応点の位置p1,p2を抽出する処理が実行される。次に上式（8）を用いて、レンズ系の主点の位置から被写体までの距離Lが算出される。図１１（Ｂ）に示すように、レンズ系A1,A2による画像の原点０を基準とした対応点の位置p1の座標を(x1,y1)とし、対応点の位置p2の座標を(x2,y2)とする。被写体距離Lと、２つの光軸o1と光軸o2との間隔Dと、各レンズ系の主点から撮像素子までの距離Faを用いて、撮像系原点０に対する計算上の被写体の位置P^*の座標(x^*,y^*)が算出される(y^*=L)。この場合の撮像系原点Oは、図１１（Ｂ）では２つのレンズ系A1,A2の中点である。逆トレース直線R1はP^*とp1に示す各点を通る直線であり、逆トレース直線R2はP^*とp2に示す各点を通る直線である。ここで、レンズ系の焦点距離の誤差やレンズ系と撮像素子の位置ずれ等から、図１１（Ｂ）における逆トレース直線R1,R2が計算上、三次元空間で交差しない場合があり得る。この場合には、２つの逆トレース直線が最も接近する位置に仮想の平面を設定し、この平面とそれぞれの逆トレース直線との交点の中点から位置座標を算出する処理が行われる。また、レンズ系の数が３以上の場合には、それぞれのレンズ系から求められる逆トレース直線を用いて同様の計算処理が実行される。

次に、図１１（Ｃ）に示すように、求めた計算上の被写体の位置P^* (x^*,y^*)を撮像系原点として、仮想的に配置した焦点距離Faのレンズ系A0により仮想の撮像面S0上に射影する処理が行われる。これにより、仮想の像の位置p0の座標(x0,y0)が算出される。このような画像処理を画像全体に対して実行することにより、仮想のレンズ系A0による仮想光軸の再構成画像が生成される。

図７の記録エンコード部３５は、多眼画像処理部２６から再構成画像信号を取得し、所定のフォーマットにしたがってエンコード処理を行う。図１２（Ａ）は所定のフォーマットを例示した概念図である。図１２（Ａ）のフォーマットでは、撮影の情報が格納されているファイルのヘッダ部と、画像データ部と、距離マップ部からなるデータ構造を示す。図１２（Ｂ）には、ヘッダ部のデータ構成例を詳細に示す。レンズの指定用領域には、カメラに設けられたレンズ系の構成に関する情報（構成数、例えば１６など）が格納され、レンズの情報の領域には、各レンズの画角情報などが格納される。レンズの位置関係の領域には、各レンズの光軸の位置関係を示す情報が格納される。レンズの指定の情報、レンズの情報、レンズの位置関係の情報は、前記の演算係数に相当する。撮影情報の領域には、ユーザが撮影を指示したときの画角の情報、撮影した場所の経度および緯度の情報、撮影時の時刻情報、撮影時のカメラの方向の情報が格納される。画素構造の領域には、記録された画像データに係る縦横の画素数の情報が格納される。画像形式の領域には、画像の圧縮の有無および圧縮の種類を示す情報が格納される。

図１２（Ａ）に示すように画像データ部には、ユーザが指示した画角で生成された再構成画像信号Eが記録される。その次に光学系Aで撮像された画像信号A1、A2、A3、A4が記録され、次に光学系Bで撮像された画像信号B1、B2、B3、B4が記録される。その次に光学系Cで撮像された画像信号C1、C2、C3、C4が記録され、次に光学系Dで撮像された画像信号D1、D2、D3、D4が記録される。なお図１２（Ａ）にて、A3,A4,B1,B2,B3,B4,C1,C2,C3,C4,D1,D2,D3は不図示である。

距離マップ部には、図１２（Ａ）に示すように、光学系Aで撮像された画像信号から取得される距離マップAが記録され、次に光学系Bで撮像された画像信号から取得される距離マップBが記録される。その次に光学系Cで撮像された画像信号から取得される距離マップCが記録され、次に光学系Dで撮像された画像信号から取得される距離マップDが記録される。図７の記録部３６は、記録エンコード部３５によりエンコード処理された信号を、不図示のメモリカードなどの記録媒体に記録する。

図７の通信エンコード部３７は、多眼画像処理部２６からの再構成画像信号を取得し、所定のフォーマットにしたがってエンコード処理を行う。図１３（Ａ）は所定のフォーマットを例示した概念図である。図１３（Ａ）のフォーマットでは、撮影の情報が格納されているファイルのヘッダ部、画像データ部、距離マップ部からなるデータ構造を示す。この実施例では、通信時のデータ量を削減するために、画像データ部には、以下の信号が順次に記録される。
・ユーザが指示した画角で生成された再構成画像信号E
・光学系Aで撮像され、視点を補正した画像信号A^*
・光学系Bで撮像され、視点を補正した画像信号B^*
・光学系Cで撮像され、視点を補正した画像信号C^*
・光学系Dで撮像され、視点を補正した画像信号D^*
なお図１３（Ａ）にてC^*は不図示であり、距離マップ部については図１２（Ａ）と同様である。

ヘッダ部には、図１３（Ｂ）に示すようにレンズの指定の情報、レンズの情報、撮影情報、画素構造の情報、画像形式の情報がそれぞれの領域に格納される。図７の通信部３８は、通信エンコード部３７によりエンコード処理された信号を、無線（Wi-Fiなど）を通じて外部サーバに送信する。

次に図７および図８を参照して、オートフォーカス制御に関して説明する。
ＡＦ（自動焦点調節）／ＡＥ（自動露出）評価部２９は、画像処理部２５からの画像信号の輝度成分を評価し、被写体に焦点が合っているか否かを判定する。ＡＦ／ＡＥ評価部２９は判定結果をシステム制御部２１に送信する。システム制御部２１は、ＡＦ／ＡＥ評価部２９の判定結果が非合焦の場合、撮像部２２のフォーカス群Fを移動させる指示とともにその移動量と移動方向の信号を駆動制御部３１に送信する。図８を参照して駆動制御部３１の動作を説明する。駆動制御部３１はシステム制御部２１からの指示に従って駆動部３２を制御し、不図示のモータを駆動してフォーカス群Fを合焦方向に移動させる制御を行う。フォーカス群Fの移動量はエンコーダ３３が検出し、検出信号は駆動制御部３１にフィードバックされる。駆動制御部３１は、エンコーダ３３により検出される移動量が、システム制御部２１から指示された移動量と一致するまで、フォーカス群Fを移動させる制御を行う。

図７および図８を参照して、自動露出制御に関して説明する。
ＡＦ/ＡＥ評価部２９は、画像処理部２５からの画像信号の輝度成分を評価し、露出が適切かどうかを判定する。判定結果はシステム制御部２１に送信される。システム制御部２１は、ＡＦ/ＡＥ評価部２９の判定結果が適正露出でない場合、撮像部２２の露出補正量を露出制御部３４に送信する。図８を参照して、露出制御部３４の動作を説明する。露出制御部３４はシステム制御部２１からの指示に従い、各撮像素子１５の露光期間や、光学部材（光量調整素子）１７の可視光の透過率を制御することで露光量を制御する。ここで撮像素子１５と光学部材１７の制御パターンについては、ユーザが操作部３０のモードダイヤル８やＡＥダイヤル９を操作することで、周知のＡＥプログラム線図の選択処理が行われる。

図７を参照して、手ぶれ補正の制御に関して説明する。
手ぶれ検出部４０は、いわゆるジャイロセンサや加速度センサ等を備え、撮影時の手ぶれ量と手ぶれの方向を検出し、検出信号をシステム制御部２１に送信する。システム制御部２１は、検出信号の示す手ぶれ量と手ぶれ方向に応じて、撮像素子１５の撮像信号を読み出す領域を変更する指示を撮像素子１５に対して行う。撮像信号を読み出す領域の変更量は光学系の焦点距離によって異なり、焦点距離が長いほど変更量が大きい。

図７を参照して、外部出力の制御に関して説明する。
外部装置への画像の出力については、ユーザが操作部３０から直接指示する場合や、カメラシステムのモード遷移に応じて対応する場合がある。ユーザの指示信号はシステム制御部２１に送られ、システム制御部２１から外部出力部３９に送信される。記録画像データを出力する場合、外部出力部３９は、記録部３６により記録された画像データのうち、ユーザが選択したファイルのデータを再生し、再構成画像信号を読み出す。読み出された再構成画像信号は、ＰＣ（パーソナルコンピュータ）や外部モニタ装置などの、出力先装置に応じたフォーマットに変換された後で映像出力端子から出力される。また、撮影した画像を直接出力する場合には、多眼画像処理部２６からの再構成画像信号が、出力先装置に応じたフォーマットに変換された後で映像出力端子から出力される。

次に、モニタ画像処理部２７が行う画像表示制御に関して説明する。モニタ７への画像の表示をユーザが直接指示する場合と、再生機器システムのモード遷移に応じて対応する場合がある。このとき、モニタ７には、記録された画像のサムネイル画像が表示され、ユーザはモニタ上のタッチパネルを手指で直接触れることで画像の指定および選択が行える。サムネイル画像は、撮影時にユーザが指定した画角での縮小画像である。ユーザの指示信号はシステム制御部２１に送られ、システム制御部２１からモニタ画像処理部２７に送信される。

［第１の実施形態］
以下、本発明の第１の実施形態を説明する。本実施形態では、撮影待機中に１つの撮像素子による映像をモニタに出力する例を示す。

図１４は、本実施形態における制御を説明するフローチャートである。以下の処理はシステム制御部２１がプログラムを解釈して実行することにより実現される。
Ｓ１０１でシステム制御部２１は、カメラが撮影待機中であるかどうかを判断する。カメラが撮影待機中であると判断された場合、Ｓ１０２へ処理を進める。他方、撮影待機中でないと判断された場合、例えばカメラが撮影記録中であると判断された場合にはＳ１０３へ移行する。Ｓ１０２でシステム制御部２１は、１つの撮像素子のみを駆動させ、他の撮像素子を停止させるように制御する。駆動された１つの撮像素子の出力は、モニタ部４３へ表示用信号として出力される。この場合、システム制御部２１により駆動制御される撮像素子としては、複数の光学系のうちで焦点距離が最も短く、光軸重心Ｏgに近い光学系を通して撮像する撮像素子が使用される。最短の焦点距離を有する光学系の撮像素子を使用する理由は、画角確認の際、最もワイド（広角）側まで表示でき、テレ（望遠）側へのズーム制御を行う場合に電子ズームを用いて任意の画角に拡大することができるからである。したがって、ユーザは、ワイド側からテレ側までの、全ての画角で画像を確認することが可能となる。また、光軸が最も光学中心に近い光学系の撮像素子を使用する理由は、全ての撮像素子を用いて撮影を行った際の画角に対し、なるべく近い画角でモニタ部４３の画面上に画像を表示させるためである。

Ｓ１０３でシステム制御部２１は、全ての撮像素子を駆動制御し、各撮像素子により取得されるデータを記録する制御を行う。モニタ部４３の画面には、選択されたいずれか１つの撮像素子が出力する画像データに対応する映像を表示させてもよいし、複数の撮像素子の出力から生成された画像データに対応する映像を表示させてもよい。Ｓ１０４でシステム制御部２１は、カメラの装置本体部の電源ＯＦＦ操作が行われたかどうかを判定する。電源ＯＦＦ操作が行われた場合、一連の処理を終了し、電源ＯＦＦ操作が行われていない場合には、Ｓ１０１に戻って処理を継続する。

図１５は、本実施形態のモニタ出力映像を例示する。画角内には被写体１０１および１０２の各画像が表示されている。ズームバー１０３はモニタ部４３の画面に表示される映像について、焦点距離の可変範囲を示し、指標１０４は現在の焦点距離を示している。撮影待機中にモニタ部４３の画面に表示される映像は、１つの撮像素子の出力データから生成される映像である。また撮影記録中にモニタ部４３の画面に表示される映像は、いずれか１つの撮像素子の出力データから生成される映像または複数の撮像素子の出力データから生成される映像である。ユーザがズームレバー５を操作すると、指定された画角での映像が電子ズーム処理により生成されて、モニタ部４３の画面に表示される。
本実施形態によれば、撮影待機中には、ユーザが必要とする画角情報をモニタ画面に表示させるとともに、選択された撮像素子以外の撮像素子の駆動を停止させることで消費電力を低減できる。

［第２の実施形態］
次に本発明の第２の実施形態を説明する。本実施形態では、ズーム制御に応じて、モニタに出力する撮像素子による映像を切り替える例を示す。
図１６は本実施形態における制御を説明するフローチャートである。Ｓ２０１でシステム制御部２１は、カメラが撮影待機中であるかどうかを判断する。カメラが撮影待機中であると判断された場合、Ｓ２０２へ処理を進め、カメラが撮影待機中でないと判断された場合にはＳ２０９へ移行する。

Ｓ２０２でシステム制御部２１は、ズームレバー５によってユーザが指定したモニタ表示用の焦点距離（以下、指定焦点距離という）を閾値fbと比較する。指定焦点距離が閾値未満であると判断された場合、Ｓ２０５へ進み、システム制御部２１は焦点距離fa、fbの光学系を通して撮像する各撮像素子をそれぞれ駆動させる制御を行う。焦点距離faの光学系を通して撮像する撮像素子が出力する撮像信号はモニタ表示用の信号として出力される。一方、Ｓ２０２にて指定焦点距離が閾値以上であると判断された場合には、Ｓ２０３へ進む。Ｓ２０３でシステム制御部２１は、指定焦点距離を閾値fcと比較する。指定焦点距離が閾値未満であると判断された場合、Ｓ２０６へ進み、システム制御部２１は焦点距離fa，fb，fcの光学系を通して撮像する各撮像素子をそれぞれ駆動させる制御を行う。焦点距離fbの光学系を通して撮像する撮像素子が出力する撮像信号はモニタ表示用の信号として出力される。一方、Ｓ２０３にて指定焦点距離が閾値以上であると判断された場合には、Ｓ２０４へ進む。

Ｓ２０４でシステム制御部２１は、指定焦点距離を閾値fdと比較する。指定焦点距離が閾値未満であると判断された場合、Ｓ２０７へ進み、システム制御部２１は焦点距離fb，fc，fdの光学系を通して撮像する各撮像素子をそれぞれ駆動させる制御を行う。焦点距離fcの光学系を通して撮像する撮像素子が出力する撮像信号はモニタ表示用の信号として出力される。一方、Ｓ２０４にて指定焦点距離が閾値以上であると判断された場合、Ｓ２０８へ進む。Ｓ２０８でシステム制御部２１は、焦点距離fc，fdの光学系を通して撮像する各撮像素子をそれぞれ駆動する制御を行う。焦点距離fdの光学系を通して撮像する撮像素子が出力する撮像信号はモニタ表示用の信号として出力される。

Ｓ２０９でシステム制御部２１は全ての撮像素子を駆動させる制御を行う。この場合、いずれか１つの撮像素子の出力または複数の撮像素子の出力から生成される映像信号がモニタ部４３へ出力される。Ｓ２０５からＳ２０９のいずれかの処理後、Ｓ２１０でシステム制御部２１は、カメラの装置本体部の電源ＯＦＦ操作が行われたかどうかを判断する。電源ＯＦＦ操作が行われた場合、一連の処理を終了し、電源ＯＦＦ操作が行われない場合にはＳ２０１に戻り、処理を継続する。

図１７は、本実施形態のモニタ出力映像を例示する。図１５の表示例との相違点は、ズームバー２０１に表示される切り替えポイント２０３である。ズームバー２０１にて、指標２０２は現在の焦点距離を示し、撮像素子の切り替えポイント２０３は焦点距離fb，fc，fdにそれぞれ対応する位置を示す。モニタ画面に表示される映像は、指定焦点距離に応じた１つの撮像素子の出力データから生成される。ユーザがズームレバー５を操作して指定焦点距離を変更すると、１つの撮像素子の出力に対して電子ズーム処理を行った映像がモニタ部４３に出力される。指定焦点距離の変更において、撮像素子の切り替えポイント２０３を跨いだ場合、撮像素子の切り替えが行われ、選択された撮像素子の出力信号にしたがってモニタ画面に撮影画像が表示される。

本実施形態によれば、撮影待機中に指定焦点距離が変更された際に、複数の光学系をそれぞれ通して撮像する適切な撮像素子に切り替える処理が行われる。モニタ表示に必要のない撮像素子の駆動を停止させることにより、消費電力が抑えられる。また、モニタ表示用の出力として使用される撮像素子だけでなく、当該撮像素子を含めた複数の撮像素子が駆動される。つまり、当該撮像素子に対応する光学系の焦点距離（第１の焦点距離）に対してその前後の焦点距離（隣接する第２または第３の焦点距離）の光学系を通して撮像する撮像素子が駆動される。これによって、撮像素子の切り替えをスムーズに行うことができる。

［第３の実施形態］
次に本発明の第３の実施形態を説明する。本実施形態では、被写体の距離情報をモニタ画面に表示する例を示す。
図１８は、本実施形態における制御を説明するフローチャートである。Ｓ３０１、Ｓ３０３、Ｓ３０４の各ステップに示す処理は、図１４のＳ１０１、Ｓ１０３、Ｓ１０４の処理と同様であるので、それらの説明を省略し、Ｓ３０２の処理を説明する。

Ｓ３０１にてカメラが撮影待機中であると判断された場合、Ｓ３０２へ進む。システム制御部２１は、焦点距離の等しい２つの光学系を通して撮像する各撮像素子を駆動させ、その他の光学系の撮像素子を停止させる制御を行う。焦点距離の等しい２つの光学系を通して撮像する各撮像素子の出力に基づいて、モニタ画面に表示するための映像信号が取得され、モニタ画面に表示するための被写体の距離情報が算出される。この場合、被写体の距離情報の算出精度を上げるために、最も位置が離れた撮像素子、つまり図９（Ａ）に示す距離Dが最長となる２つの撮像素子が使用される。そうすることで被写体（図９（Ａ）：P参照）が光軸方向に動いた際に、２つの撮像素子上で被写体像の位置の差分（図９（Ｂ）：Δ参照）が大きくなり、被写体までの距離が算出し易くなる。Ｓ３０２の後、Ｓ３０４へ処理を進める。

図１９は、本実施形態のモニタ出力映像を例示する。図１５の場合と同様の部分（１０１〜１０４）については説明を省略し、相違点のみを説明する。
表示３０１は被写体の距離情報を示し、距離指標３０２はカメラから被写体１０１までの距離を示し、距離指標３０３はカメラから被写体１０２までの距離を示している。モニタ部４３への出力映像については、図１８のＳ３０２にて選択される２つの撮像素子のうち、１つの出力のみから生成される映像データを使用するか、または２つの撮像素子の出力から生成される映像データを使用する。距離表示の対象とする被写体の選択処理では、顔認識を用いて被写体を選択する処理や、タッチパネルの操作によりユーザが指定する処理が実行される。
本実施形態によれば、撮影待機中に、モニタ画面に被写体の距離情報を表示させることができるとともに、表示に必要のない撮像素子の駆動を停止させることで消費電力を低減できる。

以上のように、本発明の実施形態では、複数の光学系および撮像素子を備える撮像装置において、撮影待機中には、表示用の映像および情報を生成するために必要最低限の撮像素子を駆動させ、当該撮像素子以外の撮像素子を停止させる制御が行われる。よって、消費電力を低減でき、バッテリーの消耗を抑えることができる。また、表示に必要でない撮像素子を停止させることで、撮像部の温度上昇を抑制できる。撮像素子を停止させる方法として、以下の方法がある。
・撮像素子へ供給する電源を遮断する方法。
・撮像素子を駆動するクロック信号を停止させる方法。
・撮像素子のスタンバイ機能（撮像素子内部の一部の回路を停止させる機能）を使用する方法。
いずれか１つの方法を使用し、または複数の方法を併用してもよい。

前述した第１から第３の各実施形態に関しては、それぞれ独立した形態だけでなく、それらを組み合わせた形態も可能である。例えば、光学系の焦点距離に応じてモニタ出力用の撮像素子を切り替えるとともに、モニタ画面上に被写体の距離情報を表示させる形態がある。この場合、システム制御部は、現在の焦点距離に応じた光学系を通して撮像する撮像素子と、その前後の焦点距離を有する１つの光学系を通して撮像する撮像素子と、を選択して２組の駆動制御を行う。

また、前記実施形態では、撮影待機中に撮像素子の数を最も少なくする制御例を示したが、これに限らない。例えば、第１の実施形態において、待機中にモニタ出力用の撮像素子を１つとしたが、２以上の撮像素子を用いて、それらの出力信号を加算平均して画像データをモニタへ出力してもよい。そうすることで、駆動される撮像素子の数が１つの場合よりも消費電力は若干増加するが、Ｓ／Ｎ（信号対ノイズ）比の良い画像データをモニタに出力可能である。このように、モニタの表示性能および機能に応じて、使用する撮像素子の数を決定する処理が行われる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２１‥‥システム制御部
２２‥‥撮像部
２４‥‥現像部
２５‥‥画像処理部
２６‥‥多眼画像処理部
２７‥‥モニタ画像処理部
２８‥‥距離演算部
２９‥‥ＡＦ/ＡＥ評価部
３４‥‥露出制御部
３６‥‥記録部
３８‥‥通信部
４３‥‥モニタ部

Claims

複数の光学系を構成するレンズ群と、
前記複数の光学系をそれぞれ通して撮像する複数の撮像素子と、
前記撮像素子により取得される画像を表示する表示手段と、
撮影待機中である場合、前記複数の撮像素子から選択した撮像素子を駆動させ、該撮像素子の出力から前記表示手段に表示させる画像または撮影情報を生成する制御を行うとともに、駆動させた撮像素子以外の撮像素子を停止させる制御を行い、撮影待機中でない場合には前記複数の撮像素子を全て駆動させる制御を行う制御手段と、を備えることを特徴とする撮像装置。
前記制御手段は、前記複数の撮像素子により取得される画像データを記録媒体に記録する場合、前記複数の撮像素子を全て駆動させる制御を行うことを特徴とする請求項１に記載の撮像装置。
前記制御手段は、画角確認の際、前記複数の撮像素子のうちの１つの撮像素子を駆動させて前記表示手段に画像を表示させる制御を行うことを特徴とする請求項１または２に記載の撮像装置。
前記制御手段は、撮影待機中に、前記複数の光学系のうち、それぞれの光軸から決定される主光軸に近い光学系を通して撮像する撮像素子を選択することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
前記制御手段は、撮影待機中に、前記複数の光学系のうち、最も焦点距離の短い光学系を通して撮像する撮像素子を選択することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
前記複数の光学系は、焦点距離が異なるレンズ群によりそれぞれ構成されることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
前記表示手段に表示される画像の画角に対応する焦点距離を指定する指定手段をさらに備え、
前記制御手段は、撮影待機中に、前記指定手段により指定された焦点距離にしたがって、駆動させる前記撮像素子を変更する制御を行うことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
前記制御手段は、撮影待機中に、前記指定手段により指定された第１の焦点距離に対応する光学系を通して撮像する撮像素子と、前記第１の焦点距離に隣接する第２の焦点距離に対応する光学系を通して撮像する撮像素子を駆動させ、駆動させた撮像素子以外の撮像素子を停止させる制御を行うことを特徴とする請求項７に記載の撮像装置。
前記制御手段は、前記複数の光学系のうち、焦点距離が等しい光学系を通してそれぞれ撮像する複数の撮像素子を駆動させ、当該複数の撮像素子により取得される、視差の異なる複数の画像データを用いて被写体までの距離を算出し、算出した距離の情報を前記表示手段に表示させる制御を行うことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
前記制御手段は、撮影待機中に、前記複数の光学系のうち、焦点距離が等しい光学系を通してそれぞれ撮像する２つの撮像素子を選択して駆動させ、駆動させた撮像素子以外の撮像素子を停止させる制御を行うことを特徴とする請求項９に記載の撮像装置。
前記制御手段は、互いの位置が最も離れた２つの撮像素子の出力から算出した、被写体までの距離の情報を前記表示手段に表示させる制御を行うことを特徴とする請求項１０に記載の撮像装置。
複数の光学系を構成するレンズ群と、前記複数の光学系をそれぞれ通して撮像する複数の撮像素子を備える撮像装置にて実行される制御方法であって、
前記撮像装置が撮影待機中である場合、前記複数の撮像素子から選択した撮像素子を駆動させ、該撮像素子の出力から表示手段に表示させる画像または撮影情報を生成する制御を行うとともに、駆動させた撮像素子以外の撮像素子を停止させる制御を行い、前記撮像装置が撮影待機中でない場合には前記複数の撮像素子を全て駆動させる制御を行う制御ステップと、
前記撮像装置が撮影待機中である場合、前記複数の撮像素子から選択された前記撮像素子により取得される画像を前記表示手段により表示させる表示ステップと、
を有することを特徴とする撮像装置の制御方法。