JP2010147812A - 複眼カメラ及び画像処理方法 - Google Patents

Abstract

【課題】 種類が異なる複数の撮像素子を用いて撮影した画像を合成して１枚の画像を作成する場合に、撮像素子間の飽和特性の差に起因する画質の劣化を防止することが可能な複眼カメラ及び画像処理方法を提供する。
【解決手段】 撮影部１２−１及び１２−２が同期して駆動され、［２］系ＣＣＤ３２−２により撮影と画像信号の読み出しが行われる（ステップＳ２０２）とともに、［１］系ＣＣＤ３２−１により画像〈１〉の撮影と画像信号の読み出しが行われる（ステップＳ１０４）。そして、画像〈１〉の読み出し終了後に、［１］系ＣＣＤ３２−１において多重露光が行われる（ステップＳ１０６）。次に、撮影時の［１］系ＣＣＤ３２−１の露光量“Ａ”が所定値“Ｂ”よりも小さい場合（ステップＳ１０８のＹｅｓ）、画像〈２〉が削除（廃棄）される（ステップＳ１１０）。一方、露光量“Ａ”が所定値“Ｂ”以上の場合（ステップＳ１０８のＮｏ）、多重露光により得られた画像〈１〉と〈２〉の合成処理が行われる（ステップＳ１１２）。
【選択図】 図４

Description

本発明は複眼カメラ及び画像処理方法に係り、特に複数の異なる撮像素子を備えた複眼カメラ及び画像処理方法に関する。

特許文献１には、第１の結像光学系と第１の固体撮像素子とを有する第１の撮像手段と、第２の結像光学系と上記第１の固体撮像素子より有効画素数が少ない第２の固体撮像素子とを有する第２の撮像手段とを具備する電子ステレオカメラが開示されている。

特許文献２には、白黒用とカラー用、あるいは素子サイズの異なる第１ＣＣＤ及び第２ＣＣＤを備え、１つの光学レンズからの光信号を分割して各ＣＣＤに受光させる撮像装置が開示されている。
特開２０００−１０２０４０号公報 特開平１１−１２２５３６号公報

従来、撮像光学系と撮像素子を複数備えた多眼カメラが提案されている。このような多眼カメラを用いて複数枚の画像を撮影して合成することが考えられる。しかしながら、上記複数の撮像素子の特性に差（例えば、飽和出力の差、飽和時の光量の差）がある場合、この特性の差によって合成後の画像の画質が劣化するおそれがある。上記特許文献１及び２は、複数の固体撮像素子を備えたカメラに関するものであるが、固体撮像素子間の特性の差に着目してなされたものではない。

本発明はこのような事情に鑑みてなされたもので、種類が異なる複数の撮像素子を用いて撮影した画像を合成して１枚の画像を作成する場合に、撮像素子間の飽和特性の差に起因する画質の劣化を防止することが可能な複眼カメラ及び画像処理方法を提供することを目的とする。

上記課題を解決するために、本発明の第１の態様に係る複眼カメラは、第１の撮像素子と、前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子と、前記第１の撮像素子と前記第２の撮像素子とを同期させて画像の露光を行い、前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う撮影制御手段と、撮影時の露光量を検出する露光量検出手段と、前記撮影時の画像の露光量が所定値未満の場合に、前記第１の撮像素子を用いて撮影された複数の画像のうち、前記第２の撮像素子と同期して撮影された画像以外の画像を廃棄する画像廃棄手段と、前記撮影時の画像の露光量が所定値以上の場合に、前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成手段とを備える。

上記第１の態様によれば、特性が相互に異なる複数の撮像素子を備えた複眼カメラにおいて、上記複数の撮像素子を用いて撮影した画像を合成する場合に、多重露光により取得した画像を合成することにより、撮像素子間の特性の差を補正することができる。更に、上記第１の態様によれば、露光量が所定値未満の場合（例えば、広いダイナミックレンジを必要としない暗い環境下での撮影の場合）に多重露光により得られた画像を廃棄し、露光量が所定値以上の場合（例えば、広いダイナミックレンジを必要とする明るい環境下での撮影の場合）にのみ、多重露光により得られた画像を合成することで、多重露光に起因する撮影タイムラグの影響を抑えることができ、画像の同時性の向上と、複眼カメラのレスポンスの向上を実現することができる。

本発明の第２の態様に係る複眼カメラは、第１の撮像素子と、前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子と、被写体の明るさに応じて撮影時の撮影感度の設定を行う撮影感度設定手段と、前記第１の撮像素子と前記第２の撮像素子とを同期させて画像の露光を行い、前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う撮影制御手段と、前記撮影時の撮影感度が所定値以上の場合に、前記第１の撮像素子を用いて撮影された複数の画像のうち、前記第２の撮像素子と同期して撮影された画像以外の画像を廃棄する画像廃棄手段と、前記撮影時の撮影感度が所定値未満の場合に、前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成手段とを備える。

上記第２の態様によれば、撮像素子間の特性の差を補正することができる。更に、上記第２の態様によれば、撮影感度が所定値以上の場合（例えば、広いダイナミックレンジを必要としない暗い環境下での撮影の場合）に多重露光により得られた画像を廃棄し、撮影感度が所定値未満の場合（例えば、広いダイナミックレンジを必要とする明るい環境下での撮影の場合）にのみ、多重露光により得られた画像を合成することで、多重露光に起因する撮影タイムラグの影響を抑えることができ、画像の同時性の向上と、複眼カメラのレスポンスの向上を実現することができる。

本発明の第３の態様に係る複眼カメラは、上記第１又は第２の態様において、前記多重露光により得られた画像を廃棄する設定の入力を受け付ける廃棄設定手段を更に備える。

上記第３の態様によれば、常に多重露光を行う上記第１及び第２の態様において、予め多重露光により得られた画像を廃棄する設定を行うことにより、画像合成処理等を省くことができる。これにより、撮影の時間間隔が短いとき（例えば、連写時）に処理時間を短縮することができ、レスポンスの向上を実現することができる。

本発明の第４の態様に係る複眼カメラは、第１の撮像素子と、前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子と、撮影時の露光量を検出する露光量検出手段と、前記第１の撮像素子と前記第２の撮像素子とを同期させて画像の露光を行う第１の撮影制御手段と、前記撮影時の画像の露光量が所定値未満の場合に、前記第１の撮影制御手段による露光の後前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う第２の撮影制御手段と、前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成手段とを備える。

上記第４の態様によれば、露光量が所定値以上の場合（例えば、広いダイナミックレンジを必要とする明るい環境下での撮影の場合）にのみ多重露光を行うことで、多重露光に起因する撮影タイムラグの影響を抑えることができ、画像の同時性の向上と、複眼カメラのレスポンスの向上を実現することができる。

本発明の第５の態様に係る複眼カメラは、第１の撮像素子と、前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子と、被写体の明るさに応じて撮影時の撮影感度の設定を行う撮影感度設定手段と、前記第１の撮像素子と前記第２の撮像素子とを同期させて画像の露光を行う第１の撮影制御手段と、前記撮影時の撮影感度が所定値以上の場合に、前記第１の撮影制御手段による露光の後前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う第２の撮影制御手段と、前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成手段とを備える。

上記第５の態様によれば、撮影感度が所定値未満の場合（例えば、広いダイナミックレンジを必要とする明るい環境下での撮影の場合）にのみ多重露光を行うことで、多重露光に起因する撮影タイムラグの影響を抑えることができ、画像の同時性の向上と、複眼カメラのレスポンスの向上を実現することができる。

本発明の第６の態様に係る画像処理方法は、第１の撮像素子と、前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子とを同期させて画像の露光を行い、前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う撮影制御工程と、撮影時の露光量を検出する露光量検出工程と、前記撮影時の画像の露光量が所定値未満の場合に、前記第１の撮像素子を用いて撮影された複数の画像のうち、前記第２の撮像素子と同期して撮影された画像以外の画像を廃棄する画像廃棄工程と、前記撮影時の画像の露光量が所定値以上の場合に、前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成工程とを備える。

本発明の第７の態様に係る画像処理方法は、被写体の明るさに応じて撮影時の撮影感度の設定を行う撮影感度設定工程と、第１の撮像素子と、前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子とを同期させて画像の露光を行い、前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う撮影制御工程と、前記撮影時の撮影感度が所定値以上の場合に、前記第１の撮像素子を用いて撮影された複数の画像のうち、前記第２の撮像素子と同期して撮影された画像以外の画像を廃棄する画像廃棄工程と、前記撮影時の撮影感度が所定値未満の場合に、前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成工程とを備える。

本発明の第８の態様に係る画像処理方法は、撮影時の露光量を検出する露光量検出工程と、第１の撮像素子と、前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子とを同期させて画像の露光を行う第１の撮影制御工程と、前記撮影時の画像の露光量が所定値未満の場合に、前記第１の撮影制御工程における露光の後前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う第２の撮影制御工程と、前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成工程とを備える。

本発明の第９の態様に係る画像処理方法は、被写体の明るさに応じて撮影時の撮影感度の設定を行う撮影感度設定工程と、第１の撮像素子と、前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子とを同期させて画像の露光を行う第１の撮影制御工程と、前記撮影時の撮影感度が所定値以上の場合に、前記第１の撮影制御工程における露光の後前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う第２の撮影制御工程と、前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成工程とを備える。

本発明によれば、特性が相互に異なる複数の撮像素子を備えた複眼カメラにおいて、上記複数の撮像素子を用いて撮影した画像を合成する場合に、多重露光により取得した画像を合成することにより、撮像素子間の特性の差を補正することができる。更に、本発明によれば、例えば、広いダイナミックレンジを必要としない暗い環境下での撮影の場合（露光量が所定値未満又は撮影感度が所定値以上の場合）に多重露光により得られた画像を廃棄するか、又は多重露光を行わないように制御することで、多重露光に起因する撮影タイムラグの影響を抑えることができ、画像の同時性の向上と、複眼カメラのレスポンスの向上を実現することができる。

以下、添付図面に従って本発明に係る複眼カメラ及び画像処理方法の好ましい実施の形態について説明する。

［複眼カメラの構成］
図１は、本発明の第１の実施形態に係る複眼カメラの主要構成を示すブロック図である。

図１に示すように、複眼カメラ１０は、２つの撮影部１２−１及び１２−２を備えている。なお、撮影部１２は２つ以上設けてもよい。

複眼カメラ１０は、撮影部１２−１及び１２−２によって撮影した２枚の画像データを合成する。例えば、複眼カメラ１０は、撮影部１２−１及び１２−２によって撮影した２枚の視差画像データを合成して３次元表示（立体表示）用の画像の作成及び表示を行う。また、複眼カメラ１０は、撮影部１２−１及び１２−２によって撮影した２枚のパノラマ画像の作成用画像データを合成してパノラマ画像の作成及び表示を行う。複眼カメラ１０は、上記視差画像データ及びパノラマ画像の作成用画像データを、１つの記録用画像ファイル（マルチピクチャファイル）に格納する。また、複眼カメラ１０は、ブラケット撮影時、動画撮影時又は連写時に撮影した複数フレームの画像データをつなぎ合わせて１つの記録用画像ファイル（マルチピクチャファイル）に格納する。

信号処理ＩＣ（ＣＰＵ１４を含む）は、操作部１６からの入力に基づき所定の制御プログラムに従って複眼カメラ１０全体の動作を統括制御する手段である。

信号処理ＩＣには、ＲＯＭ、ＥＥＰＲＯＭ及びワークメモリが設けられている。ＲＯＭには、ＣＰＵ１４が実行する制御プログラム及び制御に必要な各種データ等が格納される。ＥＥＰＲＯＭには、ユーザ設定情報等の複眼カメラ１０の動作に関する各種設定情報等が格納される。ワークメモリは、ＣＰＵ１４の演算作業用領域及び画像データの一時記憶領域を含んでいる。

操作部１６は、ユーザが各種の操作入力を行うための操作手段であり、電源のオン、オフの切り替えを行う電源スイッチ、複眼カメラ１０の動作モードの切り替えを行うモードダイヤル、レリーズスイッチ及びズームボタンを含んでいる。

モードダイヤルは、複眼カメラ１０の動作モードを切り替え入力を行うための操作手段であり、モードダイヤルの設定位置に応じて、２次元の画像（静止画、動画）を撮影する２Ｄモード、３次元の画像（静止画、動画）を撮影する３Ｄモード、パノラマ画像を撮影するためのパノラマ撮影モード及び画像の再生を行う再生モードの間で動作モードが切り替えられる。

レリーズスイッチは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影時には、レリーズスイッチが半押しされると（Ｓ１オン）、撮影準備処理（例えば、自動露出調整処理（ＡＥ：Automatic Exposure）、自動焦点合わせ処理（ＡＦ：Auto Focus）、自動ホワイトバランス調整処理（ＡＷＢ：Automatic White Balance））が行われる。そして、レリーズスイッチが全押しされると（Ｓ２オン）、静止画の撮影・記録処理が行われる。また、動画撮影時には、レリーズスイッチが全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。なお、静止画撮影用のレリーズスイッチ及び動画撮影用のレリーズスイッチを別々に設けるようにしてもよい。

ズームボタンは、撮影部１２−１及び１２−２のズーミング操作を行うための操作手段であり、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとを備えている。

表示部１８は、例えば、カラー液晶パネル（ＬＣＤ）を備えた表示装置である。表示部１８は、撮影された画像を表示する表示部として機能するとともに、複眼カメラ１０の各種機能に関する設定を行うときに時のユーザインターフェースとして機能する。また、表示部１８は、撮影モード時に画角を確認するための電子ファインダとして機能する。

表示部１８は、３Ｄモード時に、観察者が立体視可能な３次元（３Ｄ）画像を表示する機能を有する。３Ｄ画像の表示方式としては、例えば、ライト・ディレクション・コントロール・システム（Light Direction Control System）が採用される。ライト・ディレクション・コントロール・システムでは、左眼用の画像データをＬＣＤに表示して、バックライトパネルによってユーザの左眼に届くように指向性をもたせた照明光をＬＣＤに照射する処理と、右眼用の画像データをＬＣＤに表示して、バックライトパネルによってユーザの右眼に届くように指向性をもたせた照明光をＬＣＤに照射する処理とを交互に（例えば、１／６０秒間隔で）繰り返す。これにより、相互に視差のある左眼用画像と右眼用画像が、ユーザの左右の眼によって交互に観察されるので、ユーザは立体的な画像を観察することができる。

記録部２０は、撮影された画像ファイル及び各種のデータを記録する。記録部２０としては、例えば、ＳＤメモリカード（登録商標）又はｘＤピクチャカード（登録商標）を用いることができる。

次に、複眼カメラ１０の撮影機能について説明する。なお、図１では、各撮影部１２−１及び１２−２等にそれぞれ符号１及び２を付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号１及び２を省略して説明する。

各撮影部１２は、フォーカスレンズ２２、ズームレンズ２４、絞り２６及びメカシャッタ２８を備えている。

フォーカスレンズ２２及びズームレンズ２４は、各撮影部１２の光軸に沿って前後に移動する。ＣＰＵ１４は、光学系駆動部３０に設けられたフォーカスアクチュエータの動作を制御して、フォーカスレンズ２２の位置を調整してフォーカシングを行う。また、ＣＰＵ１４は、光学系駆動部３０に設けられたズームアクチュエータの動作を制御して、ズームレンズ２４の位置を調整してズーミングを行う。また、ＣＰＵ１４は、光学系駆動部３０に設けられた絞りアクチュエータの駆動を制御することにより、絞り２６の開口量（絞り値）を調整してＣＣＤ３２への入射光量を制御する。

メカシャッタ２８は、ＣＣＤ３２からデータを読み出すときに閉じられる。これにより、データ読み出し時にＣＣＤ３２に入射する光が遮光される。

ＣＰＵ１４は、３Ｄモード及びパノラマ撮影モード時に、各撮影部１２−１及び１２−２の光学系（フォーカスレンズ２２−１及び２２−２、ズームレンズ２４−１及び２４−２、絞り２６−１及び２６−２）を同期させて駆動する。即ち、撮影部１２−１及び１２−２は、３Ｄモード及びパノラマ撮影モード時に、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ入射光量（絞り値）となるように絞りが調整される。更に、３Ｄモード時には、常に同じ被写体にピントが合うように焦点調節が行われる。

ＣＰＵ１４は、３Ｄモード時に、不図示の撮影部駆動機構を制御して、左右の眼に対応する視差画像が得られるように撮影部１２−１及び１２−２の輻輳角を調整する。また、ＣＰＵ１４は、パノラマ撮影モード時に、ユーザからの入力に応じて所望の範囲が撮影できるように撮影部１２−１及び１２−２の輻輳角を調整する。

ＣＣＤ３２は、例えば、カラーＣＣＤ固体撮像素子である。ＣＣＤ３２−１とＣＣＤ３２−２は飽和特性が相互に異なっている。なお、ＣＣＤ３２としては、ＣＭＯＳセンサ等のＣＣＤ以外の撮像素子を用いることもできる。

ＣＣＤ３２の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列で３色（例えば、Ｒ、Ｇ、Ｂ）のカラーフィルタが配置されている。撮影部１２を介してＣＣＤ３２の受光面上に被写体光が結像されると、この被写体光はフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１４の指令に従ってタイミング・ジェネレータ（ＴＧ）３４から与えられる駆動パルスに基づいて、電荷量に応じた電圧信号（Ｒ、Ｇ、Ｂ信号）としてＣＣＤ３２から順次読み出される。ＣＣＤ３２は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。

アナログ信号処理部３８は、ＣＣＤ３２から出力されたＲ、Ｇ、Ｂ信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、Ｒ、Ｇ、Ｂ信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含んでいる。ＣＣＤ３２から出力されるアナログのＲ、Ｇ、Ｂ信号は、アナログ信号処理部３８によって相関２重サンプリング処理されるとともに増幅される。アナログ信号処理部３８におけるＲ、Ｇ、Ｂ信号の増幅ゲインは撮影感度（ＩＳＯ感度）に相当する。ＣＰＵ１４は、被写体の明るさ等に応じて、この増幅ゲインを調整することにより撮影感度を設定する。なお、２つのＣＣＤを用いて画像を撮影する場合（３Ｄモード及びパノラマ撮影モード時）、このゲインは、［１］系アナログ信号処理部３８−１と［２］系アナログ信号処理部３８−２とで同じ値に設定される。

アナログ信号処理部３８から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器によってデジタルのＲ、Ｇ、Ｂ信号に変換された後、バッファメモリを介して信号処理ＩＣに入力される。

上記のようにして生成されたデジタルのＲ、Ｇ、Ｂ信号は、信号処理ＩＣにおいて、所定の処理（例えば、同時化処理（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、ホワイトバランス調整処理、階調変換（ガンマ補正）処理及び輪郭補正処理）が施されて、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）、即ち、Ｙ／Ｃ信号に変換される。

ライブビュー画像（スルー画）を表示部１８に表示する場合、信号処理ＩＣにおいて生成されたＹ／Ｃ信号が１フレーム分ずつ供給され、Ｒ、Ｇ、Ｂ信号に変換された後表示部１８に出力される。これにより、表示部１８にスルー画が表示される。

次に、画像の撮影及び記録処理について説明する。２Ｄモード時には、所定の１つの撮影部（例えば、１２−１）により記録用の画像が撮影される。なお、２Ｄモード時にどちらの撮影部を使用するかはユーザが選択できるようにしてもよい。

２Ｄモード時に、撮影部１２−１によって撮影された画像は、信号処理ＩＣにおいて圧縮される。圧縮された画像データは、所定形式の画像ファイルとして記録部２０に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）、動画についてはＭＰＥＧ２又はＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮画像ファイルとして記録される。

３Ｄモード及びパノラマ撮影モード時には、撮影部１２−１及び１２−２によって同期して画像が撮影される。上記３Ｄモード及びパノラマ撮影モード時には、ＡＦ処理及びＡＥ処理は、撮影部１２−１及び１２−２のいずれか一方によって取得された画像信号に基づいて行われる。上記３Ｄモード及びパノラマ撮影モード時には、各撮影部１２−１及び１２−２によって撮影された２視点の画像は、それぞれ圧縮されて１つのマルチピクチャファイルに格納されて記録部２０に記録される。マルチピクチャファイルには、２視点の圧縮画像データとともに、被写体距離情報、撮影部１２の撮影レンズの間隔及び輻輳角に関する情報が格納される。

再生モード時には、記録部２０に記録されている最終の画像ファイル（最後に記録された画像ファイル）が読み出されて、信号処理ＩＣにおいて非圧縮のＹ／Ｃ信号に伸張される。この非圧縮のＹ／Ｃ信号は、Ｒ、Ｇ、Ｂ信号に変換された後表示部１８に出力される。これにより、記録部２０に記録されている画像ファイルが表示部１８に表示される。

［２つのＣＣＤを用いて合成用画像を撮像する場合の処理］
次に、［１］系と［２］系の２つのＣＣＤを用いて画像を撮影して合成する場合の処理について具体的に説明する。

図２は、［１］系ＣＣＤ３２−１と［２］系ＣＣＤ３２−２の飽和特性を示すグラフである。図２の横軸は露光時間、縦軸はＣＣＤ出力（１画素に蓄積される蓄積電荷量）である。

［１］系ＣＣＤ３２−１（例えば、１２００万画素）と［２］系ＣＣＤ３２−２（例えば、６００万画素）はチップサイズ（面積）が等しく、かつ、［１］系ＣＣＤ３２−１の方が［２］系ＣＣＤ３２−２よりも画素数が多いので、画素ピッチが小さい。

従って、図２に示すように、同じ撮影条件（例えば、露光時間、絞り、ゲイン（撮影感度））で撮影した場合、［１］系ＣＣＤ３２−１は［２］系ＣＣＤ３２−２よりも飽和特性が悪い（飽和出力が小さい、飽和時に１画素に蓄積可能な電荷量が小さい）。また、［１］系ＣＣＤ３２−１と［２］系ＣＣＤ３２−２とはダイナミックレンジが異なる。

［１］系と［２］系の２つのＣＣＤを用いて画像を撮影して合成する場合（３Ｄモード及びパノラマ撮影モード時）、この飽和特性の差分を埋めるため多重露光を行う。即ち、飽和特性が悪い［１］系ＣＣＤ３２−１側で露出を変えて画像を複数回撮影する。そして、露出の低い方の画像からは画像中の明るい部分を抽出する一方、露出の高い方の画像からは暗い部分を抽出する。そして、抽出した画像を合成（混合）して、信号処理ＩＣにより合成画像の補正（例えば、歪み、色補正）を行う。

図３は、飽和特性が異なる２つのＣＣＤ３２−１及び３２−２を用いて画像を撮影して合成する場合の露光及び読み出し処理を示すタイミングチャートである。

まず、［１］系ＣＣＤ３２−１と［２］系ＣＣＤ３２−２とを同期させて画像が撮影される。図３に示すように、［１］系ＣＣＤの１枚目の画像（画像〈１〉）の露光と［２］系ＣＣＤの露光とは同じタイミングで行われ、露光時間は等しい。

次に、［１］系と［２］系のＣＣＤからそれぞれ画像信号が読み出される。図３に示すように、ＣＰＵ１４は、［１］系ＴＧ３４−１から出力される駆動信号の周波数を調整して、画像〈１〉の読み出し時間を（例えば、数十分の１秒から数百分の１秒、［２］系ＣＣＤの画像や画像〈２〉の読み出し時よりも）短縮する。これにより、画像〈１〉と画像〈２〉の露光の間隔を短縮することができる。

［１］系ＣＣＤから画像〈１〉の画像信号が読み出された後、２枚目の画像〈２〉の露光と読み出しが行われる。画像〈２〉の露光時間は、画像〈１〉の露光時間よりも短く設定される。

なお、図３に示す例では、ＣＣＤ３２を２つのフィールド１、２を有する撮像素子としてフィールドごとに画像信号を読み出すようにしたが、２以上のフィールドを有する多フィールド読み出しの撮像素子でも同様である。

図４は、本発明の第１の実施形態に係る複眼カメラにおいて、飽和特性が異なる２つのＣＣＤを用いて画像を撮影して合成する場合の処理の流れを示すフローチャートである。

まず、撮影部１２−１及び１２−２においてＡＥ処理及びＡＦ処理が行われ、各撮影部１２−１及び１２−２が駆動される（ステップＳ１００、Ｓ２００）。そして、［１］系ＣＣＤ３２−１における撮影露光量が算出される（ステップＳ１０２）。

次に、［１］系撮影部１２−１と［２］系撮影部１２−２とが同期して駆動され、［２］系ＣＣＤ３２−２により撮影と画像信号の読み出しが行われる（ステップＳ２０２）とともに、［１］系ＣＣＤ３２−１により画像〈１〉の撮影と画像信号の読み出しが行われる（ステップＳ１０４）。そして、画像〈１〉の読み出し終了後に、［１］系ＣＣＤ３２−１において多重露光が行われる。即ち、画像〈２〉の撮影と画像信号の読み出しが行われる（ステップＳ１０６）。

次に、露光量の判別が行われる（ステップＳ１０８）。ステップＳ１０２において算出された（撮影時の）［１］系ＣＣＤ３２−１の露光量“Ａ”が所定値“Ｂ”（例えば、ＣＣＤ出力で２００ｍＶ）よりも小さい場合（ステップＳ１０８のＹｅｓ）、画像〈２〉が削除（廃棄）される（ステップＳ１１０）。ここで、［１］系ＣＣＤ３２−１の露光量“Ａ”が所定値“Ｂ”よりも小さい場合とは、例えば、広いダイナミックレンジを必要としない暗い環境下で撮影を行う場合（画素が飽和するまで露光しない場合）である。

一方、ステップＳ１０２において算出された（撮影時の）［１］系ＣＣＤ３２−１の露光量“Ａ”が所定値“Ｂ”以上の場合（ステップＳ１０８のＮｏ）、多重露光により得られた画像〈１〉と〈２〉の合成処理が行われる（ステップＳ１１２）。ステップＳ１１２では、例えば、露出の低い（露光時間が短い）画像〈２〉からは画像中の明るい部分を抽出する一方、露出の高い（露光時間が長い）画像〈１〉からは暗い部分を抽出して、両者を合成して合成画像を作成する。そして、信号処理ＩＣにおいて上記合成画像の補正（例えば、歪み、色補正）が行われる。なお、多重露光の合成処理については、他の公知の手法を適用することができる。

そして、［１］系ＣＣＤ３２−１から得られた画像（ステップＳ１１２において作成された合成画像又は画像〈２〉が削除された場合には画像〈１〉）と［２］系ＣＣＤ３２−２から得られた画像に所定の処理が施され、画像が所定の形式のファイルに格納されて記録される（ステップＳ３００）。また、表示部１８に確認用の画像が表示される。例えば、３Ｄモードの場合には、ライト・ディレクション・コントロール・システムにより３Ｄ画像の表示処理が行われる。また、パノラマ撮影モードの場合には、［１］系ＣＣＤ３２−１から得られた画像と［２］系ＣＣＤ３２−２から得られた画像がつなぎ合わされてパノラマ画像の記録と表示が行われる。

本実施形態によれば、特性が相互に異なる複数の撮像素子を備えた複眼カメラにおいて、上記複数の撮像素子を用いて撮影した画像を合成する場合に、多重露光を行うことにより、必要に応じて各撮像素子のばらつき、特性の差を補正することができる。これにより、ダイナミックレンジを最大限に活かすことができる。また、本実施形態によれば、露光量が所定値以上の場合（例えば、広いダイナミックレンジを必要とする明るい環境下での撮影の場合）にのみ、多重露光により得られた画像を合成することで、多重露光に起因する撮影タイムラグの影響を抑えることができ、画像の同時性の向上と、複眼カメラ１０のレスポンスの向上を実現することができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。

本実施形態は、撮影時の撮影感度（ＩＳＯ感度）の設定値によって、多重露光により得られた画像の合成処理を行うかどうかを決定するようにしたものである。

図５は、本発明の第２の実施形態に係る複眼カメラにおいて、飽和特性が異なる２つのＣＣＤを用いて画像を撮影して合成する場合の処理の流れを示すフローチャートである。

まず、撮影部１２−１及び１２−２においてＡＥ処理及びＡＦ処理が行われ、各撮影部１２−１及び１２−２が駆動される（ステップＳ１００、Ｓ２００）。そして、［１］系ＣＣＤ３２−１における撮影感度（ＩＳＯ感度）が算出され、設定される（ステップＳ１０２）。

次に、［１］系撮影部１２−１と［２］系撮影部１２−２とが同期して駆動され、［２］系ＣＣＤ３２−２により撮影と画像信号の読み出しが行われる（ステップＳ２０２）とともに、［１］系ＣＣＤ３２−１により画像〈１〉の撮影と画像信号の読み出しが行われる（ステップＳ１０４）。そして、画像〈１〉の読み出し終了後に、［１］系ＣＣＤ３２−１により画像〈２〉の撮影と画像信号の読み出しが行われる（ステップＳ１０６）。

次に、撮影感度の判別が行われる（ステップＳ１０８）。ステップＳ１０２において算出された（撮影時の）撮影感度“Ｃ”が所定値“Ｄ”（例えば、ＩＳＯ４００）以上の場合（ステップＳ１０８のＹｅｓ）、画像〈２〉が削除（廃棄）される（ステップＳ１１０）。ここで、撮影時の撮影感度“Ｃ”が所定値“Ｄ”以上の場合とは、例えば、広いダイナミックレンジを必要としない暗い環境下で撮影を行う場合（画素が飽和するまで露光しない場合）である。

一方、ステップＳ１０２において算出された（撮影時の）撮影感度“Ｃ”が所定値“Ｄ”未満の場合（ステップＳ１０８のＮｏ）、多重露光により得られた画像〈１〉と〈２〉の合成処理が行われる（ステップＳ１１２）。ステップＳ１１２における画像合成処理は上記第１の実施形態と同様である。

そして、［１］系ＣＣＤ３２−１から得られた画像（ステップＳ１１２において作成された合成画像又は画像〈２〉が削除された場合には画像〈１〉）と［２］系ＣＣＤ３２−２から得られた画像に所定の処理が施され、画像が所定の形式のファイルに格納されて記録される（ステップＳ３００）。また、表示部１８に確認用の画像が表示される。

本実施形態によれば、撮影感度が所定値よりも小さい場合（例えば、広いダイナミックレンジを必要とする明るい環境下での撮影の場合）にのみ、多重露光により得られた画像を合成することで、多重露光に起因する撮影タイムラグの影響を抑えることができ、画像の同時性の向上と、複眼カメラ１０のレスポンスの向上を実現することができる。

なお、上記第１及び第２の実施形態では、露光量又は撮影感度に応じて多重露光された画像を自動的に削除するようにしたが、多重露光された画像を削除する設定を操作部１６からの操作入力により手動で行う機能をもたせてもよい。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。

図６は、本発明の第３の実施形態に係る複眼カメラにおいて、飽和特性が異なる２つのＣＣＤを用いて画像を撮影して合成する場合の処理の流れを示すフローチャートである。

まず、撮影部１２−１及び１２−２においてＡＥ処理及びＡＦ処理が行われ、各撮影部１２−１及び１２−２が駆動される（ステップＳ１０）。そして、［１］系ＣＣＤ３２−１における撮影時の露光量が算出される（ステップＳ１２）。

ステップＳ１２において算出された撮影時の露光量“Ａ”が所定値“Ｂ”（例えば、例えば、ＣＣＤ出力で２００ｍＶ）よりも小さい場合（ステップＳ１４のＹｅｓ）、［１］系撮影部１２−１と［２］系撮影部１２−２とが同期して駆動され、［１］系ＣＣＤ３２−１と［２］系ＣＣＤ３２−２において露光と画像信号の読み出しが１回行われる（ステップＳ１６）。そして、［１］系ＣＣＤ３２−１から得られた画像と［２］系ＣＣＤ３２−２から得られた画像に所定の処理が施され、画像が所定の形式のファイルに格納されて記録される（ステップＳ２４）。また、表示部１８に確認用の画像が表示される。

一方、ステップＳ１２において算出された撮影時の露光量“Ａ”が所定値“Ｂ”以上の場合（ステップＳ１４のＮｏ）、［１］系ＣＣＤ３２−１と［２］系ＣＣＤ３２−２において露光と画像信号の読み出しが１回行われた後（ステップＳ１８）、［１］系撮影部１２−１において多重露光が行われる（ステップＳ２０）。そして、画像〈１〉と〈２〉の合成処理が行われる（ステップＳ２２）。ステップＳ２２における画像合成処理は上記第１の実施形態のステップＳ１１２と同様である。

そして、［１］系ＣＣＤ３２−１から得られた合成画像と［２］系ＣＣＤ３２−２から得られた画像に所定の処理が施され、画像が所定の形式のファイルに格納されて記録される（ステップＳ２４）。また、表示部１８に確認用の画像が表示される。

なお、本実施形態では、［１］系撮影部１２−１において多重露光を行うかどうかを、撮影時の露光量に基づいて決定するようにしたが、撮影時の撮影感度に基づいて決定するようにしてもよい。例えば、撮影感度が所定値（例えば、ＩＳＯ４００）以上の場合に［１］系撮影部１２−１において多重露光を行い、撮影感度が所定値未満の場合に［１］系撮影部１２−１において多重露光を行わないようにしてもよい。

本実施形態によれば、広いダイナミックレンジを必要とする明るい環境下での撮影の場合にのみ多重露光を行うことで、多重露光に起因する撮影タイムラグの影響を抑えることができ、画像の同時性の向上と、複眼カメラ１０のレスポンスの向上を実現することができる。

なお、上記第１から第３の実施形態では、多重露光により画像を２枚撮影するようにしたが、３枚以上撮影するようにしてもよい。この場合、多重露光により得られた画像を廃棄するときには、［２］系ＣＣＤ３２−２と同期して撮影された画像以外の画像を廃棄するようにすればよい。

本発明の第１の実施形態に係る複眼カメラの主要構成を示すブロック図 ［１］系ＣＣＤ３２−１と［２］系ＣＣＤ３２−２の飽和特性を示すグラフ 飽和特性が異なる２つのＣＣＤ３２−１及び３２−２を用いて画像を撮影して合成する場合の露光及び読み出し処理を示すタイミングチャート 本発明の第１の実施形態に係る複眼カメラにおいて、飽和特性が異なる２つのＣＣＤを用いて画像を撮影して合成する場合の処理の流れを示すフローチャート 本発明の第２の実施形態に係る複眼カメラにおいて、飽和特性が異なる２つのＣＣＤを用いて画像を撮影して合成する場合の処理の流れを示すフローチャート 本発明の第３の実施形態に係る複眼カメラにおいて、飽和特性が異なる２つのＣＣＤを用いて画像を撮影して合成する場合の処理の流れを示すフローチャート

符号の説明

１０…複眼カメラ、１２…撮影部、１４…ＣＰＵ、１６…操作部、１８…表示部、２０…記録部、２２…フォーカスレンズ、２４…ズームレンズ、２６…絞り、２８…メカシャッタ、３０…光学系駆動部、３２…ＣＣＤ、３４…タイミング・ジェネレータ、３６…アンプ、３８…アナログ信号処理部

Claims (9)

1. 第１の撮像素子と、
   前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子と、
   前記第１の撮像素子と前記第２の撮像素子とを同期させて画像の露光を行い、前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う撮影制御手段と、
   撮影時の露光量を検出する露光量検出手段と、
   前記撮影時の画像の露光量が所定値未満の場合に、前記第１の撮像素子を用いて撮影された複数の画像のうち、前記第２の撮像素子と同期して撮影された画像以外の画像を廃棄する画像廃棄手段と、
   前記撮影時の画像の露光量が所定値以上の場合に、前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成手段と、
   を備える複眼カメラ。
2. 第１の撮像素子と、
   前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子と、
   被写体の明るさに応じて撮影時の撮影感度の設定を行う撮影感度設定手段と、
   前記第１の撮像素子と前記第２の撮像素子とを同期させて画像の露光を行い、前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う撮影制御手段と、
   前記撮影時の撮影感度が所定値以上の場合に、前記第１の撮像素子を用いて撮影された複数の画像のうち、前記第２の撮像素子と同期して撮影された画像以外の画像を廃棄する画像廃棄手段と、
   前記撮影時の撮影感度が所定値未満の場合に、前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成手段と、
   を備える複眼カメラ。
3. 前記多重露光により得られた画像を廃棄する設定の入力を受け付ける廃棄設定手段を更に備える請求項１又は２記載の複眼カメラ。
4. 第１の撮像素子と、
   前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子と、
   撮影時の露光量を検出する露光量検出手段と、
   前記第１の撮像素子と前記第２の撮像素子とを同期させて画像の露光を行う第１の撮影制御手段と、
   前記撮影時の画像の露光量が所定値未満の場合に、前記第１の撮影制御手段による露光の後、前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う第２の撮影制御手段と、
   前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成手段と、
   を備える複眼カメラ。
5. 第１の撮像素子と、
   前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子と、
   被写体の明るさに応じて撮影時の撮影感度の設定を行う撮影感度設定手段と、
   前記第１の撮像素子と前記第２の撮像素子とを同期させて画像の露光を行う第１の撮影制御手段と、
   前記撮影時の撮影感度が所定値以上の場合に、前記第１の撮影制御手段による露光の後前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う第２の撮影制御手段と、
   前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成手段と、
   を備える複眼カメラ。
6. 第１の撮像素子と、前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子とを同期させて画像の露光を行い、前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う撮影制御工程と、
   撮影時の露光量を検出する露光量検出工程と、
   前記撮影時の画像の露光量が所定値未満の場合に、前記第１の撮像素子を用いて撮影された複数の画像のうち、前記第２の撮像素子と同期して撮影された画像以外の画像を廃棄する画像廃棄工程と、
   前記撮影時の画像の露光量が所定値以上の場合に、前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成工程と、
   を備える画像処理方法。
7. 被写体の明るさに応じて撮影時の撮影感度の設定を行う撮影感度設定工程と、
   第１の撮像素子と、前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子とを同期させて画像の露光を行い、前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う撮影制御工程と、
   前記撮影時の撮影感度が所定値以上の場合に、前記第１の撮像素子を用いて撮影された複数の画像のうち、前記第２の撮像素子と同期して撮影された画像以外の画像を廃棄する画像廃棄工程と、
   前記撮影時の撮影感度が所定値未満の場合に、前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成工程と、
   を備える画像処理方法。
8. 撮影時の露光量を検出する露光量検出工程と、
   第１の撮像素子と、前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子とを同期させて画像の露光を行う第１の撮影制御工程と、
   前記撮影時の画像の露光量が所定値未満の場合に、前記第１の撮影制御工程における露光の後前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う第２の撮影制御工程と、
   前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成工程と、
   を備える画像処理方法。
9. 被写体の明るさに応じて撮影時の撮影感度の設定を行う撮影感度設定工程と、
   第１の撮像素子と、前記第１の撮像素子よりも飽和出力が大きい第２の撮像素子とを同期させて画像の露光を行う第１の撮影制御工程と、
   前記撮影時の撮影感度が所定値以上の場合に、前記第１の撮影制御工程における露光の後前記第１の撮像素子から画像信号を読み出した後に、前記第１の撮像素子により多重露光を行う第２の撮影制御工程と、
   前記第１の撮像素子により多重露光された画像を合成して合成画像を作成する画像合成工程と、
   を備える画像処理方法。

Images