JP2010157863A - 複眼カメラ及び画像処理方法 - Google Patents

Abstract

【課題】 画素のサイズが異なる複数の撮像素子を用いて撮影した画像を合成して１枚の画像を作成する場合に、撮像素子間の画素サイズの差に起因する画質の劣化を防止することが可能な複眼カメラ及び画像処理方法を提供する。
【解決手段】 撮像素子２０−１と２０−２はチップサイズ（面積）が等しく、かつ、撮像素子２０−１の方が撮像素子２０−２よりも画素数が少ない。入出力処理回路５２は、撮像素子２０−１のデータを画像処理部５６に入力し、撮像素子２０−２のデータを画素加算処理部５４に入力する。例えば、撮像素子２０−２の画素数が撮像素子２０−１のＮ倍（画素サイズが約Ｎ分の１）とした場合（Ｎ：整数（Ｎ＞１））、画素加算処理部５４は、撮像素子２０−２のＮ画素を加算することにより、撮像素子２０−１と２０−２の間の光量−出力特性を合わせる。画像処理部５６は、撮像素子２０−１のデータと撮像素子２０−２の画素加算処理後のデータとを合成する。
【選択図】 図１

Description

本発明は複眼カメラ及び画像処理方法に係り、特に複数の異なる撮像素子を備えた複眼カメラ及び画像処理方法に関する。

特許文献１には、変曲点を境に異なる光電変換特性を有する撮像素子を搭載した撮像装置を２台備えた撮像システムにおいて、一方の撮像素子の撮像信号に所定のゲインを乗算することにより、上記撮像素子間の感度バラツキを補正することが開示されている。

特許文献２には、撮像素子及び信号処理手段を備えた撮像系を複数有するステレオカメラにおいて、単一のタイミング信号発生手段の出力信号を複数の撮像素子及び信号処理手段に接続することにより、各撮像系の出力から輝度のバラツキがない映像を出力可能にすることが開示されている。
特開２００７−８１８０６号公報 特開２０００−３４１７１９号公報

従来、撮像光学系と撮像素子を複数備えた多眼カメラが提案されている。このような多眼カメラを用いて複数枚の画像を撮影して合成することが考えられる。しかしながら、上記複数の撮像素子の間で入射光量と出力との関係（光量−出力特性）が異なる場合（例えば、撮像素子のチップサイズ（面積）が同じで画素数が異なる場合）、この特性の差によって合成後の画像の画質が劣化するおそれがある。

特許文献１に記載の技術は、撮像信号に所定のゲインを乗算することで感度バラツキを補正するものであるが、単にゲインを乗算するだけではノイズが増幅されて、画質が劣化するおそれがある。また、撮像信号を出力レベルが低い方に合わせることも考えられるが、この場合出力レベルが低い方の撮像素子にダイナミックレンジが制限されることになる。また、特許文献２に記載の技術は、複数の撮像素子間の特性差に起因する画像の劣化を防止するためのものではない。

本発明はこのような事情に鑑みてなされたもので、画素のサイズが異なる複数の撮像素子を用いて撮影した画像を合成して１枚の画像を作成する場合に、撮像素子間の画素サイズの差に起因する画質の劣化を防止することが可能な複眼カメラ及び画像処理方法を提供することを目的とする。

上記課題を解決するために、本発明の第１の態様に係る複眼カメラは、第１の撮像素子と、前記第１の撮像素子よりも画素数が多く、感度が低い第２の撮像素子と、前記第１の撮像素子と前記第２の撮像素子とを同期させて画像の露光及び画像信号の読み出しを行う撮影制御手段と、前記第２の撮像素子から読み出された第２の画像信号に対して画素加算処理を施す画素加算手段と、前記第１の撮像素子から読み出された第１の画像信号と、前記画素加算後の第２の画像信号とを合成して合成画像を作成する画像合成手段とを備える。

上記第１の態様によれば、画素数が多く、感度が低い第２の撮像素子から出力された画素データに対して画素加算処理を行って両撮像素子の出力特性を一致させることができ、両撮像素子の光量−出力特性の差に起因する画質の劣化を防ぐことができる。

本発明の第２の態様に係る複眼カメラは、上記第１の態様において、前記第１の撮像素子と前記第２の撮像素子はチップサイズが同じで、かつ、前記第２の撮像素子は前記第１の撮像素子よりも画素数が多い。

本発明の第３の態様に係る複眼カメラは、上記第２の態様において、前記第２の撮像素子の画素数が前記第１の撮像素子の画素数のＮ倍であり（Ｎは１より大きい整数）、前記画素加算手段は、前記第２の撮像素子から読み出された第２の画像信号をＮ画素分ずつ加算するようにしたものである。

上記第３の態様によれば、画素数がＮ倍で、画素サイズが約Ｎ分の１の第２の撮像素子から出力された画素データをＮ画素分ずつ画素加算することにより、両撮像素子の出力特性を一致させることができ、両撮像素子の光量−出力特性の差に起因する画質の劣化を防ぐことができる。

本発明の第４の態様に係る複眼カメラは、上記第１から第３の態様において、前記第１及び第２の撮像素子の露光時間を設定する露光時間設定手段を更に備え、前記第２の撮像素子が第１画素群と第２画素群とを含んでおり、前記画素加算手段は、前記第１画素群の画素と前記第２画素群の画素とを画素加算し、前記露光時間設定手段は、前記第２画素群の露光時間を調整して、前記第１画素群の画素から読み出された画像信号と前記第２画素群の画素から読み出された画像信号とを画素加算した結果得られる画像信号の出力特性と前記第１の画像信号の出力特性とを一致させるようにしたものである。

上記第４の態様によれば、高画素の第２の撮像素子に含まれる画素を２つの画素群に分けて、両画素群の出力の和が第１の撮像素子の出力と等しくなるように、一方の画素群の露光時間を調整することにより、両撮像素子の光量−出力特性の差に起因する画質の劣化を防止することができる。

本発明の第５の態様に係る複眼カメラは、上記第４の態様において、前記露光時間設定手段が、前記第１の撮像素子と前記第２の撮像素子の第１画素群の露光時間を同じ値に設定するようにしたものである。

本発明の第６の態様に係る複眼カメラは、上記第１から第３の態様の構成に加えて、前記第１の画像信号又は前記画素加算後の第２の画像信号に所定のゲインをかけて、前記前記第１の画像信号と前記画素加算後の第２の画像信号の出力特性を一致させる前記信号増幅手段を更に備える。

上記第６の態様によれば、ゲインをかけることにより、前記第１の画像信号と前記画素加算後の第２の画像信号の光量−出力特性を一致させることができる。

本発明の第７の態様に係る複眼カメラは、上記第１から第６の態様の構成に加えて、前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定する飽和電荷量設定手段を更に備える。

上記第７の態様によれば、上記各態様の効果に加え、第１の撮像素子と第２の撮像素子の飽和時の電荷量を一致させることができるので、両撮像素子の飽和時電荷量に近い出力を用いて画像を合成する場合の画質の劣化を防止することができる。

本発明の第８の態様に係る複眼カメラは、上記第７の態様において、前記第１の撮像素子と前記画素加算後における第２の撮像素子の飽和時の電荷量とＯＦＤ電圧の関係を示す飽和特性調整テーブルを更に備え、前記飽和電荷量設定手段が、前記飽和特性調整テーブルに基づいて、前記ＯＦＤ電圧を調整して、前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定するようにしたものである。

本発明の第９の態様に係る複眼カメラは、上記第１から第８の態様の構成に加えて、前記画素加算処理後の第２の画像信号又は前記第１の画像信号に対して補間又は間引き処理を行って、前記画素加算処理後の第２の画像信号の縦横の画素数と前記第１の画像信号の縦横の画素数を一致させる画素数調整手段を更に備える。

上記第９の態様によれば、第１及び第２の撮像素子の縦横の画素数を一致させることにより、画質を高めることが可能になる。

本発明の第１０の態様に係る画像処理方法は、第１の撮像素子と、前記第１の撮像素子よりも画素数が多く、感度が低い第２の撮像素子とを同期させて画像の露光及び画像信号の読み出しを行う撮影制御工程と、前記第２の撮像素子から読み出された第２の画像信号に対して画素加算処理を施す画素加算工程と、前記第１の撮像素子から読み出された第１の画像信号と、前記画素加算後の第２の画像信号とを合成して合成画像を作成する画像合成工程とを備える。

本発明の第１１の態様に係る画像処理方法は、上記第１０の態様において、前記第１の撮像素子と前記第２の撮像素子はチップサイズが同じで、かつ、前記第２の撮像素子の画素数が前記第１の撮像素子の画素数のＮ倍であり（Ｎは１より大きい整数）、前記画素加算工程において、前記第２の撮像素子から読み出された第２の画像信号をＮ画素分ずつ加算するようにしたものである。

本発明の第１２の態様に係る画像処理方法は、上記第１０又は第１１の態様において、前記第２画素群の露光時間を調整して、前記第１画素群の画素から読み出された画像信号と前記第２画素群の画素から読み出された画像信号とを画素加算した結果得られる画像信号の出力特性と前記第１の画像信号の出力特性とを一致させる露光時間設定工程を更に備え、前記画素加算工程において、前記第２の撮像素子に含まれる前記第１画素群の画素と前記第２画素群の画素とを画素加算するようにしたものである。

本発明の第１３の態様に係る画像処理方法は、上記第１２の態様において、前記第１の撮像素子と前記第２の撮像素子の第１画素群の露光時間を同じ値に設定するようにしたものである。

本発明の第１４の態様に係る画像処理方法は、上記第１０から第１３の構成に加えて、前記第１の画像信号又は前記画素加算後の第２の画像信号に所定のゲインをかけて、前記前記第１の画像信号と前記画素加算後の第２の画像信号の出力特性を一致させる前記信号増幅工程を更に備える。

本発明の第１５の態様に係る画像処理方法は、上記第１０から第１４の態様の構成に加えて、前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定する飽和電荷量設定工程を更に備える。

本発明の第１６の態様に係る画像処理方法は、上記第１５の態様の前記飽和電荷量設定工程において、前記第１の撮像素子と前記画素加算後における第２の撮像素子の飽和時の電荷量とＯＦＤ電圧の関係を示す飽和特性調整テーブルに基づいて、前記ＯＦＤ電圧を調整して、前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定するようにしたものである。

本発明の第１７の態様に係る画像処理方法は、上記第１０から第１６の態様の構成に加えて、前記画素加算処理後の第２の画像信号又は前記第１の画像信号に対して補間又は間引き処理を行って、前記画素加算処理後の第２の画像信号の縦横の画素数と前記第１の画像信号の縦横の画素数を一致させる画素数調整工程を更に備える。

本発明によれば、画素数が多く、感度が低い第２の撮像素子から出力された画素データに対して画素加算処理を行って両撮像素子の出力特性を一致させることができ、両撮像素子の光量−出力特性の差に起因する画質の劣化を防ぐことができる。

以下、添付図面に従って本発明に係る複眼カメラ及び画像処理方法の好ましい実施の形態について説明する。

［複眼カメラの構成］
図１は、本発明の第１の実施形態に係る複眼カメラの主要構成を示すブロック図である。

図１に示すように、複眼カメラ１０は、２つの撮影部１２−１及び１２−２を備えている。なお、撮影部１２は２つ以上設けてもよい。

複眼カメラ１０は、撮影部１２−１及び１２−２によって撮影した２枚の画像データを合成する。例えば、複眼カメラ１０は、撮影部１２−１及び１２−２によって撮影した２枚の視差画像データを合成して３次元表示（立体表示）用の画像の作成及び表示を行う。また、複眼カメラ１０は、撮影部１２−１及び１２−２によって撮影した２枚のパノラマ画像の作成用画像データを合成してパノラマ画像の作成及び表示を行う。複眼カメラ１０は、上記視差画像データ及びパノラマ画像の作成用画像データを、１つの記録用画像ファイル（マルチピクチャファイル）に格納する。また、複眼カメラ１０は、ブラケット撮影時、動画撮影時又は連写時に撮影した複数フレームの画像データをつなぎ合わせて１つの記録用画像ファイル（マルチピクチャファイル）に格納する。

ＣＰＵ（Central Processing Unit）１４は、操作部１６からの入力に基づいて複眼カメラ１０の動作を制御する。

制御バス２８は、ＣＰＵ１４からの指令を複眼カメラ１０の各部に伝送する伝送路である。データバス３０は、画像信号等の各種のデータを伝送する伝送路である。

メインメモリ３４には、ＣＰＵ１４が実行するプログラム及び制御に必要な各種データのほか、ユーザ設定情報等の複眼カメラ１０の動作に関する各種設定情報等が格納される。メモリ制御部３２は、所定のプロトコルに従って、メインメモリ３４からのデータの読み出し、メインメモリ３４へのデータの書き込み、メインメモリ３４内のデータのリフレッシュを行うためのインターフェースである。

記録媒体４０には、撮影された画像ファイル及び各種のデータが記録される。記録媒体４０としては、例えば、ＳＤメモリカード（登録商標）又はｘＤピクチャカード（登録商標）を用いることができる。外部メモリ制御部３８は、所定のプロトコルに従って、記録媒体４０からのデータの読み出し、記録媒体４０へのデータの書き込みを行うためのインターフェースである。

操作部１６は、ユーザが各種の操作入力を行うための操作手段であり、電源のオンとオフの切り替えを行う電源スイッチ、複眼カメラ１０の動作モードの切り替えを行うモードダイヤル、レリーズボタン及びズームボタンを含んでいる。

モードダイヤルは、複眼カメラ１０の動作モードの切り替え入力を行うための操作手段であり、モードダイヤルの設定位置に応じて、２次元の画像（静止画、動画）を撮影する２Ｄモード、３次元の画像（静止画、動画）を撮影する３Ｄモード、パノラマ画像を撮影するためのパノラマ撮影モード及び画像の再生を行う再生モードの間で動作モードが切り替えられる。

レリーズボタンは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影時には、レリーズボタンが半押しされると（Ｓ１オン）、撮影準備処理（例えば、自動露出調整処理（ＡＥ：Automatic Exposure）、自動焦点合わせ処理（ＡＦ：Auto Focus）、自動ホワイトバランス調整処理（ＡＷＢ：Automatic White Balance））が行われる。そして、レリーズボタンが全押しされると（Ｓ２オン）、静止画の撮影・記録処理が行われる。また、動画撮影時には、レリーズボタンが全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。なお、静止画撮影用のレリーズボタン及び動画撮影用のレリーズボタンを別々に設けるようにしてもよい。

ズームボタンは、撮影部１２−１及び１２−２のズーミング操作を行うための操作手段であり、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとを備えている。

表示部４４は、例えば、カラー液晶パネル（ＬＣＤ）を備えた表示装置である。表示部４４は、撮影された画像を表示する表示部として機能するとともに、複眼カメラ１０の各種機能に関する設定を行うときに時のユーザインターフェイスとして機能する。また、表示部４４は、撮影モード時に画角を確認するための電子ファインダとして機能する。

表示部４４は、３Ｄモード時に、ユーザが立体視可能な３次元（３Ｄ）画像を表示する機能を有する。３Ｄ画像の表示方式としては、例えば、ライト・ディレクション・コントロール・システム（Light Direction Control System）が採用される。ライト・ディレクション・コントロール・システムでは、左眼用の画像データをＬＣＤに表示して、バックライトパネルによってユーザの左眼に届くように指向性をもたせた照明光をＬＣＤに照射する処理と、右眼用の画像データをＬＣＤに表示して、バックライトパネルによってユーザの右眼に届くように指向性をもたせた照明光をＬＣＤに照射する処理とを交互に（例えば、１／６０秒間隔で）繰り返す。これにより、相互に視差のある左眼用画像と右眼用画像が、ユーザの左右の眼によって交互に観察されるので、ユーザは立体的な画像を観察することができる。

表示制御部４２は、データバス３０を介して入力されるＲ，Ｇ，Ｂの色信号を表示用の信号に変換する。

次に、複眼カメラ１０の撮影機能について説明する。なお、図１では、各撮影部１２−１及び１２−２等にそれぞれ符号１及び２を付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号１及び２を適宜省略して説明する。

各撮影部１２は、撮像光学系１８及び撮像素子２０を含んでいる。撮像光学系１８は、フォーカスレンズ、ズームレンズ、絞り、メカニカルシャッタ及びこれらを駆動する駆動部（アクチュエータ）を備えている。

フォーカスレンズ及びズームレンズは、各撮影部１２の光軸に沿って前後に移動する。ＣＰＵ１４は、撮像光学系１８のフォーカスアクチュエータの動作を制御して、フォーカスレンズの位置を調整してフォーカシングを行う。また、ＣＰＵ１４は、撮像光学系１８のズームアクチュエータの動作を制御して、ズームレンズの位置を調整してズーミングを行う。また、ＣＰＵ１４は、撮像光学系１８の絞り駆動部の駆動を制御することにより、絞りの開口量（絞り値）を調整して撮像素子２０への入射光量を制御する。

メカニカルシャッタは、撮像素子２０からデータを読み出すときに、撮像素子２０に入射する光を遮光するために閉じられる。

ＣＰＵ１４は、３Ｄモード及びパノラマ撮影モード時に、各撮影部１２−１及び１２−２の撮像光学系１８−１及び１８−２を同期させて駆動する。即ち、撮影部１２−１及び１２−２は、３Ｄモード及びパノラマ撮影モード時に、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ入射光量（絞り値）となるように絞りが調整される。更に、３Ｄモード時には、常に同じ被写体にピントが合うように焦点調節が行われる。

ＣＰＵ１４は、３Ｄモード時に、不図示の撮影部駆動機構を制御して、左右の眼に対応する視差画像が得られるように撮影部１２−１及び１２−２の輻輳角（撮像光学系１８−１と１８−２の光軸のなす角）を調整する。また、ＣＰＵ１４は、パノラマ撮影モード時に、ユーザからの入力に応じて所望の範囲が撮影できるように撮影部１２−１及び１２−２の輻輳角を調整する。

撮像素子２０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサである。撮像素子２０−１と撮像素子２０−２はチップサイズが同じで画素数が相互に異なっている。なお、撮像素子２０としては、他の方式の撮像素子（例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ）を用いることも可能である。

撮像素子２０の受光面には、多数の受光素子（フォトダイオード）が２次元的に配列されており、各フォトダイオードには所定の配列で３色（例えば、Ｒ，Ｇ，Ｂ）のカラーフィルタが配置されている。なお、画素配列は、例えば、ベイヤー配列又はハニカム配列である。

撮影部１２を介して撮像素子２０の受光面上に被写体光が結像されると、この被写体光はフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１４の指令に従って撮像素子駆動部２２から与えられる駆動パルスに基づいて、電荷量に応じた電圧信号（Ｒ，Ｇ，Ｂ信号）として撮像素子２０から順次読み出される。撮像素子２０は、電子シャッター機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッター速度）が制御される。

アナログ信号処理部２４は、撮像素子２０から出力されたＲ，Ｇ，Ｂ信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、Ｒ，Ｇ，Ｂ信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含んでいる。撮像素子２０から出力されるアナログのＲ，Ｇ，Ｂ信号は、アナログ信号処理部２４によって相関２重サンプリング処理されるとともに増幅される。アナログ信号処理部２４におけるＲ，Ｇ，Ｂ信号の増幅ゲインは撮影感度（ＩＳＯ感度）に相当する。ＣＰＵ１４は、被写体の明るさ等に応じて、この増幅ゲインを調整することにより撮影感度を設定する。なお、２つのＣＣＤを用いて画像を撮影する場合（３Ｄモード及びパノラマ撮影モード時）、このゲインはアナログ信号処理部２４−１と２４−２とで同じ値に設定される。

アナログ信号処理部２４から出力されたアナログのＲ，Ｇ，Ｂ信号は、Ａ／Ｄ変換器２６によってデジタルのＲ，Ｇ，Ｂ信号に変換された後、データバス３０を介してデジタル信号処理部３６に入力される。

上記のようにして生成されたデジタルのＲ，Ｇ，Ｂ信号は、デジタル信号処理部３６において、所定の処理（例えば、同時化処理（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、ホワイトバランス調整処理、階調変換（ガンマ補正）処理及び輪郭補正処理）が施されて、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）、即ち、Ｙ／Ｃ信号に変換される。

ライブビュー画像（スルー画）を表示部４４に表示する場合、デジタル信号処理部３６において生成されたＹ／Ｃ信号が１フレーム分ずつＲ，Ｇ，Ｂ信号に変換された後表示部４４に出力される。

次に、画像の撮影及び記録処理について説明する。２Ｄモード時には、所定の１つの撮影部（例えば、１２−１）により記録用の画像が撮影される。なお、２Ｄモード時にどちらの撮影部を使用するかはユーザが選択できるようにしてもよい。

２Ｄモード時に、撮影部１２−１によって撮影された画像は圧縮され、所定形式の画像ファイルとして記録媒体４０に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）、動画についてはＭＰＥＧ２又はＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮画像ファイルとして記録される。

３Ｄモード及びパノラマ撮影モード時には、撮影部１２−１及び１２−２によって同期して画像が撮影される。上記３Ｄモード及びパノラマ撮影モード時には、ＡＦ処理及びＡＥ処理は、撮影部１２−１及び１２−２のいずれか一方によって取得された画像信号に基づいて行われる。上記３Ｄモード及びパノラマ撮影モード時には、各撮影部１２−１及び１２−２によって撮影された２視点の画像は、それぞれ圧縮されて１つのマルチピクチャファイルに格納されて記録媒体４０に記録される。マルチピクチャファイルには、２視点の圧縮画像データとともに、被写体距離情報、撮影部１２の撮影レンズの間隔及び輻輳角に関する情報が格納される。

再生モード時には、記録媒体４０に記録されている所定の画像ファイル（例えば、最後に記録された画像ファイル）が読み出されて、非圧縮のＹ／Ｃ信号に伸張され、Ｒ，Ｇ，Ｂ信号に変換された後表示部４４に出力される。これにより、記録媒体４０に記録されている画像ファイルが表示部４４に表示される。

［撮像素子の構成］
図２は、撮像素子２０−１と２０−２に入射する光量と出力の関係（光量−出力特性）を示すグラフである。図２の横軸は一定光量下での露光時間（即ち、入射光量）、縦軸は撮像素子の出力（１画素に蓄積される蓄積電荷量）である。

撮像素子２０−１（例えば、６００万画素）と撮像素子２０−２（例えば、１２００万画素）はチップサイズ（面積）が等しく、かつ、撮像素子２０−１の方が撮像素子２０−２よりも画素数が少ないので、撮像素子２０−１の画素サイズは撮像素子２０−２よりも大きい。

従って、図２に示すように、同じ撮影条件（例えば、露光時間、絞り、ゲイン（撮影感度））で撮影した場合、撮像素子２０−１（曲線Ｌ１）は撮像素子２０−２（曲線Ｌ２）よりも１画素に蓄積可能な電荷量が大きい。即ち、撮像素子２０−１は、撮像素子２０−２よりも感度が高い。また、撮像素子２０−１と２０−２とはダイナミックレンジが異なる。

本実施形態では、撮像素子２０−１と２０−２を用いて撮影した画像を合成する場合（３Ｄモード及びパノラマ撮影モード時）、この光量−出力特性の差分を埋めるため画素加算処理を行う。

［デジタル信号処理部の構成］
次に、デジタル信号処理部３６の構成について、図１を参照して説明する。

制御部５０は、ＣＰＵ１４からの指令に基づいてデジタル信号処理部３６の各部を制御する。

入出力処理回路５２は、低画素撮像素子２０−１から得られたデータを画像処理部５６に入力し、高画素撮像素子２０−２から得られたデータを画素加算処理部５４に入力する。

画素加算処理部５４は、高画素撮像素子２０−２のデータの画素数が低画素撮像素子２０−１のデータの画素数と等しくなるように画素加算処理を行う。例えば、高画素撮像素子２０−２の画素数が低画素撮像素子２０−１のＮ倍（画素サイズが約Ｎ分の１）とした場合（Ｎ：整数（Ｎ＞１））、高画素撮像素子２０−２のＮ画素を加算することにより、低画素撮像素子２０−１と高画素撮像素子２０−２との間の光量−出力特性を合わせることができる。図２に示す例では、高画素撮像素子２０−２（１２００万画素）の画素数が低画素撮像素子２０−１（６００万画素）の２倍（画素サイズが約２分の１）であるため、高画素撮像素子２０−２の２画素を加算することにより、低画素撮像素子２０−１と高画素撮像素子２０−２との間の光量−出力特性を合わせることができる。

なお、高画素撮像素子２０−２の画素数Ｐ２と低画素撮像素子２０−１の画素数Ｐ１の比Ｐ２／Ｐ１が整数ではない場合には、例えば、Ｐ２／Ｐ１に近い整数個分の画素を加算した後に、低画素撮像素子２０−１又は高画素撮像素子２０−２から得られたデータに所定のゲインをかけることにより、低画素撮像素子２０−１の出力と高画素撮像素子２０−２の出力との間の光量−出力特性を合わせるようにすればよい。

また、画素加算処理後に、低画素撮像素子２０−１と高画素撮像素子２０−２のデータの画素数を合わせるために、低画素撮像素子２０−１と高画素撮像素子２０−２に対して画素の補間又は間引き処理を行うようにしてもよい。これにより、両撮像素子から光量−出力特性が同じで、且つ、データの画素数が等しい画像信号を取得することができる。

画像処理部５６は、低画素撮像素子２０−１のデータと、高画素撮像素子２０−２の画素加算処理が施されたデータとを合成する。３Ｄモード時には、画像処理部５６は、低画素撮像素子２０−１のデータと、高画素撮像素子２０−２のデータとを合成して３Ｄ画像を作成する。パノラマ撮影モード時には、画像処理部５６は、低画素撮像素子２０−１のデータと、高画素撮像素子２０−２のデータとを横方向につなぎ合わせてパノラマ画像を作成する。

［画素加算処理］
図３は、本発明の第１の実施形態に係る複眼カメラにおいて、２つの撮像素子を用いて画像を撮影して合成する場合の処理を示すフローチャートである。

まず、レリーズボタンの半押し（Ｓ１オン）に応じて所定の撮影準備処理が実行された後、レリーズボタンが全押しされると（Ｓ２オン）、各撮像素子２０−１及び２０−２が同期して駆動されて露光が開始される（ステップＳ１０）。撮影準備処理により決定された露光時間が経過すると、各撮像素子２０−１及び２０−２からアナログ信号（アナログデータ）が読み出される（ステップＳ１２）。そして、上記アナログデータは所定の処理が施された後、Ａ／Ｄ変換器２６−１及び２６−２によってデジタルの画像信号（データ）に変換され（ステップＳ１４）、デジタル信号処理部３６の入出力処理回路５２に入力される（ステップＳ１６）。

次に、低画素撮像素子２０−１の出力信号から生成されたデータは、画像処理部５６に入力される（ステップＳ１８）。一方、高画素撮像素子２０−２の出力信号から生成されたデータは、入出力処理回路５２から画素加算処理部５４に入力されて（ステップＳ２０）、画素加算処理が行われた後（ステップＳ２２）、画像処理部５６に入力される（ステップＳ２４）。

次に、画像処理部５６において、低画素撮像素子２０−１から得られたデータと高画素撮像素子２０−２から得られたデータに所定の処理が施されて合成される（ステップＳ２６）。また、表示部４４に確認用の画像が表示される。例えば、３Ｄモードの場合には、両撮像素子２０−１及び２０−２から得られたデータが合成されて３Ｄ画像が作成され、３Ｄ画像の表示処理が行われる。また、パノラマ撮影モードの場合には、両撮像素子２０−１及び２０−２から得られたデータがつなぎ合わされて、パノラマ画像の作成及び表示が行われる。そして、作成された画像（３Ｄ画像又はパノラマ画像）が所定の形式のファイルに格納されて記録される（ステップＳ２８）。

本実施形態によれば、画素数が多い高画素撮像素子２０−２から出力された画素データに対して画素加算処理を行うことにより、ゲイン調整のみで画素数が少ない撮像素子に光電変換特性を合わせた場合よりも、両撮像素子の光量−出力特性の差に起因する画質の劣化を防ぐことができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。

本実施形態は、低画素撮像素子２０−１の２倍の画素数を有する高画素撮像素子２０−２の画素を２画素群に分けて、各画素群を異なる露光時間露光して画素加算を行うことにより、両撮像素子２０−１及び２０−２間の光量−出力特性を合わせるようにしたものである。

図４は、本発明の第２の実施形態に係る複眼カメラの主要構成を示すブロック図である。

図４に示すように、本実施形態に係る複眼カメラ１０Ａは、画素加算露光調整係数記録部４６を更に備えている。

画素加算露光調整係数記録部４６は、後述の画素加算露光調整係数αを記録するメモリ（ＲＯＭ）である。

また、本実施形態の高画素撮像素子２０−２に接続される撮像素子駆動部２２−２は画素加算駆動モードを備える。

本実施形態では、高画素撮像素子２０−２（１２００万画素）の画素数が低画素撮像素子２０−１（６００万画素）の画素数の２倍であるため、高画素撮像素子２０−２を第１画素群（６００万画素）と第２画素群（６００万画素）に分けて相互に異なる時間ずつ露光し、両画素群の画素の画素加算処理を行う。

以下、本実施形態に係る画素加算駆動モードにおける処理の流れについて、図５から図７を参照して説明する。図５は、高画素撮像素子２０−２を画素加算駆動するときの駆動信号を示すタイミングチャートである。図６は、画素加算駆動時の画像信号の動きを説明するための平面図である。

まず、レリーズボタンの半押し（Ｓ１オン）に応じて撮影準備処理が行われる。撮影準備処理では、露光時間（低画素撮像素子２０−１と高画素撮像素子２０−２の第１画素群の露光時間）ｔＬが算出される。また、露光時間ｔＬと係数αとから第２画素群の露光時間ｔＳが算出される。

次に、レリーズボタンが全押し（Ｓ２オン）されると、ＶＯＤ（Vertical Overflow Drain）信号が両撮像素子２０−１及び２０−２に入力されて（図５の時間ｔ１）、各画素に蓄積されている不要な電荷が各撮像素子が配設されている基板側に排出される。

次に、両撮像素子２０−１及び２０−２の露光が開始され（図５の時間ｔ２からｔ３）、図６（ａ）に示すように、第１画素群の画素ＰＩＸ１と第２画素群の画素ＰＩＸ２がともに露光される。

第２画素群の画素ＰＩＸ２の露光時間ｔＳが経過すると、第２画素群の画素ＰＩＸ２に駆動信号φ２Ｂが印加されて（図５の時間ｔ３）、図６（ｂ）に示すように、第２画素群ＰＩＸ２に蓄積された電荷が垂直転送路ＶＣＣＤに読み出されて保持される。一方、図６（ｃ）に示すように、第１画素群の画素ＰＩＸ１の露光は継続される（図５の時間ｔ３からｔ４）。

第１画素群の画素ＰＩＸ１の露光時間ｔＬが経過すると、第１画素群の画素ＰＩＸ１に駆動信号φ２Ａが印加されて（図５の時間ｔ４）、図６（ｄ）に示すように、第１画素群ＰＩＸ１に蓄積された電荷が垂直転送路（ＶＣＣＤ）に読み出される。

そして、図６（ｅ）に示すように、第１画素群の画素ＰＩＸ１及び第２画素群の画素ＰＩＸ２から読み出された電荷が垂直転送路ＶＣＣＤ及び水平転送路ＨＣＣＤを転送されて、アナログ信号処理部２４に転送される（図５の時間ｔ５以降）。そして、上記第１の実施形態と同様に、デジタル信号処理部３６において、画素加算処理が行われる。

なお、画素加算処理後に、低画素撮像素子２０−１と高画素撮像素子２０−２のデータの画素数を合わせるために、低画素撮像素子２０−１と高画素撮像素子２０−２に対して画素の補間又は間引き処理を行うようにしてもよい。これにより、両撮像素子から光量−出力特性が同じで、且つ、データの画素数が等しい画像信号を取得することができる。

［露光時間算出処理］
以下、第２画素群の露光時間の算出処理について説明する。

図７は、本発明の第２の実施形態に係る画素加算処理を説明するための図である。図７の横軸は一定光量下での露光時間（即ち、入射光量）、縦軸は撮像素子の出力（１画素に蓄積される蓄積電荷量）である。

上記高画素撮像素子２０−２の第２画素群の露光時間ｔＳは、図７及び下記の式（１）に示すように、第２画素群の出力Ｃが低画素撮像素子２０−１の出力Ａと上記第１画素群の出力Ｂとの差と等しくなるように設定される。

（低画素撮像素子２０−１の出力Ａ）＝（高画素撮像素子２０−２の第１画素群の出力Ｂ）＋（高画素撮像素子２０−２の第２画素群の出力Ｃ） …（１）
具体的には、図７に示す低画素撮像素子２０−１の光量−出力特性Ｌ１０と高画素撮像素子２０−２の第１画素群の光量−出力特性Ｌ２１を取得し、下記の計算式（２）により画素加算露光調整係数αを算出する。上記係数αは、複眼カメラ１０Ａの出荷時に、光量の関数として画素加算露光調整係数記録部４６に記録される。

α＝｛（出力Ａ）−（出力Ｂ）｝／（出力Ｂ） …（２）
ＣＰＵ１４は、撮影部１２−１及び１２−２により撮影した画像を合成するモード（３Ｄモード及びパノラマ撮影モード）時に、下記の式（３）に示すように、撮影準備処理により決定された低画素撮像素子２０−１及び高画素撮像素子２０−２の第１画素群の露光時間ｔＬに上記係数αを掛けることで第２画素群の露光時間ｔＳを算出する。

ｔＳ＝ｔＬ×α …（３）
これにより、上記式（１）に示すように、図７の曲線Ｌ２２に示すように、第２画素群の出力Ｃが低画素撮像素子２０−１の出力Ａと上記第１画素群の出力Ｂとの差と等しくなるような露光時間ｔＳが求められる。

本実施形態によれば、高画素撮像素子２０−２を２つの画素群に分けて、両画素群の出力の和が低画素撮像素子２０−１の出力と等しくなるように、一方の画素群の露光時間を調整することにより、両撮像素子の光量−出力特性の差に起因する画質の劣化を防止することができる。更に、本実施形態によれば、両撮像素子の特性を一致させるために画素加算後のデータをゲインにより調整する必要がないという利点を有する。

なお、図６に示す例では、第１画素群の画素の列と第２画素群の画素の列が１列おきに配置されているが、これに限定されるものではない。第１画素群と第２画素群の分け方は、例えば、受光素子上に配置されたカラーフィルタの配列に応じて異なる。

また、高画素撮像素子２０−２の画素群と低画素撮像素子２０−１の画素数の比に応じて、高画素撮像素子２０−２の画素を３以上の画素群に分けて、各画素群を異なる露光時間露光させてから画素加算することも可能である。

また、上記の各実施形態では、各撮像素子２０−１及び２０−２からの出力をデジタルデータに変換した後で画素加算処理を行うようにしたが、例えば、各撮像素子２０−１及び２０−２内の転送路（水平転送路）で画素加算処理を行うようにしてもよい。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。

図８は、本発明の第３の実施形態に係る複眼カメラの主要構成を示すブロック図である。

図８に示すように、本実施形態に係る複眼カメラ１０Ｂは、飽和特性調整テーブル４８を更に備えている。

飽和特性調整テーブル４８は、低画素撮像素子２０−１と高画素撮像素子２０−２のＯＦＤ（Overflow Drain）電圧と飽和時に画素に蓄積可能な電荷量の関係を示す飽和特性が格納される。この飽和特性調整テーブル４８は、出荷時に複眼カメラ１０Ｂに内蔵される。

図９は、飽和特性調整テーブル４８を示す図である。図９（ａ）は低画素撮像素子２０−１の飽和時電荷量とＯＦＤ電圧との関係を示しており、図９（ｂ）は高画素撮像素子２０−２の画素加算処理後の（例えば、２画素加算した場合の）飽和時電荷量とＯＦＤ電圧との関係を示している。なお、図９の横軸はＯＦＤ電圧であり、縦軸は飽和時に画素に蓄積可能な電荷量である。

撮像素子２０−１と２０−２を用いて撮影した画像を合成するモード時（３Ｄモード及びパノラマ撮影モード時）において、上記第１又は第２の実施形態の画素加算を行う場合に、ＣＰＵ１４は、図９に示す飽和特性調整テーブル４８に基づいて低画素撮像素子２０−１の飽和時電荷量（目標飽和値）と高画素撮像素子２０−２の画素加算処理後の（例えば、２画素加算した場合の）飽和時電荷量（目標飽和値）とが等しくなるように、各撮像素子２０−１及び２０−２に印加するＯＦＤ電圧（それぞれＶ１，Ｖ２）を決定する。

本実施形態によれば、低画素撮像素子２０−１と高画素撮像素子２０−２の飽和特性を一致させることができるので、両撮像素子２０−１及び２０−２の飽和時電荷量に近い出力を用いて画像を合成する場合の画質の劣化を防止することができる。

本発明の第１の実施形態に係る複眼カメラの主要構成を示すブロック図 撮像素子２０−１と２０−２に入射する光量と出力の関係（光量−出力特性）を示すグラフ 本発明の第１の実施形態に係る複眼カメラにおいて、２つの撮像素子を用いて画像を撮影して合成する場合の処理を示すフローチャート 本発明の第２の実施形態に係る複眼カメラの主要構成を示すブロック図 高画素撮像素子２０−２を画素加算駆動するときの駆動信号を示すタイミングチャート 画素加算駆動時の画像信号の動きを説明するための平面図 本発明の第２の実施形態に係る画素加算処理を説明するための図 本発明の第３の実施形態に係る複眼カメラの主要構成を示すブロック図 飽和特性調整テーブル４８を示す図

符号の説明

１０…複眼カメラ、１２…撮影部、１４…ＣＰＵ、１６…操作部、１８…撮像光学系、２０…撮像素子、２２…撮像素子駆動部、２４…アナログ信号処理部、２６…Ａ／Ｄ変換器、２８…制御バス、３０…データバス、３２…メモリ制御部、３４…メインメモリ、３６…デジタル信号処理部、３８…外部メモリ制御部、４０…記録媒体、４２…表示制御部、４４…表示部、４６…画素加算露光調整係数記録部、４８…飽和特性調整テーブル、５０…制御部、５２…入出力処理回路、５４…画素加算処理部、５６…画像処理部

Claims (17)

1. 第１の撮像素子と、
   前記第１の撮像素子よりも画素数が多く、感度が低い第２の撮像素子と、
   前記第１の撮像素子と前記第２の撮像素子とを同期させて画像の露光及び画像信号の読み出しを行う撮影制御手段と、
   前記第２の撮像素子から読み出された第２の画像信号に対して画素加算処理を施す画素加算手段と、
   前記第１の撮像素子から読み出された第１の画像信号と、前記画素加算後の第２の画像信号とを合成して合成画像を作成する画像合成手段と、
   を備える複眼カメラ。
2. 前記第１の撮像素子と前記第２の撮像素子はチップサイズが同じで、かつ、前記第２の撮像素子は前記第１の撮像素子よりも画素数が多い請求項１記載の複眼カメラ。
3. 前記第２の撮像素子の画素数が前記第１の撮像素子の画素数のＮ倍であり（Ｎは１より大きい整数）、
   前記画素加算手段は、前記第２の撮像素子から読み出された第２の画像信号をＮ画素分ずつ加算する請求項２記載の複眼カメラ。
4. 前記第１及び第２の撮像素子の露光時間を設定する露光時間設定手段を更に備え、
   前記第２の撮像素子が第１画素群と第２画素群とを含んでおり、
   前記画素加算手段は、前記第１画素群の画素と前記第２画素群の画素とを画素加算し、
   前記露光時間設定手段は、前記第２画素群の露光時間を調整して、前記第１画素群の画素から読み出された画像信号と前記第２画素群の画素から読み出された画像信号とを画素加算した結果得られる画像信号の出力特性と前記第１の画像信号の出力特性とを一致させる請求項１から３のいずれか１項記載の複眼カメラ。
5. 前記露光時間設定手段は、前記第１の撮像素子と前記第２の撮像素子の第１画素群の露光時間を同じ値に設定する請求項４記載の複眼カメラ。
6. 前記第１の画像信号又は前記画素加算後の第２の画像信号に所定のゲインをかけて、前記第１の画像信号と前記画素加算後の第２の画像信号の出力特性を一致させる前記信号増幅手段を更に備える請求項１から３のいずれか１項記載の複眼カメラ。
7. 前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定する飽和電荷量設定手段を更に備える請求項１から６のいずれか１項記載の複眼カメラ。
8. 前記第１の撮像素子と前記画素加算後における第２の撮像素子の飽和時の電荷量とＯＦＤ電圧の関係を示す飽和特性調整テーブルを更に備え、
   前記飽和電荷量設定手段は、前記飽和特性調整テーブルに基づいて、前記ＯＦＤ電圧を調整して、前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定する請求項７記載の複眼カメラ。
9. 前記画素加算処理後の第２の画像信号又は前記第１の画像信号に対して補間又は間引き処理を行って、前記画素加算処理後の第２の画像信号の縦横の画素数と前記第１の画像信号の縦横の画素数を一致させる画素数調整手段を更に備える請求項１から８のいずれか１項記載の複眼カメラ。
10. 第１の撮像素子と、前記第１の撮像素子よりも画素数が多く、感度が低い第２の撮像素子とを同期させて画像の露光及び画像信号の読み出しを行う撮影制御工程と、
    前記第２の撮像素子から読み出された第２の画像信号に対して画素加算処理を施す画素加算工程と、
    前記第１の撮像素子から読み出された第１の画像信号と、前記画素加算後の第２の画像信号とを合成して合成画像を作成する画像合成工程と、
    を備える画像処理方法。
11. 前記第１の撮像素子と前記第２の撮像素子はチップサイズが同じで、かつ、前記第２の撮像素子の画素数が前記第１の撮像素子の画素数のＮ倍であり（Ｎは１より大きい整数）、
    前記画素加算工程において、前記第２の撮像素子から読み出された第２の画像信号をＮ画素分ずつ加算する請求項１０記載の画像処理方法。
12. 前記第２画素群の露光時間を調整して、前記第１画素群の画素から読み出された画像信号と前記第２画素群の画素から読み出された画像信号とを画素加算した結果得られる画像信号の出力特性と前記第１の画像信号の出力特性とを一致させる露光時間設定工程を更に備え、
    前記画素加算工程において、前記第２の撮像素子に含まれる前記第１画素群の画素と前記第２画素群の画素とを画素加算する請求項１０又は１１記載の画像処理方法。
13. 前記第１の撮像素子と前記第２の撮像素子の第１画素群の露光時間を同じ値に設定する請求項１２記載の画像処理方法。
14. 前記第１の画像信号又は前記画素加算後の第２の画像信号に所定のゲインをかけて、前記前記第１の画像信号と前記画素加算後の第２の画像信号の出力特性を一致させる前記信号増幅工程を更に備える請求項１０から１３のいずれか１項記載の画像処理方法。
15. 前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定する飽和電荷量設定工程を更に備える請求項１０から１４のいずれか１項記載の画像処理方法。
16. 前記飽和電荷量設定工程において、前記第１の撮像素子と前記画素加算後における第２の撮像素子の飽和時の電荷量とＯＦＤ電圧の関係を示す飽和特性調整テーブルに基づいて、前記ＯＦＤ電圧を調整して、前記第１の画像信号と、前記画素加算後の第２の画像信号の飽和時の電荷量を同じ値に設定する請求項１５記載の画像処理方法。
17. 前記画素加算処理後の第２の画像信号又は前記第１の画像信号に対して補間又は間引き処理を行って、前記画素加算処理後の第２の画像信号の縦横の画素数と前記第１の画像信号の縦横の画素数を一致させる画素数調整工程を更に備える請求項１０から１６のいずれか１項記載の画像処理方法。

Images