JP2010161739A - 複眼撮像装置及び撮像制御方法 - Google Patents

Abstract

【課題】 複数の撮像素子を有する複眼撮像装置において、各撮像素子の露光期間が異なる場合に、両撮像素子の画像を合成して得られた合成画像の画質の劣化を防止することが可能な複眼撮像装置及び該複眼撮像装置における撮像制御方法を提供する。
【解決手段】 第１撮像系１２−１及び第２撮像系１２−２の両方を用いて撮影を行う複眼撮影モード時に、第１撮像系１２−１と第２撮像系１２−２の特性の差に応じて、第１撮像素子２６−１の露光期間Ｐ１が第２撮像素子２６−２の露光期間Ｐ２よりも短い時間に設定される。ＣＰＵ１４は、露光期間が短い第１撮像系１２−１の露光期間Ｐ１を複数回に分割し、第２撮像系１２−２の露光期間Ｐ２に均等に割り当てる。また、ＣＰＵ１４は、第１撮像素子２６−１と第２撮像素子２６−２の露光開始時間Ｔ_Ｓと露光終了時間Ｔ_Ｅとが互いに一致するように、露光期間Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４の割り当てを行う。
【選択図】 図２

Description

本発明は複眼撮像装置及び撮像制御方法に係り、特に複数の撮像素子を備える複眼撮像装置及び該複眼撮像装置における撮像制御方法に関する。

特許文献１には、２つのＣＣＤ撮像素子を有するステレオ電子スチルカメラにおいて、露出差指定スイッチの状態に応じて２つのＣＣＤ撮像素子の露出値を異なる値に設定することが開示されている。

特許文献２には、２次元画像用ＣＣＤと、２次元画像用ＣＣＤと比較して画素数が同じか又は少なく、画素ピッチが２次元画像用ＣＣＤの整数倍の３次元画像用ＣＣＤを備える３次元画像入力装置が開示されている。

特許文献３には、第１の撮像部と第２の撮像部を有するステレオ撮像装置において、第１の撮像部と第２の撮像部の露光期間の重心のタイミングが異なる場合に、両撮像部の撮影タイミングの同期をずらすことにより、それぞれの撮像部の露光期間のタイミングを合わせることが開示されている。

特開２０００−５６４１４号公報 特開２００２−７４３４６号公報 特開２００６−５６０８号公報

撮影レンズと撮像素子とを含む撮像系を複数有するステレオ撮像システムにおいて、各撮像系の種類や特性をあえて異なるものとすることで、制御性の向上や撮像領域の拡大を図ることが考えられる。例えば、各撮像系に含まれる各撮像素子の画素数や感度を異なるものにすることが考えられる（例えば、特許文献２）。このようなステレオ撮像システムでは、各撮像系の撮像素子の露光期間（長さ、付与タイミング）が大きく異なる場合、露光期間中の被写体の動きに応じて各撮像素子における被写体像のブレ量が異なる。例えば、露光期間が長い方の撮像素子から得られた画像ではある程度被写体の像がぼける（ブレる）が、露光時間が短い方の撮像素子から得られた画像では、露光時間が長い方の撮像素子から得られた画像よりも被写体の像のぼけ（ブレ）が小さくなる。このため、各撮像素子から得られた画像を合成して合成画像を作成する場合、画像処理演算の演算量が大きくなって処理系に大きな負荷がかかったり、合成画像（例えば、立体画像）がチラついて見える等の不具合が発生する。撮影対象の被写体の動きが高速になるほど、各撮像素子から得られる画像の間に生じるブレ量の差が大きくなり、上記の不具合が発生しやすくなる。

特許文献１及び２に記載の装置は、複数の撮像素子間で露光期間が異なるタイミングで付与される場合について考慮してなされたものではない。

また、特許文献３に記載の装置は、露光期間の重心を合わせるものであり、露光期間の付与タイミングの差に起因する両撮像素子における被写体の像のブレ方の差を解消することはできない。

本発明はこのような事情に鑑みてなされたもので、複数の撮像素子を有する複眼撮像装置において、各撮像素子の露光期間が異なる場合に、両撮像素子の画像を合成して得られた合成画像の画質の劣化を防止することが可能な複眼撮像装置及び該複眼撮像装置における撮像制御方法を提供することを目的とする。

上記課題を解決するために、本発明の第１の態様に係る複眼撮像装置は、第１の撮像素子と、第２の撮像素子と、前記第１の撮像素子と前記第２の撮像素子の両方を用いて被写体像を撮像するときに、前記第１の撮像素子を露光する第１の露光期間を前記第２の撮像素子を露光する第２の露光期間よりも短い時間に設定する露光期間設定手段と、前記第１の露光期間を複数の分割期間に分割して、前記第２の露光期間と露光開始時間及び露光終了時間がそれぞれ一致するように、前記分割期間を設定する分割期間設定手段と、前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像を撮像する撮像指示の入力を受け付ける撮像指示手段と、前記撮像指示の入力に応じて、前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像の撮像を行う撮像制御手段と、前記第１の撮像素子が前記分割期間に露光されるように、前記第１の撮像素子の露光を制御する露光制御手段と、前記露光終了時間の後に、前記第１の撮像素子及び前記第２の撮像素子から信号電荷を読み出して、前記信号電荷を用いて画像データを作成する画像データ作成手段とを備える。

上記第１の態様によれば、複眼撮像において第１、第２の撮像素子の露光期間の長さが互いに異なる場合に、露光期間が短い方の第１の撮像素子の露光期間を分割して、第２の撮像素子の露光期間内に露光開始時間と露光終了時間とが一致するように割り当てることにより、露光期間の差によって両撮像素子から得られる画像間に大きな違いが現れることを防止することができる。

本発明の第２の態様に係る複眼撮像装置は、上記第１の態様において、前記分割期間設定手段が、前記第１の露光期間を同じ長さの分割期間に分割して、前記分割期間を前記第２の露光期間内に均等に分配するようにしたものである。

上記第２の態様によれば、複眼撮像において第１、第２の撮像素子の露光期間の長さが互いに異なる場合に、露光期間が短い方の第１の撮像素子の露光期間を分割して、第２の撮像素子の露光期間内に露光開始時間と露光終了時間とが一致するように均等に割り当てることにより、露光期間の差によって両撮像素子から得られる画像間に大きな違いが現れることを防止することができる。

本発明の第３の態様に係る複眼撮像装置は、上記第１又は第２の態様において、前記第１の撮像素子に入射する光を遮光するメカニカルシャッターを更に備え、前記露光制御手段が、前記メカニカルシャッターの開閉を制御して、前記第１の撮像素子に光が入射する時間を制御することにより、前記第１の撮像素子の露光を制御するようにしたものである。

上記第３の態様によれば、メカニカルシャッターを利用して、第１の撮像素子の露光期間を分割することにより、複数の撮像素子の間で露光期間が異なるために画像間に大きな違いが現れることを防止することができる。

本発明の第４の態様に係る複眼撮像装置は、上記第１又は第２の態様において、前記第１の撮像素子が、画素に蓄積された信号電荷を転送する垂直転送路を備えており、前記露光制御手段が、前記分割期間が終了するごとに、前記第１の撮像素子に蓄積された信号電荷を前記垂直転送路に読み出して、各分割期間に前記第１の撮像素子の画素に蓄積された信号電荷を前記垂直転送路で加算するようにしたものである。

上記第４の態様によれば、電子シャッター機能を利用して、第１の撮像素子の露光期間を分割することにより、複数の撮像素子の間で露光期間が異なるために画像間に大きな違いが現れることを防止することができる。

本発明の第５の態様に係る複眼撮像装置は、上記第１又は第２の態様において、前記第１の撮像素子が、画素に蓄積された信号電荷を転送する垂直転送路を備えており、前記露光制御手段が、前記分割期間が終了するごとに、前記第１の撮像素子に蓄積された信号電荷を前記垂直転送路に読み出して、前記画像データ作成手段に転送するようにしたものである。

上記第５の態様によれば、上記した効果に加え、分割期間が終了するごとに信号電荷の転送を行うことにしたので、累積された信号電荷によって垂直転送路が満たされたり、累積された信号電荷が第１の撮像素子で発生する暗電流の影響を受けることを防止することができる。

本発明の第６の態様に係る複眼撮像装置は、第１の撮像素子と、第２の撮像素子と、前記第１の撮像素子と前記第２の撮像素子の両方を用いて被写体像を複数フレーム連続撮像するときに、前記第１の撮像素子の１フレーム当たりの露光期間を前記第２の撮像素子の１フレーム当たりの露光期間よりも短い時間に設定する露光期間設定手段と、前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像を連続撮像する撮像指示の入力を受け付ける撮像指示手段と、前記撮像指示の入力に応じて、前記第１の撮像素子と前記第２の撮像素子の各フレームの露光タイミングを同期させて前記被写体像の連続撮像を行う撮像制御手段と、前記第１の撮像素子の各フレームの画像データを作成するときに、各フレームの前後に連続するフレームの画像データを使用する画像データ作成手段とを備える。

上記第６の態様によれば、複眼で連続撮像（連写又は動画撮像）を行うときに、第１、第２の撮像素子間における１フレームの露光期間の長さの差によって、両撮像素子から取得した画像に大きな違いが現れることを防ぐことができる。

本発明の第７の態様に係る複眼撮像装置は、上記第６の態様において、前記画像データ作成手段が、前記第１の撮像素子の第（ｎ−１）フレームの画像データと第（ｎ＋１）フレームの画像データを合成して、前記第１の撮像素子の第ｎフレーム（ｎは２以上の整数）の画像データを作成するようにしたものである。

上記第７の態様によれば、複眼で連続撮像（連写又は動画撮像）を行うときに、第１撮像素子のフレーム画像データを作成するときに、その前後各１フレームの画像データを使用することにより、第１、第２の撮像素子間における１フレームの露光期間の長さの差によって、両撮像素子から取得した画像に大きな違いが現れることを防ぐことができる。

本発明の第８の態様に係る複眼撮像装置は、上記第６又は第７の態様において、前記撮像制御手段が、前記第１の撮像素子の露光期間と前記第２の撮像素子の露光期間の露光開始時間、露光終了時間及び露光期間の中心の時間のいずれか１つを一致させるようにしたものである。

本発明の第９の態様に係る撮像制御方法は、第１の撮像素子と、第２の撮像素子とを備える複眼撮像装置を用いて被写体像を撮像する撮像制御方法であって、前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像を撮像するときに、前記第１の撮像素子を露光する第１の露光期間を前記第２の撮像素子を露光する第２の露光期間よりも短い時間に設定する露光期間設定工程と、前記第１の露光期間を複数の分割期間に分割して、前記第２の露光期間と露光開始時間及び露光終了時間がそれぞれ一致するように、前記分割期間を設定する分割期間設定工程と、前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像を撮像する撮像指示の入力に応じて、前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像の撮像を行う撮像制御工程と、前記第１の撮像素子が前記分割期間に露光されるように、前記第１の撮像素子の露光を制御する露光制御工程と、前記露光終了時間の後に、前記第１の撮像素子及び前記第２の撮像素子から信号電荷を読み出して、前記信号電荷を用いて画像データを画像データ作成手段により作成する画像データ作成工程とを備える。

本発明の第１０の態様に係る撮像制御方法は、上記第９の態様の前記分割期間設定工程において、前記第１の露光期間を同じ長さの分割期間に分割して、前記分割期間を前記第２の露光期間内に均等に分配するようにしたものである。

本発明の第１１の態様に係る撮像制御方法は、上記第９又は第１０の態様の前記露光制御工程において、前記第１の撮像素子に入射する光を遮光するメカニカルシャッターの開閉を制御して、前記第１の撮像素子に光が入射する時間を制御することにより、前記第１の撮像素子の露光を制御するようにしたものである。

本発明の第１２の態様に係る撮像制御方法は、上記第９又は第１０の態様の前記露光制御工程において、前記分割期間が終了するごとに、前記第１の撮像素子に蓄積された信号電荷を前記第１の撮像素子の垂直転送路に読み出して、各分割期間に前記第１の撮像素子の画素に蓄積された信号電荷を前記垂直転送路で加算するようにしたものである。

本発明の第１３の態様に係る撮像制御方法は、上記第９又は第１０の態様の前記露光制御工程において、前記分割期間が終了するごとに、前記第１の撮像素子に蓄積された信号電荷を前記第１の撮像素子の垂直転送路に読み出して、前記画像データ作成手段に転送するようにしたものである。

本発明の第１４の態様に係る撮像制御方法は、第１の撮像素子と、第２の撮像素子とを備える複眼撮像装置を用いて被写体像を連続撮像する撮像制御方法であって、前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像を複数フレーム連続撮像するときに、前記第１の撮像素子の１フレーム当たりの露光期間を前記第２の撮像素子の１フレーム当たりの露光期間よりも短い時間に設定する露光期間設定工程と、前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像を連続撮像する撮像指示の入力に応じて、前記第１の撮像素子と前記第２の撮像素子の各フレームの露光タイミングを同期させて前記被写体像の連続撮像を行う撮像制御工程と、前記第１の撮像素子の各フレームの画像データを作成するときに、各フレームの前後に連続するフレームの画像データを使用する画像データ作成工程とを備える。

本発明の第１５の態様に係る撮像制御方法は、上記第１４の態様の前記画像データ作成工程において、前記第１の撮像素子の第（ｎ−１）フレームの画像データと第（ｎ＋１）フレームの画像データを合成して、前記第１の撮像素子の第ｎフレーム（ｎは２以上の整数）の画像データを作成するようにしたものである。

本発明の第１６の態様に係る撮像制御方法は、上記の第１４又は第１５態様の前記撮像制御工程において、前記第１の撮像素子の露光期間と前記第２の撮像素子の露光期間の露光開始時間、露光終了時間及び露光期間の中心の時間のうちの少なくとも１つを一致させるようにしたものである。

本発明によれば、複眼撮像及び複眼連続撮像時に第１、第２の撮像素子の露光期間の長さが互いに異なる場合に、露光期間の差によって両撮像素子から得られる画像間に大きな違いが現れることを防止することができる。

本発明の第１の実施形態に係る複眼撮像装置の主要構成を示すブロック図 本発明の第１の実施形態に係る撮像制御方法を示すタイミングチャート 本発明の第２の実施形態に係る複眼撮像装置の主要構成を示すブロック図 撮像素子２６の構成を示す平面図 本発明の第２の実施形態に係る撮像制御方法を示すタイミングチャート 本発明の第３の実施形態に係る撮像制御方法を示すタイミングチャート 本発明の第４の実施形態に係る撮像制御方法を示すタイミングチャート 本発明の第５の実施形態に係る撮像制御方法を示すタイミングチャート

以下、添付図面に従って本発明に係る複眼撮像装置及び撮像制御方法の好ましい実施の形態について説明する。

［複眼撮像装置の構成］
図１は、本発明の第１の実施形態に係る複眼撮像装置の主要構成を示すブロック図である。

図１に示すように、複眼撮像装置１０は、第１撮像系１２−１及び第２撮像系１２−２の２つの撮像系を備えている。なお、撮像系１２は２つ以上設けてもよい。第１撮像系１２−１は第１撮影レンズ２０−１と第１撮像素子２６−１を備えており、第２撮像系１２−２は第２撮影レンズ２０−２と第２撮像素子２６−２を備えている。第１撮像素子２６−１と第２撮像素子２６−２とは相互に特性（例えば、光量−出力特性（感度特性）、画素数、画素サイズ、チップサイズのうちのいずれか）が異なっている。なお、本実施形態では、第１撮影レンズ２０−１と第２撮影レンズ２０−２は同一の構成となっているが、第１撮像素子２６−１と第２撮像素子２６−２の特性差（例えば、チップサイズの差）に応じて異なるものを用いることも可能である。

複眼撮像装置１０は、第１撮像系１２−１及び第２撮像系１２−２を用いて撮影した２枚の画像データを合成する。例えば、複眼撮像装置１０は、第１撮像系１２−１及び第２撮像系１２−２によって撮影した２枚の視差画像データを合成して３次元表示（立体表示）用の画像の作成及び表示を行う。また、複眼撮像装置１０は、第１撮像系１２−１及び第２撮像系１２−２によって撮影した２枚のパノラマ画像の作成用画像データを合成する（撮像系１２−１、１２−２の配置された方向（横方向）につなぎ合わせる）ことによりパノラマ画像の作成及び表示を行う。複眼撮像装置１０は、上記視差画像データ及びパノラマ画像の作成用画像データを、１つの記録用画像ファイル（マルチピクチャファイル）に格納する。また、複眼撮像装置１０は、ブラケット撮影時、動画撮影時又は連写時に撮影した複数フレームの画像データをつなぎ合わせて１つの記録用画像ファイル（マルチピクチャファイル）に格納する。

なお、以下の説明では、第１撮像系１２−１及び第２撮像系１２−２の両方を用いて撮影を行う撮影モード（例えば、後述の３Ｄモード及びパノラマ撮影モード）を複眼撮影モードという。

ＣＰＵ（Central Processing Unit）１４は、操作部１８からの入力に基づいて複眼撮像装置１０の動作を制御する。

電源部１６は、電池と、電池から供給される電力を所定の電圧に変換して複眼撮像装置１０の各部に出力する電源回路とを備えている。

制御バス３２は、ＣＰＵ１４からの指令を複眼撮像装置１０の各部に伝送する伝送路である。データバス３４は、画像信号等の各種のデータを伝送する伝送路である。

メインメモリ３８には、ＣＰＵ１４が実行するプログラム及び制御に必要な各種データのほか、ユーザ設定情報等の複眼撮像装置１０の動作に関する各種設定情報等が格納される。メモリ制御部３６は、所定のプロトコルに従って、メインメモリ３８からのデータの読み出し、メインメモリ３８へのデータの書き込み、メインメモリ３８内のデータのリフレッシュを行うためのインターフェースである。

記録媒体４４には、撮影された画像ファイル及び各種のデータが記録される。記録媒体４４としては、例えば、ＳＤメモリカード（登録商標）又はｘＤピクチャカード（登録商標）を用いることができる。外部メモリ制御部４２は、所定のプロトコルに従って、記録媒体４４からのデータの読み出し、記録媒体４４へのデータの書き込みを行うためのインターフェースである。

操作部１８は、ユーザが各種の操作入力を行うための操作手段であり、電源のオンとオフの切り替えを行うための電源スイッチ、複眼撮像装置１０の動作モードの切り替えを行うためのモードダイヤル、レリーズボタン及びズームボタンを含んでいる。

モードダイヤルは、複眼撮像装置１０の動作モードの切り替え入力を行うための操作手段であり、モードダイヤルの設定位置に応じて、２次元の画像（静止画、動画）を撮影する２Ｄモード、３次元の画像（静止画、動画）を撮影する３Ｄモード、パノラマ画像を撮影するためのパノラマ撮影モード及び画像の再生を行う再生モードの間で動作モードが切り替えられる。

レリーズボタンは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影時には、レリーズボタンが半押しされると（Ｓ１オン）、撮影準備処理（例えば、自動露出調整処理（ＡＥ：Automatic Exposure）、自動焦点合わせ処理（ＡＦ：Auto Focus）、自動ホワイトバランス調整処理（ＡＷＢ：Automatic White Balance））が行われる。そして、レリーズボタンが全押しされると（Ｓ２オン）、静止画の撮影・記録処理が行われる。また、動画撮影時には、レリーズボタンが全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。なお、静止画撮影用のレリーズボタン及び動画撮影用のレリーズボタンを別々に設けるようにしてもよい。

ズームボタンは、第１撮像系１２−１と第２撮像系１２−２のズーミング操作を行うための操作手段であり、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとを備えている。

表示部４８は、例えば、カラー液晶パネル（ＬＣＤ）を備えた表示装置である。表示制御部４６は、データバス３４を介して入力されるＲ，Ｇ，Ｂの色信号を表示用の信号に変換して表示部４８に出力する。

表示部４８は、撮影された画像を表示する表示部として機能するとともに、複眼撮像装置１０の各種機能に関する設定を行うときに時のユーザインターフェイスとして機能する。また、表示部４８は、撮影モード時に画角を確認するための電子ファインダとして機能する。

表示部４８は、３Ｄモード時に、ユーザが立体視可能な３次元（３Ｄ）画像を表示する機能を有する。３Ｄ画像の表示方式としては、例えば、ライト・ディレクション・コントロール・システム（Light Direction Control System）が採用される。ライト・ディレクション・コントロール・システムでは、左眼用の画像データをＬＣＤに表示して、バックライトパネルによってユーザの左眼に届くように指向性をもたせた照明光をＬＣＤに照射する処理と、右眼用の画像データをＬＣＤに表示して、バックライトパネルによってユーザの右眼に届くように指向性をもたせた照明光をＬＣＤに照射する処理とを交互に（例えば、１／６０秒間隔で）繰り返す。これにより、相互に視差のある左眼用画像と右眼用画像が、ユーザの左右の眼によって交互に観察されるので、ユーザは立体的な画像を観察することができる。

次に、複眼撮像装置１０の撮影機能について説明する。なお、図１では、各撮像系１２−１及び１２−２等にそれぞれ符号１及び２を付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号１及び２を適宜省略して説明する。

各撮像系１２は、撮影レンズ２０及び撮像素子２６を含んでいる。撮影レンズ２０と撮像素子２６との間には、絞り２２と、メカニカルシャッター２４とが配置されている。

撮影レンズ２０は、フォーカスレンズ及びズームレンズを含んでいる。フォーカスレンズ及びズームレンズは、各撮像系１２の光軸Ｌに沿って前後に移動する。ＣＰＵ１４は、レンズ駆動部２０Ａの動作を制御して、フォーカスレンズの位置を調整してフォーカシングを行う。また、ＣＰＵ１４は、レンズ駆動部２０Ａの動作を制御して、ズームレンズの位置を調整してズーミングを行う。また、ＣＰＵ１４は、絞り駆動部２２Ａの駆動を制御することにより、絞り２２の開口量（絞り値）を調整して撮像素子２６への入射光量を制御する。また、ＣＰＵ１４は、撮像素子２６からデータを読み出すときに、メカニカルシャッター駆動部２４Ａにメカニカルシャッター２４を閉じる指令を出力して撮像素子２６に入射する光を遮光する。

なお、図１に示す例では、レンズ駆動部２０Ａ、絞り駆動部２２Ａ及びメカニカルシャッター駆動部２４Ａは１つずつ示されているが、実際には撮影レンズ２０、絞り２２、メカニカルシャッター２４を駆動するためのアクチュエータは撮像系１２−１、１２−２に別々に設けられている。

ＣＰＵ１４は、第１撮像系１２−１と第２撮像系１２−２の両方を用いて画像を撮影する複眼撮影モード（例えば、３Ｄモード及びパノラマ撮影モード）時に、各撮像系１２−１及び１２−２の撮影レンズ２０−１及び２０−２を同期させて駆動する。即ち、撮像系１２−１及び１２−２は、複眼撮影モード時に、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ入射光量（絞り値）となるように絞りが調整される。更に、３Ｄモード時には、常に同じ被写体にピントが合うように焦点調節が行われる。

ＣＰＵ１４は、３Ｄモード時に、不図示の撮像系駆動機構を制御して、左右の眼に対応する視差画像が得られるように撮像系１２−１及び１２−２の相対位置及び輻輳角（撮影レンズ２０−１と２０−２の光軸のなす角）を調整する。また、ＣＰＵ１４は、パノラマ撮影モード時に、ユーザからの入力に応じて所望の範囲が撮影できるように撮像系１２−１及び１２−２の相対位置及び輻輳角を調整する。

撮像素子２６は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサである。なお、撮像素子２６としては、他の方式の撮像素子（例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ）を用いることも可能である。

撮像素子２６の受光面には、多数の受光素子（フォトダイオード）が２次元的に配列されており、各フォトダイオードには所定の配列で３色（例えば、Ｒ，Ｇ，Ｂ）のカラーフィルタが配置されている。なお、画素配列は、例えば、ベイヤー配列又はハニカム配列のいずれでもよい。

撮影レンズ２０等を介して撮像素子２６の受光面上に被写体光が結像されると、この被写体光はフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１４の指令に従って撮像素子駆動部２６Ａから与えられる駆動パルスに応じて、電荷量に応じた電圧信号（Ｒ，Ｇ，Ｂの画像信号）として撮像素子２６から順次読み出される。撮像素子２６は、電子シャッター機能を備えている。撮像素子駆動部２６Ａは、撮像素子２６に駆動パルスを印加してフォトダイオードへの電荷蓄積時間を制御することにより、露光期間の長さ（シャッタースピード）を制御する。

アナログ信号処理部２８は、撮像素子２６から出力されたＲ，Ｇ，Ｂ信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、Ｒ，Ｇ，Ｂ信号を増幅して所定レベルの大きさにコントロールするためのＡＧＳ回路を含んでいる。撮像素子２６から出力されるアナログのＲ，Ｇ，Ｂ信号は、アナログ信号処理部２８によって相関２重サンプリング処理されるとともに増幅される。アナログ信号処理部２８におけるＲ，Ｇ，Ｂ信号の増幅ゲインは撮影感度（ＩＳＯ感度）に相当する。ＣＰＵ１４は、被写体の明るさ等に応じて、この増幅ゲインを調整することにより撮影感度を設定する。なお、２つのＣＣＤを用いて画像を撮影する複眼撮影モードの場合（３Ｄモード及びパノラマ撮影モード時）、この増幅ゲインはアナログ信号処理部２８−１と２８−２とで同じ値に設定される。

アナログ信号処理部２８から出力されたアナログのＲ，Ｇ，Ｂ信号は、Ａ／Ｄ変換器３０によってデジタルのＲ，Ｇ，Ｂ信号に変換された後、データバス３４を介して画像データ演算処理部４０に入力される。

上記のようにして生成されたデジタルのＲ，Ｇ，Ｂ信号は、画像データ演算処理部４０において、所定の処理（例えば、同時化処理（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、ホワイトバランス調整処理、階調変換（ガンマ補正）処理及び輪郭補正処理）が施される。また、上記デジタルのＲ，Ｇ，Ｂ信号は、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）、即ち、Ｙ／Ｃ信号に変換される。

ライブビュー画像（スルー画）を表示部４８に表示する場合、画像データ演算処理部４０において生成されたＹ／Ｃ信号が１フレーム分ずつＲ，Ｇ，Ｂ信号に変換された後表示部４８に出力される。

次に、画像の撮影及び記録処理について説明する。ＣＰＵ１４は、静止画の撮影モード時においてレリーズボタンの半押しを検出すると（Ｓ１オン）、撮影準備処理（ＡＥ処理及びＡＦ処理）を開始する。

画像データ演算処理部４０は、ＣＰＵ１４からの指令に従って撮像系１２から出力されたデジタルのＲ，Ｇ，Ｂ信号を所定の分割エリアごとに積算し、Ｒ，Ｇ，Ｂ信号の積算値をＣＰＵ１４に出力する。ＣＰＵ１４は、画像データ演算処理部４０によって算出されたＲ，Ｇ，Ｂ信号の積算値に基づいて露出値（撮影ＥＶ値）を算出する。そして、ＣＰＵ１４は、上記露出値と所定のプログラム線図に従って、絞り値及び露光期間（シャッタースピード）を制御することにより、各撮像素子２６−１及び２６−２の露光量が適正露光量になるように調整する。

また、ＣＰＵ１４は、ＡＦ処理において、例えば、画像信号のＧ信号の高周波成分が極大になる位置を合焦位置として求め、レンズ駆動部２０Ａに指令を出力してフォーカスレンズを合焦位置に移動させる。

また、自動ホワイトバランス調整（ＡＷＢ）が設定されている場合、画像データ演算処理部４０は、所定の分割エリアごとにＲ，Ｇ，Ｂ信号の色ごとの平均積算値を算出してＣＰＵ１４に出力する。ＣＰＵ１４は、分割エリアごとに算出されたＲ，Ｇ，Ｂ信号の平均積算値に基づいて光源種を判別し、Ｒ，Ｇ，Ｂ信号に対するホワイトバランスゲインを制御する。

レリーズボタンの半押し（Ｓ１オン）に応じて撮影準備処理が終了した後レリーズボタンの全押しを検出すると（Ｓ２オン）、ＣＰＵ１４は画像の撮影を実行する。

２Ｄモード時には、所定の１つの撮像系により記録用の画像が撮影される。低画素数で撮影するモードの場合には第１撮像系１２−１により撮影が行われ、高画素数（高画質）で撮影するモードの場合には第２撮像系１２−２により撮影が行われる。なお、２Ｄモード時にどちらの撮像系を使用するかはユーザが選択できるようにしてもよい。

２Ｄモード時に指定の撮像系１２によって撮影された画像は圧縮され、所定形式の画像ファイルとして記録媒体４４に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）、動画についてはＭＰＥＧ（Moving Picture Experts Group）２又はＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮画像ファイルとして記録される。

３Ｄモード及びパノラマ撮影モード時には、撮像系１２−１及び１２−２によって同期して画像が撮影される。上記３Ｄモード及びパノラマ撮影モード時には、ＡＦ処理及びＡＥ処理は、撮像系１２−１及び１２−２のいずれか一方によって取得された画像信号に基づいて行われる。ＡＥ処理及びＡＦ処理にどちらの撮像系の画像信号を使用するかはユーザが選択できるようにしてもよい。

上記３Ｄモード及びパノラマ撮影モード時には、各撮像系１２−１及び１２−２によって撮影された２視点の画像は、それぞれ圧縮されて１つのマルチピクチャファイルに格納されて記録媒体４４に記録される。マルチピクチャファイルには、２視点の圧縮画像データとともに、被写体距離情報、撮像系１２の撮影レンズの間隔及び輻輳角に関する情報が格納される。

再生モード時には、記録媒体４４に記録されている所定の画像ファイル（例えば、最後に記録された画像ファイル）が読み出されて、非圧縮のＹ／Ｃ信号に伸張され、Ｒ，Ｇ，Ｂ信号に変換された後表示部４８に出力される。これにより、記録媒体４４に記録されている画像ファイルに基づく画像が表示部４８に表示される。

［撮像制御方法（露光期間の制御方法）］
次に、複眼撮像装置１０における撮像制御方法（露光期間の制御方法）について説明する。

図２は、本発明の第１の実施形態に係る撮像制御方法を示すタイミングチャートである。

第１撮像系１２−１及び第２撮像系１２−２の両方を用いて撮影を行う複眼撮影モード（例えば、３Ｄモード及びパノラマ撮影モード）時に、レリーズボタンが半押しされると（Ｓ１オン）、撮影準備処理（ＡＥ処理を含む。）が実行される。上記ＡＥ処理において、ＣＰＵ１４は、第１撮像系１２−１と第２撮像系１２−２の特性の差に応じて、第１撮像素子２６−１の露光期間Ｐ１を第２撮像素子２６−２の露光期間Ｐ２よりも短い時間に設定する。

ＣＰＵ１４は、露光期間が短い第１撮像系１２−１の露光期間Ｐ１を複数（本実施形態では４つ）の分割期間Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４に分割し、図２に示すように、第２撮像系１２−２の露光期間Ｐ２（露光開始時間Ｔ_Ｓから露光終了時間Ｔ_Ｅまで）に均等に割り当てる。即ち、Ｐ１＝Ｐ１１＋Ｐ１２＋Ｐ１３＋Ｐ１４、かつ、Ｐ１１＝Ｐ１２＝Ｐ１３＝Ｐ１４とし、各露光期間Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４の間隔がそれぞれ等しくなるように、分割期間Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４を設定する。また、図２に示すように、ＣＰＵ１４は、第１撮像素子２６−１と第２撮像素子２６−２の露光開始時間Ｔ_Ｓと露光終了時間Ｔ_Ｅとが互いに一致するように、分割期間Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４の割り当てを行う。

次に、レリーズボタンが全押しされると（Ｓ２オン）、ＣＰＵ１４は、撮像素子駆動部２６Ａに露光開始の指令を出力する。これにより、シャッターゲートパルス（電子シャッターパルス、ＯＦＤパルス）の印加が停止し、第１撮像系１２−１及び第２撮像系１２−２において同時に露光が開始される（時間Ｔ_Ｓ）。そして、図２に示すように、ＣＰＵ１４は、メカニカルシャッター駆動部２４Ａを制御して、所定の時間おきに、第１撮像系１２−１のメカニカルシャッター２４−１の開閉を繰り返すことにより露光期間の制御を行う。この間、撮像素子２６−１には、各分割期間Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４における受光光量に応じた電荷が累積される。これにより、露光開始時間Ｔ_Ｓと露光終了時間Ｔ_Ｅが第２撮像素子２６−２と一致し、かつ、合計の露光時間がＰ１となる信号電荷が得られる。

露光期間Ｐ２が終了すると、ＣＰＵ１４は、メカニカルシャッター駆動部２４Ａを制御して、メカニカルシャッター２４−１及び２４−２を閉じる（時間Ｔ_Ｅ）。撮像素子駆動部２６Ａは、ＣＰＵ１４からの指令に応じて、転送ゲートパルスＴＧ１０を撮像素子２６−１及び２６−２に印加して、各撮像素子２６−１及び２６−２に蓄積された画像信号を各撮像素子２６−１及び２６−２の垂直転送路に読み出す。その後、撮像素子駆動部２６Ａは、垂直転送パルス及び水平転送パルスを撮像素子２６−１及び２６−２に印加して、上記画像信号を垂直転送路及び水平転送路を介して後段のアナログ信号処理部２８−１及び２８−２にそれぞれ転送する。

上記のようにして読み出された画像信号は、画像データ演算処理部４０によって所定の処理が施された後合成される。そして、画像データ演算処理部４０によって作成された合成画像は、所定の形式の画像ファイルに格納されて記録媒体４４に記録される。また、表示部４８に確認用の画像が表示される。例えば、３Ｄモードの場合には、ライト・ディレクション・コントロール・システムにより３Ｄ画像の表示処理が行われる。また、パノラマ撮影モードの場合には、第１撮像素子２６−１から得られた画像と第２撮像素子２６−２から得られた画像がつなぎ合わされてパノラマ画像の表示が行われる。

本実施形態によれば、複眼撮影モードにおいて各撮像素子２６−１及び２６−２の露光期間の長さが互いに異なる場合に、露光期間が短い方の撮像素子２６−１の露光期間を分割して、露光期間が長い方の撮像素子２６−２の露光期間内に露光開始時間と露光終了時間とが一致するように均等に割り当てることにより、露光期間の差によって各撮像系１２−１及び１２−２から得られる画像間に大きな違いが現れることを防止することができる。例えば、高速で動いている被写体を撮影した場合でも、両画像が同じ程度にぼける（ブレる）ようになるので、両撮像系１２から得られた画像から合成画像を生成するときの画像処理演算にかかる負荷を小さくすることができる。また、生成された合成画像（例えば、立体画像）がチラついて見える等の不具合の発生を防ぐことが可能となる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、以下の説明において、上記第１の実施形態と同様の構成については説明を省略する。

本実施形態は、メカニカルシャッター２４−１ではなく、第１撮像素子２６−１の電子シャッター機能を用いて露光期間の制御を行うようにしたものである。従って、図３に示すように、本実施形態に係る複眼撮像装置１０Ａは、メカニカルシャッター２４を含まない構成とすることが可能である。

図４は、撮像素子２６の構成を示す平面図である。図４に示すように、撮像素子２６は、複数の受光素子ＰＤ１と、垂直転送電極ＶＥＬと、水平転送電極ＨＥＬとを備えている。

受光素子ＰＤ１は、所定の配列ピッチ（水平配列ピッチ＝Ｐｈ（μｍ）、垂直配列ピッチ＝Ｐｖ（μｍ））で２次元に配置されている。図４に示すように、受光素子ＰＤ１は、隣接する受光素子ＰＤ１に対して垂直方向及び水平方向にずらされて配置されている。

各受光素子ＰＤ１の前面には８角形（ハニカム形状）の開口部ＡＰが形成されている。各受光素子ＰＤ１の開口部ＡＰは、Ｒ，Ｇ，Ｂのいずれかの力ラーフィルタで覆われている。各受光素子ＰＤ１は、開口部ＡＰに配置されたカラーフィルタの色に対応する被写体光を受光して、受光した光量に応じた画像信号をそれぞれ出力する。

各受光素子ＰＤ１は、隣接する１つの垂直転送電極ＶＥＬに対し転送ゲートＴＧを介して電気的に接続されている。図４に示す例では、各受光素子ＰＤ１が図中右下に隣接する垂直転送電極ＶＥＬに転送ゲートＴＧを介して接続されている。

撮像素子２６は、受光素子ＰＤ１に蓄積された信号電荷をシャッターゲートパルスによって掃き出すことができる。これにより、各受光素子ＰＤ１における信号電荷の蓄積時間（シャッタースピード）を制御する、所謂電子シャッター機能が実現される。

図４に示すように、垂直転送電極ＶＥＬは、受光素子ＰＤ１の前面に形成された開口部ＡＰを迂回するように配置されている。撮像素子駆動部２６Ａは、垂直転送電極ＶＥＬを介して垂直転送路ＶＣＣＤに垂直転送駆動信号（垂直転送パルス）Ｖ１，…，Ｖ８を印加し、受光素子ＰＤ１に蓄積された信号電荷を取り出して垂直転送路ＶＣＣＤ上を垂直方向に転送する。図４に示す例では、水平方向に直線状に並んで配置された複数の垂直転送電極ＶＥＬにより構成される垂直転送電極群には、それぞれ垂直転送駆動信号Ｖ１，Ｖ２，…，Ｖ８のいずれか１つを同時に印加できるように構成されている。図４に示す例では、１から８段目の垂直転送電極群には、それぞれ垂直転送駆動信号Ｖ３，Ｖ４，Ｖ５，Ｖ６，Ｖ７，Ｖ８，Ｖ１，Ｖ２が印加される。

水平転送電極ＨＥＬは、撮像素子２６の垂直方向最下部（端部）に位置する垂直転送電極ＶＥＬの更に下方に配置されている。撮像素子駆動部２６Ａは、水平転送電極ＨＥＬを介して水平転送路ＨＣＣＤに水平転送パルス（ｈ（ｎ），…）を印加し、垂直転送電極ＶＥＬから転送されてきた画像信号を水平方向に転送する。

撮影レンズ２０及び絞り２２を介して撮像素子２６の受光面に結像された被写体像は、各受光素子ＰＤ１によって入射光量に応じた量の信号電荷に変換される。各受光素子ＰＤ１に蓄積された信号電荷は、撮像素子駆動部２６Ａによって印加される転送ゲートパルス（リードゲートパルス）に従って垂直転送路（シフトレジスタ）ＶＣＣＤに読み出される。垂直転送路ＶＣＣＤに読み出された信号電荷は、垂直転送パルス（レジスタ転送パルス）に従って垂直転送路ＶＣＣＤを転送された後、水平転送パルス（レジスタ転送パルス）に従って水平転送路ＨＣＣＤを転送される。上記のようにして転送された信号電荷は、出力アンプＡＭＰを介して信号電荷に応じたアナログの電圧信号（画像信号）として順次読み出される。そして、撮像素子２６から読み出された電圧信号は、アナログ信号処理部２８及び画像データ演算処理部４０において所定の処理が施された後、記録媒体４４や表示部４８に出力される。

図５は、本発明の第２の実施形態に係る撮像制御方法を示すタイミングチャートである。

本実施形態では、上記第１の実施形態と同様、第１撮像素子２６−１の露光期間Ｐ１が第２撮像素子２６−２の露光期間Ｐ２よりも短い時間に設定される。そして、露光期間が短い第１撮像系１２−１の露光期間Ｐ１が複数（本実施形態では４つ）の分割期間Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４に分割され、第２撮像系１２−２の露光期間Ｐ２（露光開始時間Ｔ_Ｓから露光終了時間Ｔ_Ｅまで）に均等に割り当てられる。

図５に示すように、本実施形態では、本露光時における第１撮像系１２−１における露光期間の制御は、第１撮像素子２６−１の電子シャッター機能により行われる。即ち、複眼撮影モード時において、レリーズボタンが半押しされると（Ｓ１オン）、ＣＰＵ１４は、撮影準備処理を実行し、各撮像系１２−１、１２−２における露光期間（それぞれＰ１，Ｐ２）の算出、及び第１撮像系１２−１の分割期間Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４の割り当てを行う。

次に、レリーズボタンが全押しされると（Ｓ２オン）、ＣＰＵ１４は、撮像素子駆動部２６Ａに露光開始の指令を出力する。これにより、シャッターゲートパルスの印加が停止し、第１撮像系１２−１及び第２撮像系１２−２において同時に露光が開始される（時間Ｔ_Ｓ）。分割期間Ｐ１１が終了すると（時間Ｔ１）、ＣＰＵ１４は、撮像素子駆動部２６Ａを制御して、第１撮像素子２６−１に転送ゲートパルスＴＧ１を印加させ、分割期間Ｐ１１（時間Ｔ_ＳからＴ１までの間）に第１撮像素子２６−１に蓄積された信号電荷を垂直転送路ＶＣＣＤに読み出す。そして、ＣＰＵ１４は、信号電荷の読み出し終了後、次の分割期間Ｐ１２の開始時間Ｔ２までの間、撮像素子駆動部２６Ａから第１撮像素子２６−１にシャッターゲートパルスを印加させ、第１撮像素子２６−１の受光素子ＰＤ１に蓄積される不要な信号電荷を掃き出させる。

次の分割期間Ｐ１２の開始時間Ｔ２になると、ＣＰＵ１４は、シャッターゲートパルスの印加を停止させると同時に、第１撮像素子２６−１の露光を開始させる。分割期間Ｐ１２が終了すると（時間Ｔ３）、ＣＰＵ１４は、撮像素子駆動部２６Ａを制御して、第１撮像素子２６−１に転送ゲートパルスＴＧ１を印加させ、分割期間Ｐ１２（時間Ｔ２からＴ３までの間）に第１撮像素子２６−１に蓄積された信号電荷を垂直転送路ＶＣＣＤに読み出す。これにより、分割期間Ｐ１１の信号電荷と露光時間Ｐ１２の信号電荷とが垂直転送路ＶＣＣＤ上で加算される。そして、ＣＰＵ１４は、信号電荷の読み出し終了後、次の分割期間Ｐ１３の開始時間Ｔ４までの間、撮像素子駆動部２６Ａから第１撮像素子２６−１にシャッターゲートパルスを印加させ、第１撮像素子２６−１の受光素子ＰＤ１に蓄積される不要な信号電荷を掃き出させる。

そして、同様の制御が繰り返された後、最後の分割期間Ｐ１４が終了すると（時間Ｔ_Ｅ）、ＣＰＵ１４は、撮像素子駆動部２６Ａから第１撮像素子２６−１に転送ゲートパルスＴＧ４を印加させ、分割期間Ｐ１４（時間Ｔ６からＴ_Ｅまでの間）に第１撮像素子２６−１に蓄積された信号電荷を垂直転送路ＶＣＣＤに読み出す。これにより、分割期間Ｐ１１からＰ１４において第１撮像素子２６−１の各受光素子ＰＤ１に蓄積された電荷が垂直転送路ＶＣＣＤ上で加算されて、露光開始時間Ｔ_Ｓと露光終了時間Ｔ_Ｅが第２撮像素子２６−２と一致し、かつ、合計の露光時間がＰ１となる信号電荷が得られる。また、ＣＰＵ１４は、時間Ｔ_Ｅにおいて、撮像素子駆動部２６Ａから第２撮像素子２６−２に転送ゲートパルスＴＧ２０を印加させ、露光期間Ｐ２（時間Ｔ_ＳからＴ_Ｅまでの間）に第２撮像素子２６−２に蓄積された信号電荷を垂直転送路ＶＣＣＤに読み出す。

両撮像素子２６−１及び２６−２において、垂直転送路への信号電荷の読み出しが終了すると、ＣＰＵ１４は、撮像素子駆動部２６Ａから各撮像素子２６−１、２６−２に垂直転送パルス及び水平転送パルスを印加させる。これにより、撮像素子２６−１、２６−２から画像信号がそれぞれ後段の処理部（アナログ信号処理部２８−１、２８−２、Ａ／Ｄ変換器３０−１、３０−２、…）に出力される。

上記のようにして読み出された画像信号は、画像データ演算処理部４０によって所定の処理が施された後合成される。そして、画像データ演算処理部４０によって作成された合成画像は、所定の形式の画像ファイルに格納されて記録媒体４４に記録される。また、表示部４８に確認用の画像が表示される。

本実施形態によれば、電子シャッター機能を利用して、第１撮像素子２６−１の露光期間Ｐ１を分割することにより、撮像素子２６−１及び２６−２の間で露光期間が異なるために画像間に大きな違いが現れることを防止することができる。これにより、両撮像系１２から得られた画像から合成画像を生成するときの画像処理演算にかかる負荷を小さくすることができる。また、生成された合成画像（例えば、立体画像）がチラついて見える等の不具合の発生を防ぐことが可能となる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。なお、以下の説明において、上記の実施形態と同様の構成については説明を省略する。

本実施形態は、上記第２の実施形態において、分割された分割期間Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４が終了するごとに信号電荷の転送を行うようにしたものである。

なお、本実施形態に係る複眼撮像装置は、図３と同様、メカニカルシャッター２４を含まない構成とすることが可能である。

図６は、本発明の第３の実施形態に係る撮像制御方法を示すタイミングチャートである。

本実施形態では、上記第１の実施形態と同様、第１撮像素子２６−１の露光期間Ｐ１が第２撮像素子２６−２の露光期間Ｐ２よりも短い時間に設定される。そして、露光期間が短い第１撮像系１２−１の露光期間Ｐ１が複数（本実施形態では４つ）の分割期間Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４に分割され、第２撮像系１２−２の露光期間Ｐ２（露光開始時間Ｔ_Ｓから露光終了時間Ｔ_Ｅまで）に均等に割り当てられる。

複眼撮影モード時において、レリーズボタンが半押しされると（Ｓ１オン）、ＣＰＵ１４は、撮影準備処理を実行し、各撮像系１２−１、１２−２における露光期間（それぞれＰ１，Ｐ２）の算出、及び第１撮像系１２−１の分割期間Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４の割り当てを行う。

次に、レリーズボタンが全押しされると（Ｓ２オン）、ＣＰＵ１４は、撮像素子駆動部２６Ａに露光開始の指令を出力する。これにより、シャッターゲートパルスの印加が停止し、第１撮像系１２−１及び第２撮像系１２−２において同時に露光が開始される（時間Ｔ_Ｓ）。分割期間Ｐ１１が終了すると（時間Ｔ１）、ＣＰＵ１４は、撮像素子駆動部２６Ａを制御して、第１撮像素子２６−１に転送ゲートパルスＴＧ１を印加させ、分割期間Ｐ１１（時間Ｔ_ＳからＴ１までの間）に第１撮像素子２６−１に蓄積された信号電荷を垂直転送路ＶＣＣＤに読み出す。そして、ＣＰＵ１４は、信号電荷の読み出し終了後、垂直転送路ＶＣＣＤ及び水平転送路ＨＣＣＤを駆動して読み出した信号電荷を後段の処理部（アナログ信号処理部２８、Ａ／Ｄ変換器３０、…）に転送する。また、ＣＰＵ１４は、次の分割期間Ｐ１２の開始時間Ｔ２までの間、撮像素子駆動部２６Ａから第１撮像素子２６−１にシャッターゲートパルスを印加させ、第１撮像素子２６−１の受光素子ＰＤ１に蓄積される不要な信号電荷を掃き出させる。

次の分割期間Ｐ１２の開始時間Ｔ２になると、ＣＰＵ１４は、シャッターゲートパルスの印加を停止させると同時に、第１撮像素子２６−１の露光を開始させる。分割期間Ｐ１２が終了すると（時間Ｔ３）、ＣＰＵ１４は、撮像素子駆動部２６Ａを制御して、第１撮像素子２６−１に転送ゲートパルスＴＧ１を印加させ、分割期間Ｐ１２（時間Ｔ２からＴ３までの間）に第１撮像素子２６−１に蓄積された信号電荷を垂直転送路ＶＣＣＤに読み出す。そして、ＣＰＵ１４は、信号電荷の読み出し終了後、垂直転送路ＶＣＣＤ及び水平転送路ＨＣＣＤを駆動して読み出した信号電荷を後段の処理部（アナログ信号処理部２８−１、Ａ／Ｄ変換器３０−１、…）に転送する。また、ＣＰＵ１４は、次の分割期間Ｐ１３の開始時間Ｔ４までの間、撮像素子駆動部２６Ａから第１撮像素子２６−１にシャッターゲートパルスを印加させ、第１撮像素子２６−１の受光素子ＰＤ１に蓄積される不要な信号電荷を掃き出させる。

そして、同様の制御が繰り返された後、最後の分割期間Ｐ１４が終了すると（時間Ｔ_Ｅ）、ＣＰＵ１４は、撮像素子駆動部２６Ａから第１撮像素子２６−１に転送ゲートパルスＴＧ４を印加させ、分割期間Ｐ１４（時間Ｔ６からＴ_Ｅまでの間）に第１撮像素子２６−１に蓄積された信号電荷を垂直転送路ＶＣＣＤに読み出す。また、ＣＰＵ１４は、時間Ｔ_Ｅにおいて、撮像素子駆動部２６Ａから第２撮像素子２６−２に転送ゲートパルスＴＧ２０を印加させ、露光期間Ｐ２（時間Ｔ_ＳからＴ_Ｅまでの間）に第２撮像素子２６−２に蓄積された信号電荷を垂直転送路ＶＣＣＤに読み出す。

両撮像素子２６−１及び２６−２において、垂直転送路への信号電荷の読み出しが終了すると、ＣＰＵ１４は、撮像素子駆動部２６Ａから各撮像素子２６−１、２６−２に垂直転送パルス及び水平転送パルスを印加させる。これにより、撮像素子２６−１、２６−２から画像信号がそれぞれ後段の処理部（アナログ信号処理部２８−１、２８−２、Ａ／Ｄ変換器３０−１、３０−２、…）に出力される。

そして、撮像素子２６−１の各分割期間Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４に撮像素子２６−１に蓄積された信号電荷は、それぞれＡ／Ｄ変換器３０−１によってデジタルの画像信号に変換された後、画像データ演算処理部４０によって加算処理される。このように撮像素子２６−１から得られた画像信号を加算処理することにより、露光開始時間Ｔ_Ｓと露光終了時間Ｔ_Ｅが第２撮像素子２６−２と一致し、かつ、合計の露光時間がＰ１となる画像信号が得られる。なお、この加算処理は、Ａ／Ｄ変換前にアナログ信号処理部２８において行われるようにしてもよい。

上記のようにして読み出された画像信号は、画像データ演算処理部４０によって所定の処理が施された後合成される。そして、画像データ演算処理部４０によって作成された合成画像は、所定の形式の画像ファイルに格納されて記録媒体４４に記録される。また、表示部４８に確認用の画像が表示される。

本実施形態によれば、上記した効果に加え、分割期間Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４が終了するごとに信号電荷の転送を行うことにしたので、累積された信号電荷によって垂直転送路ＶＣＣＤが満たされたり、累積された信号電荷が第１撮像素子２６−１で発生する暗電流の影響を受けることを防止することができる。

なお、上記第１から第３の実施形態では、第１撮像素子２６−１の露光期間Ｐ１を均等に分割して、露光期間Ｐ２内に均等に割り当てるようにしたが、例えば、被写体の動きに応じて分割期間の長さを不均等にしてもよい。

［第４の実施形態］
次に、本発明の第４の実施形態について説明する。なお、以下の説明において、上記の実施形態と同様の構成については説明を省略する。

本実施形態は、図７に示すように、露光期間が短い第１撮像素子２６−１の露光期間Ｐ１を２つに分割し、分割期間Ｐ１１露光開始時間と分割期間Ｐ１２の露光終了時間が、第２撮像素子２６−２の露光開始時間Ｔ_Ｓ及び露光終了時間Ｔ_Ｅとそれぞれ一致するように設定したものである。

なお、本実施形態に係る複眼撮像装置は、図３と同様、メカニカルシャッター２４を含まない構成とすることが可能である。

また、上記第１及び第２の実施形態においても、本実施形態と同様の分割期間の割り当てを行うことが可能である。

［第５の実施形態］
次に、本発明の第５の実施形態について説明する。なお、以下の説明において、上記の実施形態と同様の構成については説明を省略する。

本実施形態は、第１撮像系１２−１及び第２撮像系１２−２の両方を用いて撮影を行う複眼撮影モード（例えば、３Ｄモード及びパノラマ撮影モード）において連続撮影（例えば、連写又は動画撮影）を行う場合に、各撮像系１２−１、１２−２の１フレーム当たりの露光期間の長さが異なることに起因する画質の劣化を防止するものである。ここで、連写撮影とは、例えば、１回のレリーズボタンの全押しに応じて所定の枚数の静止画を連続的に撮影する処理、又はレリーズボタンが全押しされてから記録媒体４４の空き容量がなくなるまで静止画を連続的に撮影する処理をいう。

なお、本実施形態に係る複眼撮像装置は、図３と同様、メカニカルシャッター２４を含まない構成とすることが可能である。

図８は、本発明の第５の実施形態に係る撮像制御方法を示すタイミングチャートである。

本実施形態では、第１撮像系１２−１及び第２撮像系１２−２の両方を用いて撮影を行う複眼撮影モードにおいて連写又は動画撮影を行う場合に（以下、複眼動画撮影モードという。）、第１撮像系１２−１における連写又は動画の１フレーム当たりの露光期間の長さが第２撮像系１２−２よりも短い時間に設定される。

なお、以下の説明では、第１撮像系１２−１と第２撮像系１２−２における連写又は動画の１フレーム当たりの露光期間の長さをそれぞれＰ１，Ｐ２とし、連写又は動画のｎフレーム目（ｎ：２以上の整数）の露光期間をそれぞれＰ１（ｎ），Ｐ２（ｎ）とする。また、露光期間Ｐ１（ｎ），Ｐ２（ｎ）の露光開始時間をそれぞれＴ_１Ｓ（ｎ），Ｔ_２Ｓ（ｎ）とし、露光期間Ｐ１（ｎ），Ｐ２（ｎ）の露光終了時間をそれぞれＴ_１Ｅ（ｎ），Ｔ_２Ｅ（ｎ）とする。

図８に示すように、複眼動画撮影モードでは、第１撮像系１２−１のｎ回目の露光期間Ｐ１（ｎ）の露光終了時間Ｔ_１Ｅ（ｎ）と、第２撮像系１２−２のｎ回目の露光期間Ｐ２（ｎ）の露光終了時間Ｔ_２Ｅ（ｎ）とが一致するように、露光期間が制御される。

即ち、複眼動画撮影モード時にレリーズボタンが全押しされると、ＣＰＵ１４は、第１撮像系１２−１と第２撮像系１２−２とを駆動して動画の撮影を開始する。撮像素子駆動部２６Ａに露光開始の指令を出力する。これにより、第２撮像系１２−２に対するシャッターゲートパルスの印加が停止し、第２撮像系１２−２において露光が開始される（時間Ｔ_２Ｓ（１））。そして、時間（Ｐ２−Ｐ１）が経過した時点（時間Ｔ_１Ｓ（１））で、第１撮像系１２−１に対するシャッターゲートパルスの印加が停止し、第１撮像系１２−１において露光が開始される。

露光期間Ｐ１（１），Ｐ２（１）が終了すると（時間Ｔ_１Ｅ（１）＝Ｔ_２Ｅ（１））、ＣＰＵ１４は、撮像素子駆動部２６Ａを制御して、第１撮像素子２６−１と第２撮像素子２６−２にそれぞれ転送ゲートパルスＴＧ１（１），ＴＧ２（１）を印加させる。これにより、第１撮像素子２６−１と第２撮像素子２６−２に蓄積された信号電荷が読み出されて、後段の処理部（それぞれアナログ信号処理部２８−１、２８−２、Ａ／Ｄ変換器３０−１、３０−２、…）に転送される。また、ＣＰＵ１４は、各撮像素子２６−１及び２６−２の次の露光期間の露光開始時間までの間、撮像素子駆動部２６Ａから各撮像素子２６−１及び２６−２にシャッターゲートパルスを印加させ、各撮像素子２６−１及び２６−２に蓄積される不要な信号電荷を掃き出させる。

次に、時間Ｔ_２Ｓ（２）になると、ＣＰＵ１４は、第２撮像系１２−２に対するシャッターゲートパルスの印加を停止させ、第２撮像系１２−２において露光が開始される。そして、時間Ｔ_２Ｓ（２）から時間（Ｐ２−Ｐ１）が経過した時点で（時間Ｔ_１Ｓ（２））、第１撮像系１２−１に対するシャッターゲートパルスの印加が停止し、第１撮像系１２−１において露光が開始される。

露光期間Ｐ１（２），Ｐ２（２）が終了すると（時間Ｔ_１Ｅ（２）＝Ｔ_２Ｅ（２））、ＣＰＵ１４は、撮像素子駆動部２６Ａを制御して、第１撮像素子２６−１と第２撮像素子２６−２にそれぞれ転送ゲートパルスＴＧ１（２），ＴＧ２（２）を印加させ、第１撮像素子２６−１と第２撮像素子２６−２に蓄積された信号電荷を読み出した後、後段の処理部（それぞれアナログ信号処理部２８−１、２８−２、Ａ／Ｄ変換器３０−１、３０−２、…）に転送する。また、ＣＰＵ１４は、各撮像素子２６−１及び２６−２の次の露光期間の露光開始時間までの間、撮像素子駆動部２６Ａから各撮像素子２６−１及び２６−２にシャッターゲートパルスを印加させ、各撮像素子２６−１及び２６−２に蓄積される不要な信号電荷を掃き出させる。

そして、上記の処理が繰り返された後レリーズボタンが全押しされると、ＣＰＵ１４は、最終フレームの信号電荷の読み出し及び転送を行った後撮影を終了する。

次に、複眼動画撮影モード時における画像データの記録処理について説明する。

上記第１撮像素子２６−１と第２撮像素子２６−２から出力された画像信号は、Ａ／Ｄ変換された後、画像データ演算処理部４０に順次転送され、メインメモリ３８に蓄積される。

画像データ演算処理部４０は、第１撮像系１２−１から得られた（ｎ−１）回目の画像データＤ１´（ｎ−１）と（ｎ＋１）回目の画像データＤ１´（ｎ＋１）に演算処理を施して合成することにより、ｎ回目の画像データＤ１（ｎ）を作成する。なお、上記の合成処理は、例えば、画像データＤ１´（ｎ−１）とＤ１´（ｎ＋１）を加算又は平均することにより行われる。

そして、上記第１撮像系１２−１から得られた（ｎ−１）回目の画像データＤ１´（ｎ−１）と（ｎ＋１）回目の画像データＤ１´（ｎ＋１）の合成処理を繰り返すことにより、第２撮像系１２−２のｎ回目の画像データＤ２（ｎ）に相当（近似）する被写体ブレ（ボケ）具合の画像データＤ１（ｎ）が順次作成される。

複眼動画撮影モードの撮影が終了すると、上記のようにして作成された画像データＤ１（ｎ）と、第２撮像素子２６−２から得られた第ｎ回目の画像データＤ２（ｎ）とが関連付けられて、所定形式の画像ファイルに格納されて記録媒体４４に記録される。例えば、３Ｄモードの場合には、画像データＤ１（ｎ）は、第２撮像素子２６−２から得られた第ｎ回目の画像データＤ２（ｎ）に対応する視差画像として画像ファイルに格納される。また、パノラマ撮影モードの場合には、上記のようにして作成された画像データＤ１（ｎ）と、第２撮像素子２６−２から得られた第ｎ回目の画像データＤ２（ｎ）とが撮像系１２−１、１２−２の配置された方向（横方向）につなぎ合わされて、第ｎフレーム目のパノラマ画像として画像ファイルに格納される。

本実施形態によれば、複眼で連続撮影（連写又は動画撮影）を行うときに、各撮像系１２−１、１２−２における１フレームの露光期間の長さの差によって、各撮像系１２−１、１２−２から取得した画像に大きな違いが現れることを防ぐことができる。例えば、高速で動いている被写体を撮影した場合でも、両画像が同じ程度にぼける（ブレる）ようになるので、両撮像系１２から得られた画像から合成画像を生成するときの画像処理演算にかかる負荷を小さくすることができる。また、生成された合成画像（例えば、立体画像）がチラついて見える等の不具合の発生を防ぐことが可能となる。

なお、本実施形態では、第１撮像系１２−１のｎ回目の露光期間Ｐ１（ｎ）の露光終了時間Ｔ_１Ｅ（ｎ）と、第２撮像系１２−２のｎ回目の露光期間Ｐ２（ｎ）の露光終了時間Ｔ_２Ｅ（ｎ）とを一致させるようにしたが、それぞれの露光開始時間Ｔ_１Ｓ（ｎ）とＴ_２Ｓ（ｎ）を一致させるようにしてもよい。また、露光期間Ｐ１（ｎ）とＰ２（ｎ）の中心（｛（Ｔ_１Ｓ（ｎ）＋Ｔ_１Ｅ（ｎ））／２｝と｛（Ｔ_２Ｓ（ｎ）＋Ｔ_２Ｅ（ｎ））／２｝）を一致させるようにしてもよい。

また、本実施形態では、画像データＤ１´（ｎ−１）とＤ１´（ｎ＋１）とを合成して画像データＤ１（ｎ）を作成するようにしたが、画像データＤ１´（ｎ−１），Ｄ１´（ｎ），Ｄ１´（ｎ＋１）を合成して画像データＤ１（ｎ）を作成するようにしてもよい。

また、本実施形態では、露光期間が短い方の画像データを合成するようにしたが、露光期間が長い方の画像データを合成するようにしてもよい。

１０…複眼撮像装置、１２…撮像系、１４…ＣＰＵ、１６…電源部、１８…操作部、２０…撮影レンズ、２０Ａ…レンズ駆動部、２２…絞り、２２Ａ…絞り駆動部、２４…メカニカルシャッター、２４Ａ…メカニカルシャッター駆動部、２６…撮像素子、２６Ａ…撮像素子駆動部、２８…アナログ信号処理部、３０…Ａ／Ｄ変換器、３２…制御バス、３４…データバス、３６…メモリ制御部、３８…メインメモリ、４０…画像データ演算処理部、４２…外部メモリ制御部、４４…記録媒体、４６…表示制御部、４８…表示部

Claims (16)

1. 第１の撮像素子と、
   第２の撮像素子と、
   前記第１の撮像素子と前記第２の撮像素子の両方を用いて被写体像を撮像するときに、前記第１の撮像素子を露光する第１の露光期間を前記第２の撮像素子を露光する第２の露光期間よりも短い時間に設定する露光期間設定手段と、
   前記第１の露光期間を複数の分割期間に分割して、前記第２の露光期間と露光開始時間及び露光終了時間がそれぞれ一致するように、前記分割期間を設定する分割期間設定手段と、
   前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像を撮像する撮像指示の入力を受け付ける撮像指示手段と、
   前記撮像指示の入力に応じて、前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像の撮像を行う撮像制御手段と、
   前記第１の撮像素子が前記分割期間に露光されるように、前記第１の撮像素子の露光を制御する露光制御手段と、
   前記露光終了時間の後に、前記第１の撮像素子及び前記第２の撮像素子から信号電荷を読み出して、前記信号電荷を用いて画像データを作成する画像データ作成手段と、
   を備える複眼撮像装置。
2. 前記分割期間設定手段は、前記第１の露光期間を同じ長さの分割期間に分割して、前記分割期間を前記第２の露光期間内に均等に分配する請求項１記載の複眼撮像装置。
3. 前記第１の撮像素子に入射する光を遮光するメカニカルシャッターを更に備え、
   前記露光制御手段は、前記メカニカルシャッターの開閉を制御して、前記第１の撮像素子に光が入射する時間を制御することにより、前記第１の撮像素子の露光を制御する請求項１又は２記載の複眼撮像装置。
4. 前記第１の撮像素子は、画素に蓄積された信号電荷を転送する垂直転送路を備えており、
   前記露光制御手段は、前記分割期間が終了するごとに、前記第１の撮像素子に蓄積された信号電荷を前記垂直転送路に読み出して、各分割期間に前記第１の撮像素子の画素に蓄積された信号電荷を前記垂直転送路で加算する請求項１又は２記載の複眼撮像装置。
5. 前記第１の撮像素子は、画素に蓄積された信号電荷を転送する垂直転送路を備えており、
   前記露光制御手段は、前記分割期間が終了するごとに、前記第１の撮像素子に蓄積された信号電荷を前記垂直転送路に読み出して、前記画像データ作成手段に転送する請求項１又は２記載の複眼撮像装置。
6. 第１の撮像素子と、
   第２の撮像素子と、
   前記第１の撮像素子と前記第２の撮像素子の両方を用いて被写体像を複数フレーム連続撮像するときに、前記第１の撮像素子の１フレーム当たりの露光期間を前記第２の撮像素子の１フレーム当たりの露光期間よりも短い時間に設定する露光期間設定手段と、
   前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像を連続撮像する撮像指示の入力を受け付ける撮像指示手段と、
   前記撮像指示の入力に応じて、前記第１の撮像素子と前記第２の撮像素子の各フレームの露光タイミングを同期させて前記被写体像の連続撮像を行う撮像制御手段と、
   前記第１の撮像素子の各フレームの画像データを作成するときに、各フレームの前後に連続するフレームの画像データを使用する画像データ作成手段と、
   を備える複眼撮像装置。
7. 前記画像データ作成手段は、前記第１の撮像素子の第（ｎ−１）フレームの画像データと第（ｎ＋１）フレームの画像データを合成して、前記第１の撮像素子の第ｎフレーム（ｎは２以上の整数）の画像データを作成する請求項６記載の複眼撮像装置。
8. 前記撮像制御手段は、前記第１の撮像素子の露光期間と前記第２の撮像素子の露光期間の露光開始時間、露光終了時間及び露光期間の中心の時間のいずれか１つを一致させる請求項６又は７記載の複眼撮像装置。
9. 第１の撮像素子と、第２の撮像素子とを備える複眼撮像装置を用いて被写体像を撮像する撮像制御方法であって、
   前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像を撮像するときに、前記第１の撮像素子を露光する第１の露光期間を前記第２の撮像素子を露光する第２の露光期間よりも短い時間に設定する露光期間設定工程と、
   前記第１の露光期間を複数の分割期間に分割して、前記第２の露光期間と露光開始時間及び露光終了時間がそれぞれ一致するように、前記分割期間を設定する分割期間設定工程と、
   前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像を撮像する撮像指示の入力に応じて、前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像の撮像を行う撮像制御工程と、
   前記第１の撮像素子が前記分割期間に露光されるように、前記第１の撮像素子の露光を制御する露光制御工程と、
   前記露光終了時間の後に、前記第１の撮像素子及び前記第２の撮像素子から信号電荷を読み出して、前記信号電荷を用いて画像データを画像データ作成手段により作成する画像データ作成工程と、
   を備える撮像制御方法。
10. 前記分割期間設定工程において、前記第１の露光期間を同じ長さの分割期間に分割して、前記分割期間を前記第２の露光期間内に均等に分配する請求項９記載の撮像制御方法。
11. 前記露光制御工程において、前記第１の撮像素子に入射する光を遮光するメカニカルシャッターの開閉を制御して、前記第１の撮像素子に光が入射する時間を制御することにより、前記第１の撮像素子の露光を制御する請求項９又は１０記載の撮像制御方法。
12. 前記露光制御工程において、前記分割期間が終了するごとに、前記第１の撮像素子に蓄積された信号電荷を前記第１の撮像素子の垂直転送路に読み出して、各分割期間に前記第１の撮像素子の画素に蓄積された信号電荷を前記垂直転送路で加算する請求項９又は１０記載の撮像制御方法。
13. 前記露光制御工程において、前記分割期間が終了するごとに、前記第１の撮像素子に蓄積された信号電荷を前記第１の撮像素子の垂直転送路に読み出して、前記画像データ作成手段に転送する請求項９又は１０記載の撮像制御方法。
14. 第１の撮像素子と、第２の撮像素子とを備える複眼撮像装置を用いて被写体像を連続撮像する撮像制御方法であって、
    前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像を複数フレーム連続撮像するときに、前記第１の撮像素子の１フレーム当たりの露光期間を前記第２の撮像素子の１フレーム当たりの露光期間よりも短い時間に設定する露光期間設定工程と、
    前記第１の撮像素子と前記第２の撮像素子の両方を用いて前記被写体像を連続撮像する撮像指示の入力に応じて、前記第１の撮像素子と前記第２の撮像素子の各フレームの露光タイミングを同期させて前記被写体像の連続撮像を行う撮像制御工程と、
    前記第１の撮像素子の各フレームの画像データを作成するときに、各フレームの前後に連続するフレームの画像データを使用する画像データ作成工程と、
    を備える撮像制御方法。
15. 前記画像データ作成工程において、前記第１の撮像素子の第（ｎ−１）フレームの画像データと第（ｎ＋１）フレームの画像データを合成して、前記第１の撮像素子の第ｎフレーム（ｎは２以上の整数）の画像データを作成する請求項１４記載の撮像制御方法。
16. 前記撮像制御工程において、前記第１の撮像素子の露光期間と前記第２の撮像素子の露光期間の露光開始時間、露光終了時間及び露光期間の中心の時間のうちの少なくとも１つを一致させる請求項１４又は１５記載の撮像制御方法。

Images