JP2010130570A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】感度を低下させることなく、かつ画質を劣化させずに連続して静止画像を取得することが可能な撮像装置及び撮像方法を提供すること。
【解決手段】本撮影がされたとき、第１の撮像素子で変換された電気信号に基づいて第１の画像信号と、第２の撮像素子で変換された電気信号に基づいて第２の画像信号を生成する画像信号処理部と、第１の撮像素子における第１の露光開始時間と、第２の撮像素子における第２の露光開始時間を制御し、第１の撮像素子と第２の撮像素子が連続して露光され読み出し処理されるとき、第１の撮像素子と第２の撮像素子のうち一方の撮像素子の露光開始時間が、他方の撮像素子の連続する２つの露光開始時間の間に入るように制御する露光制御部とを有することを特徴とする。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

デジタルスチルカメラ等の静止画の撮影が可能な撮像装置において、１枚の静止画像を撮影するだけでなく、連続して複数枚の静止画像を撮影できる場合がある（連写）。従来、１つの光学系とその光学系に対応した１つの撮像系（撮像素子等）を有する撮像装置では、連写を実現するため、以下のような方法を用いてきた。（１）メカニカルシャッターを使用せず、電子シャッターのみで撮影を行う。（２）撮像素子全体からフルフレームを読み出さずに、間引き読み出しをする。（３）片フィールドのみを読み出す。

また、特許文献１では、１つの光学系と複数の撮像素子を有する撮像装置において、撮像レンズを透過した光をプリズムによって光束を複数に分割し、分割された光束をそれぞれ異なる撮像素子で受光する技術が開示されている。また、特許文献２では、１枚の静止画像を撮影する単写モードでは、インタレース読み出しをして、連写モードでは、プログレッシッブ読み出しをする技術が開示されている。

特開２００２−１９０９７８号公報 特開２００１−２８５６８８号公報

しかし、上述した（１）の技術では、撮像素子がＣＭＯＳ素子の場合、ローリングシャッターの影響で、動きのある被写体を撮影すると画質が劣化するという問題があった。また、（２）や（３）の技術では、本来の撮像素子の特性に比べて画素数が少なくなるため、解像度の劣化が生じるという問題があった。また、特許文献１の技術では、複雑な光学系を必要とするため、撮像装置の製造にかかる手間が増え、かつプリズム等の影響によって感度が低下するという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、感度を低下させることなく、かつ画質を劣化させずに連続して静止画像を取得することが可能な、新規かつ改良された撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、第１の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と、第１の光学系と異なる第２の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と異なる第２の撮像素子と、本撮影がされたとき、第１の撮像素子で変換された電気信号に基づいて第１の画像信号と、第２の撮像素子で変換された電気信号に基づいて第２の画像信号を生成する画像信号処理部と、第１の撮像素子における第１の露光開始時間と、第２の撮像素子における第２の露光開始時間を制御し、第１の撮像素子と第２の撮像素子が連続して露光され読み出し処理されるとき、第１の撮像素子と第２の撮像素子のうち一方の撮像素子の露光開始時間が、他方の撮像素子の連続する２つの露光開始時間の間に入るように制御する露光制御部とを有する撮像装置が提供される。

かかる構成により、本撮影がされたとき、第１の撮像素子で変換された電気信号に基づいて第１の画像信号と、第２の撮像素子で変換された電気信号に基づいて第２の画像信号が生成され、第１の撮像素子における第１の露光開始時間と、第２の撮像素子における第２の露光開始時間が制御される。

上記露光制御部は、第１の露光開始時間と第２の露光開始時間が一方の露光開始時間間隔の中心に来るよう制御する。

上記露光制御部は、第１の露光開始時間と第２の露光開始時間が一方の露光時間中に露光開始されるように制御する。

上記第１の撮像素子と第２の撮像素子のうち一方の撮像素子の露光時にフラッシュの照射をし、他方の撮像素子の露光時にフラッシュの照射をしない発光部と、第１の画像信号と第２の画像信号との間の位置ずれ情報を検出する位置ずれ検出部と、検出された位置ずれ情報に基づいて第１の画像信号と第２の画像信号の一部又は全体を合成処理する合成部とを更に有する。

また、上記課題を解決するために、本発明の別の観点によれば、第１の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と、第１の光学系と異なる第２の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と異なる第２の撮像素子と、本撮影がされたとき、第１の撮像素子で変換された電気信号に基づいて第１の画像信号と、第２の撮像素子で変換された電気信号に基づいて第２の画像信号を生成する画像信号処理部と、第１の撮像素子における第１の露光開始時間と、第２の撮像素子における第２の露光開始時間を制御し、第１の撮像素子と第２の撮像素子が連続して露光され読み出し処理されるとき、第１の撮像素子と第２の撮像素子のうち一方の撮像素子の露光開始時間が、他方の撮像素子の露光開始時間と同一タイミングとなるように制御する露光制御部と、第１の画像信号と第２の画像信号との間の位置ずれ情報を検出する位置ずれ検出部と、検出された位置ずれ情報に基づいて第１の画像信号と第２の画像信号の一部又は全体を合成処理する合成部とを有する撮像装置が提供される。

上記第１の画像信号と第２の画像信号との間の位置ずれ情報を検出する位置ずれ検出部と、検出された位置ずれ情報を用いて第１の画像信号と第２の画像信号を画像処理して、時間軸方向に連続した位置ずれのない複数の平面画像、又は時間軸方向に連続した複数の位置ずれを用いたステレオ画像を生成する画像処理部とを更に有する。

また、上記課題を解決するために、本発明の別の観点によれば、第１の撮像素子が第１の光学系を介して受けた被写体からの光を電気信号に変換するステップと、第１の撮像素子と異なる第２の撮像素子が第１の光学系と異なる第２の光学系を介して受けた被写体からの光を電気信号に変換するステップと、本撮影がされたとき、第１の撮像素子で変換された電気信号に基づいて第１の画像信号と、第２の撮像素子で変換された電気信号に基づいて第２の画像信号を生成するステップと、第１の撮像素子における第１の露光開始時間と、第２の撮像素子における第２の露光開始時間を制御するステップと、第１の撮像素子と第２の撮像素子が連続して露光され読み出し処理されるとき、第１の撮像素子と第２の撮像素子のうち一方の撮像素子の露光開始時間が、他方の撮像素子の連続する２つの露光開始時間の間に入るように制御するステップとを有する撮像方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、第１の撮像素子が第１の光学系を介して受けた被写体からの光を電気信号に変換するステップと、第１の撮像素子と異なる第２の撮像素子が第１の光学系と異なる第２の光学系を介して受けた被写体からの光を電気信号に変換するステップと、本撮影がされたとき、第１の撮像素子で変換された電気信号に基づいて第１の画像信号と、第２の撮像素子で変換された電気信号に基づいて第２の画像信号を生成するステップと、第１の撮像素子における第１の露光開始時間と、第２の撮像素子における第２の露光開始時間を制御するステップと、第１の撮像素子と第２の撮像素子が連続して露光され読み出し処理されるとき、第１の撮像素子と第２の撮像素子のうち一方の撮像素子の露光開始時間が、他方の撮像素子の露光開始時間と同一タイミングとなるように制御するステップと、第１の画像信号と第２の画像信号との間の位置ずれ情報を検出するステップと、検出された位置ずれ情報に基づいて第１の画像信号と第２の画像信号の一部又は全体を合成処理するステップとを有する撮像方法が提供される。

本発明によれば、感度を低下させることなく、かつ画質を劣化させずに連続して静止画像を取得することができる。また、従来不可能であった、連写間隔以上の露光時間を設定することが可能であるので、低照度時のシャッター速度が長秒時になるときでも連写間隔が伸びることは無く、高速連写が可能となる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（一実施形態の構成）
まず、本発明の一実施形態に係る撮像装置１００について説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。撮像装置１００は、例えば、２つの光学系及び撮像系を備えており、それぞれの系統で被写体を撮影して、それぞれで画像を取得することができる。例えば、ライブビュー表示をしているときは、１つの系統でライブビュー用の画像を取得し、他の系統で測光をする。また、光学系が左右に配置されて撮影をし、同一タイミングで画像を取得することで、ステレオ画像（立体的に被写体を見ることが可能な平面画像）を生成することができる。

撮像装置１００は、例えば、結像光学系１０１、１０２と、イメージセンサ１０３、１０４と、ＳＤＲＡＭ１０５と、メモリカード１０７と、ＲＯＭ１０９と、駆動モード切替部１１１と、感度モード切替部１１３と、レリーズボタン１１５と、タイミングジェネレータ１１７と、ＤＳＰ１２１、１２２と、フラッシュコントローラ１３１と、フラッシュ１３３と、ＬＣＤコントローラ１３５と、ＬＣＤ１３７等からなる。

結像光学系１０１、１０２は、第１の光学系、第２の光学系の一例であって、外部の光情報をイメージセンサ１０３、１０４に結像させる光学系システムであり、被写体からの光をイメージセンサ１０３、１０４まで透過させる。結像光学系１０１からの光がイメージセンサ１０３に到達し、結像光学系１０２からの光がイメージセンサ１０４に到達する。結像光学系１０１、１０２は、例えば、ズームレンズ、絞り、フォーカスレンズなどからなる。ズームレンズは、焦点距離を変化させて画角を変えるレンズであり、絞りは、透過する光量を調節する機構である。フォーカスレンズは、一側から他側に、又は他側から一側に移動することでイメージセンサ１０３、１０４の撮像面に被写体像を合焦させる。

イメージセンサ１０３、１０４は、第１の撮像素子、第２の撮像素子（光電変換素子）の一例であり、結像光学系１０１、１０２を透過して入射した光情報を電気信号に変換する光電変換が可能な複数の素子から構成される。各素子は受光した光に応じた電気信号を生成する。イメージセンサ１０３、１０４は、ＣＣＤ（charge coupled device）センサー、ＣＭＯＳ（complementary metal oxide semiconductor）センサー等を適用することができる。

なお、イメージセンサ１０３、１０４の露光時間を制御するため、非撮影時に光を遮って撮影時のみ光が当たるように、メカニカルシャッター（図示せず。）を適用することができる。また、これに限定されず、電子シャッター（図示せず。）を適用してもよい。なお、メカニカルシャッター又は電子シャッターの動作は、ＤＳＰ１２１、１２２に接続されたレリーズボタン１１５（操作部材）のスイッチによって行われる。

イメージセンサ１０３、１０４は、更にＣＤＳ／ＡＭＰ部、Ａ／Ｄ変換部を有する。ＣＤＳ／ＡＭＰ部（相関二重サンプリング回路（correlated double sampling）／増幅器（amplifier））は、イメージセンサ１０３、１０４から出力された電気信号に含まれる低周波ノイズを除去すると共に、電気信号を任意のレベルまで増幅する。Ａ／Ｄ変換部は、ＣＤＳ／ＡＭＰ部から出力された電気信号をデジタル変換してデジタル信号を生成する。Ａ／Ｄ変換部は、生成したデジタル信号を画像信号処理部１４１に出力する。
なお、ＳＤＲＡＭ１０５には、ＶＲＡＭとしての領域が確保される。ＶＲＡＭは、画像表示用のメモリであり、複数のチャネルを有する。ＶＲＡＭは、画像表示用の画像データの入力と、ＬＣＤコントローラ１３５への画像データの出力を同時に実行できる。ＬＣＤ１３７の解像度や最大発色数はＶＲＡＭの容量に依存する。

ＳＤＲＡＭ（synchronous DRAM）１０５、１０６は、撮影した画像の画像データを一時的に保存する。ＳＤＲＡＭ１０５、１０６は、複数の画像の画像データを記憶できる記憶容量を有している。また、ＳＤＲＡＭ１０５、１０６は、それぞれＤＳＰ１２１、１２２に接続される。ＳＤＲＡＭ１０５、１０６への画像の読み書きは、メモリコントローラ１５１によって制御される。

メモリカード１０７は、例えば、フラッシュメモリ等の半導体記憶媒体である。撮影によって生成された画像データがメモリカード１０７に記録されたり、メモリカード１０７から読み出されたりする。なお、記録媒体は、フラッシュメモリ等のメモリカード１０７に限定されず、例えば、光ディスク（ＣＤ、ＤＶＤ、ブルーレイディスク等）、光磁気ディスク、磁気ディスクなどでもよい。メモリカード１０７は、撮像装置１００から着脱可能に構成されてもよい。ＲＯＭ１０９は、ＤＳＰ１２１、１２２の動作プログラムを保存する。

駆動モード切替部１１１は、撮像装置１００における通常連写モード、高速連写モード、単写モードを切り替える。感度モード切替部１１３は、通常の感度であるか、又は高感度モードであるかを切り替える。

レリーズボタン１１５は、ユーザーによる半押し、全押し、解除が可能である。レリーズボタン１１５は、半押し（Ｓ１操作）されたときフォーカス制御開始の操作信号を出力し、半押し解除でフォーカス制御が終了する。また、レリーズボタン１１５は、全押し（Ｓ２操作）されたとき、撮影開始の操作信号を出力する。
なお、撮像装置１００には、レリーズボタン１１５以外の操作部材（図示せず。）が設けられる。操作部材は、例えば、撮像装置１００に設けられた上下左右キー、電源スイッチ、モードダイアルなどである。操作部材は、ユーザーによる操作に基づいて操作信号をＤＳＰ１２１、１２２等に送る。

タイミングジェネレータ１１７は、イメージセンサ１０３、１０４やＣＤＳ／ＡＭＰ部にタイミング信号を出力し、イメージセンサ１０３、１０４を構成している各画素の露光期間の制御や、電荷の読み出し制御を行う。

ＤＳＰ１２１、１２２は、画像信号処理部の一例であり、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１００内に設けられた各構成要素の処理を制御する。ＤＳＰ１２１、１２２は、例えば、フォーカス制御や露出制御に基づいてドライバ（図示せず。）に信号を出力して結像光学系１０１、１０２を駆動させる。また、ＤＳＰ１２１、１２２は、操作部材（図示せず。）からの信号に基づいて撮像装置１００の各構成要素を制御する。なお、本実施形態においては、ＤＳＰ１２１、１２２は、図１に示すように、例えば、撮像系毎に設けられる。ＤＳＰ１２１、１２２が信号系の命令と操作系の命令とを別々に行うように個別に構成されている。

なお、図８に示すようにＤＳＰ２２１は、信号系の命令と操作系の命令とを１つのＣＰＵで行うとして１つだけのＣＰＵから構成されてもよい。図８は、本実施形態に係る撮像装置１００の変更例である撮像装置２００を示すブロック図である。詳細部分は、図１に示す撮像装置１００と同様であるため省略する。

フラッシュコントローラ１３１は、ＤＳＰ１２１から受けた信号に基づいて制御信号を生成し、生成した制御信号をフラッシュ１３３に送る。フラッシュ１３３は、本撮影時や本撮影前のフォーカス制御時に被写体に対して光を照射する。

ＬＣＤコントローラ１３５は、例えばエンコーダＬＣＤ制御部１６３から画像データを受けて、ＬＣＤ（liquid crystal display：液晶画面）１３７に画像を表示する。ＬＣＤ１３７は、撮像装置１００本体に設けられる。ＬＣＤ１３７が表示する画像は、例えば、ＳＤＲＡＭ１０５から読み出された撮影前の画像（ライブビュー表示）、撮像装置１００の各種設定画面や、撮像して記録された画像などである。本実施形態では、表示部としてＬＣＤ１３７、表示駆動部としてＬＣＤコントローラ１３５としたが、本発明はかかる例に限定されず、例えば有機ＥＬディスプレイ、その表示制御部などであってもよい。

次に、本実施形態に係る撮像装置１００のＤＳＰ１２１、１２２について説明する。図２は、本実施形態に係る撮像装置１００のＤＳＰ１２１、１２２を示すブロック図である。
ＤＳＰ１２１、１２２は、画像信号処理部１４１と、ＡＥ／ＡＦ／ＡＷＢ算出部１４２と、メモリコントローラ１５１と、画像合成処理部１５２と、対応点・特徴点検出部１５３と、画像相関検出部１５４と、シーン判別部１５５と、記憶媒体制御部１６１と、外部通信制御部１６２と、エンコーダＬＣＤ制御部１６３と、画像圧縮伸張処理部１６４と、ＣＰＵ１７１と、ＳＩＯ１７２と、Ｉ／Ｏポート１７３等からなる。

画像信号処理部１４１は、イメージセンサ１０３、１０４から画像信号を受け、イメージセンサ１０３、１０４のＡ／Ｄ変換部から出力されたデジタル信号に対して処理を施し、画像処理が可能となる画像信号を生成する。画像信号処理部１４１は、ＷＢ制御値、γ値、輪郭強調制御値などに基づいて、画像処理された画像信号を生成する。画像信号処理部１４１は、画像信号に基づいてＡＥ評価値、ＡＷＢ評価値及びＡＦ評価値を算出する。

ＡＥ／ＡＦ／ＡＷＢ算出部１４２は、画像信号処理部１４１で算出されたＡＥ（auto exposure：自動露光）評価値に基づいて、絞りの絞り量やシャッター速度を算出する。ＡＥ／ＡＦ／ＡＷＢ算出部１４２は、画像信号処理部１４１で算出されたＡＷＢ（auto white balance：自動ホワイトバランス）評価値に基づいて、例えば３原色の色信号のゲインを算出する。なお、ＡＥ評価値、ＡＷＢ評価値は、画像信号の輝度値に基づいて画像信号処理部１４１で算出されたものである。

露光制御・ＡＦ動作制御部１４３は、ＡＥ／ＡＦ／ＡＷＢ算出部１４２で算出された絞り量を制御信号として結像光学系１０１のドライバ（図示せず。）に出力する。ドライバは、露光制御・ＡＦ動作制御部１４３から受けた制御信号に基づいて駆動信号を生成する。露光制御・ＡＦ動作制御部１４３は、そのほか露光時間、ゲイン、イメージセンサ１０３、１０４の読出しモードによって露光を制御する。ゲインは、コントラスト値の算出に用いられる。イメージセンサ１０３、１０４の読出しモードとは、例えば、イメージセンサ１０３、１０４から画像データを読み出す際の信号処理モードであり、被写体像が暗いときは画素加算を行う、又は被写体像が明るいときは画素すべてをそのまま読み出すなどの処理である。露光制御・ＡＦ動作制御部１４３は、露出量設定部の一例である。

露光制御・ＡＦ動作制御部１４３は、フォーカス制御開始の操作信号を受けると、フォーカスレンズを一方向に移動する制御信号を生成して、生成した制御信号をドライバ１４３に出力する。露光制御・ＡＦ動作制御部１４３は、画像信号処理部１４１で算出されたＡＦ（auto focus：自動焦点）評価値に基づいて、フォーカスレンズの合焦位置を算出する。なお、ＡＦ評価値は、画像信号の輝度値に基づいて画像信号処理部１４１で算出されたものである。ＡＦ評価値は、例えば画像のコントラスト値であり、コントラスト値がピークとなったとき、被写体像がイメージセンサ１０３、１０４の撮像面で合焦していると判断する（コントラスト検出方式）。
メモリコントローラ１５１は、ＳＤＲＡＭ１０５、１０６への画像データの読み書きを制御する。なお、ＳＤＲＡＭ１０５、１０６は、ＤＲＡＭでもよい。

画像合成処理部１５２は、位置ずれ検出部及び合成部の一例であり、イメージセンサ１０３、１０４において同一又は異なるタイミングで撮影した２枚の画像を合成する。このとき、画像間の位置ずれ量を検出し、その位置ずれ量に基づいて合成処理する。
対応点・特徴点検出部１５３は、フレーム画像から特徴点を抽出し、フレーム画像間で対応点を見付け、画像間の対応付けを行なったり、対応点の追跡を行なったりする。
画像相関検出部１５４は、フレーム画像間の相関を算出する。画像相関検出部１５４は、対応点・特徴点検出部１５３で検出された特徴点が少ないときや対応点がとれないとき、画像間の対応付けを行なうことができる。
シーン判別部１５５は、対応点・特徴点検出部１５３や画像相関検出部１５４の検出結果から、撮影シーンが例えば風景、人物、スポーツ等いずれのシーンであるかを判別する。

記憶媒体制御部１６１は、メモリカード１０７への画像データの書き込み、又はメモリカード１０７に記録された画像データや設定情報などの読み出しを制御する。
外部通信制御部１６２は、ＰＣ、プリンタ等との外部機器と信号を送受信する。

エンコーダＬＣＤ制御部１６３は、画像表示用の画像データをエンコーダ処理して、ＬＣＤ１３７に表示可能なデータを生成する。

画像圧縮伸張処理部１６４は、圧縮処理前の画像信号を受けて、例えばＪＰＥＧ圧縮形式、又はＭＰＥＧ圧縮形式などの圧縮形式で画像信号を圧縮処理する。画像圧縮伸張処理部１６４は、圧縮処理で生成した画像データを例えば記憶媒体制御部１６１に送る。
ＣＰＵ１７１は、ＤＳＰ１２１、１２２の演算処理部及び制御部である。ＳＩＯ１７２又はＩ／Ｏポート１７３を介して外部と信号の送受信をする。

なお、撮像装置１００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。上記の通り、本実施形態は、２つの光学系・撮像系を備える場合について説明したが、３以上の複数の光学系・撮像系を備えてもよい。

本実施形態の撮像装置１００は、複数の光学系・撮像系を備え、それぞれから同一又は異なるタイミングで画像データを取得する。そして、撮像装置１００は、複数の撮像素子の露光タイミングを変更することができる。

また、撮像装置１００は、通常連写モードと、通常よりフレームレートが高い高速連写モードを有する。通常連写モードは、複数の撮像素子のうち１つの撮像素子のみを用いて撮像し、高速連写モードは、１つの撮像素子の露光タイミングが別の撮像素子の露光と露光の間に入るように、位相をずらして撮影する。これにより、画質を劣化させることなく連写速度を向上させることができる。

更に、通常連写モード又は連写ではなく１枚ずつ撮影をする単写時には、ＳＮ劣化の少ない高感度モードを有する。高感度モードは、複数の撮像を同じタイミングで行ない、ポスト処理にて、生成された複数の画像について高精度な位置合わせを行ない、画像合成処理をする。そして、合成された１枚の画像を出力することで、ＳＮ劣化の少ない高感度の画像を取得できる。このように同位相で撮影された画像を加算処理することで、画質劣化なしに高感度の撮影を実現できる。

また、高速連写モードでは、複数の撮像素子のうち１つの撮像素子の露光タイミングに合わせてフラッシュを照射することで、フラッシュ撮影画像とフラッシュなし撮影画像を交互に撮影することができる。

更に、本実施形態の撮像装置１００は、通常の平面画像（２次元画像）を撮像する２Ｄ撮像シーケンスとは別に、ステレオ画像（３次元画像）を撮像する３Ｄ撮像シーケンスを備えることができる。

（一実施形態の動作）
［第１の動作例］
次に、図３を参照して、本実施形態に係る撮像装置１００の第１の動作例について説明する。図３は、本実施形態に係る撮像装置１００の第１の動作例を示すタイミングチャートである。

第１の動作例は、通常よりフレームレートが高い高速連写モードである。高速連写モードは、１つの撮像素子（例えば撮像素子ａ）の露光タイミングが別の撮像素子（例えば撮像素子ｂ）の露光と露光の間に入るように、位相をずらして撮影する。読み出し後の処理は、撮像素子ａで取得された画像データと撮像素子ｂで取得された画像データを交互に処理することで、連続した画像データを生成することができる。

これにより、１台の撮像装置１００で撮影したとしても、１つの撮像素子を用いて連写する場合に比べて、２倍のフレームレートで連写することが可能となる。また、画質を劣化させることなく連写速度を向上させることができる。

１つの光学系・撮像系のみを駆動させた場合では、図３の撮像素子ａで示すように、（１）→（３）→（５）の間隔でしか連写はできない。撮像素子ａにおける露光時間や撮像素子ａの処理能力（読み出し処理等）に依存するためである。本実施形態では、２つの光学系・撮像系を使用することで、（１）→（２）→（３）→（４）→（５）の間隔で連写が可能となる。

［第２の動作例］
次に、図４を参照して、本実施形態に係る撮像装置１００の第２の動作例について説明する。図４は、本実施形態に係る撮像装置１００の第２の動作例を示すタイミングチャートである。

第２の動作例は、通常よりフレームレートが高い高速連写モードであり、第１の動作例に比べて各露光時間が長い場合である。第２の動作例でも、第１の動作例と同様に、１つの撮像素子（例えば撮像素子ａ）の露光開始時間が、別の撮像素子（例えば撮像素子ｂ）の２つの露光開始の間に入るように、位相をずらして撮影する。読み出し後の処理は、撮像素子ａで取得された画像データと撮像素子ｂで取得された画像データを交互に処理することで、連続した画像データを生成することができる。

これにより、１台の撮像装置１００で撮影したとしても、１つの撮像素子を用いて連写する場合に比べて、２倍のフレームレートで連写することが可能となる。また、画質を劣化させることなく連写速度を向上させることができる。

また、１つの光学系・撮像系のみを連写モードで駆動させた場合は、撮影間隔（露光及び読み出しに必要な時間）Ｍ以下で、露光間隔（ある露光の開始と次の露光の開始の間隔）Ｎを設定することはできなかった。１つの撮像素子において、露光中又は読み出し中に、次の露光を開始することはできないからである。本実施形態では、１つの撮像素子（例えば撮像素子ｂ）の（２）の露光タイミングが別の撮像素子（例えば撮像素子ａ）の（１）の露光開始と（３）の露光開始の間に入るように、タイミングジェネレータ１１７を制御し、位相をずらして撮影する。その結果、撮影間隔Ｍ以下で、露光間隔Ｎを設定することができる。

これにより、通常の連写より露光時間が長い（シャッター速度が遅い）連写が可能となり、例えば撮影環境が暗いシーンでも高速連写を実現することができる。

［第３の動作例］
次に、図５を参照して、本実施形態に係る撮像装置１００の第３の動作例について説明する。図５は、本実施形態に係る撮像装置１００の第３の動作例を示すタイミングチャートである。

第３の動作例は、連写モードでフラッシュ撮影とフラッシュなし撮影を同時に行うモードである。第３の動作例でも、第１の動作例と同様に、１つの撮像素子（例えば撮像素子ａ）の露光開始時間が、別の撮像素子（例えば撮像素子ｂ）の２つの露光開始の間に入るように、位相をずらして撮影する。読み出し後の処理は、撮像素子ａで取得された画像データと撮像素子ｂで取得された画像データを交互に処理し、更に画像データを合成処理することで、連続した画像データを生成することができる。

また、撮像素子ａの露光のタイミングに合わせてフラッシュを被写体に照射する。従来、フラッシュ撮影は、プリ発光や充電時間に制約を受け、連写速度を高めることは困難であった。本実施形態によれば、１つの撮像素子でフラッシュ撮影を行い、他方の撮像素子でフラッシュなし撮影を行うことで、高速連写が可能となる。

例えば、撮像素子ａは、通常のフラッシュ撮影時と同じ撮影条件でシャッター速度、絞り、感度が設定される。フラッシュ撮影により、例えば夜景シーン等において、人物を鮮明に撮影できる。一方、撮像素子ｂは、高感度に設定することで比較的暗いシーンでも適正露出とすることができる。高感度撮影により、例えば夜景シーン等において、背景を撮影することができる。そして、ポスト処理によって、フラッシュ撮影画像とフラッシュなし撮影画像を合成処理することによって、フラッシュが届かない場所の画質を向上させることが可能になる。

また、室内の撮影シーン等において、フラッシュの色温度と室内の照明の色温度が異なる場合でも、それぞれの撮像素子で適正なホワイトバランスを設定することができる。そのため、フラッシュ撮影画像とフラッシュなし撮影画像を合成処理することによって、被写体の色が適正な画像を得ることができる。

［第４の動作例］
次に、図６を参照して、本実施形態に係る撮像装置１００の第４の動作例について説明する。図６は、本実施形態に係る撮像装置１００の第４の動作例を示すタイミングチャートである。

第４の動作例は、１つの光学系・撮像系で通常連写をする場合である。本実施形態の撮像装置１００は、図６に示すように、１つの撮像素子ａのみを駆動させて、他方の撮像素子ｂは使用しない撮影モードも可能である。このとき、撮像素子ｂはスリープ状態とする。このように、撮像装置１００は、第１〜第３の動作例で示した高速連写モードと、第４の動作例の通常連写モードを切り替えて使用することができる。

［第５の動作例］
次に、図７を参照して、本実施形態に係る撮像装置１００の第５の動作例について説明する。図７は、本実施形態に係る撮像装置１００の第５の動作例を示すタイミングチャートである。

第５の実施例は、高感度モードである。高感度モードは、通常連写モード、又は連写ではなく１枚ずつ撮影をする単写時に実現できる。

通常連写モードは、複数の撮像を同じタイミング（同位相）で行ない、ポスト処理にて、生成された複数の画像について高精度な位置合わせを行ない、画像合成処理をする。そして、合成された１枚の画像を出力することで、ＳＮ劣化の少ない高感度の画像を取得できる。このように同位相で撮影された画像を加算処理することで、画質劣化なしに高感度の撮影を実現できる。

第５の動作例では、第１の動作例と異なり、１つの撮像素子（例えば撮像素子ａ）の露光開始時間が、別の撮像素子（例えば撮像素子ｂ）の露光開始時間と同一タイミングとなるように、位相を合わせて撮影する。読み出し後の処理は、撮像素子ａで取得された画像データと撮像素子ｂで取得された画像データのうち基準となる画像データをまず画像処理し、その後合成処理する。これを繰り返す場合は、通常連写モードであり、１枚の静止画のみを取得する場合は、単写モードである。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

本発明の一実施形態に係る撮像装置を示すブロック図である。 同実施形態に係る撮像装置のＤＳＰを示すブロック図である。 同実施形態に係る撮像装置の第１の動作例を示すタイミングチャートである。 同実施形態に係る撮像装置の第２の動作例を示すタイミングチャートである。 同実施形態に係る撮像装置の第３の動作例を示すタイミングチャートである。 同実施形態に係る撮像装置の第４の動作例を示すタイミングチャートである。 同実施形態に係る撮像装置の第５の動作例を示すタイミングチャートである。 同実施形態に係る撮像装置の変更例を示すブロック図である。

符号の説明

１００、２００ 撮像装置
１０１、１０２ 結像光学系
１０３、１０４ イメージセンサ
１０５、１０６ ＳＤＲＡＭ
１０７ メモリカード
１０９ ＲＯＭ
１１１ 駆動モード切替部
１１３ 感度モード切替部
１１５ レリーズボタン
１１７ タイミングジェネレータ
１２１、１２２、２２１ ＤＳＰ
１３１ フラッシュコントローラ
１３３ フラッシュ
１３５ ＬＣＤコントローラ
１３７ ＬＣＤ
１４１ 画像信号処理部
１４２ ＡＥ／ＡＦ／ＡＷＢ算出部
１５１ メモリコントローラ
１５２ 画像合成処理部
１５３ 対応点・特徴点検出部
１５４ 画像相関検出部
１５５ シーン判別部
１６１ 記憶媒体制御部
１６２ 外部通信制御部
１６３ エンコーダＬＣＤ制御部
１６４ 画像圧縮伸張処理部
１７１ ＣＰＵ
１７２ ＳＩＯ
１７３ Ｉ／Ｏポート

Claims (8)

1. 第１の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と、
   前記第１の光学系と異なる第２の光学系を介して受けた前記被写体からの光を電気信号に変換する前記第１の撮像素子と異なる第２の撮像素子と、
   本撮影がされたとき、前記第１の撮像素子で変換された前記電気信号に基づいて第１の画像信号と、前記第２の撮像素子で変換された前記電気信号に基づいて第２の画像信号を生成する画像信号処理部と、
   前記第１の撮像素子における第１の露光開始時間と、前記第２の撮像素子における第２の露光開始時間を制御し、前記第１の撮像素子と前記第２の撮像素子が連続して露光され読み出し処理されるとき、前記第１の撮像素子と前記第２の撮像素子のうち一方の撮像素子の露光開始時間が、他方の撮像素子の連続する２つの露光開始時間の間に入るように制御する露光制御部と
   を有する、撮像装置。
2. 前記露光制御部は、前記第１の露光開始時間と前記第２の露光開始時間が一方の露光開始時間間隔の中心に来るよう制御する、請求項１に記載の撮像装置。
3. 前記露光制御部は、前記第１の露光開始時間と前記第２の露光開始時間が一方の露光時間中に露光開始されるように制御する、請求項１に記載の撮像装置。
4. 前記第１の撮像素子と前記第２の撮像素子のうち一方の撮像素子の露光時にフラッシュの照射をし、他方の撮像素子の露光時にフラッシュの照射をしない発光部と、
   前記第１の画像信号と前記第２の画像信号との間の位置ずれ情報を検出する位置ずれ検出部と、
   前記検出された位置ずれ情報に基づいて前記第１の画像信号と前記第２の画像信号の一部又は全体を合成処理する合成部とを更に有する、請求項１に記載の撮像装置。
5. 第１の光学系を介して受けた被写体からの光を電気信号に変換する第１の撮像素子と、
   前記第１の光学系と異なる第２の光学系を介して受けた前記被写体からの光を電気信号に変換する前記第１の撮像素子と異なる第２の撮像素子と、
   本撮影がされたとき、前記第１の撮像素子で変換された前記電気信号に基づいて第１の画像信号と、前記第２の撮像素子で変換された前記電気信号に基づいて第２の画像信号を生成する画像信号処理部と、
   前記第１の撮像素子における第１の露光開始時間と、前記第２の撮像素子における第２の露光開始時間を制御し、前記第１の撮像素子と前記第２の撮像素子が連続して露光され読み出し処理されるとき、前記第１の撮像素子と前記第２の撮像素子のうち一方の撮像素子の露光開始時間が、他方の撮像素子の露光開始時間と同一タイミングとなるように制御する露光制御部と、
   前記第１の画像信号と前記第２の画像信号との間の位置ずれ情報を検出する位置ずれ検出部と、
   前記検出された位置ずれ情報に基づいて前記第１の画像信号と前記第２の画像信号の一部又は全体を合成処理する合成部と
   を有する、撮像装置。
6. 前記第１の画像信号と前記第２の画像信号との間の位置ずれ情報を検出する位置ずれ検出部と、
   前記検出された位置ずれ情報を用いて前記第１の画像信号と前記第２の画像信号を画像処理して、時間軸方向に連続した位置ずれのない複数の平面画像、又は時間軸方向に連続した複数の位置ずれを用いたステレオ画像を生成する画像処理部と
   を更に有する、請求項１〜５のいずれかに記載の撮像装置。
7. 第１の撮像素子が第１の光学系を介して受けた被写体からの光を電気信号に変換するステップと、
   前記第１の撮像素子と異なる第２の撮像素子が前記第１の光学系と異なる第２の光学系を介して受けた前記被写体からの光を電気信号に変換するステップと、
   本撮影がされたとき、前記第１の撮像素子で変換された前記電気信号に基づいて第１の画像信号と、前記第２の撮像素子で変換された前記電気信号に基づいて第２の画像信号を生成するステップと、
   前記第１の撮像素子における第１の露光開始時間と、前記第２の撮像素子における第２の露光開始時間を制御するステップと、
   前記第１の撮像素子と前記第２の撮像素子が連続して露光され読み出し処理されるとき、前記第１の撮像素子と前記第２の撮像素子のうち一方の撮像素子の露光開始時間が、他方の撮像素子の連続する２つの露光開始時間の間に入るように制御するステップと
   を有する、撮像方法。
8. 第１の撮像素子が第１の光学系を介して受けた被写体からの光を電気信号に変換するステップと、
   前記第１の撮像素子と異なる第２の撮像素子が前記第１の光学系と異なる第２の光学系を介して受けた前記被写体からの光を電気信号に変換するステップと、
   本撮影がされたとき、前記第１の撮像素子で変換された前記電気信号に基づいて第１の画像信号と、前記第２の撮像素子で変換された前記電気信号に基づいて第２の画像信号を生成するステップと、
   前記第１の撮像素子における第１の露光開始時間と、前記第２の撮像素子における第２の露光開始時間を制御するステップと、
   前記第１の撮像素子と前記第２の撮像素子が連続して露光され読み出し処理されるとき、前記第１の撮像素子と前記第２の撮像素子のうち一方の撮像素子の露光開始時間が、他方の撮像素子の露光開始時間と同一タイミングとなるように制御するステップと、
   前記第１の画像信号と前記第２の画像信号との間の位置ずれ情報を検出するステップと、
   前記検出された位置ずれ情報に基づいて前記第１の画像信号と前記第２の画像信号の一部又は全体を合成処理するステップと
   を有する、撮像方法。
   

Images