JP2018148512A - 撮像装置と撮像装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】歪みの少ない高画質な画像を生成可能にすることを課題とする。【解決手段】カメラ（１００）は、光学系により形成される同光学像を撮像可能に配置された第一撮像素子（１０５）及び第二撮像素子（１０６）を有する。第一撮像制御部（１８０）は第一撮像素子（１０５）をローリングシャッタ駆動させ、第二撮像制御部（１８１）は第二撮像素子（１０６）をグローバル電子シャッタ駆動させ、第一撮像制御部（１８０）と第二撮像制御部（１８１）は第一撮像素子（１０５）と第二撮像素子（１０６）の露光時間が重なるように制御する。映像信号処理部（１２１）は、第一撮像素子（１０５）にて撮像された第一画像を、第二撮像素子（１０６）にて撮像された第二画像に基づいて補正する。【選択図】図１

Description

本発明は、画像を撮像する撮像装置とその制御方法及びプログラム、画像処理装置、画像処理方法及びプログラムに関する。

画像を撮像する撮像装置では、メカニカルシャッタによる音や振動によるブレを防止するため、電子シャッタを使用して撮影を行うことがある。しかし、電子シャッタの一つであるローリングシャッタで撮像が行われた場合、撮像素子の水平方向の各ラインにおいて露光のタイミングがそれぞれ時間的に異なるため、例えば動体を撮影した際に、画像に歪みが生じることがある。この歪みは、ローリングシャッタ歪みと呼ばれている。

一方、特許文献１には、二つ撮像素子を備え、ローリングシャッタを使用してそれぞれの撮像素子で撮像する撮像装置が開示されている。特許文献１の撮像装置では、二つの撮像素子の読み出し方向を反対向きにして読み出した２つの画像を合成することにより、ローリングシャッタ歪みを補正するようにしている。
また、特許文献２には、一つの撮像素子でメカニカルシャッタと電子シャッタを使用して複数の画像を撮像する撮像装置が開示されている。特許文献２の撮像装置では、メカニカルシャッタで撮像したローリングシャッタ歪みのない画像と、電子シャッタで撮像したローリングシャッタ歪みのある画像とを合成することにより、良質の画像を生成可能としている。

特開２０１４−３４１７号公報 特開２００８−１６８８５号公報

特許文献１に記載の撮像装置は、２つの撮像素子で撮像した画像を合成することにより、ローリングシャッタ歪みをある程度補正することが可能である。しかしながら、２つの撮像素子ではそれぞれローリングシャッタによる撮影がなされるため、それぞれの画像にはローリングシャッタ歪みが生じており、それら画像を合成しても、ある程度の歪みが残ってしまい、高画質な画像が得られない。
特許文献２に記載の撮像装置の場合、メカニカルシャッタで撮像した画像にはローリングシャッタ歪みはないが、一つの撮像素子で複数回の撮影を行うため、撮影開始時刻が異なる画像を合成することによる時間的な画像のずれが生じてしまう。また、電子シャッタで撮影した画像には、やはりローリングシャッタ歪みが生じているため、メカニカルシャッタで撮影した画像と合成しても、やはりある程度の歪みが残ってしまい、高画質な画像が得られない。

そこで、本発明は、歪みの少ない高画質な画像を生成可能にすることを目的とする。

本発明は、光学系により形成される同光学像を撮像可能に配置された第一の撮像素子及び第二の撮像素子と、前記第一の撮像素子をローリングシャッタ駆動させ、前記第二の撮像素子をグローバル電子シャッタ駆動させる制御手段と、前記第一の撮像素子により撮像された第一の画像を補正する補正手段と、を有し、前記制御手段は、前記第一の撮像素子と前記第二の撮像素子との露光時間が重なるように、前記第一の撮像素子と前記第二の撮像素子を制御し、前記補正手段は、前記第一の撮像素子にて撮像された第一の画像を、前記第二の撮像素子にて撮像された第二の画像に基づいて補正することを特徴とする。

本発明によれば、歪みの少ない高画質な画像を生成可能となる。

実施形態のカメラの構成例を示す図である。 映像信号処理部の構成例を示す図である。 第一の実施形態の処理のフローチャートである。 二つの撮像素子の撮像時の露光タイミングの例を説明する図である。 二つの撮像素子の撮像画像と補正後の画像の例を説明する図である。 ローリングシャッタ歪みの補正処理のフローチャートである。 第二の実施形態の撮影時の露光タイミングと画像例を説明する図である。 第二の実施形態の処理のフローチャートである。 第三の実施形態の処理のフローチャートである。

以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
本実施形態の撮像装置は、例えば、デジタルカメラやデジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、工業用カメラ、車載カメラ、医療用カメラなどの各種カメラに適用可能である。本実施形態の撮像装置は、二つの撮像素子を備え、電子シャッタで撮像する際のローリングシャッタ歪みの補正が可能となされている。

＜第一の実施形態＞
図１は、第一の実施形態に係る撮像装置の一例としてのカメラ１００の概略構成例を示したブロック図である。カメラ１００は、カメラ１００内の撮像素子の撮像面上に被写体等の光学像を形成するレンズ１０１と、該レンズ１０１を着脱可能なカメラ本体とからなる、レンズ交換可能なカメラであるとする。なお、本発明が適用される撮像装置は、レンズ交換可能なカメラ１００だけではなく、例えばレンズ１０１とカメラ本体とが一体構造となっているカメラであってもよい。

レンズ１０１は、フォーカスレンズやズームレンズなどを含む複数のレンズからなるレンズ群と、絞りとを有した光学系であり、入射した被写体等の光学像を、ハーフミラー１０３を介して第一撮像素子１０５及び第二撮像素子１０６の両撮像面上に形成する。図１の構成例の場合、第一撮像素子１０５の撮像面上にはハーフミラー１０３を透過した光学像が形成され、第二撮像素子１０６の撮像面上にはハーフミラー１０３により反射された光学像が形成される。なお、第二撮像素子１０６は、ハーフミラー１０３の反射光方向に撮像面が配置されているとする。すなわち、第一撮像素子１０５と第二撮像素子１０６は、レンズ１０１の光学系により形成される同光学像を撮像可能に配置されている。また、レンズ１０１は、カメラ本体に設けられているレンズマウント１０２により、カメラ本体に対して着脱可能となされている。レンズ制御部１４１は、レンズ１０１の駆動制御部であり、レンズ１０１のズームレンズ、フォーカスレンズ、絞り等の駆動とその制御を行う。

シャッタ１０４は、静止画撮影時に露出時間を調節するフォーカルプレーンシャッタである。本実施形態の場合、シャッタ１０４は、例えばタイミング発生部１４２からのシャッタ開閉タイミング信号により開閉駆動及び開成時間が調整される。そして、シャッタ１０４の開成時間が制御されることにより、第一撮像素子１０５の露出時間が調整される。

第一撮像素子１０５は、ＣＭＯＳ撮像素子等で構成される光電変換素子である。本実施形態の第一撮像素子１０５は、ローリングシャッタ機能を備えており、第一撮像制御部１８０によりローリングシャッタ駆動の制御が行われる。第一撮像素子１０５は、レンズ１０１を介し、更にハーフミラー１０３を透過して撮像面上に形成された被写体等の光学像を光電変換し、その光電変換によるアナログ画像信号をデジタル画像データに変換して、映像信号処理部１２１に出力する。なお、第一撮像素子１０５は、ローリングシャッタ駆動による静止画撮影や動画撮影が可能となされている。

第二撮像素子１０６は、ＣＭＯＳ撮像素子等で構成される光電変換素子である。本実施形態の第二撮像素子１０６は、グローバル電子シャッタ機能を備えており、第二撮像制御部１８１によりグローバル電子シャッタ駆動の制御が行われる。第二撮像素子１０６は、レンズ１０１を介し、ハーフミラー１０３で反射されて撮像面上に形成された被写体等の光学像を光電変換し、その光電変換によるアナログ画像信号をデジタル画像データに変換して、映像信号処理部１２１に出力する。

ここで、電子シャッタの一つであるグローバル電子シャッタの場合、全画素のリセットと露光のタイミングが時間的に一致するため、ローリングシャッタの場合のような画像の歪みは発生しない。ただし、グローバル電子シャッタを搭載すると画素の開口率が下がるため、１画素のサイズを大きくしなければならず、１画素のサイズを大きくすると回路規模の増加や撮像素子自体の構成が複雑になってしまう。このため、本実施形態の場合、第二撮像素子１０６は、回路規模を増加させずにグローバル電子シャッタ駆動を行えるように、第一撮像素子１０５よりも画素数が少ない撮像素子となされている。そして、第二撮像素子１０６は、グローバル電子シャッタ駆動による静止画撮影や動画撮影が可能となされている。

第一撮像制御部１８０は、第一撮像素子１０５の駆動制御部である。本実施形態の第一撮像制御部１８０は、第一撮像素子１０５に対し、水平ライン順に画素の露光を開始させ、さらに水平ライン順に順次光電変換された画像信号を読み出すようなローリングシャッタ駆動とその制御を行う。なお、本実施形態の第一撮像素子１０５において、ローリングシャッタ駆動により例えば静止画撮影が行われる際の水平ライン毎の露光開始及び水平ライン毎の画像信号の読み出しの詳細については後述する。

第二撮像制御部１８１は、第二撮像素子１０６の駆動制御部である。本実施形態の第二撮像制御部１８１は、第二撮像素子１０６を制御して全画素を一括して露光させ、光電変換された画像信号を読み出すようなグローバル電子シャッタ駆動とその制御を行う。なお、本実施形態の第二撮像素子１０６において、グローバル電子シャッタ駆動により例えば静止画撮影が行われる際の全画素の一括露光及び読み出しの詳細については後述する。

図２は、映像信号処理部１２１の詳細な構成例を示す図である。
映像信号処理部１２１は、第一画像補正部２０１、第一現像処理部２０２、第一焦点検出部２０３、第一露出検出部２０４、第二画像補正部２０５、第二現像処理部２０６、第二焦点検出部２０７、第二露出検出部２０８を有している。また、映像信号処理部１２１は、メモリインターフェイス２０９、静止画エンコード処理部２１０、動画エンコード処理部２１１を有している。

第一画像補正部２０１は、第一撮像素子１０５から供給された画像データに対し、デジタルゲイン処理やレンズ１０１の光学特性の補正処理等の各種処理を行い、その補正後の画像データを出力する。第一現像処理部２０２は、第一画像補正部２０１による補正後の画像データに対し、ホワイトバランス、色補間、色補正、γ変換、エッジ強調、解像度変換、ノイズ低減処理等の現像処理を行う。第一現像処理部２０２による現像処理後の画像データは、メモリインターフェイス２０９から、バス１５０を介してメモリ１３２に送られて一時的に記憶される。

第一焦点検出部２０３は、第一画像補正部２０１から出力された画像のコントラスト解析を行う。第一焦点検出部２０３による解析データは、メモリインターフェイス２０９からバス１５０を介してメモリ１３２に送られて一時的に記憶された後、レンズ制御部１４１により読み出されてオートフォーカス制御に利用される。第一露出検出部２０４は、第一画像補正部２０１から出力された画像の明るさ解析を行う。第一露出検出部２０４による解析データは、メモリインターフェイス２０９からバス１５０を介してメモリ１３２に一時的に記憶される。その後、メモリ１３２に記憶された解析データは、ＣＰＵ１３１により読み出され、タイミング発生部１４２を介して第一撮像制御部１８０に送られて、第一撮像素子１０５の露光制御に利用される。

第二画像補正部２０５は、第二撮像素子１０６から供給された画像データに対し、第一画像補正部２０１と同様に光学特性の補正等の各種処理を行い、その補正後の画像データを出力する。第二現像処理部２０６は、第二画像補正部２０５による補正後の画像データに対し、第一現像処理部２０２と同様の現像処理を行う。なお、第二撮像素子１０６で動画撮像が行われる場合には、第二現像処理部２０６におけるノイズ低減等の処理は動画に適した処理となされる。第二現像処理部２０６による現像処理後の画像データは、メモリインターフェイス２０９から、バス１５０を介してメモリ１３２に送られて一時的に記憶される。

第二焦点検出部２０７、第二露出検出部２０８は、それぞれ第一焦点検出部２０３、第一露出検出部２０４と同様の処理を行う。第二露出検出部２０８による解析データは、メモリ１３２に一時的に記憶される。その後、メモリ１３２に記憶された解析データは、ＣＰＵ１３１により読み出され、タイミング発生部１４２を介して第二撮像制御部１８１に送られて、第二撮像素子１０６の露光制御に利用される。なお、第二焦点検出部２０７による解析データは、例えば第二撮像素子１０６による動画撮像が行われていて、第一撮像素子１０５での撮像が行われていない場合に、レンズ制御部１４１により読み出されてオートフォーカス制御等に利用される。

静止画エンコード処理部２１０は、メモリインターフェイス２０９を介してメモリ１３２から画像データを読み出し、その画像データに対し、いわゆるＪＰＥＧ等に代表される画像圧縮処理を行う。この圧縮画像データは、メモリインターフェイス２０９を介しメモリ１３２に一時的に記憶される。
動画エンコード処理部２１１は、例えば動画撮像が行われた場合の動画データを、メモリインターフェイス２０９を介してメモリ１３２から読み出し、その動画データに対し、Ｈ．２６４規格などに代表される圧縮処理を行う。この圧縮動画データは、メモリインターフェイス２０９を介しメモリ１３２に一時的に記憶される。

図１の構成に説明を戻す。メモリ１３２は、映像信号処理部１２１による処理後の画像データの他、ＣＰＵ１３１が各種処理を行う際の各種データについても一時的に記憶する。不揮発性メモリ１３３は、ＣＰＵ１３１が実行するプログラムデータを保持する。ＣＰＵ１３１が実行するプログラムデータには、本実施形態のカメラ１００の各部をＣＰＵ１３１が制御する際の制御プログラムである。なお、プログラムには、本実施形態に係る画像処理をＣＰＵ１３１が実行する場合の画像処理プログラムが含まれていてもよい。

タイミング発生部１４２は、第一撮像素子１０５、第二撮像素子１０６の撮像動作に使用される撮像タイミング信号を発生する。撮像タイミング信号には、撮像素子の撮像開始から撮影終了までの露出時間を決めるタイミング信号、後述する同期信号などの各種信号が含まれる。また、タイミング発生部１４２は、シャッタ１０４に対するシャッタ開閉タイミング信号も発生する。さらに、タイミング発生部１４２は、映像信号処理部１２１が映像信号処理を行う際の制御タイミング、表示部１５３に映像を表示させる際の表示タイミング信号も発生する。なお、タイミング発生部１４２が発生する同期信号は、第一撮像制御部１８０と第二撮像制御部１８１に送られると共にＣＰＵ１３１にも送られる。同期信号の詳細については後述する。

バス１５０には、前述したレンズ制御部１４１、タイミング発生部１４２、映像信号処理部１２１、メモリ１３２、ＣＰＵ１３１、表示制御部１５１が接続されている。また、バス１５０には、電源部１１０、不揮発性メモリ１３３、カード入出力部１７１、動画記録開始／終了ボタン１６５、メインスイッチ１６１、第一レリーズスイッチ１６２、第二レリーズスイッチ１６３、カード入出力部１７１等も接続されている。
電源部１１０は、バス１５０を介してカメラ１００の内部に設けられている各回路に電源供給を行う。

表示制御部１５１は、メモリ１３２に記憶されている画像データを、バス１５０を介して受け取り、その画像データから表示用の画像データを生成する。表示用の画像データは、Ｄ／Ａ変換部１５２により表示用のアナログ映像信号へと変換されて、表示部１５３に送られる。表示部１５３は、ＴＦＴ素子などの液晶表示素子を有した表示装置であり、表示用のアナログ映像信号に基づいて液晶表示素子が駆動されることにより、映像の表示を行う。また、Ｄ／Ａ変換部１５２は、ビデオ出力端子１５４やマルチメディアインターフェイス規格に対応した出力端子１５５にも接続されている。これにより、それら出力端子１５４、１５５を介して、不図示の外部表示装置等へも画像の出力が可能となる。なお、メモリ１３２内で表示用の画像データが記憶される領域はＶＲＡＭと呼ばれ、表示制御部１５１は、メモリ１３２のＶＲＡＭから画像データを読み出して、前述した表示用の画像データを生成する。また、表示制御部１５１は、動画を構成する各フレームのタイミング毎にメモリ１３２のＶＲＡＭから順次画像データを読み出して、表示部１５３に表示する画像を更新することにより、動画表示を行わせることも可能である。

カードスロット１７２は、メモリカード等の記録媒体１７３が着脱可能となされている。記録媒体１７３は、カードスロット１７２に差し込まれた状態でカード入出力部１７１と電気的に接続される。カード入出力部１７１は、ＣＰＵ１３１による制御の下、メモリ１３２から読み出された画像データを記録媒体１７３へ記録、又は、記録媒体１７３に記録されているデータを読み出してメモリ１３２へ送る。

ＣＰＵ１３１は、バス１５０を介して、上述したカメラ１００内の各部と接続されており、カメラ１００内の各部を統括的に制御する制御部である。また、ＣＰＵ１３１は、レンズ制御部１４１、映像信号処理部１２１、表示制御部１５１、タイミング発生部１４２に対し、それぞれに接続されている各構成への制御を指示する。例えば、ＣＰＵ１３１は、タイミング発生部１４２に対し、第一撮像制御部１８０と第二撮像制御部１８１へ送る撮像タイミング信号等を発生させる制御指示を送ることにより、第一撮像制御部１８０と第二撮像制御部１８１を制御する。また、ＣＰＵ１３１は、タイミング発生部１４２に対し、シャッタ１０４へのシャッタ開閉タイミング信号を発生させる制御指示を送ることにより、シャッタ１０４の開閉駆動及び開成時間を制御する。また、ＣＰＵ１３１は、映像信号処理部１２１に対しては図２の各部の制御指示を送り、レンズ制御部１４１に対してはレンズ１０１の駆動や絞りの駆動制御指示を送ることでレンズ１０１の駆動や絞りの駆動を制御する。また、ＣＰＵ１３１は、表示制御部１５１に対しては表示部１５３等の動作の制御指示を送ることで、表示部１５３の表示動作を制御する。

以下、説明を簡略にするため、ＣＰＵ１３１が各制御部等へ制御指示を送ることについての記載は適宜省略することとする。また、本実施形態では、ＣＰＵ１３１が各制御部や各処理部に制御指示を送る例を挙げたが、上述した各制御部や各処理部等を用いず、ＣＰＵ１３１がカメラ１００内の各部を直接制御、駆動するような構成であってもよい。また、ＣＰＵ１３１が制御を指示するのではなく、上述した各制御部や各処理部がそれぞれ連動して自ら処理（制御）を行うような構成であってもよい。

第一レリーズスイッチ１６２は、不図示のレリーズボタンが第一ストローク状態（いわゆる半押し状態）のときにオンとなるスイッチである。以下、レリーズボタンが第一ストローク状態（半押し状態）になっていて第一レリーズスイッチ１６２がオンになっている状態を、ＳＷ１半押し状態と表記する。ＳＷ１半押し状態のとき、ＣＰＵ１３１は、カメラ１００の各部を撮影準備状態に制御する。撮影準備状態とは、レンズ制御部１４１によるレンズ１０１の駆動制御によって前述したフォーカス、ズーム、絞りなどの制御が、必要に応じて実行される状態である。また、本実施形態の場合、ＣＰＵ１３１は、ＳＷ１半押し状態のときには、タイミング発生部１４２を介したシャッタ開閉タイミング信号により、シャッタ１０４を開成状態に駆動させてその状態を維持させる。なお、ＣＰＵ１３１は、メインスイッチ１６１がオンになされた時点でシャッタ１０４を開成状態に駆動させてその状態を維持させてもよい。

第二レリーズスイッチ１６３は、不図示のレリーズボタンが第二ストローク状態（いわゆる全押し状態）のときにオンとなるスイッチである。以下、レリーズボタンが第二ストローク状態（全押し状態）になり第二レリーズスイッチ１６３がオンになった状態を、ＳＷ２全押し状態と表記する。ＳＷ２全押し状態になったとき、ＣＰＵ１３１は、カメラ１００の各部を制御して撮影を開始させる。本実施形態の場合、ＳＷ２全押し状態になると、ＣＰＵ１３１は、タイミング発生部１４２から撮像タイミング信号を出力させて第一撮像制御部１８０の撮像制御を開始させて、第一撮像素子１０５にローリングシャッタ駆動による撮像を実行させる。

以下、前述した図１、図２の構成を有する本実施形態のカメラ１００の基本動作について説明する。
先ず、ユーザによりメインスイッチ１６１がオンされることで、電源部１１０は、カメラ１００の各部へ電力を供給する。カメラ１００の各部に電力供給が開始されると、ＣＰＵ１３１は、タイミング発生部１４２を介し、さらに第二撮像制御部１８１を介して、第二撮像素子１０６のグローバル電子シャッタ駆動を開始させる。これにより、第二撮像素子１０６は、レンズ１０１により撮像面上に形成されている光学像を、グローバル電子シャッタ駆動により定期的（例えば１秒間に６０回）に撮像する。第二撮像素子１０６により定期的に撮像された画像データは映像信号処理部１２１に送られ、そして、映像信号処理部１２１により処理された画像データは、メモリ１３２のＶＲＡＭに格納される。

また、ＣＰＵ１３１は、メモリ１３２のＶＲＡＭから読み出した画像データを、表示制御部１５１に送って表示用の画像データに変換させる。表示制御部１５１から出力された表示用の画像データは、Ｄ／Ａ変換部１５２によりアナログ映像信号に変換されて表示部１５３に送られる。これにより、表示部１５３には、第二撮像素子１０６にて逐次撮像されている画像データに基づく動画が表示される。このような動画の表示は、いわゆるライブビュー表示と呼ばれている。なお、ライブビュー表示中に、ユーザにより動画記録開始／終了ボタン１６５を介して記録開始の指示が入力されると、ＣＰＵ１３１は、映像信号処理部１２１の動画エンコード処理部２１１による動画圧縮処理を行わせる。そして、ＣＰＵ１３１は、その圧縮処理された動画データを、カード入出力部１７１を介して記録媒体１７３に記録させる。一方、動画データの記録中に、ユーザにより動画記録開始／終了ボタン１６５を介して記録終了の指示が入力されると、ＣＰＵ１３１は、動画エンコード処理部２１１による動画圧縮処理を終了させるとともに記録媒体１７３への記録も終了させる。

次に、前述のようなライブビュー表示中に、ユーザによりレリーズボタンがＳＷ１半押し状態になされると、ＣＰＵ１３１は、前述した撮影準備状態となるようにカメラ１００の各部を制御する。また、ＣＰＵ１３１は、ＳＷ１半押し状態である場合、タイミング発生部１４２を介してシャッタ１０４を開成状態に駆動させてその状態を維持させるように制御する。

その後、ユーザによりレリーズボタンがＳＷ２全押し状態になされると、ＣＰＵ１３１は、前述したようにカメラ１００の各部を制御して撮影を開始させる。この場合、ＣＰＵ１３１は、タイミング発生部１４２を介し、さらに第一撮像制御部１８０を介して、第一撮像素子１０５のローリングシャッタ駆動を開始させて静止画の撮像を行わせる。これにより、第一撮像素子１０５からは、レンズ１０１により撮像面上に形成されている光学像がローリングシャッタ駆動により撮像された静止画の画像データが出力される。第一撮像素子１０５により撮像された静止画の画像データは映像信号処理部１２１に送られ、そして、映像信号処理部１２１により処理された画像データは、メモリ１３２のＶＲＡＭに格納される。以上が、本実施形態におけるカメラ１００の基本的な動作である。

ここで、本実施形態の場合、シャッタ１０４は、前述したようにレリーズボタンがＳＷ１半押し状態になった時点で開成状態になされ、その状態が維持される。このため、その後、レリーズボタンがＳＷ２全押し状態になって第一撮像素子１０５による静止画の撮像が行われる際に、シャッタ１０４の開閉動作は行われない。したがって、第一撮像素子１０５により静止画撮影が行われた際には、シャッタ１０４の開閉動作による音や振動が撮影画像に影響（ブレ等）を及ぼすことは殆ど無い。
また、本実施形態の場合、レリーズボタンがＳＷ２全押し状態になされて第一撮像素子１０５による静止画の撮像が行われる際には、第一撮像素子１０５と第二撮像素子１０６の両露光時間が重なるように、それら撮像素子の露光タイミングが制御される。そして、本実施形態のカメラ１００は、第一撮像素子１０５でローリングシャッタ駆動により撮像された画像データを、第二撮像素子１０６のグローバル電子シャッタ駆動により撮像された画像データに基づいて補正する。これにより、本実施形態のカメラ１００は、ローリングシャッタ歪みの少ない高品質な静止画像の生成を可能としている。

以下、本実施形態において、第一撮像素子１０５と第二撮像素子１０６の二つを使用して電子シャッタによる撮像が行われる際のローリングシャッタ歪み補正の詳細を、図３以降の各図を参照しながら説明する。
図３は、本実施形態のカメラ１００において画像を撮影する際の処理の流れを示すフローチャートである。図３のフローチャートでは、ステップＳ３０１〜Ｓ３０９をそれぞれＳ３０１〜Ｓ３０９と略記する。また図３のフローチャートの処理は、例えば不揮発性メモリ１３３に記憶されているプログラムをＣＰＵ１３１が実行して各部を制御することにより実現される。なお、図３のフローチャートの処理は、ハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。これらのことは後述する他のフローチャートにおいても同様である。

図３のフローチャートの処理の開始前には、前述したように第二撮像素子１０６はグローバル電子シャッタ駆動によりプレビュー表示用の動画の撮像が行われており、また、既にレリーズボタンはＳＷ１半押し状態となされているとする。そして、Ｓ３０１において、ユーザによりレリーズボタンがＳＷ２全押し状態になされると、ＣＰＵ１３１は、カメラ１００の各部を制御して撮影を開始させる。

次のＳ３０２において、ＣＰＵ１３１は、タイミング発生部１４２が発生する同期信号を受信したか否か判断し、それら同期信号を受信した場合（Ｙｅｓ）にはＳ３０３とＳ３０４に処理を進める。

Ｓ３０３において、ＣＰＵ１３１は、タイミング発生部１４２を介して第一撮像制御部１８０を制御することで、第一撮像素子１０５をローリングシャッタ駆動させ、また同期信号を基に露光時間を制御して、第一撮像素子１０５に画像の撮像を行わせる。
Ｓ３０４において、ＣＰＵ１３１は、タイミング発生部１４２を介して第二撮像制御部１８１に制御することで、第二撮像素子１０６をグローバル電子シャッタ駆動させ、また同期信号を基に露光時間を制御して、第二撮像素子１０６に画像の撮像を行わせる。

ここで、タイミング発生部１４２が発生する同期信号に基づく露光時間の制御について図４を用いて説明する。
図４中の縦方向の点線（４０１，４０２）は、タイミング発生部１４２から出力された同期信号の区切りを表し、第一撮像制御部１８０と第二撮像制御部１８１が同期信号を受信したタイミングを表している。以下、これらのタイミングを同期タイミング４０１，４０２と表記し、各同期信号の受信を同期タイミングの受信と表記する。なお、これら同期タイミング４０１，４０２は、ＣＰＵ１３１でも受信される。これら同期タイミング４０１，４０２の同期信号は、タイミング発生部１４２により任意に生成されてもよいが、本実施形態では、例えば表示部１５３におけるライブビュー表示の垂直同期信号を使用することとする。垂直同期信号を同期信号として用いた場合、同期タイミング４０１，４０２の間に、第二撮像素子１０６から画像が取り込まれることで、ライブビュー表示を止めることなく撮影が可能になる。

図４中の横方向の各細線（４２１）は第一撮像素子１０５の各水平ラインにおけるそれぞれの露光時間を表しており、第一撮像素子１０５の各水平ラインは各細線（４２１）の幅に相当する時間だけ露光される。以下、第一撮像素子１０５の各水平ラインにおける各露光時間を第一露光時間４２１と表記する。本実施形態の場合、第一撮像素子１０５は、第一撮像制御部１８０による制御の下、同期信号の同期タイミング４０１で電荷がリセットされて電荷の蓄積を開始し、ローリングシャッタ駆動により各水平ラインの露光と読み出しが順次行われる。図４中の縦方向の実線（４１２）は、第一撮像素子１０５のローリングシャッタ駆動において最後に露光される水平ライン（最終水平ラインとする。）の露光開始のタイミングを表している。以下、この最終水平ラインの露光開始のタイミングを、第一最終露光タイミング４１２と表記する。

図４中の横方向の各細線（４２２）は第二撮像素子１０６の各水平ラインにおける露光時間を表しており、第二撮像素子１０６の各水平ラインは各細線（４２２）の幅に相当する時間だけ露光される。以下、第二撮像素子１０６の各水平ラインにおける各露光時間を第二露光時間４２２と表記する。また、図４中の縦方向の実線（４１１）は、第二撮像素子１０６の電荷がリセットされるタイミングを示している。以下、第二撮像素子１０６の電荷がリセットされるタイミングを第二リセットタイミング４１１と表記する。本実施形態の場合、第二リセットタイミング４１１は、第一撮像素子１０５で電荷がリセットされる同期タイミング４０１の後で、第一最終露光タイミング４１２になるよりも時間的に前のタイミングとなされる。そして、本実施形態の場合、第二撮像素子１０６は、第二撮像制御部１８１による制御の下、第二リセットタイミング４１１で電荷がリセットされて電荷の蓄積を開始し、グローバル電子シャッタ駆動により全水平ラインの露光と読み出しが一括して行われる。このように、本実施形態の場合、第二撮像素子１０６は、同期信号の同期タイミング４０１と４０２との間に画像を撮像するので、ライブビュー表示が止まることはない。

そして、本実施形態の場合、図４に示したように、第一撮像素子１０５と第二撮像素子１０６の露光時間は、第二リセットタイミング４１１と第一最終露光タイミング４１２の間において重なっている。すなわち、第一撮像素子１０５と第二撮像素子１０６とは、露光時間が重なっていることで同時刻の撮像が可能となされている。言い換えると、本実施形態の場合、露光時間が重なっている部分では、第一撮像素子１０５と第二撮像素子１０６の両撮像画像は略々同撮影時刻の撮像画像であり、それら両撮像画像に時間的なズレはない。したがって、第二撮像素子１０６のグローバル電子シャッタ駆動で撮像された画像を、第一撮像素子１０５でローリングシャッタ駆動により撮像された画像のローリングシャッタ歪みの補正に用いることが可能となる。

以下、図５を参照しながら、第二撮像素子１０６により撮像された画像データに基づいて、第一撮像素子１０５により撮像された画像データが補正される様子を説明する。
図５において、画像５０１は、第一撮像素子１０５により撮像された画像例を示しており、以下これを第一画像５０１とする。第一画像５０１は、第一撮像素子１０５でローリングシャッタ駆動により撮像された画像であるため、静止体である被写体の画像領域５１１にローリングシャッタ歪みは無いが、動体である被写体の画像領域５１２にはローリングシャッタ歪みが生じている。

一方、図５の画像５０２は、第二撮像素子１０６により撮像された画像例を示しており、以下これを第二画像５０２とする。第一画像５０１と第二画像５０２は、前述したように露光時間が重なるようにして同撮影時刻で撮像された画像であるため、それぞれ同じ被写体が画像内の略々同位置に写っている。また、第二画像５０２は、第二撮像素子１０６でグローバル電子シャッタ駆動により撮像された画像であるため、動体でない被写体の画像領域５１１だけでなく動体の被写体の画像領域５１２にも歪みは生じていない。

図５の画像５０３は、第二画像５０２を、第一画像５０１と同画素数となるように拡大した画像であり、以下これを第三画像５０３とする。本実施形態の場合、映像信号処理部１２１が、第二撮像素子１０６により撮像された第二画像５０２を拡大処理して第三画像５０３を生成する。

そして、映像信号処理部１２１は、第一撮像素子１０５により撮像された第一画像５０１を、第三画像５０３を用いて補正処理５００することにより、第一画像５０１のローリングシャッタ歪みが補正された第四画像５０４を生成する。ローリングシャッタ歪みが補正された第四画像５０４の生成処理の詳細は後述する。

図３に説明を戻す。Ｓ３０３の後、Ｓ３０５において、ＣＰＵ１３１は、映像信号処理部１２１を制御し、第一撮像素子１０５からの撮影画像に前述した映像信号処理を実行させて第一画像５０１を生成させる。この第一画像５０１のデータはメモリ１３２に一時的に記憶される。
また、Ｓ３０４の後、Ｓ３０６において、ＣＰＵ１３１は、映像信号処理部１２１を制御し、第二撮像素子１０６からの撮影画像に映像信号処理を実行させて第二画像５０２を生成させる。この第一画像５０１のデータはメモリ１３２に一時的に記憶される。

Ｓ３０５とＳ３０６の後、ＣＰＵ１３１は、Ｓ３０７に処理を進める。Ｓ３０７において、ＣＰＵ１３１は、メモリ１３２から第一画像５０１と第二画像５０２のデータを読み出して、映像信号処理部１２１に送る。そして、ＣＰＵ１３１は、映像信号処理部１２１を制御して、第二画像５０２を基に、第一画像５０１のローリングシャッタ歪みの補正を行わせる。

図６には、図３のＳ３０７においてＣＰＵ１３１による制御の下で映像信号処理部１２１により行われるローリングシャッタ歪みの補正処理の詳細なフローチャートを示す。
図６のＳ６０１において、映像信号処理部１２１は、第一画像５０１と画素数が同じになるように、第二画像５０２を拡大して第三画像５０３を生成する。この第三画像５０３のデータはメモリ１３２に一時的に記憶される。

次に、Ｓ６０２において、映像信号処理部１２１は、ＣＰＵ１３１の制御の下でメモリ１３２から読み出された第一画像５０１と第三画像５０３について水平ライン毎にそれぞれ同位置の画素値を比較し、比較結果としてそれら各画素値の差分を算出する。さらに、Ｓ６０３において、映像信号処理部１２１は、第一画像５０１の各画素のうち、Ｓ６０２で求めた画素値の差分が所定の閾値以上となっている画素を判定する。そして、映像信号処理部１２１は、第一画像５０１の各画素のうち、Ｓ６０２で求めた画素値の差分が所定の閾値以上となっている画素にはローリングシャッタ歪みが生じていると判定（Ｙｅｓ）し、Ｓ６０４に処理を進める。なお、Ｓ６０３において、画素値の差分が所定の閾値未満である場合（Ｎｏ）、映像信号処理部１２１は、後述するＳ６０６に処理を進める。

Ｓ６０４に進むと、映像信号処理部１２１は、Ｓ６０３において第一画像５０１の中で差分が所定値以上と判定された画素を補正の対象とする画素として特定する。また、映像信号処理部１２１は、第一画像５０１の中で特定された画素について、第三画像５０３の中で画素値が一致する画素の位置を求める。さらに、映像信号処理部１２１は、第一画像５０１の中で特定された画素から、第三画像５０３の中で画素値が一致する画素の位置までの距離と方向に相当する情報を、特定した画素をずらす際の補正量として算出する。そして、次のＳ６０５において、映像信号処理部１２１は、Ｓ６０４で算出した補正量に基づき、第一画像５０１の特定した画素の位置をずらすような補正処理を行う。また、第一画像５０１の画素位置をずらしたことで生じた空き領域の画素位置には、第三画像５０３の同位置の画素を入れるような補間処理を行う。これにより、第一画像５０１のローリングシャッタ歪みが補正された第四画像５０４が生成されることになる。この第四画像５０４は、ＣＰＵ１３１の制御の下、メモリ１３２のＶＲＡＭに記憶される。

次のＳ６０６において、映像信号処理部１２１は、第一画像５０１の全水平ラインの画素について前述した処理が完了したか否か確認し、未処理の画素が存在する場合（Ｎｏ）にはＳ６０２に処理を戻してＳ６０２以降の各処理を行う。一方、Ｓ６０６において、第一画像５０１の全水平ラインの画素について処理が完了した場合（Ｙｅｓ）、図６のフローチャートの処理を終了し、ＣＰＵ１３１は、図３のＳ３０８に処理を進める。

図３のフローチャートに説明を戻す。Ｓ３０７の後のＳ３０８において、ＣＰＵ１３１は、図６の処理より生成された第四画像５０４のデータをメモリ１３２のＶＲＡＭから読み出させて、表示制御部１５１に送る。これにより、表示部１５３には、第四画像５０４が表示されることになる。さらに、次のＳ３０９において、ＣＰＵ１３１は、メモリ１３２から第四画像５０４を読み出させ、映像信号処理部１２１の静止画エンコード処理部２１０で圧縮処理させた後、カード入出力部１７１を介して記録媒体１７３に記録させる。その後、ＣＰＵ１３１は、図３のフローチャートの処理を終了する。

以上説明したように第一の実施形態のカメラ１００によれば、ローリングシャッタ駆動の第一撮像素子１０５とグローバル電子シャッタ駆動の第二撮像素子１０６の二つの撮像素子を有している。そして、本実施形態のカメラ１００は、第一撮像素子１０５と第二撮像素子１０６とで露出時間が重なるように撮像を行い、第一撮像素子１０５による撮像画像を第二撮像素子１０６による撮像画像を用いて補正する。これにより、本実施形態のカメラ１００によれば、ローリングシャッタ歪みの少ない高品質な画像を生成することが可能となる。

＜第二の実施形態＞
以下、第二の実施形態について説明する。第二の実施形態のカメラ１００の構成は、第一の実施形態と略々同様である。第二の実施形態では、例えば第一撮像素子１０５の露光が完了する前に、次の同期信号の同期タイミング（４０２）、つまり次の垂直同期信号のタイミングが受信されてしまう場合の処理方法について説明する。

図７（ａ）は前述の図４と同様に示される図である。ただし、図７（ａ）の例では、第一撮像素子１０５において全ての水平ラインの露光が完了する前に、次の同期信号の同期タイミング４０２が受信された例を示している。第二の実施形態の場合、ＣＰＵ１３１は、第一撮像素子１０５の全水平ラインの露光完了前に次の同期タイミング４０２を受信した場合、その同期タイミング４０２以降のタイミング７３１で、第二撮像素子１０６をリセットさせる制御を行う。これにより、第二撮像素子１０６では、タイミング７３１で再度電荷の蓄積が開始され、グローバル電子シャッタ駆動により各水平ラインの露光が一括して行われることになる。

タイミング７３１は、同期タイミング４０１の後に生成される第二リセットタイミング４１１と同様に、同期タイミングの受信後に生成される第二リセットタイミングであり、ＣＰＵ１３１による制御の下でタイミング発生部１４２にて生成される。なお、図示は省略するが、第一撮像素子１０５の全水平ラインの露光が完了する前に、同期タイミング４０２より更に時間的に後の同期タイミングが受信された場合には、その同期タイミングの後にも同様に第二リセットタイミングが生成される。つまり、第二の実施形態の場合、第二リセットタイミングは、第一撮像素子１０５で全水平ラインの露光が完了するまでは、同期タイミングが順次受信される毎に生成される。

図７（ｂ）の画像７１１は、図７（ａ）の第二リセットタイミング７３１によるリセット後に第二撮像素子１０６のグローバル電子シャッタ駆動により撮像された画像例を示しており、以下、これを第五画像７１１とする。また、図７（ｂ）は、第五画像７１１を前述の図５の例と同様に拡大した画像を示しており、以下、これを第六画像７１２とする。第五画像７１１は、グローバル電子シャッタ駆動により撮像された画像であるため、前述の図５の第二画像５０２と同様に、動体でない被写体の画像領域５１１だけでなく動体の被写体の画像領域５１２にも歪みは生じていない。したがって、第六画像７１２も図５の第三画像５０３と同様に歪みの生じていない画像となる。

ただし、図５の第二画像５０２は図４の第二リセットタイミング４１１を基に撮像された画像であるのに対し、図７（ｂ）の第五画像７１１は第二リセットタイミング４１１よりも時間的に後の第二リセットタイミング７３１を基に撮像された画像である。このため、図７（ｂ）の第五画像７１１の場合、この第五画像７１１内における動体の画像領域５１２の位置は、図５の第二画像５０２内の動体の画像領域５１２の位置とは異なる。つまり、図７（ｂ）の第五画像７１１内の画像領域５１２と図５の第二画像５０２内の画像領域５１２とは、第二リセットタイミング４１１と第二リセットタイミング７３１の時間差内で動体の被写体が移動した距離に相当する分だけ位置がずれている。また、図７（ａ）の例の場合、第二撮像素子１０６では、第二リセットタイミング４１１を基に撮像された図５の第二画像５０２と、第二リセットタイミング７３１を基に撮像された第五画像７１１の二つの画像が得られている。

このため、第二の実施形態では、第二撮像素子１０６のグローバル電子シャッタ駆動で得られて拡大された第三画像５０３と第六画像７１２を用い、第一撮像素子１０５のローリングシャッタ駆動による第一画像５０１のローリングシャッタ歪み補正が行われる。なお、第一撮像素子１０５の露光完了までに同期タイミングが複数回受信され、複数回の第二リセットタイミングが生成されて第二撮像素子１０６で複数の画像が取得された場合には、それら複数の画像群を用いたローリングシャッタ歪み補正が行われる。第二の実施形態の場合、カメラ１００は、以下の図８（ａ）と図８（ｂ）のフローチャートに示す処理を行うことにより、ローリングシャッタ歪みの少ない高品質な静止画像を生成可能としている。

図８（ａ）は、第二の実施形態のカメラ１００において画像を撮影する際の処理の流れを示すフローチャートである。また、図８（ｂ）は、図８（ａ）のＳ３０７で行われるローリングシャッタ歪み補正処理の詳細なフローチャートである。図８（ａ）、図８（ｂ）において、前述の図３、図６のフローチャートと同じ処理には図３、図６と同じ参照符号を付して、それらの詳細な説明は省略する。

図８（ａ）のフローチャートのＳ３０３では、第一撮像素子１０５が図７（ａ）の同期タイミング４０１でリセットされてローリングシャッタ駆動されることにより画像の撮像が行われる。ここで、第二の実施形態の場合、図７（ａ）に示したように、第一撮像素子１０５の各水平ラインの第一露光時間４２１が図４の例より長いために、第一撮像素子１０５の全水平ラインの露光が完了する前に、次の同期信号の同期タイミング４０２が来てしまう。第二の実施形態の場合、全水平ラインの露光完了前に次の同期信号の同期タイミング４０２が来ても、第一撮像素子１０５では、そのままローリングシャッタ駆動による撮像が続けられ、したがってＳ３０５では図５と同様の第一画像５０１が生成される。ただし、第二の実施形態の場合、図７（ａ）のように第一露光時間４２１が長くなっているため、第一撮像素子１０５の露光開始から全水平ラインの露光が完了するまでの時間も長くなる。このため、第二の実施形態における第一画像５０１内の動体の画像領域５１２のローリングシャッタ歪み量は、図５の第一画像５０１の例よりも大きくなっている。

第二の実施形態の場合、図８（ａ）のＳ３０４において、第二撮像素子１０６は、先ず図７（ａ）の第二リセットタイミング４１１でグローバル電子シャッタ駆動される。したがって、次のＳ７０１では、ＣＰＵ１３１による制御の下、映像信号処理部１２１での映像処理により、図５の例と同様の第二画像５０２が生成される。Ｓ７０１の後、ＣＰＵ１３１は、Ｓ７０２に処理を進める。

Ｓ７０２において、ＣＰＵ１３１は、第一撮像素子１０５が図７（ａ）の同期タイミング４０１で開始した撮像動作が完了したか否か、つまり第一撮像素子１０５の全水平ラインの露光が完了したか否か判定する。そして、第一撮像素子１０５の撮像動作が完了していないと判定（Ｎｏ）した場合、ＣＰＵ１３１は、Ｓ７０３に処理を進める。Ｓ７０３において、ＣＰＵ１３１は、次の同期信号の同期タイミング４０２を受信したか否か判定し、次の同期タイミング４０２を受信していない場合（Ｎｏ）にはＳ７０２に処理を戻し、一方、受信した場合（Ｙｅｓ）にはＳ３０４に処理を戻す。

Ｓ７０３で例えば同期タイミング４０２が受信されたと判定されてＳ３０４に戻った場合、ＣＰＵ１３１は、第二撮像素子１０６を図７（ａ）の第二リセットタイミング７３１でグローバル電子シャッタ駆動させる制御を行う。これにより、次のＳ７０１では、前述したように図７（ｂ）に示した第五画像７１１が生成されることになる。そして、次のＳ７０２において、ＣＰＵ１３１は、第一撮像素子１０５の撮像動作が完了したか否か判定することになる。図７（ａ）の例の場合は、同期タイミング４０２の後、更に次の同期タイミングが受信される前に、第一撮像素子１０５の撮像動作が完了する。したがって、第一撮像素子１０５の撮像動作が完了すると、ＣＰＵ１３１は、その後、Ｓ３０７に処理を進める。なお、第一撮像素子１０５の撮像動作が完了する前に、複数回同期タイミングが受信される場合には、同期タイミングが受信される毎にＳ３０４、Ｓ７０１、Ｓ７０２、Ｓ７０３の各処理が繰り返されることになる。

Ｓ３０７の処理に進むと、第二の実施形態の場合は図８（ｂ）のフローチャートの処理が行われる。図８（ｂ）の処理は、ＣＰＵ１３１による制御の下、映像信号処理部１２１により行われる。
先ず、図８（ｂ）のフローチャートのＳ６０１において、映像信号処理部１２１は、前述の図６のフローチャートの場合と同様に、第二画像５０２を拡大して第三画像５０３を生成する。そして、第三画像５０３は、メモリ１３２に一時的に記憶される。第二の実施形態の場合、Ｓ６０１の後、映像信号処理部１２１は、Ｓ７２１に処理を進める。

次のＳ７２１において、映像信号処理部１２１は、第五画像７１１を拡大処理して、第六画像７１２を生成する。そして、第六画像７１２は、メモリ１３２に一時的に記憶される。なお、第一撮像素子１０５の撮像動作が完了する前に、複数回同期タイミングが受信されて第五画像７１１が複数取得された場合には、それら複数の第五画像７１１の各画像に対してそれぞれ拡大処理が行われて、複数の第六画像７１２が生成されることになる。これ以降は、複数の第五画像７１１（以下、第五画像群とする。）が取得され、さらに複数の第六画像７１２（以下、第六画像群とする。）が生成されている例を用いて説明を行う。Ｓ７２１の後、映像信号処理部１２１は、Ｓ７２２に処理を進める。

Ｓ７２２において、映像信号処理部１２１は、ＣＰＵ１３１による制御の下でメモリ１３２から第一画像５０１と第三画像５０３と第六画像群を読み出す。そして、映像信号処理部１２１は、第三画像５０３と第六画像群の中から、第一画像５０１と時間的に近い画像を選択する。さらに、映像信号処理部１２１は、その選択した画像と第一画像５０１とについて水平ライン毎にそれぞれ同位置の画素値を比較し、その比較結果としてそれら各画素値の差分を算出する。

その後、Ｓ６０３において、映像信号処理部１２１は、第一画像５０１の各画素のうち、Ｓ７２２で求めた画素値の差分が所定の閾値以上となっている画素を判定する。そして、映像信号処理部１２１は、第一画像５０１の各画素のうち、Ｓ７２２で求めた画素値の差分が所定の閾値以上となっている画素にはローリングシャッタ歪みが生じていると判定（Ｙｅｓ）し、Ｓ７２３に処理を進める。なお、Ｓ６０３において、画素値の差分が所定の閾値未満である場合（Ｎｏ）、映像信号処理部１２１は、Ｓ６０６に処理を進める。

Ｓ７２３に進むと、映像信号処理部１２１は、Ｓ６０３において第一画像５０１の水平ラインの中で差分が所定値以上と判定されて特定された画素について、Ｓ７２２で選択された画像の中で画素値が一致する画素の位置を求める。そして、映像信号処理部１２１は、その位置までの距離と方向に相当する情報を補正量として算出する。

そして、次のＳ７２４において、映像信号処理部１２１は、Ｓ７２３で算出した補正量に基づき、第一画像５０１の該当する画素の位置をずらすような補正処理を行う。また、第一画像５０１の画素位置をずらしたことで生じた空き領域の画素位置には、Ｓ７２２で選択された画像の同位置の画素を入れるような補間処理を行う。これにより、第一画像５０１のローリングシャッタ歪みが補正された第四画像５０４が生成されることになる。この第四画像５０４は、ＣＰＵ１３１の制御の下、メモリ１３２のＶＲＡＭに記憶される。

次のＳ６０６の処理は前述同様であり、映像信号処理部１２１は、Ｓ６０６において、第一画像５０１の全水平ラインの画素について処理が完了した場合（Ｙｅｓ）、図８（ｂ）のフローチャートの処理を終了する。そして、ＣＰＵ１３１は、図８（ａ）のＳ３０８に処理を進める。Ｓ３０８、Ｓ３０９の処理は、前述同様であるためその説明は省略する。

前述したように、第二の実施形態では、第一撮像素子１０５のローリングシャッタ駆動における露光時間が長い場合も、第一撮像素子１０５と露光時間が重なるようにして、第二撮像素子１０６でグローバル電子シャッタ駆動による複数回の撮像を行う。第二の実施形態によれば、第二撮像素子１０６のグローバル電子シャッタ駆動による複数の撮像画像を基に、第一撮像素子１０５のローリングシャッタ駆動による撮像画像に生ずるローリングシャッタ歪みを補正する。これにより、第二の実施形態のカメラ１００においても、ローリングシャッタ歪みの少ない高品質な画像を生成することが可能となる。

＜第三の実施形態＞
以下、第三の実施形態について説明する。第三の実施形態のカメラ１００の構成は、第一の実施形態と略々同様である。第三の実施形態では、第一撮像素子１０５で取得された第一画像５０１のデータを記録媒体１７３に記録する場合、前述したローリングシャッタ歪みの補正量と画素補間に用いる画素値の情報を、第一画像５０１の付帯情報として付加して記録しておく。これにより、第三の実施形態では、記録媒体１７３から読み出された第一画像５０１に対し、ローリングシャッタ歪みの補正を可能とする。

図９（ａ）は、第三の実施形態のカメラ１００において画像を撮影して記録媒体１７３に記録するまでの処理の流れを示すフローチャートである。また、図９（ｂ）は、図９（ａ）のＳ３０７で行われるローリングシャッタ歪み補正量及び補間画素の生成と付帯情報の生成の処理の詳細なフローチャートである。図９（ａ）、図９（ｂ）において、前述の図３、図６のフローチャートと同じ処理には図３、図６と同じ参照符号を付して、それらの詳細な説明は省略する。

図９（ａ）のフローチャートでは、Ｓ３０１からＳ３０６までの処理は前述の図３のフローチャートと同様である。第３の実施形態の場合、Ｓ３０７において、ＣＰＵ１３１は、映像信号処理部１２１を制御してローリングシャッタ歪みの補正量を算出させ、その補正量の情報をメモリ１３２に一時的に記憶させる。また、ＣＰＵ１３１は、ローリングシャッタ歪みの補正の際に第一画像５０１の画素位置がずらされることで生じる空き領域の画素位置に補間する補間画素についても映像信号処理部１２１に生成させ、その補間画素のデータもメモリ１３２に一時記憶させる。

第三の実施形態の場合、図９（ａ）のＳ３０７の処理の詳細を示す図９（ｂ）のフローチャートのＳ６０４において、ＣＰＵ１３１は、映像信号処理部１２１にローリングシャッタ歪みの補正量だけでなく、前述した補間画素の情報をも算出させせる。そして、Ｓ８１１において、ＣＰＵ１３１は、映像信号処理部１２１にて生成されたローリングシャッタ歪みの補正量と補間画素の情報を、メモリ１３２に一時的に記憶させる。なお、図９（ｂ）のＳ６０１からＳ６０４までの処理、及びＳ６０６の処理は前述の図６のフローチャートと同様である。

また、第三の実施形態の場合、図９（ａ）のＳ８０１において、ＣＰＵ１３１は、映像信号処理部１２１による処理後の第一画像５０１のデータをメモリ１３２のＶＲＡＭへ記憶させ、例えば表示部１５３に表示させる。なお、第三の実施形態の場合、第一画像５０１のローリングシャッタ歪み補正は行っていないため、表示部１５３には、第一画像５０１がそのまま表示される。

次に、Ｓ８０２において、ＣＰＵ１３１は、メモリ１３２に記憶されている補正量と補間画素の情報を、第一画像５０１の付帯情報として付加する。そして、次のＳ８０３において、ＣＰＵ１３１は、Ｓ８０２で補正量と補間画素の情報が付帯情報として付加された第一画像５０１のデータを、カード入出力部１７１を介して記録媒体１７３に記録させる。

第三の実施形態では、不図示のＰＣ（パーソナルコンピュータ）等の外部機器において、記録媒体１７３から第一画像５０１を再生表示する際、付帯情報として付加されている補正量と補間画素の情報を基にローリングシャッタ歪みを補正することができる。この場合、外部機器には、前述した図６のＳ６０５や図８（ｂ）のＳ７２４の処理に対応したプログラムを含む画像処理アプリケーションプログラムを予めインストールしておくことが望ましい。したがって、外部機器では、この画像処理アプリケーションプログラムを実行することにより、ローリングシャッタ歪みの補正処理を実現できる。すなわち、第三の実施形態の場合、ＰＣ等の外部機器が本発明に係るプログラムを実行することにより前述の実施形態と同様の画像処理を行う。第三の実施形態の場合、画像処理装置である外部機器は、記録媒体１７３から第一画像５０１と付帯情報を取得し、付帯情報の補正量を基に第一画像５０１内の特定の画素をずらし、その画素がずらされた後の空き領域に対して補間画素を用いた補間を行う。

第三の実施形態によれば、本実施形態のカメラ１００により撮像されて記録媒体１７３に記録された画像を外部機器により再生表示する場合でも、ローリングシャッタ歪みが補正された高品質な画像の再生表示が可能となる。また第三の実施形態の場合、連写等で大量の画像が撮影された場合や、撮影時の時間制約、メモリ１３２の容量制約等で、カメラ１００側でローリングシャッタ歪みの補正処理を行えない場合でも、ＰＣ等での後処理により補正が可能となる。また第三の実施形態では、記録媒体１７３には第一画像５０１と付帯情報のみが記録されるため、例えば第一画像５０１のローリングシャッタ歪み補正のために第三画像５０３等を記録媒体１７３に記録しておく場合よりも記録ファイルサイズを小さくできる。

＜その他の実施形態＞
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
前述の実施形態では、一つのレンズ系を介して二つの撮像素子に同被写体の光学像を形成する例を挙げたが、二つの撮像素子にそれぞれ対応した別のレンズ系を備え、二つの撮像素子に同被写体の光学像を形成する構成にも本発明は適用可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：カメラ、１０５：第一撮像素子、１０６：第二撮像素子、１２１：映像信号処理部、１３１：ＣＰＵ、１３２：メモリ、１４２：タイミング発生部、１７１：カード入出力部、１７３：記録媒体、１８０：第一撮像制御部、１８１：第二撮像制御部

Claims (13)

1. 光学系により形成される同光学像を撮像可能に配置された第一の撮像素子及び第二の撮像素子と、
   前記第一の撮像素子をローリングシャッタ駆動させ、前記第二の撮像素子をグローバル電子シャッタ駆動させる制御手段と、
   前記第一の撮像素子により撮像された第一の画像を補正する補正手段と、を有し、
   前記制御手段は、前記第一の撮像素子と前記第二の撮像素子との露光時間が重なるように、前記第一の撮像素子と前記第二の撮像素子を制御し、
   前記補正手段は、前記第一の撮像素子にて撮像された第一の画像を、前記第二の撮像素子にて撮像された第二の画像に基づいて補正することを特徴とする撮像装置。
2. 前記制御手段は、
   前記第一の撮像素子に対しては、所定の同期信号のタイミングで電荷のリセットと各水平ライン順の電荷の蓄積とを開始する制御を行い、
   前記第二の撮像素子に対しては、前記第一の撮像素子で前記電荷がリセットされたタイミングより後で、前記第一の撮像素子の最終水平ラインの電荷の蓄積が開始されるタイミングよりも時間的に前のタイミングで、前記第二の撮像素子の電荷のリセットと全ての水平ラインを一括して露光する制御を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記第一の撮像素子の画素数は、前記第二の撮像素子の画素数よりも多いことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記補正手段は、
   前記第二の画像を前記第一の画像と同画素数に拡大して第三の画像を生成し、
   前記第一の画像と前記第三の画像とを水平ライン毎に比較した比較結果に基づいて前記第一の画像の中で画素を特定して、前記特定した画素をずらす補正量を求め、
   前記第一の画像の中で前記特定した画素を前記補正量だけずらし、前記画素をずらした後の前記第一の画像の空き領域を前記第三の画像の画素を用いて補間することを特徴とする請求項３に記載の撮像装置。
5. 前記補正手段は、前記第一の画像と前記第三の画像の水平ライン毎に同位置の画素値の差分を求め、前記差分が所定の閾値以上の画素を前記特定した画素とすることを特徴とする請求項４に記載の撮像装置。
6. 前記補正手段は、前記第一の画像の前記特定された画素に対して、前記第三の画像の中で画素値が一致する画素の位置を求め、前記第三の画像の前記画素値が一致する画素に相当する位置まで、前記第一の画素の中で前記特定した画素をずらす前記補正量を算出することを特徴とする請求項５に記載の撮像装置。
7. 前記補正量と前記第一の画像の空き領域を補間する画素とを、付帯情報として前記第一の画像に付加することを特徴とする請求項４から６の何れか１項に記載の撮像装置。
8. 前記第一の撮像素子と前記露光時間が重なるようにして前記第二の撮像素子により撮像された前記第二の画像が複数ある場合、前記補正手段は、前記複数の第二の画像のうち、前記第一の画像と時間的に近い第二の画像を使用して、前記第一の画像の前記補正を行うことを特徴とする請求項１から７の何れか１項に記載の撮像装置。
9. 光学系により形成される同光学像を撮像可能に配置された第一の撮像素子及び第二の撮像素子を有する撮像装置の制御方法であって、
   前記第一の撮像素子と前記第二の撮像素子との露光時間が重なるようにして、前記第一の撮像素子をローリングシャッタ駆動させると共に、前記第二の撮像素子をグローバル電子シャッタ駆動させる制御工程と、
   前記第一の撮像素子により撮像された第一の画像を、前記第二の撮像素子により撮像された第二の画像に基づいて補正する補正工程と、
   を有することを特徴とする撮像装置の制御方法。
10. 光学系により形成される同光学像を撮像可能に配置された第一の撮像素子及び第二の撮像素子を具備する撮像装置が有するコンピュータを、請求項１から８の何れか１項に記載の撮像装置の各手段として機能させるためのプログラム。
11. 画像の中で特定の画素をずらす補正量と、前記画像の中で前記画素がずらされた後の空き領域を補間する補間画素とを含む情報が、付帯情報として付加された前記画像を取得する取得手段と、
    前記画像に付加された付帯情報の前記補正量に基づいて前記特定の画像をずらし、前記画素がずらされた後の空き領域に対して前記補間画素を用いた補間を行う補正手段と、
    を有することを特徴とする画像処理装置。
12. 画像の中で特定の画素をずらす補正量と、前記画像の中で前記画素がずらされた後の空き領域に補間する補間画素とを含む情報が、付帯情報として付加された前記画像を取得する取得工程と、
    前記画像に付加された付帯情報の前記補正量に基づいて前記特定の画像をずらし、前記画素がずらされた後の空き領域に対して前記補間画素を用いた補間を行う補正工程と、
    を有することを特徴とする画像処理装置の画像処理方法。
13. コンピュータを、請求項１１に記載の画像処理装置の各手段として機能させるためのプログラム。

Images