JP2015053625A - 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】撮影タイミングが難しい撮影シーンにおいても所望の画像を容易に取得可能な撮像装置を提供する。
【解決手段】撮像装置は、一つのマイクロレンズを共有する複数の光電変換部と、複数の光電変換部に対応して設けられ、複数の光電変換部で蓄積された電荷を保存する複数の記憶部と、複数の光電変換部をそれぞれ独立に制御する制御部とを有し、制御部は、複数の光電変換部による電荷の蓄積時間を互いに同一に設定し、かつ、複数の光電変換部による電荷の蓄積開始時間を互いに異なるように設定する。
【選択図】図１１

Description

本発明は、撮像とともに焦点検出可能な撮像素子を備えた撮像装置に関する。

銀塩カメラの時代から夏の風物詩である打ち上げ花火の撮影が毎年多く行われている。一方、撮像素子の画素をレンズの異なる瞳面の光を受光するように構成することにより、撮像と同時に位相差方式の焦点検出を行う撮像素子が知られている。

特許文献１および特許文献２には、１つのマイクロレンズに対応するフォトダイオードを分割することにより、レンズの異なる瞳面の光を受光するように構成された複数のフォトダイオードが開示されている。２つのフォトダイオードの出力信号を比較することにより、焦点検出を行うことが可能である。特許文献３には、同一のマイクロレンズを共有する複数のフォトダイオードの蓄積時間を互いに異ならせることにより、ダイナミックレンジを拡大する構成が開示されている。

特開２００１−０８３４０７号公報 特開２００１−２５０９３１号公報 特開２００２−１９９２８４号公報

例えば打ち上げ花火を撮影する際、火薬玉が打ち上がる軌跡から花火が開くまでを撮影するため、長秒蓄積を行うことが一般的である。このとき、いつ火薬玉が打ち上げられ、どの高さ、どのタイミングで花火が開くかユーザは分からないことが多いため、撮影に失敗する可能性が高い。また、一度レリーズボタンを押すと、その撮影が終了するまで次の撮影を行うことができないため、撮影のタイミングが難しい。また、その他の手法として、バルブ撮影によって打ち上げられてから花火が開くまでの期間に露光する手法が考えられるが、この手法では熟練していないと花火の露光がオーバーとなってしまう。

そこで本発明は、撮影タイミングが難しい撮影シーンにおいても所望の画像を容易に取得可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供する。

本発明の一側面としての撮像装置は、一つのマイクロレンズを共有する複数の光電変換部と、前記複数の光電変換部に対応して設けられ、該複数の光電変換部で蓄積された電荷を保存する複数の記憶部と、前記複数の光電変換部をそれぞれ独立に制御する制御部とを有し、前記制御部は、前記複数の光電変換部による前記電荷の蓄積時間を互いに同一に設定し、かつ、該複数の光電変換部による該電荷の蓄積開始時間を互いに異なるように設定する。

本発明の他の側面としての撮像システムは、撮影光学系を備えたレンズ装置と、前記撮像装置とを有する。

本発明の他の側面としての撮像装置の制御方法は、一つのマイクロレンズを共有する複数の光電変換部と、前記複数の光電変換部に対応して設けられ、該複数の光電変換部で蓄積された電荷を保存する複数の記憶部と、前記複数の光電変換部をそれぞれ独立に制御する制御部とを有する撮像装置の制御方法であって、前記複数の光電変換部による前記電荷の蓄積時間を互いに同一に設定し、かつ、該複数の光電変換部による該電荷の蓄積開始時間を互いに異なるように設定するステップと、前記複数の光電変換部に蓄積された前記電荷のそれぞれを読み出すステップと、読み出された前記電荷を保存するステップとを有する。

本発明の他の側面としてのプログラムは、コンピュータに、前記撮像装置の制御方法を実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、撮影タイミングが難しい撮影シーンにおいても所望の画像を容易に取得可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

各実施例における撮像装置のブロック図である。 各実施例における撮像素子の画素構成図である。 各実施例における撮像素子の単位画素の等価回路図である。 各実施例における撮像素子の全体構成を示すブロック図である。 各実施例における撮像素子の列回路の１列分の等価回路図である。 各実施例における撮像装置の通常動作における蓄積時のタイミングチャートである。 各実施例における撮像装置の読み出し動作時のタイミングチャートである。 各実施例における撮像装置の通常動作の模式図である。 実施例１における撮像装置の動作を示すフローチャートである。 実施例１において、各パラメータ設定画面の一例である。 実施例１における撮像装置の花火モードでの蓄積時のタイミングチャートである。 実施例２における撮像装置の花火モードの模式図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本発明の実施例１における撮像装置について説明する。図１は、本実施例における撮像装置１００のブロック図である。図１に示されるように、撮像装置１００は、レンズや絞りを含む光学系１（撮影光学系）および撮像素子２を備えている。なお本実施例の撮像装置１００は、光学系１と、撮像素子２を備えた撮像装置本体とが一体的に構成されているが、これに限定されるものではない。本実施例は、撮像装置本体と、撮像装置本体に着脱可能な光学系（撮影光学系を有するレンズ装置）とを備えて構成される撮像システムにも適用可能である。

ＣＤＳ回路３は、撮像素子２からのアナログ信号（画像信号）の処理を行う。Ａ／Ｄ変換器４は、アナログ信号の画像データをデジタル信号に変換する。タイミング信号発生回路６は、ＣＤＳ回路３、Ａ／Ｄ変換器４、および、駆動回路５を動作させる信号を発生する。駆動回路５は、光学系１および撮像素子２を駆動する。

画像メモリ８は、撮影した画像データ（画像信号）を一時的に記憶する。信号処理回路７は、ホワイトバランス補正やガンマ補正などの各種信号処理を行う。記憶媒体９は、信号処理回路７により処理された画像データを、記録回路１０を介して保存する。画像表示装置１１（画像表示部）は、信号処理された画像データを、表示回路１２を介して表示する。すなわち画像表示装置１１は、複数の単位光電変換部３２から得られた複数の画像データを表示する。

システム制御部１３（制御部）は、撮像装置１００の全体を制御するＣＰＵなどを備えて構成される。またシステム制御部１３は、複数の単位光電変換部３２を独立に制御可能である。後述のように、システム制御部１３は、複数の単位光電変換部３２から独立して得られた信号に基づいて焦点検出処理を行う。またシステム制御部１３は、複数の単位光電変換部３２の加算信号に基づいて撮影画像を生成するように制御する。

ＲＯＭ１４は、システム制御部１３により実行される制御方法をシステム制御部１３（コンピュータ）に実行させるプログラムや、プログラムを実行する際に使用されるパラメータやテーブルなどの制御データを記憶する。ＲＡＭ１５は、ＲＯＭ１４に記憶されたプログラム、制御データおよび補正データを転送して記憶する。これらは、システム制御部１３が撮像装置１００を制御する際に用いられる。

続いて、図２を参照して、撮像素子２の画素構成について説明する。図２は、撮像素子２の画素構成図である。図２において、実線で区切られた四角形と円は、単位画素３０とマイクロレンズＭＬをそれぞれ示している。図２において、４行×４列の単位画素３０が示されているが、実際には数千行×数千列の単位画素３０を設けて実用的な解像度を得る。

撮像素子２は、画素上にＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）およびＢ（Ｂｌｕｅ）のそれぞれの波長帯域を透過するカラーフィルタが設けられたＲ画素、Ｇ画素、Ｂ画素を有する。そして図２に示されるように、Ｒ画素、Ｇ画素、Ｂ画素をベイヤー状に配置する。また単位画素３０ごとに１つのマイクロレンズＭＬが設けられている。各画素は、点線で示されるように、２×２の４つの単位光電変換部３２（光電変換部）に分割されている。すなわち本実施例において、４つの単位光電変換部３２は、１つのマイクロレンズＭＬを共有するように設けられている。本実施例では、４つに分割された単位光電変換部３２を含む１つのマイクロレンズＭＬ単位の画素を単位画素３０という。また、１つのマイクロレンズＭＬ内の分割された単位光電変換部３２を、左上、右上、左下、右下と数えて、それぞれ、Ａ画素、Ｂ画素、Ｃ画素、Ｄ画素という。また、それぞれの単位光電変換部を区別しない場合、そのまま単位光電変換部３２という。なお本実施例では、１画素当たりの分割数は４つであるが、これに限定されるものではなく、他の分割数であってもよい。

続いて、図３を参照して、撮像素子２の単位画素３０の回路について説明する。図３は、撮像素子２の単位画素３０の等価回路図である。図２に示されるように、撮像素子２の単位画素３０は、フォトダイオード３０１（ＰＤ３０１）、画素メモリ３０３（ＭＥＭ３０３）、転送スイッチ３０２、および、読み出しスイッチ３０４を有する４つの単位光電変換部３２を備えている。また単位画素３０は、４つの単位光電変換部３２で共通に有するリセットスイッチ３０５、フローティングデフュージョン３０６（ＦＤ３０６）、ソースフォロワトランジスタ３０７（ＳＦ３０７）、および、セレクトスイッチ３０８を備えている。

ＰＤ３０１は、撮像レンズ（光学系１）により結像された光を受け、電荷を発生させて蓄積する。転送スイッチ３０２は、ＭＯＳトランジスタで構成されており、ゲートに入力される転送信号ＰＴＸによりスイッチング動作を行う。ＭＥＭ３０３は、転送スイッチ３０２を介して、ＰＤ３０１に蓄積された電荷を記憶する。すなわちＭＥＭ３０３（複数の記憶部）は、複数の単位光電変換部３２に対応して設けられ、複数の単位光電変換部３２で蓄積された電荷を保存する。読み出しスイッチ３０４は、転送スイッチ３０２と同様に、ＭＯＳトランジスタで構成されており、ゲートに入力される読み出し信号ＰＲＥＡＤによりスイッチング動作を行う。

ＦＤ３０６は、ＭＥＭ３０３に記憶された電荷を、読み出しスイッチ３０４を介してＦＤ３０６に転送して、電荷を電圧に変換する。変換された電圧は、ＳＦ３０７と垂直信号線３０９に接続されている定電流源（不図示）とで形成されるソースフォロワ回路によって増幅され、垂直信号線３０９に出力される。セレクトスイッチ３０８は、ゲートに接続されたセレクト信号ＰＳＥＬによりスイッチング動作を行う。セレクト信号ＰＳＥＬによりセレクトスイッチ３０８がオン状態になると、一行分の単位画素３０を一括して垂直信号線３０９に信号（画素信号）を出力する。リセットスイッチ３０５は、ＦＤ３０６、ＭＥＭ３０３、および、ＰＤ３０１を電圧ＶＤＤにリセットする。

続いて、図４を参照して、撮像素子２の全体構成について説明する。図４は、撮像素子２の全体構成を示すブロック図である。図４において、点線で示される４０２は単位画素（単位画素３０に相当）であり、４×３単位画素分が示されている。ただし前述のように、撮像素子２は、実際には数千×数千単位画素で構成されている。

垂直シフトレジスタ４０１（ＶＳＲ４０１）は、リセット信号ＰＲＥＳ、転送信号ＰＴＸ、読み出し信号ＰＲＥＡＤ、および、セレクト信号ＰＳＥＬなどの信号を各単位画素４０２に入力する。単位画素４０２の構成は、図３を参照して説明したとおりである。電流源４０４は、各列の垂直信号線４０３（図３中の垂直信号線３０９に相当）に接続される。列回路４０５は、各列に接続されている垂直信号線４０３上の画素信号を入力し、画素信号をＳ水平転送スイッチ４０６およびＳチャンネル線４１３を介して、差動増幅器４０８へ出力する。また列回路４０５は、ノイズ信号をＮ水平転送スイッチ４０７およびＮチャンネル線４１２を介して、差動増幅器４０８へ出力する。

水平シフトレジスタ４１１（ＨＳＲ４１１）は、水平転送信号ＰＨにより、Ｓ水平転送スイッチ４０６およびＮ水平転送スイッチ４０７のオン／オフを制御する。差動増幅器４０８は、画素信号とノイズ信号との差分を出力する。チャンネルリセットスイッチ４０９、４１０は、ゲートに接続されているチャンネルリセット信号ＰＣＨＲによって動作する。チャンネルリセットスイッチ４０９、４１０がオン状態である場合、Ｓチャンネル線４１３およびＮチャンネル線４１２は、電圧ＶＣＨＲにリセットされる。

図３に示される転送スイッチ３０２のゲートは、横方向に延長して配置される転送信号ＰＴＸに接続される。ここで、ＰＴＸは行ごとに４つあり、単位光電変換部ごとに、Ａ画素はＰＴＸ＿Ａ、Ｂ画素はＰＴＸ＿Ｂ、Ｃ画素はＰＴＸ＿Ｃ、Ｄ画素はＰＴＸ＿Ｄに接続され、それぞれ独立に制御可能である。同じ行に配置された転送スイッチ３０２のゲートは、対応する単位光電変換部ごとにそれぞれ共通に接続される。なお、単位光電変換部に独立に制御を行うその他の信号名やスイッチなどにおいても、語尾に「＿Ａ」と付されている要素は、Ａ画素に関連する要素を示している。また、単位光電変換部ごとに区別しない信号やスイッチなどの場合、語尾の「＿Ａ」などは省略される。

図３に示される読み出しスイッチ３０４のゲートは、横方向に延長して配置される読み出し信号ＰＲＥＡＤに接続される。読み出し信号ＰＲＥＡＤも、転送信号ＰＴＸと同様に、各行に４つあり、単位光電変換部ごとに接続されており、それぞれ独立に制御可能である。同じ行に配置された他の同様な読み出しスイッチ３０４のゲートも、対応する単位光電変換部ごとにそれぞれ共通に接続される。

図３に示されるリセットスイッチ３０５のゲートは、横方向に延長して配置されるリセット信号ＰＲＥＳに接続される。リセット信号ＰＲＥＳは、単位画素ごとに１つ接続され、同じ行に配置された他の同様のリセットスイッチ３０５のゲートもそれぞれ共通に接続される。図３に示されるセレクトスイッチ３０８のゲートは、横方向に延長して配置されるセレクト信号ＰＳＥＬに接続される。セレクト信号ＰＳＥＬは、単位画素ごとに１つ接続され、同じ行に配置された他の同様のセレクトスイッチ３０８のゲートもそれぞれ共通に接続される。

各信号ＰＴＸ、ＰＲＥＡＤ、ＰＲＥＳ、ＰＳＥＬは、垂直シフトレジスタ４０１に接続されて駆動される。図４に示されている残りの行においても、同様に構成される。なお、図４のＶＳＲブロックに示される各信号名の後の括弧内の文字は行番号を示し、ＶＳＲブロックに示す信号名の後の括弧内の文字は列番号を示す。例えば、ＰＴＸ＿Ａ（ｎ）はｎ行目のＡ画素の転送信号である。セレクトスイッチ３０８のソースには、縦方向に延長して配置される垂直信号線３０９（図４中の４０３）に接続される。同じ列に配置される光電変換部の同様のセレクトスイッチ３０８のソースも、同様に接続される。

続いて、図５を参照して、撮像素子２の列回路４０５の回路について説明する。図５は、列回路４０５の１列分の等価回路図である。図５に示される回路は、列数分（水平方向の単位画素数分）だけあり、図４における各垂直信号線４０３には端子Ｃｉｎが接続される。列回路４０５は、列アンプ５０１、列アンプリセットスイッチ５０２、Ｎ読みスイッチ５０３、Ｓ読みスイッチ５０４、クランプ容量５０５、ゲイン容量５０６、Ｎ容量５０７、および、Ｓ容量５０８を備えて構成されている。

列アンプ５０１は、クランプ容量５０５とゲイン容量５０６の比に応じた増幅率で、垂直出力線より読み出された信号を増幅する。列アンプリセットスイッチ５０２は、列アンプ５０１の入出力間をショートさせ、列アンプ５０１およびクランプ容量５０５をリセットするためのスイッチとして機能し、列アンプリセット信号ＰＣ０Ｒにより駆動される。Ｎ容量５０７は画素のノイズ信号を記憶し、Ｓ容量５０８は画素信号を記憶する。画素のノイズ信号を出力する端子ＣＮｏｕｔは、図４に示されるＮ水平転送スイッチ４０７に接続され、端子ＣＳｏｕｔはＳ水平転送スイッチ４０６に接続される。

続いて、図６を参照して、撮像装置１００の通常動作（通常撮影時および焦点検出時）について説明する。図６は、通常撮影時および焦点検出時（通常動作時）における画素部の一括リセット、蓄積、画素メモリ転送までのタイミングチャートである。まず、蓄積に先立ち、全単位光電変換部に対応する転送信号ＰＴＸおよび読み出し信号ＰＲＥＡＤをハイにして、図３に示される転送スイッチ３０２および読み出しスイッチ３０４をオンにする。その状態でリセット信号ＰＲＥＳをハイにして、ＰＤ３０１、ＭＥＭ３０３、および、ＦＤ３０６をリセットする。次いで、転送信号ＰＴＸを立ち下げ、ＰＤ３０１にて蓄積を開始する。所望の蓄積期間が経って読み出し信号ＰＲＥＡＤを立ち下げた後、転送信号ＰＴＸを立ち上げ、ＰＤ３０１で光電変換により蓄積された電荷をＭＥＭ３０３に転送する。

続いて、図７を参照して、画素メモリ（ＭＥＭ３０３）に記憶された各単位光電変換部の信号の読み出し動作について説明する。図７は、画素メモリ（ＭＥＭ３０３）の電荷を撮像素子２から外部へ出力するまでの読み出し駆動のタイミングチャートである。全体の流れとして、全Ａ画素の１行目から最終行まで順次読み出した後、全Ｂ画素の１行目から最終行まで順次読み出し、同様に全Ｃ画素、全Ｄ画素という順で読みしていく。

まず、ＭＥＭ＿Ａ３０３に記憶された光信号電荷の読み出しに先立って、ＶＳＲ４０１の制御によりＰＲＥＳがハイとなる。これにより、ＳＦ３０７のゲートがリセット電圧ＶＤＤにリセットされる。そして、ＰＲＥＳがローに復帰すると同時に列アンプリセットスイッチ５０２に接続されるＰＣ０Ｒがハイになった後、ＰＳＥＬがハイとなる。これにより、リセット時に生じるノイズが重畳された信号（ノイズ信号）が垂直信号線４０３に読み出され、各列のクランプ容量５０５にクランプされる。次に、ＰＣ０Ｒがローに復帰した後、Ｎ読みスイッチ５０３に接続されたＰＴＮがハイとなり、各列に設けられたＮ容量５０７にノイズ信号が保持される。

次に、Ｓ読みスイッチ５０４に接続されたＰＴＳをハイにした後、ＰＲＥＡＤ＿Ａがハイとなり、ＭＥＭ＿Ａ３０３の光信号電荷が、ＳＦ３０７のゲートに転送されると同時に光信号が垂直信号線４０３に読み出される。続いてＰＲＥＡＤ＿Ａがローに復帰した後、ＰＴＳがローとなる。これによって、ノイズ信号からの変化分（光信号）が各列に設けられたＳ容量５０８に読み出される。ここまでの動作で、第１行目のＡ画素の光信号がそれぞれの列に接続されたＮ容量５０７、Ｓ容量５０８に保持される。

その後、ＨＳＲ４１１から供給される水平転送信号ＰＨにより、各列のＳ水平転送スイッチ４０６およびＮ水平転送スイッチ４０７のゲート部に接続される水平転送信号ＰＨ（ＰＨ（１）、ＰＨ（２）、ＰＨ（３）、…）が順次ハイレベルとなる。Ｎ容量５０７およびＳ容量５０８に保持された電圧は、順次、各チャンネル線に読み出され、差動増幅器４０８（出力アンプ）で差分処理されて出力端子ＯＵＴに順次出力される。各列の信号読み出しの合間でリセットスイッチによって各チャンネル線がリセット電圧ＶＣＨＲにリセットされる。以上により、Ａ画素の第１行目に接続された画素の読み出しが完了する。以下同様に、垂直シフトレジスタ４０１からの信号により第２行目以降に接続された光電変換部の信号が順次読み出され、全Ａ画素の信号の読み出しが完了する。次いで、同様にＢ画素、Ｃ画素、Ｄ画素と読み出していく。

以上が、本実施例における撮像素子２を備えた撮像装置１００の基本的な動作である。本実施例の撮像素子２は、１単位画素当たり２×２の単位光電変換部を配する構成になっている。各単位光電変換部で蓄積された電荷をそれぞれ読み出しており、１単位画素当たり４つの信号データを保持する。４つの単位光電変換部からの出力信号の比較を行うことにより、撮影素子２での焦点検出が可能となる。また、４つの光電変換部からの出力信号を加算することにより、撮影画像の信号（撮像信号）を得ることもできる。この信号（信号データ）は、信号処理回路７で処理され、画像として表示回路１２で表示され、または、記憶媒体９に書き込まれる。信号データを全て記憶媒体９に書き込み、ＰＣなどで画像処理を行ってもよい。

図８は、図６および図７を参照して説明した通常撮影時および焦点検出時の撮像素子２の駆動タイミングチャートの模式図である。大まかな流れとして、全単位光電変換部を一括リセットし、蓄積を行い、一括画素メモリ転送を行った後、Ａ画素、Ｂ画素、Ｃ画素、Ｄ画素と読み出していく。

次に、本実施例における撮像素子２の駆動方法（撮像装置１００の制御方法）について具体的に説明する。本実施例において、打ち上げ花火などの撮影タイミングがシビアな撮影において使用するモードを花火モード、通常使用するモードを通常撮影モード、焦点検出に使用するモードを焦点検出モードとする。図９は、撮像装置１００の各モードにおける動作を示すフローチャートである。図９の各ステップは、主に、システム制御部１３の指令に基づいて実行される。

まずステップＳ１０において、システム制御部１３は、設定されているモードが花火モード、通常撮影モード、焦点検出モードのいずれであるかを判定する。通常撮影モードが設定されている場合、ステップＳ２１に進み、システム制御部１３は、ＩＳＯ感度、レンズの絞り値、露光時間Ｔ（ｓｅｃ）などを設定する。

続いてステップＳ２２において、システム制御部１３は、レリーズボタンが押下されたか否かを判定する。レリーズボタンが押下されていない場合、ステップＳ２２を繰り返す。一方、レリーズボタンが押下されると、ステップＳ２３に進み、図６を参照して説明したように蓄積を開始する。そして、設定された露光時間Ｔが経過すると、ステップＳ２４において、図７を参照して説明したように読み出し動作を行う。読み出された４つの画像信号（画素信号）は、ＣＤＳ回路３およびＡ／Ｄ変換器４を介して、信号処理回路７に入力される。そしてステップＳ２５において、信号処理回路７は、加算処理を含む画像処理を行う。続いてステップＳ２６において、信号処理回路７により処理された信号は、記録回路１０を介して記憶媒体９に保存され、本フローを終了する。

ステップＳ１０にて焦点検出モードが設定されている場合、通常撮影モードと同様に、ステップＳ３１、Ｓ３２において、図６および図７を参照して説明したように蓄積動作および読み出し動作を行う。撮像素子２により読み出された４つの画像信号（画素信号）は、ＣＤＳ回路３およびＡ／Ｄ変換器４を介して、信号処理回路７に入力される。続いてステップＳ３３において、信号処理回路７は入力された画像信号を比較することにより、焦点検出処理を行う。そしてステップＳ３４において、画像信号の比較の結果、合焦状態にあるか否かを判定する。合焦状態にない場合、ステップＳ３１に戻り、システム制御部１３はステップＳ３１〜Ｓ３４を繰り返す。一方、合焦状態である場合、本フローを終了する。なお、焦点検出処理の詳細に関しては従来技術と同様であるため、ここでの説明は省略する。

ステップＳ１０にて花火モードが設定されている場合、ステップＳ１１において、システム制御部１３は、ＩＳＯ感度、レンズの絞り値、露光時間Ｔ（ｓｅｃ）、撮影間隔ｔ（ｓｅｃ）、撮影枚数Ｎ（枚）などを設定する。本実施例において、露光時間Ｔ、撮影間隔ｔ、および、撮影枚数Ｎは、以下の式（１）で表される関係が成り立つように設定される。また撮影枚数Ｎは、ＰＤ（フォトダイオード）の分割数が上限となる。そしてステップＳ１２において、撮影枚数Ｎが１のとき、システム制御部１３は、花火モードを通常撮影モードに変更する。

式（１）の関係を満たす各パラメータに関して、例えば、以下の例のように、露光時間に応じて式（１）に対応する値をユーザが選択できるようにするとよい。または、式（１）の関係を満たすように、自動的に設定されるように構成してもよい。

図１０は、各パラメータ（露光時間Ｔ、撮影間隔ｔ、撮影枚数Ｎ）の設定画面の一例であり、Ｔ＝５、ｔ＝１、Ｎ＝４に設定するまでの画面の遷移を（Ａ）〜（Ｃ）の順に示している。まず、（Ａ）に示されるように露光時間Ｔを設定する。次いで、（Ｂ）に示されるように撮影間隔ｔを設定する。本実施例では、（Ａ）にて設定された露光時間Ｔに応じて、式（１）に当てはまる候補を表示し、その中から撮影間隔ｔを選択するように構成される。次いで、（Ｃ）に示されるように撮影枚数Ｎを設定する。ここでも同様に、（Ａ）、（Ｂ）で設定された露光時間Ｔおよび撮影間隔ｔに応じて、式（１）に当てはまる候補から撮影枚数Ｎを設定する。続いてステップＳ１３にてレリーズボタンが押下されると、ステップＳ１４において、システム制御部１３は、撮影間隔ｔでＮ枚の画像を蓄積する駆動を行う。

図１１は、ステップＳ１４にて実行される、一括リセットから蓄積、画素メモリ転送までのタイミングチャートである。ここでは、露光時間Ｔを５、撮影間隔ｔを１、撮影枚数Ｎを４と設定している。レリーズボタンが押下されると、蓄積に先立ち、全単位光電変換部に対応する転送信号ＰＴＸおよび読み出し信号ＰＲＥＡＤをハイにして、図３における転送スイッチ３０２および読み出しスイッチ３０４をオンにする。その状態で、リセット信号ＰＲＥＳをハイにして、ＰＤ３０１、ＭＥＭ３０３、および、ＦＤ３０６をリセットする。

次いで、転送信号ＰＴＸ＿Ａを立ち下げＰＤ＿Ａにおいて蓄積を開始する。ＰＤ＿Ａが蓄積を開始してから１ｓｅｃが経過するタイミングで、ＰＴＸ＿Ｂが立ち下がりＰＤ＿Ｂが蓄積を開始する。同様に、ＰＤ＿Ｂが蓄積を開始してから１ｓｅｃ経過するタイミングで、ＰＤ＿Ｃが蓄積を開始し、ＰＤ＿Ｃが蓄積を開始してから１ｓｅｃ経過するタイミングで、ＰＤ＿Ｄが蓄積を開始する。Ａ画素、Ｂ画素、Ｃ画素、Ｄ画素の蓄積時間がそれぞれ５ｓｅｃ経過すると、順次、対応する読み出し信号ＰＲＥＡＤを立ち下げた後、ＰＴＸを立ち上げることで、光電変換によりそれぞれＰＤ３０１で蓄積された電荷をＭＥＭ３０３に転送する。

このように、システム制御部１３は、複数の単位光電変換部３２による電荷の蓄積時間を互いに同一に設定し、かつ、複数の単位光電変換部３２による電荷の蓄積開始時間を互いに異なるように設定する。なお、同一とは、厳密に同一な場合だけでなく、実質的に同一の場合（略同一の場合）も含む意味である。好ましくは、システム制御部１３は、複数の単位光電変換部３２のうち第１の光電変換部による蓄積時間中に第２の光電変換部による電荷蓄積を開始する。第１の光電変換部は、単位光電変換部３２を構成するＡ画素、Ｂ画素、Ｃ画素、Ｄ画素のうち一つである。第２の光電変換部は、Ａ画素、Ｂ画素、Ｃ画素、Ｄ画素のうち他の一つである。また好ましくは、システム制御部１３は、所定の撮影モード（例えば花火モード）に設定されている場合、電荷の蓄積時間を互いに同一に設定し、かつ、電荷の蓄積開始時間を互いに異なるように設定する。

次いで、図９のステップＳ１５において、システム制御部１３は、読み出し動作を行う。すなわちシステム制御部１３は、複数の単位光電変換部３２による電荷の蓄積終了後に、複数の単位光電変換部３２のそれぞれから電荷を読み出す。読み出し動作は、通常撮影モードのステップＳ２４と同様に、図７を参照して説明したとおりである。読み出された４つの画像信号は、図１に示されるＣＤＳ３およびＡ／Ｄ変換器４を介して、信号処理回路７に入力される。そしてステップＳ１６において、信号処理回路７は画像処理を行い、処理後の画像信号は、記録回路１０を介して記憶媒体９に保存され、本フローは終了する。

本実施例のように撮像素子２の構成および駆動を行うことにより、通常の撮影や焦点検出を可能とする。また、露光開始時刻を露光時間より短い時間ずらしながら複数フレームの撮影を可能とすることにより、打ち上げ花火に代表される撮影タイミングがシビアなシーンにおいても、撮影が終わるのを待たずに、複数枚を記録することができる。そして、その中から好適な画像を選択することができるため、撮影の失敗を少なくすることが可能である。また、全ての画像の蓄積を終えてから信号の読み出しを開始することにより、読み出し駆動において生じる熱ノイズや駆動ノイズを低減することが可能となる。

また本実施例では、記憶媒体９に全ての画像を保存するように構成しているが、これに限定されるものではなく、画像メモリに一時的に記憶し、選択した画像を保存するように構成してもよい。このとき、システム制御部１３は、複数の画像データのうち、ユーザにより選択された画像データを記憶媒体９に記憶させる。またその際、画像の明るい順や暗い順などで表示できるようにし、選択する手間を省くように工夫してもよい。このときシステム制御部１３は、複数の単位光電変換部３２から得られた複数の画像データの輝度値に応じて、画像表示装置１１に表示する順番を変更する。

次に、本発明の実施例２について説明する。実施例１では、読み出し動作において、Ａ画素による画像信号の全てを読み出した後、すぐにＢ画素の画像信号、Ｃ画素の画像信号、Ｄ画素の画像信号の順に読み出しを行っている。このような読み出し動作では、素早く読み出し動作を終えることができるが、画素メモリに記憶されている時間が単位光電変換部毎に変わってしまう。このため、画像ごとに暗電流ノイズが変わり、ユーザに違和感を与えてしまう可能性がある。また、暗電流ノイズを低減させるために同様の設定で遮光画像を減算する処理を行う場合でも、４枚の画像を取得しそれぞれ減算しなければならないため、処理が複雑になる。そこで本実施例では、全ての単位光電変換部で暗電流ノイズが同じになるように構成される。

図１２は、本実施例における花火モードの駆動タイミングチャートの模式図であり、実施例１における花火モードの駆動タイミングチャートと比較して示している。なお、読み出しに要する時間をａとしている。また、Ｎ、ｔはそれぞれ、実施例１と同様に、撮影枚数および撮影間隔である。図１２の上部に示されるように、実施例１の花火モードでは、早く蓄積を開始する画像ほど、画素メモリに記憶しておく時間が長いため、暗電流ノイズが大きくなる。

一方、本実施例では、全ての画像において、画素メモリに記憶しておく時間が同じになるように駆動させる。すなわちシステム制御部１３は、複数の単位光電変換部３２による電荷蓄積が終了してから電荷の読み出しを開始するまでの時間が複数の単位光電変換部３２において同一であるように設定する。なお、同一とは、厳密に同一な場合だけでなく、実質的に同一と評価できる場合（略同一の場合）も含む意味である。これにより、画像ごとに暗電流ノイズが変わることを回避することができる。このような駆動を行うことにより、ユーザに与える違和感を低減させることだけでなく、前述した遮光画像で減算する処理も１枚の遮光画像で一律に処理を行えることができるため、処理の簡略化が可能である。

［その他の実施形態］
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。

各実施例によれば、撮影タイミングが難しい撮影シーンにおいても所望の画像を容易に取得可能な撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１３ システム制御部
３０１ フォトダイオード（ＰＤ）
３０３ 画素メモリ（ＭＥＭ）

Claims (14)

1. 一つのマイクロレンズを共有する複数の光電変換部と、
   前記複数の光電変換部に対応して設けられ、該複数の光電変換部で蓄積された電荷を保存する複数の記憶部と、
   前記複数の光電変換部をそれぞれ独立に制御する制御部と、を有し、
   前記制御部は、前記複数の光電変換部による前記電荷の蓄積時間を互いに同一に設定し、かつ、該複数の光電変換部による該電荷の蓄積開始時間を互いに異なるように設定することを特徴とする撮像装置。
2. 前記制御部は、前記複数の光電変換部のうち第１の光電変換部による蓄積時間中に第２の光電変換部による電荷蓄積を開始することを特徴とする請求項１に記載の撮像装置。
3. 前記制御部は、前記複数の光電変換部による前記電荷の蓄積終了後に、該複数の光電変換部のそれぞれから該電荷を読み出すことを特徴とする請求項１または２に記載の撮像装置。
4. 前記制御部は、前記複数の光電変換部による電荷蓄積が終了してから電荷の読み出しを開始するまでの時間が複数の光電変換部において同一であるように設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記複数の光電変換部から得られた複数の画像データを表示する画像表示部を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御部は、前記複数の画像データのうち、ユーザにより選択された画像データを記憶媒体に記憶させることを特徴とする請求項５に記載の撮像装置。
7. 前記制御部は、前記複数の光電変換部から得られた前記複数の画像データの輝度値に応じて、前記画像表示部に表示する順番を変更することを特徴とする請求項５または６に記載の撮像装置。
8. 前記制御部は、
   前記複数の光電変換部から独立して得られた信号に基づいて焦点検出処理を行い、
   前記複数の光電変換部の加算信号に基づいて撮影画像を生成するように制御することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記制御部は、所定の撮影モードにおいて、前記複数の光電変換部による前記電荷の蓄積時間を互いに同一に設定し、かつ、該複数の光電変換部による該電荷の蓄積開始時間を互いに異なるように設定することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記所定の撮影モードは、花火モードであることを特徴とする請求項９に記載の撮像装置。
11. 撮影光学系を備えたレンズ装置と、
    請求項１乃至１０のいずれか１項に記載の撮像装置と、を有することを特徴とする撮像システム。
12. 一つのマイクロレンズを共有する複数の光電変換部と、前記複数の光電変換部に対応して設けられ、該複数の光電変換部で蓄積された電荷を保存する複数の記憶部と、前記複数の光電変換部をそれぞれ独立に制御する制御部とを有する撮像装置の制御方法であって、
    前記複数の光電変換部による前記電荷の蓄積時間を互いに同一に設定し、かつ、該複数の光電変換部による該電荷の蓄積開始時間を互いに異なるように設定するステップと、
    前記複数の光電変換部に蓄積された前記電荷のそれぞれを読み出すステップと、
    読み出された前記電荷を保存するステップと、を有することを特徴とする撮像装置の制御方法。
13. コンピュータに、請求項１２に記載の撮像装置の制御方法を実行させるように構成されていることを特徴とするプログラム。
14. 請求項１３に記載のプログラムを記憶していることを特徴とする記憶媒体。