JP2012060425A - 読出し制御装置、読出し制御方法、プログラム、および撮像装置 - Google Patents

Abstract

【課題】動画用信号と静止画用信号の両方を取得しつつ、撮影条件に応じて可能な限り高精細な静止画を構成するための静止画用信号を取得する。
【解決手段】本発明の一態様に係る読出し制御装置は、第１の画素から読み出した静止画用信号を出力する第１の出力系統が第１の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、第２の画素から読み出した静止画用信号および動画用信号を出力する第２の出力系統が第２の露光期間に前記第２の画素に蓄積された電荷に基づく前記動画用信号を出力する第１の読出しモードと、前記第１の出力系統が第３の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が前記第３の露光期間に前記第２の画素に蓄積された電荷に基づく前記静止画用信号および前記動画用信号を出力する第２の読出しモードとのうちのいずれかを設定する。
【選択図】図１

Description

本発明は、固体撮像素子上に配置された画素から画像信号を読み出す技術に関する。

従来から、動画像および静止画像の双方を取得可能なデジタルスチルカメラやデジタルビデオカメラ（以下、総称して「デジタルカメラ」という。）などの撮像装置が知られている。一般に、このような撮像装置は、静止画像の取得を目的とした動作モードと、動画像の取得を目的とした動作モードとを有しており、ユーザーの操作によりこれらの動作モードが切り換えられるようになっている。また、動画像の撮影期間内において所定の指示を行うことで、動画フレームの抜けが生じないように同一期間内において動画像と静止画像との両方を取得できる撮像装置も提案されている（例えば特許文献1参照）。

特開２００５−３１１６６５号公報

上記の特許文献１では、動画フレームに抜けが生じないようにするために固体撮像素子上の画素を動画用の画素と静止画用の画素に分け、それぞれの画素から読み出した動画用信号と静止画用信号を別の出力系統で出力している。また、より高精細な静止画像を得るために、動画用の画素と静止画用の画素の両方から読み出した画像信号によって静止画像を構成することも可能となっている。

しかしながら、上記の特許文献１では、静止画用の画素のみによる静止画撮影と、動画用の画素および静止画用の画素の両方による静止画撮影とを切り替えるための条件判断が開示されていない。仮にユーザーに切り替えを判断させるとしても、ユーザーにとって操作が煩雑となる恐れがある。

本発明は、上述した課題に鑑みてなされたものであって、動画用信号と静止画用信号の両方を取得しつつ、撮影条件に応じて可能な限り高精細な静止画を構成するための静止画用信号を取得することを目的とする。

本発明の一態様に係る読出し制御装置は、固体撮像素子上に配置された複数の画素のうち第１の画素から読み出した静止画用信号を出力する第１の出力系統と、前記複数の画素のうち第２の画素から読み出した静止画用信号および動画用信号を出力する第２の出力系統と、前記第１の出力系統が第１の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が第２の露光期間に前記第２の画素に蓄積された電荷に基づく前記動画用信号を出力する第１の読出しモードと、前記第１の出力系統が第３の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が前記第３の露光期間に前記第２の画素に蓄積された電荷に基づく前記静止画用信号および前記動画用信号を出力する第２の読出しモードとのうちのいずれかを設定する読出しモード設定部と、静止画の露光期間と動画のフレーム周期期間との比較結果に基づいて、前記読出しモード設定部が設定する読出しモードを選択する選択部と、を備えることを特徴とする。

本発明の他の態様に係る読出し制御方法は、固体撮像素子上に配置された複数の画素のうち第１の画素から読み出した静止画用信号を出力する第１の出力系統が第１の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記複数の画素のうち第２の画素から読み出した静止画用信号および動画用信号を出力する第２の出力系統が第２の露光期間に前記第２の画素に蓄積された電荷に基づく前記動画用信号を出力する第１の読出しモードと、前記第１の出力系統が第３の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が前記第３の露光期間に前記第２の画素に蓄積された電荷に基づく前記静止画用信号および前記動画用信号を出力する第２の読出しモードとのうちのいずれかを設定するステップと、静止画の露光期間と動画のフレーム周期期間との比較結果に基づいて、設定する読出しモードを選択するステップと、を備えることを特徴とする。

本発明の他の態様に係るプログラムは、固体撮像素子上に配置された複数の画素のうち第１の画素から読み出した静止画用信号を出力する第１の出力系統が第１の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記複数の画素のうち第２の画素から読み出した静止画用信号および動画用信号を出力する第２の出力系統が第２の露光期間に前記第２の画素に蓄積された電荷に基づく前記動画用信号を出力する第１の読出しモードと、前記第１の出力系統が第３の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が前記第３の露光期間に前記第２の画素に蓄積された電荷に基づく前記静止画用信号および前記動画用信号を出力する第２の読出しモードとのうちのいずれかを設定するステップと、静止画の露光期間と動画のフレーム周期期間との比較結果に基づいて、設定する読出しモードを選択するステップと、をコンピュータに実行させる。

本発明の他の態様に係る撮像装置は、複数の画素と、前記複数の画素のうち第１の画素から読み出した静止画用信号を出力する第１の出力系統と、前記複数の画素のうち第２の画素から読み出した静止画用信号および動画用信号を出力する第２の出力系統と、前記第１の出力系統が第１の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が第２の露光期間に前記第２の画素に蓄積された電荷に基づく前記動画用信号を出力する第１の読出しモードと、前記第１の出力系統が第３の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が前記第３の露光期間に前記第２の画素に蓄積された電荷に基づく前記静止画用信号および前記動画用信号を出力する第２の読出しモードとのうちのいずれかを設定する読出しモード設定部と、静止画の露光期間と動画のフレーム周期期間との比較結果に基づいて、前記読出しモード設定部が設定する読出しモードを選択する選択部と、を備えることを特徴とする。

本発明の一実施形態によるカメラシステムの構成を示すブロック図である。 本発明の一実施形態によるカメラシステムが備える固体撮像素子の構成を示すブロック図である。 本発明の一実施形態によるカメラシステムが備える固体撮像素子上の各画素と2つの垂直走査回路との接続を示すブロック図である。 本発明の一実施形態によるカメラシステムの動作を示すフローチャートである。 本発明の一実施形態における第1の読出しモードの動作を示すタイミングチャートである。 本発明の一実施形態における第2の読出しモードの動作を示すタイミングチャートである。 本発明の一実施形態によるカメラシステムの動作を示すフローチャートである。

以下、図面を参照し、本発明の実施形態を説明する。以下の詳細な説明は、一例として特定の詳細な内容を含んでいる。以下の詳細な内容にいろいろなバリエーションや変更を加えたとしても、そのバリエーションや変更を加えた内容が本発明の範囲を超えないことは、当業者であれば当然理解できる。したがって、以下で説明する各種の実施形態は、権利を請求された発明の一般性を失わせることはなく、また、権利を請求された発明に対して何ら限定を加えることもない。

図1は、本実施形態によるカメラシステムの構成例を示している。図1に示すカメラシステムは各種の撮像装置に搭載される。本発明の一態様に係る撮像装置は、撮像機能を有する電子機器であればよく、デジタルカメラのほか、デジタルビデオカメラ、内視鏡等であってもよい。

図1に示すカメラシステムは、撮像レンズ系1、固体撮像素子2、画像処理部3、制御部4、液晶モニタ5、記憶媒体6、および操作入力部7を有している。図1に示す各ブロックは、ハードウェア的には、コンピュータのCPU、メモリ等の電気回路部品や、レンズ等の光学部品、ボタン、スイッチ等の操作部品など各種部品で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現できるが、ここではそれらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックがハードウェア、ソフトウェアの組合せによって色々な形態で実現できることは、当業者であれば当然理解できる。

撮像レンズ１は、被写体からの光が形成する被写体像を、固体撮像素子2に配置された2次元の画素アレイ上に結像させる。固体撮像素子2は、多数の画素で構成される2次元の画素アレイ上に結像された被写体像に基づく画像信号を出力する。

画像処理部3は、後述する固体撮像素子2の第1出力回路201から出力される信号を処理する第1信号処理回路31と、固体撮像素子2の第2出力回路202から出力される信号を処理する第2信号処理回路32とを有する。また、画像処理部3は、固体撮像素子2から出力された信号に対して、これら2つの信号処理回路によって、色信号処理、ゲイン処理、ホワイトバランス処理などの信号処理を施し、液晶モニタ5に表示または記憶媒体6に記憶できるフォーマットの信号に変換する機能を有する。

制御部4は、カメラシステムの各部分と電気的に接続され、カメラシステムの制御を行う。制御部4の動作は、カメラシステムが内蔵するROMに格納されているプログラムに規定されている。制御部4は、このプログラムを読み出して、プログラムが規定する内容に従って、各種の制御を行う。固体撮像素子2および制御部4は、本発明の一態様に係る読出し制御装置の一例である読出し制御部を構成する。

液晶モニタ5は、画像処理部3で処理された動画用信号に基づいて動画像を表示する。記憶媒体6は、画像処理部3で処理された静止画用信号に基づく静止画データを記憶する。操作入力部7は、ユーザーが操作するボタンやスイッチ等を有する。操作入力部7を介して、ユーザーの操作結果が制御部4に信号として入力される。例えば、撮影モードの設定、静止画のシャッターレリーズ、動画撮影の開始および終了の指示が操作入力部7を介して行われる。

図2は、図1に示す固体撮像素子2の構成例を示している。固体撮像素子2は、半導体基板上に、多数の画素を2次元マトリクス状に配置するとともに、2つの出力回路（読出し回路）すなわち第1出力回路201、第2出力回路202と、2つの垂直走査回路すなわち第1垂直走査回路209、第2垂直走査回路210などを設けてなる。

多数の画素は、第1垂直信号線205を介して第1出力回路201に接続される第1画素203と、第2垂直信号線206を介して第2出力回路202に接続される第2画素204とに分けられる。第1画素203および第2画素204は、光を電荷に変換する光電変換素子（フォトダイオード）や、光電変換素子で発生した電荷を蓄積して保持する電荷保持部等を有する。第1画素203は、静止画用信号を得るために用いられ、第2画素204は、静止画用信号および動画用信号を得るために用いられる。本実施形態の例では、3行目、6行目、9行目、12行目の各行の1列目、4列目、7列目の画素が第2画素204である。

全ての画素は、画像信号を読み出す対象となる読出し対象領域に含まれる。読出し対象領域は、少なくとも有効画素領域の全画素を含むことが望ましい。また、読出し対象領域は、有効画素領域の外側に配置されているオプティカルブラック画素（常時遮光されている画素）を含んでもよい。オプティカルブラック画素から読み出した画像信号は、例えば暗電流成分の補正に使用される。

図2では各画素と第1垂直走査回路209および第2垂直走査回路210とを接続する制御信号線を図示していない。図3は、各画素と第1垂直走査回路209および第2垂直走査回路210とを接続する制御信号線を示している。図3では、一部の画素および制御信号線のみを図示しており、残りの画素および制御信号線を省略している。

第1画素203における露光や信号読出しの制御は、第1制御信号線207を介して第1画素203に接続されている第1垂直走査回路209から供給される制御信号によって行われる。第1出力回路201は、第1垂直信号線205を介して第1画素203から信号を読み出して固体撮像素子2の外部へ出力する。第2画素204における露光や信号読出しの制御は、第2制御信号線208を介して第2画素204に接続されている第2垂直走査回路210から供給される制御信号によって行われる。第2出力回路202は、第2垂直信号線206を介して第2画素204から信号を読み出して固体撮像素子2の外部へ出力する。第1出力回路201と第2出力回路202は、互いに独立して信号を出力することができる。

第1垂直走査回路209は、第1制御信号線207を介して第1画素203へ制御信号を出力し、第1画素203における露光や信号読出しを制御する。第2垂直走査回路210は、第2制御信号線208を介して第2画素204へ制御信号を出力し、第2画素204における露光や信号読出しを制御する。

次に、本実施形態によるカメラシステムの動作を説明する。図4は、液晶モニタ5に動画像を表示するための動画撮影中において、記憶媒体6に記録するための静止画の撮影の流れを示している。

動画の撮影が開始されるとカメラシステムは、動画撮影を行いながら、静止画の取得指示を待機する状態となる（ステップS1）。ユーザーのシャッターレリーズの操作によって、操作入力部7から制御部4に、静止画の取得を指示する信号が入力されると、制御部4は、予め設定されている静止画の露光期間と動画フレーム周期期間を比較する（ステップS2）。なお、静止画の露光期間は変更可能であり、静止画の撮影前に予め所定の露光時間が設定されているものとする。

本実施形態では、固体撮像素子2の読出しモードとして、後述する第1の読出しモードと第2の読出しモードが用意されている。静止画の露光期間が動画フレーム周期期間よりも長い場合、制御部4は第1の読出しモードを選択し、制御部4内部のモードフラグの値を、第1の読出しモードに対応した値に設定する。以後、制御部4は、第1の読出しモードで静止画撮影を行うように、固体撮像素子2に必要な命令を出力する（ステップS3）。静止画の露光期間が動画フレーム周期期間以下の場合には、制御部4は第2の読出しモードを選択し、制御部4内部のモードフラグの値を、第2の読出しモードに対応した値に設定する。以後、制御部4は、第2の読出しモードで静止画撮影を行うように、固体撮像素子2に必要な命令を出力する（ステップS4）。

次に、図5および図6に示すタイミングチャートを用いて、第1の読出しモードと第2の読出しモードについて説明する。

図5は第1の読出しモードの動作を示している。第1の読出しモードの設定前および設定後のいずれにおいても、カメラシステムは、第2画素204から出力された信号を用いて常に一定のフレーム周期で動画を撮影する。制御部4は、第2画素204において行毎に順次、露光と動画用信号の読み出しを行うように固体撮像素子2を制御する。図5に示す例では、3行目の第2画素204で露光が開始された後、6行目、9行目、12行目の順に順次、第2画素204で露光が開始される。また、各行において、露光の開始から動画フレーム周期期間に基づく一定の露光時間が経過した後、3行目、6行目、9行目、12行目の順に順次、第2画素204から動画用信号が読み出される。

第2画素204から読み出された動画用信号は第2出力回路202から出力され、画像処理部3内の第2信号処理回路32に入力される。第2信号処理回路32は、動画として表示するために必要な画像処理を動画用信号に施した後、液晶モニタ5へ出力する。液晶モニタ5は、動画用信号に基づく動画像を表示する。以後も、上記の動画撮影に係る動作が継続される。

時刻T1で静止画の取得を指示する信号が入力されると、制御部4は静止画の露光期間と動画フレーム周期期間を比較し、固体撮像素子2の読出しモードとして第1の読出しモードを選択する。続いて、制御部4は、第2画素204および第2出力回路202の動作状態とは関係なく、第1画素203で同時に一括してリセットを行い、露光を開始するように、固体撮像素子2を制御する。リセット時には、各画素に設けられた光電変換素子の電位が所定の電位に設定される。

第1画素203の露光が開始されてから露光が終了するまでは、撮像レンズ系1の条件に係る撮像パラメータ、例えば絞りを決めるF値などは変えられないものとする。露光が開始されてから所定の露光時間が経過すると、制御部4は、第1画素203の露光を終了し、行毎に順次、第1画素203から静止画用信号を読み出して第1出力回路201から静止画用信号を出力するように、固体撮像素子2を制御する。図5に示す例では、1行目、2行目、3行目、・・・、12行目の順に順次、第1画素203から静止画用信号が読み出される。

第1出力回路201から出力された静止画用信号は画像処理部3内の第1信号処理回路31に入力される。第1信号処理回路31は、静止画として記憶媒体6に保存するために必要な画像処理を静止画用信号に施した後、記憶媒体6に処理後の静止画データを出力する。この静止画データは記憶媒体6に保存される。なお、画像処理の際、第1画素203から得られた静止画用信号には、解像度的に第2画素204の分の抜けがあるので、第1信号処理回路31は、第2画素204に相当する分の信号を補間する処理を行う。

上記のように第1の読出しモードでは、第1画素203における静止画用の露光および信号読出しと、第2画素204における動画用の露光および信号読出しとが独立して行われる。第1の読出しモードで取得される静止画用信号は、静止画用の露光期間に第1画素203に蓄積された電荷に基づく信号であり、第1の読出しモードで取得される動画用信号は、動画用の露光期間に第2画素204に蓄積された電荷に基づく信号である。なお、静止画の露光期間は、画素のリセット開始から、最初に静止画用信号を読み出す行（図5では1行目）の信号読出し終了までの期間である。

図6は第2の読出しモードの動作を示している。静止画の取得指示を示す信号が制御部4に入力されるまでの動画撮影に係る動作は第1の読出しモードと同様である。時刻T2で静止画の取得を指示する信号が入力されると、制御部4は静止画の露光期間と動画フレーム周期期間を比較し、固体撮像素子2の読出しモードとして第2の読出しモードを選択する。制御部4は、直近のフレームの動画用信号の読出しが全ての第2画素204について完了した後、第1画素203と第2画素204、すなわち全画素で同時に一括してリセットを行い、露光を開始するように固体撮像素子2を制御する。

全画素で露光が開始されてから所定の露光時間が経過すると、制御部4は、第1画素203および第2画素204の露光を終了し、第1画素203と第2画素204とで独立して、行毎に順次、静止画用信号を読み出すように、固体撮像素子2を制御する。第1画素203については、1行目、2行目、3行目、・・・、12行目の順に順次、第1画素203から静止画用信号が読み出され、第1出力回路201から出力される。また、第2画素204については、3行目、6行目、9行目、12行目の順に順次、第2画素204から動画用信号が読み出され、第2出力回路202から出力される。第2画素204においては、静止画用信号の読出しが終わった後、第1画素203における信号読出しとは独立して、フレーム周期に従った時刻（図５では時刻T13）で露光が開始され、再び動画撮影が継続される。

第1出力回路201から出力された静止画用信号は画像処理部3内の第1信号処理回路31に入力され、第2出力回路202から出力された静止画用信号は画像処理部3内の第2信号処理回路32に入力される。第1信号処理回路31および第2信号処理回路32は、静止画として記憶媒体6に保存するために必要な画像処理をそれぞれの静止画用信号に施す。第1信号処理回路31および第2信号処理回路32によって処理された静止画用信号は1枚の静止画に関する静止画データとして合成され、記憶媒体6に保存される。

第2画素204から読み出された静止画用信号は、時刻T12、時刻T13間の動画フレームを構成する動画用信号としても使用される。すなわち、第2信号処理回路32は、動画として表示するために必要な画像処理を、第2出力回路202から出力された静止画用信号すなわち動画用信号に施した後、液晶モニタ5へ出力する。

上記のように第2の読出しモードでは、静止画用の露光期間中は、第1画素203における静止画用の露光および信号読出しと、第2画素204における静止画用および動画用の露光および信号読出しとが非独立に行われる。第2の読出しモードで取得される静止画用信号は、静止画用の露光期間に第1画素203および第2画素204に蓄積された電荷に基づく信号であり、第2の読出しモードで取得される動画用信号は、動画用の露光期間および静止画用の露光期間に第2画素204に蓄積された電荷に基づく信号である。なお、静止画の露光期間は、画素のリセット開始から、最初に静止画用信号を読み出す行（図6では1行目）の信号読出し終了までの期間である。

第2の読出しモードでは、第2画素204から読み出された信号を動画用および静止画用に共通で使用することによって、動画フレームに抜けが生じないようにしつつ、できるだけ高精細な静止画を取得することを実現している。第2画素204から読み出された信号を動画用および静止画用に使用するためには、動画フレーム周期期間内で静止画用の露光を行う必要がある。したがって、静止画の露光期間と動画フレーム周期期間を基準にして、読出しモードの選択を行っている。静止画の露光期間が動画フレーム周期期間以下の場合、動画フレーム周期期間内で静止画用の露光を行うことができ、第2画素204から読み出された信号を動画用および静止画用に共通で使用することができる。

次に、本実施形態によるカメラシステムの動作の一変形例について、図7のフローチャートを用いて説明する。この変形例は、上述した動作とは、第1の読み出しモードおよび第2の読み出しモードの選択の条件と、第1の読み出しモードの動作とが異なり、それ以外は同様である。

動画の撮影が開始されるとカメラシステムは、動画撮影を行いながら、静止画の取得指示を待機する状態となる（ステップS21）。ユーザーのシャッターレリーズの操作によって、操作入力部7から制御部4に、静止画の取得を指示する信号が入力されると、制御部4は、予め設定されている静止画の露光期間と動画フレーム周期期間を比較する（ステップS22）。

静止画の露光期間が動画フレーム周期期間と同じであるか長い場合、制御部4は第1の読出しモードを選択し、制御部4内部のモードフラグの値を、第1の読出しモードに対応した値に設定する。以後、制御部4は、第1の読出しモードで静止画撮影を行うように、固体撮像素子2に必要な命令を出力する（ステップS23）。静止画の露光期間が動画フレーム周期期間よりも短い場合には、制御部4は第2の読出しモードを選択し、制御部4内部のモードフラグの値を、第2の読出しモードに対応した値に設定する。以後、制御部4は、第2の読出しモードで静止画撮影を行うように、固体撮像素子2に必要な命令を出力する（ステップS24）。

第1の読出しモードにおける固体撮像素子2の動作は、前述した第1の読出しモードにおける動作と同様であるが、画像処理部3内の第1信号処理回路31の動作が、前述した第1の読出しモードにおける動作と異なる。前述したように、第1信号処理回路31は、第1出力回路201から出力された静止画用信号に対して、静止画として記憶媒体6に保存するために必要な画像処理を施す。この画像処理の際、第1画素203から得られた静止画用信号には、解像度的に第2画素204の分の抜けがあるので、第1信号処理回路31は、第2画素204に相当する分の信号を補間する処理を行う。

ただし、第1画素203の露光時間（電荷蓄積時間）の長さと第2画素204の露光時間（電荷蓄積時間）の長さが同一であり、かつ、第1画素203の露光開始時刻（電荷蓄積開始時刻）と第2画素204の先頭行（3行目）の露光開始時刻（電荷蓄積開始時刻）とのずれが所定の時間内であれば、第2画素204で得られた動画用信号を静止画用信号として使用することが可能となる。制御部4は、上記の露光時間および露光開始時刻に係る判定を行い、上記の条件が満たされた場合、第1信号処理回路31が処理した静止画用信号と第2信号処理回路32が処理した動画用信号とを、1枚の静止画に関する静止画データとして合成するように画像処理部3を制御する。

本実施形態では、簡単のために、画素の配列が水平方向9画素×垂直方向12画素である例を用いて説明をしたが、当然、画素の配列はこれに限られるわけではない。

上述したように、本実施形態によれば、第1の読出しモードおよび第2の読出しモードを用意し、静止画用の露光期間と動画フレーム周期期間とを比較した結果に応じて2つの読出しモードを切り替えることによって、動画用信号と静止画用信号の両方を取得しつつ、撮影条件に応じて可能な限り高精細な静止画を構成するための静止画用信号を取得することができる。第1の読出しモードでは、動画用の信号読出しに影響されずに、静止画撮影を行うことができるとともに、静止画用の信号読出しに影響されずに動画撮影を行うことができる。また、第2の読出しモードでは、第2画素204から読み出された信号を動画用および静止画用に共通で使用することができ、より高精細な静止画を取得することができる。

また、撮像パラメータ（上記の例ではF値）を静止画の露光期間中、一定に維持することによって、静止画撮影中の露光条件の変更を防ぎながら静止画撮影を行うことができる。

また、2つの出力回路（第1出力回路201、第2出力回路202）を設けることによって、必要な信号の種類に応じた最適な信号読出しを行うことができる。

また、第1の読出しモードにおいて、第1画素203の露光時間の長さと第2画素204の露光時間の長さが同一であり、かつ、第1画素203の露光開始時刻と第2画素204の先頭行の露光開始時刻とのずれが所定の時間内の場合に、第2画素204で得られた動画用信号を静止画用信号として使用することによって、より高精細な静止画を取得することができる。

本発明に係る第１の出力系統は、例えば第1出力回路201、第1垂直信号線205に対応し、第2の出力系統は、例えば第2出力回路202、第2垂直信号線206に対応する。また、本発明に係る第１の読出し回路は、例えば第1出力回路201に対応し、第2の読出し回路は、例えば第2出力回路202に対応する。また、本発明に係る読出しモード設定部および選択部は、例えば制御部4に対応する。また、本発明に係る露光制御部は、例えば第1垂直走査回路209、第2垂直走査回路210に対応する。また、本発明に係る生成部は、例えば画像処理部3に対応する。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

例えば、本発明の一態様に係る読出し制御装置は、
「固体撮像素子上に配置された複数の画素のうち第１の画素から読み出した静止画用信号を出力する第１の出力系統と、
前記複数の画素のうち第２の画素から読み出した静止画用信号および動画用信号を出力する第２の出力系統と、
前記第１の出力系統が第１の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が第２の露光期間に前記第２の画素に蓄積された電荷に基づく前記動画用信号を出力する第１の読出しモードと、前記第１の出力系統が第３の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が前記第３の露光期間に前記第２の画素に蓄積された電荷に基づく前記静止画用信号および前記動画用信号を出力する第２の読出しモードとのうちのいずれかを設定する読出しモード設定手段と、
静止画の露光期間と動画のフレーム周期期間との比較結果に基づいて、前記読出しモード設定部が設定する読出しモードを選択する選択手段と、
を備えることを特徴とする読出し制御装置。」
であってもよい。

また、本発明の他の態様に係る撮像装置は、
「複数の画素と、
前記複数の画素のうち第１の画素から読み出した静止画用信号を出力する第１の出力系統と、
前記複数の画素のうち第２の画素から読み出した静止画用信号および動画用信号を出力する第２の出力系統と、
前記第１の出力系統が第１の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が第２の露光期間に前記第２の画素に蓄積された電荷に基づく前記動画用信号を出力する第１の読出しモードと、前記第１の出力系統が第３の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が前記第３の露光期間に前記第２の画素に蓄積された電荷に基づく前記静止画用信号および前記動画用信号を出力する第２の読出しモードとのうちのいずれかを設定する読出しモード設定手段と、
静止画の露光期間と動画のフレーム周期期間との比較結果に基づいて、前記読出しモード設定部が設定する読出しモードを選択する選択手段と、
を備えることを特徴とする撮像装置。」
であってもよい。

上述した各構成要素や各処理プロセスの任意の組合せを実現するコンピュータプログラムプロダクトも本発明の態様として有効である。コンピュータプログラムプロダクトとは、プログラムコードが記録された記録媒体（ＤＶＤ媒体，ハードディスク媒体、メモリ媒体など）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた記録媒体、装置、機器やシステムをいう。この場合、上述した各構成要素や各処理プロセスは各モジュールで実装され、その実装されたモジュールからなるプログラムコードがコンピュータプログラムプロダクト内に記録される。

例えば、本発明の一態様に係るコンピュータプログラムプロダクトは、
「固体撮像素子上に配置された複数の画素のうち第１の画素から読み出した静止画用信号を出力する第１の出力系統が第１の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記複数の画素のうち第２の画素から読み出した静止画用信号および動画用信号を出力する第２の出力系統が第２の露光期間に前記第２の画素に蓄積された電荷に基づく前記動画用信号を出力する第１の読出しモードと、前記第１の出力系統が第３の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が前記第３の露光期間に前記第２の画素に蓄積された電荷に基づく前記静止画用信号および前記動画用信号を出力する第２の読出しモードとのうちのいずれかを設定するモジュールと、
静止画の露光期間と動画のフレーム周期期間との比較結果に基づいて、設定する読出しモードを選択するモジュールと、
を含むプログラムコードが記録されたコンピュータプログラムプロダクト。」
であってもよい。

上述した実施形態による各構成要素や各処理プロセスの任意の組合せを実現するためのプログラムも本発明の態様として有効である。このプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行させることで、本発明の目的を達成することができる。

ここで、「コンピュータ」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように、情報を伝送する機能を有する媒体のことをいう。また、上述したプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能を、コンピュータに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明の好ましい実施形態を説明したが、上述した各構成要素や各処理プロセスとして、色々な代替物、変形物、等価物を用いることができる。本明細書に開示された実施形態において、１または複数の機能を実行するために、１つの部品を複数の部品と置き換えてもよいし、複数の部品を１つの部品で置き換えてもよい。このような置換が、本発明の目的を達成するために適切に作用しない場合を除き、このような置換は、本発明の範囲内である。したがって、本発明の範囲は、上記の説明を参照して決められるものではなく、請求項により決められるべきであり、均等物の全範囲も含まれる。請求項において、明示的に断らない限り、各構成要素は１またはそれ以上の数量である。請求項において「〜のための手段」のような語句を用いて明示的に記載する場合を除いて、請求項がミーンズ・プラス・ファンクションの限定を含むものと解してはならない。

本明細書に使用される用語は特定の実施形態を説明することのみを目的としており、本発明を制限しようとするものではない。本明細書においては、単数形で用語が使用されている場合でも、複数形を排除することが文脈で明確に示されていない限り、その用語は複数形をも同様に含む。

1・・・撮像レンズ系、2・・・固体撮像素子、3・・・画像処理部、4・・・制御部、5・・・液晶モニタ、6記憶媒体、7・・・操作入力部、31・・・第1信号処理回路、32・・・第2信号処理回路、201・・・第1出力回路、202・・・第2出力回路、203・・・第1画素、204・・・第2画素、205・・・第1垂直信号線、206・・・第2垂直信号線、207・・・第1制御信号線、208・・・第2制御信号線、209・・・第1垂直走査回路、210・・・第2垂直走査回路

Claims (13)

1. 固体撮像素子上に配置された複数の画素のうち第１の画素から読み出した静止画用信号を出力する第１の出力系統と、
   前記複数の画素のうち第２の画素から読み出した静止画用信号および動画用信号を出力する第２の出力系統と、
   前記第１の出力系統が第１の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が第２の露光期間に前記第２の画素に蓄積された電荷に基づく前記動画用信号を出力する第１の読出しモードと、前記第１の出力系統が第３の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が前記第３の露光期間に前記第２の画素に蓄積された電荷に基づく前記静止画用信号および前記動画用信号を出力する第２の読出しモードとのうちのいずれかを設定する読出しモード設定部と、
   静止画の露光期間と動画のフレーム周期期間との比較結果に基づいて、前記読出しモード設定部が設定する読出しモードを選択する選択部と、
   を備えることを特徴とする読出し制御装置。
2. 前記静止画の露光期間が前記動画のフレーム周期期間よりも長い場合、前記選択部は前記第１の読出しモードを選択することを特徴とする請求項１に記載の読出し制御装置。
3. 前記静止画の露光期間が前記動画のフレーム周期期間以下の場合、前記選択部は前記第２の読出しモードを選択することを特徴とする請求項１に記載の読出し制御装置。
4. 静止画または動画を撮像する際の撮像パラメータが静止画露光期間中は一定に維持されることを特徴とする請求項１に記載の読出し制御装置。
5. 前記撮像パラメータは、Ｆ値であることを特徴とする請求項４に記載の読出し制御装置。
6. 前記静止画用信号を得るための露光開始時刻と露光終了時刻を、前記静止画用信号を読み出す画素間で同一となるように制御する露光制御部をさらに備えることを特徴とする請求項１に記載の読出し制御装置。
7. 前記第２の読出しモードでは、前記第２の出力系統が、前記第３の露光期間に前記第２の画素に蓄積された電荷に基づく共通の信号を前記静止画用信号および前記動画用信号として出力することを特徴とする請求項１に記載の読出し制御装置。
8. 前記第１の出力系統は、前記第１の読出しモードが設定された場合に前記第１の画素から前記静止画用信号を読み出す第１の読出し回路を備え、前記第２の出力系統は、前記第１の読出しモードが設定された場合に前記第２の画素から前記動画用信号を読み出す第２の読出し回路を備えることを特徴とする請求項１に記載の読出し制御装置。
9. 前記第１の出力系統は、前記第２の読出しモードが設定された場合に前記第１の画素から前記静止画用信号を読み出す第１の読出し回路を備え、前記第２の出力系統は、前記第２の読出しモードが設定された場合に前記第２の画素から前記静止画用信号および前記動画用信号を読み出す第２の読出し回路を備えることを特徴とする請求項１に記載の読出し制御装置。
10. 固体撮像素子上に配置された複数の画素のうち第１の画素から読み出した静止画用信号を出力する第１の出力系統が第１の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記複数の画素のうち第２の画素から読み出した静止画用信号および動画用信号を出力する第２の出力系統が第２の露光期間に前記第２の画素に蓄積された電荷に基づく前記動画用信号を出力する第１の読出しモードと、前記第１の出力系統が第３の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が前記第３の露光期間に前記第２の画素に蓄積された電荷に基づく前記静止画用信号および前記動画用信号を出力する第２の読出しモードとのうちのいずれかを設定するステップと、
    静止画の露光期間と動画のフレーム周期期間との比較結果に基づいて、設定する読出しモードを選択するステップと、
    を備えることを特徴とする読出し制御方法。
11. 固体撮像素子上に配置された複数の画素のうち第１の画素から読み出した静止画用信号を出力する第１の出力系統が第１の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記複数の画素のうち第２の画素から読み出した静止画用信号および動画用信号を出力する第２の出力系統が第２の露光期間に前記第２の画素に蓄積された電荷に基づく前記動画用信号を出力する第１の読出しモードと、前記第１の出力系統が第３の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が前記第３の露光期間に前記第２の画素に蓄積された電荷に基づく前記静止画用信号および前記動画用信号を出力する第２の読出しモードとのうちのいずれかを設定するステップと、
    静止画の露光期間と動画のフレーム周期期間との比較結果に基づいて、設定する読出しモードを選択するステップと、
    をコンピュータに実行させるためのプログラム。
12. 複数の画素と、
    前記複数の画素のうち第１の画素から読み出した静止画用信号を出力する第１の出力系統と、
    前記複数の画素のうち第２の画素から読み出した静止画用信号および動画用信号を出力する第２の出力系統と、
    前記第１の出力系統が第１の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が第２の露光期間に前記第２の画素に蓄積された電荷に基づく前記動画用信号を出力する第１の読出しモードと、前記第１の出力系統が第３の露光期間に前記第１の画素に蓄積された電荷に基づく前記静止画用信号を出力し、前記第２の出力系統が前記第３の露光期間に前記第２の画素に蓄積された電荷に基づく前記静止画用信号および前記動画用信号を出力する第２の読出しモードとのうちのいずれかを設定する読出しモード設定部と、
    静止画の露光期間と動画のフレーム周期期間との比較結果に基づいて、前記読出しモード設定部が設定する読出しモードを選択する選択部と、
    を備えることを特徴とする撮像装置。
13. 前記第１の読み出しモードが設定された場合に、前記第１の画素の電荷蓄積時間と前記第２の画素の電荷蓄積時間とが同一であり、前記第１の画素の電荷蓄積開始時刻と前記第２の画素の電荷蓄積開始時刻との差が所定の時間内であれば、前記動画用信号を動画用と静止画用の両方に用いて、前記静止画用信号および前記動画用信号から静止画用データを生成する生成部を備えることを特徴とする請求項１２に記載の撮像装置。

Images