JP2007104349A - 撮像装置 - Google Patents

Abstract

【課題】
ステレオ撮像システムにおいて、信号処理部１つで同時露光を実現すること。
【解決手段】
撮像を行う複数の撮像手段と、入力信号の選択処理を行う入力選択手段と、撮像手段の駆動を行うセンサ駆動信号発生手段と、撮像手段が出力する撮像データのカメラ信号処理を行うカメラ信号処理手段と、を有するステレオ撮像装置によって構成される。
複数の撮像手段が同時に露光を行い、センサ駆動信号発生手段が駆動信号のマスク制御を行い撮像手段からの撮像データの出力タイミングを異ならせることにより、複数の撮像手段が出力する映像データを撮像手段より少ない数のカメラ信号処理手段でカメラ信号処理を行うことを可能とする。
【選択図】 図３

Description

本発明は、複数の撮像手段を備える撮像装置に関する。

本技術分野の背景技術として、例えば、特開平７−７６５３号公報（特許文献１）がある。該公報には、「複数の撮像素子からの信号を撮像素子よりも少ない信号処理装置で信号処理することにより、従来よりも低消費電力、小容量、安価な多入力、多出力の撮像装置を提供すること」を目的とし、解決手段として、「ｎ個の固体撮像素子からの信号を、第１の信号選択回路でｋ個の画像信号処理装置に割り振る。画像信号処理装置により信号処理後、第２の信号選択回路により、ｋ個の信号をｍ個の出力装置に割り振る。第１及び第２の信号選択回路の信号選択は制御回路により行う。また、第１の信号選択回路に接続された各々の撮像素子に対応した画像信号処理装置の制御データも制御回路で記憶し、ｎ個の撮像素子のうち選択された撮像素子とｍ個の出力装置のうち選択された出力装置との接続についても制御回路で記憶する。」という技術が開示されている。
また、例えば、特開２０００−３４１７１９（特許文献２）がある。該公報には、「外部同期回路を用いることなく複数のカメラの同期をとり、さらに輝度ばらつきの少ない映像信号を出力するステレオカメラを得る」を課題とし、解決手段として、「レンズ２ａ、２ｂと、撮像素子３ａ、３ｂと、撮像素子の出力信号を増幅する利得調整手段４ａ、４ｂと、撮像素子出力信号を映像信号に変換する信号処理手段５ａ、５ｂとを備えた撮像系を複数有するステレオカメラにおいて、複数の撮像素子と信号処理手段を共通して駆動する駆動信号、複合同期信号等を出力するタイミング信号発生手段６ｂと、一つの撮像系の撮像素子出力信号を検波する露出検波手段８ｂおよびこの露出検波手段から出力される検波値と所定の露出調整目標値から露出調整値を算出する露出時間算出手段９ｂにより構成される露出調整手段７ｂを備え、タイミング信号発生手段を露出時間算出手段の出力により制御する」という技術が開示されている。

特開平７−７６５３号公報 特開２０００−３４１７１９号公報

例えば監視カメラや立体視カメラにおいて、複数のカメラを用いてステレオ撮像を行い被写体の抽出を行う手法はよく知られている。この際、上記特許文献１のように、撮像素子よりも少ない信号処理装置で信号処理を行うことは、低コスト・低消費電力の撮像システムを構成するのに有効である。

ところが、撮影映像として、動きの早い・激しい被写体を撮影している場合がある。これの場合、複数のカメラを用いてステレオ撮像を行い被写体の抽出を精度よく行うために、複数カメラ間の撮影を同期し露光期間や露光期間の重心のタイミングを合わせることが有効となる。上記特許文献１では、撮影時の露光期間や露光期間のタイミング合わせについて考慮されていないため、カメラ間の映像の撮影タイミングにずれが生じ、撮像画像を用いて画像処理を行った場合の精度が悪くなるという問題が生じる。

上記特許文献２には、複数の撮像素子に対し同じ駆動信号を入力することにより、カメラ間の撮影を同期し露光期間を合わせる方法が示されている。

ところが、上記特許文献２では、複数の撮像素子から同時にパラレルで信号が出力されるため、信号処理手段が撮像素子と同じ数だけ必要となり、コストが高くなるという問題が生じる。

そこで、本発明は、複数の撮像手段を備える撮像装置において、低コスト化かつ高画質化を目的とする。

上記目的は特許請求の範囲に記載の発明により達成される。

本発明によれば、複数の撮像手段を備える撮像装置における低コスト化かつ高画質化を実現できる。

以下、図面を用いて本発明の実施例を説明する。

図１は、本発明の第１実施例に係るステレオ撮像システムを示す模式図である。図１において、１０１＿１は第１のCCD撮像部、１０１＿２は第２のCCD撮像部、１０２＿１は第１のCDS/AD部、１０２＿２は第２のCDS/AD部、１０３は入力選択部、１０４はカメラ信号処理部、１０５はセンサ駆動信号発生部、１０６はステレオ撮像制御部である。

ステレオ撮像システムにおいて、第１のCCD撮像部１０１＿１は、光電変換により撮像を行い、第１のアナログ信号を出力する。第１のCDS/AD部１０２＿１は、第１のCCD撮像部１０１＿１が出力する第１のアナログ信号に対し、相関2重サンプリングとAD変換を行い第１のデジタル信号を出力する。第２のCCD撮像部１０１＿２は、光電変換により撮像を行い、第２のアナログ信号を出力する。第２のCDS/AD部１０２＿２は、第２のCCD撮像部１０１＿２が出力する第２のアナログ信号に対し、相関2重サンプリングとAD変換を行い第２のデジタル信号を出力する。図１に示すステレオ撮像システムでは、第１のCCD撮像部１０１＿１と第２のCCD撮像部１０１＿２それぞれに専用の第１のCDS/AD部１０２＿１と第２のCDS/AD部１０２＿２を用いる構成としているため、基準とする黒レベルのサンプリングを各々のCCD撮像部の出力するアナログ信号に個別に行うことができ、画質を向上させることが可能となる。入力選択部１０３は、第１のCDS/AD部１０２＿１が出力する第１のデジタル信号と第２のCDS/AD部１０２＿２が出力する第２のデジタル信号に対し、センサ駆動信号発生部１０５またはステレオ撮像制御部１０６からの制御信号を用いて選択処理を行い、片方のデジタル信号を選択して出力する。入力選択部１０３で行う選択処理にセンサ駆動信号発生部１０５からの制御信号を用いるのであれば、例えば偶数フィールドと奇数フィールドの判別に用いるフィールドパルス：FPを用いて行えばフィールド単位での入力切替が、水平方向の同期信号：HDを用いればライン単位での入力切替が容易に可能となる。また、図１に示すステレオ撮像システムでは入力選択部を第１のCDS/AD部１０２＿１と第２のCDS/AD部１０２＿２の後ろに置く構成としたが、第１のCCD撮像部１０１＿１と第２のCCD撮像部１０１＿２の後ろに置く構成とし、CDS/AD部を１つに統合し、コスト低減を図ることも可能である。カメラ信号処理部１０４は、入力選択部１０３が出力する選択されたデジタル信号に対し、フィルタ処理・デモザイキング処理・キャリア除去処理・エンハンス処理等のカメラ信号処理を行い、映像信号を出力する。センサ駆動信号発生部１０５は、駆動または制御を行うための信号を生成し、第１のCCD撮像部１０１＿１と第１のCDS/AD部１０２＿１と第２のCCD撮像部１０１＿２と第２のCDS/AD部１０２＿２と入力選択部１０３とカメラ信号処理部１０４とステレオ撮像制御部１０６に出力する。ステレオ撮像制御部１０６は、入力選択部１０３とカメラ信号処理部１０４とセンサ駆動信号発生部１０５の制御を行う。

図２は、本発明の第１実施例に係るステレオ撮像システムのCCD駆動パルスの一例を示す図である。図２において、２−Aは通常のCCD駆動パルスタイミング、２−Bは本実施例の第１のCCD撮像部１０１＿１であるカメラLと第２のCCD撮像部１０１＿２であるカメラRに対するCCD駆動パルスを示す。

図2において、VDは垂直方向の同期信号、HDは水平方向の同期信号、SUBは基板クロック信号、XSGnは通常の読み出しクロック信号、Vnは通常の垂直レジスタ転送クロック、XSGstLはカメラLに対する読み出しクロック信号、VstLはカメラLに対する垂直レジスタ転送クロック、XSGstRはカメラRに対する読み出しクロック信号、VstRはカメラRに対する垂直レジスタ転送クロックを示している。

本実施例のステレオ撮像システムに用いる図2の２−Bでは、図2の２−A：通常のCCD駆動パルスタイミングで示す駆動パルスと比較し、露光期間R1の後でカメラRのXSGstRとVstRの信号をマスク・パルスを固定している。このことにより、カメラRのVstRの信号をマスク・パルスを固定している間は、第２のCCD撮像部１０１＿２の垂直CCDに露光期間R1に撮像した電荷・信号を保持することができる。ゆえに、通常のCCD駆動パルスタイミングを用いた場合には、信号出力１のタイミングで出力する露光期間R1で撮影した信号出力のタイミングを、信号出力R1のタイミングにずらす・遅らせることが可能となる。すなわち、カメラLとカメラRで露光期間L1と露光期間R1で同時に露光したデータを、異なるタイミングで出力可能となる。この信号をマスク・パルスを固定する期間は、VDまたはXSGstLやXSGstRやFPなどのV系のパルスを用いることにより、1フィールドや1サンプリング周期を容易に実現可能である。また、カメラRに対し、SUBの信号はマスク・パルスを固定していない。これは、XSGstRをマスク・パルスを固定するために露光期間が長くなり電荷・信号がCCDの撮像素子からあふれる現象が生じ、画質が劣化する場合があることを、SUBの信号で電荷・信号を捨てることにより未然に防ぎ、画質の劣化を防止することができるようにするためである。また、図２にでは垂直レジスタ転送クロックを１つの信号として示しているが複数の垂直レジスタ転送クロックであってもよい。また、図２にではXSGstR後のVstRのパルス出力を１つとしているが、特に個数は限定しない。また、図2に示す信号の論理は、図と異なっていてもかまわない。また、SUBはカメラLとカメラRで異なったタイミングの信号をそれぞれに入力してもよいし、XSGstLとXSGstRはカメラLとカメラRで異なったタイミングの信号をそれぞれに入力してもよい。これにより、カメラRとカメラLで露光期間の重心のタイミングを合わせることができ、カメラLとカメラRの露光期間を異ならせた場合においても、露光期間R1の後でカメラRのXSGstRとVstRの信号をマスク・パルスを固定することによりカメラRの信号の出力タイミングをずらす・遅らせることが可能となる。

図３は、本発明の第１実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図である。図３において３Aは露光とデータ出力タイミング、図の３Bはカメラ信号処理部へのデータ入力タイミングを示す。

図2の２−B：本実施例のCCD駆動パルスタイミングを用いることにより、３A：露光とデータ出力タイミングに示すように、カメラLとカメラRで同時に露光したデータを異なるタイミングで出力可能となる。入力選択部では、３B：カメラ信号処理部へのデータ入力タイミングに示すように、カメラLとカメラRから異なるタイミングで出力される出力データのタイミングに合わせて選択する信号を切り替える。このような選択する信号の切り替え処理のタイミング制御は、ステレオ撮像制御部１０６からの制御信号やFP信号を用いることにより容易に実現可能である。また、上記した図2でカメラRのXSGstRとVstRの信号をマスク・パルスを固定する期間は、入力選択部１０３が第１のCCD撮像部１０１＿１であるカメラLが出力した第１のアナログ信号を用いて第１のCDS/AD部が出力した第１のデジタル信号を選択している期間としてもよい。入力選択処理部１０３でカメラLとカメラRの信号出力タイミングに応じた選択処理を行うことにより、図３の３B：カメラ信号処理部へのデータ入力タイミングに示すように、カメラ信号処理部１０４に対する入力信号を時分割で切り替えることができる。このことにより、同時露光した２つのCCD撮像部に対し、１つのカメラ信号処理手段で信号処理を行うことが可能となり、信号処理手部削減による低コスト化と、同時露光による高画質化及び撮像画像を用いて画像処理を行った場合の精度向上を実現可能である。また、第１のCCD撮像部１０１＿１と第２のCCD撮像部１０１＿２には、プログレッシブ読み出し可能なCCDを用いてもよい。プログレッシブ読み出しで秒６０枚のフレーム画像が出力可能なCCDを用いることにより、入力選択部１０３で二者択一の選択処理が行われるためにカメラ毎のカメラ信号処理部１０４への入力のレートが低下した場合においても、例えば、カメラLとカメラRで交互に選択された場合においても、インターレース読み出しのCCDを用いた場合と同様に、各々のカメラ毎に秒30枚のフレーム画像が得られることができる。

図４は、本発明の第１実施例に係るステレオ撮像システムの別の形態を示す模式図である。図４において、１０７＿１は第１のCDS/AGC/AD部、１０７＿２は第２のCDS/AGC/AD部、１０８は駆動信号加工処理部である。

図4は、図１の模式図と比較して、第１のCDS/AD部１０２＿１が第１のCDS/AGC/AD部１０７＿１へ、第２のCDS/AD部１０２＿２が第２のCDS/AGC/AD部１０７＿２へ変更されており、第１のCCD撮像部１０１＿１が出力する第１のアナログ信号と第２のCCD撮像部１０１＿２が出力する第２のアナログ信号に対し、それぞれ第１のCDS/AGC/AD部１０７＿１と第２のCDS/AGC/AD部１０７＿２でゲインコントロールが可能となっている。図4では、ゲインコントロールの制御を行うために、ステレオ撮像制御部１０４から、それぞれ第１のCDS/AGC/AD部１０７＿１と第２のCDS/AGC/AD部１０７＿２に対して制御信号が追加されている。さらに、図4は、図１の模式図と比較して、駆動信号加工処理部１０８を備えている。図1では、第１のCCD撮像部１０１＿１と第２のCCD撮像部１０１＿２に対し、センサ駆動信号発生部１０５が出力する信号を直接入力していた。このため、上記した駆動信号のマスク処理をセンサ駆動信号発生部１０５で行わなければならず、また2種類のセンサ駆動信号を出力しなければならないため、特殊なセンサ駆動信号発生部１０５を用いなければならなかった。本構成では、センサ駆動信号発生部１０５から出力される1種類の通常のCCD駆動パルスを駆動信号加工処理部１０８に入力し、駆動信号加工処理部１０８で分配処理やマスク処理を行ったセンサ駆動信号を第１のCCD撮像部１０１＿１と第２のCCD撮像部１０１＿２に対し出力する構成としている。このような分配処理・マスク処理を行う駆動信号加工処理部１０８は、FPGAを用いて容易に実現可能である。上記により、汎用のセンサ駆動信号発生部１０５を用いて、同時露光した２つのCCD撮像部に対し、１つのカメラ信号処理手段で信号処理を行うことが可能となる。さらに、図4は、図１の模式図と比較して、CDS/AGC/AD部への制御信号が駆動信号加工処理部１０８に入力されており、駆動信号加工処理部１０８で制御信号を加工し出力可能である。さらに、図4は、図１の模式図と比較して、第１のCDS/AGC/AD部１０７＿１と第２のCDS/AGC/AD部１０７＿２に対し、個別の制御信号がセンサ駆動信号発生部１０５から出力されている。CDS/AGC/AD部では、2種類のサンプリング信号を用いて相関2重サンプリング処理を行っているが、この処理にはアナログ信号の遅延が大きく影響するため、第１のCDS/AGC/AD部１０７＿１と第２のCDS/AGC/AD部１０７＿２に対し同じサンプリング信号で相関2重サンプリング処理を行った場合、第１のCCD撮像部１０１＿１と第１のCDS/AGC/AD部１０７＿１間の基板特性と、第２のCCD撮像部１０１＿２と第２のCDS/AGC/AD部１０７＿２間の基板の特性の差の影響を強く受け、画質の向上を図ることが難しい。図４に示すように、第１のCDS/AGC/AD部１０７＿１と第２のCDS/AGC/AD部１０７＿２に対し、センサ駆動信号発生部１０５から個別の制御信号を出力することにより、基板特性に応じたサンプリング信号の調整を行うことができ、画質の向上を図ることができる。また、上記駆動信号加工処理部１０８に入力される信号のうちマスク処理をしない信号については、センサ駆動信号発生部１０５から出力される信号を回路上で分配して、それぞれのCCD撮像部とCDS/AGC/AD部に入力してもよい。

かように本実施例によれば、同時露光後のCCD撮像部に対する垂直転送信号と読み出し信号をマスクし信号出力タイミングをずらし、信号出力タイミングに合わせてカメラ信号処理部への入力信号を選択することにより、同時露光した撮影データを１つのカメラ信号処理部でカメラ信号処理可能であり、低コスト化と、同時露光による高画質化及び撮像画像を用いて画像処理を行った場合のステレオ撮像の画像処理能力を向上させることができる。

図５は、本発明の第２実施例に係るステレオ撮像システムのCCD駆動パルスの一例を示す図である。図５において、H1とH2は水平レジスタ転送クロック、RGはリセットゲートクロック、OBPは黒の基準レベルサンプリング制御信号、PBLKはプリブランキング信号、CLKはクロック信号である。

図5では、上記カメラRのXSGstRとVstRの信号をマスク・パルスを固定する期間は、第２のCDS/AD部または第２のCDS/AGC/AD部に出力するOBPの信号をマスク・パルスを固定する。このことにより、第２の撮像部から撮像された信号が出力されない期間中に不正な信号を用いて第２のCDS/AD部または第２のCDS/AGC/AD部で黒の基準レベルをサンプリングすることがなくなり、画質を向上させることができる。

図5では、上記カメラRのXSGstRとVstRの信号をマスク・パルスを固定する期間は、第２のCCD撮像部に出力するH1とH2とRGの信号と、第２のCDS/AD部または第２のCDS/AGC/AD部に出力するPBLKとCLKの信号をマスク・パルスを固定する。必要のない信号をマスク・パルスを固定することにより、消費電力を低減することができる。また、図５に示す信号の論理は、図と異なっていてもかまわない。また、上記した信号のいくつかををマスクする形態でもよい。また、同様にして上記した入力選択部でカメラLが選択されていない場合に、第1のCCD撮像部と、第１のCDS/AD部または第１のCDS/AGC/AD部とに対する駆動パルス・制御信号をマスク・固定してもよい。

かように本実施例によれば、同時露光後のCCD撮像部に対する垂直転送信号と読み出し信号をマスクする場合に、CDS/AGC/AD部に対する黒の基準レベルサンプリング制御信号をマスクすることにより高画質化を、CCD撮像部に対する水平レジスタ転送クロックとリセットゲートクロックとCDS/AGC/AD部に対するプリブランキング信号とクロック信号をマスクすることにより低消費電力化を、実現することができる。

図６は、本発明の第３実施例に係るステレオ撮像システムを示す模式図である。図６において、１０９はシャッタ部である。

図６は、本発明の第1実施例の模式図である図１と比較して、シャッタ部１０９を持つ。シャッタ部１０９はセンサ駆動信号発生部１０５またはステレオ撮像制御部１０６からの信号を用いてシャッタ制御を行い第２のCCD撮像部１０２＿２に対する入射光を調整する。

図７は、本発明の第３実施例に係るステレオ撮像システムの露光とシャッタ開閉タイミングとデータ出力タイミングの一例を示す図である。

図７は、本発明の第１実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図３と比較して、シャッタ制御タイミングが追加されている。同時露光後のカメラRに対する垂直転送信号と読み出し信号をマスクすることにより垂直CCDに電荷・信号を保持している間に、第2のCCD撮像部に強い光が入射した場合、垂直CCDに電荷がもれこみノイズが発生する場合がある。本実施例では、垂直転送信号と読み出し信号をマスクしている期間、露光をしていない期間ではシャッタを閉じることにより、第2のCCD撮像部に入射する光をマスクする。このことにより、垂直CCDに電荷・信号を保持している間に強い光がカメラRに対し入射されてもノイズを発生させることを防ぐことができる。

かように本実施例によれば、垂直転送信号と読み出し信号をマスクすることにより垂直CCDに電荷・信号を保持している間に、シャッタを閉じることにより、入射光をさえぎることができ、ノイズを発生させず高画質の撮像を行うことができる。

図８は、本発明の第４実施例に係るステレオ撮像システムを示す模式図である。図８において１１０は記録部である。

図8は本発明の第1実施例の模式図である図１と比較して、記録部１１０を持つ。記録部１１０ではカメラ信号処理部１０４が出力する映像信号の記録処理を行う。第１のCCD撮像部１０１＿１で撮像された映像信号と比較して、第2のCCD撮像部１０１＿２で撮像された映像信号は、垂直転送信号と読み出し信号をマスクして垂直CCDに電荷・信号を保持している間にノイズの影響を受けるため、画質が劣化している場合がある。よって、記録部１１０で映像信号の記録を行う場合には、第１のCCD撮像部１０１＿１で撮像された映像信号を優先して記録を行うようにする。例えば、片方の映像信号のみを記録する場合には第１のCCD撮像部１０１＿１で撮像された映像信号記録する。このことにより、画質のよい映像を記録して残すことができる。例えば、片方の映像信号をすべて記録し片方の映像信号を間引いて記録する場合には、第１のCCD撮像部１０１＿１で撮像された映像信号をすべて記録し、第2のCCD撮像部１０１＿２で撮像された映像信号を間引いて記録する。データの間引きに関しては、記録部１１０で行ってもよいし、カメラ信号処理部１０４内部で間引きを行い記録部１１０に出力しない構成としてもよい。また、記録部１１０で映像信号を圧縮して記録する場合には、第１のCCD撮像部１０１＿１で撮像された映像信号の圧縮率を優先的に低くするようにすればよい。

かように本実施例によれば、垂直転送信号と読み出し信号をマスクして垂直CCDに電荷・信号を保持していないCCD撮像部で撮影した映像信号を優先的に記録することにより、高画質の映像を記録データとして残すことが可能となる。

図９は、本発明の第５実施例に係るステレオ撮像システムを示す模式図である。図９において１１０は画像処理部である。

図9は本発明の第１実施例に係るステレオ撮像システムの別の形態を示す模式図である図４と比較して、画像処理部１１１を持ち、また第４の実施例で説明した記録部１１０を持つ。画像処理部１１１では、ステレオ撮像された映像信号を用いて画像処理を行う。画像処理の結果、垂直転送信号と読み出し信号をマスクすることにより垂直CCDに電荷・信号を保持することをしていない第1のCCD撮像部１０１＿１で撮影した映像信号に問題が発生した場合、例えば第1のCCD撮像部１０１＿１の前に障害物があり後ろを撮影できないため画像処理や監視能力が低下した場合、には、垂直転送信号と読み出し信号をマスクすることにより垂直CCDに電荷・信号を保持することをしていないCCD撮像部を、第1のCCD撮像部１０１＿１から第２のCCD撮像部１０１＿２へと切り替える。これは、画像処理部１１１から、ステレオ撮像制御部１０６に対し制御信号を出力し、ステレオ撮像制御部１０６で、読み出し信号と垂直転送信号をマスクする対象と、黒の基準レベルサンプリング制御信号をマスクする対象と、水平転送信号とリセットゲートクロック信号をマスクする対象と、クロック信号をマスクする対象と、シャッタ部１０９が入射光をマスクする対象と、記録部１１０が優先して記録する映像信号と、を切り替えることで実現可能である。このことにより。画像処理や監視に好適な映像を撮影しているカメラを高画質で撮影、記録可能となる。この切り替えは、カメラLとカメラRの露光周期と同期して行ったり、記録部１１０でMPEG等の画面相関を用いた圧縮処理を行っている場合にはGOP周期と同期して行えばよい。また、画像処理部１１１で画像処理を行ったデータや画像を記録部１１０記録してもよい。また、本実施例により、高画質のカメラを任意に選択可能となるため、外部から入力される視聴者の利き目の情報を用いてカメラの選択が可能となり、視聴者の利き目に高画質の映像を入力することができる。

かように本実施例によれば、画像処理結果に応じて、垂直転送信号と読み出し信号をマスクして垂直CCDに電荷・信号を保持するカメラを切り替えることにより、好適な映像を撮像しているカメラで高画質の撮影ができ、画像処理や監視能力を向上することができる。

次に、３つの撮像部を用いたステレオ撮像方法について説明する。

図１０は、本発明の第６実施例に係るステレオ撮像システムを示す模式図である。図１０において、１００１＿１は第１のCCD撮像部、１００１＿２は第２のCCD撮像部、１００１＿３は第３のCCD撮像部、１００２＿１は第１のCDS/AGC/AD部、１００２＿２は第２のCDS/AGC/AD部、１００２＿３は第３のCDS/AGC/AD部、１００３は入力選択部、１００４はカメラ信号処理部、１００５はセンサ駆動信号発生部、１００６はステレオ撮像制御部、１００７は駆動信号加工処理部である。

ステレオ撮像システムにおいて、第１のCCD撮像部１００１＿１は、光電変換により撮像を行い、第１のアナログ信号を出力する。第１のCDS/AGC/AD部１００２＿１は、第１のCCD撮像部１００１＿１が出力する第１のアナログ信号に対し、相関2重サンプリングとステレオ撮像制御部１００６からの制御によるゲインコントロールとAD変換を行い第１のデジタル信号を出力する。第２のCCD撮像部１００１＿２は、光電変換により撮像を行い、第２のアナログ信号を出力する。第２のCDS/AGC/AD部１００２＿２は、第２のCCD撮像部１００１＿２が出力する第２のアナログ信号に対し、相関2重サンプリングとステレオ撮像制御部１００６からの制御によるゲインコントロールとAD変換を行い第２のデジタル信号を出力する。第３のCCD撮像部１００１＿３は、光電変換により撮像を行い、第３のアナログ信号を出力する。第３のCDS/AGC/AD部１００２＿３は、第３のCCD撮像部１００１＿３が出力する第３のアナログ信号に対し、相関2重サンプリングとステレオ撮像制御部１００６からの制御によるゲインコントロールとAD変換を行い第３のデジタル信号を出力する。入力選択部１００３は、第１のCDS/AGC/AD部１００２＿１が出力する第１のデジタル信号と第２のCDS/AGC/AD部１００２＿２が出力する第２のデジタル信号と第３のCDS/AGC/AD部１００２＿３が出力する第３のデジタル信号に対し、センサ駆動信号発生部１００５またはステレオ撮像制御部１００６からの制御信号を用いて選択処理を行い、デジタル信号を選択して出力する。カメラ信号処理部１００４は、入力選択部１００３が出力する選択されたデジタル信号に対し、フィルタ処理・デモザイキング処理・キャリア除去処理・エンハンス処理等のカメラ信号処理を行い、映像信号を出力する。センサ駆動信号発生部１００５は、駆動または制御を行うための信号を生成し、第１のCDS/AGC/AD部１００２＿１と第２のCDS/AGC/AD部１００２＿２と第３のCDS/AGC/AD部１００２＿３と入力選択部１００３とカメラ信号処理部１００４とステレオ撮像制御部１００６と駆動信号加工処理部１００７に出力する。ステレオ撮像制御部１００６は、第１のCDS/AGC/AD部１００２＿１と第２のCDS/AGC/AD部１００２＿２と第３のCDS/AGC/AD部１００２＿３と入力選択部１００３とカメラ信号処理部１００４とセンサ駆動信号発生部１００５の制御を行う。駆動信号加工処理部１００７は、センサ駆動信号発生部１００５から出力される1種類の通常のCCD駆動パルスに対し、分配処理やマスク処理を行ったセンサ駆動信号を第１のCCD撮像部１００１＿１と第２のCCD撮像部１００１＿２と第３のCCD撮像部１００１＿３に対し出力する。さらに、駆動信号加工処理部１００７は、センサ駆動信号発生部１００５から出力される制御パルスに対し、分配処理やマスク処理を行った制御パルスを第１のCDS/AGC/AD部１００２＿１と第２のCDS/AGC/AD部１００２＿２と第３のCDS/AGC/AD部１００２＿３に出力する。

図１１は、本発明の第６実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図である。図１１において、２Aは露光とデータ出力タイミング、２Bはカメラ信号処理部へのデータ入力タイミングを示す。

駆動信号加工処理部１００７で分配処理やマスク処理を行ったCCD駆動パルスを用いること、すなわち出力制御信号をマスクすること、により、２A：露光とデータ出力タイミングに示すように、カメラAとカメラBとカメラCで同時に露光したデータを異なるタイミングで出力可能となる。入力選択部１００３では、２B：カメラ信号処理部へのデータ入力タイミングに示すように、カメラAとカメラBとカメラCから異なるタイミングで出力される出力データのタイミングに合わせて選択する信号を切り替える。このような選択する信号の切り替え処理のタイミング制御は、ステレオ撮像制御部１００６からの制御信号やVD信号を用いることにより容易に実現可能である。入力選択処理部１００３においてカメラAとカメラBとカメラCの信号出力タイミングに応じた選択処理を行うことにより、図１１の２B：カメラ信号処理部へのデータ入力タイミングに示すように、カメラ信号処理部１００４に対する入力信号を時分割で切り替えることができる。このことにより、同時露光した３つのCCD撮像部に対し、１つのカメラ信号処理手段で信号処理を行うことが可能となり、信号処理手部削減による低コスト化と、同時露光による高画質化及び撮像画像を用いて画像処理を行った場合の精度向上を実現可能である。

かように本実施例によれば、同時露光後のCCD撮像部に対する出力制御信号をマスクし信号出力タイミングをずらし、信号出力タイミングに合わせてカメラ信号処理部への入力信号を選択することにより、３つの撮像部を用いた場合においても同時露光した撮影データを１つのカメラ信号処理部でカメラ信号処理可能であり、低コスト化と、同時露光による高画質化及び撮像画像を用いて画像処理を行った場合のステレオ撮像の画像処理能力を向上させることができる。

図１２は、本発明の第７実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図である。図１２において、３Aは露光とデータ出力タイミング、３Bはカメラ信号処理部へのデータ入力タイミングを示す。

本発明の第６実施例に係る図１１と比較して、図１２ではカメラAの露光が、カメラBとカメラCと同時露光した露光A1-1だけでなく、異なるタイミングの露光A1-2で行われデータ出力されている。図１２に示す方法を用いることにより、カメラAはカメラBやカメラCと比較して多くのを撮像を行うことが可能となり、カメラAの出力映像データの動解像度を向上することができる。各カメラのCCD撮像部にプログレッシブ読み出しで秒６０枚または５９．９４枚のフレーム画像が出力可能なCCDを用いた場合、入力選択部１００３で選択処理が行われるためにカメラ毎のカメラ信号処理部１００４への入力のレートが低下した場合においても、カメラAにおいては、インターレース読み出しのCCDを用いた場合と同様に秒30枚または２９．９７枚のフレーム画像が得られることができ、NTSC等の映像信号規格との親和性がよい。

出力制御信号をマスクして垂直CCDに電荷・信号を保持している間は、ノイズの影響を受けるため、画質が劣化している場合がある。よって、露光A1-2のデータ出力タイミングは、図１２の出力１に示すように露光B1のデータ出力の次とし露光A1-2のデータ出力のSNを優先しカメラAの画質の向上を図ってもよいし、図１２の出力２に示すように露光C1のデータ出力の次とし露光C1のデータ出力のSNを優先しステレオ撮像画像処理能力の向上を図ってもよい。どちらの場合においても、カメラAのデータ出力タイミングに関わらず、カメラAの露光間隔を均等に行うことが可能である。

かように本実施例によれば、３つの撮像部を用いた場合においても、複数のカメラと同時露光した露光と異なるタイミングで露光した撮像データを出力することにより、特定カメラにおいて多くの撮像を行うことができ、動解像度を向上させることができる。

図１３は、本発明の第８実施例に係るステレオ撮像システムの撮像部の位置関係を表す模式図である。図１３において、１３０１は第１の撮像部α、１３０２は第２の撮像部β、１３０３は第３の撮像部γである。

図１３に示すように、第１の撮像部α１３０１と第２の撮像部β１３０２のエピポーラ線をエピポーラ線１、第１の撮像部α１３０１と第３の撮像部γ１３０３のエピポーラ線をエピポーラ線２、第２の撮像部β１３０２と第３の撮像部γ１３０３のエピポーラ線をエピポーラ線３と定めた場合、エピポーラ線１とエピポーラ線２が交わる角度はθ１、エピポーラ線１とエピポーラ線３が交わる角度はθ２、エピポーラ線２とエピポーラ線３が交わる角度はθ３となる。このようなエピポーラ線を規定する際に、各撮像部の光軸が平行でない場合には、画像処理を行い補正を行ったエピポーラ線で行えばよい。

3つの撮像部を持つステレオ撮像システムでは、それぞれのエピポーラ線が交わる角度が90度に一番近い角度の角の撮像部、図１３では第１の撮像部α１３０１と、その他の２つの撮像部、図１３では第２の撮像部β１３０２と第３の撮像部γ１３０３の間で、ステレオ撮像画像処理を行うことが多い。すなわち、第１の撮像部α１３０１の撮影データと第２の撮像部β１３０２の撮影データでステレオ撮像画像処理を行い、また第１の撮像部α１３０１の撮影データと第３の撮像部γ１３０３の撮影データでステレオ撮像画像処理を行うことが多い。これは、ステレオ撮像画像処理では2つの画像間の対応点検索をエピポーラ線の方向で行うため、エピポーラ線がCCDの捜査方向と平行または直行しているほうが、処理速度、精度に関して好適であるためである。

出力制御信号をマスクして垂直CCDに電荷・信号を保持している間は、ノイズの影響を受けるため、画質が劣化している場合がある。よって、ステレオ撮像画像処理で2回データを使われる撮像部、図１３では第１の撮像部α１３０１を、前記第６実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図１１のカメラA、すなわち出力タイミングを遅らせないカメラとする。このことにより、ステレオ撮像画像処理で2回データを使われる撮像データの画質を優先することができ、ステレオ画像処理の精度を向上させることができる。

また、第７実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図１２のカメラＡでは撮像データを多く得られるため画面間の相関関係を用いて画像処理を行うことにより画質を向上することが可能である。よって、ステレオ撮像画像処理で2回データを使われる撮像部、図１３では第１の撮像部α１３０１を、前記第２実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図１２のカメラA、すなわち多くの撮像を行うカメラとする。このことにより、ステレオ撮像画像処理で2回データを使われる撮像データの画質を向上することができ、ステレオ画像処理の精度を向上させることができる。

かように本実施例によれば、３つの撮像部を用いた場合において、エピポーラ線が交わる角度が90度に一番近い角度の角の撮像部の出力を優先したり、エピポーラ線が交わる角度が９０度に一番近い角度の角の撮像部の撮像を多く行うことにより、ステレオ画像処理の精度を向上させることができる。

図１４は、本発明の第９実施例に係るステレオ撮像システムを表す模式図である。本発明の第６実施例に係るステレオ撮像システムを示す図１０と比較して、画像処理部１０８を持つ。

図１４に示すように、カメラ信号処理部１０４から出力された映像信号は、画像処理部１０８に入力され、画像処理部１０８では、ステレオ画像処理、例えば、前処理としてガウシアンを用いたLPF処理や、特徴点検出処理としてSobelフィルタやPrewittフィルタやKirschフィルタを用いたエッジ検出処理やラプラシアンフィルタ処理やMoravecオペレータやHarrisオペレータやSUSANオペレータを用いたコーナ検出処理や、対応点検索処理として差分絶対値和処理や正規化相互相関処理や、視差から距離を求める処理や、後処理として特異点除去処理が行われる。画像処理部１０８の処理結果は、ステレオ撮像制御部１０６に出力され、ステレオ撮像制御部１０６では画像処理部１０８の処理結果に応じてステレオ撮像部の制御が可能な構成となっている。

図１５は、本発明の第９実施例に係るカメラ制御のアルゴリズムを示す図である。
前記第６実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図１１のカメラAに関しては、本発明の第８実施例に示す方法で決定してもよいし、ユーザーにより指定されてもよい。画像処理部１０８ではカメラ制御を行うために、図１５の１５０１で、カメラAとカメラβのエピポーラ線方向Aβの特徴量N１、例えばある強度以上のエッジの数などの演算/評価を行う。次に図１５の１５０２では、カメラAとカメラγのエピポーラ線方向Aγの特徴量N２の演算/評価を行う。図１５の１５０３では、１５０１と１５０２で演算した特徴量の比較を行う。エピポーラ線方向Aβの特徴量N１がエピポーラ線方向Aγの特徴量N２よりも大きい場合（N1＞＞N2）、図１５の１５０４のように、カメラβを前記第１実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図１１または前記第７実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図１２のカメラBとする。エピポーラ線方向Aβの特徴量N１がエピポーラ線方向Aγの特徴量N２よりも小さい場合（N1＜＜N2）、図１５の１５０５のように、カメラγを前記第６実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図１１または前記第７実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図１２のカメラBとする。出力制御信号をマスクして垂直CCDに電荷・信号を保持している間は、ノイズの影響を受けるため、画質が劣化している場合がある。よって、特徴量の多いカメラをカメラBし、垂直CCDで保持する期間を短くすることにより、特徴量の多いエピポーラ線の方向の画像処理をSN良く行うことができる。また、図１５の１５０６に示すように、エピポーラ線の方向Aβの特徴量N１とエピポーラ線の方向Aγの特徴量N２と同程度の場合（N1≒N2）、カメラβとカメラγを交互にカメラBとしてやればよい。このことにより、どちらのエピポーラ線の方向の画像処理をSN良くおこなうことができる。図１５の１５０４から１５０６に示すカメラBの選択結果は、図１５の１５０７で画像処理部１０８から、ステレオ撮像制御部１０６に通知され、ステレオ撮像制御部１０６でカメラBの選択処理を駆動信号の制御を行うことにより実現すればよい。

かように本実施例によれば、各エピポーラ線の方向の特徴量を演算し、特徴量の多いエピポーラ線の方向のカメラから優先して撮像データを出力させることにより、特徴量の多いエピポーラ線の方向の画像処理をSN良く行うことができ、ステレオ撮像画像処理を用いた距離計測の精度を向上させることが可能となる。

図１６は、本発明の第１０実施例に係るステレオ撮像システムを表す模式図である。本発明の第９実施例に係るステレオ撮像システムを示す図１４と比較して、記録部１０９を持つ。

図１６に示すように、カメラ信号処理部１０４から出力された映像信号は、記録部１０９に入力され、記録部１０９では、映像信号すなわち画像データの記録を行う。記録部１０９で画像データの記録を行う際に、画像処理部１０８で行った画像処理結果を画像処理部１０８から記録部１０９に入力し、画像データとリンクして記録を行ってもよい。

図１７は、本発明の第１０実施例に係る記録制御のアルゴリズムを示す図である。

記録部１０９では、画像データの記録を行うために記録データの選択制御を行う。図１７の１７０１では、通常時か非常時かの判定を行う。このような判定に用いる情報は、外部から入力されてもよいし、画像処理１０８の画像処理結果、例えば、侵入者の有無や被写体距離、を用いればよい。図１７の１７０１の判定の結果、通常時と判定された場合においては、単一のカメラの映像、例えば一番画質のよいカメラAの映像の記録を行う。図１７の１７０１の判定の結果、非常時と判定された場合においては、複数のカメラの映像の記録を行う。複数のカメラの映像の記録の方法としては、図１７の１７０４に示すように全部のカメラ、すなわちカメラAとカメラBとカメラCの画像データを記録してもよいし、図１７の１７０５に示すように全部のカメラで略等しいタイミングで露光した画像のみ記録してもよいし、図１７の１７０６に示すようにエピポーラ線の方向の特徴量の多い組のカメラの画像を記録すればよい。このような記録方法の選択は図１７０３で行われ、外部入力からの情報を用いて決定してもよいし、画像処理１０８の画像処理結果を用いた非常事態の強弱の判定によって決定してもよい。また、各カメラの画像データの記録時には、一定の間隔で間引きを行ったデータを記録し、記録データ量や記録帯域の削減を図っても良い。このように、非常時には複数のカメラの画像データを記録することにより、後でもう一度画像処理を行うことが可能となり、通常のリアルタイムの画像処理を実現するためのアルゴリズムを用いた画像処理と異なるアルゴリズムで時間をかけて画像処理をすることができる。すなわち、リアルタイム性を優先した簡易アルゴリズムでなく、時間はかかるが高性能な画像処理アルゴリズムを用いて、画像処理を行うことができ、非常事態発生時の画像処理結果の精度、例えば被写体の大きさの精度、を向上することが可能できる。このような、記録データを用いた再度の画像処理は、本実施例に示すステレオ撮像システムでなく、画像データをPCやWSにコピーし、PCやWSで行っても良い。また、画像処理１０８の画像処理結果を用いて非常時の判定を行った際に、判定が間違っていた場合（例えば、犬を間違えて人間と検出し、非常時でないのに非常時と判定してしまった）においても、記録した画像データを用いてアルゴリズムの検証を行うことができるため、誤検出不具合解析に役立つことができ、長期的に見てステレオ画像処理システムの信頼性を向上させることができる。

かように本実施例によれば、非常時には複数のカメラの映像を記録することにより、後で記録した画像を用いて再度ステレオ画像処理を行うことが可能であり、より精度の高い画像処理をおこなうことができ、監視システムのセンシング手段としての好適である。

図１８は、本発明の第１１実施例に係るステレオ撮像システムを表す模式図である。本発明の第１０実施例に係るステレオ撮像システムを示す図１６と比較して、第１のCCD撮像部１０１＿１、第２のCCD撮像部１０１＿２、第３のCCD撮像部１０１＿３、第１のCDS/AGC/AD部１０２＿１、第２のCDS/AGC/AD部１０２＿２、第３のCDS/AGC/AD部１０２＿３のかわりに、第１の撮像部１８０１＿１、第２の撮像部１８０１＿２、第３の撮像部１８０１＿３を持つ。

図１８において、第１の撮像部１８０１＿１、第２の撮像部１８０１＿２、第３の撮像部１８０１＿３は、ＣＭＯＳ型撮像素子を用いて構成されていてもよい。ＣＭＯＳ型撮像素子においても、各画素ごとにFDアンプをもつことにより、全画素同時にFDアンプに信号を読み出すことができ、いわゆるグローバルシャッタができ、各撮像部で略等しいタイミングで露光を行うことができる。各撮像部に対する信号読み出しののタイミングを異ならせ、FDアンプに信号を保持することにより、ＣＭＯＳ型撮像素子を用いた場合においても、同時露光した撮影データを１つのカメラ信号処理部でカメラ信号処理可能である。

かように本実施例によれば、撮像手段にＣＭＯＳ型撮像素子を用いた場合においても、FDアンプに信号を保持することにより各撮像手段の信号出力のタイミングを異ならせ、信号出力タイミングに合わせてカメラ信号処理部への入力信号を選択することにより、同時露光した撮影データを１つのカメラ信号処理部でカメラ信号処理可能であり、低コスト化と、同時露光による高画質化及び撮像画像を用いて画像処理を行った場合のステレオ撮像の画像処理能力を向上させることができる。

以上の実施例６〜１１において、３つの撮像部を用いるステレオ撮像について説明したが、これを４つ以上の撮像部を用いる場合にも適用することは可能である。また、２つの撮像部を可動に構成し（例えば回転）、３つ以上の撮像部を用いるステレオ撮像と同様の制御をすることも可能である。

本発明の第１実施例に係るステレオ撮像システムを示す模式図である。 本発明の第１実施例に係るステレオ撮像システムのCCD駆動パルスの一例を示す図である。 本発明の第１実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図である。 本発明の第１実施例に係るステレオ撮像システムの別の形態を示す模式図である。 本発明の第２実施例に係るステレオ撮像システムのCCD駆動パルスの一例を示す図である。 本発明の第３実施例に係るステレオ撮像システムを示す模式図である。 本発明の第３実施例に係るステレオ撮像システムの露光とシャッタ開閉タイミングとデータ出力タイミングの一例を示す図である。 本発明の第４実施例に係るステレオ撮像システムを示す模式図である。 本発明の第５実施例に係るステレオ撮像システムを示す模式図である。 本発明の第６実施例に係るステレオ撮像システムを示す模式図である。 本発明の第６実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図である。 本発明の第７実施例に係るステレオ撮像システムの露光と信号処理タイミングの一例を示す図である。 本発明の第８実施例に係るステレオ撮像システムの撮像部の位置関係を表す模式図である。 本発明の第９実施例に係るステレオ撮像システムを示す模式図である。 本発明の第９実施例に係るカメラ制御のアルゴリズムを示す図である。 本発明の第１０実施例に係るステレオ撮像システムを示す模式図である。 本発明の第１０実施例に係る記録制御のアルゴリズムを示す図である。 本発明の第１１実施例に係るステレオ撮像システムを示す模式図である。

符号の説明

１０１＿１ 第１のCCD撮像部
１０１＿２ 第２のCCD撮像部
１０２＿１ 第１のCDS/AD部
１０２＿２ 第２のCDS/AD部
１０３ 入力選択部
１０４ カメラ信号処理部
１０５ センサ駆動信号発生部
１０６ ステレオ撮像制御部
１０７＿１ 第１のCDS/AGC/AD部
１０７＿２ 第２のCDS/AGC/AD部
１０８ 駆動信号加工処理部
１０９ シャッタ部
１１０ 記録部
１１１ 画像処理部
１００１＿１ 第１のCCD撮像部
１００１＿２ 第２のCCD撮像部
１００１＿３ 第３のCCD撮像部
１００２＿１ 第１のCDS/AGC/AD部
１００２＿２ 第２のCDS/AGC/AD部
１００２＿３ 第３のCDS/AGC/AD部
１００３ 入力選択部
１００４ カメラ信号処理部
１００５ センサ駆動信号発生部
１００６ ステレオ撮像制御部
１００７ 駆動信号加工処理部
１００８ 画像処理部
１００９ 記録部
１３０１ 第１の撮像部α
１３０２ 第２の撮像部β
１３０３ 第３の撮像部γ
１８０１＿１ 第１の撮像部
１８０１＿２ 第２の撮像部
１８０１＿３ 第３の撮像部

Claims (22)

1. 複数の撮像手段と、
   該複数の撮像手段を駆動する駆動手段と、
   該複数の撮像手段の出力データをカメラ信号処理するカメラ信号処理手段と、
   該複数の撮像手段が略等しいタイミングで露光し、異なるタイミングでデータ出力するように該駆動手段を制御する制御手段と、
   を備えることを特徴とする撮像装置。
2. 撮像を行う第１のCCD撮像手段と、
   該第１のCCD撮像手段が出力する信号に対し相関2重サンプリングとAD変換を行いデジタル信号を出力する第１のCDS/AD手段と、
   撮像を行う第２のCCD撮像手段と、
   該第２のCCD撮像手段が出力する信号に対し相関2重サンプリングとAD変換を行いデジタル信号を出力する第２のCDS/AD手段と、
   該第１のCDS/AD手段と該第２のCDS/AD手段が出力する各々のデジタル信号の選択処理を行い片方のデジタル信号を選択して出力する入力選択手段と、
   該入力選択手段が出力するデジタル信号に対しカメラ信号処理を行い映像信号を出力するカメラ信号処理手段と、
   該第１のCCD撮像手段と該第１のCDS/AD手段と該第２のCCD撮像手段と該第２のCDS/AD手段と該入力選択手段と該カメラ信号処理手段とステレオ撮像制御手段に駆動または制御を行うための信号を生成し出力するセンサ駆動パルス発生手段と、
   該入力選択手段と該カメラ信号処理手段と該センサ駆動パルス発生手段の制御を行うステレオ撮像制御手段と、
   を備え、
   前記第２のCCD撮像手段を駆動するための前記センサ駆動パルス手段が出力する読み出し信号と垂直転送信号をマスクし垂直ＣＣＤに信号を保持することにより、前記第２のCCD撮像手段の撮像データの出力タイミングを遅らせること、
   を特徴とする撮像装置
3. 撮像を行う第１のCCD撮像手段と、
   該第１のCCD撮像手段が出力する信号に対し相関2重サンプリングとゲインコントロールとAD変換を行いデジタル信号を出力する第１のCDS/AGC/AD手段と、
   撮像を行う第２のCCD撮像手段と、
   該第２のCCD撮像手段が出力する信号に対し相関2重サンプリングとゲインコントロールとAD変換を行いデジタル信号を出力する第２のCDS/AGC/AD手段と、
   該第１のCDS/AGC/AD手段と該第２のCDS/AGC/AD手段が出力する各々のデジタル信号の選択処理を行い片方のデジタル信号を選択して出力する入力選択手段と、
   該入力選択手段が出力するデジタル信号に対しカメラ信号処理を行い映像信号を出力するカメラ信号処理手段と、
   駆動信号加工処理手段と該第１のCDS/AGC/AD手段と該第２のCDS/AGC/AD手段と該入力選択手段と該カメラ信号処理手段とステレオ撮像制御手段に駆動または制御を行うための信号を生成し出力するセンサ駆動パルス発生手段と、
   該センサ駆動パルス発生手段が出力するセンサ駆動パルスとCDS/AGC/AD手段制御パルスに対し分配やマスク処理を行う駆動信号加工処理手段と、
   該第１のCDS/AGC/AD手段と該第２のCDS/AGC/AD手段と該入力選択手段と該カメラ信号処理手段と該センサ駆動パルス発生手段の制御を行うステレオ撮像制御手段と、
   を備え、
   前記センサ駆動パルス発生手段が出力するセンサ駆動パルスに対し、駆動信号加工処理手段で前記第２のCCD撮像手段に出力する読み出し信号と垂直転送信号をマスクし垂直ＣＣＤに信号を保持することにより、撮像データの出力タイミングを異ならせること、
   を特徴とする撮像装置
4. 請求項２または３に記載の撮像装置において、
   前記センサ駆動パルス手段が出力する読み出し信号と垂直転送信号をマスクする期間は、
   前記信号選択手段が前記第１のCDS/AD手段または前記第１のCDS/AGC/AD手段が出力する信号を選択している期間であること、
   を特徴とする撮像装置
5. 請求項２乃至４のいずれかに記載の撮像装置において、
   前記センサ駆動パルス手段が出力する読み出し信号と垂直転送信号をマスクする期間に、
   前記センサ駆動パルス発生手段が前記第２のCDS/AD手段または前記第２のCDS/AGC/AD手段に対して出力する黒の基準レベルサンプリング制御信号もマスクすること、
   を特徴とする撮像装置
6. 請求項２乃至５のいずれかに記載の撮像装置において、
   前記センサ駆動パルス手段が出力する読み出し信号と垂直転送信号をマスクする期間に、
   前記センサ駆動パルス手段が第２のCCD撮像手段に出力する水平転送信号とリセットゲートクロック信号と、前記センサ駆動パルス発生手段が前記第２のCDS/AD手段または前記第２のCDS/AGC/AD手段に対して出力するクロック信号とプリブランキング信号と、をマスクすること、
   を特徴とする撮像装置
7. 請求項２乃至６のいずれかに記載の撮像装置において、
   前記撮像手段は光の遮光を行うシャッタ手段を有し、
   前記センサ駆動パルス手段が出力する読み出し信号と垂直転送信号をマスクする期間に、
   該シャッタ手段を用いて第２のCCD撮像手段に対する入射光を遮光すること、
   を特徴とする撮像装置
8. 請求項２乃至７のいずれかに記載の撮像装置において、
   前記撮像手段は映像データの記録を行う記録手段を有し、
   該記録手段で前記カメラ信号処理手段が出力する映像信号を記録する場合に、
   前記第１のCCD撮像手段が撮影した映像を優先して記録すること、
   を特徴とする撮像装置
9. 請求項２乃至８のいずれかに記載の撮像装置において、
   前記撮像手段は画像処理を行う画像処理手段を有し、
   該画像処理手段の画像処理結果により、
   前記センサ駆動パルス手段が出力する読み出し信号と垂直転送信号をマスクする対象を前記第１のCCD撮像手段と前記第２のCCD撮像手段で切り替えること、
   を特徴とする撮像装置
10. 請求項５乃至８のいずれかに記載の撮像装置において、
    前記撮像手段は画像処理を行う画像処理手段を有し、
    該画像処理手段の画像処理結果により、
    前記センサ駆動パルス手段が出力する黒の基準レベルサンプリング制御信号をマスクする対象を前記第１のCDS/AD手段または前記第１のCDS/AGC/AD手段と前記第２のCDS/AD手段または前記第２のCDS/AGC/AD手段で切り替えること、
    を特徴とする撮像装置
11. 請求項６乃至８のいずれかに記載の撮像装置において、
    前記撮像手段は画像処理を行う画像処理手段を有し、
    該画像処理手段の画像処理結果により、
    前記センサ駆動パルス手段が出力する水平転送信号とリセットゲートクロック信号をマスクする対象を前記第１のCCD撮像手段と前記第２のCCD撮像手段で切り替えること、
    前記センサ駆動パルス手段が出力するクロック信号とプリブランキング信号をマスクする対象を前記第１のCDS/AD手段または前記第１のCDS/AGC/AD手段と前記第２のCDS/AD手段または前記第２のCDS/AGC/AD手段で切り替えること、
    を特徴とする撮像装置
12. 請求項７乃至８のいずれかに記載の撮像装置において、
    前記撮像手段は画像処理を行う画像処理手段を有し、
    該画像処理手段の画像処理結果により、
    前記シャッタ手段が入射光を遮光する対象を前記第１のCCD撮像手段と前記第２のCCD撮像手段で切り替えること、
    を特徴とする撮像装置
13. 請求項８記載の撮像装置において、
    前記撮像手段は画像処理を行う画像処理手段を有し、
    該画像処理手段の画像処理結果により、
    前記記録手段が優先して記録する映像信号を前記第１のCCD撮像手段が撮影した映像と前記第２のCCD撮像手段が撮影した映像で切り替えること、
    を特徴とする撮像装置
14. 撮像を行う複数の撮像手段と、
    該撮像手段の駆動を行うセンサ駆動信号発生手段と、
    該撮像手段が出力する撮像データのカメラ信号処理を行うカメラ信号処理手段と、
    を備え、
    前記複数の撮像手段が同時に露光を行い、前記センサ駆動信号発生手段が各々の前記撮像手段からの撮像データの出力タイミングを異ならせることにより、
    複数の撮像手段が出力する映像データを撮像手段より少ない数のカメラ信号処理手段でカメラ信号処理を行うこと、
    を特徴とする撮像装置
15. 撮像を行う第１のCCD撮像手段と、
    該第１のCCD撮像手段が出力する信号に対し相関2重サンプリングとゲインコントロールとAD変換を行いデジタル信号を出力する第１のCDS/AGC/AD手段と、
    撮像を行う第２のCCD撮像手段と、
    該第２のCCD撮像手段が出力する信号に対し相関2重サンプリングとゲインコントロールとAD変換を行いデジタル信号を出力する第２のCDS/AGC/AD手段と、
    撮像を行う第３のCCD撮像手段と、
    該第３のCCD撮像手段が出力する信号に対し相関2重サンプリングとゲインコントロールとAD変換を行いデジタル信号を出力する第３のCDS/AGC/AD手段と、
    該第１のCDS/AGC/AD手段と該第２のCDS/AGC/AD手段と該第３のCDS/AGC/AD手段が出力する各々のデジタル信号の選択処理を行いいずれかのデジタル信号を選択して出力する入力選択手段と、
    該入力選択手段が出力するデジタル信号に対しカメラ信号処理を行い映像信号を出力するカメラ信号処理手段と、
    駆動信号加工処理手段と該第１のCDS/AGC/AD手段と該第２のCDS/AGC/AD手段と該第３のCDS/AGC/AD手段と該入力選択手段と該カメラ信号処理手段とステレオ撮像制御手段に駆動または制御を行うための信号を生成し出力するセンサ駆動パルス発生手段と、
    該センサ駆動パルス発生手段が出力するセンサ駆動パルスとCDS/AGC/AD手段制御パルスに対し分配やマスク処理を行う駆動信号加工処理手段と、
    該第１のCDS/AGC/AD手段と該第２のCDS/AGC/AD手段と該第３のCDS/AGC/AD手段と該入力選択手段と該カメラ信号処理手段と該センサ駆動パルス発生手段の制御を行うステレオ撮像制御手段と、
    を備え、
    前記センサ駆動パルス発生手段が出力するセンサ駆動パルスに対し、駆動信号加工処理手段で前記第２のCCD撮像手段と前記第３のCCD撮像手段に出力する出力制御信号をマスクし垂直ＣＣＤに信号を保持することにより、撮像データの出力タイミングを異ならせること、
    を特徴とする撮像装置
16. 撮像を行う第１のCCD撮像手段と、
    該第１のCCD撮像手段が出力する信号に対し相関2重サンプリングとゲインコントロールとAD変換を行いデジタル信号を出力する第１のCDS/AGC/AD手段と、
    撮像を行う第２のCCD撮像手段と、
    該第２のCCD撮像手段が出力する信号に対し相関2重サンプリングとゲインコントロールとAD変換を行いデジタル信号を出力する第２のCDS/AGC/AD手段と、
    撮像を行う第３のCCD撮像手段と、
    該第３のCCD撮像手段が出力する信号に対し相関2重サンプリングとゲインコントロールとAD変換を行いデジタル信号を出力する第３のCDS/AGC/AD手段と、
    該第１のCDS/AGC/AD手段と該第２のCDS/AGC/AD手段と該第３のCDS/AGC/AD手段が出力する各々のデジタル信号の選択処理を行いいずれかのデジタル信号を選択して出力する入力選択手段と、
    該入力選択手段が出力するデジタル信号に対しカメラ信号処理を行い映像信号を出力するカメラ信号処理手段と、
    駆動信号加工処理手段と該第１のCDS/AGC/AD手段と該第２のCDS/AGC/AD手段と該第３のCDS/AGC/AD手段と該入力選択手段と該カメラ信号処理手段とステレオ撮像制御手段に駆動または制御を行うための信号を生成し出力するセンサ駆動パルス発生手段と、
    該センサ駆動パルス発生手段が出力するセンサ駆動パルスとCDS/AGC/AD手段制御パルスに対し分配やマスク処理を行う駆動信号加工処理手段と、
    該第１のCDS/AGC/AD手段と該第２のCDS/AGC/AD手段と該第３のCDS/AGC/AD手段と該入力選択手段と該カメラ信号処理手段と該センサ駆動パルス発生手段の制御を行うステレオ撮像制御手段と、
    を備え、
    該第１のCCD撮像手段と該第２のCCD撮像手段と該第３のCCD撮像手段が略等しいタイミングで露光し、前記センサ駆動パルス発生手段が出力するセンサ駆動パルスに対し、駆動信号加工処理手段で前記第２のCCD撮像手段と前記第３のCCD撮像手段に出力する出力制御信号をマスクし垂直ＣＣＤに信号を保持することにより、撮像データの出力タイミングを異ならせる場合に、
    上記略等しいタイミングと異なるタイミングで露光した撮像データも出力すること、
    を特徴とする撮像装置
17. 請求項１５記載の撮像装置において、
    撮像データの出力タイミングを遅らせるのは、
    該第１のCCD撮像手段と該第２のCCD撮像手段と該第３のCCD撮像手段のそれぞれのエピポーラ線が交わる角度が直角に近い角以外の撮像手段であること、
    を特徴とする撮像装置
18. 請求項１６記載の撮像装置において、
    異なるタイミングで露光を行うのは、
    該第１のCCD撮像手段と該第２のCCD撮像手段と該第３のCCD撮像手段のそれぞれのエピポーラ線が交わる角度が直角に近い角の撮像手段であること、
    を特徴とする撮像装置
19. 請求項１５乃至１８のいずれかに記載の撮像装置において、
    前記カメラ信号処理手段が出力する映像データの画像処理を行う画像処理手段を有し、
    該画像処理手段で、異なるタイミングで露光を行う撮像手段の映像データの各エピポーラ線の方向の特徴量を演算し、特徴量の多いエピポーラ線の方向にある撮像手段から優先して撮像データを出力させること、
    を特徴とする撮像装置
20. 請求項１５乃至１９のいずれかに記載の撮像装置において、
    前記撮像装置は映像データの記録を行う記録手段を有し、
    該記録手段で前記カメラ信号処理手段が出力する映像信号を記録する場合に、
    通常時は異なるタイミングで露光を行う撮像手段の映像データの記録を行い、非常時にはすべての撮像手段の映像データを記録すること、
    を特徴とする撮像装置
21. 請求項１５乃至２０のいずれかに記載の撮像装置において、
    撮像手段に、ＣＭＯＳ型撮像手段を用いること、
    を特徴とする撮像装置
22. 請求項１において、
    前記複数の撮像手段から異なるタイミングで出力される信号に対してカメラ信号処理をする共通の信号処理手段を備えること
    を特徴とする撮像装置。
    

Images