JP2006203448A - 車載ステレオカメラ装置 - Google Patents

Abstract

【課題】撮像した複数の画像データが画像処理ＬＳＩに伝播される際に発生しうるタイミングのずれ（水平方向の画素ずれ）をなくすこと。
【解決手段】被写体からの光の情報を画像データに順次生成する複数の撮像手段６０１，６０２と、複数の撮像手段によって生成されるそれぞれの画像データを取り込んでそれぞれの画像処理を行った後にステレオ画像処理演算６１６を行なう画像処理手段６０３と、を備えた車載ステレオカメラ装置であって、画像処理手段６０３に入力される各画像データＡ，Ｂと各画像データを取り込み且つ画像処理するクロック信号６０８、６０９とを同期させることにより、複数の撮像手段６０１，６０２からの画像データＡ，Ｂの水平方向の画素ずれをなくしてステレオ画像処理演算６１６することで、精度の高いステレオマッチング処理を実現する。
【選択図】図１

Description

本発明は、ステレオカメラ装置およびステレオ画像処理技術に係り、特に、ステレオ画像処理における撮像タイミングと画像入力のタイミングを調整するステレオカメラ装置に関する。

２台の撮像手段を用いて写し出した一対の画像を用いて、対象物の距離を算出し、距離算出によって対象物の認識を行なうステレオカメラ装置が、不審者の侵入や異常を検知する監視システムや車の安全走行を支援する車載システムなどに適用され始めている。

上述の監視システムや車載システムで利用されるステレオ画像処理は、位置間隔をあけて撮像された一対の撮像画像に対して三角測量技術を適用して距離を求めるというものであり、このステレオ画像処理装置は、一対の撮像手段と、これらの撮像手段が出力する一対の撮像画像に対して三角測量処理を適用するステレオ画像処理ＬＳＩと、を備えているのが一般的である。このステレオ画像処理ＬＳＩは、一対の画像に含まれる画素情報を重ね合わせて２つの画像の一致した位置を求めるという処理を行なうことによって、三角測量処理を実現する。そのため、一対の画像間には視差以外のずれがないことが理想的であり、各々の撮像手段ごとに、光学特性や信号特性のずれがないよう調整する必要がある。

特に、車載環境においては、たとえば前方車両や人間、障害物などの検知を行ない、事前に安全に対処する、といったアプリケーション要求があるために、遠距離対象物の距離計測、認識を確実に実現する必要がある。

一般的に、ステレオカメラ装置では、対象物が遠距離になるほど、上述した視差以外のずれがないことが要求される。図１１はステレオカメラ装置の一般的な構成と機能を示す図である。図１１において、δは視差、Ｚは計測距離、ｆは焦点距離、ｂは基線長をそれぞれ表し、これらの間には次式で示すような関係が成り立つ。

Ｚ＝ｂｆ／δ …（１）
式（１）を利用し、たとえば車載環境での使用を目的として、距離計測要求に１００ｍを想定したとき（Ｚ＝１００ｍ：１００ｍ前方の対象物の距離計測）、撮像した画像データが画像処理ＬＳＩに伝播されるタイミングにずれが発生して、２枚の画像間に図２２に示すような１画素の水平方向のずれが生じると、どのくらいの距離計測精度の悪化が発生するかについて簡単に説明する。ここで、図１２はステレオカメラ装置で撮像された画像データ間に画素ずれが生じた場合の説明図である。

まず、一般的なステレオカメラ装置の構成条件から、式（１）に代入するＺ以外のパラメータ値として、ｆ＝１０ｍｍ、ｂ＝３５０ｍｍとし、使用する撮像素子を、１／４インチ、３８万画素のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）のイメージセンサとする。これらのパラメータ値を式（１）に代入すると、１００ｍ前方の対象物の距離計測を行なう際に、図１２に示すような１画素の水平方向のずれが生じると、約２０ｍの距離計測精度の悪化が発生し得る。

この距離計測の結果は、１００ｍの距離計測要求精度に対して許容できる範囲ではなく、そのため、上述したパラメータ値のもとでステレオカメラ装置を利用する際には、撮像した画像データが画像処理ＬＳＩに伝播される際に発生し得るタイミングに、ずれ（水平方向の画素ずれ）が発生しないように設計する必要がある。さらに、車載システムでステレオ画像処理システムを利用する場合、小型化、低価格化と高信頼性も要求される。

また、画像を撮像するタイミングに関しても、車載環境においては移動している状況で撮像されることになるため、ずれが発生しないように配慮する必要がある。

上述したずれに対して、従来技術では次のような対策が取られてきた。まず、撮像した画像データが画像処理ＬＳＩに伝播される際に発生し得るタイミングのずれ（水平方向の画素ずれ）に対しては、図１３の構成例に示すように、各撮像手段３０１，３０２と、それらの出力する画像を処理する画像処理ＬＳＩ３０３との間の信号線の長さを等しくする、いわゆる等長配線による手法で対応するのが一般的である。ここで、図１３はステレオカメラ装置における各撮像手段と画像処理ＬＳＩ間の等長配線による構成を示す図である。

図１３に示す構成例では、撮像手段Ａ３０１と撮像手段Ｂ３０２に対する撮像タイミングは、外部のタイミングジェネレータ（ＴＧ：Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）３０７によって生成した共通の撮像指示信号３０６に基づいて決定され、それぞれの撮像手段３０１，３０２によって撮像された画像データは、画像処理ＬＳＩ内で同一のクロック信号３０８で取り込まれる。取り込まれた画像データは、一旦、ＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）３０９によってメモリ３１０に転送され、その後、任意のタイミングで両方の画像データがメモリ３１０から読み出されて、ステレオ画像処理が適用される。

この際、撮像手段Ａ３０１とタイミングジェネレータ３０７の間の信号（撮像制御信号３０６）の配線長と、撮像手段Ｂ３０２とタイミングジェネレータ３０７の間の信号（撮像制御信号３０６）の配線長を等しくすることで、撮像タイミングと撮像手段が画像を転送するタイミングにずれが発生しないようにする。また、撮像手段Ａ３０１と画像処理ＬＳＩ３０３との間の信号（画像データ信号３０４）の配線長と、撮像手段Ｂ３０２と画像処理ＬＳＩ３０３との間の信号（画像データ信号３０５）の配線長を等しくすることで、水平方向の画素ずれが発生しないようにする。

しかしながら、図１３に示す方法では、配線した信号にノイズや波形なまりが発生したときに、撮像手段Ａのデータ信号線３０４と撮像手段Ｂのデータ信号線３０５にずれが発生する可能性がある。特に、車載環境においては、高低温の温度差が大きく、温度差による信号特性の変化も予想されるため、等長配線による手法では、常に精度の高いステレオマッチング処理を実現できるか否かに関して信頼性の面で課題がある。

これに加えて、今後は処理速度の向上に伴って画像サイズが大きくなってくることが予想され、それによって転送画像データのサンプリングレートが高速化したとき、等長配線による手法では、ノイズや温度の影響をより大きく受けることになる。以上のような状況を考慮すると、この等長配線による手法では、図１２に示したような画素ずれが発生する可能性を解消することはできず、水平方向の画素ずれ課題に対する根本的な対策としては不十分である。そのため、等長配線によって車載環境における要求精度を実現するのは困難である。

また、この等長配線による手法では、基板の構成の仕方に制約ができ、基板を新たに設計したり、使用する撮像手段を変更する度に、上述したノイズや温度の影響を考え直さなければならず、システムの小型化・低価格化を実現する上でも課題がある。

上述した等長配線の課題に対しては、例えば、特許文献１や特許文献２に記載された対策手法が提案されている。特許文献１では、新たに基板を開発したり撮像手段を変更した際に、撮像手段と画像処理手段との間のケーブル長が変わってしまった場合でも、回路を調整しなくてよい方法が提案されている。この手法では、画像処理手段に、ケーブル長の検出機構と伝播遅延時間誤差を補正する機構とを備えることにより、ケーブル長による伝播遅延時間誤差を補正して信号処理を行なうことが可能になる。

また、特許文献２では、ケーブル長が長い場合でも、同期信号と映像信号との位相差をなくするという手法が提案されている。この手法では、１つのテレビカメラと１つの制御装置とで構成されるテレビカメラ制御システムにおいて、テレビカメラと制御装置との間のケーブル長が長くなって同期信号と映像信号の間に遅延が生じた場合でも、制御装置からテレビカメラにケーブル長に応じて同期信号の位相を所定量進めることを指示するコマンドを送ることによって、遅延による位相差を解消する。このとき、提案されたテレビカメラ制御システムでは、制御装置が生成する同期信号を利用してテレビカメラは撮像処理を行なって映像信号を制御装置に出力し、制御装置はその入力された映像信号を同期信号と同期をとって処理するという構成を採用している。

次に、画像を撮像するタイミングのずれに関する対策として、例えば、特許文献３に記載された方法が提案されている。図１４に示す構成例を記載した特許文献３では、複数の撮像手段４０１〜４０３を備えた画像取得装置において、複数の撮像手段４０１〜４０３について共通の外部トリガ信号発生手段４０７と共通のクロック信号発生手段４０８とを設けることにより、同期の取れた各画像データ信号を得ることが開示されている。図１４に示す構成においては、複数の撮像手段４０１〜４０３ごとに制御手段４０４〜４０６を備え、その後段に複数の撮像手段ごとの外部メモリ４０９〜４１１を備えることによって、最終段の画像処理手段４１２に対する画像入力を同期させることができるようになっている。
特開平６−７０２１６号公報 特開平８−３３１５４８号公報 特開２００２−１６５１０８号公報

しかしながら、撮像した画像データが画像処理ＬＳＩに伝播されるタイミングのずれ（水平方向の画素ずれ）に関する従来技術のうち、前記の特許文献１では、基板を新たに設計するときに、ケーブル長やケーブルそのものによる伝播遅延特性を吸収することはできるが、位相比較を行なってから補正処理を行なうために、基板に実装した後のノイズや温度差による影響をリアルタイムで吸収することはできない。また、複数備えられた撮像手段が出力する各画像データが、図１２に示したような画素ずれを起こす可能性を否定できない。

また、前記の特許文献２においても、或る撮像手段で利用する同期信号と、撮像手段が出力する映像信号との間の位相差をなくすことはできても、それらの撮像手段が複数備えられた状況で、出力される互いの画像データが、図１２に示したような画素ずれを起こしていないかを保証することはできない。

また、画像を撮像するタイミングのずれに関する対策を提案した前記特許文献３では、外部トリガ信号発生手段４０７とクロック信号発生手段４０８とを、それぞれの撮像手段４０１〜４０３の十分近くに配置することで、撮像タイミングの同期をとることが可能になり、また同様に、メモリ４０９〜４１１を各撮像手段の十分近くに設置することで、撮像した画像データが画像処理ＬＳＩに伝播されるタイミングのずれ（水平方向の画素ずれ）に対しても対応することが可能になる。しかしながら、この方法をとる場合においても、たとえば第１の撮像手段４０１と第２の撮像手段４０２の距離が大きく開いている場合には、その両方の近くに外部トリガ信号発生手段４０７やクロック信号発生手段を配置するよう基板を設計することは困難である。

またその結果、第１の撮像手段４０１と外部トリガ信号発生手段４０７およびクロック信号発生手段４０８との間の配線長と、第２の撮像手段４０２と外部トリガ信号発生手段４０７およびクロック信号発生手段４０８との間の配線長を、等長配線になるよう配慮する必要も生じる。そのため、上述した車載環境において要求される精度の撮像タイミングに関する課題を解決することはできない。また、基板上の配置に対して制約が発生するために、設計の自由度も失われる。さらに、水平方向の画素ずれに対しても、それぞれの撮像手段ごとにメモリを設置しなければならないために、システムを小型化・低価格化する上で要求を実現することが困難である。

本発明の課題は、或る撮像手段が出力する画像データと他の撮像手段が出力する画像データとに基づいて画像処理ＬＳＩでステレオ画像処理する際、互いの画像データで画素ずれが発生しないようにする車載ステレオカメラ装置を提供することにある。また、複数の撮像手段の撮像タイミングに関してもずれをなくし、全体として小型化・低価格化が実現でき、信頼性の高い車載ステレオカメラ装置を提供することを課題とする。

前記課題を解決するために、本発明は主として次のような構成を採用する。
被写体からの光の情報を画像データに順次生成する複数の撮像手段と、前記複数の撮像手段によって生成されるそれぞれの画像データを取り込んでそれぞれの画像処理を行った後にステレオ画像処理演算を行なう画像処理手段と、を備えた車載ステレオカメラ装置であって、
前記画像処理手段に入力される各画像データと前記各画像データを取り込み且つ画像処理するクロック信号とを同期させることにより、前記複数の撮像手段からの画像データの水平方向の画素ずれをなくして前記ステレオ画像処理演算する構成とする。

また、前記車載ステレオカメラ装置において、前記撮像手段と前記画像処理手段との間にアナログデータをデジタルデータに変換するアナログデジタル変換手段を各撮像手段毎に設け、
前記アナログデジタル変換手段で用いたアナログデジタルクロック信号は、前記画像処理手段で各撮像手段からの画像データを取り込み且つ画像処理するためのクロック信号として用いる構成とする。

また、被写体からの光の情報を画像データに順次生成する複数の撮像手段と、前記複数の撮像手段によって生成されるそれぞれの画像データを取り込んでそれぞれの画像処理を行った後にステレオ画像処理演算を行なう画像処理手段と、を備えた車載ステレオカメラ装置であって、
前記画像処理手段は、各撮像手段間の撮像タイミングのずれを検出する撮像タイミングずれ検出部を設け、
前記ずれ検出部で撮像タイミングのずれを調整してタイミングジェネレータを介し各撮像手段が撮像するためのタイミング信号を各撮像手段に出力する構成とする。

本発明によると、撮像した複数の画像データが画像処理ＬＳＩに伝播される際に発生しうるタイミングのずれ（水平方向の画素ずれ）をなくすことができ、高信頼性・高精度なステレオカメラ装置を実現することができる。

また、各撮像手段と画像処理ＬＳＩとの間の配線について、等長にする配慮を行なわなくて済むことから、最小限の構成でシステムを構築することができ、小型化・低価格化を実現することができる。

本発明の実施形態に係る車載ステレオカメラ装置について、図１〜図１０を参照しながら以下詳細に説明する。

「第１の実施形態」
本発明の第１の実施形態に係る車載ステレオカメラ装置について、図１、図２を参照しながら以下説明する。図１は本発明の第１の実施形態に係る車載ステレオカメラ装置の構成を示すブロック図である。図２は第１の実施形態に係る車載ステレオカメラ装置におけるステレオ画像処理の動作フローを示す図である。

図１において、ステレオカメラ装置は、撮像手段Ａ６０１、撮像手段Ｂ６０２からなる複数の撮像手段と、１つの画像処理ＬＳＩ６０３と、を備えており、各撮像手段６０１，６０２は、撮像タイミング信号６０４を出力するタイミングジェネレータ（ＴＧ）６０５、及び、ＡＤ変換器（ＡＤＣ）６０６，６０７を介して画像処理ＬＳＩ６０３、に接続されている。

撮像手段Ａ６０１及び撮像手段Ｂ６０２は、一般的には、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）のセンサを用いて構成され、外界からの光、すなわち被写体からの光の情報を電荷の情報に変換し、デジタルの画像データを生成するＡＤＣ６０６，６０７を介して、１画面分の画像データを順次、画像処理ＬＳＩ６０３に入力する。このとき、撮像手段Ａ６０１及び撮像手段Ｂ６０２は、撮像を行なうための撮像タイミング信号６０４をタイミングジェネレータＴＧ６０５から受け、撮像タイミング信号６０４に同期して撮像処理を行なう。

また、ＡＤＣ６０６，６０７は、ＡＤ変換を行なうためのクロック基準信号をタイミングジェネレータＴＧ６０５から受けて、撮像データのアナログ／デジタル変換を行なう。その際、ＡＤＣ６０６，６０７は、デジタルデータに変換した際に使用したＡＤクロック信号６０８，６０９を、画像処理ＬＳＩ６０３に出力する。ＡＤクロック信号６０８，６０９は、一般的には、ＡＤＣＬＫやＡＤＣＫ等の名称で呼ばれる。

画像処理ＬＳＩ６０３は、ＡＤクロック信号６０８，６０９を、撮像手段６０１，６０２と接続されたＡＤＣ６０６，６０７から受け、画像処理ＬＳＩ６０３内に備えたＰＬＬ６１０，６１１を介してクロックの位相を調整し、ＡＤＣ６０６，６０７から出力される撮像データをサンプリング処理する。

ここで、それぞれのＡＤクロック信号６０８，６０９は、それぞれの撮像手段６０１，６０２が出力するそれぞれの画像データＡ，Ｂと、画像処理ＬＳＩ６０３の直前処理段であるＡＤＣ６０６，６０７において同期して出力されるものであるので、画像処理ＬＳＩ６０３は、画素ずれをおこすことなく確実にそれぞれの画像データをメモリ６１４に取り込みことができる。

さらに具体的に云えば、ＡＤＣ６０６から出力される画像データＡはＡＤクロック信号６０８をもとにＡ／Ｄ変換処理されたものであるので、この画像データＡとＡＤクロック信号６０８とは同期がとれている関係となっている。一方、ＡＤＣ６０７から出力される画像データＢはＡＤクロック信号６０９に同期がとれている関係である。したがって、画像データＡと画像データＢがデータ取り込み、画像前処理及びＤＭＡＣに際して、それぞれＡＤクロック信号６０８とＡＤクロック信号６０９とによって実行されるので、画像データＡと画像データＢとの間で画素ずれがない状態でメモリ６１４に一旦格納されることになる。このように、ステレオ画像後処理６１６するに際して互いの画像データＡ，Ｂ間に、図２に示すような画素ずれは発生していないこととなる。この場合、ＡＤクロック信号６０８とＡＤクロック信号６０９とが例え非同期であっても画素ずれは生じないのである。以上のような画像データと画像データの処理用クロックの関係を合わせることが本実施形態の特徴の１つである。

上述した本実施形態の特徴を図示したものを図１の下図で表す。図示したように、画像データＡとＢとで位相がずれていても、それぞれの画像データを処理するクロック信号がそれぞれの画像データに同期していれば、メモリに格納される、すなわち、ステレオ画像処理される画像データに画素ずれが生じることはないのである。

画像処理ＬＳＩ６０３は、ＡＤクロック信号６０８，６０９をもとにしたＰＬＬ出力クロック信号に同期して、各々の画像データを独立に処理し、ＤＭＡＣ６１２，６１３を介してメモリ６１４に蓄積する。なお、図１に示すＤＭＡＣ６１２，６１３の前段の画像前処理にはγ補正処理等が含まれる。

その後、メモリ６１４に蓄積された一対の画像データをＤＭＡＣ６１５を介して読込み、ステレオ画像処理を行なうのであるが、この際、ＤＭＡＣ６１５とステレオ画像処理６１６に高速なクロック信号６１７を用いることで、ステレオ画像処理にかかる処理時間を短縮することが可能になる。

本実施形態の構成において実現されるステレオ画像処理の一連の動作フローを図２にまとめる。まず、タイミングジェネレータＴＧ６０５が各撮像手段６０１，６０２に対して同じタイミングで撮像タイミング信号６０４，６０５を出力する。撮影タイミング信号を基に各撮像手段６０１，６０２が露光・撮像を行う。ＡＤＣ６０６，６０７はＴＧ６０５が出力するクロック信号を基準として撮像データをＡ／Ｄ変換する。

画像処理ＬＳＩ６０３は、Ａ／Ｄ変換に使用したＡＤクロックを用いて、それぞれの画像データＡ，Ｂを非同期で独立に処理する。ここで、処理の内容は、画像取り込み処理、γ補正処理等である。次に、それぞれ独立に処理した画像データをそれぞれのＤＭＡＣチャネルでメモリ６１４に転送する。さらに、高速クロック６１７でステレオ処理用の一対の画像データをメモリ６１４からＤＭＡＣ６１５に読み出す。ＤＭＡＣ６１５と同じ高速クロック６１７を利用してステレオ画像処理して一連のフローを終了する。

第１の実施形態に係る車載ステレオカメラ装置を図示した図１に示す構成例では、単一のクロック発生器を設け、この単一のクロック発生器からのクロックでタイミングジェネレータＴＧ６０５を動作させ、このＴＧ６０５がＡＤＣ０６，６０７と撮像手段６０１，６０２に対してタイミング信号を供給するようになっている。

ここで、第１の実施形態における他の構成例として、不図示であるが、それぞれ非同期で独立の２つのクロック発生器を設けて、１つは撮像手段６０１，６０２に、他はＡＤＣ６０６，６０７にそれぞれタイミング信号を供給するようにしても良い。この他の構成例においても、上述した第１の実施形態における動作と同様に、画像データＡ，Ｂ間での画素ずれが生じることはない。また、第１の実施形態におけるさらに他の構成例として、それぞれ非同期で独立の３つのクロック発生器を設けて、１つは撮像手段６０１，６０２に、２つ目はＡＤＣ６０６に、３つ目はＡＤＣ６０７にそれぞれタイミング信号を供給するようにしても良い。この構成例においても、それぞれのＡＤＣから出力される画像データとＡＤクロック信号は互いに同期が取れているので、画像データＡ，Ｂ間での画素ずれが生じることはない。

以上のように、本実施形態においては、撮像した複数の画像データが画像処理ＬＳＩに伝播される際に発生しうるタイミングのずれ（水平方向の画素ずれ）をなくすことができ、高信頼性・高精度なステレオカメラ装置を実現することができる。また、各撮像手段と画像処理ＬＳＩとの間の配線について、等長にする配慮を行なわなくて済むことから、最小限の構成でシステムを構築することができ、小型化・低価格化を実現することができる。

「第２の実施形態」
本発明の第２の実施形態に係る車載ステレオカメラ装置について、図３〜図７を参照しながら以下説明する。図３は本発明の第２の実施形態に係る車載ステレオカメラ装置の構成を示すブロック図である。図４は第２の実施形態に係る車載ステレオカメラ装置における撮像タイミングずれ検出機構の具体的構成を示す図である。図５は第２の実施形態の撮像タイミングずれ検出機構において撮像タイミングずれの無い正常時の動作タイミングを示す図である。図６は第２の実施形態の撮像タイミングずれ検出機構において半クロック分の撮像タイミングずれを検出した時の動作タイミングを示す図である。図７は第２の実施形態の撮像タイミングずれ検出機構において１クロック分の撮像タイミングずれを検出した時の動作タイミングを示す図である。

図３において、撮像タイミング信号を出力するタイミングジェネレータ（ＴＧ）８１２が、画像処理ＬＳＩ８０３内に備えられており、タイミングジェネレータ８１２は、それぞれの撮像手段８０１，８０２に対して、独立した撮像タイミング信号８０４，８０５を生成できるようになっている。撮像タイミング信号８０４，８０５は、撮像タイミングずれの検出機構８１３の指示に従って、個別に撮像タイミングを設定できるようになっている。撮像タイミングずれの検出機構８１３は、撮像手段Ａ，Ｂ入力される撮像タイミングモニタ信号８１０，８１１をモニタしながら、撮像タイミング信号８０４，８０５の位相を調整する。

図４に示す撮像タイミングずれ検出機構８１３では、撮像タイミングのモニタ信号として、各々の撮像手段が出力する分周クロック信号８１０，８１１を利用している。図４においては、画像処理ＬＳＩ８０３が出力する基準クロック信号８０４，８０５を受けた撮像手段８０１，８０２が、その２倍周期のクロック信号８１０，８１１を生成して、画像処理ＬＳＩ８０３に出力している。ずれ検出処理部８１３内では、これらの撮像タイミングの分周クロック信号８１０，８１１をモニタしながら、一方の撮像手段が出力する撮像タイミングを基準とし、他の撮像手段が出力する撮像タイミングが基準となる撮像タイミングに対してずれていたら、基準でない方の撮像タイミング信号の位相を変換する。図４においては、撮像手段Ａ８０１の分周クロック信号８１０を基準とし、これに対して撮像手段Ｂ８０２の分周クロック信号８１１の位相がずれていたら、撮像手段Ｂ８０２に出力する基準クロック信号８０５を反転させるように構成されている。

このときのずれ検出は次の方法によって行う。すなわち、撮像手段Ａ８０１が出力する１／２分周クロック信号８１０と、撮像手段Ｂ８０２が出力する１／２分周クロック信号８１１とのＸＯＲ９０１をとり、その回数をカウンタ部９０２でカウントする。カウント数が、あらかじめ設定しておいたずれ検知用のカウンタ閾値を超えたとき、撮像タイミング信号反転指示部９０３は、撮像手段Ｂ８０２に出力する撮像タイミング信号８０５を反転することの指示信号９０６をＯＮする。タイミングジェネレータ（ＴＧ）８１２は、この指示信号９０６がＯＮすると、撮像手段Ｂ８０２に出力する基準クロック信号及びそれに付随した撮像タイミング信号８０５を反転させる。

図５、図６、図７には、上述したずれ検出機構が動作する際のタイミング・チャートを示す。図５は、ずれがないときのずれ検出機構の動作タイミングを示しており、図６は、半クロック分のずれがあったとき、図７は１クロック分のタイミングのずれがあったときの動作タイミングを示している。図５、図６、図７の例示では、カウンタの閾値として８を採用している。そのため、図６及び図７では、カウンタ値が８になったところで、撮像手段Ｂの撮像タイミング信号の反転指示信号９０６がＯＮしている。反転指示信号９０６がＯＮすると、画像処理ＬＳＩ８０３が出力する撮像手段Ｂへの基準クロック信号８０５が反転する。この反転によって、撮像タイミングモニタ信号としての分周信号８１０と８１１のずれはなくなる。

図６及び図７のタイミング・チャートで示すように、ずれ検出機構では、画像処理ＬＳＩ８０３へのクロック信号を単位として半クロック分の分解能で、タイミング補正を行うことができる。図７では、半クロックのずれを２回検出することで、１クロック分のずれを補正している。

なお、撮像タイミングのずれ検知の分解能としては次の理由から２倍の分解能をもつ。すなわち、図４に示すずれ検出機構においては、画像処理ＬＳＩ８０３から各撮像手段まで撮像タイミング信号８０４，８０５を出力した際のケーブル長分と、各撮像手段８０４，８０５から画像処理ＬＳＩ８０３まで分周クロック信号８１０，８１１を出力した際のケーブル長分とで、往復になっているので、遅延は２倍になる。しかしながら、撮像タイミングのずれとしては、撮像手段への行きの分の遅延のみを考慮すればいいので、往復分のずれの１／２のずれである（半クロック分のずれがあったときは１／４の撮像タイミングのずれ。１クロック分のずれがあったときは１／２の撮像タイミングのずれ）。また、図４では撮像タイミングのモニタ信号として、２倍周期の分周クロック信号８１０，８１１を利用しているが、その代わりに、３倍周期や４倍周期のクロックを利用してもよい。

次に、第２の実施形態に係る車載ステレオカメラ装置の応用例として、図１に示す基本的な構成に、図４に示すような撮像タイミングずれ検出機構を適用したステレオカメラ装置を構成することができる。この構成によって、撮像した複数の画像データが画像処理ＬＳＩに伝播される際に発生しうるタイミングのずれ（水平方向の画素ずれ）をなくすることができることに加え、撮像タイミングのずれもなくすることができる。これによって、より信頼性が高く、高精度なステレオマッチング処理が実現でき、さらに、タイミングジェネレータを画像処理ＬＳＩに内蔵すること等により、システムの小型化・低価格化も実現できる。

「第３の実施形態」
本発明の第３の実施形態に係る車載ステレオカメラ装置について、図８と図９を参照しながら以下説明する。図８は本発明の第３の実施形態に係る車載ステレオカメラ装置の構成を示すブロック図である。図９は第３の実施形態に係る車載ステレオカメラ装置において種類の異なる撮像手段を用いた構成例を示す図である。

第３の実施形態に係る車載ステレオカメラ装置では、撮像手段に、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）のセンサではなく、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のセンサ１３０を利用している。図８の（１）に示す構成例のように、ＣＭＯＳセンサ１３０は、内部にタイミングジェネレータＴＧ１３１を内蔵する構成が一般的であるが、このＴＧ内蔵の構成であると、それぞれのセンサ１３０のＴＧ１３１でそれぞれ独立にタイミングを生成するために、撮像タイミングと受信データ生成の両方に関して同期をとることが難しい。

これに対して、図８の（２）に示す構成例では、画像処理ＬＳＩ１３２が出力するタイミング信号１３３，１３４を利用する構成としている。この構成例では画像処理ＬＳＩから撮像タイミング信号を生成して指示することで撮像タイミングの同期をとり、さらに、画像処理ＬＳＩでＡＤＣＬＫを利用して独立に処理すすることでデータ受信タイミングの同期をとっている。これにより、ＣＣＤのセンサを利用したときとほぼ同じ構成で、小型・低価格な車載ステレオカメラ装置を提供することができる。

また、第３の実施形態に関するシステム形態をとると、各撮像手段の画像をそれぞれ独立に処理することが可能になるので、図９に示すように、種類の異なる撮像手段１４１と１４２を使ったステレオ画像処理ができるようになる。たとえば、同じ画素数をもちながら、感度差やコスト差のあるＣＣＤセンサで構成する、あるいはＣＣＤセンサとＣＭＯＳセンサで構成する、といったことが可能になる。これによって、低価格化の実現や、新たなアプリケーション展開を可能とするシステム構成を柔軟にとることができるようになる。

「第４の実施形態」
本発明の第４の実施形態に係る車載ステレオカメラ装置について、図１０を参照しながら以下説明する。図１０は本発明の第４の実施形態に係る車載ステレオカメラ装置における動作タイミング信号の切り替え構成を示す図である。

第２の実施形態における動作を表すタイミング・チャートである図６と図７において、画像処理ＬＳＩ８０３は、位相調整するための撮像タイミング信号９０６がＯＮした直後（ずれを認識した直後）に、位相調整する撮像手段へのクロック信号８０５を反転させていた。

これに対して、第４の実施形態を表す図１０では、画像処理ＬＳＩ８０３の出力するタイミング信号８０５の位相を、撮像手段ＢのＶｓｙｎｃ信号（垂直同期信号）に同期して切り替える構成としている。このように、Ｖｓｙｎｃに同期して撮像タイミング信号８０５を切り替える構成にすることにより、フィールドごと、もしくはフレームごとの位相調整が実現されることになり、撮像タイミングの滑らかな切り替わりを実現することができる。また、画像処理ＬＳＩが複数の撮像手段のそれぞれに出力するタイミング信号の、位相や周波数の切替時期を、複数の撮像手段ごとに任意のタイミングで個別に設定できるようにしても良い。

以上説明したように、本発明によれば、各撮像手段の撮像タイミングずれと、各撮像手段が画像処理ＬＳＩに出力する画像データのタイミングずれとを調整することができ、それによって精度の高いステレオマッチング処理を、信頼性の高い方法で実現するできる。また、本発明によれば、部品追加がなく、基板設計自由度の高い形態で実現できるようになるので、車載ステレオカメラ装置の低価格化・小型化に寄与することができる。

本発明の第１の実施形態に係る車載ステレオカメラ装置の構成を示すブロック図である。 第１の実施形態に係る車載ステレオカメラ装置におけるステレオ画像処理の動作フローを示す図である。 本発明の第２の実施形態に係る車載ステレオカメラ装置の構成を示すブロック図である。 第２の実施形態に係る車載ステレオカメラ装置における撮像タイミングずれ検出機構の具体的構成を示す図である。 第２の実施形態の撮像タイミングずれ検出機構において撮像タイミングずれの無い正常時の動作タイミングを示す図である。 第２の実施形態の撮像タイミングずれ検出機構において半クロック分の撮像タイミングずれを検出した時の動作タイミングを示す図である。 第２の実施形態の撮像タイミングずれ検出機構において１クロック分の撮像タイミングずれを検出した時の動作タイミングを示す図である。 本発明の第３の実施形態に係る車載ステレオカメラ装置の構成を示すブロック図である。 第３の実施形態に係る車載ステレオカメラ装置において種類の異なる撮像手段を用いた構成例を示す図である。 本発明の第４の実施形態に係る車載ステレオカメラ装置における動作タイミング信号の切り替え構成を示す図である。 ステレオカメラ装置の一般的な構成と機能を示す図である。 ステレオカメラ装置で撮像された画像データ間に画素ずれが生じた場合の説明図である。 ステレオカメラ装置における各撮像手段と画像処理ＬＳＩ間の等長配線による構成を示す図である。 従来技術に関するステレオカメラ装置における撮像手段と画像処理手段間のシステム構成図である。

符号の説明

３０１，３０２，４０１，４０２，４０３，６０１，６０２，８０１，８０２，１４１，１４２…撮像手段
３０３，６０３，８０３，１３２…画像処理ＬＳＩ
３０４，３０５…撮像手段が画像処理ＬＳＩに対して出力する画像データ信号
３０６，６０４，８０４，８０５，１３３，１３４…タイミングジェネレータが撮像手段に対して出力するタイミング信号
３０７，６０５，８１２，１３１…タイミング・ジェネレータ
３０８，８１４…タイミング・ジェネレータ動作クロック信号
３０９，６１２，６１３，６１５…ＤＭＡＣ
３１０，４０９，４１０，４１１…メモリ
４０４，４０５，４０６…撮像手段の制御手段
４０７…外部トリガ信号発生手段
４０８…クロック信号発生手段
４１２…画像処理手段
６１７…ステレオ後処理動作クロック信号
６０６，６０７，８０６，８０７…アナログ／デジタル変換器（ＡＤＣ）
６０８，６０９，８０８，８０９…撮像手段が撮像した画像データをアナログ／デジタルした際に利用したクロック信号（ＡＤクロック信号）
６１０，６１１…ＰＬＬ
６１６…ステレオ後処理部
８１０，８１１…撮像タイミングモニタ信号
８１３…撮像タイミングずれ検出ロジック部
９０１…ＸＯＲ素子
９０２…撮像タイミングずれ検出カウンタ部
９０３…撮像タイミング信号反転指示部
９０４…撮像タイミングずれ検知信号
９０５…撮像タイミングずれ検知カウンタ値
９０６…撮像タイミング信号反転指示信号
１３０…ＣＭＯＳイメージセンサ

Claims (7)

1. 被写体からの光の情報を画像データに順次生成する複数の撮像手段と、前記複数の撮像手段によって生成されるそれぞれの画像データを取り込んでそれぞれの画像処理を行った後にステレオ画像処理演算を行なう画像処理手段と、を備えた車載ステレオカメラ装置であって、
   前記画像処理手段に入力される各画像データと前記各画像データを取り込み且つ画像処理するクロック信号とを同期させることにより、前記複数の撮像手段からの画像データの水平方向の画素ずれをなくして前記ステレオ画像処理演算する
   ことを特徴とする車載ステレオカメラ装置。
2. 請求項１において、
   前記撮像手段と前記画像処理手段との間にアナログデータをデジタルデータに変換するアナログデジタル変換手段を各撮像手段毎に設け、
   前記アナログデジタル変換手段で用いたアナログデジタルクロック信号は、前記画像処理手段で各撮像手段からの画像データを取り込み且つ画像処理するためのクロック信号として用いる
   ことを特徴とする車載ステレオカメラ装置。
3. 請求項２において、
   前記複数の撮像手段と前記アナログデジタル変換手段をそれぞれ動作させるためのクロック信号を発生する独立動作のクロック発生器が、前記複数撮像手段用と前記アナログデジタル変換手段用にそれぞれ１つで合計２つ、あるいは前記複数撮像手段用及び前記アナログデジタル変換手段用に１つ設けられる
   ことを特徴とする車載ステレオカメラ装置。
4. 被写体からの光の情報を画像データに順次生成する複数の撮像手段と、前記複数の撮像手段によって生成されるそれぞれの画像データを取り込んでそれぞれの画像処理を行った後にステレオ画像処理演算を行なう画像処理手段と、を備えた車載ステレオカメラ装置であって、
   前記画像処理手段は、各撮像手段間の撮像タイミングのずれを検出する撮像タイミングずれ検出部を設け、
   前記ずれ検出部で撮像タイミングのずれを調整してタイミングジェネレータを介し各撮像手段が撮像するためのタイミング信号を各撮像手段に出力する
   ことを特徴とする車載ステレオカメラ装置。
5. 請求項４において、
   前記各撮像手段と前記画像処理手段との間にアナログデータをデジタルデータに変換するアナログデジタル変換手段を各撮像手段毎に設け、
   前記アナログデジタル変換手段で用いたアナログデジタルクロック信号は、前記画像処理手段で各撮像手段からの画像データを取り込み且つ画像処理するためのクロック信号として用いる
   ことを特徴とする車載ステレオカメラ装置。
6. 被写体からの光の情報を画像データに順次生成する複数の撮像手段と、前記複数の撮像手段によって生成されるそれぞれの画像データを取り込んでそれぞれの画像処理を行った後にステレオ画像処理演算を行なう画像処理手段と、を備えた車載ステレオカメラ装置であって、
   前記複数の撮像手段は、ＣＣＤセンサとＣＭＯＳセンサが混在する構成であり、
   前記画像処理手段は、撮像タイミング信号を生成して各撮像手段に出力することで各撮像手段間の撮像タイミングの同期をとり、
   前記センサからの出力をデジタル信号に変換するアナログデジタル変換手段で用いたアナログデジタルクロック信号は、前記画像処理手段で各撮像手段からの画像データを取り込み且つ画像処理するためのクロック信号として用いる
   ことを特徴とする車載ステレオカメラ装置。
7. 請求項４または５において、
   前記画像処理手段が前記各撮像手段に出力する前記タイミング信号の位相の切替時期を垂直同期信号に同期させる
   ことを特徴とする車載ステレオカメラ装置。

Images