JP2014503408A - ステレオセンサシステムにおける、画像検出に適した２つのセンサの画像情報の処理方法および装置 - Google Patents

Abstract

本発明は、ステレオセンサシステムにおける画像検出に適した２つのセンサ（２０１，２０３）の画像情報の処理方法に関する。各センサ（２０１，２０３）は、画像情報を、各センサ（２０１，２０３）の種々の位置に配置されたセンサ部分において部分ごとに検出するように構成されている。本発明の方法は、それぞれ対応する画像情報（１０５）を有する第１および第２のセンサ（２０１，２０３）の２つのセンサ部分の各位置間の幾何学的ずれ（１０７）に関する情報（８０７）を形成するステップと、第１および第２のセンサ（２０１，２０３）の画像情報を、これらが読み出されるセンサ部分の位置に関連して、幾何学的ずれ（１０７）を用いて読み出す（８６１）ステップとを含む。

Description

本発明は、車両内で使用されるステレオセンサシステムにおける、画像検出に適した２つのセンサの画像情報の処理方法および装置に関する。

ステレオビデオ画像処理は、運転支援システム、ロボティクスおよびその他のオートメーション技術のアプリケーションにおける環境検出にとっていよいよその重要性が増している。ステレオビデオシステムによって、その検出領域におけるオブジェクトの空間的位置が求められ、これにより例えばドライバーアシストシステムにおいて歩行者を識別することができるようになる。

ディジタル画像からのステレオ測定は、画像処理の教科書（例えば、Trucco&Verrri, Introductory techniques for 3-D Computer Vision, Springer Verlag, 1998）に説明されている。ステレオ測定の基礎は、左方センサと右方センサとの間の対応する画像部分を探索し、光学結像およびセンサの幾何学的配置を考慮して、各画像部分の３Ｄ再構成を行うことにある。

対応する画像部分の探索を簡単化するために画像調整がしばしば行われる。この画像調整により、対応する画像部分の探索を画像ラインに沿って行うことができる。

国際公開第０２／０９５６８１号には、カメラ光学装置によって歪んでしまったソース画像を、テーブルの形態の結像プロトコルを用いて、歪みのない目標画像へ移行させる方法が記載されている。ただし、この場合、ソース画像の各ソースピクセルと目標画像の１つまたは複数の目標ピクセルとが対応していない。

発明の開示
こうした背景技術から出発して、本発明では、独立請求項に記載されている、ステレオセンサシステムにおける画像検出に適した２つのセンサの画像情報の処理方法、この方法を利用した画像処理装置、および、相応のコンピュータプログラム製品を提供する。有利な実施形態は従属請求項および以下の説明から得られる。

ステレオセンサシステムの２つのセンサで得られた各記録画像は、典型的には、幾何学的ずれを有する。つまり、センサによって検出された現実のオブジェクトの像が記録画像内の異なる幾何学的位置に見出される。本発明では、この幾何学的ずれに関する情報を用いて、一方ではセンサによる画像情報の検出が最適化され、他方ではセンサからの画像情報の読み出しが最適化される。読み出しに関しては、幾何学的ずれが既知となれば、センサの異なる部分を同時に読み出すことができる。このため、各センサの同じ部分が同時に読み出される公知の方法に比べて、読み出されたデータをさらなる処理のために一時記憶しておくバッファメモリの大きさを小さくできる。また、さらなる処理を加速することもできる。画像情報の検出に関しては、幾何学的ずれが既知となれば、各センサの種々の部分を、画像情報の検出のために同時に駆動することができる。この場合、ずれのない画像情報もしくは少なくともずれの低減された画像情報を複数のセンサで同時に形成できるという利点が得られる。

本発明のアプローチは有利にはステレオビデオシステムを用いた３Ｄステレオ測定に対するハードウェアベースの方法で用いられる。

特に、ステレオビデオシステムのビデオセンサの最適な読み出し方法が実現される。この場合、例えば右方の画像センサおよび左方の画像センサの読み出しが較正情報に依存して行われる。例えば、各画像センサは、較正過程において求められたラインずれに基づいて時間的なラインずれをともなって読み出される。また、画像センサでは、左方カメラおよび右方カメラにおいて較正過程で生じるラインずれに基づいて、センサの種々の部分、いわゆる関心領域ＲＯＩが読み出される。ここから得られる利点として、ステレオ測定ハードウェアの入力バッファの必要サイズが低減されること、および、ステレオ測定にローリングシャッタセンサが使用される場合の３Ｄ測定誤差が低減されることが挙げられる。

本発明は、ステレオセンサシステムにおける、画像検出に適した２つのセンサの画像情報の処理方法であって、各センサが、複数の画像情報を、各センサの種々の位置に配置された複数のセンサ部分において部分ごとに検出するように構成されている方法に関する。本発明の方法は、それぞれ対応する画像情報を有する、第１のセンサおよび第２のセンサの２つのセンサ部分の各位置間の幾何学的ずれに関する情報を形成するステップと、各画像情報が読み出されるセンサ部分の位置に関連して、幾何学的ずれを用いて、第１のセンサの画像情報および第２のセンサの画像情報を読み出すステップとを含む。

ステレオセンサシステムは２つのビデオセンサを備えたステレオビデオシステムである。ステレオビデオシステムにより、各センサの検出領域におけるオブジェクトの空間的位置が求められる。ステレオセンサシステムは例えば車両の運転支援システムに対する情報を形成する。各センサは、センサによって検出される現実の環境を結像する画像情報を、部分ごと、例えばラインごとに検出する。各画像情報は１つまたは複数の輝度値を含む。したがって、センサ部分とは、ラインであり、センサ部分の位置とはライン番号である。複数のセンサはそれぞれ同様に構成され、センサ部分の個数および配置に関して同形式で設けられる。このため、２つのセンサ部分はセンサ内部の位置に関して２つのセンサに相当する。

各センサ部分は複数のピクセルを有する。各ピクセルはセンサによって検出された環境の所定の領域を結像する画像情報を含む。個々のセンサ部分は複数の画像情報を同時に、または、時間的に連続して検出することができる。幾何学的ずれに関連して、対応する画像情報とは、センサによって検出される環境のうち同じ領域もしくはほぼ同様の領域を結像する画像情報であると理解されたい。よって、対応する画像情報は画像内容に関して対応する。幾何学的ずれに関する情報は、較正過程において求められた情報を表す。各情報はメモリに格納され、そこから読み出される。幾何学的ずれは、対応する画像情報を有するピクセルを含む２つのセンサ部分の各位置間の差を定める。第１のセンサのセンサ部分の位置に基づき、位置ずれ量を用いて、第１のセンサのセンサ部分に対応する画像情報を含む第２のセンサのセンサ部分の位置が求められる。各センサ部分がラインごとに配置されている場合、位置ずれ量はラインの本数を表す。

第１のセンサおよび第２のセンサの画像情報は直接にセンサもしくはバッファメモリから読み出される。なお、第１のセンサおよび第２のセンサの画像情報は共通の読み出しステップにおいて読み出すことができる。例えば、第１のセンサの画像情報を読み出す直前、またはこれと同時、またはその直後に、第２のセンサの画像情報を読み出すことができる。このように、１回の読み出しステップで、２つのセンサの異なる位置から画像情報が読み出される。したがって、読み出しにより、画像情報間の対応づけが行われる。読み出された画像情報は直接に処理されてもよいし、さらなる処理のためにバッファメモリに一時記憶されてもよい。例えば、画像内容に関して対応する、読み出された画像情報に基づいて、ステレオ測定を行うことができる。

有利な実施形態では、本発明の方法は幾何学的ずれを求めるステップを含む。幾何学的ずれは、第１のセンサのセンサ部分の画像情報と第２のセンサのセンサ部分の画像情報との間の比較に基づいて求められる。比較により、対応する画像内容を含むセンサ部分が求められ、これらのセンサ部分間の方向距離が幾何学的ずれとして記憶される。幾何学的ずれは１回のみ求められてもよいし、連続して、または、例えばステレオビデオシステムの使用開始ごとに求められてもよい。

読み出しステップでは、第１のセンサの画像情報が第１のセンサ部分のみから読み出され、第２のセンサの画像情報が第２のセンサ部分のみから読み出される。ここで、第１のセンサ内での第１のセンサ部分の配置は第２のセンサ内での第２のセンサ部分の配置に対して異なっている。第１のセンサ部分と第２のセンサ部分とは同じ大きさを有することができる。有利には、第１のセンサ部分と第２のセンサ部分とは対応する画像内容を含む。理想的には、読み出されたセンサ部分は、続くステップで、画像調整を必要とすることなく、直接に処理可能となる。

この場合、本発明の方法は、第１のセンサ部分内の第１のピクセルと第２のセンサ部分内の第２のピクセルとの間の移動量を求め、第１のピクセルと第２のピクセルとを検出された画像情報に関して相互に対応させるステップを含む。ここで、第１のセンサ部分の第１の領域は第２のセンサ部分の第２の領域に対して移動量の値だけシフトされる。このようにすれば、２つのセンサの対応するセンサ部分内で、画像情報に関して対応する領域間のずれを求めることができる。

別の有利な実施形態では、本発明の方法は、第１のセンサの第１の位置に配置されたセンサ部分によって第１のセンサの画像情報の検出をトリガするように構成された第１のトリガ信号を形成するステップと、第１のトリガ信号を形成するステップの時間的後または時間的前に、第２のセンサの第１の位置に配置されたセンサ部分によって第２のセンサの画像情報の検出をトリガするように構成された第２のトリガ信号を形成するステップとを含む。このように、読み出しの連続ステップで一緒に読み出される、対応するそれぞれの画像情報を種々の時点で検出できる。ただし、この場合、検出された画像情報の一時記憶が必要である。

これに代えて、本発明の方法が、第１のセンサの第１の位置に配置されたセンサ部分による第１のセンサの画像情報と、第１の位置に対してずれを生じている第２のセンサの第２の位置に配置されたセンサ部分による第２のセンサの画像情報との同時検出をトリガするように構成されている１つのトリガ信号を形成するステップを含む構成であってもよい。このようにすれば、読み出しの連続ステップで一緒に読み出される、対応するそれぞれの画像情報を同時に検出できる。この場合には検出された画像情報を一時記憶する必要はない。

別の有利な実施形態では、読み出しステップにおいて、第１のセンサの画像情報が第１のセンサの１つのラインから読み出され、第２のセンサの画像情報が第２のセンサの１つのラインから読み出される。ここでは幾何学的ずれは第２のセンサのラインのライン番号と第１のセンサのラインのライン番号との差として求められる。

また、本発明の方法が、第１のセンサの別の画像情報および第２のセンサの別の画像情報を読み出す少なくとも１つの別のステップを含み、当該別のステップでの読み出しを、当該別の画像情報が読み出される別のセンサ部分の別の位置に関連して、幾何学的ずれを用いて行ってもよい。このようにすれば、そのつどずれをともなって配置される画像情報を連続的に２つのセンサから読み出すことができる。例えば、読み出しステップのたびに、センサごとに、先行の読み出しステップで読み出されたセンサ部分に直接に接するセンサ部分から画像情報を読み出すことができる。

本発明は、さらに、ステレオセンサシステムにおける、画像検出に適した２つのセンサの画像情報の処理装置であって、複数の画像情報を、センサの種々の位置に配置された複数のセンサ部分において部分ごとに検出するように構成されている装置に関する。本発明の処理装置は、それぞれ対応する画像情報を有する、第１のセンサおよび第２のセンサの２つのセンサ部分の各位置間の幾何学的ずれに関する情報を形成する情報形成装置と、第１のセンサの画像情報および第２のセンサの画像情報を読み出す読み出し装置とを備え、ここで、読み出しは、画像情報が読み出されるセンサ部分の位置に関連して、幾何学的ずれを用いて行われることを特徴とする。

本発明の装置の形式の実施形態により、本発明の基礎となる課題を迅速かつ効率的に解決することができる。本発明の装置は、ステレオセンサシステムの一部もしくは後置接続される処理ユニットの一部であってよい。ここでの装置とは、センサ信号を処理し、これに基づいて制御信号を出力する電気機器であると理解されたい。こうした装置はハードウェアおよび／またはソフトウェアとして構成可能なインタフェースを含む。ハードウェアとしての構成では、インタフェースは、例えば、装置の種々の機能を含むいわゆるシステムＡＳＩＣの一部であることができる。また、インタフェースが適切な集積回路もしくは少なくとも部分的に個別の回路素子から成っていてもよい。ソフトウェアとしての構成では、インタフェースは例えば他のソフトウェアと並んでマイクロコントローラ上に設けられるソフトウェアモジュールとして実現できる。

有利には、本発明は、プログラムがコンピュータに相応する機器で実行される際に、機械的に読み出し可能な担体、例えば半導体メモリ、固体ディスクメモリ、光学メモリなど上に記憶された、前述の形態の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品であってよい。

画像調整をともなうステレオ測定の原理を示す図である。 ステレオ測定のためのハードウェアの基本構造を示す図である。 ２つの画像センサの時間同期読み出しを示す図である。 ２つの画像センサの時間シフト読み出しを示す図である。 ２つの画像センサの各領域の読み出しを示す図である。 ２つの画像センサによる時間同期画像検出を示す図である。 ２つの画像センサによる時間シフト画像検出を示す図である。 画像情報の処理方法のフローチャートである。

本発明の有利な実施例を図示し、以下に詳細に説明する。なお、複数の実施例を複数の図に示してあるが、各図中、同一の素子もしくは同様の機能を有する素子には同じ参照番号を付し、繰り返しての説明は省略する。

図１には、画像調整をともなうステレオ測定の基本方式が示されている。ここには、ステレオ画像検出システムの左方センサのオリジナルセンサ画像１０１と右方センサのオリジナルセンサ画像１０３とが示されている。オリジナルセンサ画像１０１は左方のビデオ画像であり、オリジナルセンサ画像１０３は右方のビデオ画像である。オリジナルセンサ画像１０１，１０３のそれぞれにおいて車両の形態のオブジェクトが識別される。当該車両は各オリジナルセンサ画像１０１，１０３でそれぞれ異なる位置にある。このため、オブジェクト、例えば車両の右上方コーナー領域１０５の対応領域間に、ラインずれ１０７が生じている。よって、オリジナルセンサ画像１０１，１０３には、同じ画像ラインでのステレオ対応部１０９は存在しない。

画像調整１１０により、オリジナルセンサ画像１０１から第１の調整画像１１１が形成され、オリジナルセンサ画像１０３から第２の調整画像１１３が形成される。調整画像１１１，１１３では、車両の右上方コーナー領域１０５は同じラインに位置しているので、同じ画像ラインでのステレオ対応部１０９が存在する。

図２には、ステレオ測定のためのハードウェアの基本構造が示されている。ここには２つの画像センサ２０１，２０３が示されている。画像センサ２０１は左方の画像センサであり、画像センサ２０３は右方の画像センサである。画像センサ２０１の画像情報は、左方センサのシリアル線路２２１を介して、左方の入力バッファ２２２から、続いて左方の画像調整論理回路２２３へ、さらに調整画像に対する左方のラインバッファ２２４へ供給される。調整により車両の位置が変更される。画像センサ２０３の画像情報は、右方センサのシリアル線路２３１を介して、右方の入力バッファ２３２から、続いて右方の画像調整論理回路２３３へ、さらに調整画像に対する右方のラインバッファ２３４へ供給される。調整により車両の位置が変更される。ラインバッファ２２４，２３４からのデータは不均衡性測定のための論理回路２４０へ供給される。この論理回路２４０は３Ｄ座標２４２を形成するように構成されている。

ハードウェア支援型のリアルタイムステレオ測定では、一般に、オリジナルセンサ画像１０１，１０３の画像調整すなわち歪み除去が行われて調整画像１１１，１１３が得られる。続いて、調整画像１１１，１１３では、左方画像と右方画像との間の特徴の対応探索が１つの画像ラインに沿って行われる。これはハードウェア、例えばＦＰＧＡもしくはＡＳＩＣでの実行にとって有利である。図１にはこのフローが概略的に示されている。

ステレオ測定のハードウェア、例えばＦＰＧＡでのビデオ画像データの処理は、ラインごとにシーケンシャルに編成される。図２には相応のハードウェアの概略的構造が示されている。

各センサ２０１，２０３に対して１つずつシリアルデータ線路２２１，２３１が存在しており、このシリアルデータ線路はカメラ画像データすなわち輝度値をセンサ２０１，２０３から例えばＬＶＤＳ（ローボルテージディファレンシャルシグナリング）を含む評価ハードウェアへ伝送する。評価ハードウェアには、制限された数の入力画像ラインを一時記憶する入力バッファ２２２，２３２が設けられている。画像調整論理回路２２３，２３３は入力バッファ２２２，２３２から画像情報を個別に読み出し、調整画像情報を形成する。これらは次のデータ用ラインバッファ２２４，２３４にラインごとに格納される。左方カメラ画像および右方カメラ画像の調整画像データを含むラインバッファ２２４，２３４のライン間でステレオ測定が行われ、最終的に３Ｄ再構成が形成される。

ステレオカメラシステムの機械的アセンブリでは、実際には、各カメラの相互の配向状態の精度が制限されている。このため、特に、あらかじめのステレオカメラシステムの較正、すなわち、カメラ相互の幾何学的位置の決定を行い、光学的に記録しておくことが、有意なステレオ測定のために必要となる。画像調整により、評価中に較正情報を使用して、位置および結像誤差が補償される。

最近のステレオビデオシステムでは、通常、左方カメラおよび右方カメラの画像が時間同期されて記録され、ダイナミックに運動するオブジェクトの正確なステレオ測定が可能となっている。また、このことに関連して、左方センサおよび右方センサの画像ラインをステレオ測定用の処理ハードウェアへ時間同期されて連続輸送することも行われている。

これは、図２の連続処理において、左方カメラと右方カメラとの間の幾何学的位置に差がある場合、図１に示されているように、対応するラインにずれが生じることを意味する。このラインずれは歪み除去ハードウェアにおいて必要となる入力バッファを増大させる。当該バッファメモリはＦＰＧＡの実現形態では高価なので、好ましくない。

本発明のアプローチによれば、ハードウェアの入力バッファに必要なメモリを低減できる。

画像記録のためにローリングシャッタモードを有するＣＭＯＳセンサが用いられる場合、各ラインに対する画像記録は種々の時点で行われる。このことは図６，図７に概略的に示されている。カメラの実装状態に機械的不都合があってラインずれが大きくなっている場合、ステレオ測定に必要な各対応特徴が種々の時点で記録される。これは特に、高速で移動する車両でのステレオ測定において、画像内の画像特徴の迅速な運動のために左方の画像ラインと右方の画像ラインとの対応測定に誤りをもたらす。

本発明のアプローチによれば、ステレオ測定にローリングシャッタセンサを使用すると、対応する画像特徴の測定における時間ずれが低減され、３Ｄステレオ測定の誤りも低減される。複数の点特徴およびそれらの対応関係をステレオ測定する方法は、図１に概略的に示されており、特にここにはステレオ画像対に対する過程が示されている。

上方のステレオ画像対２０１，２０３はカメラによる記録後のオリジナル画像対を示している。カメラの実装および光学記録による機械的不精確性のために、結像されている車両リア面において対応するはずのコーナー領域１０５はライン数本分ずれている。ラインずれ１０７は概略的にグラフィック表示されている。

オリジナル画像１０１，１０３につきカメラシステムごとに専用かつ個別に求められた較正パラメータを用いて画像調整１１０を行った後は、それぞれ１つの画像ライン内に左方調整画像１１１および右方調整画像１１３内の対応する画像特徴１０５が存在する。ここで、１つのラインでの対応探索が可能となり、これにより計算ハードウェアのリアルタイム手段の実現がいちじるしく簡単化される。ステレオビデオシステムのハードウェアの構造は図２に示されている。

２つの画像センサ２０１，２０３から、そのつど画像内容が連続的に読み出され、ハードウェアの各入力バッファ２２２，２３２へ一時記憶される。入力バッファ２２２，２３２は複数の画像ラインに対するメモリから形成されており、入力画像の一部を含む。

画像調整論理回路２２３，２３３は、ラインごとに、調整のためのラインバッファ２２４，２３４を連続的に充填する。次の論理回路２４０は左方のラインバッファ２２４と右方のラインバッファ２３４との間でラインごとのステレオ測定を行い、移動量測定値を形成する。ここから画像特徴の３Ｄ座標２４２が導出される。

機械的な製造差のために、ステレオシステムの実装精度は制限されている。アライメントされていないステレオカメラシステムではラインずれが不可避である。画像センサ２０１，２０３の同期読み出しを行う図２のハードウェアコンセプトでは、ラインずれは相応のラインずれ分だけハードウェア内の入力バッファ２２２，２３２を必然的に増大させる。しかし、本発明によれば、画像センサ２０１，２０３が時間シフトをともなって読み出されることにより、入力バッファ２２２，２３２の大きさを低減できる。時間シフトの制御は較正情報に依存して行われる。

図３，図４には、図２に示されているカメラ線路２２１，２３１での読み出しのフローが概略的に示されている。

図３には、左方画像センサおよび右方画像センサのライン同期した読み出しの際の、シリアルデータ線路上の各センサの信号の特性が示されている。上方の特性は左方画像センサに対応し、下方の特性は右方画像センサに対応する。時間ｔに関して、左方画像センサおよび右方画像センサの第１のライン３５１，第２のライン３５２，第３のライン３５３…の画像情報がそれぞれ同時に読み出され、シリアルデータ線路を介して伝送される。各ライン３５１，３５２，３５３は複数の輝度値３５６を有するが、わかりやすくするために、ライン３５１の最初の２つの輝度値のみが示されている。

ステレオ評価ハードウェアへデータを読み込む通常の動作が概略的に示されている。２つのセンサはクロック同期されて順次に読み出される。そのつど左方および右方のセンサからの同じラインが時間同期されて線路上を伝送される。

図４には、図３に相応に、本発明の実施例において、較正情報にしたがって画像センサの時間シフトされた読み出しが行われる場合の、画像センサ読み出し時のシリアルデータ線路上の信号の特性が示されている。上方の特性は左方センサに対応し、下方の特性は右方センサに対応する。時間ｔに関して、左方センサの第１のライン３５１，第２のライン３５２，第３のライン３５３，…が読み出され、これと同時に、右方センサのｊ番目のライン４５１，ｊ＋１番目のライン４５２，ｊ＋２番目のライン４５３，…が読み出される。或る読み出しステップではライン３５１，４５１が読み出され、次の読み出しステップではライン３５２，４５２が読み出され、さらに次の読み出しステップではライン３５３，４５３が読み出される。

ここに図示されているのは本発明による最適な手法である。幾何学的に近似に対応するラインが時間同期されて画像センサから伝送される。どのラインが近似に相互に対応するかが較正情報から計算され、センサ構造ごとに個別に対応づけられる。時間シフトの制御はハードウェアそのものによって行われる。これにより入力バッファの大きさを低減できる。

図５には、本発明の実施例にしたがって、較正情報に応じたステレオ測定のために、左方画像センサ２０１および右方画像センサ２０３から領域５０１，５０３が読み出される様子が示されている。領域５０１，５０３は同じ大きさであるが、センサ２０１，２０３の異なるセンサ領域をカバーしている。この場合、領域５０１，５０３はセンサ２０１，２０３の或るラインに関して相互にずれている。つまり、左方画像センサ２０１の領域５０１に対して、右方画像センサ２０３の領域５０３は距離５０７だけ上方へずれている。この場合、距離５０７はライン数を表している。さらに、領域５０１，５０３はセンサ２０１，２０３のカラムに関しても相互にずれていることがある。領域５０１，５０３内では、対応する画像内容１０５が各領域５０１，５０３内の同一もしくはほぼ等しい位置に配置される。

複数のＣＭＯＳセンサにより、画像センサ２０１，２０３の領域５０１，５０３を選択的に読み出すことができる。これにより、ステレオ測定に対して、較正データに基づいて、左方画像センサ２０１および右方画像センサ２０３の各領域を所望に応じて個別に、左方画像および右方画像における領域５０１，５０３間のずれがきわめて小さくなるかもしくは全く生じなくなるように選定できる。

このようにすれば、ステレオハードウェアの入力バッファの大きさも低減できる。相応の手法が図５に概略的に示されている。

ローリングシャッタセンサが用いられる場合、撮像装置のラインは時間的に連続して露光され、読み出される。このことは図６，図７に概略的に示されている。

図６には、ローリングシャッタセンサによる撮像の時間フローが概略的に示されている。ここでは、左方画像センサと右方画像センサとにより、時間同期した記録が行われる。

ここでは、左方画像センサ２０１および右方画像センサ２０３のそれぞれによって車両のコーナー領域１０５が検出されることが示されている。コーナー領域１０５は距離１０７すなわちライン数本分ずれている。左方センサ２０１および右方センサ２０３の同期露光および同期読み出しが行われることが示されている。さらに、記録時点ｔ０，ｔ１および時間差ｄｔと、左方画像センサ２０１および右方画像センサ２０３の同期露光および同期読み出しとが示されている。ラインごとの露光は時点ｔ０で開始され、続いて、センサ２０１，２０３のラインが順次に露光されて読み出される。このことは各画像の左側の矢印によって表される。

これにより、図１に示されているような幾何学的ラインずれを利用するステレオ構造のために、左方画像の図示されている画像特徴１０５が右方画像よりも時間ｄｔだけ遅れて記録される。

これは、実際には次のことを意味する。すなわち、画像周波数２５Ｈｚ，分解能５００ラインで、画像ラインごとのクロック時間が約８０μｓとなる。ラインずれがライン２０本分である場合、左方のラインと右方のラインとの間の露光の時間ずれは約１．６μｓとなる。特に、画像内に迅速に運動するオブジェクトが存在する場合、例えば、近傍領域に他車両が存在する場合、画像ごとに２５ピクセルのオブジェクトの垂直運動速度が調整画像における１ピクセルの視差を生じさせる。つまり、ダイナミックに変化するオブジェクトの対応特徴１０５は調整後にもライン１本分ずれている。このためステレオ測定は困難となる。

図７には、図６に相応に、ローリングシャッタセンサによる画像記録の時間フローの概略図が示されている。ここでは、時間シフトをともなうシャッタモードが本発明の実施例にしたがって実行される。

ここでは、左方画像センサ２０１および右方画像センサ２０３によって車両のコーナー領域１０５が検出される様子が示されている。

ステレオシステムにおけるローリングシャッタプロセスの時間シフト動作により、図６に即して説明した、ダイナミックに運動するオブジェクトの対応特徴１０５が画像調整後にもまだずれているという作用が有利に低減される。時間シフト量は較正情報に依存して、図７に示されているように選択される。左方センサ２０１による画像記録の開始は時間ｄｔだけ遅延される。遅延量ｄｔも較正情報から計算され、ステレオシステムごとに個別に定められる。

こうした手法により、ローリングシャッタセンサが使用される際のステレオ測定の精度および信頼性が向上する。

図８には、ステレオセンサシステムの画像検出に適した２つのセンサ２０１，２０３からの画像情報の処理方法の概略図が示されている。センサ２０１，２０３は、画像情報を、それぞれ異なる位置に配置されたセンサ部分において部分ごとに検出するように構成されている。センサ部分の例として、ここでは、それぞれ７本のラインが示されている。センサ２０１，２０３による記録間の画像ずれ１０７を補償するために、センサ２０１，２０３の各画像部分から画像情報が相互にシフトされて読み出される。読み出しは読み出し装置８６１によって制御される。読み出し装置８６１は、画像ずれ１０７に関する情報を受信し、これに基づいて１回の読み出しステップでセンサ２０１のセンサ部分およびセンサ２０３のセンサ部分の双方を読み出すように構成されている。例として、読み出し装置８６１が１回の読み出しステップでセンサ２０１の第２のラインとセンサ２０３の第６のラインとからそれぞれの画像情報を読み出す様子が示されている。センサ２０１の第２のラインおよびセンサ２０３の第６のラインはそれぞれ対応する画像内容１０５を有する。このように、有利な実施例によれば、４つのラインのずれを含む各センサ部分が読み出される。次の読み出しステップでは、センサ２０１の第３のラインとセンサ２０３の第７のラインとからそれぞれの画像情報が読み出される。読み出された画像情報は処理装置８６５へ出力され、そこでさらに処理されるかまたは評価される。

画像情報は各センサ部分によって検出され、一時記憶される。この場合、読み出し装置８６１はバッファから画像情報を読み出すように構成される。これに代えて、読み出し装置８６１を、相応のセンサ部分により画像情報の検出をトリガするように構成してもよい。この場合、読み出し装置８６１はセンサ部分から直接に画像情報を読み出すことができる。

有利な実施例によれば、複数のセンサ部分のうち一部の部分領域のみがそのつど読み出し装置８６１によって読み出される。この場合、読み出し装置８６１は、ずれ量８０７に加え、個々のセンサ部分内のずれに関する別の情報、ここでは水平方向ずれに関する情報を受信し、これに基づいて相応の部分領域のみを読み出すように構成される。例えば、ずれがライン長さの１／４である場合、図示の読み出しステップでは、左方センサ２０１の第２のラインの１／４部の左２つ分と、右方センサ２０３の第６のラインの１／４部の中央２つ分とが読み出される。

本発明での、画像センサの時間シフト読み出しのアプローチ、または、較正情報に依存した領域選択のアプローチは、例えば自動車の運転支援システムに関連して使用される。

上述した図示の実施例は例示のためのものに過ぎない。種々の実施例は、単独で、または、個々の特徴に関連して相互に組み合わせて実施可能である。また、或る実施例を別の実施例の特徴によって補充することもできる。さらに、本発明の各方法ステップは、反復して、または、異なる順序で実行可能である。

Claims (10)

1. ステレオセンサシステムにおける、画像検出に適した２つのセンサ（２０１，２０３）の画像情報の処理方法であって、
   各センサは、複数の画像情報を、各センサの種々の位置に配置された複数のセンサ部分において部分ごとに検出するように構成されている、
   画像情報の処理方法において、
   それぞれ対応する画像情報を有する第１のセンサおよび第２のセンサの２つのセンサ部分の各位置間の幾何学的ずれ（１０７）に関する情報（８０７）を形成するステップと、
   前記第１のセンサ（２０１）の画像情報および前記第２のセンサ（２０３）の画像情報を、各画像情報が読み出される各センサ部分の位置に関連して、前記幾何学的ずれを用いて読み出す（８６１）ステップと
   を含む
   ことを特徴とする画像情報の処理方法。
2. さらに、前記幾何学的ずれ（１０７）を、前記第１のセンサ（２０１）のセンサ部分の画像情報と前記第２のセンサ（２０３）のセンサ部分の画像情報との比較に基づいて求めるステップを含む、請求項１記載の画像情報の処理方法。
3. 前記読み出す（８６１）ステップにおいて、前記第１のセンサ（２０１）の画像情報を第１のセンサ部分のみから読み出し、前記第２のセンサ（２０３）の画像情報を第２のセンサ部分のみから読み出す、ただし、前記第１のセンサ内の前記第１のセンサ部分の幾何学的配置は前記第２のセンサ内の前記第２のセンサ部分の幾何学的配置に対して異なっている、請求項１または２記載の画像情報の処理方法。
4. さらに、前記第１のセンサ部分内の第１のピクセル（１０５）と前記第２のセンサ部分内の第２のピクセル（１０５）との間の移動量を求め、前記第１のピクセルと前記第２のピクセルとを検出された画像情報に関して相互に対応させるステップを含む、請求項３記載の画像情報の処理方法。
5. さらに、前記第１のセンサの第１の位置に配置されたセンサ部分による前記第１のセンサ（２０１）の画像情報の検出をトリガするように構成されている第１のトリガ信号を形成するステップと、該第１のトリガ信号を形成するステップの時間的後または時間的前に、前記第２のセンサの第１の位置に配置されたセンサ部分による前記第２のセンサの画像情報の検出をトリガするように構成されている第２のトリガ信号を形成するステップとを含む、請求項１から４までのいずれか１項記載の画像情報の処理方法。
6. さらに、前記第１のセンサの第１の位置に配置されたセンサ部分による前記第１のセンサ（２０１）の画像情報と、前記第１の位置に対してずれを生じている前記第２のセンサの第２の位置に配置されたセンサ部分による前記第２のセンサ（２０３）の画像情報との同時検出をトリガするように構成されている１つのトリガ信号を形成するステップを含む、請求項１または２記載の画像情報の処理方法。
7. 前記読み出す（８６１）ステップにおいて、前記第１のセンサ（２０１）の画像情報を前記第１のセンサの１つのラインから読み出し、前記第２のセンサ（２０３）の画像情報を前記第２のセンサの１つのラインから読み出す、請求項１から６までのいずれか１項記載の画像情報の処理方法。
8. さらに、前記第１のセンサ（２０１）の別の画像情報および前記第２のセンサ（２０３）の別の画像情報を、該別の画像情報が読み出される別のセンサ部分の別の位置に関連して、前記幾何学的ずれを用いて読み出す、少なくとも１つの別のステップを含む、請求項１から７までのいずれか１項記載の画像情報の処理方法。
9. ステレオセンサシステムにおける、画像検出に適した２つのセンサ（２０１，２０３）の画像情報の処理装置であって、
   各センサは、複数の画像情報を、各センサの種々の位置に配置された複数のセンサ部分において部分ごとに検出するように構成されている、
   画像情報の処理装置において、
   それぞれ対応する画像情報を有する第１のセンサおよび第２のセンサの２つのセンサ部分の各位置間の幾何学的ずれ（１０７）に関する情報（８０７）を形成する情報形成装置と、
   前記第１のセンサの画像情報および前記第２のセンサの画像情報を、各画像情報が読み出されるセンサ部分の位置に関連して、前記幾何学的ずれを用いて読み出す読み出し装置（８６１）と
   を備えている
   ことを特徴とする画像情報の処理装置。
10. プログラムがコンピュータ上で実行される際に、請求項１から８までのいずれか１項記載の画像情報の処理方法を実行するためのプログラムコードを含むコンピュータプログラム製品。

Images