JP2005310140A - オブジェクトの認識及び／又は追跡方法 - Google Patents

Abstract

【課題】オブジェクトの迅速な認識及び追跡を可能にする。
【解決手段】連続する画像が連続するサイクルで評価され、１つのサイクルにおいて発見された少なくとも１つの個々のオブジェクトがその後のサイクルにおける対応するその後の画像内の対応する画像を基礎として検索され、オブジェクトが追跡される。現行サイクルで対応する先の画像を使用して決定された、先の画像の少なくとも一部及び／又はオブジェクト又はこれに対応する実オブジェクトの先の状態に関する少なくとも１つの徴候が、現在の画像の少なくとも予備的な評価の結果を基礎として、現行サイクルで決定される現在の画像の少なくとも一部に、又は現行サイクルで認識されるオブジェクトに、少なくとも１つの現行サイクルの間、関連づけられる。
【選択図】 図２

Description

本発明は、電磁放射線センサの検出ゾーン内の実在するオブジェクト（実オブジェクト）に対応するオブジェクトを認識及び／又は追跡する方法、及び上記方法を実行する装置に関する。

オブジェクトを認識及び／又は追跡する方法は、一般的に知られている。典型的には、検出ゾーンの画像は、電磁放射線のセンサ（例えば、レーザ・スキャナ又はビデオカメラ）によって、一定の時間間隔で検出される。次に、検出ゾーン内の実オブジェクトに対応するオブジェクトを探して、上記画像が検索される。画像内でオブジェクトが最初に発見されれば、プロセスの後続サイクルにおいて、このオブジェクトを対象に、その位置又はその位置の変化を時間経過と共に追跡できるような検索が行われる。この目的のために、その位置は、先行サイクルにおけるオブジェクトの位置及び速度を始点として、現行サイクルに関して又は現在の画像において頻繁に予測される。そうすると、画像内の予測されたオブジェクトの位置近くに発見されるエレメント（例えばセグメント）を先行サイクルのオブジェクトに関連づけることができ、よってその現在位置を検出することができるようになる。

このような方法は、例えば、自動車の前方及び／又は隣接ゾーンの監視に適している。このような監視の利点としては、突然発生する危険を自動的に認識することが可能であって、相応の対策を開始できる、という事実が考えられる。しかしながらこのためには、オブジェクトを極めて迅速に認識し、且つ正確に追跡することが可能でなければならない。

上述の方法の場合、オブジェクト追跡の持続時間が増大するにつれて検出されるオブジェクトの特性の正確さが増す場合が多い。これは、追跡の過程でオブジェクトに関して収集される情報が増す可能性があり、これによりオブジェクト又はオブジェクトの状態のより優れた特徴付けが可能にされるためである。従って特に、画像内に新たなオブジェクトが生じると、狂いが発生する場合がある。自動車の例では、例えば、道路脇に駐車された自動車等の別の実オブジェクトによって覆い隠された歩行者が突然道路へと足を踏み入れ、この時点で初めてセンサによって検出可能になるという場合がそれである。同じ問題は歩行者が実オブジェクトの前に位置するときも発生する可能性がある。オブジェクト追跡プロセスは歩行者と実オブジェクトとをまとめて１つのオブジェクトにしてしまうため、歩行者はこの実オブジェクトからかなり離れた時点まで移動しなければ認識されないからである。

従って、本発明の基調を成す目的は、電磁放射線センサの検出ゾーン内の実オブジェクトに対応するオブジェクトを認識及び／又は追跡する方法であってオブジェクトの迅速な認識及び追跡を可能にするものを提供すること、及びこの方法を実行するための対応する装置を提供することにある。

上記目的は、請求項１に記載された特徴を有する方法によって充足される。

少なくとも１つの電磁放射線センサの少なくとも１つの検出ゾーン内の実在するオブジェクト（実オブジェクト）に対応するオブジェクトを、前記センサによって繰り返し検出される前記検出ゾーンの画像に基づいて認識及び／又は追跡する本発明に係る方法においては、連続する画像が連続するサイクルで評価され、且つ、１つのサイクルにおいて発見された少なくとも１つの個々のオブジェクトが、該オブジェクトを追跡するために、その後のサイクルにおけるその後の画像内の対応する画像を基礎として検索される。更には、先の画像の少なくとも一部及び／又は上記オブジェクトないしこのオブジェクトに対応する実オブジェクトの先の状態に関する少なくとも１つの徴候（現行サイクルにおいて対応する先の画像を使用して決定される）が、現在の画像の少なくとも予備的な評価の結果を基礎として、現行サイクルで決定される現在の画像の少なくとも一部に又は現行サイクルで認識されるオブジェクトに、少なくとも１つの現行サイクルの間、関連づけられる。

この目的はさらに、請求項１１に記載された特徴を有する装置によって充足される。

オブジェクトを認識して追跡するための本発明に係る装置は、検出ゾーンの画像を検出するように設計された少なくとも１つの電磁放射線センサと、次のような１つのデータ処理デバイスとを有する。このデータ処理デバイスは、前記センサに接続され、本発明に係る方法を実行するように作製され、且つ、特には次のものを含む。即ち、前記センサの現在の画像を評価するための手段と、現在の画像の一部をこの現在の画像の少なくとも予備的な評価の結果として決定するための、又は、現行サイクルにおいてオブジェクトを認識するための手段と、先の画像の一部を関連づけるための、及び／又は、現行サイクルにおいて先の画像を使用しながら上記オブジェクト又はこのオブジェクトに対応する実オブジェクトの先の状態に関する少なくとも１つの徴候を決定し、且つ、前記徴候を前記現在の画像の一部又は前記現在のオブジェクトに関連づけるための手段とを含む。

本発明に係る方法は、本発明に係る装置によって実行可能である。本方法は、検出ゾーン内のオブジェクトを認識及び／又は追跡する働きをする。これは一般的に定置式である場合も、移動式である場合もあり、後者は特に画像が車両に取り付けられたセンサによって検出されるケースが考えられる。

画像は、少なくとも１つの電磁放射線センサによって検出される。上記センサは、電磁放射線を受信するだけの純粋な受動センサであることが可能である。しかしながら、放射（特には方向付けされて放射）可能な電磁放射線のソースを有するセンサも使用することができる。この電磁放射線は、上記放射によって照射される実オブジェクト上の１つの点又は領域によって反射して戻ることが可能である。上記センサは又、実オブジェクトの１つの点又は領域から反射して戻ってくる放射線に感応する少なくとも１つの対応するセンサ・エレメントを有する。さらに、異なるタイプの画像を検出する電磁放射線センサの組合わせも使用可能である。この場合、複数のセンサの検出ゾーンは必ずしも重複する必要はないが、少なくとも部分的に重複することが好適である。

このコンテキストにおける画像は、特に、各々がセンサの視野方向を横断する少なくとも１つの方向でセンサにより検出される１又は複数の実オブジェクト上の１つの点又は領域の位置と、上記実オブジェクトの１つの点又は領域の少なくとも１つの特性とを再現するデータ・セットとしても理解される。実オブジェクトの点の位置は、例えば走査平面でのオブジェクトの点の検出において、例えばセンサの任意の所望される、但し予め固定式に設定された基準方向に対する角度によって与えられることが可能である。実オブジェクトの点又は領域が空間内で検出される際には、位置は、センサのセンサ・エレメントの位置によって、且つ任意選択的に画像特性によって与えられることが可能である。上記特性は例えば、放射される光学放射線の強度及び／又は波長又は色、センサからの距離又はセンサに対する半径方向の速度である可能性がある。従ってビデオ画像は、例えば特性としての反射される光学放射線の強度に関する、及び実オブジェクトの１つの点又は領域の放射線を検出したセンサ・エレメント及び延ては位置に関連するデータを含むことが可能であるのに対して、距離画像は、実オブジェクトの検出された点又は領域の特徴としてセンサからの距離と、位置情報として実オブジェクトの点又は領域が検出された角度とを含むことが可能である。最後に速度画像は、実オブジェクトの点又は領域のセンサに対する速度に関するデータを含む。

画像は、個々のセンサによって直接検出されなければならないわけではない。むしろ、時間的に互いに関連づけられていて、少なくとも２つの電磁放射線センサによって検出された２つの画像を組み合わせ、より広い検出ゾーン又は実オブジェクトの追加的な特性又は点又は領域を再現する１つの全体画像を形成することもまた可能である。例えば距離画像は、互いに対して離隔配置された２つのビデオカメラにより画像特性及びビデオカメラの上記配置を考慮しながら検出された、且つ実オブジェクトの１つの点又は領域のビデオカメラに対して定置である基準点からの距離に加えて、実オブジェクトの個々の点又は領域によって放射される光の強度又は色に関するデータをも有する２つの画像から生成されることが可能である。

さらに、異なるタイプの画像は、全体画像に組み合わされる場合もあれば、共に、又は互いに依存して処理される場合もある。例えば、ビデオ画像及び距離画像は、好適には組み合わされることなく共に処理され、より狭義な意味での画像データ・セットを形成することが可能である。

本発明に係る方法に使用される画像は連続する時間で検出されるが、この場合の時間は、好適には互いに一定の時間間隔を有する。従って、本発明に係る装置のセンサは、検出ゾーンの画像を繰り返し検出するように設計される。１つのサイクルに複数の画像が使用される場合、これらは、好適には実質上同時的に検出され、即ちそれらの検出時刻は最も遅い検出速度を有するセンサによる連続走査間のそれより少ない時間間隔で異なる。

次に、検出された画像は連続するサイクルにおいて評価され、この場合、少なくとも１つの対応する画像が所定のサイクルにおいて評価される。複数の画像が実質上同時に検出される場合には、画像のうちの１つは少なくとも予備的に評価されるだけで足りる。

あるサイクルにおいて発見された少なくとも１つの個々のオブジェクトは、後のサイクルにおける対応する後の画像において少なくとも１つの対応する画像を基礎として検索され、追跡が行われる。このためには、特に従来のオブジェクト認識及び追跡プロセスを使用可能である。この場合、現行サイクルの画像エレメントと先行するサイクル又は画像で認識されたオブジェクトとの関連づけが発生し得る。

予測プロセスは、特に、現行サイクルにおける位置が少なくとも１つのオブジェクトの先のサイクル、特には先行サイクルにおける位置を基礎として、且つその速度を基礎として予測され、予測された位置の環境内のオブジェクトについて検索が行われるものを使用可能である。新しいオブジェクトは画像の一部から、即ちそのサイクルで決定される、既知のオブジェクトに関連づけされ得なかった画像エレメント又は画像エレメント・セット、特にはセグメントから形成されることが可能である。

次に本発明によれば、従来のオブジェクト認識及び追跡プロセスとは異なり、先の画像の少なくとも一部及び／又はオブジェクトないしこのオブジェクトに対応する実オブジェクトの先の状態に関する少なくとも１つの徴候（対応する先の画像を基礎として決定される）は、現在の画像の少なくとも予備的な評価の結果を基礎として、現行サイクルで決定される現在の画像の少なくとも一部に、又は現行サイクルにおいて認識されるオブジェクトに、少なくとも１つの現行サイクルの間、関連づけられるようになっている。

このプロセスにおいて、実質上同時に検出される複数の同じタイプの、又は異なるタイプの画像が使用される場合には、これらの画像のうちの１つについて予備評価が行われるだけで足りる。関連づけは、実質上同時に検出される同じ画像又は異なる画像の一部との間で実行されることが可能である。

これは、現行サイクルで評価されるものは現在の画像だけではないことを意味する。むしろ実際は、まず、現行サイクルにおける現在の画像の少なくとも予備的な評価又は任意選択として部分評価が実行される。次に、この少なくとも予備的な評価を基礎として、即ち特には上記少なくとも予備的な評価の結果に依存して先の画像がオブジェクトの追跡に、又はオブジェクトに関連するデータの決定に使用され、上記画像は特に、現在の画像の直前に検出されて先行サイクルに関連づけられる画像であることが可能である。

予備的な評価においては、特に、先の画像が使用されるべきか否かに関する決定を下す際に参照される少なくとも１つの基準がチェックされることが可能である。よってこれは、上記基準が満たされないときは、他の既知のオブジェクト認識及び追跡方法が実行され得ることを意味する。

少なくとも予備的な評価においては、現行サイクルにおいて決定される例えば少なくとも１つのセグメントである画像エレメント又は画像エレメント・セットである可能性のある現在の画像の一部が決定される。現行サイクルにおいて複数の現在の画像が使用されれば、予備的に評価された画像は必ずしもその部分が決定される画像に一致する必要はない。但し、現在の画像内のオブジェクトもまた認識されて使用される可能性がある。画像部分の決定及びオブジェクトの認識は共に、まず従来のプロセスにおけるそれに類似するプロセス・ステップを使用して行なわれることが可能である。

次に、先の画像の一部は、上記少なくとも予備的な評価において決定された現在の画像の一部に、又は現行サイクルにおけるオブジェクトに関連づけられることが可能であり、この場合の先の画像は現行サイクルにおいて決定される先の画像の例えば少なくとも１つのセグメントである画像エレメント又は画像エレメント・セットであることが可能である。このプロセスでは、画像部分は各々異なる数の画像エレメントを有する可能性があり、画像エレメントの１対１の関連づけが与えられる必要はない。このプロセスでは、任意の所望される第１及び／又は第２のオブジェクト及び／又は第１及び／又は第２の画像の一部について、第１の画像の一部又は第１のオブジェクトと第２の画像の一部との、又は任意の所望される第１及び／又は第２のオブジェクト及び／又は第１及び／又は第２の画像の一部に関する第２のオブジェクトとの関連づけは第２の画像の一部又は第２のオブジェクトが予め決定されるように理解され、且つこの目的のために、任意選択として複数の代替候補から第１の一部の適切な一部又は適切な第１のオブジェクトが選択され且つ関連づけられる。

但し、オブジェクト又はこれに対応する実オブジェクトに関連する徴候もまた、現行サイクルにおいて現在の画像の一部に、又はオブジェクトに関連づけられることが可能である。この徴候は、オブジェクト又は実オブジェクトの任意の所望される状態パラメータの値であることが可能であり、例えば位置、速度、サイズ、オブジェクトがオブジェクトの追跡に関するそれらの典型的な特性に従って等級づけされる１つ又は複数のオブジェクト・クラスとの関連性であり、又はそのような実オブジェクトの存在であったりもする。このプロセスでは、先の全体画像は徴候の決定に使用される必要はなく、決定はむしろ部分領域に限定されるだけである可能性がある。但し、好適には現行サイクルの間もこのために引き続き格納されることが可能な先の画像の少なくとも１つの画像エレメントと、同時的な現在の画像の少なくとも予備的な評価の結果とは、必ずこの決定に直に使用される。

何れの場合も、関連づけられるのは先の画像の一部又は先の画像から取得される徴候と現在の画像の一部又は現行サイクルのオブジェクトであり、現在の画像の一部と先の画像から取得されるオブジェクト又は徴候でない点は重要である。

全体としてこれは、予備的な評価に依存して現在の画像からの情報が先の画像の反復され且つ改善される評価のために、少なくとも部分的に反復される評価のために使用されてオブジェクトが追跡され、その結果が現行サイクルで使用されることを意味する。

これにより、画像に含まれる情報はより良く評価されることが可能であり、より高速且つ正確なオブジェクト認識及び追跡が可能となる。

次に、本プロセスによって決定されるデータは、例えば車両を制御するために下流デバイスによって使用されるべく出力される、又は格納されることが可能である。

本発明に係る装置には、画像送信用に電磁放射線センサに接続される、個々のプロセス・ステップを実行するためのデータ処理デバイスが設けられている。このプロセスにおいて、本データ処理デバイスは、完全に又は部分的にプログラム不能な回路として作製されることが可能であり、これにより実行速度が上がる。但し好適には、データ処理デバイスは、本発明に係る方法を実行するためのプログラム可能プロセッサを有し、且つこれに接続されたメモリ、センサへの出力インタフェース及び入力インタフェースを有する。

センサの現在の画像を評価するための手段、現在の画像の一部を上記現在の画像の少なくとも予備的な評価の結果として決定する、又は現行サイクルにおいてオブジェクトを認識する、及び／又は先に画像の一部を関連づけるための手段、又はオブジェクトの、又はこれに対応する実オブジェクトの先の状態に関する少なくとも１つの徴候を対応する先の画像を基礎として決定し且つ上記徴候を現在の画像の一部又は現在のオブジェクトに関連づけるための手段は、特に、完全に又は部分的に自由にプログラムすることができない電気回路として作製されることが可能な、但し好適には相応のプログラムされたプロセスによって作製されることが可能なものが供給され得る。

本発明のさらなる展開及び好適な実施形態は、明細書本文、図面及び請求の範囲に記載されている。

センサとしては、任意の所望される電磁放射線用のセンサを使用可能である。本発明に係る装置の好適な一実施形態では、特には空間分解能レーダセンサである少なくとも１つのレーダセンサがセンサとして使用される。従って、本発明に係る方法では、好適にはレーダセンサの空間分解能画像が使用される。レーダセンサは、特に、実オブジェクトのレーダセンサに対する半径方向速度を直に検出することができる。

しかしながら、好適には光学放射線用に、即ち電磁スペクトルの赤外、可視又は紫外領域における放射線用に少なくとも１つのセンサが使用される。このようなセンサは、一般的にレーダセンサより優れた空間分解能を有する。

特に好適には、距離画像を検出するためのセンサが使用される。例えば、平面上に離隔配置される少なくとも２つのビデオカメラを備えるステレオ・ビデオカメラ・システムを使用可能であり、この場合はステレオ・ビデオカメラ・システムからの距離が検出される。但し好適には、電磁放射線による少なくとも１つの走査ビームを使用して少なくとも１つの走査面が走査されるセンサが使用される。このプロセスでは、複数の走査ビームを使用して走査面におけるストリップが実質上同時に走査される場合もあれば、走査ビームが好適には走査面で回転され、実オブジェクトにより個々に反射して返される放射線が対応する検出器によって受信される場合もある。対応するレーザ・スキャナとしては、それにより少なくとも１つのパルスレーザ放射線束を検出ゾーン上で回転させることが可能であり、実オブジェクトから反射して返されるパルスレーザ放射線束の放射線を受信することが可能であり且つレーザ放射線束のパルスが実オブジェクトへ到達してレーザ・スキャナへ戻るまでの走行時間を参照し、角度分解能により実オブジェクトの距離を決定することが可能なものを使用することができる。このようなレーザ・スキャナは、同時に高い検出速度を有する優れた空間分解能によって特徴づけられる。特に好適には、ファンのようにお互いの上に配置される複数の走査面を走査するレーザ・スキャナが使用される。

さらに好適には、ビデオ画像が本発明に係る方法において使用され、ビデオ画像を検出するための本発明に係る装置は光学画像システムを有する少なくとも１つのビデオカメラを含むことが可能なビデオ・システムと、例えば可視光及び／又は赤外線である光学放射線の空間分解能受信のためのセンサ・システムとを有する。ビデオカメラとしては、アプリケーションに依存して特に広角カメラ又はパノラマカメラを使用可能である。距離ゾーンの監視には、望遠レンズを有するビデオカメラが特に適している。一般的に、ズームレンズを有するビデオカメラも使用可能である。さらに、白黒又はグレースケール・システム又は感色性システムをセンサ・システムとして使用することもできる。例えば、対応するＣＣＤ又はＣＭＯＳセンサ・エレメントも使用可能である。

さらに、同じタイプ又は異なるタイプの画像を検出する電磁放射線センサの組合わせも使用可能である。このプロセスにおいては、センサの検出ゾーンは同一である必要はなく、監視ゾーンにおいて重複すれば足りる。

現行サイクルにおけるオブジェクトの認識及び／又は追跡を向上させるためには、先の画像の一部の、又はオブジェクトの先の状態に関する徴候の関連づけをオブジェクトの現在の状態に関するさらなる徴候を決定するために使用することが好適である。決定されるさらなる徴候は、それについてその先の状態に関する徴候が決定されたオブジェクトに関するものである必要はない。これはむしろ、現行サイクルの任意の所望されるオブジェクトであることが可能である。従って結果的には、現在の画像の少なくとも予備的な評価からの情報に始まって、先の画像に対応する時間点でまずオブジェクト又は実オブジェクトに関する新しい情報が得られ、次には現在の画像の評価に使用される、いわば少なくとも部分的に反復して作動するプロセスが生じる。従って、画像内に存在する情報は、線形的にしか作動しないプロセスの場合よりも実質上効果的に使用される。

新しく認識されるオブジェクトの処理に関しては、特に、現行サイクルにおいて新しいオブジェクトが認識されれば実際のサイクルにおける新しいオブジェクトの現在の位置が決定されることと、新しいオブジェクトの現在の位置を基礎として先のサイクルにおける新しいオブジェクトの先の位置が推定されることと、推定された新しいオブジェクトの先の位置を使用して現行サイクルにおける新しいオブジェクトの状態パラメータの現在の値が決定されることが好適である。そうでなければ１つの画像のみを基礎としては決定され得ないオブジェクトの速度は、特に状態パラメータとして推定されることが可能である。

オブジェクトが最初に先のサイクルにおいて認識されな且つたケースには、複数の理由が該当する可能性がある。従って、本発明に係る方法のさらなる展開においては、現行サイクルにおける新しいオブジェクトの現在の位置と、先のサイクルにおける少なくとも１つの他のオブジェクトの先の位置とを基礎として、先のサイクルにおいて評価された画像内の新しいオブジェクトに対応する実オブジェクトが、先のサイクルにおける他のオブジェクトに対応する実オブジェクトによってマスクされていた可能性があるかどうかに関するチェックを行うことが好適である。マスキングは、他の実オブジェクトの領域が電磁放射線の実オブジェクトの点からセンサへの伝搬経路内に配置されていたために、マスクされた実オブジェクトの点は使用されるセンサによって検出され得なかったことを意味するものと理解される。一方でこのさらなる展開は、先行サイクルにおけるマスキングの認識を促進し、検出ゾーンのマスクされた部分のサイズと位置とを推定することにより、先の画像の時点における新しいオブジェクトに対応する実オブジェクトの位置の推定を可能にする。

特に、現在のサイズ及び／又は形状は現行サイクルにおける新しいオブジェクトに関して決定され、且つ上記現在のサイズ及び／又は形式はマスキングのチェックに使用されることが好適である。これにより例えば、マスキングは、センサにより検出され得るシルエット又はセンサにより検出され得る新しいオブジェクト又は対応する実オブジェクトの輪郭がセンサの視座からは他の実オブジェクトの対応する輪郭又は対応するシルエットより小さい場合にのみ認識されることが保証され得る。新しいオブジェクトのサイズ及び／又は形状はさらに、オブジェクトをまず、各々がオブジェクトの認識及び追跡に特徴的な特性を有する実オブジェクトを含む複数のオブジェクト・クラスのうちの１つへ分類すべく機能することができる。例えばオブジェクト・クラスは、歩行者、自動車、道路の境界又はこれらに類似するものに関して設けられることが可能である。よって、このオブジェクト・クラスに依存して、実オブジェクトが他の実オブジェクトによってマスクされた領域から検出された位置へ、現在の画像の検出と先の画像の検出との間に存在する時間内に個々のオブジェクト・クラスの実オブジェクトにとっての可能最大速度で移動し得たかどうかに関する推定を行なうことができる。

従って、現行サイクルにおいて現在の画像の評価によって得られる検出ゾーンに新しいオブジェクトが存在しているという情報からマスキングをチェックすることにより、この新しいオブジェクトに対応する実オブジェクトが先行時間にセンサの検出ゾーン内に既に存在していたかどうかを発見することができる。この場合は、マスキングを引き起こす実オブジェクトに対応するオブジェクトの現在の位置、及び好適には現在のサイズ及び／又は形状からマスキングが想定されると、先のサイクルにおける新しいオブジェクトに対応する実オブジェクトの先の位置が推定され、これから新しいオブジェクトの現在の速度が推定されることが特に好適である。従って、現行サイクルにおいて得られる先のサイクルにおける新しいオブジェクトに関する情報は、現行サイクルにおいてその速度を方向及び大きさの双方に関する状態パラメータとして推定するために使用されることが可能である。これは例えば、駐車している車に隠れていて車両の背後から突然飛び出してくる歩行者の高速認識、及びこれに対する任意選択の反応にとって特に有益である。

しかしながら、現在の画像において新たに認識されるオブジェクトは、先のサイクルでは別の理由でマスキングとして認識されていない可能性もある。例えば、先の画像では新しいオブジェクトの検索を行うことが好適であり、先の画像においてオブジェクトが発見されれば、先のサイクルにおける新しいオブジェクト及び／又は他のオブジェクトに関する状態パラメータの先の値を使用しながらオブジェクト及び／又は別のオブジェクトの少なくとも１つの状態パラメータの現在の値を決定することが好適である。一方で、オブジェクトの特性、例えばそのサイズ及び／又は輪郭又は形状は現行サイクルから既知であり、検索は促進されることが可能である。他方では、先の画像には新しいオブジェクトが存在していたはずであるという事実を使用可能であり、よって先のサイクルにおける先の画像の評価に際しては、例えば画像エレメント又はセグメントである画像部分とオブジェクトとの関連づけに関する現行の不確定性を任意選択で除去することができる。

このような不確定性は、特に、実際には２つの異なる実オブジェクトに属する実オブジェクトの２つの点又は領域が先の画像において１つのオブジェクトに属するものとして認識される場合に発生する可能性がある。従って、先の画像において新しいオブジェクトが再度発見されれば、情報は、新しいオブジェクト又はこれに対応する１つの実オブジェクト及び別の実オブジェクトに対応し且つ先のサイクルに関して今回新たに決定される別のオブジェクトの双方に関して得られる可能性がある。特に新しいオブジェクト又は他のオブジェクトの位置及び任意選択としてサイズ及び／又は形状は、新しいオブジェクト又は他のオブジェクトに関する先のサイクルにおける状態パラメータとして決定される可能性がある。現行サイクルの対応するデータを使用すれば、一方で現行サイクルにおける初めての新しいオブジェクトに関する速度は既に決定されている可能性があり、且つ他方では先行サイクルにおける他の実オブジェクトに対応する他のオブジェクトに関してより正確な速度が決定される可能性がある。

このさらなる展開による本発明の方法を使用すれば、例えばセンサの視界内で道路脇の実オブジェクトのすぐ前に立っていて次に道路へ進み出た歩行者は特に、極めて簡単に認識されることが可能である。現在の画像において歩行者が認識されると直ぐに、歩行者の速度は時間的な後戻りによりその規模及びその方向の双方に関して推定されることが可能であり、歩行者の認識に関して有益な時間を入手することができる。

先の画像における新しいオブジェクトの検索は、異なる方法で発生する可能性がある。本発明に係る方法のさらなる展開においては、画像は、所定のセグメント化プロセスを使用し且つ少なくとも１つの対応する所定のセグメント化パラメータを使用してセグメント化され、且つ先の画像の少なくとも１つの対応する領域は、異なるセグメント化プロセスを使用し及び／又は先の画像における新しいオブジェクトのロケーションに関する変化されたセグメント化パラメータを使用して再度セグメント化されることが好適である。結果的には、新しく決定されるセグメントと対応するオブジェクトとの新しい関連づけが行われる可能性がある。新しいセグメント化は画像全体に関して行われる必要はなく、好適には現行サイクルにおける新しいオブジェクトの位置及び対応するより近接した他のオブジェクトの位置により速度に依存して決定される領域をカバーするだけである可能性があり、他のオブジェクトの認識は損なわれない。特に、使用されるセグメント化プロセス及び任意選択で変更されるセグメント化パラメータの双方は状況に依存して適合化されることが可能であり、即ち、新しいオブジェクト及び他の個々のオブジェクトの位置、タイプ又はサイズ及び／又は対応する画像エレメントの数にも依存して選択されることが可能である。

本発明に係る方法の好適なさらなる展開においては、例えば距離画像を検出するためのレーザ・スキャナによって検出されることが可能であり、且つビデオ画像を検出するためのビデオカメラによって、又はステレオ画像を生成するための、互いに離隔配置され且つ互いに結合された少なくとも２つのビデオカメラを有するビデオ・システムによっても検出されることが可能な互いに時間的に関連づけられる距離画像及びビデオ画像が使用される。例えば、処理努力を低減させるためにビデオ画像処理が対応する距離画像の評価によって制御されれば、即ち、レーザ・スキャナによるビデオ画像プロセスの注意制御が発生すれば、特徴及び／又はオブジェクトの検出は、ビデオ画像の実オブジェクトの点又は領域に対応する画像エレメントが対応する距離画像内に検出されたセクションを含む領域でのみ発生する。領域は、特に、センサの検出ゾーンとの交差部分の位置及び幅が距離画像を検出するための少なくとも１つの距離画像エレメントにより、又は複数の距離画像エレメントにより画定される走査面に直交する方向へ伸長するストリップによって形成される可能性がある。実オブジェクトは、距離画像を検出するためのセンサの検出ゾーン内へ進入したときにのみビデオ画像内に検出される。例えば、走査面で回転されるレーザ・ビームによって検出ゾーンの平面を走査するレーザ・スキャナを使用して距離画像の検出が行われれば、実オブジェクトは、例えば走査面レベルでのマスキングの結果距離画像内ではまだ認識不能であってもビデオ画像内で認識されることが可能である。

従って、互いに時間的に関連づけられた検出ゾーンの少なくとも１つの共通部分領域の距離画像及びビデオ画像が使用され、オブジェクト及び／又は特徴に関するビデオ画像内の検索は時間的に関連づけられた距離画像エレメントに依存して決定される部分セクションにおいてのみ行われ、ビデオ画像内の新しいオブジェクト及び／又は特徴は、現行サイクルにおいて新しいオブジェクト及び／又は特徴が認識されると先のサイクルまで時間的に後戻りされ、先のサイクルにおける新しいオブジェクト及び／又は特徴に対応する実オブジェクトの位置は先のビデオ画像内の実オブジェクトに対応するオブジェクト及び／又は特徴に関する情報を使用して決定されることが好適である。使用される互いに時間的に関連づけられた距離画像及びビデオ画像は、好適には実質上同時的に検出され、即ちこれらの検出時間の時間間隔の相違は、最も遅い検出速度を有するセンサによる連続走査間のそれより少ない。部分セクションは、特に、距離画像エレメントに関しては所定の形状及びサイズの領域によって、好適には前述の走査面に直交するストリップによって与えられることが可能である。従って、距離画像内の距離画像エレメントに関しては、ビデオ画像の対応する部分セクションにおいてビデオ画像内の少なくとも１つの対応する特徴又はオブジェクト全体に関する検索を行うことができる。特徴のみを使用する場合は、原則として後戻りをより高速で実行することができる。先のサイクルにおける新しいオブジェクト又は特徴に対応する実オブジェクトの位置の決定は、特に、好適にはビデオ画像内の対応する特徴及び／又はオブジェクトの位置を基礎とする推定によって行われることが可能である。さらに、現行サイクルにおける新しいオブジェクト又は特徴の速度は、先のサイクルにおける新しいオブジェクト又は特徴に対応する実オブジェクトの位置から、及び現行サイクルにおける新しいオブジェクト又は特徴の位置から決定されることが可能である。この変形方法では、特に、実オブジェクトは、例えば距離画像用センサの検出ゾーンにおける垂直のマスキングに起因して検出ゾーンを一般により低い垂直度で、即ちより平坦に再現する距離画像内では認識され得ない場合でもビデオカメラの使用によって既に認識できていることが多い、という事実が使用される可能性がある。従って、実オブジェクトが距離画像内に初めて発生する場合、実オブジェクトが距離画像でのみマスキングされていてビデオ画像ではマスキングされていなければ、ビデオ画像内にこれに対応する先行サイクルにおける特徴を認めることが可能である。よって実オブジェクトの速度は、ビデオ画像内の特徴の位置を基礎として決定されることが可能である。従って、注意制御が原因で引き起こされるビデオ画像処理における「死角」の発生は、多大な努力なしに制限されることが可能である。

本発明に係る方法の別の実施形態では、検出ゾーンの少なくとも１つの共通部分領域の互いに時間的に関連づけられる距離画像及びビデオ画像が使用され、現在の距離画像内の距離画像エレメントは先の距離画像における距離画像エレメントに関連づけられ、その場合は先の距離画像における距離画像エレメントに対応する少なくとも１つの領域、及び／又は対応する先のビデオ画像の、及び／又は先の距離画像における距離画像エレメントに対応する現在のビデオ画像の特徴に関して特には光学フローである変位及び／又は変位速度が決定され、上記特には光学フローである変位及び／又は変位速度は現在の距離画像内の距離画像エレメントと先の距離画像内の距離画像エレメントとの関連づけに使用され、上記特には対応する光学フローである領域又は特徴の対応する変位及び／又は変位速度が使用されると、距離画像を検出するセンサに接近し及び／又は先のサイクル内よりも現行サイクル内により多くの距離画像エレメントを有する距離画像内のオブジェクトに関して先行サイクル内の距離画像エレメントと現行サイクルにおける距離画像エレメントとが関連づけられることが好適である。この実施形態では、距離画像からの情報が対応するビデオ画像からの情報に連結され、これにより、距離画像エレメントの処理に使用されることが可能な少なくとも１つの距離画像エレメントに関するデータが追加的に取得される。特に、実オブジェクトが移動すると、原則として距離画像及びビデオ画像内で検出される実オブジェクト上の領域はそれと共に移動される、という事実が使用される。ビデオ画像内の上記領域が強度展開又は対応する特徴を有する場合、実オブジェクトの移動はビデオ画像においてほぼ対応する強度コース又は特徴の変位として表される。変位は連続するサイクル間の変位として理解されるが、連続するサイクルは互いに直接繋がったものではない。従って、ビデオ画像からの移動情報は、実オブジェクトの対応する領域に、又は対応する距離画像エレメントに関連づけられることが可能である。

領域の変位又は変位速度の決定に際しては、好適には対応する光学フローが決定される。一方で、光学フローの画定に使用される表面では、同様に像平面内に画定されるビデオ画像のビデオ画像エレメントが存在する像平面を使用可能である。但し上記表面は、好適にはビデオ画像を処理するためのカメラ・モデルの枠組みにおいて使用されるものが使われる。光学フローは、少なくとも１つの距離画像エレメントについて決定することができれば足りる。即ち、一般的に、実オブジェクトの表面上の距離画像エレメントは、強度構造体を保有せず、故にその光学フローも決定され得ないものが検出されるというケースが発生する可能性がある。従って、光学フローは、ビデオ画像の対応する領域が線形的に互いに独立する２方向へ強度変化を有する場合に完全に決定されることが可能である。従って、対応する追跡は、好適にはこれらの領域に関連して行われる。

光学フローの計算方法は一般的に既知であり、例えばJ.L.Barren、S.S.Beauchemin共著の論文「光学フローの計算」ACM Computing Survey、第27巻第３号、433〜467ページ（1995年）、及びJ.L.Barren、D.J.Flied、D.J.、S.S.Beauchemin共著の論文「光学フロー技術のパフォーマンス」the International Journal of Computervision、12(1)、43〜77ページ（1994年）に説明されている。これらの内容は、本参照により明細書に含まれる。

光学フローは、必ずしもビデオ画像全体について計算される必要はない。これは、距離画像エレメントに対応する実オブジェクトの点について、或いは必要であればその周辺について決定されるだけで足りる。光学フローの画定に使用される、光学フローが計算されなければならない表面の点は距離画像エレメントの位置座標から、距離画像の検出に使用されるセンサのビデオ画像の検出に使用されるビデオ・システムに対する相対位置から、ビデオ・システム又はその内部のビデオカメラの画像ジオメトリ、又はこの表面及び上記光学フローが決定されなければならない所定の表面のモデルから導出されることが可能である。対応するビデオ画像エレメントが点として使用されることは可能であるが、光学フローを正確にビデオ画像エレメント間又はビデオ画像のピクセル間の点におけるサブピクセルにまで決定することも可能である。後のサイクル内の距離画像エレメントが先のサイクル内の距離画像エレメントに関連づけられる、光学フローの補助による距離画像エレメントの追跡は、本参照により本明細書に含まれる、本出願人により提出された公式ファイル参照番号１０３ １２ ２４９．４のドイツ国特許出願に説明されている。上記出願における距離画像は、深度分解能画像と称されている。

従って、センサの外へ移動するオブジェクト又は現行サイクル内に多数の距離画像エレメントを保有しないオブジェクトに関して使用される本方法は、変位又は光学フローの使用が個々の距離画像エレメントの追跡を可能にすることから、オブジェクト位置の予測は行われる必要がない、という利点を有する。一方で、オブジェクトが接近する、又はオブジェクトが先のサイクルよりも現行サイクルにおいてより多くの距離画像エレメントを有する場合の逆の手順は、より多くの距離画像エレメントとより少ない距離画像エレメントとの関連づけが、特に現行サイクルにおけるオブジェクトが互いに密に隣接し合う状況においてより高い安全性で正確に行われ得るという利点を有する。他方で、対応するオブジェクトには、オブジェクトの速度の決定に際して互いに関連づけられる距離画像エレメントの対応する速度の平均化が使用可能であり且つ現行サイクルではより多くのこのような距離画像エレメントを使用可能であることから、より正確な速度が関連づけられる可能性がある。

本発明に係る方法の別のさらなる展開においては、オブジェクトの認識及び追跡はビデオ画像を基礎として行われ、オブジェクトの検出はオブジェクトを認識するためにフィルタ処理されたビデオ画像を基礎として行われ、上記ビデオ画像はフィルタリングに起因して低減された分解能を有し、検索は、現行サイクルにおけるオブジェクト検出後にフィルタ処理された現在のビデオ画像内のオブジェクトの位置及び任意選択として形状を基礎として、オブジェクトに対応する先のビデオ画像内の実オブジェクトに関して行われ、上記後の画像の分解能はフィルタ処理されたビデオ画像のそれより高く、オブジェクトに関する対応するデータは、先のビデオ画像における対応するオブジェクトの発見に際して現在のビデオ画像の評価に使用されることが好適である。オブジェクトの認識及び追跡は、任意選択として距離画像の使用によりサポートされることが可能である。このさらなる開発においては、最初に検出されるビデオ画像が分解能を下げるためにフィルタリングされ、何よりも計算努力が省かれる。フィルタリングは、ビデオ画像の画像エレメント数が低減される任意の所望される方法であることが可能である。例えば最も単純なケースでは、単に画像のサブスキャンだけが実行される可能性があり、画像エレメント又はピクセルの方形ブロックから個々の画像エレメント又はピクセルの１つだけがアレンジメント全体の代表として使用される。遠隔のオブジェクトがビデオ画像検出用のセンサに接近すればこのケースが発生する可能性があり、オブジェクトが最初に検出された時点では、フィルタ処理されたビデオ画像において利用可能な画像エレメント又はピクセルはかなり少数でしかない。増大された分解能を有する先の画像の分析により、先の画像ではフィルタリングに起因して単に認識不能であったオブジェクトはこの時点で任意選択的に認識されることが可能になり、よって低い分解能でしかないにも関わらず、このために多大な計算努力を必要とすることなく軌跡及び速度と現行サイクルにおいて新たに認識されるオブジェクトとの関連づけが実行され得る。

また、本発明の主題は、コンピュータにプログラムがインストールされる場合に本発明に係る方法を実行するためのプログラミング・コード手段を有するコンピュータ・プログラムでもある。

また本発明のさらなる主題は、コンピュータにプログラムがインストールされる場合に本発明に係る方法を実行するための、コンピュータ判読可能データ・キャリアに格納されるプログラミング・コード手段を有するコンピュータ・プログラム・プロダクトでもある。

本明細書で言うコンピュータは、任意の所望されるデータ処理装置、特にはそれにより本方法が実行され得る本発明に係る装置のデータ処理デバイスとして理解される。これは特に、それにより本方法全体又はその一部が実行されるデジタル信号プロセッサ及び／又はマイクロプロセッサを有することが可能である。

本発明は、好適には移動する実オブジェクトを含む領域、の監視、特には道路交通の監視に適し、画像の検出は少なくとも１つの定置センサ及び／又は車両に保持されるセンサによって行われることが可能である。

次に、図面を参照して本発明をさらに例示的に説明する。

図１において、車両１０はその前側にレーザ・スキャナ１２と、データ回線を介してレーザ・スキャナ１２に接続され且つレーザ・スキャナ１２と共に本発明の第１の好適な実施形態によるオブジェクトの認識及び／又は追跡のための装置を形成するデータ処理デバイス１４とを搭載している。図１ではかなり略して示されている人物１６は走行方向の車両前に位置決めされており、単純化を理由に本発明の枠組みにおいては実オブジェクトとして考慮される。

検出領域１８は、スキャナ１２によって走査可能であり、図１では部分的にのみ示され、車両１０の前側にあるレーザ・スキャナ１２の設置位置に起因して車両１０の長手軸に関し対称に配置され、およそ180゜を超える角度をカバーする。図１の検出ゾーン１８は単なる略示であり、特に半径方向へは僅かしか図示されておらず、良好に図示されていない。

レーザ・スキャナ１２は、その検出領域１８を一定の角速度で回転されるパルスレーザ放射線束２０により一般的に既知の方法で走査する。これにより、レーザ放射線束２０が実オブジェクト（例えば人物１６）の点２２又は領域によって反射されたかどうかが、同じく回転式に、時間τｉにおいて一定の時間間隔Δｔごとに、平均角度αｉに係る一定の角度領域で検出される。指数ｉは、１から検出ゾーン１８内の角度領域の数までの範囲で変わる。図１にはこれらの角度領域のうちの１つだけが示され、平均角度αｉに関連づけられている。但しここに示す角度範囲は、表示をより明確にするために誇張して示されている。

レーザ放射線束２０の回転に起因して、検出領域１８はレーザ放射線束２０の拡張を除いて略二次元である。即ち、レーザ放射線束２０の径を除けば、検出領域１８は１つの走査面を形成する。

実オブジェクトの点２２のレーザ・スキャナ１２との間隔ｄｉは、レーザ・スキャナ１２によりレーザ・スキャナ１２から実オブジェクトの点２２へ送られ、さらにレーザ・スキャナ１２へ戻るレーザ放射パルスの移動時間を基準に決定される。従ってレーザ・スキャナ１２は、角度αｉ及びこの角度において決定される間隔ｄｉ（即ち、極座標における実オブジェクトの点２２の位置）を、実オブジェクトないし人物１６の実オブジェクトの点２２に対応する距離画像エレメントにおける座標として検出する。従って、距離画像エレメントは検出された実オブジェクトの各点に関連づけられる。

１つの走査において検出される距離画像エレメントの集まりは、本出願の意味するところにおける距離画像を形成する。

走査の時間シーケンス及び対応する距離画像が生成されるよう、レーザ・スキャナ１２は連続走査において時間間隔Δｔで検出ゾーン１８を個々に走査する。レーザ・スキャナ１２の距離画像の処理は、データ処理デバイス１４によって行われる。

とりわけこの目的のために、データ処理デバイス１４は、本発明に係るコンピュータ・プログラムによってプログラムされた、本発明に係る方法を実行するためのデジタル信号プロセッサと、前記デジタル信号プロセッサに接続されたメモリ・デバイスとを有する。本発明に係る装置の別の実施形態では、上記データ処理デバイスはまた、このデータ処理デバイスに格納された本発明に係るコンピュータ・プログラムを本発明に係る方法を実行するためにインストールする従来のプロセッサを有することが可能である。

プログラムされた上記データ処理デバイスは、本発明の意味するところにおいて、センサの現在の画像を評価するための手段、現在の画像の一部を現在の画像の少なくとも予備的な評価の結果として決定する又は現行サイクルにおいてオブジェクトを認識するための手段、更に、先の画像の一部を関連づけ、及び／又は上記オブジェクトないしこのオブジェクトに対応する実オブジェクトの先の状態に関する少なくとも１つの徴候を対応する先の画像を基礎として決定し且つ前記徴候を現在の画像の一部又は現在のオブジェクトに関連づけるための手段を表す。

図２に示す本発明の第１の好適な実施形態による方法は、レーザ・スキャナ１２によって検出される距離画像を基礎として実行される。

ステップＳ１０〜Ｓ２８は各々、連続サイクルで実行される。

まず現行サイクルにおいて、ステップＳ１０で検出ゾーン１８の走査により距離画像が検出され、データ処理デバイス１４内のメモリに読み取られる。

ステップＳ１０では、距離画像データの次のような事前処理が行われる。即ち、任意選択としてデータ補正後に、距離画像エレメントの位置座標の、車両１０と固定的に関連づけられるデカルト車両座標系への変換が実行される。

次に、ステップＳ１２では、上記距離画像がセグメント化される。元来既知の方法により、次のような特徴を有する距離画像エレメント・セットが形成される。即ち、１つのセット内の各距離画像エレメント又は同じセット内の少なくとも１つの他の距離画像エレメントが所定のセグメント化間隔より小さい平均二乗間隔を有することを特徴とする距離画像エレメント・セットである。このようにして形成されるセットは各々、１つのセグメントに対応する。セグメントはまた、所定のセグメント化間隔より大きい、現在の距離画像の他の全ての距離画像エレメントの平均二乗間隔を有する個々の距離画像エレメントによっても形成されることが可能である。

ステップＳ１４では、セグメントと本方法の先のサイクルで既に認識されているオブジェクトとの関連づけが行われる（これは、本方法の一番最初のサイクルでは実行されない）。このために元来既知の方法が使用可能である。本方法では、この目的のために、先行サイクルにおける既知の各オブジェクトに関して、先行サイクルのステップＳ２８において予測された個々のオブジェクト位置が使用される。現行サイクルでは、先行サイクルにおけるオブジェクトの予測及びサイズ並びに方向性に関する不確定性に従い予測されたオブジェクト位置におけるセグメントの距離画像エレメントのうちの少なくとも１つが最大間隔より小さいオブジェクトとの間隔を有する場合に、現行サイクルのセグメントが先行サイクルの対応するオブジェクトに関連づけられる。

ステップＳ１６では、先行サイクルから既知である任意のオブジェクトに関連づけられ得なかったセグメントから新しいオブジェクトが形成され、前記セグメントを構成する距離画像エレメントの位置から現行サイクルにおけるオブジェクトの位置が決定される。

先に説明したステップＳ１０〜Ｓ１６及びこれから説明するステップＳ２６〜Ｓ２８は、従来のオブジェクト認識及び追跡プロセスに相違するものではない。

しかしながら、これらとは対照的に、ステップＳ１８では、新しいオブジェクトが発見されたかどうかのチェックの後に、先行サイクルにおいて、先行する距離画像又はサイクルにて新しく形成されたオブジェクトに対応する実オブジェクトが先行サイクルにおいて既に認識されているオブジェクトに対応する実オブジェクトによって被覆されていた可能性があったかどうかについてチェックが行われる。

ステップＳ１０〜Ｓ１６における現在の距離画像の処理は、ステップＳ１８における新しいオブジェクトが発見されたかどうかのチェックを含み、現在の画像の少なくとも予備的な評価を表す。

まず、先行する距離画像におけるマスキングの認識に関して、先行する画像内に認識されたどのオブジェクトが その内部に、距離画像エレメントを介する補償曲線によって形成される輪郭であって距離画像エレメントによって決定される現行サイクル内の新しいオブジェクトの範囲よりも大きな輪郭を有するかがチェックされる。

図３Ａ及び３Ｂはこれを例示的に示すものであり、連続する距離画像のセクション内には、黒の実線で部分的にのみ表示された車両２４と、長方形２６で象徴された、車両２４に対して速度ｖで移動する歩行者とが示されている。個々の点は、対応する距離画像の距離画像エレメントを再現している。図３Ａ及び３Ｂでは、レーザ・スキャナ１２は座標原点、即ち点（０，０）に位置決めされ、デカルト座標系の座標軸は任意の所望される、但し固定的に選択される距離単位に分割されている。

先行する距離画像である図３Ａにおいては、歩行者２６は車両２４によってレーザ・スキャナ１２の視界からマスクされ、よって距離画像内では検出され得ない。現在の距離画像を示す図３Ｂでは、歩行者２４は車両２４の背後から外へ移動しており、これで初めてレーザ・スキャナ１２によって検出されることが可能である。図３Ａ及び３Ｂでは、実オブジェクト２４又は２６に対応するオブジェクトの輪郭が、各々破線で描かれた距離画像エレメントを介する補償曲線によって与えられている。図３Ｂにおいて車両２４に対応するオブジェクトの輪郭が歩行者２６に対応するオブジェクトよりも大きいことは、容易に認識され得る。

さらなるマスキングの認識は、好適には状況適応式に、即ち先行サイクルにおいて既に認識されたオブジェクトの速度に依存して行われる。図３Ａ及び３Ｂにおける例では、車両２４は静止状態にあり、歩行者２６に対応する新しく認識されたオブジェクトの直近にさらなるオブジェクトは発見され得ないことから、又はそこからより少ない間隔を有するオブジェクトは他になく、歩行者２６に対応するオブジェクトはサイズに起因してかなりの高速で移動する実オブジェクトには対応し得ないことから、実オブジェクト又は歩行者２６が極めて高い確率で車両２４によってマスクされていたことがわかる。

ステップＳ２０では、先行する距離画像においてマスクされた、新しいオブジェクトに対応する実オブジェクトの位置は、本発明の意味するところにおける個々の新しいオブジェクトの先の状態に関する徴候として推定される。図３Ａ及び３Ｂの例における実オブジェクト又は歩行者２６の最低速度を推定し得るために、次のことが想定される。即ち、図３Ａ内の先行する距離画像における位置の推定に関し、実オブジェクト又は歩行者２６は距離画像の検出時間には見えな且つたため、現在の距離画像において上記実オブジェクト又は歩行者を包囲する、歩行者タイプのオブジェクトのための方法においてそのサイズが予め決められているオブジェクト・ボックスの端は、回転するレーザ放射線束２０によって検出され得なかった、ということである。このようにして、図４の点線で描かれた長方形によって与えられ且つ現在の距離画像又はサイクルにおける位置に対して変位ベクトルｄだけ変位された、先行する距離画像又はサイクルにおける歩行者２６の位置が推定される。

ステップＳ２２では、先行する画像と現在の画像とにおけるオブジェクトの位置の変化が決定され、その中でオブジェクトの速度が推定される。推定された位置は、それらがマスクされている限り、新しいオブジェクトに関して使用される。次には、変位ベクトルｄによって与えられる位置変化を検出領域１８の連続走査間の時間間隔Δｔで除すことにより、速度の方向及び規模双方に関してオブジェクトの推定速度がもたらされる。

先行サイクルで既に認識されたオブジェクトに関して決定される速度については、測定される現行データに起因して少ないエラーしか予想されないが、新しいオブジェクトに関してはより大きなエラーを含む推定しかもたらされない。しかしながらこの推定は、先の画像に頼らない場合の可能性に比べて遙かに大量の情報（とりわけ安全関連の情報）をより速く伝達する。

ステップＳ２４では、決定されたオブジェクトの位置及びサイズと現在の距離画像（次のサイクルにおいてその時点での先行する距離画像として使用可能でなければならない）が格納され、先行する距離画像は削除される。

ステップＳ２６では、オブジェクトの位置及び速度が対応するさらなる処理デバイスへ出力される。

ステップＳ２８では、現行サイクルの終わりで次のサイクルのための新しいオブジェクトの位置の予測が行われる。オブジェクトの位置の予測や、上記予測の不確定性の決定も、例えば、カルマン・フィルタによって既知の方法で行うことができる。

現行サイクルでは、速度はもはや新しいオブジェクトないし実オブジェクトに関連づけることが可能であることから、このオブジェクトのためのカルマン・フィルタの初期化はかなりより正確なデータを使用して行うことが可能であり、次のオブジェクト認識及び追跡が大幅に促進される。

次のサイクルは、ステップＳ１０から開始することができる。

本発明の第２の好適な実施形態によるオブジェクトの認識及び追跡方法を、図５のフローチャートに略示する。これは、現行サイクルにおいて新しく認識されたオブジェクトの処理方法が異なる点において第１の実施形態による方法とは異なるが、ステップＳ１０〜Ｓ１６及びＳ２２〜Ｓ２８は先に説明した実施形態の場合と同じであって、先の記述が適宜ここにも当てはまる。従って、本発明の第２の好適な実施形態による方法を使用してオブジェクトを追跡し且つ認識するための装置は、第１の実施形態における対応する装置との関連で、データ処理デバイス１４内を介して実行されるプログラムが相応に修正されている。即ち、特には、先の画像の一部を関連づけ、及び／又はオブジェクトないしこのオブジェクトに対応する実オブジェクトの先の状態に関する少なくとも１つの徴候を決定するための手段が、対応する先の画像及び上記徴候と現在の画像の一部又は現在のオブジェクトとの関連づけを基礎として修正されている、という点においてのみ変更されている。

本方法においては、第１の実施形態と同様にステップＳ１０〜Ｓ１６を実行した後、即ちＳ１６において先に関連づけられな且つたセグメントから新しいオブジェクトを形成した後、ステップＳ３０では、現在の距離画像に少しでも新しいオブジェクトが発見されたかどうかの判定基準がチェックされ、その後、新しいオブジェクトに対応する先行する距離画像内のオブジェクト又は実オブジェクトに関する検索が行われる。新しいオブジェクトは、セグメント化及びオブジェクトの形成又はセグメント／オブジェクトの関連づけに起因して独立したオブジェクトとして認識され得なかったことから、先行サイクル又は距離画像においては発見することができな且つたことが想定される。

図６Ａ〜６Ｇはこれに関する一例を示すものであり、連続する距離画像からの個々のセクションが示されている。レーザ・スキャナ１２は、前述の実施形態のデカルト座標系に対応する距離画像内の座標系の原点（０，０）に配置される。

本距離画像では、歩行者２６はまず、レーザ・スキャナ１２の視点から言えば駐車している車両２４の直前を速度ｖで移動し始め、最終的に図６Ｆ及び６Ｇでは、通常のセグメント化プロセスを使用して独立したオブジェクトとして認識され得るほど車両２４からかなり離れて移動している。しかしながら、先行する距離画像では、セグメント化は車両２４に対応する距離画像エレメントを歩行者２６に対応する距離画像エレメントから分離することができない。

現行サイクル（本例では、図６Ｆの距離画像が評価される）では、実オブジェクト２６又は現行サイクルにおける対応する新しいオブジェクトのサイズを根幹として、上記実オブジェクトが、このオブジェクトが歩行者のはずであるため低速でしかあり得ない、ということが想定される。従って、ステップＳ３０における検索では、図６Ｆの距離画像に対応する現行サイクルにおいて、歩行者２６に対応する新しいオブジェクトに最も近いオブジェクトが新しい状況適応式セグメント化のために決定される。本例においては、これは車両２４に対応するオブジェクトでしかない。この段階までのステップは、本発明の意味するところにおける現在の距離画像の少なくとも予備的な評価に相当する。

次には、先行する距離画像の一部が新たにセグメント化される。より正確に言えば、先行する距離画像又はサイクル内のセグメントのこれらの距離画像エレメントが新たにセグメント化される。これにより、先行サイクルにおける新しいセグメント化のために事前に決定された個々のオブジェクトが形成される。本例では、これらは全て、図６Ｅにおける距離画像の距離画像エレメントである。

この目的のために、前述の実施形態では、ステップＳ１２に使用されるセグメント化プロセスが使用されるが、セグメント化間隔は短縮されている。このセグメント化間隔は、固定式に予め設定可能である。しかしながらセグメント化間隔は、好適には、状況適応式のセグメント化が実行され得るように、検出されたオブジェクトのうちの少なくとも１つの検出されたサイズ、好適には最小サイズに依存して選択される。

結果的にセグメントの数が変われば、ステップＳ３２において、セグメントと更新されたセグメント化の作用を受けるオブジェクトとの関連づけが新たに行われる。先行サイクルにおいて既に知られているオブジェクトに関しては、先行サイクルにおけるそれらの位置及び速度が現行サイクルにおいて決定される方向性、形状及びサイズと併せて使用され、新しいオブジェクトに関しては、現行サイクルにおいて決定されるその形状及びサイズが使用される。

次に、ステップＳ３４では、先行する距離画像において新しい、又は変化のあったオブジェクトが発見されたかどうかがチェックされる。発見されていなければ、本方法はＳ２２へと継続される。

発見されていれば、ステップＳ３６において、新しいオブジェクトに対応する実オブジェクト及び先行する距離画像における変化のあったオブジェクトの位置が決定される。次に新しいオブジェクトは先行サイクルにおけるその位置が知られている既知のオブジェクトとして処理され、そのためにプログラムのデータ構造体において対応する変更が実行され、対応するカルマン・フィルタが先行サイクル用にほぼ初期化される。さらには、変更されたオブジェクトに関して現行サイクルの位置の反復予測を実行可能であり、カルマン・フィルタの精度が高められる。

従って、現行サイクルでは、先行サイクルにおいて既知であり且つステップＳ３２において新たに発見されたオブジェクトについて先行サイクル及び現行サイクルのオブジェクト位置が取得され、よってステップＳ２２においてこれらのオブジェクトの速度推定を行うことが可能であり、その際には、先行する距離画像又はサイクルにおけるオブジェクトの位置を使用可能である。

その後のステップＳ２４〜Ｓ２８は、第１の実施形態の場合と同様に実行される。

現行サイクルでは速度と実オブジェクト又は歩行者２６との関連づけを既に実行できることから、結果的に現行サイクルにおけるカルマン・フィルタの初期化は既に、先行サイクルからのこのオブジェクトに関するデータ及び全体としてかなり正確なデータを基礎として実行可能であり、次のオブジェクトの認識及び追跡が大幅に促進される。

従ってこの方法では、歩行者が個別のオブジェクトとして認識された僅か１つの距離画像の処理の後に、軌跡且つ延ては速度をも駐車している車両の直前を移動し次には道路へと進み出る歩行者に関連づけることが可能である。

概して、先の２つの実施形態の方法は組み合わされることが可能である。例えば、ステップＳ３０による調査をまず行ない、ステップＳ３４で新しいオブジェクトが発見されなければ、第１の実施形態によるマスキングの認識を行うことができる。

図７及び８は図１の状況に対応する状況における車両１０を示すものであり、上記車両は、本発明の第３の好適な実施形態によるオブジェクトの認識及び追跡装置を搭載している。

このオブジェクトの認識及び追跡装置は、レーザ・スキャナ１２に加えてビデオ・システム３０が供給され、これはレーザ・スキャナ１２と同様に、対応するデータ接続部を介して第１の実施形態におけるデータ処理デバイス１４に関連して修正されたデータ処理装置１４’へ接続されることにおいて、第１の実施形態におけるオブジェクトの認識及び追跡装置とは異なる。他の同じ部分又は特徴に関しては、個々に同じ参照数字が使用されており、適宜第１の実施形態に関する説明が当てはまる。

ビデオ・システム２８は、ＣＣＤ空中センサ３２と図７及び８では単純なレンズ３４として略示されている画像装置とを備えた従来型の白黒ビデオカメラである、但し実際にはレンズ系とビデオ・システムの検出ゾーン３６からＣＣＤ空中センサ３２上へ入射する画像光とから成る一眼ビデオカメラ３０を有する。ビデオカメラ３０の光軸３８は、図８では誇張して大きく示されているが低角度で、レーザ放射線束２０の回転面により与えられるレーザ・スキャナ１２の走査面４０の方向へ傾斜されている。

ＣＣＤ空中センサ３２は、マトリクス状に配置され且つ周期的に読み出されてビデオ画像エレメントによるビデオ画像を形成するための光検出エレメントを有する。ビデオ画像は、当初、マトリクスにおける光検出エレメントの個々の位置又は光検出エレメントの別の識別と、各画像エレメントの対応する光検出エレメントによって受信される光の強度に対応する個々の強度値とを含む。この実施形態では、ビデオ画像は実質的に距離画像と同時に、よって距離画像が同じくレーザ・スキャナ１２により検出される速度と同じ速度で検出される。

図７及び８において、人物１６である実オブジェクトから開始される光は、レンズ３４によりＣＣＤ空中センサ３２上へ画像化される。図７及び８ではこれは、実オブジェクト又は単に略示的に示した人物１６の輪郭に関連して短い破線で略示されている。

ＣＣＤ空中センサ３２とレンズ３４との間隔から、及びレンズ３４の位置及び例えばその焦点距離である画像特性から、例えば人物１６上の実オブジェクトの点２２である実オブジェクトの点により、ＣＣＤ空中センサ３２のどの点で、又はマトリクス状に配置される実体の点のどの光検出エレメント上に結像されるかを計算することができる。逆に、図７及び８において短い破線で示された、実オブジェクトの点又は領域が必ずそこに存在し、且つ検出される放射線はそこから光検出エレメント上へ入射されることが可能な光錐は、光検出エレメントの位置から決定されることが可能である。このためには、対応するカメラ・モデルが使用可能である。本例では、それ自体既知であるピンホールカメラ・モデルがこれに当たる。

共通の検出領域４２は、図７及び８において点線でおおまかに略示され、レーザ・スキャナ１２の検出ゾーン１８及びビデオ・システム２８の検出ゾーン３６のセクションによって与えられる。

データ処理デバイス１４’は、一方で、ビデオ・システム２８の個々の現在の距離画像及び現在のビデオ画像において実質上同時に、即ちレーザ・スキャナ１２の検出ゾーン１８の連続する走査間の時間間隔Δｔより遙かに短い時間期間内に読取りを行うためのインタフェースが供給されることにおいて、データ処理デバイス１４とは異なる。他方で、本プロセスは、本発明の第３の好適な実施形態による方法を実行するための本発明の第３の好適な実施形態によるコンピュータ・プログラムによってプログラムされる。従って、プログラムされたデータ処理デバイス１４’は、上記センサの現在の画像を評価するための手段と、現在の画像の一部を上記現在の画像の少なくとも予備的な評価の結果として決定するための、又は上記現行サイクルにおいてオブジェクトを認識するための手段と、先の画像の一部を関連づけ、及び／又は対応する先の画像を基礎としてオブジェクト又はこれに対応する実オブジェクトの先の状態に関連する少なくとも１つの徴候を決定し、且つ上記徴候を本発明の意味するところにおける現在の画像の一部又は現在のオブジェクトに関連づけるための手段とを含む。

図９に示す、本発明の第３の好適な実施形態による方法は、レーザ・スキャナ１２及びビデオ・システム２８により実質上同時に検出される距離画像又はビデオ画像を基礎として実行される。この実施形態の方法においては、ビデオ画像における特徴が認識されて追跡されるが、ビデオ画像の処理は計算時間を理由に距離画像を基礎として行われ、検索はビデオ画像における、距離画像の距離画像エレメント及びそれ故の対応する実オブジェクト・ゾーンが存在するセクション内の特徴に関してのみ行われる。

まずステップＳ３８において、現在の距離画像及び現在のビデオ画像が読み取られ、事前処理される。両画像の読取り及び事前処理は平行して実行される場合もあれば、２つの画像が互いに独立して任意の所望される順序で実行される場合もある。

走査面４０によって決定される三次元の完全な位置座標データ・セットを形成するための、距離画像エレメントに対応する実オブジェクトの点がそこに存在する位置成分は、走査面４０における位置座標に加えて距離画像内の距離画像エレメントへ追加される。次に、距離画像エレメントの位置がこれらの座標データによって定義される位置によって指定される。

さらに、ビデオ画像に可能な補正を加えた後、ビデオ画像のデータは、距離画像エレメントも同じく画定される車両座標系へ変換される。このために、ビデオ画像データの整流が行われて例えば歪みが除去され、ビデオ画像エレメントの画像平面への変換が実行される。次に、車両座標系の対応する平面における位置は、ビデオカメラ３０のカメラ・モデルによってビデオ画像エレメントに関連づけられることが可能である。

現在の距離画像及び現在のビデオ画像は格納され、さらなる使用に供される。

次にステップＳ１２では、第１実施形態の場合のように距離画像がセグメント化される。

次のステップＳ４０では、ビデオ画像における特徴が検出されるが、その際に使用されるビデオ画像は、距離画像に従って距離画像内のセグメントに対応する実オブジェクトが必ず検出され得る領域のみである。より精密には、検出はビデオ画像の、セグメント内に距離画像エレメントに対応するビデオ画像エレメントを有し、実質的にレーザ・スキャナ１２の走査面に垂直に伸長し且つ各々が距離画像のセグメントに対応するストリップにおいてのみ行われる。このプロセスにおいては、上記ストリップは、レーザ・スキャナ１２の走査面４０に直交する方向へビデオ画像の全範囲に渡って伸長し、それに直交する方向へ個々のセグメントの全ての距離画像エレメントに関して対応するビデオ画像エレメントが個々のストリップ内に存在するように決定される幅を有するように定義される。これらのビデオ画像エレメントは、カメラ・モデルを使用することにより決定されることが可能である。さらにストリップは、幅内の最も外側の個々のビデオ画像エレメントの両側に、所定の個々の周縁領域を有する。ビデオ画像の他の部分は当初から無視されるため、これに関してはビデオ画像処理の注意制御が行われる。

このステップでは、各ケースで先行サイクルのステップＳ４９において現行サイクルのために予測されたここの特徴の位置を使用して、現在のビデオ画像において発見される特徴と先行サイクルから既知の特徴との関連づけがさらに行われる。特徴の位置は、現行サイクルにおいて同時に決定される。

次にステップＳ４１では、先行サイクルから既知の特徴に関連づけられ得なかった新しい特徴が発見されたかどうかに関するチェックが行われる。

新しい特徴が発見されれば、ステップＳ４２において、先行ビデオ画像における新しい特徴に対応する特徴が後戻りを使用して検索される。このためには、既知のビデオ画像処理方法を使用可能である。

次にステップＳ４４では、先行ビデオ画像における新しい特徴に対応する特徴の位置が決定される。

次にステップＳ４６では、先行ビデオ画像における特徴の位置及び現在のビデオ画像における特徴の位置を基礎として特徴の速度が推定される。

決定された特徴の位置及び特徴の速度は、格納された後にステップＳ２６で直ちに出力され、後の使用に供される。

ステップＳ４８では、先行画像が削除された後に現在のビデオ画像が格納される。

ステップＳ４９では、新しい特徴の位置が予測され、次のサイクルにおけるＳ４０での特徴と実オブジェクトとの関連づけが促進される。このために、例えばこの時点で既知の速度又はカルマン・フィルタをも使用可能である。

従って、ステップＳ３８、Ｓ１２及びＳ４０における距離画像及びビデオ画像の少なくとも予備的な評価を基幹として、先行ビデオ画像の後続の、又は追加的な評価が行われる。この評価の結果、先行ビデオ画像において発見された特徴又はその位置は現行サイクルで使用され、現在のな特徴の速度が決定される。

図１０Ａ、１０Ｂ及び１１Ａ、１１Ｂは、駐車中の車両の背後から突然飛び出してくる歩行者を認識する方法の用途を示す。図１０Ａ及び１１Ａは各々、レーザ・スキャナ１２によって検出される走査面４０のレベルにおける連続する距離画像からのセクションを示し、図１０Ｂ及び１１Ｂは、ビデオ・システム２８と実質上同時に対応して検出されたビデオ画像からのセクションを示す。これらの図面では、レーザ・スキャナ１２の走査面４０が点線で示されている。さらに、図１０Ａ及び１０Ｂに使用されるデカルト座標系は先の実施形態におけるものに一致する。

図１０Ａ及び１１Ａでは、車両は長方形４４で略示され、歩行者は長方形４６で略示されている。

当初、図１０Ａ及び１０Ｂが示すように、歩行者は車両４４によってマスクされていることからレーザ・スキャナ１２によって検出されることができない。但し、ビデオ・システム２８の検出ゾーン３６は走査面４０に対して垂直の方向へレーザ・スキャナ１２の検出ゾーン１８より大きい開放角度を有することから、歩行者４６は既に対応するビデオ画像に捉えられている可能性がある。しかしながら、注意制御に起因して、距離画像においてマスクされるためにビデオ画像では検出されない（図１０Ａ参照）。

本例では、歩行者４６が速度ｖで右へ移動しつつあることから、しばらくすると車両４４によってマスクされなくなる。図１１Ａ及び１１Ｂは、これを示す。この時点では歩行者４６は距離画像で検出されることが可能であり、よって注意制御を介してビデオ画像でも検出される。従来のビデオ画像処理では、この時点で歩行者４６に関して知られるところとなるものはその位置だけであるが、本実施形態の方法では、歩行者４６はビデオ画像において時間を遡って追跡され、図１０Ｂに示すビデオ画像において再度認識されることが可能になる。このようにして決定される先のビデオ画像における位置は、当初現在のビデオ画像でしか認識されな且つた歩行者４６の速度がその最初に検出又は認識される時点で既に決定されることを可能にする。この後戻りは新しい特徴が位置決めされた場合にのみ発生するため、本方法の実行速度は概して僅かしか低下しない。

本発明の第４の好適な実施形態によるオブジェクトの認識及び追跡方法では、実質的に第３の実施形態の場合と同じオブジェクトを認識及び追跡するための装置が使用されるが、データ処理デバイス１４’のプログラミングは方法の変更に従って同様に変更される。これはまた、先の画像の一部を関連づけ及び／又はオブジェクト又はこれに対応する実オブジェクトの先の状態に関する少なくとも１つの徴候を決定するための手段が、対応する先の画像及び上記徴候と現在の画像の一部又は現在のオブジェクトとの関連づけを基礎として修正されることをも意味する。

図１２Ａ及びＢに略示するこの方法では、連続して検出される距離画像における距離画像エレメントは、光学フローを使用して距離画像と実質上同時に検出されるビデオ画像内の対応する領域において追跡される。

オブジェクトとオブジェクトを表示する距離画像エレメントとのお互いの関連づけは、オブジェクトの追跡がオブジェクトに関連づけられる対応する距離画像エレメントを追跡することによって実行され得るように使用される。本方法の幾つかのステップの詳細及び可能な変形例に関しては、本参照によりその内容が本明細書に含まれる本出願の出願人による公式ファイル参照番号１０３ １２ ２４９．４のドイツ国特許出願における第１の実施形態及び他の実施形態を参照されたい。

現行サイクルのステップＳ５０では、まず現在の距離画像及び現在のビデオ画像が検出されてデータ処理デバイスへ読み込まれ、データ処理デバイスにおいて先の実施形態におけるステップＳ３８に対応するこれらの画像の事前処理が行われる。しかしながら、ビデオ画像エレメントの変換は、ビデオ画像エレメントの光学フローの定義又は計算に使用される（図１３参照）像平面４８への変換が実行されるという趣旨で、光学フローの計算をより単純にするために先の実施形態におけるステップＳ３８に関連して修正される。ステップＳ５２及びＳ６０において距離画像エレメントの像平面への投射が実行されるために、単純化を期して、当業者には概して既知であり且つ光心５０及び光学フローの定義又は決定のための表面として機能する像平面４８の位置によって画定されるビデオカメラ３０のために修正されたピンホールカメラ・モデル又はピントガラス・モデルが使用される。光心５０の位置は、ビデオカメラ３０の画像ジオメトリ、特にはレーザ・スキャナ１２に対する位置及びレンズ３４の焦点距離を使用して決定される。ピンホールカメラ・モデルは、表示を単純化するために修正され、像平面４８は光心５０と、図１３では点５２及び５８である実オブジェクトの点との間でビデオ・システム２８に対して固定されて車両１０上の位置に置かれ、実際の像平面のポイントミラー撮像によりそこから光心５０へ投射する。

プロセスの最初のサイクルでは省かれるステップＳ５２では、まず、現行サイクルの直前のサイクルにおける、センサ又はレーザ・スキャナ１２から離れて移動するオブジェクトに対応する距離画像エレメントが全て決定される。単純化を理由として、これらの距離画像エレメントを離れて移動するオブジェクトに対応する距離画像エレメントと指定する。カメラ・モデルを使用して、像平面４８における対応するビデオ画像エレメントの対応する位置又は座標が計算され、且つ、現行サイクルの直前のサイクルから離れて移動するオブジェクトに対応するこれらの距離画像エレメントに関して現行サイクルで使用するために格納される。図１３に幾何学的に示すように、この位置は、本図では距離画像エレメント５２である距離画像エレメント及び光心５０を介して伸長する直線と、像平面４８との交点５４によって個々にもたらされる。

同じく最初のサイクルでは省かれるステップＳ５４では、先行サイクルの投射された距離画像エレメントの全て、又はレーザ・スキャナ１２から離れて移動するオブジェクトに対応する交点に関して、直前のサイクル及び現行サイクルからのビデオ画像を基礎として、以下単に光学フローとも称する対応する現在の光学フロー・ベクトルが決定され、サイクル持続時間又は走査周波数の逆数を乗算することにより変位ベクトルに変換される。図１３は、交点５４でその光学フロー・ベクトルが決定される距離画像エレメント５２に関してこれを示し、上記光学フロー・ベクトルは像平面４８内に存在し且つ変位ベクトル５６をサイクル時間によるスケーリングの後に交点５４において開始させる。光学フローは、本例ではJ.L.Barren、D.J.Fleed、S.S.Beauchemin共著「光学フロー技術のパフォーマンス」International Journal of Computervision、 12(1)、43〜77ページ（1994年）に記述されているLukas and Canadeプロセスである差動プロセスによって決定される。

ステップＳ５６では、その光学フローが決定された離れて移動するオブジェクトに対応する全ての距離画像エレメントについて、光学フローによって予測された現行サイクルにおける対応する実オブジェクトの点の位置が、走査面４０において決定される。このために、図１３には、光心５０を介して伸長する走査面４０を有する直線と、変位ベクトル５６の終点との交点５７が幾何学的に示されている。

ステップＳ５８では、例えば図１３においては現在の距離画像エレメント５８である現在の距離画像の現在の距離画像エレメントが、予測された位置に、且つ可能であれば先行画像又はサイクルの対応する距離画像エレメントに関連づけられる。例えば関連づけの基準として、現在の距離画像エレメントは、予測された位置と実際の現在の位置との間の平方間隔が他の現在の距離画像エレメントのそれに比べて最小であるものが関連づけられる、という事実を使用可能である。

ステップＳ６０では、現行サイクルのいまだ関連づけが行われていない距離画像エレメント、よってレーザ・スキャナ１２から離れて移動していない実オブジェクトに対応するはずの距離画像エレメントが像平面４８上へ投射される。これは、ステップＳ５２における投射と同様に発生する。

次にステップＳ６２では、現行サイクルの投射され、いまだ関連づけが行われていない全ての距離画像エレメントについて光学フローが、ステップＳ５４の場合と同様に計算される。

ステップＳ６４では次に、光学フローが決定されていない現行サイクルのいまだ関連づけが行われていない全ての距離画像エレメントについて、走査面４０における対応する実オブジェクトの点の後戻りされた位置が決定される。この後戻りされた位置の決定はステップＳ５６における予測位置の決定と同様にして発生するが、光学フローとは反対向きに配向される対応するベクトルは変位ベクトルとして使用される。

次にステップＳ６６では、センサから離れて移動していないオブジェクトに対応する先行サイクルの距離画像エレメントが、その時点では予め決定されている後戻り位置及びステップＳ６４における現行サイクルの対応するいまだ関連づけが行われていない距離画像エレメントに関連づけられる。この関連づけはステップＳ５８の場合に対応するスキームによって行われることが可能であるが、先行する距離画像の距離画像エレメントは現行サイクルのこの時点では予め決定されている距離画像エレメント又は適宜後戻りされた位置に関連づけられる。

故にこのようにして、先行サイクル又は現行サイクル又は画像の距離画像エレメントは互いに関連づけられ、この関連づけはレーザ・スキャナ１２から離れて移動するオブジェクトについて行われ、よって現在の距離画像エレメントは先行画像の距離画像エレメントに関連づけられ、センサ又はレーザ・スキャナ１２から離れて移動していないオブジェクトに関連づけられる先行画像の残りの距離画像エレメントは、現行サイクル及び距離画像又はこれらの後戻りされた位置のいまだ関連づけが行われていない距離画像エレメントに関連づけられる。

次にステップＳ６８では、現在の距離画像のセグメント化が第１の実施形態のステップＳ１２におけるセグメント化に従って行われる。

次にステップＳ７０では、セグメント／オブジェクトの関連づけが実行され、先行する距離画像及び現在の距離画像の距離画像エレメントの関連づけ、及び先行する距離画像の距離画像エレメント及び先行サイクルのオブジェクト間の関連づけが使用される。

ステップＳ７２では、特にはその位置及び速度であるオブジェクトの特性が決定され且つ出力される。

本方法は次に、次のサイクルでステップＳ５０に継続されることが可能である。予測ステップは、光学フローの使用により省略されることが可能である。

本第４の実施形態による方法の他の変形例では、投射は別の方法で発生する可能性がある。その例は、本参照により明示的に本明細書に含まれる特許出願引例におけるさらなる実施形態に記述されている。

距離画像エレメントのより明確な関連づけは、レーザ・スキャナ１２から離れて移動していない実オブジェクトに対応する距離画像エレメントの異なる処理によって達成される。現行サイクルにおいては、このような実オブジェクトに対応する距離画像エレメントは、その検出ゾーン１８を放射状に走査するレーザ・スキャナ１２の画像ジオメトリに起因して、先行サイクルにおけるより多い。従って、現行サイクルの複数の距離画像エレメントと、例えば先行サイクルの予め決定された距離画像エレメントとの関連づけは回避されることが可能であり、この場合は、レーザ・スキャナに接近するオブジェクトについて現在の画像の複数の距離画像エレメントが予測された距離画像エレメントに関連づけられることを余儀なくされるケースが発生する可能性があるが、これはその曖昧さによって複雑な関連づけのプロセスをもたらす可能性がある。

本発明の第５の好適な実施形態による方法においては、オブジェクトの認識及び追跡はビデオ画像を基礎としてのみ行われる。従って、本発明の第５の好適な実施形態によるオブジェクトの認識及び追跡のための対応装置は、先の２つの実施形態の場合と同様に使用されるビデオ・システムを含み、そのビデオカメラは先の２つの実施形態の場合と同様にデータ処理デバイスに接続されるが、このデータ処理デバイスは第５の好適な実施形態による方法を実施するようにプログラムされる。これはまた、先の画像の一部を関連づけ及び／又はオブジェクト又はこれに対応する実オブジェクトの先の状態に関する少なくとも１つの徴候を決定するための手段が、対応する先の画像を基礎として、且つ上記徴候と現在の画像の一部又は現在のオブジェクトとの関連づけのために修正されることを意味する。レーザ・スキャナ１２は、省かれる。

図１４に示すこのプロセスでは、ステップＳ７４で現行サイクルにおける現在のビデオ画像が検出され、読み取られる。ビデオ画像データの対応する事前処理は、先の２つの実施形態の場合と同様に行われることが可能である。

ステップＳ７６では、処理速度を高めるために読み取られたビデオ画像に画像分解能を低下させるフィルタリングが行われ、本実施形態では、上記フィルタリングは、何れの場合も４×４ブロックのビデオ画像エレメント又はピクセルから左下の角にあるピクセルだけが使用される、という事実より成る。

次にステップＳ７８では、サブスキャンされたビデオ画像におけるオブジェクトが検出される。このためには、従来のビデオ画像におけるオブジェクトの認識及び追跡方法を使用可能である。

次にステップＳ８０では、検出されたオブジェクトと先行サイクルからのオブジェクトとの関連づけが行われる。本例におけるこの関連づけは、ステップＳ９４で先行サイクルにおいて既知の関連づけ方法により決定された現行サイクルの予測されたオブジェクトを基礎として行われる。

ステップＳ８２では、先行サイクルの何れのオブジェクトとも関連づけられ得なかった新しいオブジェクトが認識されたかどうかがチェックされる。新しいオブジェクトが検出されていなければ、本方法はステップＳ９０で継続される。

発見されていれば、ステップＳ８４でまず、サブスキャンが行われていない、又は本例ではステップＳ７６において生成される画像と同程度の強度で半分だけサブスキャンされた先行ビデオ画像において新しいオブジェクトに対応するオブジェクトが検索される。

高められた分解能により、そうでなければサブスキャンのために認識され得なかったと思われるオブジェクトも先行ビデオ画像において検出可能である。

図１５Ａ及び１５Ｂ、及び１６もまた、ビデオ・システムに接近する人物に関連してこれを示したものである。図１５Ａには、全分解能の現在のビデオ画像に人物が略示され、黒い長方形が人物に対応するビデオ画像エレメント又はピクセルを表す。図１５Ｂに示された、人物が僅か４つの個々のピクセルによって表されたサブスキャン・ビデオ画像は、前述のサブスキャンの結果である。人物がかなりの距離からビデオカメラへと接近していれば、全分解能による先行ビデオ画像におけるこの人物は図１６が示すサイズを有する可能性があり、それにより対応するオブジェクトを検出できた可能性もあったサブスキャン後のピクセルは全く残っていない。

しかしながら、ここで使用される方法では、検索は低減された分解能ではなく全分解能の先行画像において新しいオブジェクトが検索され、よって上記オブジェクトは発見されることが可能である。新しいオブジェクト又は実オブジェクトは現在のビデオ画像において検出されるオブジェクトに近接してしか発生し得ないことから、先行ビデオ画像におけるオブジェクトの認識に要する計算時間はそれでも大幅に短縮される。

ステップＳ８８では、新しいオブジェクトに対応する先行ビデオ画像におけるオブジェクトが現行サイクルへと追跡されるが、対応するオブジェクトはサブスキャンされた現在のビデオ画像において既に検出済みであることから、これは問題なく可能である。

オブジェクトの先行ビデオ画像における、延ては先行サイクル及び現行サイクルにおける位置は決定されているため、ステップＳ９０では、オブジェクトの速度を差分の推定又は形成によって決定することができる。

次に、ステップＳ９２では現在のビデオ画像が格納され、先行ビデオ画像は削除される。

ステップＳ９４では、オブジェクトの位置及び速度が出力され、後続アプリケーションの使用に供される。

ステップＳ９６では、オブジェクトの位置及び速度を基礎として次のサイクルのために新しいオブジェクトの位置が予測され、次のサイクルのビデオ画像におけるオブジェクトの検索はその近傍で行われる。このためには、やはりカルマン・フィルタを使用可能である。

第５の実施形態による方法は、一方で、サブスキャンによって高い実行速度が可能になる。しかしながら他方では、接近する新しいオブジェクト、延ては車両にとって危険なオブジェクトはそれが初めて発現した先のビデオ画像を使用してその速度を決定することが可能であり、よって危険な状況において反応時間が１サイクル期間分且つトされる可能性がある。

本発明の第１の好適な実施形態によるオブジェクトの認識及び追跡のための装置を有する車両と、車両前に位置決めされた実オブジェクトとを示す略平面図である。 本発明の第１の好適な実施形態による方法の手順を略示するフローチャートである。 一部分のみの車両と移動する歩行者を伴う、連続する時間点で検出された図１の装置のレーザ・スキャナの検出ゾーンを示す距離画像セクションである。 一部分のみの車両と移動する歩行者を伴う、連続する時間点で検出された図１の装置のレーザ・スキャナの検出ゾーンを示す距離画像セクションである。 図３Ｂに歩行者の位置又は速度の計算を説明するための補助線を追加した表示である。 本発明の第２の好適な実施形態による方法の手順を略示するフローチャートである。 一部分のみを示す車両と時々に車両前に位置決めされた移動する歩行者を伴う、連続する時間シーンで検出された距離画像のセクションである。 一部分のみを示す車両と時々に車両前に位置決めされた移動する歩行者を伴う、連続する時間シーンで検出された距離画像のセクションである。 一部分のみを示す車両と時々に車両前に位置決めされた移動する歩行者を伴う、連続する時間シーンで検出された距離画像のセクションである。 一部分のみを示す車両と時々に車両前に位置決めされた移動する歩行者を伴う、連続する時間シーンで検出された距離画像のセクションである。 一部分のみを示す車両と時々に車両前に位置決めされた移動する歩行者を伴う、連続する時間シーンで検出された距離画像のセクションである。 一部分のみを示す車両と時々に車両前に位置決めされた移動する歩行者を伴う、連続する時間シーンで検出された距離画像のセクションである。 一部分のみを示す車両と時々に車両前に位置決めされた移動する歩行者を伴う、連続する時間シーンで検出された距離画像のセクションである。 本発明の第２の好適な実施形態によるオブジェクトの認識及び追跡のための装置を有する車両と、車両前に位置決めされた実オブジェクトとを示す略平面図である。 図７における車両及び実オブジェクトの略部分側面図である。 本発明の第３の好適な実施形態による方法の手順を略示するフローチャートである。 車両及び移動する歩行者を伴う、第１の検出時間点における距離画像及び対応するビデオ画像からのセクションを示す。 車両及び移動する歩行者を伴う、第１の検出時間点における距離画像及び対応するビデオ画像からのセクションを示す。 図１０Ａ及び１０Ｂの画像に対応する後の検出時間点における距離画像又はビデオ画像である。 図１０Ａ及び１０Ｂの画像に対応する後の検出時間点における距離画像又はビデオ画像である。 本発明の第４の好適な実施形態による方法の手順を略示するフローチャートである。 本発明の第４の好適な実施形態による方法の手順を略示するフローチャートである。 距離画像エレメント、光学フロー及び検出された、及び予測された距離画像エレメント及びビデオ画像エレメントの位置の計算のための画像ジオメトリ、及び図１２Ａ及び１２Ｂにおける方法の実行に際して発生する光学フローに対応する変位ベクトルを示す走査面の一部の略斜視図である。 本発明の第５の好適な実施形態による方法の手順を略示するフローチャートである。 歩行者を略示した第１の時間点におけるフィルタ処理をしていないビデオ画像とフィルタ処理したビデオ画像のセクションである。 歩行者を略示した第１の時間点におけるフィルタ処理をしていないビデオ画像とフィルタ処理したビデオ画像のセクションである。 図１５の歩行者の先の時間点におけるフィルタ処理していない画像である。

符号の説明

１０ 車両
１２ レーザ・スキャナ
１４，１４’ データ処理デバイス
１６ オブジェクト
１８ 検出ゾーン
２０ レーザ放射線束
２２ 実オブジェクトの点
２４ 車両
２６ 歩行者
２８ ビデオ・システム
３０ ビデオカメラ
３２ ＣＣＤ空中センサ
３４ レンズ
３６ 検出ゾーン
３８ 光軸
４０ 走査面
４２ 共通の検出ゾーン
４４ 車両
４６ 人物
４８ 像平面
５０ 光心
５２ 実オブジェクトの点
５４ 交点
５６ 変位ベクトル
５７ 交点
５８ 実オブジェクトの点
ｖ 速度ベクトル
ｄ 変位ベクトル

Claims (15)

1. 少なくとも１つの電磁放射線センサ（１２，２８）の少なくとも１つの検出ゾーン（１８，３６）内の実オブジェクト（１６，２４，２６，４４，４６）に対応するオブジェクトを、前記センサ（１２，２８）によって繰り返し検出される前記検出ゾーン（１８，３６）の画像を基礎として認識及び／又は追跡する方法であって、
   連続する画像が連続するサイクルで評価され、且つ、１つのサイクルにおいて発見された少なくとも１つのオブジェクトが、該オブジェクトを追跡するために、その後のサイクルにおいて対応するその後の画像内で少なくとも１つの対応する画像を基礎として検索されること、及び、
   先の画像の少なくとも一部、及び／又は前記オブジェクトないし該オブジェクトに対応する実オブジェクト（１６，２４，２６，４４，４６）の先の状態に関する少なくとも１つの徴候であって現行サイクルで対応する先の画像を使用して決定されるものが、現在の画像の少なくとも予備的な評価の結果を基礎として、現行サイクルで決定される現在の画像の少なくとも一部に、又は現行サイクルで認識されるオブジェクトに、少なくとも１つの現行サイクルの間、関連づけられる方法。
2. 上記先の画像の一部又はオブジェクトの先の状態に関する徴候の関連づけが、オブジェクトの現在の状態に関するさらなる徴候の決定に使用されることを特徴とする請求項１に記載の方法。
3. 上記現行サイクルにおける新しいオブジェクトの現在の位置が、現行サイクルにおいて新しいオブジェクトが認識されると決定されること、
   先のサイクルにおける新しいオブジェクト又はこれに対応する実オブジェクト（１６，２４，２６，４４，４６）の先の位置が、新しいオブジェクトの現在の位置を基礎として推定されること、及び、
   上記現行サイクルにおける新しいオブジェクトの状態パラメータの現在の値は推定された新しいオブジェクトの先の位置を使用して決定されること、
   を特徴とする請求項１又は２に記載の方法。
4. 上記現行サイクルにおける新しいオブジェクトの現在の位置と先のサイクルにおける少なくとも１つの他のオブジェクトの先の位置とを基礎として、先のサイクルにおいて評価された画像における新しいオブジェクトに対応する実オブジェクト（１６，２４，２６，４４，４６）が先のサイクルにおける他のオブジェクトに対応する実オブジェクト（１６，２４，２６，４４，４６）によってマスクされていた可能性があるかどうかがチェックされることを特徴とする請求項３に記載の方法。
5. 上記現行サイクルにおいて新しいオブジェクトについて現在のサイズ及び／又は形状が決定されること、及び
   上記現在のサイズ及び／又は形状はマスキングのチェックに使用されること、
   を特徴とする請求項４に記載の方法。
6. マスキングが想定されると、先のサイクルにおける新しいオブジェクトに対応する実オブジェクト（１６，２４，２６，４４，４６）の先の位置がマスキングしている実オブジェクト（１６，２４，２６，４４，４６）に対応するオブジェクトの現在の位置から、及び好適には現在のサイズ及び／又は形状から推定され、新しいオブジェクトの現在の速度はこれから推定されることを特徴とする請求項４又は５に記載の方法。
7. 先の画像における新しいオブジェクトの検索を行なうことと、現行サイクルにおいて先の画像内にオブジェクトが発見されれば、先のサイクルにおける新しいオブジェクトの、及び／又は他のオブジェクトの状態パラメータの先の値を使用しながら、上記オブジェクト及び／又は別のオブジェクトの少なくとも１つの状態パラメータの現在の値が決定されることを特徴とする請求項３〜６のいずれかに記載の方法。
8. 画像は予め決定されたセグメント化パラメータ及び予め決定されたセグメント化方法を使用してセグメント化されることと、
   先の画像において新しいオブジェクトを発見するために、先の画像の少なくとも１つの対応する領域は変更されたセグメント化パラメータ及び／又は別のセグメント化方法を使用して再度セグメント化されることを特徴とする請求項７に記載の方法。
9. 検出ゾーン（１８，３６）の少なくとも１つの共通部分領域の距離画像及びビデオ画像は互いに時間的に関連づけられたものが使用されること、
   ビデオ画像におけるオブジェクト及び／又は特徴の検索が、時間的に関連づけられる距離画像エレメントに依存して決定される部分セクションにおいてのみ行われること、
   現行サイクルにおいて、新しいオブジェクト及び／又は特徴が認識されると、ビデオ画像における新しいオブジェクト及び／又は特徴が、時間的に先のサイクルまで後戻りされること、及び、
   先のサイクルにおける新しいオブジェクト及び／又は特徴に対応する実オブジェクト（１６，２４，２６，４４，４６）の位置が、先のビデオ画像における実オブジェクト（１６，２４，２６，４４，４６）に対応するオブジェクト及び／又は特徴に関する情報を使用しながら決定されること、
   を特徴とする請求項１〜８のいずれかに記載の方法。
10. 検出ゾーン（１８，３６）の少なくとも１つの共通部分領域の距離画像及びビデオ画像は互いに時間的に関連づけられたものが使用されることと、
    現在の距離画像における距離画像エレメントは先の距離画像における距離画像エレメントに関連づけられることと、
    特には光学フローである変位及び／又は変位速度は先の距離画像における距離画像エレメントに対応する少なくとも１つの領域及び／又は対応する先のビデオ画像及び／又は先の距離画像における距離画像エレメントに対応する現在のビデオ画像の少なくとも１つの特徴について決定されることと、
    特には光学フローである変位又は変位速度は現在の距離画像における距離画像エレメントを先の距離画像における距離画像エレメントに関連づけるために使用されること、を特徴とし、
    先行サイクルにおける距離画像エレメントは現行サイクルにおける距離画像エレメントに、距離画像を検出するセンサに接近し及び／又は先のサイクルよりも現行サイクルにおいてより多くの距離画像エレメントを有する距離画像におけるオブジェクトに関する、特には対応する光学フローである領域又は特徴の対応する変位又は変位速度を使用しながら関連づけられる請求項１〜９のいずれかに記載の方法。
11. オブジェクトの認識において、オブジェクトの検出はフィルタリングに起因して低減された分解能を有するフィルタ処理された画像を基礎として実行されることと、
    現行サイクルにおける新しいオブジェクトの検出の後、フィルタ処理された現在の画像におけるオブジェクトの位置及び任意選択として形状を基礎として、先の画像においてその分解能がフィルタ処理された画像のそれより高いオブジェクトに対応する実オブジェクト（１６，２４，２６，４４，４６）に対して検索が行われることと、
    先の画像における対応するオブジェクトが発見されると、上記オブジェクトに関する対応するデータが現在の画像の評価に使用されることを特徴とする請求項１〜１０のいずれかに記載の方法。
12. コンピュータにプログラムがインストールされると、請求項１〜１１のいずれかに記載の方法を実行するためのプログラム・コード手段を有するコンピュータ・プログラム。
13. コンピュータにコンピュータ・プログラム・プロダクトがインストールされると請求項１〜１１のいずれかに記載の方法を実行するための、コンピュータ判読可能データ・キャリアに格納されたプログラム・コード手段を有するコンピュータ・プログラム・プロダクト。
14. 検出ゾーン（１８，３６）の画像を検出するように設計された少なくとも１つの電磁放射線センサ（１２，２８）と、
    前記センサに接続されていて、請求項１〜１１のいずれかに記載の方法を実行するように作製されると共に、特には以下のものを含むデータ処理デバイス（１４，１４’）と、
    を有するオブジェクトを認識して追跡するための装置。
    前記センサ（１２，２８）の現在の画像を評価するための手段と、
    現在の画像の一部を該現在の画像の少なくとも予備的な評価の結果として決定するための、又は現行サイクルにおいてオブジェクトを認識するための手段、及び、
    先の画像の一部を関連づけ、及び／又は、現行サイクルにおいて対応する先の画像を使用しながら前記オブジェクトないし該オブジェクトに対応する実オブジェクト（１６，２４，２６，４４，４６）の先の状態に関連する少なくとも１つの徴候を決定し、且つ、前記徴候を前記現在の画像の一部又は前記現在のオブジェクトに関連づけるための手段。
15. 上記センサが、特にレーザ・スキャナ（１２）として距離画像を検出するように作製されることを特徴とする請求項１４に記載の装置。
    
    

Images