DE10148070A1

DE10148070A1 - Verfahren zur Erkennung und Verfolgung von Objekten

Info

Publication number: DE10148070A1
Application number: DE10148070A
Authority: DE
Inventors: Ulrich Lages; Klaus Dietmayer; Volker Willhoeft; Jan Sparbert; Daniel Streller; Kay Fuerstenberg
Original assignee: Ibeo Automobile Sensor GmbH
Current assignee: Ibeo Automobile Sensor GmbH
Priority date: 2001-09-28
Filing date: 2001-09-28
Publication date: 2003-04-17

Abstract

Bei einem Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von von einem Sensor, insbesondere einem Laserscanner, erfaßten, bevorzugt geschwindigkeits- oder tiefenaufgelösten, Bildpunkte enthaltenden Bildern von Gegenständen in einem Sichtbereich des Sensors, bei dem die Erkennung und Verfolgung unter Verwendung eines jeweils einem der Objekte zugeordneten Modells für die zeitliche Entwicklung von dynamischen Zustandsvariablen erfolgt, die wenigstens eine sensorspezifische Eigenschaft des Objekts beschreiben, bei dem aus den Bildpunkten des aktuellen Bildes Segmente gebildet werden, die jeweils einen einzelnen Bildpunkt oder eine Menge aller Bildpunkte umfassen, von denen jeweils mindestens zwei entsprechend wenigstens einem Segmentierungskriterium als dem Segment zugehörig definiert werden, und die untereinander keine gemeinsamen Bildpunkte aufweisen, bei dem zur Neubildung von Objekten jeweils wenigstens einem Segment ein neues Objekt zugeordnet wird, bei dem bei der Erkennung und Verfolgung von Objekten in einem Bild Segmente bereits vorhandenen Objekten zugeordnet werden und bei dem für Objekte als Objekteigenschaften zumindest eine Position und Bewegungsrichtung ermittelt werden, werden für die Objekte weitere Objekteigenschaften ermittelt und für eine Segment-Objekt-Zuordnung benutzt.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von von einem Sensor, insbesondere einem Laserscanner, erfaßten, bevorzugt geschwindigkeits- oder tiefenaufgelösten, Bildpunkte enthaltenden Bildern von Gegenständen in einem Sichtbereich des Sensors, bei dem die Erkennung und Verfolgung unter Verwendung eines jeweils einem der Objekte zugeordneten Modells für die zeitliche Entwicklung von dynamischen Zustandsvariablen erfolgt, die wenigstens eine sensorspezifische Eigenschaft des Objekts beschreiben, bei dem aus den Bildpunkten des aktuellen Bildes Segmente gebildet werden, die jeweils einen einzelnen Bildpunkt oder eine Menge aller Bildpunkte umfassen, von denen jeweils mindestens zwei entsprechend wenigstens einem Segmentierungskriterium als dem Segment zugehörig definiert werden, und die untereinander keine gemeinsamen Bildpunkte aufweisen, bei dem zur Neubildung von Objekten jeweils wenigstens einem Segment ein neues Objekt zugeordnet wird, bei dem bei der Erkennung und Verfolgung von Objekten in einem Bild Segmente bereits vorhandenen Objekten zugeordnet werden, und bei dem für Objekte als Objekteigenschaften zumindest eine Position und Bewegungsrichtung ermittelt werden.
Verfahren der obengenannten Art sind grundsätzlich bekannt. Sie können beispielsweise dazu benutzt werden, den in Fahrtrichtung vor einem Fahrzeug liegenden Bereich zu überwachen, wenn an dem Fahrzeug, beispielsweise an dessen Frontseite, ein Sensor zur Erfassung tiefenaufgelöster Bilder, beispielsweise ein Laserscanner, angebracht ist. Insbesondere können dabei sich in dem Sichtbereich des Laserscanners bewegende Fahrzeuge erkannt und verfolgt werden, so daß auf der Basis der durch die Objektverfolgung erfaßten Daten entsprechende Reaktionen in dem Fahrzeug, beispielsweise Warnmeldungen oder sogar Eingriffe in die Steuerung des Fahrzeugs, ausgelöst werden können.
Bei Verfahren der obengenannten Art wird für die Segment-Objekt- Zuordnung in Abhängigkeit von der Position eines Objekts ein Suchbereich definiert, in dem nach Segmenten für das Objekt gesucht wird. Dies hat jedoch den Nachteil, daß die Suchbereiche groß werden können und in Extremsituationen die Positionen von Objekten falsch ermittelt und damit die Objekte nicht wiedergefunden werden.
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren der obengenannten Art bereitzustellen, das eine möglichst zuverlässige Erkennung und Verfolgung von Objekten gewährleistet.
Die Aufgabe wird gelöst durch ein gattungsgemäßes Verfahren mit den Merkmalen des kennzeichnenden Teils des Anspruchs 1.
Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, daß für die Objekte weitere Objekteigenschaften ermittelt werden, und daß diese weiteren Objekteigenschaften für eine Segment-Objekt-Zuordnung benutzt werden.
Bei dem gattungsgemäßen Verfahren werden Bilder eines Sensors benutzt. Hierbei kann es sich um zweidimensionale Bilder eines Videosensors handeln.
Es werden jedoch bevorzugt geschwindigkeits- oder tiefenaufgelöste Bilder eines Sensors verwendet. Unter einem geschwindigkeits- bzw. tiefenaufgelösten Bild eines Sensors wird in dieser Anmeldung eine Menge von bei einer Abtastung des Sichtbereichs des Sensors erfaßten Bildpunkten verstanden, denen Punkte bzw. je nach Auflösung des Sensors auch Bereiche eines von dem Sensor erfaßten Gegenstands entsprechen, wobei den Bildpunkten der Geschwindigkeit bzw. der Lage der zugehörigen Gegenstandspunkte entsprechende Koordinaten in mindestens zwei Dimensionen zugeordnet sind, die nicht beide senkrecht zur Blickrichtung des Sensors stehen. Die Bildpunkte können weiterhin Daten über weitere, insbesondere optische, Eigenschaften der Gegenstandspunkte, beispielsweise deren Reflektivität, enthalten. Diese Daten werden im folgenden als optische Eigenschaften der Bildpunkte bezeichnet.
Sensoren zur Erfassung solcher geschwindigkeits- oder tiefenaufgelöster Bilder sind grundsätzlich bekannt.
Hierbei kann es sich beispielsweise um Ultraschallsensoren handeln.
Vorzugsweise werden Sensoren für elektromagnetische Strahlung verwendet.
Hierbei kann es sich beispielsweise um Radarsensoren handeln. Vorzugsweise werden bei diesen Geschwindigkeiten der Gegenstandspunkte verfolgt.
Besonders bevorzugt kann es sich bei den Sensoren für elektromagnetische Strahlung um optoelektronische Sensoren handeln, die eine gute Ortsauflösung bieten und daher für das erfindungsgemäße Verfahren bevorzugt sind. So können beispielsweise Systeme mit Stereo- Videokameras verwendet werden, die eine Einrichtung zur Umsetzung der von den Kameras aufgenommenen Rohdaten in tiefenaufgelöste Bilder aufweisen.
Vorzugsweise werden jedoch Laserscanner verwendet, die bei einer Abtastung einen Sichtbereich mit mindestens einem gepulsten Strahlungsbündel abtasten, das einen vorgegebenen Winkelbereich überstreicht und von einem Punkt bzw. Bereich eines Gegenstands, meist diffus, reflektierte Strahlungspulse des Strahlungsbündels detektieren. Dabei wird zur Entfernungsmessung die Laufzeit der ausgesandten, reflektierten und detektierten Strahlungspulse erfaßt. Die so erfaßten Rohdaten für einen Bildpunkt können dann als Koordinaten den Winkel, bei dem der Reflex erfaßt wurde, und die aus der Laufzeit der Strahlungspulse bestimmte Entfernung des Gegenstandspunkts enthalten. Bei der Strahlung kann es sich insbesondere um sichtbares oder infrarotes Licht handeln.
Unter dynamischen Zustandsvariablen werden Variablen verstanden, die jeweils einen zeitlich veränderlichen Zustand des Objekts beschreiben, der wenigstens näherungsweise einem ebenso zeitlich veränderlichen Zustand des Gegenstands entspricht, der durch das Objekt dargestellt wird. Bei den sensorspezifischen Zustandsvariablen kann es sich insbesondere um solche handeln, die dem Typ der von dem Sensor erfassten Meßdaten entsprechen. Bei Sensoren, die geschwindigkeitsaufgelöste Bilder erfassen, können insbesondere entsprechende, die Geschwindigkeit eines Gegenstands bzw. des dieses darstellenden Objekts beschreibende Zustandsvariablen, bei tiefenaufgelösten Bildern die Position eines Gegenstands bzw. des dieses darstellenden Objekts verwendet werden.
Die Erkennung und Verfolgung von Objekten erfolgt auf der Basis von Modellen, mit denen die zeitliche Entwicklung der dynamischen Zustandsvariablen wenigstens näherungsweise beschreibbar ist, wobei sich Art und Komplexität der Modelle unter anderem nach dem Objekterkennungs- und -verfolgungsverfahren sowie nach der Art der typischerweise auftretenden, zu verfolgenden Gegenstände richten können. Die Modelle können in bestimmte Typen eingeteilt werden und sind durch Modellparameter parametrisierbar. Die Anzahl und Art der Modellparameter ist dabei für den Modelltyp spezifisch, die Parametrisierung erfolgt durch Wahl entsprechender Werte des oder der Modellparameter. Insbesondere dienen die Modelle dazu, die Position eines Objekts vorherzusagen, in deren Nähe dann in einem folgenden tiefenaufgelösten Bild nach dem Objekt gesucht werden kann.
Ein erfaßtes Bild wird dazu zunächst in Segmente aufgeteilt, die jeweils nur einen einzelnen Bildpunkt oder eine Menge aller Bildpunkte umfassen, von denen wenigstens zwei entsprechend wenigstens einem Segmentierungskriterium als dem Segment zugehörig definiert werden, und die untereinander keine gemeinsamen Bildpunkte aufweisen. Bei diesem Segmentierungskriterium kann es sich insbesondere um ein Kriterium für einen maximal zulässigen Abstand und/oder einen maximal zulässigen Unterschied einer optischen Eigenschaft, insbesondere der Reflektivität, oder bei Verwendung geschwindigkeitsaufgelöster Bilder um ein Kriterium für eine maximal zulässige Differenz der Relativgeschwindigkeiten handeln. Weiterhin kann bei Verwendung eines Laserscanners auch eine aus Pulsbreiten und/oder -höhen bestimmte Neigung einer Fläche verwendet werden. Die Segmente weisen dabei keine gemeinsamen Bildpunkte auf, so daß eine wirkliche Aufteilung des Bildes erreicht wird. Durch diese Zusammenfassung zu Segmenten wird eine erste Reduktion der Datenmenge erreicht, die eine Weiterverarbeitung wesentlich erleichtert. Durch die Verwendung eines Abstandskriteriums wird berücksichtigt, daß Gegenstände für die meisten Anwendungen durch ihren räumlichen Zusammenhang definiert sind, so daß ein Segment nur einem Objekt zugeordnet sein sollte und nicht in zwei Objekten liegen und diese verbinden sollte. Bei dem Kriterium für den Abstand kann es sich um ein Schwellwert-Kriterium für einen euklidischen Abstand der Bildpunkte handeln, bei dem gegebenenfalls Koordinatenrichtungen unterschiedlich gewichtet sind. Es ist jedoch auch möglich, für jede Koordinatenrichtung ein eigenes Abstandskriterium zu verwenden.
Erfindungsgemäß werden für die Objekte weitere Objekteigenschaften ermittelt, die für eine Segment-Objekt-Zuordnung benutzt werden. Die Ermittlung der Objekteigenschaften kann dabei durch Messung entsprechender Eigenschaften, beispielsweise mit dem Sensor bzw. über die von diesem erfaßten Bilder, oder mit einem separaten Sensor für diese Eigenschaft erfolgen. Es ist jedoch auch möglich, die Objekteigenschaften nur anhand des Modells zu ermitteln. Beispielsweise können kinematische Daten der Objekte wie Geschwindigkeiten oder Beschleunigungen durch numerische Differentiation von Meß- und/oder Schätzwerten für die Position von Objekten und gegebenenfalls eine nachfolgende Filterung ermittelt werden.
Diese weiteren Objekteigenschaften werden erfindungsgemäß bei der Segment-Objekt-Zuordnung verwendet, wodurch eine bessere Zuordnung von Segmenten zu Objekten ermöglicht wird.
Dies ist zum einen bei der Neubildung von Objekten der Fall, wenn die zur Neubildung verwendeten Segmente neben einer geeigneten räumlichen Lage den Objekteigenschaften entsprechende Eigenschaften aufweisen, die es erlauben, zu entscheiden, ob mehrere Segmente einem Objekt zugeordnet werden sollten oder nicht.
Zum anderen kann dies bei der Erkennung von Objekten erreicht werden, wenn auch hier die Segmente den Objekteigenschaften existierender Objekte entsprechende Eigenschaften aufweisen, und eine Zuordnung nur erfolgt, wenn neben den räumlichen Bedingungen für eine Zuordnung die Eigenschaften der Segmente den weiteren Objekteigenschaften der Objekte entsprechend einem vorgegebenen Kriterium entsprechen.
Hierdurch läßt sich mit der erfindungsgemäßen Verwendung weiterer Objekteigenschaften eine besonders zuverlässige Erkennung und Verfolgung von Objekten erreichen.
Weiterbildungen und bevorzugte Ausführungsformen der Erfindung sind in der Beschreibung, den Ansprüchen und der Zeichnung beschrieben.
Da bei vielen Anwendungen vorwiegend Gegenstände bestimmter Typen überwacht werden, ist es bevorzugt, daß zur Klassifizierung von Objekten mehrere Objektklassen vorgesehen werden, die wenigstens eine Eigenschaft von Objekten betreffen, die aus wenigstens einem der tiefenaufgelösten Bilder bestimmbar ist, und daß jedem der Objekte als weitere Objekteigenschaft eine der Objektklassen zugeordnet ist. Eine Objektklasse zeichnet sich dabei dadurch aus, daß Objekte, denen diese Klasse zugeordnet ist, Gegenstände mit wenigstens einer bestimmten, für die Objektklasse spezifischen Eigenschaft darstellen. Insbesondere kann es sich um die gleiche Eigenschaft handeln, die aus den tiefenaufgelösten Bildern bestimmbar ist. Grundsätzlich genügt eine Eigenschaft zur Spezifikation der Objektklasse, es können aber vorzugsweise auch Kombinationen von Eigenschaften verwendet werden, die eine eindeutige Zuordnung erlauben.
Die Eigenschaften sind dabei vorzugsweise so gewählt, daß sie für einen Gegenstand zumindest für den Beobachtungszeitraum konstant bleiben sollten. Im Rahmen dieser Anmeldung wird unter dem Begriff "konstante Eigenschaft" auch verstanden, daß Gegenstände der entsprechenden Objektklasse eine ganze Menge von Ausprägungen einer in einem durch die Gegenstände der Objektklasse vorgegebenen Rahmen veränderlichen Eigenschaft umfassen kann, wobei die Ausprägungen sich insbesondere in einem vorgegebenem Rahmen auseinander entwickeln können. Die Eigenschaft besteht dann also in der Menge der speziellen Ausprägungen der veränderlichen Eigenschaft, die ein Gegenstand der entsprechenden Objektklasse annehmen kann. Beispielsweise kann ein Sattelzug oder ein Gelenkbus in gestrecktem Zustand im wesentlichen die Form eines Rechtecks aufweisen, aus der sich bei Kurvenfahrt jedoch eine sich aus dem Rechteck ergebende abgewinkelte, immer noch objektklassenspezifische Form entwickeln kann. Unter der Form wird dann nicht nur die Form in gestrecktem Zustand, sondern die Menge der möglichen Formen verstanden.
In einem erfaßten Bild können einzelne aus dem Bild bestimmte Eigenschaften auch eines Objekts, das einen unveränderlichen Gegenstand darstellt, beispielsweise je nach Perspektive veränderlich sein.
Bei den Eigenschaften kann es sich um qualitative Eigenschaften, aber auch um durch wenigstens einen Parameter beschreibbare Eigenschaften des Objekts bzw. des durch das Objekt dargestellten Gegenstands handeln. Dabei kann die Eigenschaft insbesondere auch darin bestehen, daß die Werte des Parameters innerhalb eines vorgegebenen Intervalls liegen. Eine für die Zuordnung einer Objektklasse zu einem Objekt verwendete Eigenschaft zeichnet sich dadurch aus, daß sie aus wenigstens einem erfaßten tiefenaufgelösten Bild zumindest näherungsweise ermittelbar ist.
Die Verwendung von Objektklassen ist in der deutschen Patentanmeldung mit dem anwaltlichen Aktenzeichen S7880 und dem Titel "Verfahren zur Erkennung und Verfolgung von Objekten", die am gleichen Tag wie die vorliegende Anmeldung von derselben Anmelderin eingereicht wurde und deren Inhalt hiermit durch Bezugnahme in die vorliegende Anmeldung aufgenommen wird, beschrieben.
Bei dem erfindungsgemäßen Verfahren ist es bevorzugt, daß die weiteren Objekteigenschaften ausgewählt sind aus der Gruppe: Breite, Länge, Orientierung, Rotationsgeschwindigkeit, Bewegungsgeschwindigkeit und - beschleunigung, Unsicherheit, Güte, Reflektivität, ganze oder teilweise Verdeckung und Objektklasse des Objekts.
Mit der Breite und Länge eines Objekts wird hierbei die Breite und Länge eines Rechtecks bezeichnet, das der Ausdehnung des durch das Objekt dargestellten Gegenstands entspricht. Die Breite und Länge können sich dabei auf aktuelle Meßwerte und/oder entsprechende Zustandsvariablen beziehen, die bei jeder Iteration neu erfaßt und im Rahmen der Objektverfolgung weiterverfolgt werden. Weiterhin können die aktuelle oder die maximale, im bisherigen Verlauf des Verfahrens erfaßte Breite und/oder Länge eines Objekts verwendet werden. Es ist jedoch besonders bevorzugt, daß als statische Eigenschaft einem Objekt eine Objektbox zugeordnet wird, die eine Ausdehnung des Objekts in der Bildebene darstellt, eine bestimmte Form und Größe aufweist und hinsichtlich Form und Größe dem durch das Objekt dargestellten Gegenstand entspricht. Gegebenenfalls kann deren Größe im weiteren Verlauf des Verfahrens adaptiert werden, wenn das dem Objekt zugeordnete Segment bzw. die dem Objekt zugeordneten Segmente eine genaue Bestimmung der Ausdehnung des Gegenstands in wenigstens einer Richtung des Gegenstands zulassen.
Die Orientierung eines Objekts kann beispielsweise durch einen Winkel zwischen einer vorgegebenen Achse des Objekts, beispielsweise einer Längsachse, und einer weiteren vorgegebenen Achse, beispielsweise einer Achse des Sensors oder einer raumfesten Achse, gegeben sein. Die Verwendung der Orientierung eines Objekts erlaubt eine Einschränkung des effektiv verwendeten Suchbereichs für das Objekt in einem Bild, da ein Suchbereich für die Position des Objekts und ein Suchbereich für die Orientierung des Objekts bei der gegebenen Position festgelegt werden kann, so daß nur Segmente, die in beiden Suchbereichen liegen, dem Objekt zugeordnet werden.
Die Rotationsgeschwindigkeit sowie die Bewegungsgeschwindigkeit und - beschleunigung eines Objekts können aus entsprechenden Meß- und/oder Schätzwerten für die Orientierung bzw. Position eines Objekts beispielsweise durch numerische Differentiation bestimmt werden. Es ist jedoch auch denkbar, daß solche Daten von Sensoren der durch die Objekte dargestellten Gegenstände erfaßt und, nach Übermittlung an eine Einrichtung zur Durchführung des erfindungsgemäßen Verfahrens, darin verwendet werden.
Weiterhin kann die Unsicherheit eines Objekts als weitere Objekteigenschaft verwendet werden, die beispielsweise daraus abgeschätzt werden kann, wie groß der Suchbereich für das Objekt ist oder wieviele Bildpunkte bzw. Segmente dem Objekt zugeordnet wurden.
Weiter kann als weitere Objekteigenschaft eine Güte des Objekts verwendet werden, die beispielsweise aus der Güte der zur Bestimmung der Position des Objekts verwendeten Meßpunkte oder - bei Verwendung von Objektboxen, die eine Ausdehnung des Objekts darstellen - aus dem mittleren kleinsten, einfachen oder quadratischen Abstand der dem Objekt zugeordneten Bildpunkte von dem Rand der Objektbox bestimmt werden kann.
Die Güte kann insbesondere in Abhängigkeit von einer Referenzanzahl, bevorzugt der maximal möglichen Anzahl, von Bildpunkten in der Objektbox und der Anzahl der tatsächlich in der Objektbox gefundenen Bildpunkte bestimmt werden. Die maximal mögliche Anzahl von Bildpunkten kann dabei auf der Basis der Position der Objektbox relativ zu dem Sensor und dem Auflösungsvermögen des Sensors bei der gegebenen Objektboxposition ermittelt werden oder theoretisch durch Variation über alle möglichen Lagen der Objektbox zu dem Sensor bestimmt werden
Anhand dieser Güte kann, wenn noch keine Adaption erfolgt ist und die Objektbox zu Beginn die maximale Ausdehnung hatte, nach einer Prüfung auf mögliche Verdeckungen festgestellt werden, ob das Objekt kleiner als die Objektbox ist. Darüber hinaus kann insbesondere auch einfach eine Verdeckung des dem Objekt entsprechenden Gegenstands durch einen anderen, zwischen diesem und dem Sensor liegenden Gegenstand erkannt werden.
Es ist darüber hinaus bevorzugt, daß mindestens eine Objektbox einen innerhalb der Objektbox entlang ihres Umfangs verlaufenden Randstreifen vorgegebener Breite aufweist, und eine Güte der Zuordnung von Bildpunkten in Abhängigkeit von der Anzahl der in dem Randstreifen liegenden Bildpunkte und der Gesamtzahl der in der in der Objektbox liegenden Bildpunkte bestimmt wird. Insbesondere kann hierzu das Verhältnis der beiden Werte verwendet werden. Auf diese Weise läßt sich sehr schnell eine Güte bestimmen, die angibt, wie genau die Bildpunkte, die der Kontur des Gegenstands entsprechen sollten, entlang der Kontur der Objektbox angeordnet sind. Besonders bevorzugt kann auch hier eine Segmentierung erfolgen bzw. verwendet werden, wobei sich eine Güte der Segment- Objekt-Zuordnung ergibt.
Weiterhin ist es bevorzugt, daß vor der Ermittlung der Güte eine Verdeckungserkennung durchgeführt wird, bei der ermittelt wird, ob ein Teil des Objekts bzw. des durch dieses dargestellten Gegenstands aus der Sichtrichtung des Sensors durch ein anderes Objekt bzw. einen anderen durch dieses andere Objekt dargestellten Gegenstand verdeckt wird, und daß bei Erkennung einer Verdeckung die durch die Verdeckung fehlenden Bildpunkte bei der Berechnung der Güte berücksichtigt werden. Dies kann entweder dadurch geschehen, daß die entsprechenden Bildpunkte rekonstruiert und in die Berechnung einbezogen werden, oder dadurch, daß während der Bestimmung der Güte die maximale Zahl der Bildpunkte um die Anzahl der verdeckten Bildpunkte reduziert wird. Hiermit läßt sich auch bei einer Verdeckung leicht erkennen, ob die Ausdehnung eines durch das Objekt dargestellten Gegenstands der Ausdehnung der Objektbox entspricht oder nicht.
Zur Bestimmung einer Güte ist es weiterhin bevorzugt, daß die Güte in Abhängigkeit von den minimalen Abständen zwischen in der Objektbox liegenden Bildpunkten und dem Rand der Objektbox und von der Anzahl der in der Objektbox liegenden Punkte bestimmt wird. Besonders bevorzugt kann hierbei der normierte mittlere einfache oder quadratische Abstand zur Bestimmung eines Gütewertes benutzt werden. Hierdurch kann insbesondere leicht festgestellt werden, inwieweit die einem Objekt zugeordneten Bildpunkte auch auf dem Rand der Objektbox bzw. in dessen Nähe liegen. Hierdurch lassen sich beispielsweise tatsächlich im wesentlichen rechteckige Gegenstände wie z. B. Autos von anderen Gegenständen wie z. B. Büschen unterscheiden, da letztere Segmente mit Bildpunkten aufweisen, die unter Umständen auch in großer Zahl innerhalb der Objektbox liegen.
Besonders bevorzugt können die Abstände auf eine Ausdehnung der Objektbox bezogen sein, so daß sich vergleichbare Gütewerte sowohl für kleine wie auch große Objektboxen ergeben.
Weiterhin kann die Reflektivität der Gegenstände bzw. Gegenstandspunkte als weitere Objekteigenschaft verwendet werden, wenn der Sensor zur Erfassung entsprechender Daten ausgelegt ist oder die Reflektivitätsinformationen auf andere Art und Weise an eine Einrichtung zur Durchführung des erfindungsgemäßen Verfahrens übermittelt werden.
Es kann auch eine Information in bezug auf die ganze oder teilweise Verdeckung eines Objekts durch ein anderes, zwischen dem Objekt und dem Sensor liegendes Objekt, verwendet werden. Hierbei kann es sich um das Vorliegen einer ganzen oder teilweisen Verdeckung überhaupt und/oder die Angabe der ganz oder teilweise verdeckten Seite des Objekts handeln.
Insbesondere durch Kombination mehrerer dieser Eigenschaften läßt sich die Identifizierung von Objekten und damit deren Erkennung und Verfolgung noch weiter verbessern. Dabei können alle weiteren Objekteigenschaften verwendet werden, die sich nicht gegenseitig ausschließen.
Bei einer bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens wird aus den Objekten unter Verwendung der Objekteigenschaften der Objekte ein Umgebungsmodell erstellt, bei der Segment-Objekt-Zuordnung für wenigstens eines der Objekte in Abhängigkeit von wenigstens einem Schätzwert und/oder einem Meßwert für die Position des Objekts aus einer vorhergehenden Iteration des Verfahrens ein Suchbereich definiert, in dem nach Segmenten gesucht wird, die dem Objekt zuzuordnen sind, und der Suchbereich in Abhängigkeit von dem Umgebungsmodell bestimmt.
Das Umgebungsmodell kann unter Verwendung einiger, vorzugsweise aller, ermittelten Objekteigenschaften, also insbesondere auch der erfindungsgemäß vorgesehenen weiteren Objekteigenschaften, der verfolgten Objekte erstellt werden. Dazu können weiter Heuristiken verwendet werden, um aus den Objekteigenschaften auf Typen und Eigenschaften tatsächlicher Gegenstände zurückzuschließen. Dabei erlaubt erst die Einbeziehung einer Vielzahl von Objekteigenschaften, also insbesondere mehrerer der weiteren Objekteigenschaften, die Erstellung eines gut strukturierten bzw. differenzierten Umgebungsmodells.
Es kann also eine gegenseitige Stützung von Objekteigenschaften und Umgebungsmodell erfolgen.
Besonders bevorzugt werden Objekte unter Verwendung wenigstens einiger der weiteren Objekteigenschaften in Objektklassen eingeteilt, die eine sinnvolle Strukturierung der Menge der erfaßten Objekte zu einem Modell der Umgebung eines Objekts erlauben. Beispielsweise können im Rahmen der Überwachung eines Bereichs vor einem Kraftfahrzeug im Straßenverkehr Objektklassen für Personen, Zweiräder, Personenkraftwagen, Lastkraftwagen und Busse, Bäume und Pfähle, Leitpfosten und sonstige Gegenstände vorgesehen sein, die es erlauben, eine für eine Beurteilung im Hinblick auf Fahrsituationen hinreichende Strukturierung der Menge der verfolgten Objekte zu einem Umgebungsmodell vorzunehmen.
Der Suchbereich für ein Objekt, in dem nach Segmenten für das Objekt gesucht wird, kann bei Verwendung eines Kalman-Filters beispielsweise hinsichtlich seiner Lage durch prädizierte Werte der Meßgrößen für die Position des Objekts und hinsichtlich seiner Form und Größe durch entsprechende prädizierte Varianzen und Kovarianzen der Meßgröße bestimmt werden. Der bei einer Auswertung eines erfaßten Bildes bestimmte Wert der Meßgröße der Position des Objekts ergibt dabei den Meßwert für die Position des Objekts.
Unter Berücksichtigung des Umgebungsmodells kann nun dieser Suchbereich modifiziert und insbesondere verkleinert werden. Beispielsweise kann bei Erkennung einer Kolonnenfahrt in dem Umgebungsmodell daraus geschlossen werden, daß große Bewegungen quer zur augenblicklichen Fahrtrichtung der Kolonne sehr unwahrscheinlich sind, so daß der Suchbereich entsprechend eingeschränkt werden kann. Dies kann beispielsweise in dem Fall, daß ein mit einem Sensor ausgestattetes Fahrzeug und eine vorausfahrende Kolonne von Fahrzeugen an einer Reihe parkender Personenkraftwagen vorbeifährt, dazu führen, daß eine Zuordnung von Segmenten zu den fahrenden Fahrzeugen der Kolonne durch die Verengung des Suchbereichs quer zur Fahrtrichtung erleichtert wird, da Segmente der parkenden Personenkraftwagen seltener in den Suchbereich für die Fahrzeuge der Kolonne fallen.
Weiter ist es bevorzugt, daß aus den Objekten unter Verwendung der Objekteigenschaften der Objekte ein Umgebungsmodell erstellt wird, und daß bei der Neubildung von Objekten das Umgebungsmodell berücksichtigt wird. Dies kann beispielsweise dadurch erfolgen, daß ein neues Objekt nur gebildet wird, wenn es in einer sinnvollen Beziehung, insbesondere in keinem Widerspruch, zu dem Umgebungsmodell steht. Zur Bewertung können hier wiederum entsprechende Heuristiken benutzt werden. Hierdurch können die bei der Neubildung von Objekten häufig auftretenden Mehrdeutigkeiten bei der Zuordnung von Segmenten zu insbesondere bereits klassifizierten neuen Objekten stark reduziert werden.
Es ist dabei besonders bevorzugt, daß das Verfahren zur Überwachung von Straßenverkehr verwendet wird und das Umweltmodell ein Fahrbahnmodell umfaßt. Ein solches Fahrbahnmodell kann beispielsweise dadurch erhalten werden, daß in aufeinanderfolgenden Bildern raumfeste Gegenstände gesucht werden, die einen Fahrschlauch bzw. eine Fahrbahn begrenzen. Insbesondere können hierzu Leitpfosten verwendet werden, die zum einen leicht identifizierbar sind und zum anderen bestimmungsgemäß eine Fahrbahn begrenzen. Durch die Unterteilung des Sichtbereichs des Sensors in eine Fahrbahn und einen "Nichtfahrbahnbereich" kann insbesondere leichter entschieden werden, in welcher Richtung sich auf der Fahrbahn befindliche Objekte bewegen werden, so daß der Suchbereich entsprechend eingeschränkt werden kann. Weiterhin ist eine Objektklassifizierung von Gegenständen auf der Fahrbahn erleichtert, da aufgrund Erfahrungswissens Objekte gewisser Objektklassen nicht auf der Fahrbahn auftauchen können. So kann beispielsweise eine reale Person in einem Bild als Person, Busch, Poller, Pfahl oder Baum erscheinen. Befindet sich die Person aber auf einer Fahrbahn, so sind die beiden letzten Alternativen auszuschließen.
Die Erstellung von Fahrbahnmodellen ist in der deutschen Patentanmeldung mit dem amtlichen Aktenzeichen 10138641.9 und dem Titel "Verfahren zur Bestimmung einer Modellfahrbahn", die von der Anmelderin der vorliegenden Anmeldung eingereicht wurde und deren Inhalt hiermit durch Bezugsnahme in die vorliegende Anmeldung aufgenommen wird, beschrieben.
Grundsätzlich ist es möglich, daß selbst bei einer Neubildung von Objekten unter Verwendung der Objektklassen Mehrdeutigkeiten bei der Zuordnung von Objekten und Segmenten auftreten, die mit den in einem Bild vorhandenen Informationen nicht auflösbar sind. Bei Zuordnung nur eines Objekts einer bestimmten Objektklasse besteht dann die Gefahr, daß die Zuordnung nicht korrekt ist, was in späteren Stadien des Verfahrens zu Problemen führen könnte. Es ist daher bevorzugt, daß aus Segmenten hypothetische Objekte gebildet werden, denen eine Wahrscheinlichkeit für die Existenz eines dem hypothetischen Objekt entsprechenden Gegenstands zugeordnet wird und für die in wenigstens einer folgenden Iteration des Verfahrens eine Erkennung und Verfolgung sowie eine Aktualisierung der Wahrscheinlichkeit durchgeführt wird, und daß die Wahrscheinlichkeiten jeweils in Abhängigkeit von den weiteren Objekteigenschaften und/oder dem Umgebungsmodell bestimmt werden.
Mit einem erfindungsgemäßen Verfahren nach dieser Weiterbildung können für verschiedene mögliche Segment-Objekt-Zuordnungen jeweils verschiedene hypothetische Objekte erstellt und weiterverfolgt werden, wobei jeweils die Wahrscheinlichkeiten aktualisiert werden. Auch zunächst unwahrscheinliche Hypothesen können dabei weiterverfolgt werden, um im weiteren Verlauf des Verfahrens gegebenenfalls das Zutreffen oder Nichtzutreffen der Hypothese anhand dann umfangreicherer Informationen prüfen zu können. Hypothetische Objekte, die nicht tatsächlich erfaßten Gegenständen entsprechen, werden im weiteren Verlauf des Verfahrens durch einen starken Abfall ihrer Wahrscheinlichkeiten, gegebenenfalls bis auf Null, erkennbar. Die Beurteilung der Wahrscheinlichkeiten sowohl bei der Bildung hypothetischer Objekte als auch bei der Erkennung und Verfolgung hypothetischer Objekte kann durch Einordnung der hypothetischen Objekte in das Umgebungsmodell und Prüfung der Plausibilität bzw. Wahrscheinlichkeit des Auftretens des hypothetischen Objekts in dieser Umgebung wesentlich verbessert werden, ohne daß zusätzliche Informationen über das hypothetische Objekt notwendig wären.
Die Wahrscheinlichkeiten einer Hypothese kann dabei bevorzugt in Abhängigkeit von einer Objektgüte bestimmt werden, wobei die Wahrscheinlichkeit mit zunehmender Güte zunimmt.
Die Verwendung von hypothetischen Objekten bei gattungsgemäßen Verfahren ist in der deutschen Patentanmeldung mit dem anwaltlichen Aktenzeichen S7873 und dem Titel "Verfahren zur Erkennung und Verfolgung von Objekten", die am gleichen Tag wie die vorliegende Anmeldung von derselben Anmelderin eingereicht wurde und deren Inhalt hiermit durch Bezugnahme in die vorliegende Anmeldung aufgenommen wird, beschrieben.
Damit stützt die Verwendung einer Vielzahl von Objekteigenschaften die Erstellung eines Umgebungsmodells und umgekehrt das Umgebungsmodell die Ermittlung von Objekteigenschaften. So läßt beispielsweise das Vorhandensein vieler, sich schnell in einer Richtung bewegender Autos auf eine Autobahn schließen und umgekehrt die Existenz eines Gegenstands einer einem Fahrzeug entsprechenden Größe auf einer Autobahn auf ein Fahrzeug, das auf einer Autobahn fahren darf.
Weiterer Gegenstand der Erfindung ist ein Computerprogramm mit Programmcode-Mitteln, um das erfindungsgemäße Verfahren durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
Gegenstand der Erfindung ist auch ein Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das erfindungsgemäße Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer ausgeführt wird.
Unter einem Computer wird hierbei eine beliebige Datenverarbeitungsvorrichtung verstanden, mit der das Verfahren ausgeführt werden kann. Insbesondere können diese digitale Signalprozessoren und/oder Mikroprozessoren aufweisen, mit denen das Verfahren ganz oder in Teilen ausgeführt wird.
Weiterer Gegenstand der Erfindung ist ein Verfahren zur Erkennung und Verfolgung von Gegenständen in einem Sichtbereich eines Sensors, insbesondere eines Laserscanners, bei dem mit dem Sensor zeitlich aufeinanderfolgend geschwindigkeits- oder tiefenaufgelöste Bilder wenigstens eines Teils seines Sichtbereichs erfaßt werden, und bei dem die erfaßten Bilder mit dem erfindungsgemäßen Verfahren zur Erkennung und Verfolgung von Objekten verarbeitet werden.
Schließlich ist Gegenstand der Erfindung eine Vorrichtung zur Erkennung und Verfolgung von Objekten mit mindestens einem zur Erfassung geschwindigkeits- oder tiefenaufgelöster Bilder eines Überwachungsbereichs ausgebildeten Sensor, vorzugsweise einem optoelektronischen Sensor, insbesondere einem Laserscanner, und mit einer Datenverarbeitungseinrichtung, die zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist.
Die Erfindung wird im folgenden beispielhaft anhand der Zeichnungen erläutert. Die einzige Figur zeigt eine schematische Draufsicht auf ein Fahrzeug mit einem Laserscanner sowie weitere Gegenstände auf und neben einer Fahrbahn, auf der sich das Fahrzeug bewegt.
In der Figur ist an der Frontseite eines Fahrzeugs 10 ein Laserscanner 12 angeordnet, dessen Sichtbereich 14 einen Teil des in Fahrtrichtung vor dem Fahrzeug 10 liegenden Bereichs umfaßt. Außerhalb des Sichtbereichs 14 befindet sich ein Leitpfosten 16 und im Sichtbereich 14 befinden sich ein Leitpfosten 18, eine Person 20 sowie zwei Personenkraftwagen 22 und 24.
Der Laserscanner 12 tastet seinen Sichtbereich 14 mit einem umlaufenden, gepulsten Strahlungsbündel 26 ab und erfaßt die Position von Gegenstandspunkten 28, 30, 32 und 34 auf dem Leitpfosten 18, die Person 20 sowie zwei Personenkraftwagen 22 und 24, an denen ein Puls des Strahlungsbündels 26 reflektiert wurde, anhand des Winkels, bei dem der Strahlungspuls ausgesandt wurde, und des Abstands zum Laserscanner 12, der sich aus der Laufzeit des Strahlungspulses von der Abstrahlung bis zum Empfang nach der Reflexion ergibt. Bei einer Abtastung des Sichtbereichs 14 wird somit ein tiefenaufgelöstes Bild erfaßt, das die bei der Abtastung erfaßten Bildpunkte umfaßt, die zumindest die Koordinaten der Gegenstandspunkte 28, 30, 32 und 34 enthalten, an denen das Strahlungsbündel 26 reflektiert wurde. Im folgenden wird bei einer Bezugnahme auf die Figuren nicht mehr zwischen Bildpunkten und Gegenstandspunkten unterschieden. Die Aktualisierung der vollständigen Bilder erfolgt in einem zeitlichen Abstand T.
Die von dem Laserscanner 12 erfaßten Bilder werden an eine Datenverarbeitungseinrichtung 36 in dem Fahrzeug 10 ausgegeben, in der eine Weiterverarbeitung der Bilder stattfindet. Die Datenverarbeitungseinrichtung 36 weist dazu, in den Figuren nicht gezeigt, einen Prozessor und einen Speicher sowie eine Schnittstelle zur Übertragung der Daten von dem Laserscanner 12 auf. Weiterhin ist eine Schnittstelle zur Ausgabe von Daten an andere Datenverarbeitungseinrichtungen in dem Fahrzeug 10 vorgesehen, die jedoch ebenfalls in den Figuren nicht gezeigt sind.
Zur Erkennung und Verfolgung von Objekten wird ein Objekterkennungs- und -verfolgungsverfahren nach einer bevorzugten Ausführungsform der Erfindung in der Datenverarbeitungseinrichtung 36 mittels eines darin gespeicherten erfindungsgemäßen Computerprogramms ausgeführt.
Zur eigentlichen Objekterkennung und -verfolgung wird im Beispiel ein Kalman-Filter verwendet. Hierbei wird ein Bild von dem Laserscanner 12 erfaßt und von der Datenverarbeitungseinrichtung 36 eingelesen. Es wird dann eine Segmentierung des Bildes vorgenommenen, bei der jeweils einem neuen Segment ein noch nicht einem anderen Segment zugeordneter Bildpunkt zugeordnet wird und ausgehend von diesem Bildpunkt weitere Bildpunkte gesucht werden, die von schon vorhandenen Bildpunkten des Segments einen euklidischen Abstand aufweisen, der kleiner ist als ein vorgegebener, geeignet gewählter Maximalabstand. Bei einer anderen Ausführungsform des Verfahrens könnten auch alternativ oder zusätzlich Reflektivitätsunterschiede verwendet werden, wobei die Reflektivitäten in Form der zur Reflektivitätbestimmung verwendeten Pulsbreite und/oder -höhe der reflektierten und detektierten Strahlungspulse verwendet werden können. Im Beispiel wurden die von dem Laserscanner 12 erfaßten Gegenstandspunkte 28 bis 34, wie in der Figur durch gestrichelte Linien angedeutet, zu Segmenten 38 bis 44 zusammengefaßt.
Danach werden auf der Basis von prädizierten Werten für die Meßgrößen für die Position von Objekten und von entsprechenden Varianzen und Kovarianzen für die Objekte jeweils Suchbereiche festgelegt, in denen nach dem jeweiligen Objekt zuzuordnenden Segmenten gesucht wird. Nach der Zuordnung, bei der alle Eigenschaften der Segmente zur Zuordnung benutzt werden, werden für die Objekte Objekteigenschaften ermittelt und ausgegeben bzw. gespeichert. Dann wird das Verfahren nach Erfassen des nächsten Bildes mit dem Einlesen des Bildes fortgesetzt.
In diesem Beispiel sind zur Klassifizierung von Objekten acht Objektklassen vorgesehen, nämlich solche für Leitpfosten, Personen, Zweiräder, Personenkraftwagen, Lastkraftwagen und Busse, Pfähle und Bäume, Büsche sowie sonstige Gegenstände.
Weiter ist jedem Objekt einer Objektklasse eine Objektbox zugeordnet, deren Form und Größe zumindest in grober Näherung der Form und Größe der Gegenstände entspricht, die durch Objekte der entsprechenden Objektklasse dargestellt werden. Im Beispiel wurden dem Leitpfosten 18 die Objektbox 46 und den Personenkraftwagen 22 und 24 die Objektboxen 48 und 50 zugeordnet.
Die ermittelten Objekteigenschaften umfassen zunächst die Position eines Objekts, die durch die Position des Schwerpunkts einer Objektbox gegeben ist, sowie dessen daraus bestimmte Bewegungsrichtung. Erfindungsgemäß sind als weitere Objekteigenschaften die Objektklasse, als Gütekriterium der mittlere kleinste Abstand der dem Objekt zugeordneten Bildpunkte, im Beispiel der Bildpunkte 28 bis 34, von den jeweiligen Rändern der dem Objekt zugeordneten Objektboxen, im Beispiel den Objektboxen 46, 48 und 50, und bei Objekten der Objektklassen Zweiräder, Personenkraftwagen sowie Lastkraftwagen und Busse eine Orientierung relativ zur Längsachse des mit dem Laserscanner 12 versehenen Fahrzeugs 10 vorgesehen. Weiterhin werden durch numerische Differentiation der Positionen bzw. Orientierungen Schwerpunktsgeschwindigkeiten bzw. - beschleunigungen der Objekte sowie bei Objekten der Objektklassen Zweiräder, Personenkraftwagen sowie Lastkraftwagen und Busse Rotations- bzw. Giergeschwindigkeiten als weitere Objekteigenschaften gebildet.
Durch Verfolgung der raumfesten Gegenstände, die durch Überwachung der Geschwindigkeiten der entsprechenden Objekte als solche erkannt wurden, im Beispiel der Leitpfosten 16 und 18 und der parkenden Personenkraftwagen 22 und 24 sowie weiterer, nur in vorhergehenden Bildern sichtbarer und verfolgter fahrbahnbegrenzender Gegenstände, wurde bei der Erstellung eines Umgebungsmodells eine Fahrbahn 52 erkannt. Das Umgebungsmodell wird also zum einen durch die klassifizierten Objekte, d. h. die als Leitpfosten erkannten Objekte, die als Personenkraftwagen erkannten Objekte und die anhand der so klassifizierten Objekte und von entsprechendem Erfahrungswissen ermittelte Fahrbahn 52 gebildet.
Werden nun die Bildpunkte 30 auf der Person 20 erstmals erfaßt und zu einem Segment 40 zusammengefaßt, könnten hieraus Objekte verschiedener Klassen gebildet werden. Aufgrund der Tatsache, daß es sich bei dem Gegenstand 20 nicht um einen verdeckten, in Wirklichkeit größeren Gegenstand handelt, wurde dessen Ausdehnung quer zur Fahrtrichtung des Fahrzeugs 10 vollständig erfaßt, so daß dem Segment allein aufgrund seiner Größe zunächst nur Objekte der Objektklassen Personen, Bäume oder Pfähle, oder Büsche zugeordnet werden können. Nach Positionierung einer Objektbox eines einer der beiden Objektklassen zugehörigen Objekts in der Weise, daß das Segment 40 vollständig in der Objektbox unter Minimierung der Abstände der Bildpunkte des Segments 40 vom Rand der Objektbox liegt, wird dann die Güte des probeweise erstellten Objekts geprüft. Da ein Busch aufgrund der eher haufenförmigen Anordnung der Reflexe des Strahlungsbündels 26 objektklassenspezifisch relativ große mittlere Abstände aufweist, ist die Alternative, das Segment 40 einem Busch zuzuordnen, nicht sehr wahrscheinlich.
Beachtet man weiterhin, daß sich der Busch aufgrund des Umgebungsmodells auf der Fahrbahn 52 befinden müßte, dies aber praktisch ausgeschlossen ist, kommt als sinnvolle Zuordnung nur die Zuordnung eines Objekts der Objektklasse Personen in Betracht, dessen Objektbox 54 ebenfalls in der Figur gezeigt ist.
Durch die Erfassung vieler Objekteigenschaften, d. h. von Eigenschaften der Objekte, die mehr als lediglich die Positionen und Bewegungsrichtungen der Objekte umfassen, die Erstellung eines Umgebungsmodells und die Verwendung dieser Informationen ist also eine eindeutige Zuordnung von Segmenten zu Objekten möglich.
Entsprechendes ergäbe sich in dem Fall, daß links neben der Fahrbahn ein Busch, für den in einer vorhergehenden Iteration bereits ein Objekt der Objektklasse Busch gefunden wurde, und nahe daneben eine Person auf der Fahrbahn stünde, für die ebenfalls in einer vorhergehenden Iteration bereits eine Objekt der Objektklasse Personen gefunden wurde.
Die Suchbereiche für die entsprechenden Segmente würden sich dann überlappen und eine eindeutige Zuordnung des auf der Fahrbahn erfaßten Segments könnte, in Analogie zu der vorhergehend beschriebenen Zuordnung des Segments 40, nur dem Objekt der Objektklasse Personen zugeordnet werden, so daß das verbleibende Segment neben der Fahrbahn nur dem Objekt der Objektklasse Busch zugeordnet werden könnte. Bezugszeichenliste 10 Fahrzeug
12 Laserscanner
14 Sichtbereich
16 Leitpfosten
18 Leitpfosten
20 Person
22 Personenkraftwagen
24 Personenkraftwagen
26 Strahlungsbündel
28 Gegenstands- bzw. Bildpunkte
30 Gegenstands- bzw. Bildpunkte
32 Gegenstands- bzw. Bildpunkte
34 Gegenstands- bzw. Bildpunkte
36 Datenverarbeitungseinrichtung
38 Segment
40 Segment
42 Segment
44 Segment
46 Objektbox
48 Objektbox
50 Objektbox
52 Fahrbahn
54 Objektbox

Claims

1. Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von von einem Sensor, insbesondere einem Laserscanner (12), erfaßten, bevorzugt geschwindigkeits- oder tiefenaufgelösten, Bildpunkte (28 bis 34) enthaltenden Bildern von Gegenständen (16 bis 24) in einem Sichtbereich (14) des Sensors (12),
bei dem die Erkennung und Verfolgung unter Verwendung eines jeweils einem der Objekte zugeordneten Modells für die zeitliche Entwicklung von dynamischen Zustandsvariablen erfolgt, die wenigstens eine sensorspezifische Eigenschaft des Objekts beschreiben,
bei dem aus den Bildpunkten (28 bis 34) des aktuellen Bildes Segmente (40 bis 46) gebildet werden, die jeweils einen einzelnen Bildpunkt (28 bis 34) oder eine Menge aller Bildpunkte (28 bis 34) umfassen, von denen jeweils mindestens zwei entsprechend wenigstens einem Segmentierungskriterium als dem Segment (40 bis 46) zugehörig definiert werden, und die untereinander keine gemeinsamen Bildpunkte (28 bis 34) aufweisen,
bei dem zur Neubildung von Objekten jeweils wenigstens einem Segment (40 bis 46) ein neues Objekt zugeordnet wird,
bei dem bei der Erkennung und Verfolgung von Objekten in einem Bild Segmente (40 bis 46) bereits vorhandenen Objekten zugeordnet werden, und
bei dem für Objekte als Objekteigenschaften zumindest eine Position und Bewegungsrichtung ermittelt werden,
dadurch gekennzeichnet,
daß für die Objekte weitere Objekteigenschaften ermittelt werden, und
daß diese weiteren Objekteigenschaften für eine Segment-Objekt- Zuordnung benutzt werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet,
daß zur Klassifizierung von Objekten mehrere Objektklassen vorgesehen werden, die wenigstens eine Eigenschaft von Objekten betreffen, die aus wenigstens einem der geschwindigkeits- oder tiefenaufgelösten Bilder bestimmbar ist, und
daß jedem der Objekte als weitere Objekteigenschaft eine der Objektklassen zugeordnet ist.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die weiteren Objekteigenschaften ausgewählt sind aus der Gruppe: Breite, Länge, Orientierung, Rotationsgeschwindigkeit, Bewegungsgeschwindigkeit und -beschleunigung, Unsicherheit, Güte, Reflektivität, ganze oder teilweise Verdeckung und Objektklasse des Objekts.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
daß aus den Objekten unter Verwendung der Objekteigenschaften der Objekte ein Umgebungsmodell erstellt wird,
daß bei der Segment-Objekt-Zuordnung für wenigstens eines der Objekte in Abhängigkeit von wenigstens einem Schätzwert und/oder einem Meßwert für die Position des Objekts aus einer vorhergehenden Iteration des Verfahrens ein Suchbereich definiert wird, in dem nach Segmenten gesucht wird, die dem Objekt zuzuordnen sind, und
daß der Suchbereich in Abhängigkeit von dem Umgebungsmodell bestimmt wird.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
daß aus den Objekten unter Verwendung der Objekteigenschaften der Objekte ein Umgebungsmodell erstellt wird, und
daß bei der Neubildung von Objekten das Umgebungsmodell berücksichtigt wird.

6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet,
daß das Verfahren zur Überwachung von Straßenverkehr verwendet wird, und
daß das Umweltmodell ein Fahrbahnmodell umfaßt.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
daß aus Segmenten (38 bis 44) hypothetische Objekte gebildet werden, denen eine Wahrscheinlichkeit für die Existenz eines dem hypothetischen Objekt entsprechenden Gegenstands zugeordnet wird und für die in wenigstens einer folgenden Iteration des Verfahrens eine Erkennung und Verfolgung sowie eine Aktualisierung der Wahrscheinlichkeit durchgeführt wird, und
daß die Wahrscheinlichkeiten jeweils in Abhängigkeit von den weiteren Objekteigenschaften und/oder dem Umgebungsmodell bestimmt werden.

8. Computerprogramm mit Programmcode-Mitteln, um das Verfahren nach einem der Ansprüche 1 bis 7 durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.

9. Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das Verfahren nach einem der Ansprüche 1 bis 7 durchzuführen, wenn das Computerprogrammprodukt auf einem Computer ausgeführt wird.

10. Vorrichtung zur Erkennung und Verfolgung von Objekten mit mindestens einem zur Erfassung bevorzugt geschwindigkeits- oder tiefenaufgelöster Bilder eines Überwachungsbereichs (14) ausgebildeten Sensor, insbesondere einem Laserscanner (12), dessen Sichtbereich (14) den Überwachungsbereich einschließt, und mit einer Datenverarbeitungseinrichtung (36), die zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 7 ausgebildet ist.