EP1554606A1 - Verfahren zur erkennung und verfolgung von objekten - Google Patents

Abstract

Bei einem Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von von wenigstens einem Sensor für elektromagnetische Strahlung, insbesondere einem Laserscanner, in zeitlicher Folge erfassten, tiefenaufgelösten, Bildpunkte umfassenden Bildern von wenigstens einem Gegenstand in einem Erfassungsbereich des Sensors werden in aufeinander folgenden Zyklen folgende Schritte ausgeführt: aus Bildpunkten eines aktuellen Bildes wird wenigstens eine aktuelle Objektkontur gebildet, für Objekte in einem vorhergehenden Zyklus wird jeweils ausgehend von einer dem jeweiligen Objekt in dem vorhergehenden Zyklus zugeordneten Objektkontur wenigstens eine Objektkontur in dem aktuellen Zyklus prädiziert, für wenigstens eines der Objekte werden aus der aktuellen Objekt kontur eine aktuelle Lage und/oder aus der aktuellen Objektkontur und der Objektkontur in einem vorhergehenden Zyklus eine Objektgeschwindigkeit ermittelt.

Description

Verfahren zur Erkennung und Verfolgung von Objekten

Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von von wenigstens einem Sensor für elektromagnetische Strahlung, insbesondere einem Laserscanner, in zeitlicher Folge erfassten, tiefenaufgelösten, Bildpunkte umfassenden Bildern von wenigstens einem Gegenstand in einem Erfassungsbereich des Sensors.

Verfahren der eingangs genannten Art sind grundsätzlich bekannt. Sie können beispielsweise dazu verwendet werden, einen Bereich vor einem Kraftfahrzeug zu überwachen, das mit einem entsprechenden Sensor für elektromagnetische Strahlung ausgerüstet ist. Auf diese Weise kann die Bewegung von Gegenständen, wie zum Beispiel anderen Kraftfahrzeugen und relativ zu dem Kraftfahrzeug bewegten stationären Gegenständen oder Fußgängern, in einem Bereich beispielsweise, bei entsprechender Ausrichtung eines Erfassungsbereichs des Sensors, vor dem Kraftfahrzeug überwacht werden.

Zur Verfolgung werden iterative Verfahren verwendet, bei denen Objekte durch die Lage eines Bezugspunkts der Objekte dargestellt werden. Aus der Bewegung des Bezugspunkts in vorhergehenden Zyklen wird eine Lage des Bezugspunkts in einem aktuellen Zyklus pradiziert. Nach einer Segmentierung des aktuellen Bildes werden Abstände der gebildeten Segmente zu der prädizierten Lage des Bezugspunkts überprüft. Aus den Koordinaten der Bildpunkte der einem Objekt zugeordneten Segmente kann dann die Läge des Bezugspunkts des Objekts in dem aktuellen Zyklus ermittelt werden. Anhand der aktuellen Lage und der prädizierten Lage können Objektlagen und -geschwindigkeiten geschätzt werden. Die Verfolgung der den Gegenständen entsprechenden Objekte wird jedoch dadurch erschwert, dass bedingt durch die Relativbewegung Gegenstände in den Erfassungsbereich des Sensors über mehrere Erfassungs- zyklen des Sensors verteilt eintreten können, so dass der Gegenstand in den von dem Sensor erfassten Bildern jeweils unterschiedliche Ausdehnungen aufweisen kann. Gleichermaßen können sich beispielsweise Kraftfahrzeuge auf einer gekrümmten Bahn relativ zu dem Sensor bewegen, wodurch sich beispielsweise bei länglichen Gegenständen in jedem Zyklus andere Verhältnisse bei der Bestimmung der Lage des Bezugspunkts ergeben können. Dies kann zu unerwünschten Effekten führen wie zum Beispiel Fehlberechnungen von Geschwindigkeiten und Beschleunigungen oder Objektverlust. Weiterhin kann es notwendig sein, komplizierte Verfahren zur Behandlung von Effekten wie einem Objektzerfall, d.h. dem Zerfall eines Objekts in zwei Objekte, zu behandeln. Ein solcher Objektzerfall kann insbesondere dann eintreten, wenn eine Teilverdeckung eines in vorhergehenden Zyklen beispielsweise vollständig erfassten Gegenstands durch Gegenstände im Vordergrund auftritt und so scheinbar zwei getrennte Objekte entstehen.

Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art bereitzustellen, das eine verbesserte Erkennung und Verfolgung von Objekten erlaubt.

Die Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.

Bei dem erfindungsgemäßen Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von von wenigstens einem Sensor für elektro- magnetische Strahlung, insbesondere einem Laserscanner, in zeitlicher Folge erfassten, tiefenaufgelösten, Bildpunkte umfassenden Bildern von wenigstens einem Gegenstand in einem Erfassungsbereich des Sensors werden in aufeinander folgenden Zyklen folgende Schritte ausgeführt: aus Bildpunkten eines aktuellen Bildes wird wenigstens eine aktuelle Objektkontur gebildet, für Objekte in einem vorhergehenden Zyklus wird jeweils ausgehend von einer dem jeweiligen Objekt in dem vorhergehenden Zyklus zugeordneten Objektkontur wenigstens eine Objektkontur in dem aktuellen Zyklus pradiziert, für wenigstens eines der Objekte werden aus der aktuellen Objektkontur eine aktuelle Lage und/ oder aus der aktuellen Objektkontur und der Objektkontur in einem vorhergehenden Zyklus eine Objektgeschwindigkeit ermittelt.

Unter einem tiefenaufgelösten Bild eines Sensors zur Erfassung elektro- ■ magnetischer Strahlung wird eine Menge von bei einer Abtastung des Erfassungsbereichs des Sensors erfassten Bildpunkten verstanden, denen Punkte bzw., je nach Auflösung des Sensors, auch Bereiche eines von dem Sensor erfassten Gegenstands entsprechen. Die Bildpunkte umfassen dabei der Lage der zugehörigen Gegenstandspunkte entsprechende Koordinaten zur Definition einer Lage wenigstens in einer Ebene, die nicht orthogonal zu einer Blickrichtung des Sensors steht. Die Bildpunkte können weiterhin Daten über weitere, insbesondere optische, Eigenschaften der Gegenstandspunkte, beispielsweise deren Reflektivität, enthalten. Dabei können Regionen des Erfassungsbereichs, in denen keine Gegenstände vorhanden sind, je nach Sensor trotzdem Bildpunkte zugeordnet sein, die dann entsprechend gekennzeichnet sein können.

Sensoren für elektromagnetische Strahlung zur Erfassung solcher tiefenaufgelöster Bilder sind grundsätzlich bekannt. Bei diesem kann es sich bevorzugt um optoelektronische Sensoren handeln, die eine gute Ortsauflösung bieten und daher für das erfindungsgemäße Verfahren bevorzugt sind. So können beispielsweise Systeme mit Stereo-Videokameras verwen- det werden, die eine Einrichtung zur Umsetzung der von den Kameras aufgenommenen Scandaten in tiefenaufgelöste Bilder aufweisen.

Vorzugsweise werden jedoch Laserscanner verwendet, die bei einer Abtas- tung einen Erfassungsbereich mit mindestens einem gepulsten Strahlungsbündel abtasten, das einen vorgegebenen Winkelbereich überstreicht und von einem Punkt bzw. Bereich eines Gegenstands, meist diffus, reflektierte Strahlungspulse des Strahlungsbündels detektieren. Dabei wird zur Entfernungsmessung die Laufzeit der ausgesandten und reflektierten Strahlungspulse erfasst. Die so erfassten Scandaten für einen Bildpunkt können dann als Koordinaten den Winkel, bei dem der Reflex erfasst wurde, und die aus der Laufzeit der Strahlungspulse bestimmte Entfernung des Gegenstandspunktes enthalten. Bei der Strahlung kann es sich insbesondere um sichtbares oder infrarotes Licht handeln.

Die Sensoren erfassen dabei die tiefenaufgelösten Bilder in zeitlicher, vorzugsweise zeitlich äquidistanter, Folge, wobei die Bildpunkte innerhalb eines einzelnen Bildes nicht unbedingt nacheinander erfasst zu werden brauchen.

Bei der Umsetzung der Scandaten in Bildpuήkte können weiterhin Korrekturen, zum Beispiel in Bezug auf die Bewegung des Sensors, vorgenommen werden, jedoch ist dies nicht notwendig.

Das erfindungsgemäße Verfahren wird zyklisch durchgeführt, wobei vorzugsweise für jeden Zyklus ein neues, aktuelles Bild des Sensors in eine zur Durchführung des Verfahrens geeignete Einrichtung eingelesen bzw. zur Durchführung des Verfahrens bereitgestellt wird.

Ein Aspekt der vorliegenden Erfindung besteht darin, die Objektverfolgung anhand von Konturen der Gegenstände durchzuführen, die in den tiefen- aufgelösten Bildern zum einen aus der Sicht des Sensors ohnehin durch entsprechende Bildpunkte wenigstens annähernd erfasst werden und die zum anderen zumindest bei Verwendung im Straßenverkehr für viele zu verfolgende Gegenstände charakteristisch sind. Dabei braucht die Kontur nicht um den Gegenstand umlaufend, d.h. eine geschlossene Linie, zu sein. Vielmehr kann eine Kontur auch nur einen von dem Sensor erfassbaren Teil eines Umrisses des Gegenstands wiedergeben. Bei dem erfindungsgemäßen Verfahren werden daher den Objekten zugeordnete Objektkonturen verwendet.

Zunächst wird daher aus Bildpunkten eines aktuellen Bildes wenigstens eine Objektkontur gebildet. Meist werden mehrere Objekte auftreten.

Weiterhin werden für Objekte, die bereits in einem vorhergehenden Zyklus erkannt bzw. verfolgt wurden, jeweils ausgehend von einer dem jeweiligen Objekt in dem vorhergehenden Zyklus zugeordneten Objektkontur wenigstens eine ebenfalls dem Objekt zugeordnete Objektkontur in dem aktuellen Zyklus, d.h. eine prädizierte Objektkontur, pradiziert. Bei der Prädiktion wird wenigstens die Lage der Objektkontur pradiziert, vorzugsweise auch die Form. Damit ergibt sich eine geschätzte Lage und/ oder Form der Objektkontur in dem aktuellen Zyklus. Bei der Prädiktion können grundsätzlich beispielsweise Translationen und/ oder Rotationen der Objektkontur berücksichtigt werden, da die Lage einer Kontur sowohl die Position als auch die Orientierung der Kontur umfassen kann. Dieser Prädiktions- schritt kann grundsätzlich in jedem Stadium des Zyklus nach der Bestimmung von Objektkonturen in dem vorhergehenden Zyklus und der zur Prädiktion gegebenenfalls verwendeten Geschwindigkeiten und/ oder Beschleunigungen in dem vorhergehenden Zyklus, aber vor einer weiteren Verwendung der aktuellen Objektkontur erfolgen. Diese aktuelle Objektkontur kann, insbesondere bei Erfassung des tiefenaufgelösten Bildes durch einen Laserscanner, als sehr genaue Bestimmung der tatsächlichen Lage des Objekts, d.h. der Position und Orientierung, aufgefasst werden. Insbesondere kann diese aktualisierte Kontur somit zur Definition der Lage und gegebenenfalls auch Ausdehnung des Objekts unmittelbar oder erst nach Umrechnung beispielsweise auf einen geometrischen Schwerpunkt der Objektkontur verwendet werden.

Aus der aktuellen Objektkontur können nun eine aktuelle Lage des Ob- jekts und/ oder aus der aktuellen Objektkontur und der Objektkontur in dem vorhergehenden Zyklus, insbesondere deren Lagen, eine Objektgeschwindigkeit ermittelt werden. Dabei kann die Lage der Objektkontur in dem vorhergehenden Zyklus selbstverständlich auch indirekt, beispielsweise durch Verwendung der aus dieser prädizierten Objektkontur, be- rücksichtigt werden. Weiterhin kann bei der Geschwindigkeitsbestimmung der zeitliche Abstand aufeinander folgender Bilderfassungen verwendet werden, der vorzugsweise konstant ist, jedoch nicht notwendigerweise konstant zu sein braucht.

Die Lage und/oder Geschwindigkeit des Objekts kann dann zur weiteren Verwendung gespeichert oder an eine weitere die Daten verarbeitende Einrichtung ausgegeben werden.

Selbstverständlich kann es je nach verarbeiteten Bildern bei dem erfin- dungsgemäßen Verfahren vorkommen, dass im Einzelfall auch nur ein einziges Objekt verfolgt wird.

Das erfindungsgemäße Verfahren basiert somit nicht auf der Verwendung eines Gesamtschwerpunkts des Objekts, so dass scheinbare Verschiebun- gen des Gesamtschwerpunkts durch Veränderung der Objektkontur bzw. der Lagen der entsprechenden Bildpunkte nicht zu Fehlern f hren. Insbe- sondere kann eine Rotation eines Objekts bzw. eine Gierbewegung eines Gegenstands automatisch berücksichtigt werden, was insbesondere die Zuordnung von Bildpunkten zu Objekten wesentlich erleichtern und verbessern kann.

Darüber hinaus können Objekte, die in einem gegebenen Zyklus nur teilweise in einem Bild sichtbar sind, einfach weiter verfolgt werden, wobei sich gegebenenfalls die Kontur entsprechend vergrößert bzw. bei Verlassen des Erfassungsbereichs auch verkleinert. Dadurch, dass mit der Kontur beispielsweise auch Ecken bzw. Kanten von Gegenständen verfolgt werden können, werden mit dem erfindungsgemäßen Verfahren in solchen Situationen Fehler bei der Objektverfolgung leichter vermieden.

Weiterbildungen und bevorzugte Ausführungsformen der Erfindung sind in den Ansprüchen, der Beschreibung und den Zeichnungen beschrieben.

Insbesondere wenn mehrere Objekte auftreten, könnten aktuelle Objektkonturen verschiedenen prädizierten Objektkonturen entsprechen. Es ist daher bevorzugt, dass eine aktuelle Objektkontur einer der prädizierten Objektkonturen bzw. Objektkonturen in einem vorhergehenden Zyklus zugeordnet wird, wozu ein vorgegebenes Zuordnungskriterium verwendet werden kann. Dabei kann der Fall auftreten, dass einer prädizierten Objektkontur keine aktuelle Objektkontur zugeordnet werden kann, beispielsweise wenn der entsprechende Gegenstand durch Gegenstände im Vordergrund vollständig verdeckt wurde. Weiterhin kann der Fall auftreten, dass in dem Erfassungsbereich von dem Sensor kein Gegenstand erfasst wird. Eine Neubildung einer aktuellen Objektkontur kann dann nicht erfolgen. Es ist bevorzugt, dass, wenn einer prädizierten Objektkontur keine aktuelle Objektkontur zugeordnet werden kann, die prädizierte Objektkontur und/ oder die Objektkontur aus dem vorhergehenden Zyklus weiterverwendet und das entsprechende Objekt erhalten wird. Die prädi- zierte Objektkontur kann somit zur Ausgabe einer Lage und/ oder Geschwindigkeit eines entsprechenden Objekts verwendet werden. Daher können entsprechende Daten gegebenenfalls auch ausgegeben werden, ohne dass der Gegenstand in dem aktuellen Zyklus erfasst wurde. Weiter- hin ist so gegebenenfalls in einem der folgenden Zyklen eine Prädiktion einer neuen prädizierten Objektkontur und ein neue Zuordnung einer aktuellen Objektkontur möglich.

Ein einer solchen Objektkontur entsprechendes Objekt braucht besonders bevorzugt nicht weiterverfolgt zu werden, wenn die Unsicherheit der Prädiktion zu groß wird. Die Unsicherheit kann sich insbesondere aus der Anzahl aufeinander folgender Zyklen, während derer keine entsprechende aktuelle Objektkontur gefunden wurde, oder aus einem geschätzten Fehler der Prädiktion ergeben.

Grundsätzlich können bei dem erfindungsgemäßen Verfahren aktuelle Objektkonturen in beliebiger Weise, insbesondere unmittelbar, aus Bildpunkten des aktuellen Bildes gebildet werden. Um eine Zuordnung zu erleichtern ist es jedoch bevorzugt, dass zur Bildung von aktuellen Ob- jektkonturen aus Bildpunkten eines aktuellen Bildes Segmente gebildet werden, dass für jedes der Segmente eine dem Segment zugeordnete Segmentkontur und deren Lage ermittelt werden, dass eine der Segmentkonturen mit wenigstens einer der prädizierten Objektkonturen in Bezug auf Lage und/ oder Form verglichen und in Abhängigkeit von dem Ergeb- nis des Vergleichs das der Segmentkontur entsprechende Segment einem der Objekte zugeordnet wird, und dass aus den Segmentkonturen von Objekten jeweils zugeordneten Segmenten jeweils aktuelle Objektkonturen gebildet werden.

Es werden als zunächst aus Bildpunkten eines aktuellen Bildes Segmente gebildet. Bei einer solchen Segmentierung können aus Bildpunkten des Bildes insbesondere Segmente gebildet werden, die jeweils einen einzelnen Bildpunkt oder eine Menge aller Bildpunkte umfassen, von denen jeweils mindestens zwei entsprechend wenigstens einem Segmentierungskriterium als dem Segment zugehörig definiert werden, und die untereinander keine gemeinsamen Bildpunkte aufweisen. Bei diesem Segmentierungskriterium kann es sich insbesondere um ein Kriterium für einen maximal zulässigen Abstand und/ oder einen maximal zulässigen Unterschied einer optischen Eigenschaft, insbesondere der Reflektivität, handeln. Weiterhin kann bei Verwendung eines Laserscanners auch eine aus Pulsbreiten und/ oder -höhen bestimmte Neigung einer Fläche verwendet werden.

Verfahren zur Segmentierung sind grundsätzlich bekannt und brauchen daher im Folgenden nicht ausführlicher beschrieben zu werden.

Dann werden für jedes der gebildeten Segmente eine dem Segment zuge- ordnete Segmentkontur und deren Lage ermittelt, wobei bei einem nur aus einem Bildpunkt bestehenden Segment die Kontur auch nur aus einem Bildpunkt bestehen kann. Die Segmentkontur und deren Lage werden dabei auf der Basis der dem Segment zugeordneten Bildpunkte, insbesondere der Lagekoordinaten der Bildpunkte, ermittelt.

Im folgenden Schritt wird im Wesentlichen eine Zuordnung von Segmen- : ten des aktuellen Zyklus zu prädizierten Objekten vorgenommen. Dazu wird eine der Segmentkonturen, bevorzugt jede Segmentkontur, mit wenigstens einer der prädizierten Objektkonturen in Bezug auf Lage und/ oder Form verglichen. In Abhängigkeit von dem Ergebnis des Vergleichs wird dann gegebenenfalls das der Segmentkontur entsprechende Segment einem der betrachteten Objekte zugeordnet. Bei dem Vergleich wird versucht, zu ermitteln, ob die Segmentkontur wenigstens teilweise einer Objektkontur in Form und/ oder Lage entsprechen könnte. Wird eine hinreichende Übereinstimmung gefunden, wird das Segment dem entsprechenden Objekt zugeordnet, andernfalls wird das Segment einem anderen geeigneten Objekt zugeordnet. Wenn keine anderes Objekt gefunden wird, wird aus dem Segment gegebenenfalls ein neues Objekt erzeugt.

Nach diesem Schritt sind vorzugsweise alle Segmente Objekten zugeordnet und es werden für alle Objekte aktuelle Objektkonturen aus den Segmentkonturen der den jeweiligen Objekten zugeordneten Segmente gebil- • det.

Die Verwendung von Segmenten erlaubt eine einfache und schnelle Zu- Ordnung von Bildpunkten zu Objekten sowie eine einfache und schnelle Bildung von Objektkonturen. Dabei kann durch die Objektverfolgung auf der Basis von Objektkonturen eine Rotation eines Objekts bzw. eine Gierbewegung eines Gegenstands automatisch berücksichtigt werden, was insbesondere die Segment-Objekt- Zuordnung wesentlich erleichtern und verbessern kann.

Die in dem Verfahren verwendete Kontur braucht nicht mit dem tatsächlichen Umriss des dem Objekt entsprechenden Gegenstands übereinzustimmen. Vielmehr können durch teilweise Verdeckung des Gegenstandes, die Auflösung des Sensors oder auch Ungenauigkeit des Verfahrens Unterschiede zwischen diesen beiden Konturen auftreten. Die Kontur eines Segments oder auch eines Objekts kann grundsätzlich in beliebiger Weise definiert werden. Insbesondere ist es möglich, die Kontur durch eine durch Parameter bestimmte Funktion zu beschreiben, wobei insbesondere nichtlokale Beschreibungen mit orthogonalen Funktionensystemen, beispielsweise Fourierreihen oder Wavelets, möglich sind. Die Kontur verläuft dabei vorzugsweise wenigstens näherungsweise durch die Bildpunkte des Segments bzw. Objekts. Für eine vereinfachte Handhabung der Konturen in den Verfahren ist es bevorzugt, dass Konturen durch ein Konturele- ment oder eine Folge von Konturelementen definiert sind, und dass das Konturelement bzw. die Konturelemente definierende Daten aus wenigs- tens einem Bildpunkt eines Segments oder aus Konturelementen einer anderen Kontur ermittelt werden. Der Begriff der Folge beinhaltet dabei insbesondere auch, dass die Konturelemente eine vorgegebene Reihenfolge aufweisen. Die Kontur im Sinne des Verfahrens wird daher nur durch die Konturelemente definiert. Gegebenenfalls sind aus den Konturelementen Linien berechenbar, die eine Kontur veranschaulichen, jedoch ist dies nicht unbedingt notwendig. Die Handhabung von Konturen kann sich in diesem Fall auf die Handhabung von Konturelementen reduziert, was das erfindungsgemäße Verfahren wesentlich vereinfachen kann. Ein Kontur- element ist dabei durch Daten definiert, die Eigenschaften im Hinblick auf die Kontur betreffen. Diese Daten können, insbesondere bei Segmentkonturen, aus wenigstens einem Bildpunkt eines Segments oder, insbesondere bei Objektkonturen, aus Konturelementen einer oder mehrerer anderer Konturen ermittelt werden. Insbesondere können Objektkonturen durch Übernahme von Konturelementen aus einem Segment oder durch Übernahme von Konturelementen aus mehreren Segmenten und gegebenenfalls eine Änderung der Reihenfolge gebildet werden.

Grundsätzlich können die die Konturelemente definierenden Daten belie- bige Daten zur Definition einer der Lage der Bildpunkte entsprechenden Kontur umfassen. Es ist dabei bevorzugt, dass die Konturelemente als Daten jeweils Lagekoordinaten umfassen. Diese können insbesondere aus einem oder mehreren Bildpunkten eines Segments bestimmt sein, dem die Kontur und damit auch das Konturelement zugeordnet ist. In einem solchen Fall können die Konturelemente wenigstens teilweise als Konturpunkte aufgefasst werden, die, durch entsprechende Linien verbunden, näherungsweise eine durch die Bildpunkte des Segments bzw. Objekts gegebene Umrisslinie wiedergeben. Ein Konturelement kann aber noch weitere Daten umfassen. 12

Konturelemente einer Segmentkontur können auf unterschiedliche Art und Weise gebildet werden. Dabei müssen nicht notwendigerweise alle Konturelemente mit genau dem gleichen Verfahren bestimmt werden.

So ist es bevorzugt, dass zur Bildung eines Konturelements einer Segmentkontur jeweils eine vorgegebene Anzahl von in einer Reihenfolge aufsteigender bzw. abnehmender Polarwinkel in Bezug auf eine vorgegebene Polarachse aufeinander folgenden Bildpunkten des Segments einem entsprechenden Konturelement zugeordnet werden, und dass Daten des Konturelements aus den Bildpunkten ermittelt werden.

Die Polarachse kann dabei eine im Wesentlichen beliebige, jedoch in der Bildebene, in der Lagekoordinaten des Konturelements definiert sind, liegende Achse sein. Vorzugsweise wird eine Koordinatenachse eines Koordinatensystems verwendet, in dem auch die Koordinaten der Bildpunkte definiert sind. Auf diese Weise werden Gruppen von Bildpunkten eines Segments gewissermaßen zusammengefasst und Konturelementen zugeordnet, wobei Daten des Konturelements, insbesondere beispielsweise dessen Lagekoordinaten, aus den Bildpunkten, beispielsweise durch eine einfache Mittelung, erhalten werden. Die dabei gebildeten Gruppen von Bildpunkten dürfen grundsätzlich gemeinsame Bildpunkte aufweisen, jedoch ist es bevorzugt, dass sie keine gemeinsamen Bildpunkte aufweisen. In diesem Fall können selbstverständlich Segmente auftreten, die eine Anzahl von Bildpunkten aufweisen, die kein Vielfaches dieser vorge- gebenen Anzahl ist. In diesem Fall wird das Konturelement aus den verbleibenden Bildpunkten in ansonsten gleicher Weise wie die anderen Konturelemente der Segmentkontur gebildet. Die vorgegebene Anzahl kann insbesondere in Abhängigkeit von dem Auflösungsvermögen des Sensors und den Längenskalen gewählt werden, auf denen Konturen zu verfolgender Gegenstände bei einer Anwendung des Verfahrens typischer- 13

weise ihre Richtung ändern. Weiterhin kann die Ausführungsgeschwindigkeit, mit der das Verfahren auszuführen ist, berücksichtigt werden.

Bei einer anderen Alternative ist es bevorzugt, dass zur Bildung eines Konturelements einer Segmentkontur in einer Reihenfolge aufsteigender oder abnehmender Polarwinkel in Bezug auf eine vorgegebene Polarachse jeweils aufeinander folgende Bildpunkte des Segments einem entsprechenden Konturelement zugeordnet werden, deren Abstand von einem ' ersten dem Konturelement zugeordneten Bildpunkt kleiner als ein vorge- gebener Maximalabstand ist, und dass Daten des Konturelements aus diesen Bildpunkten ermittelt werden. Die Polarachse und die Polarwinkel sind wie bei der zuvor geschilderten Alternative definierbar. Bei dieser Alternative werden Konturelemente gebildet, die einen ähnlichen Abstand voneinander aufweisen. Die Ermittlung der Daten des Konturelements aus den Bildpunkten kann wiederum wie bei der oben geschilderten Alternative erfolgen.

Bei einer weiteren Alternative ist es bevorzugt, dass durch die Bildpunkte eines Segments eine Ausgleichskurve gelegt wird und Konturelemente dadurch bestimmt werden, dass in gleichen Abständen auf dieser Ausgleichskurve Lagekoordinaten für Konturelemente ermittelt werden. Bei diesem Verfahren ergibt sich eine gleichmäßige Verteilung der Konturelemente entlang einer Umrisslinie des Segments.

Weiterhin ist es bevorzugt, dass Konturelemente durch Vektorisierung einer Kurve erhalten werden, die durch Verbindung der Bildpunkte eines Segments in einer Reihenfolge aufsteigender oder abnehmender Polarwinkel in Bezug auf eine vorgegebene Polarachse entsteht. Auf diese Weise wird eine besonders geringe Anzahl von Konturelementen erzeugt, die nur an besonders charakteristischen Kurven einer Umrisslinie, nämlich insbesondere an Knicken oder Ecken der Linie, definiert werden. Verfahren zur Vektorisierung solcher Kurven sind grundsätzlich bekannt. Um die Bildung von Konturelementen bei nur kleinen Abweichungen von Bildpunkten von einer Geraden zu vermeiden, kann dabei als Kurve insbesondere eine Ausgleichskurve durch die Bildpunkte gelegt werden.

Die Lagen der Bildpunkte eines Segments können, bedingt durch Messfehler des Sensors, aber auch durch Bewegungen eines Gegenstands in einer Richtung senkrecht zu dem Erfassungsbereich sowie einer möglicherweise sehr unregelmäßigen Oberfläche des Gegenstands unter Umständen erhebliche Fehler aufweisen bzw. erheblich streuen. Diese Abweichungen sind aber für das Funktionieren des Verfahrens unerheblich. Es ist daher bevorzugt, dass die Lagen der Bildpunkte eines Segments vor der Bildung der Konturelemente einer Tiefpass-Filterung unterzogen werden. Dabei können beispielsweise gleitende Mittelwerte gebildet werden.

Grundsätzlich kann die Anzahl der Konturelemente einer Segmentkontur größer sein als die Anzahl der Bildpunkte des Segments. Hierdurch wird jedoch der Aufwand im Umgang mit den Konturen erhöht. Es ist daher bevorzugt, dass die Anzahl der Konturelemente einer Segmentkontur nicht größer als die Anzahl der Bildpunkte der Segmentkontur ist. Besonders bevorzugt wird eine geringere Anzahl von Konturelementen verwendet, da hierdurch nicht nur der Verarbeitungsaufwand reduziert werden kann, sondern auch eine Mittelung bei der Bestimmung der Daten des Konturelements über die zur Bildung des Konturelements verwendeten Bildpünk- te erfolgen kann, so dass zufällige Schwankungen in den Daten des Konturelements reduziert werden können.

Je nach erfasstem Gegenstand kann eine Kontur des Gegenstands glatt, beispielsweise bei einer Wand, oder auch sehr unregelmäßig oder zerklüf- tet, beispielsweise bei einem Busch, sein. Wird ein Konturelement aus mehreren Bildpunkten gebildet, ist es bevorzugt, dass wenigstens einem Konturelement eine Güte zugeordnet wird, die von den Lagen der zur Ermittlung des Konturelements verwendeten Bildpunkte abhängt. Insbesondere kann diese Güte ein Maß dafür sein, wie stark eine durch die Daten des Konturelements beschriebene Eigenschaft des Konturelements von der entsprechenden Eigenschaft der Bildpunkte abweicht bzw. wie signifikant Daten zu einer Eigenschaft von Konturelementen sind. So kann die Güte beispielsweise von der Anzahl der zur Bildung des Konturelements verwendeten Bildpunkte oder auch von einer mittleren, beispielsweise quadratischen, Abweichung der entsprechenden Eigenschaf- ten der Bildpunkte von der. Eigenschaft des Konturelements abhängen.

Insbesondere kann beispielsweise auch der mittlere quadratische Abstand der zur Bildung des Konturelements verwendeten Bildpunkte von einer Ausgleichskurve durch die Bildpunkte, die durch die Lagekoordinaten des Konturelements führt, abhängen. So ist z.B. eine Wand gleichmäßig er- fassbar, während ein vor der Wand befindliches Gebüsch eine sehr unregelmäßige Kontur mit einem ungewöhnlich hohen statistischen Rauschen aufweist. Umfassen die Konturelemente entsprechende Daten, können diese bei der Zuordnung von Konturelementen berücksichtigt werden.

Die Segmente werden bei dem erfindungsgemäßen Verfahren durch Vergleich der Segmentkontur mit einer prädizierten Objektkontur zugeordnet. Dabei ist es bevorzugt, dass zur Prädiktion der Lage einer Objektkontur in einem aktuellen Zyklus eine in dem vorhergehenden Zyklus bestimmte Objektgeschwindigkeit verwendet wird. Bei dieser Objektgeschwindigkeit ^" kann es sich insbesondere um eine Translationsgeschwindigkeit des Objekts und/ oder einer Rotationsgeschwindigkeit des Objekts (Giergeschwindigkeit) handeln.

Die Prädiktion kann dabei mit beliebigen geeigneten Methoden erfolgen. Insbesondere kann beispielsweise ein Kaiman-Filter verwendet werden, mittels dessen Daten, insbesondere Lagekoordinaten der Konturelemente, prädizierbar sind. Ist die Objektkontur durch Konturelemente definiert, die Lagekoordinaten umfassen, kann die Lage der Objektkontur durch eine Verschiebung der Lagekoordinaten der Konturelemente erfolgen, die sich durch Multiplikation der Objektgeschwindigkeit mit der Zeitspanne zwischen den aufeinander folgenden Abtastungen des Erfassungsbereichs ergeben können. Besonders bevorzugt werden auch Beschleunigungen verwendet, sofern diese mit hinreichender Genauigkeit bestimmbar sind. Auf diese Weise ergibt sich, insbesondere bei einer hohen Erfassungsfrequenz, eine sehr gute und genaue Prädiktion der Objektkontur, was die nachfolgende Segment-Objekt-Zuordnung bzw. die Ermittlung einer Verschiebung der aktuellen Objektkontur gegenüber einer Objektkontur in einem vorhergehenden Zyklus erleichtert.

Grundsätzlich kann bei der Segment-Objekt-Zuordnung jede Segmentkon- tur mit jeder prädizierten Objektkontur verglichen werden. Auf diese

Weise kann sich jedoch ein außerordentlich hoher Verarbeitungsaufwand ergeben. Es ist daher bevorzugt, dass jedem Objekt ein Fangbereich zugeordnet wird, und dass eine Segmentkontur eines Segments nur mit einer Objektkontur eines Objekts verglichen wird, in deren Fangbereich wenigs- tens ein Bezugspunkt des jeweiligen Segments liegt. Bei diesem Bezugspunkt kann es sich insbesondere um einen Bildpunkt und/ oder Lagekoordinaten wenigstens eines Konturelements der Segmentkontur handeln. Auf diese Weise kann der Verarbeitungsaufwand wesentlich reduziert werden. Die Größe des Fangbereichs kann sich dabei insbesondere nach einer maximal möglichen Bewegungsgeschwindigkeit von in dem Erfassungsbereich möglicherweise auftretenden Gegenständen und nach der Abtastfrequenz des verwendeten Sensors richten.

Dabei ist es besonders bevorzugt, dass bei dem erfindungsgemäßen Ver- fahren Objekte klassifiziert werden, und dass die Fangbereiche in Abhängigkeit von den Klassen, denen, das Objekt zugeordnet ist, definiert wer- den. Beispielsweise können Objektklassen für Fußgänger, Zweiräder, Pkw und Lkw bereitgestellt werden, für die sich die Suchbereiche zum einen durch ihre Form und zum anderen durch ihre Größe unterscheiden können. Beispielsweise kann ein Suchbereich für einen Fußgänger im Wesentlichen kreisrund sein, aber nur einen geringen Durchmesser aufweisen, da Fußgänger sich zwar in allen Richtungen, aber nur mit geringer Geschwindigkeit bewegen können. Ein Lastkraftwagen dagegen ist nicht sehr wendig, so dass ein im Wesentlichen in Richtung der Objektgeschwindigkeit lang gestreckter Suchbereich verwendet werden kann.

Bei dem Vergleich einer Segmentkontur mit einer Objektkontur kann der Fall auftreten, dass eine Segmentkontur zwei verschiedenen Objektkonturen und damit das Segment zwei verschiedenen Objekten zugeordnet werden könnte, aber nur eine Zuordnung zulässig ist. Es ist dann bevor- zugt, dass zum Vergleich einer Segmentkontur mit einer Objektkontur für ein Segment und ein Objekt eine Zuordnungsgüte ermittelt wird, die ein Maß für die Übereinstimmung der jeweiligen Konturen bezüglich Lage und/ oder Form ist, und dass ein Segment, das zwei Objekten zugeordnet werden kann, demjenigen Objekt zugeordnet wird, mit dem es den besten Wert der Zuordnungsgüte aufweist. Auf diese Weise ist eine eindeutige Zuordnung von Segmenten zu Objekten möglich.

Dabei ist es besonders bevorzugt, dass aus Paaren aus jeweils einem Konturelement der Segmentkontur und einem Konturelement der Objekt- kontur Unterschiede zwischen entsprechenden Daten der Konturelemente ermittelt werden, und dass die Zuordnungsgüte unter Verwendung der Unterschiede ermittelt wird. Dabei braucht jeweils nur ein Datum des Konturelements, beispielsweise in Bezug auf eine Eigenschaft, verwendet zu werden. Insbesondere können Unterschiede in den Lagekoordinaten der Konturelemente verwendet werden. Eine Zuordnungsgüte ist so sehr einfach allein über die Konturelemente berechenbar. Grundsätzlich ist es dabei möglich, alle möglichen Paare von Konturelementen der Segmentkontur und Konturelementen der Objektkontur zu betrachten, und beispielsweise den geringsten Paarabstand zu verwenden oder die Summe der quadratischen Abstände über alle Paare zu ermitteln. Dies bedeutet jedoch einen erheblichen Aufwand. Es ist daher bevorzugt, dass unter den Konturelementen der Segmentkontur und den Konturele- menten der Objektkontur Paare aus jeweils einem Konturelement der Segmentkontur und einem Konturelement der Objektkontur bestimmt werden, die sich in wenigstens einem Datum der Daten höchstens um ein vorgegebenes Maß unterscheiden, und dass zur Ermittlung der Zuordnungsgüte die Anzahl dieser Paare bestimmt wird. Dabei werden vorzugsweise alle möglichen Paare überprüft. Die Zuordnungsgüte braucht dabei nur von der Anzahl der Paare abzuhängen, sie kann aber insbesondere noch von weiteren Größen mit bestimmt sein. Insbesondere ist es bevorzugt, dass unter den Konturelementen der Segmentkontur und den Konturelementen der Objektkontur Paare aus jeweils einem Konturelement der Segmentkontur und einem Konturelement der Objektkontur bestimmt werden, deren Lagekoordinaten einen Abstand aufweisen, der kleiner als ein vorgegebener maximaler Paarabstand ist, und dass zur Ermittlung der Zuordnungsgüte die Anzahl dieser Paare bestimmt wird. Der maximale Paarabstand kann insbesondere in Abhängigkeit von zu erwartenden maximalen Verschiebungen während der Dauer zwischen zwei aufeinander folgenden Abtastungen des Sensors gewählt werden.

Weiterhin ist es bevorzugt, dass zur Ermittlung der Zuordnungs üte ein Konturelement der Segmentkontur und ein Konturelement der Objektkontur bestimmt werden, deren Lagekoordinaten unter allen Paaren aus Konturelementen der Segmentkontur und Konturelementen der Objekt- kontur den kleinsten Abstand aufweisen. Die Zuordnungsgüte kann insbesondere auch in Abhängigkeit von mehreren der oben genannten Größen ermittelt werden. Dadurch kann verschiedenen typischen Zuordnungs Situationen sehr gut Rechnung getragen werden.

Bei der Segment-Objekt-Zuordnung kann der Fall auftreten, dass entsprechend der Zuordnungsgüte zwei Segmente einem Objekt zugeordnet werden können. Eine solche Zuordnung braucht jedoch nicht unbedingt zutreffend zu sein, beispielsweise können zwei Gegenstände, die in einem Zyklus als ein Objekt behandelt wurden, voneinander weg bewegt werden, so dass sich eine größere Kontur ergäbe, jedoch eine Zuordnung von zwei Objekten zutreffender ist. Um diesen Fall eines Objektzerfalls besser behandeln zu können, ist es bevorzugt, dass zwei oder mehr Segmente einem Objekt nur dann zugeordnet werden, wenn ein Abstand der Seg- mente von dem Objekt jeweils kleiner als ein vorgegebener Maximalabstand ist. Dieser Maximalabstand kann insbesondere in Abhängigkeit von typischen, von der Anwendungssituation abhängigen, maximal zu erwartenden Objektgrößen vorgegeben werden. Bei dem Abstand kann es sich insbesondere um den minimalen Abstand handeln, der auf der Basis von Konturelementen der entsprechenden Konturen berechenbar ist.

Weiterhin ist es dann bevorzugt, dass bei Zuordnung von Segmenten zu Objekten eine Verdeckungserkennung ausgeführt wird. Durch eine Verdeckungserkennung lässt sich mit größerer Sicherheit feststellen, ob zwei einem Objekt zuzuordnende Segmente durch teilweise Verdeckung des entsprechenden Gegenstands entstanden sein können, so dass einfacher erkannt werden kann, ob die beiden Segmente einem Objekt zugeordnet werden sollen, oder ob tatsächlich ein den realen Gegebenheiten entsprechender Objektzerfall vorliegt. Weiterhin ist es bevorzugt, dass bei Erkennung von wenigstens zwei Segmenten, die demselben Objekt zugeordnet werden können, aber nicht beide demselben Objekt zugeordnet werden sollen, das Segment mit der besseren Zuordnungsgüte dem Objekt zugeordnet wird. Das andere Seg- ment kann dann bevorzugt zur Bildung eines neuen Objekts verwendet werden. Auf diese Weise ergibt sich ein eindeutiges Kriterium der Zuordnung der Segmente zu Objekten im Fall eines Objektzerfalls.

Eine besonders einfache Ermittlung ergibt sich, wenn dem Objekt dasjeni- ge Segment zugeordnet wird, das die meisten Konturelemente aufweist.

Es ist bevorzugt, dass zur Ermittlung der Objektgeschwindigkeit ein Unterschied zwischen der Position und/ oder der Orientierung der aktuellen Objektkontur und der Position und/oder Orientierung der Objektkontur in dem vorhergehenden Zyklus oder der prädizierten Objektkontur ermittelt wird.

Dadurch, dass die gesamte Objektkontur und nicht nur ein Punkt zur Geschwindigkeitsbestimmung herangezogen wird, können, je nachdem, ob nur die Position oder auch die Orientierung ermittelt wird, so einfach reine Translationsgeschwindigkeiten oder auch Giergeschwindigkeiten des Objekts ermittelt werden, wobei für eine Gierbewegung die Drehachse in Bezug auf die Objektkontur in dem vorhergehenden Zyklus, auf die in dem aktuellen Zyklus oder auf eine aus diesen Objektkonturen berechne- ten weiteren Objektkontur definiert sein kann. Weiterhin kann in die

Objektgeschwindigkeit der Zeitabstand der Erfassungen der entsprechenden aufeinander folgenden Bilder eingehen.

Dabei ist es insbesondere bevorzugt, dass bei der Bestimmung des Unter- schieds zwischen der Position und/ oder Orientierung des Objekts in dem aktuellen Zyklus und der Position und/oder Orientierung der Objektkon- tur in dem vorhergehenden Zyklus oder der prädizierten Objektkontur Konturelemente der aktuellen Objektkontur und Konturelemente der Objektkontur in dem vorhergehenden Zyklus bzw. der prädizierten Kontur einander zugeordnet werden, und dass die Änderung der Position und/ oder Orientierung der Objektkontur in dem vorhergehenden Zyklus zu der in dem aktuellen Zyklus aus denjenigen Konturelementen der aktuellen Kontur ermittelt wird, die Konturelementen der Objektkontur in dem vorhergehenden Zyklus oder der prädizierten Objektkontur zugeordnet wurden.

Dies bedeutet, dass zur Bestimmung der Objektbewegung nur solche Konturelemente verwendet werden, die sowohl in der Objektkontur in dem vorhergehenden Zyklus bzw. der prädizierten Objektkontur als auch entsprechend in der Objektkontur in dem aktuellen Zyklus auftreten und einander zugeordnet sind. Nicht zugeordnete Konturelemente werden nicht berücksichtigt, so dass entsprechende Einflüsse bei der Geschwindigkeitsbestimmung ausgeschlossen werden, wodurch die Genauigkeit erhöht werden kann.

Bevorzrugt erfolgt die Zuordnung unter Berücksichtigung der Abfolge der Konturelemente in den Objektkonturen.

Weiterhin ist es bevorzugt, dass zur Zuordnung von Konturelementen zweier Objektkonturen zueinander ausgehend von Konturelementen der Objektkonturen mit Lagekoordinaten, die jeweils einem Ende der Kontur entsprechen, für aufeinander folgende Konturelemente entlang einer der beiden Konturen jeweils ein entsprechendes, noch nicht zugeordnetes Konturelement der anderen Kontur gesucht wird, dessen Lagekoordinaten einen minimalen Abstand von den Lagekoordinaten des Konturelements der einen Kontur aufweisen. Eine solche Zuordnung kann besonders schnell erfolgen, wobei eine prinzipiell zu vermeidende Doppelzuordnung von Konturelementen vermieden wird.

Treten bei der Objektbewegung bzw. der Bewegung des entsprechenden Gegenstands Beschleunigungen oder Rotationen auf, kann, je nach Art der Prädiktion, die prädizierte Lage und gegebenenfalls auch Form der Objektkontur von der aktuellen Lage und/ oder Form der aktuellen Objektkontur abweichen. Dies kann bei der Zuordnung zu Fehlzuordnungen führen oder entsprechend komplizierte Zuordnungsalgorithmen erfordern.

Es ist daher bevorzugt, dass für eine Objektkontur jeweils wenigstens ein Referenzelement bestimmt wird, dass zur Zuordnung von Objektelementen der prädizierten Objektkontur zu Objektelementen der aktuellen Objektkontur eine Korrekturverschiebung zwischen den Referenzelementen der prädizierten und der aktuellen Kontur ermittelt wird, und dass die Zuordnung von Konturelementen der prädizierten Kontur zu Konturelementen der aktuellen Kontur unter Verwendung der um die Korrekturverschiebung der Referenzelemente verschobenen Konturelemente der prädizierten Kontur erfolgt. Bei diesen Referenzelementen kann es sich insbe- sondere um spezielle Konturelemente handeln, beispielsweise das erste und das letzte Konturelement einer Kontur. Es ist jedoch auch möglich, andere spezielle Konturelemente einer Objektkontur, beispielsweise ein an einer Ecke der Objektkontur angeordnetes Konturelement, zu verwenden. Auf diese Weise können Ungenauigkeiten, die bei der Zuordnung durch Abweichungen zwischen der prädizierten und der aktuellen Objektkontur auftreten, stark reduziert werden.

Besonders bevorzugt werden zwei Referenzelemente verwendet und aus den Verschiebungen der beiden Referenzelemente sowohl eine Korrektur- Verschiebung als auch eine Korrekturdrehung der prädizierten Objektkontur ermittelt. Auf diese Weise werden auch durch Rotationen bzw. Gierbe- wegungen der Objektkontur bzw. des Gegenstands bedingte Schwierigkeiten bei der Zuordnung von Konturelementen reduziert.

Die Ermittlung der Objektbewegung kann grundsätzlich unter Verwen- düng eines Kaiman-Filters für die Konturelemente, insbesondere deren Lagekoordinaten und die zugehörigen Geschwindigkeiten, erfolgen. Es ist jedoch bevorzugt, dass zunächst Unterschiede zwischen den Lagekoordinaten einander zugeordneter Konturelemente der aktuellen Kontur und der Kontur in dem vorhergehenden Zyklus oder der prädizierten Kontur ermittelt werden, dass aus diesen Unterschieden eine Translation und/ oder eine Rotation des Objekts zwischen dem vorhergehenden Zyklus und dem aktuellen Zyklus ermittelt werden, und dass die Objektgeschwindigkeit auf der Basis dieser Translation und/ oder Rotation bestimmt wird.

Hierdurch wird eine Mittelwertbildung möglich, die eine besonders genaue Bestimmung der Translation oder Rotation des Objekts erlaubt. Insbesondere kann beispielsweise die Translation als Mittelwert über die Verschiebungen der Konturelemente der Objektkontur in dem aktuellen Zyklus zu der Objektkontur in dem vorhergehenden Zyklus berechnet werden. Je nachdem, ob die Translation und/ oder die Rotation bestimmt werden, kann es sich bei der Objektgeschwindigkeit um eine Translationsund/oder Giergeschwindigkeit handeln.

Weiterhin ist es bevorzugt, dass die Objektgeschwindigkeiten einer Tief- pass-Filterung unterworfen werden. Dabei kann insbesondere für jede ^• Komponente der Objektgeschwindigkeit getrennt ein eindimensionaler Kaiman-Filter verwendet werden. Auf diese Weise können statistische Fehler unterdrückt werden. 24

Weiterer Gegenstand des erfindungsgemäßen Verfahrens ist ein Computerprogramm mit Programmcode-Mitteln, um das erfindungsgemäße Verfahren durchzuführen, wenn das Programm auf einem Computer ausgeführt wird. Unter einem Computer wird dabei jede Datenverarbei- tungsanlage verstanden, die insbesondere einen Prozessor, einen Speicher und Schnittstellen zur Zuführung bzw. zur Abgabe von Daten aufweist. Insbesondere kann der Computer einen digitalen Signalprozessor aufweisen.

Weiterhin ist Gegenstand der vorliegenden Erfindung ein Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das erfindungsgemäße Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer ausgeführt wird. Bei dem Datenträger kann es sich insbesondere um nichtflüchtige Speicher in der Form von entsprechenden Halbleiterbauelementen, CDs, DVDs oder Disketten handeln.

Schließlich ist Gegenstand der vorliegenden Erfindung eine Vorrichtung zur Erkennung und Verfolgung von Objekten mit mindestens einem opto- elektronischen Sensor, insbesondere einem Laserscanner, dessen Sichtbereich den Erfassungsbereich einschließt, und einer mit dem optoelektronischen Sensor verbundenen Datenverarbeitungseinrichtung, die zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist. Diese Datenverarbeitungseinrichtung kann insbesondere eine Segmentbildungs- einheit zur Bildung von Segmenten aus Bildpunkten eines aktuellen

Bildes, eine Segmentkonturbildungseinheit zur Ermittlung einer Segmentkontur und deren Lage aus Bildpunkten des Segments, eine Prädiktionseinheit zur Prädiktion der Lage einer Objektkontur in dem aktuellen Zyklus aus der Objektkontur in einem vorhergehenden Zyklus, eine Segment- Objekt-Zuordnungs-Einrichtung zum Vergleichen der Segmentkonturen mit wenigstens einer der prädizierten Objektkonturen in Bezug auf Lage und/ oder Form und Zuordnung eines Segments zu einem der Objekte entsprechend dem Ergebnis des Vergleichs, eine Objektkonturbildungs- einheit zur Bildung einer aktuellen Objektkontur aus den Segmentkonturen von den Objekten jeweils zugeordneten Segmenten und eine Einrich- tung zur Bestimmung einer aktuellen Lage und/oder einer Objektgeschwindigkeit aus der aktuellen Objektkontur bzw. aus der Lage der aktuellen Objektkontur und der Lage der Objektkontur in den vorhergehenden Zyklus für wenigstens eines der Objekte umfassen.

Das erfindungsgemäße Verfahren eignet sich insbesondere zum Einsatz zur Überwachung eines Bereichs vor einem Fahrzeug, das mit einer erfindungsgemäßen Vorrichtung ausgestattet ist.

Die Erfindung wird nun weiter beispielhaft anhand der Zeichnungen erläutert. Es zeigen: .

Fig. 1 eine schematische Draufsicht auf eine erfindungsgemäße

Vorrichtung zur Erkennung und Verfolgung von Objekten,

Fig. 2 ein schematisches Ablaufdiagramm eines Verfahrens zur

Erkennung und Verfolgung von Objekten nach einer bevorzugten Ausführungsform der Erfindung,

Fig. 3 ein schematisches Ablaufdiagramm von Teilschritten eines Verfahrensschritts S24 in dem Ablaufdiagramm in Fig. 2,

Fig. 4 eine schematische Darstellung von Bildpunkten eines Segments und von Konturelementen in einer Ebene, 26

Fig. 5 eine schematische Darstellung von Bildpunkten und Konturelementen für ein Objekt mit zerklüfteter Oberfläche, und

Fig. 6 eine schematische Darstellung einer prädizierten Objektkontur und einer aktuellen Objektkontur sowie einer Zuordnung von Konturelementen dieser Objektkonturen zueinander.

In Fig. 1 ist ein Laserscanner 10 an der Frontseite eines Kraftfahrzeugs 12 gehalten, um Gegenstände vor dem Kraftfahrzeug 12 zu erfassen.

Der Laserscanner 10 weist einen in Fig. 1 nur teilweise gezeigten Erfassungsbereich 14 auf, der aufgrund der Anbaulage symmetrisch zur Längsachse des Kraftfahrzeugs 12 einen Winkel von etwa 180° abdeckt. Der Erfassungsbereich ist in Fig. 1 nur schematisch und zur besseren Darstellung insbesondere in radialer Richtung zu klein dargestellt. In dem Erfassungsbereich 14 befinden sich beispielhaft zwei Fahrzeuge 16 und 18 als zu erfassende Gegenstände.

Der Laserscariner 10 tastet seinen Sichtbereich 14 in grundsätzlich bekannter Weise mit einem mit konstanter Winkelgeschwindigkeit umlaufenden, gepulsten Laserstrahlungsbündel 20 ab, wobei ebenfalls umlaufend in konstanten Zeitabständen Δt zu Zeiten τi in festen Winkelbereichen um einen mittleren Winkel i detektiert wird, ob das Laserstrahlungsbündel von einem Punkt bzw. Bereich eines Gegenstands reflektiert wird. Der Index i läuft dabei von 1 bis zur Anzahl der Winkelbereiche im Erfassungsbereich. Von diesen Winkelbereichen sind in Fig. 1 nur einzelne gezeigt, unter anderem die den mittleren Winkeln an, und a-. zugeordne- ten Winkelbereiche. Hierbei sind die Winkelbereiche zur deutlicheren Darstellung übertrieben groß gezeigt. Anhand der Laufzeit des Laser- strahlpulses wird der Sensorabstand di des Gegenstandspunktes von dem Laserscanner 10 ermittelt. Der Laserscanner 10 erfasst daher als Koordinaten in einem Scandatenelement für einen Gegenstandspunkt 22 des Kraftfahrzeugs 16 den Winkel αi und den bei diesem Winkel festgestellten Abstand di, das heißt die Position des Gegenstandspunktes 22 in Polarkoordinaten. Bei einer Abtastung des Sichtbereichs werden von dem Laserscanner somit Scandatenelemente mit Koordinaten (αi, di) bereitgestellt, wobei i eine natürliche Zahl zwischen 1 und der Anzahl der von dem Laserscanner 10 erfassten Scandatenelemente ist.

Die Menge der bei einer Abtastung erfassten Scandatenelemente bildet, gegebenenfalls nach Korrektur der Daten und/ oder Transformation in ein anderes Koordinatensystem, ein tiefenaufgelöstes Bild im Sinne der vorliegenden Anmeldung.

Der Laserscanner 10 tastet seinen Sichtbereich 14 jeweils in aufeinander folgenden Abtastungen ab, so dass eine zeitliche Folge von Abtastungen und damit tiefenaufgelösten^" Bildern entsteht.

Zur Verarbeitung der Scandatenelemente weist der Laserscanner eine Auswerteelektronik bzw. Datenverarbeitungseinrichtung 24 auf, die im Beispiel in dem Laserscanner 10 angeordnet ist, grundsätzlich aber auch davon abgesetzt angeordnet sein kann. Die Datenverarbeitungseinrichtung 24 weist unter anderem einen zur Ausführung des erfindungsgemä- ßen Verfahrens programmierten digitalen Signalprozessor, eine mit dem digitalen Signalprozessor verbundene Speichereinrichtung sowie Schnittstellen zur Ausgabe von Daten an eine Fahrzeugsteuerung auf.

Das Verfahren nach einer bevorzugten Ausführungsform der Erfindung ist schematisch in Fig. 2 dargestellt. Der Laserscanner 10 erfasst, wie bereits erwähnt, in konstanten Zeitabständen Δt Bilder seines Erfassungsbe- reichs. Die Bildpunkte der Bilder können aus den entsprechenden Scandatenelementen durch eine entsprechende Koordinatentransformation und gegebenenfalls weitere Korrekturen, zum Beispiel in Bezug auf eine Eigenbewegung des Laserscanners 10, korrigiert worden sein. Das erfin- dungsgemäße Verfahren wird zyklisch durchgeführt, wobei ein Zyklus für jedes neu erfasste Bild durchgeführt wird.

In Schritt S10 wird ein aktuelles Bild von dem Laserscanner 10 eingelesen, das Bildpunkte mit Lagekoordinaten in einem kartesischen Koordina- tensystem mit einer X-Achse und einer dazu orthogonalen Y-Achse um- fasst. Im Ausführungsbeispiel ist die X-Achse parallel zur Längsachse des Kraftfahrzeugs 12 angeordnet, das Koordinatensystem also relativ zu dem Kraftfahrzeug 12 definiert.

In dem folgenden Schritt S12 wird das aktuelle Bild segmentiert. Dazu werden alle Bildpunkte Segmenten zugeordnet, wobei ein Bildpunkt nur einem Segment zugeordnet ist. Dazu wird zur Bildung eines neuen Segments zunächst ein noch nicht einem Segment zugeordneter Bildpunkt dem neuen Segment zugeordnet. Iterativ werden dann in den folgenden Schritten zu jedem Bildpunkt des Segments noch nicht einem Segment zugeordnete Bildpunkte gesucht, die von dem entsprechenden Bildpunkt des Segments einen Abstand aufweisen, der geringer als ein vorgegebener, beispielsweise in Abhängigkeit von einem Auflösungsvermögen des Laserscanners 10 gewählter Segmentierungsabstand ist. Wird ein solcher, noch nicht einem Segment zugeordneter Bildpunkt gefunden, wird er. dem

Segment zugeordnet, und es wird nach einem weiteren Bildpunkt für das Segment gesucht. Anderenfalls ist das Segment abgeschlossen und es wird ein weiterer nicht zugeordneter Bildpunkt für ein neues Segment gesucht. In Schritt S14 wird dann für jedes Segment eine Kontur ermittelt (vgl. Fig. 3 und 4) . Bei diesem Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist eine Kontur durch ein Konturelement oder eine Folge von Konturelementen gegeben, die als Daten jeweils zwei Lagekoordinaten in dem X- Y-Koordinatensystem umfassen. Der Begriff der Folge schließt dabei eine Abfolge bzw. der Reihenfolge der Konturelemente ein. Zur Ermittlung der Kontur werden die Bildpunkte eines Segments zunächst in einer Reihenfolge zunehmender Polarwinkel in Bezug auf die Y-Achse als Polarachse geordnet, falls dies notwendig ist. Polarwinkel von Bildpunkten mit negati- ven X- Koordinaten erhalten ein negatives Vorzeichen, so dass sich bei

Bewegung von einem Rand des Erfassungsbereichs zu dem anderen Rand des Erfassungsbereichs eine aufsteigende Folge von Polarwinkeln ergibt. Im Ausführungsbeispiel ist diese Anordnung nicht notwendig, wenn die Scandatenelemente in ihrer Erfassungsreihenfolge in Bildpunkte über- führt werden und im weiteren Verlauf des Verfahrens deren Reihenfolge auch nicht verändert wird.

Die Bildung einer Kontur ist in Fig. 4 beispielhaft für ein Segment dargestellt, das einem Gegenstand mit einer vergleichsweise glatten Kontur entspricht. Die Konturelemente sind dabei durch Quadrate veranschaulicht, die zeigen, welche, als Kreuze dargestellte, Bildpunkte dem Konturelement zugeordnet wurden. Zur Bildung eines Konturelements für eine Kontur eines ausgewählten Segments wird zunächst ein noch nicht einem Konturelement zugeordneter Bildpunkt 26 mit dem kleinsten Polarwinkel gewählt und dem neuen Konturelement 30 zugewiesen. Es werden dann in der Reihenfolge zunehmender Polarwinkel aufeinander folgende Bildpunkte 28 und 28' dem Konturelement 30 zugeordnet, bis der Abstand zu dem ersten, dem Konturelement zugeordneten Bildpunkt 26 einen vorgegebenen, beispielsweise in Abhängigkeit von dem Auflösungsvermögen des Laserscanners 10 gewählten Wert überschreitet. Der erste Bildpunkt 32, der diesen vorgegebenen Abstand überschreitet, wird einem neuen Kon- turelement zugewiesen. Aus den einem Konturelement zugeordneten Bildpunkten werden dann Lagekoordinaten des Konturelements durch Mittelwertbildung ermittelt.

Dieser Vorgang beginnt bei dem Bildpunkt mit dem kleinsten Polarwinkel, so dass insgesamt eine Folge von Konturelementen entsteht, die aus Bildpunkten in einer Reihenfolge aufsteigender Polarwinkel gebildet ist. In den Fig. 4 und 5 entsprechen die Lagekoordinaten des Konturelements der Lage des Schwerpunkts der die Konturelemente darstellenden Quad- rate, während die Seitenlänge grob und nur qualitativ einen Eindruck von dem maximalen Abstand der zur Bildung des Konturelements verwendeten Bildpunkte vermitteln soll. Die die Schwerpunkte verbindende Linie dient nur der Veranschaulichung einer durch die Konturelemente definierten Konturlinie.

Wie in Fig. 5 für einen unregelmäßigen Gegenstand wie beispielsweise ein Gebüsch gezeigt, kann es vorkommen, dass ein Konturelement nur wenige Bildpunkte, gegebenenfalls auch nur einen Bildpunkt, umfasst.

In jedem Zyklus ist jedem Objekt eine Objektkontur zugeordnet, die ebenfalls durch ein Konturelement oder eine Folge von Konturelementen gegeben ist. Die Bildung dieser Objektkontur spielt zunächst keine Rolle, wird aber bei Schritt S22 weiter erläutert.

In Schritt S16, der prinzipiell auch vor Schritt S 14 oder parallel zu diesem ausgeführt werden könnte, wird für jedes Objekt des vorhergehenden Zyklus, soweit der aktuelle Zyklus nicht der erste Zyklus ist, aus einer vorhandenen Objektkontur eine neue Objektkontur pradiziert. Dazu wird die in einem vorhergehenden Zyklus bestimmte Objektgeschwindigkeit sowohl in X- als auch Y-Richtung mit der Zeitdauer zwischen zwei aufeinander folgenden Abtastungen Δt multipliziert, wodurch sich eine prädizier- te Objektverschiebung ergibt. Die prädizierte Objektkontur ergibt sich nun daraus, dass die Lagekoordinaten der Konturelemente der Objektkontur um die prädizierte Objektverschiebung verschoben werden. Dadurch wird die Form der Objektkontur nicht verändert, sondern nur deren Lage. Ist ein Objekt in dem vorhergehenden Zyklus neu gebildet worden, kann diesem Objekt eine geeignete Anfangsgeschwindigkeit zugewiesen sein, beispielsweise eine Anfangsgeschwindigkeit von Null. Für Objekte, denen im vorhergehenden Zyklus keine Segmente zugeordnet wurden, wird eine Prädiktion über einen entsprechend längeren Zeitraum, der mit dem Zyklus nach der letzten Zuordnung eines Segments zu dem Objekt beginnt, durchgeführt.

In Schritt S18 erfolgt dann eine Zuordnung der Segmente zu den Objekten durch Vergleich der Segmentkonturen mit den prädizierten Objektkontu- ren.

Zur Beschleunigung der Zuordnung, aber nicht unbedingt notwendigerweise, werden dazu den Segmenten und den Objekten rechteckige Segmentboxen und Objektboxen zugeordnet, die zu den Koordinatenachsen parallele Seiten aufweisen. Während die Segmentbox das kleinste Rechteck ist, das alle Bildpunkte des Segments in dem aktuellen Zyklus einschließt (vgl. für die Segmentbox 34 die Bildpunkte 33 in Fig. 5), ergibt sich die Objektbox daraus, dass auch zunächst ein kleinstes Rechteck bestimmt wird, das die Bildpunkte des Objekts in dem vorhergehenden Zyklus umschließt, dieses Rechteck jedoch gegebenenfalls in X- und Y-

Richtung unterschiedlich um einen konstanten Wert und die Unsicherheit des Objekts, bestimmt durch die Unsicherheit der Objektgeschwindigkeit, erweitert wird. Die Objektbox ist also größer gewählt als der eigentliche in dem vorhergehenden Zyklus erfasste Umriss, so dass diese erweiterte Objektbox gleichzeitig einen Fangbereich einschließt, in dem nach Segmenten gesucht wird. Diese Situation ist in Fig. 6 gezeigt, in der sich innerhalb einer Objektbox 36 Konturelemente 38 einer prädizierten Objektkontur und von einer Segmentbox 40 umschlossene Konturelemente 42 einer aktuellen Objektkontur befinden.

Zur Vorauswahl wird nun zunächst geprüft, ob für ein gegebenes Segment die Segmentbox mit einer Objektbox eines vorhandenen Objekts überlappt.

Nur wenn dies der Fall ist, wird die Segmentkontur in dem aktuellen Zyklus mit der prädizierten Objektkontur verglichen, indem jeweils eine Zuordnungsgüte bestimmt wird. Dazu wird zum einen durch Berechnung aller Abstände zwischen Konturelementen der Segmentkontur und Konturelementen der prädizierten Objektkontur die Anzahl von Paaren aus Konturelementen der Segmentkontur und Konturelementen der Objekt- kontur bestimmt, deren Konturelemente einen vorgegebenen, maximalen Segment-Objekt-Zuordnungsabstand unterschreiten. Dieser maximale Segment-Objekt-Zuordnungsabstand kann beispielsweise durch Optimierungsversuche für gegebene zu erwartende Objektgeschwindigkeiten und Objektgrößen bestimmt werden und beispielsweise im Bereich von 1 bis 2 m liegen. Darüber hinaus wird dabei auch der minimale Abstand bestimmt, der in der Menge der Abstände von Konturelementen aller Paare auftritt. Als Zuordnungsgüte wird dann beispielsweise die Anzahl nahe beieinander liegender Konturelementpaare, d.h. Konturelementpaare mit einem Abstand kleiner als der maximale Segment-Objekt-Zuordnungs- abstand, dividiert durch die Summe aus einer Konstante und dem minimalen Abstand aller Paare von Konturelementen ermittelt. Die Konstante wird unter anderem zur Vermeidung einer Division durch Null verwendet und kann durch Optimierungsversuche bestimmt werden..

Das Segment wird dann demjenigen Objekt zugeordnet, mit dem es die höchste Zuordnungsgüte aufweist, das heißt dessen Segmentkontur gemessen über die Zuordnungsgüte der Objektkontur am ähnlichsten ist. • Bei einer Zuordnungsgüte von Null wird jedoch keine Zuordnung durchgeführt.

Auf diese Weise wird jedes Segment zunächst höchstens einem Objekt zugeordnet, wobei einem Objekt jedoch mehrere Segmente zugeordnet sein können.

Zur Überprüfung eines Objektzerfalls wird bei der Zuordnung von zwei Segmenten zu einem Objekt noch überprüft, ob der minimale Abstand zwischen der jeweiligen Segmentkontur und der Objektkontur, beispielsweise gegeben durch den minimalen Abstand von Konturelementen in den entsprechenden Paaren von Konturelementen, einen vorgegebenen, beispielsweise in Abhängigkeit von zu erwartenden Objektgrößen gewählten Schwellwert unterschreitet. Ist dies der Fall, kann das Segment dem

Objekt zugeordnet werden, anderenfalls erfolgt eine Trennung. Dann wird das jeweils größte Segment, das heißt das Segment mit einer Segmentkontur mit den meisten Konturelementen, dem Objekt zugeordnet, während das verbleibende Segment einem bestehenden Objekt zugeordnet wird.

In Schritt S20 werden dann aus den noch nicht vorhandenen Objekten zugeordneten Segmenten neue Objekte gebildet.

In Schritt S22 wird dann für jedes Objekt, dem im aktuellen Zyklus ein Segment zugeordnet wurde, eine, aktuelle Kontur gebildet, indem unter Berücksichtigung der Reihenfolge der Konturelemente eine Folge von Konturelementen aus den Konturelementen der entsprechenden Segmente gebildet wird, die eine fortlaufende Kontur ergibt. Weiterhin werden Objekte, denen keine Segmente zugeordnet wurden, aufrechterhalten. Die Ob- jektkontur in dem vorhergehenden Zyklus wird gespeichert. Dabei werden, wenn die Prädiktion eine vorgegebene Unsicherheit, gegeben durch eine maximale Anzahl aufeinander folgender Zyklen, in denen der Objektkontur kein Segment zugeordnet wurde, überschreitet, die entsprechenden Objekte gelöscht. Bei einer anderen Ausführungsform kann die Unsicherheit auch von der Unsicherheit bzw. dem geschätzten Fehler der Ge- schwindigkeit abhängen.

In Schritt S24 wird dann für jedes Objekt, das nicht neu gebildet wurde, eine Änderung der Objektlage durch Vergleich der Objektkontur in dem aktuellen Zyklus mit der Objektkontur in dem vorhergehenden Zyklus ermittelt. Die hierbei auszuführenden Teilschritte sind in Fig. 3 als für jedes in dem vorhergehenden Zyklus bereits vorhandene Objekt auszuführende Teilschritte S24A bis S24D gezeigt. Die Zuordnung ist weiter beispielhaft in Fig. 6 veranschaulicht.

Zur Berechnung der Objektbewegung werden die Verschiebungen der Konturelemente 42 der aktuellen Objektkontur und der prädizierten Objektkontur, die in bereits beschriebener Weise aus der Objektkontur in dem vorhergehenden Zyklus berechnet wurde, herangezogen. Um diese Zuordnung zu erleichtern, wird in Schritt S24A zunächst eine Korrektur- Verschiebung bestimmt. Hierzu werden für die Objektkonturen Referenzelemente bestimmt, die für die Objektkonturen charakteristisch und daher einfach wieder aufzufinden sind. Aus einem Unterschied der Lagen der Referenzelemente zwischen der aktuellen Objektkontur und der prädizierten Objektkontur kann dann eine Korrekturverschiebung ermittelt werden.

Im vorliegenden Ausführungsbeispiel werden als Referenzelemente jeweils das erste und das letzte Konturelement der jeweiligen Objektkontur verwendet. Dazu wird zunächst geprüft, ob das jeweils erste und letzte Kon- turelement der prädizierten Objektkontur und der aktuellen Objektkontur durch Vordergrundobjekte verdeckt sind. Als Paar von Referenzelementen wird dann das Paar aus ersten oder letzten Konturelementen der aktuellen und der prädizierten Kontur verwendet, dessen Konturelemente nicht verdeckt sind und dessen Konturelement der aktuellen Objektkontur dem Laserscanner 10 am nächsten liegt. In Fig. 6 sind dies die linken Kontur- eleme.nte 44 bzw. 44'. Aus der Differenz der Lagekoordinaten wird dann ein Korrekturverschiebungsvektor berechnet.

Werden keine Referenzelemente gefunden, beispielsweise weil zumindest zwei verschiedene erste und letzte Konturelemente der Konturen verdeckt sind, wird der Korrekturverschiebungsvektor auf den Wert Null gesetzt, andernfalls ergibt er sich als Differenz zwischen den Lagekoordinaten des Referenzelements der aktuellen Objektkontur und den Lagekoordinaten des entsprechenden Referenzelements der prädizierten Kontur. Weiterhin wird dem Korrekturverschiebungsvektor der Wert Null zugeordnet, falls der Betrag der Korrekturverschiebung größer ist als ein in Abhängigkeit von dem Alter des Objekts, gegeben als Anzahl der Zyklen, während derer das Objekt bereits existiert, oder die Konturelemente - gemessen durch den mittleren quadratischen Abstand von dem Referenzelement - sehr stark gestreut sind.

In Schritt S24B werden dann die Lagekoordinaten aller Konturelemente der prädizierten Objektkontur entsprechend dem ermittelten Korrekturverschiebungsvektor verschoben.

In Schritt S24C erfolgt dann eine Zuordnung von Konturelementen 42 der aktuellen Objektkontur und Konturelementen der korrigierten prädizierten Objektkontur. Dazu wird für jedes noch nicht einem Konturelement der aktuellen Objektkontur zugeordnete Konturelement der korrigierten prädizierten Objektkontur dasjenige noch nicht zugeordnete Konturele- ment der aktuellen Objektkontur gesucht, das zu dem Konturelement der korrigierten prädizierten Objektkontur einen minimalen Abstand aufweist. Eine Zuordnung zwischen zwei Konturelementen wird nur dann erstellt, wenn dieser minimale Abstand einen in Abhängigkeit von den zu erwartenden Objektgeschwindigkeiten gewählten Maximalabstand unterschreitet. Ist dies nicht der Fall, wird das betrachtete Konturelement im weiteren Verfahrensverlauf nicht mehr zur Zuordnung verwendet. Auf diese Weise wird, sofern möglich, eine Eins-zu-Eins-Zuordnung der Konturelemente der aktuellen Objektkontur und der korrigierten prädizierten Objektkontur ermittelt.

Zur Berücksichtigung der Korrekturverschiebung braucht nicht unbedingt explizit eine korrigierte prädizierte Objektkontur gebildet zu werden, die Korrekturverschiebung kann auch als Summand in den Formeln berücksichtigt werden, die in dem folgenden Verfahrensablauf, d.h. Schritt S24C, verwendet werden.

Einer Zuordnung von Objektkonturen zueinander wird eine Objektkontur- Objektkontur-Zuordnungsgüte zugeordnet, die in dem Ausführungsbeispiel durch die Anzahl der Paare von einander zugeordneten Konturelementen gegeben ist. Für die eben beschriebene Zuordnung wird ein erster Wert einer Objektkontur-Objektkontur-Zuordnungsgüte ermittelt..

Diese Schritte werden nochmals ohne Korrekturverschiebung durchgeführt. Der sich dann ergebende zweite Wert der Objektkontur-Objektkontur-Zuordnungsgüte wird mit dem ersten Wert verglichen und die Zuordnung mit dem Wert der Objektkontur-Objektkontur-Zuordnungsgüte wird als endgültige Zuordnung gewählt, die in Fig. 6 durch die entsprechenden durchgezogenen Linien zwischen den Konturelementen 38 und 42 der prädizierten und der aktuellen Objektkontur veranschaulicht ist.

In Schritt S24D wird dann eine Objektverschiebung aus den Paaren mit einander zugeordneten Konturelementen berechnet. Im Ausführungsbei- spiel wird dazu jeweils der Mittelwert der Abstände in X- und Y-Richtung der Konturelemente bzw. der Lagekoordinaten der entsprechenden Konturelemente über alle Paare ermittelt. Ergebnis dieser Operation ist ein Verschiebungsvektor mit Komponenten in X- und Y-Richtung, der als Verschiebungsvektor für das Objekt angesehen wird.

In Schritt S26 wird dann aus dem Verschiebungsvektor unter Berücksichtigung der Verschiebung bei der Prädiktion und dem Zeitabstand Δt aufeinander folgender Abtastungen des Erfassungsbereichs eine (gemessene) Momentanobjektgeschwindigkeit getrennt für die X- und die Y-Richtung ermittelt.

Diese werden für jede der beiden Richtungen getrennt einer Filterung mit einem eindimensionaler Kaiman-Filter für die Objektgeschwindigkeit in X- und Y-Richtung unterworfen. Als Messwert dienen dabei die entsprechenden Momentangeschwindigkeiten, Ergebnis sind die entsprechenden aktuellen Objektgeschwindigkeiten. Als Unsicherheit für die Messung, das heißt die Varianz für den Messwert bzw. die Momentgeschwindigkeit, wird ein Wert, beispielsweise in Abhängigkeit von der Messgenauigkeit des Laserscanners 10 und von dem zeitlichen Abstand zwischen zwei Abtastungen Δt, gewählt. Das Systemrauschen in dem Kaiman- Filter kann in Abhängigkeit von den maximal zu erwartenden Objektbeschleunigungen bzw. Beschleunigungsänderungen gewählt werden. Der Algorithmus für den eindimensionalen Kaiman-Filter ist dem Fachmann bekannt. Der Kaiman-Filter wirkt somit als Tiefpassfilter, mittels dessen Fluktuationen in den erfassten Objektgeschwindigkeiten unterdrückt werden.

Es können nun die aktuelle Objektkontur in Form der Konturelemente und die aktuelle Objektgeschwindigkeit an weitere Daten verarbeitende Einrichtungen ausgegeben werden, die diese beispielsweise für eine Kollisionswarnung und gegebenenfalls entsprechende Steuerung des Fahr- zeugs verwenden können. Für Objekte, für die kein- Segment gefunden wurde, wird eine entsprechende Information ausgegeben, die beispielsweise in der Angabe eines geschätzten Fehlers für die Lage und/ oder Objektgeschwindigkeit bestehen kann. Parallel zu dem Zyklus wird ein neues aktuelles Bild erfasst und nach Ausgabe der Daten ein neues Bild in einem neuen Zyklus in Schritt S10 eingelesen.

Es ergibt sich so ein sehr einfaches, aber genaues Verfahren zur Objekterkennung und -Verfolgung, bei dem auch Änderungen einer erfassten Kontur eines Gegenstands berücksichtigt werden können.

Bezugszeichenliste

Laserscanner

Kraftfahrzeug

Erf as sungsbereich

Kraftfahrzeug

Kraftfahrzeug

Laserstrahlbündel

Gegenstandspunkt

Auswerteelektronik

Bildpunkt , 28' Bildpunkte

Konturelement

Bildpunkt

Bildpunkte

Segmentbox

Objektbox

Konturelemente

Segmentbox

Konturelemente , 44' Referenzelemente

Claims

Ansprüche

1. Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von von wenigstens einem Sensor (10) für elektromagnetische

Strahlung, insbesondere einem Laserscanner, in zeitlicher Folge erfassten, tiefenaufgelösten, Bildpunkte (26, 28, 28', 32, 33) umfassenden Bildern von wenigstens einem Gegenstand (16, 18) in einem Erfassungsbereich des Sensors (10), bei dem in aufeinanderfolgen- den Zyklen folgende Schritte ausgeführt werden: aus Bildpunkten (26, 28, 28', 32, 33) eines aktuellen Bildes wird wenigstens eine aktuelle Objektkontur gebildet, für Objekte in einem vorhergehenden Zyklus wird jeweils ausgehend von einer dem jeweiligen Objekt in dem vorhergehen- den Zyklus zugeordneten Objektkontur wenigstens eine Objektkontur (38) in dem aktuellen Zyklus pradiziert, für wenigstens eines der Objekte werden aus der aktuellen Objektkontur (42) eine aktuelle Lage und/ oder aus der aktuellen Objektkontur (42) und der Objektkontur in einem vorher- gehenden Zyklus eine Objektgeschwindigkeit ermittelt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Bildung von aktuellen Objektkonturen aus Bildpunkten (26, 28, 28', 32, 33) eines aktuellen Bildes Segmente gebildet werden, dass für jedes der Segmente eine dem Segment zugeordnete Segmentkontur (30) und deren Lage ermittelt werden, - dass eine der Segmentkonturen mit wenigstens einer der prädizier- ten Objektkonturen in Bezug auf Lage und/ oder Form verglichen und in Abhängigkeit von dem Ergebnis des Vergleichs das der Seg- mentkontur entsprechende Segment einem der Objekte zugeordnet wird, und dass aus den Segmentkonturen von Objekten jeweils zugeordneten Segmenten jeweils aktuelle Objektkonturen (42) gebildet werden.

3. Verfahren nach Anspruch 1 oder 2, dass Konturen durch ein Konturelement oder eine Folge von Konturelementen (30, 38, 42) definiert sind, und dass das Konturelement bzw. die Konturelemente (30, 38, 42) definierende Daten aus wenigstens einem Bildpunkt (26, 28, 28', 32, 33) eines Segments oder Konturelementen einer anderen Kontur ermittelt werden.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Konturelemente (30, 38, 42) als Daten jeweils Lagekoordinaten umfassen.

5. Verfahren nach Anspruch 3 oder 4, dadurch gekennzeichnet, dass zur Bildung eines Konturelements (30) einer Segmentkontur jeweils eine vorgegebene Anzahl von in einer Reihenfolge aufsteigender bzw. abnehmender Polarwinkel in Bezug auf eine vorgegeben Polarachse aufeinander folgenden Bildpunkten (26, 28, 28', 32, 33) des Segments einem entsprechenden Konturelement zugeordnet werden, und dass Daten des Konturelements aus den Bildpunkten (26, 28, 28', 32, 33) ermittelt werden.

6. Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass zur Bildung eines Konturelements (30, 38, 42) einer Segment- kontur in einer Reihenfolge aufsteigender oder abnehmender Polarwinkel in Bezug auf eine vorgegeben Polarachse jeweils aufeinanderfolgende Bildpunkte (26, 28, 28', 32, 33) des Segments einem entsprechenden Konturelement zugeordnet werden, deren Abstand von einem ersten dem Konturelement zugeordneten Bildpunkt (26) kleiner als ein vorgegebener Maximalabstand ist, und dass Daten des Konturelements aus diesen Bildpunkten (26, 28, 28', 32, 33) ermittelt werden.

7. Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass Konturelemente durch Vektorisierung einer Kurve erhalten werden, die durch Verbindung der Bildpunkte (26, 28, 28', 32, 33) eines Segments in einer Reihenfolge aufsteigender oder abnehmen- der Polarwinkel in Bezug auf eine vorgegebene Polarachse entsteht.

8. Verfahren nach einem der Ansprüche 3 bis 7, dadurch gekennzeichnet, dass die Lagen der Bildpunkte (26, 28, 28', 32, 33) eines Segments vor der Bildung der Konturelemente einer Tiefpass-Filterung unterzogen werden.

9. Verfahren nach einem der Ansprüche 3 bis 8, dadurch gekennzeichnet, dass wenigstens einem Konturelement eine Güte zugeordnet wird, die von den Lagen der zur Ermittlung des Konturelements verwendeten Bildpunkte (26, 28, 28', 32, 33) abhängt.

10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Prädiktion der Lage einer Objektkontur in einem aktuellen Zyklus eine in dem vorhergehenden Zyklus bestimmte Objektgeschwindigkeit verwendet wird.

1 1. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass jedem Objekt ein Fangbereich zugeordnet wird, und dass eine Segmentkontur eines Segments nur mit einer Objektkontur eines Objekts verglichen wird, in deren Fangbereich wenigstens ein Bezugspunkt des jeweiligen Segments liegt.

12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zum Vergleich einer Segmentkontur mit einer Objektkontur für ein Segment und ein Objekt eine Zuordnungsgüte ermittelt wird, die ein Maß für die Übereinstimmung der jeweiligen Konturen bezüglich

Lage und/ oder Form ist, und dass ein Segment, das zwei Objekten zugeordnet werden kann, demjenigen Objekt zugeordnet wird, mit dem es den besten Wert der Zuordnungsgüte aufweist.

13. Verfahren nach Anspruch 12 und einem der Ansprüche 3 bis 9, dadurch gekennzeichnet, dass aus Paaren aus jeweils einem Konturelement der Segmentkontur und einem Konturelement der Objektkontur Unterschiede zwischen entsprechenden Daten der Konturelemente ermittelt werden, und dass die Zuordnungsgüte unter Verwendung der Unterschiede ermittelt wird.

14. Verfahren nach Anspruch 12 oder 13 und einem der Ansprüche 3 bis 9, dadurch gekennzeichnet, dass unter den Konturelementen der Segmentkontur und den Konturelementen der Objektkontur Paare aus jeweils einem Konturelement der Segmentkontur und einem Konturelement der Objektkontur bestimmt werden, die sich in einem Datum der Daten höchstens um ein vorgegebenes Maß unterscheiden, und dass zur Ermittlung der Zuordnungsgüte die Anzahl dieser Paare bestimmt wird.

15. Verfahren nach einem der Ansprüche 12 bis 14 und einem der Ansprüche 3 bis 9, dadurch gekennzeichnet, dass unter den Konturelementen der Segmentkontur und Konturelementen der Objektkontur Paare aus jeweils einem Konturelementen der Segmentkontur und einem Konturelement der Objektkontur bestimmt werden, deren Lagekoordinaten einen Abstand aufweisen, der kleiner als ein vorgegebener maximaler Paarabstand ist, und dass zur Ermittlung der Zuordnungsgüte die Anzahl dieser Paare bestimmt wird.

16. Verfahren nach einem der Ansprüche 12 bis 15 und einem der Ansprüche 3 bis 9, dadurch gekennzeichnet, dass zur Ermittlung der Zuordnungsgüte ein Konturelement der Segmentkontur und ein Konturelement der Objektkontur bestimmt werden, deren Lagekoordinaten' unter allen Paaren aus Konturelementen der Segmentkontur und Konturelementen der Objektkontur den kleinsten Abstand aufweisen.

17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zwei oder mehr Segmente einem Objekt nur dann zugeordnet werden, wenn ein Abstand der Segmente von dem Objekt jeweils kleiner als ein vorgegebener Maximalabstand ist.

18. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Zuordnung von Segmenten zu Objekten eine Verdeckungserkennung ausgeführt wird.

19. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei Erkennung von wenigstens zwei Segmenten, die demselben Objekt zugeordnet werden können, aber nicht beide demselben Objekt zugeordnet werden sollen, das Segment mit der besseren Zuordnungsgüte dem Objekt zugeordnet wird.

20. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Ermittlung der Objektgeschwindigkeit ein Unterschied zwischen der Position und/ oder der Orientierung der aktuellen Objekt- kontur und der Position und/ oder Orientierung der Objektkontur in dem vorhergehenden Zyklus oder der prädizierten Objektkontur ermittelt wird.

21. Verfahren nach Anspruch 3 und einem der Ansprüche 4 bis 20, dadurch gekennzeichnet, dass bei der Bestimmung des Unterschieds zwischen der Position und/ oder Orientierung des Objekts in dem aktuellen Zyklus und der Position und/ oder Orientierung der Objektkontur in dem vorhergehenden Zyklus oder der prädizierten Objektkontur Konturele- mente (42) der aktuellen Objektkontur und Konturelemente (38) der

Objektkontur in dem vorhergehenden Zyklus bzw. der prädizierten Kontur einander zugeordnet werden, und dass die Änderung der Position und/ oder Orientierung der Objektkontur in dem vorhergehenden Zyklus zu der in dem aktuellen Zyklus aus denjenigen Konturelementen (42) der aktuellen Kontur er- mittelt wird, die Konturelementen (38) der Objektkontur in dem vorhergehenden Zyklus oder der prädizierten Objektkontur zugeordnet wurden.

22. Verfahren nach Anspruch 3 und einem der Ansprüche 4 bis 21, dadurch gekennzeichnet, dass zur Zuordnung von Konturelementen (38, 42) zweier Objektkonturen zueinander ausgehend von Konturelementen (44, 44') der Objektkonturen mit Lagekoordinaten, die jeweils einem Ende der Kontur entsprechen, für aufeinander folgende Konturelemente ent- lang einer der beiden Konturen jeweils ein entsprechendes, noch nicht zugeordnetes Konturelement der anderen Kontur gesucht wird, dessen Lagekoordinaten einen minimalen Abstand von den Lagekoordinaten des Konturelements der einen Kontur aufweisen.

23. Verfahren nach Anspruch 3 und einem der Ansprüche 4 bis 22, dadurch gekennzeichnet, dass für eine Objektkontur (38, 42) jeweils wenigstens ein Referenzelement (44, 44') bestimmt wird, dass zur Zuordnung von Objektelementen (38) der prädizierten Ob- jektkontur und Objektelementen (42) der aktuellen Objektkontur eine Korrekturverschiebung zwischen den Referenzelementen (44, 44') der prädizierten und der aktuellen Kontur ermittelt wird, und dass die Zuordnung von Konturelementen der prädizierten Kontur zu Konturelementen der aktuellen Kontur unter Verwendung der um die Korrekturverschiebung der Referenzelemente verschobenen

Konturelemente der prädizierten Kontur erfolgt.

24. Verfahren nach Anspruch 3 und einem der Ansprüche 4 bis 23, dadurch gekennzeichnet, dass zunächst Unterschiede zwischen den Lagekoordinaten einan- der zugeordneter Konturelemente (42; 38) der aktuellen Kontur und der Kontur in dem vorhergehenden Zyklus oder der prädizierten Kontur ermittelt werden, dass aus diesen Unterschieden eine Translation und/ oder eine Rotation des Objekts zwischen dem vorhergehenden Zyklus und dem aktuellen Zyklus ermittelt werden, und dass die Objektgeschwindigkeit auf der Basis dieser Translation und/ oder Rotation bestimmt wird.

25. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Objektgeschwindigkeiten einer Tiefpass-Filterung unterworfen werden.

26. Computerprogramm mit Programmcode-Mitteln, um die Verfahren nach einem der Ansprüche 1 bis 25 durchzuführen, wenn das Pro- gramm auf einem Computer (24) ausgeführt wird.

27. Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das Verfahren nach einem der Ansprüche 1 bis 25 durchzuführen, wenn das Computerprogrammprodukt auf einem Computer (24) ausgeführt wird.

28. Vorrichtung zur Erkennung und Verfolgung von Objekten mit mindestens einem optoelektronischen Sensor (10), insbesondere ei- nem Laserscanner, dessen Sichtbereich den Erfassungsbereich (14) einschließt, und einer mit dem optoelektronischen Sensor (19) verbundenen Datenverarbeitungseinrichtung (24), die zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 25 ausgebildet ist.