DE10148071A1 - Verfahren zur Erkennung und Verfolgung von Objekten - Google Patents

Verfahren zur Erkennung und Verfolgung von Objekten

Info

Publication number
DE10148071A1
DE10148071A1 DE10148071A DE10148071A DE10148071A1 DE 10148071 A1 DE10148071 A1 DE 10148071A1 DE 10148071 A DE10148071 A DE 10148071A DE 10148071 A DE10148071 A DE 10148071A DE 10148071 A1 DE10148071 A1 DE 10148071A1
Authority
DE
Germany
Prior art keywords
objects
model
assigned
class
object class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE10148071A
Other languages
English (en)
Inventor
Ulrich Lages
Klaus Dietmayer
Jan Sparbert
Kay Fuerstenberg
Daniel Streller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ibeo Automobile Sensor GmbH
Original Assignee
Ibeo Automobile Sensor GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibeo Automobile Sensor GmbH filed Critical Ibeo Automobile Sensor GmbH
Priority to DE10148071A priority Critical patent/DE10148071A1/de
Priority to DE50212627T priority patent/DE50212627D1/de
Priority to EP02021124A priority patent/EP1298454B1/de
Priority to AT02021124T priority patent/ATE404887T1/de
Publication of DE10148071A1 publication Critical patent/DE10148071A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

Bei einem Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von bevorzugt geschwindigkeits- oder tiefenaufgelösten Bildern von Gegenständen in einem Sichtbereich wenigstens eines, insbesondere an einem Fahrzeug angeordneten, Sensors, insbesondere eines Laserscanners, bei dem die Erkennung und Verfolgung unter Verwendung eines jeweils einem der Objekte zugeordneten Modells für die zeitliche Entwicklung von Zustandsparametern erfolgt, die wenigstens eine sensorspezifische Eigenschaft des Objekts beschreiben, wobei das Modell einen Modelltyp hat und durch wenigstens einen Modellparameter parametrisierbar ist, werden zur Klassifizierung von Objekten mehrere Objektklassen vorgesehen, die wenigstens eine Eigenschaft von Objekten betreffen, die aus wenigstens einem der geschwindigkeits- oder tiefenaufgelösten Bilder bestimmbar ist, wobei mindestens einem Objekt eine der Objektklassen zugeordnet ist und dem Objekt in Abhängigkeit von der zugeordneten Objektklasse ein Modelltyp und ein Wert für den entsprechenden Modellparameter zugeordnet werden.

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von bevorzugt geschwindigkeits- oder tiefenaufgelösten Bildern von Gegenständen in einem Sichtbereich wenigstens eines, insbesondere an einem Fahrzeug angeordneten, Sensors, insbesondere eines Laserscanners, bei dem die Erkennung und Verfolgung unter Verwendung eines jeweils einem der Objekte zugeordneten Modells für die zeitliche Entwicklung von Zustandsparametern erfolgt, die wenigstens eine sensorspezifische Eigenschaft des Objekts beschreiben, wobei das Modell einen Modelltyp hat und durch wenigstens einen Modellparameter parametrisierbar ist.
  • Derartige Verfahren sind grundsätzlich bekannt. Sie finden besonderes Interesse im Hinblick auf Anwendungen im Fahrzeugbereich, bei denen mit geeigneten Sensoren, insbesondere Laserscannern, die an einem Fahrzeug beispielsweise im Frontbereich angebracht sind, der in Fahrtrichtung vor dem Fahrzeug liegende Bereich überwacht wird. Von dem Sensor erfaßten Gegenständen, insbesondere Fahrzeugen und/oder Personen, werden dann mittels eines solchen Verfahrens Objekte zugeordnet, deren Daten zur automatischen Überwachung des Bereichs vor dem Fahrzeug und/oder der Einleitung von Sicherheitsmaßnahmen und/oder sogar Eingriffen in die Steuerung des Kraftfahrzeugs verwendet werden können.
  • Eine solche Verwendung stellt jedoch hohe Anforderungen an die Geschwindigkeit und Genauigkeit der Bestimmung von Zustandsparametern der Objekte, die die Lage des jeweiligen Objekts beschreiben. Insbesondere in Fällen, in denen die Daten zur Vermeidung von Kollisionen verwendet werden sollen, ist es notwendig, diese schnell, insbesondere in Echtzeit, und gleichzeitig möglichst genau bereitzustellen.
  • Es ist Aufgabe der vorliegenden Erfindung, ein gattungsgemäßes Verfahren zu schaffen, das eine schnelle Bereitstellung von genauen Zustandsparametern erlaubt.
  • Die Aufgabe wird gelöst durch ein gattungsgemäßes Verfahren mit den Merkmalen des kennzeichnenden Teils des Anspruchs 1.
  • Bei dem gattungsgemäßen Verfahren werden Bilder eines Sensors benutzt. Hierbei kann es sich um zweidimensionale Bilder eines Videosensors handeln.
  • Es werden jedoch bevorzugt geschwindigkeits- oder tiefenaufgelöste Bilder eines Sensors verwendet. Unter einem geschwindigkeits- bzw. tiefenaufgelösten Bild eines Sensors wird in dieser Anmeldung eine Menge von bei einer Abtastung des Sichtbereichs des Sensors erfaßten Bildpunkten verstanden, denen Punkte bzw. je nach Auflösung des Sensors auch Bereiche eines von dem Sensor erfaßten Gegenstands entsprechen, wobei den Bildpunkten der Geschwindigkeit bzw. der Lage der zugehörigen Gegenstandspunkte entsprechende Koordinaten in mindestens zwei Dimensionen zugeordnet sind, die nicht beide senkrecht zur Blickrichtung des Sensors stehen. Die Bildpunkte können weiterhin Daten über weitere, insbesondere optische, Eigenschaften der Gegenstandspunkte, beispielsweise deren Reflektivität, enthalten. Diese Daten werden im folgenden als optische Eigenschaften der Bildpunkte bezeichnet.
  • Sensoren zur Erfassung solcher geschwindigkeits- oder tiefenaufgelöster Bilder sind grundsätzlich bekannt.
  • Hierbei kann es sich beispielsweise um Ultraschallsensoren handeln.
  • Vorzugsweise werden Sensoren für elektromagnetische Strahlung verwendet.
  • Hierbei kann es sich beispielsweise um Radarsensoren handeln. Vorzugsweise werden bei diesen Geschwindigkeiten der Gegenstandspunkte verfolgt.
  • Besonders bevorzugt kann es sich bei den Sensoren für elektromagnetische Strahlung um optoelektronische Sensoren handeln, die eine gute Ortsauflösung bieten und daher für das erfindungsgemäße Verfahren bevorzugt sind. So können beispielsweise Systeme mit Stereo- Videokameras verwendet werden, die eine Einrichtung zur Umsetzung der von den Kameras aufgenommenen Rohdaten in tiefenaufgelöste Bilder aufweisen.
  • Vorzugsweise werden jedoch Laserscanner verwendet, die bei einer Abtastung einen Sichtbereich mit mindestens einem gepulsten Strahlungsbündel abtasten, das einen vorgegebenen Winkelbereich überstreicht und von einem Punkt bzw. Bereich eines Gegenstands, meist diffus, reflektierte Strahlungspulse des Strahlungsbündels detektieren. Dabei wird zur Entfernungsmessung die Laufzeit der ausgesandten, reflektierten und detektierten Strahlungspulse erfaßt. Die so erfaßten Rohdaten für einen Bildpunkt können dann als Koordinaten den Winkel, bei dem der Reflex erfaßt wurde, und die aus der Laufzeit der Strahlungspulse bestimmte Entfernung des Gegenstandspunkts enthalten. Bei der Strahlung kann es sich insbesondere um sichtbares oder infrarotes Licht handeln.
  • Bei der Erkennung und Verfolgung der Objekte werden bei einem gattungsgemäßen Verfahren den Objekten zugeordnete Modelle verwendet, die zumindest dazu dienen, zusammen mit den Daten der geschwindigkeits- oder tiefenaufgelösten Bilder die Bewegung von Objekten zu verfolgen. Bei den sensorspezifischen Zustandsparametern kann es sich insbesondere um solche handeln, die dem Typ der von dem Sensor erfaßten Messdaten entsprechen. Bei Sensoren, die geschwindigkeitsaufgelöste Bilder erfassen, können insbesondere entsprechende, die Geschwindigkeit eines Gegenstands bzw. des dieses darstellenden Objekts beschreibende Zustandsvariablen, bei tiefenaufgelösten Bildern die Position eines Gegenstands bzw. des dieses darstellenden Objekts verwendet werden. Im einfachsten Fall kann es sich bei den Zustandsparametern, mit denen wenigstens die Position eines Objekts beschreibbar ist, um Koordinaten eines Bezugspunktes des Objekts, beispielsweise des geometrischen Schwerpunkts des Objekts, handeln.
  • Die Modelle können in bestimmte Typen eingeteilt werden und sind durch Modellparameter parametrisierbar. Die Anzahl und Art der Modellparameter ist dabei für den Modelltyp spezifisch, die Parametrisierung erfolgt durch Wahl entsprechender Werte des oder der Modellparameter. Insbesondere können die Modelle dazu dienen, die Position eines Objekts vorherzusagen, in deren Nähe dann in einem folgenden tiefenaufgelösten Bild nach dem Objekt gesucht werden kann.
  • Um eine gute Beschreibung des Objektverhaltens durch die Modelle zu erreichen, ist ein gattungsgemäßes Verfahren gemäß der Erfindung dadurch gekennzeichnet, daß zur Klassifizierung von Objekten mehrere Objektklassen vorgesehen werden, die wenigstens eine Eigenschaft von Objekten betreffen, die aus wenigstens einem der tiefenaufgelösten Bilder bestimmbar ist, daß mindestens einem Objekt in Abhängigkeit von der Eigenschaft des Objekts genau eine der Objektklassen zugeordnet ist und daß dem Objekt in Abhängigkeit von der zugeordneten Objektklasse ein Modelltyp und ein Wert für den entsprechenden Modellparameter zugeordnet werden.
  • Eine Objektklasse zeichnet sich dabei dadurch aus, daß Objekte, denen die Klasse zugeordnet ist, Gegenstände mit wenigstens einer bestimmten, für die Objektklasse spezifischen Eigenschaft darstellen. Grundsätzlich genügt eine Eigenschaft zur Spezifikation der Objektklasse, es können aber auch Kombinationen von Eigenschaften verwendet werden, die eine eindeutige Zuordnung erlauben.
  • Die Eigenschaften sind dabei vorzugsweise so gewählt, daß sie für einen Gegenstand zumindest für den Beobachtungszeitraum konstant bleiben sollten. Im Rahmen dieser Anmeldung wird unter dem Begriff "konstante Eigenschaft" auch verstanden, daß Gegenstände der entsprechenden Objektklasse eine ganze Menge von Ausprägungen einer in einem durch die Gegenstände der Objektklasse vorgegebenen Rahmen veränderlichen Eigenschaft umfassen kann, wobei die Ausprägungen sich insbesondere in einem vorgegebenem Rahmen auseinander entwickeln können. Die Eigenschaft besteht dann also in der Menge der speziellen Ausprägungen der veränderlichen Eigenschaft, die ein Gegenstand der entsprechenden Objektklasse annehmen kann. Beispielsweise kann ein Sattelzug oder ein Gelenkbus in gestrecktem Zustand im wesentlichen die Form eines Rechtecks aufweisen, aus der sich bei Kurvenfahrt jedoch eine sich aus dem Rechteck ergebende abgewinkelte, immer noch objektklassenspezifische Form entwickeln kann. Unter der Form wird dann nicht nur die Form in gestrecktem Zustand, sondern die Menge der möglichen Formen verstanden.
  • In einem erfaßten Bild können einzelne aus dem Bild bestimmte Eigenschaften auch eines Objekts, das einen unveränderlichen Gegenstand darstellt, beispielsweise je nach Perspektive veränderlich sein.
  • Bei den Eigenschaften kann es sich um qualitative Eigenschaften, aber auch um durch wenigstens einen Parameter beschreibbare Eigenschaften des Objekts bzw. des durch das Objekt dargestellten Gegenstands handeln. Dabei kann die Eigenschaft insbesondere auch darin bestehen, daß die Werte des Parameters innerhalb eines vorgegebenen Intervalls liegen. Eine zur Zuordnung einer Objektklasse zu einem Objekt verwendete, im folgenden als definierend bezeichnete Eigenschaft zeichnet sich dadurch aus, daß sie aus wenigstens einem erfaßten tiefenaufgelösten Bild ermittelbar ist.
  • Vorzugsweise werden die Objektklassen, d. h. die sie definierende Eigenschaft bzw. die sie definierenden Eigenschaften so gewählt, daß die Gegenstände, die diese objektklassenspezifischen definierenden Eigenschaften aufweisen, auch in bezug auf die Objekterkennung und -verfolgung so ähnliche Eigenschaften aufweisen, daß sie mittels gleicher Modelltypen und gleicher Werte der Modellparameter beschreibbar sind.
  • Das bedeutet, daß eine Objektklasse durch wenigstens eine definierende Eigenschaft von Objekten, über die die Zuordnung eines Objekts erfolgen kann, sowie einen Modelltyp und wenigstens einen Wert eines entsprechenden Modellparameters für den Modelltyp gekennzeichnet ist.
  • Objekte werden bei gattungsgemäßen Verfahren je nach Inhalt der Bilder gegebenenfalls neu gebildet. Grundsätzlich genügt es, daß mindestens einem Objekt nach seiner Bildung eine der Objektklassen zugeordnet ist. Vorzugsweise sind mehreren oder allen vorkommenden Objekten entsprechende Objektklassen zugeordnet. Weiterhin kann die Zuordnung einer Objektklasse zu einem Objekt dabei vor bzw. bei der Bildung des Objekts oder nach der Bildung des Objekts erfolgen.
  • Durch die objektklassenabhängige Zuordnung eines Modelltyps und mindestens eines Werts für einen entsprechenden Modellparameter kann das bei dem erfindungsgemäßen Verfahren zur Erkennung und Verfolgung von Objekten verwendete Modell das Verhalten des Objekts und insbesondere dessen Bewegung besser beschreiben als dies bei konventionellen Verfahren der Fall ist, die strukturell gleiche Modelltypen und gleiche Werte für Modellparameter für alle bei dem Verfahren auftretenden Objekte verwenden.
  • Insbesondere bei Verfahren, bei denen eine Vorhersage der Objektposition anhand eines Modells eines gegebenen Typs mit gegebenen Modellparametern erfolgt, kann hierdurch eine wesentlich genauere Vorhersage erfolgen. Darüber hinaus wird auch die Erkennung von Objekten erleichtert, da die durch diese dargestellten Gegenstände in dem oben beschriebenen Rahmen ihre objektklassenspezifischen Eigenschaften nicht ändern sollten, so daß bei einem bevorzugten Verfahren eine Zuordnung von Bildpunkten zu einem Objekt nur erfolgt, wenn diese mit den objektklassenspezifischen Eigenschaften des Objekts konsistent sind. Ist eine Eigenschaft dadurch gegeben, daß die Werte eines eine definierende Eigenschaft beschreibenden Parameters innerhalb eines Intervalls liegen, reicht es grundsätzlich, daß ein aus den Bildern bestimmter Parameter innerhalb des vorgegebenen Intervalls bleibt.
  • Bevorzugt können die Objektklassen daher nach geometrischen Parametern und/oder der Form der erkannten Objekte gebildet werden, wobei insbesondere im Hinblick auf die Verwendung in Fahrzeugen die Ausdehnung und Proportion eines Objekts, die beispielsweise durch Länge und Breite eines das Objekt umschreibenden Rechtecks gegeben sein kann, wesentliche Eigenschaften sind, da hierdurch Objekte mit sehr unterschiedlichem dynamischem Verhalten klassifizierbar sind. Große Kraftfahrzeuge wie zum Beispiel Lastkraftwagen und Busse können von kleinen Kraftfahrzeugen wie zum Beispiel Personenkraftwagen und insbesondere Personen unterschieden werden, die durch unterschiedliche Modelltypen und/oder Werte der Modellparameter beschrieben werden.
  • Besonders bevorzugt wird bei der Wahl der Objektklassen das mögliche dynamische Verhalten, das heißt die möglichen Bewegungen, von durch die Objekte dargestellten Gegenständen berücksichtigt. Dies ist insbesondere im Hinblick auf die Vorhersage der Position von Objekten von Bedeutung, da die Vorhersage nur unter Berücksichtigung eines möglichst guten Modells für die Bewegung eines Objekts genau erfolgen kann.
  • Besonders bevorzugt ist es dabei, daß die Modellparameter für wenigstens eines der Objekte wenigstens einen objektklassenabhängigen Modellparameter umfassen, der zur Beschreibung des dynamischen Verhaltens des Objekts dient. Hierbei kann es sich insbesondere um die maximal mögliche Beschleunigung oder einen maximal möglichen Lenkwinkel handeln. Darüber hinaus können als Modellparameter auch Maximalgeschwindigkeiten vorgesehen sein. Bei einer solchen Wahl werden die sehr großen Unterschiede insbesondere zwischen Nutzfahrzeugen, wie Lastkraftwagen und Bussen, Personenkraftwagen sowie Personen gut berücksichtigt, so daß durch entsprechende Wahl des Modelltyps und/oder eines Werts wenigstens eines Modellparameters für den Modelltyp die Beschreibung der zeitlichen Entwicklung der Zustandsparameter verbessert wird.
  • Die Modellparameter müssen aber nicht nur zur Vorhersage der Bahn des Objekts dienen, sondern können auch die Beschreibung von Unsicherheiten in der Bahn betreffen, die durch entsprechende Varianzen bzw. Kovarianzen bei einer statistischen Beschreibung erfaßbar sind. Bei von Personen gesteuerten Fahrzeugen können solche Unsicherheiten in der Bahn insbesondere durch Steuer- oder Beschleunigungsvorgänge, die von den Personen ausgelöst werden und daher bei der Objekterkennung und -verfolgung nicht vorhersagbar sind, bedingt sein.
  • Dementsprechend ist bevorzugt für Lebewesen, insbesondere Personen, Fahrzeuge und sonstige Gegenstände jeweils wenigstens eine Objektklasse vorgesehen. Diese unterscheiden sich insbesondere durch ihre maximal mögliche Beschleunigung. Darüber hinaus ist auch im Hinblick auf die sonstigen Gegenstände eine Unterscheidung dahingehend möglich, daß Objekte ortsfest sind, das heißt sich nicht bewegen können.
  • Bevorzugt kann als Objektklasse für Fahrzeuge eine Objektklasse für Personenkraftwagen, eine für Lastkraftwagen und/oder Busse, sowie eine für Zweiräder vorgesehen sein, da sich diese im Hinblick auf die zur Klassifikation verwendeten, definierenden Eigenschaften durch ihre Ausdehnung und/oder Beschleunigung und im Hinblick auf die Werte von Modellparametern beispielsweise durch die Maximalbeschleunigung und/oder Maximalgeschwindigkeit unterscheiden.
  • Es ist besonders bevorzugt, daß zur Verfolgung von Objekten auf der Basis vorhergehender Bilder des dem Objekt zugeordneten Modells neue Werte wenigstens für die Position mindestens eines Objekts prädiziert werden, daß für das Objekt unter Verwendung wenigstens eines objektklassenabhängigen Modellparameters ein Suchbereich in dem aktuellen Bild definiert wird, in dem nach Bildpunkten für das Objekt gesucht wird, und daß unter Verwendung des prädizierten Wertes wenigstens der Position des Objekts und der Lage der Bildpunkte in dem aktuellen Bild ein neuer Wert für wenigstens die Position des Objekts bestimmt wird.
  • Die Suche nach Bildpunkten für das Objekt kann dabei nach einer Zusammenfassung von Bildpunkten zu Segmenten erfolgen, die jeweils einen einzelnen Bildpunkt oder eine Menge aller Bildpunkte umfassen, von denen jeweils mindestens zwei entsprechend wenigstens einem Segmentierungskriterium als dem Segment zugehörig definiert werden, und die untereinander keine gemeinsamen Bildpunkte aufweisen. Bei diesem Segmentierungskriterium kann es sich insbesondere um ein Kriterium für einen maximal zulässigen Abstand und/oder einen maximal zulässigen Unterschied einer optischen Eigenschaft, insbesondere der Reflektivität, oder bei Verwendung geschwindigkeitsaufgelöster Bilder um ein Kriterium für eine maximal zulässige Differenz der Relativgeschwindigkeiten handeln. Weiterhin kann bei Verwendung eines Laserscanners auch eine aus Pulsbreiten und/oder -höhen bestimmte Neigung einer Fläche verwendet werden. Bei Verwendung von optischen Eigenschaften kann dabei die direkt zu Bestimmung der Reflektivität verwendete Meßgröße des Sensors, bei einem Laserscanner beispielsweise Pulsbreite und/oder -höhe der reflektierten und detektierten Strahlungspulse verwendet werden.
  • Bei der Definition des Suchbereichs können insbesondere noch prädizierte Werte der Position verwendet werden. Die Verfolgung der Objekte kann dabei insbesondere auch auf Basis vorhergehender aus Meßwerten, die aus einem Bild gewonnen wurden, bestimmter Werte der Zustandsparameter erfolgen.
  • Das erfindungsgemäße Verfahren nach der genannten Weiterbildung führt insbesondere zu besser angepaßten Suchbereichen, die damit je nach Objektklasse kleiner sein können als Suchbereiche bei Standardmodellen für alle Objekte, da letztere, um Objekte möglichst sicher zu finden, in jedem Fall sehr groß gewählt werden müssen. Bei diesen einfachen Verfahren ergeben sich nicht nur große Suchbereiche, sondern es treten auch eher Überschneidungen von Suchbereichen auf, die eine relativ komplizierte und zeitaufwendige Behandlung von Bildpunkten in den sich überschneidenden Bereichen erfordern. Die erfindungsgemäß besser angepaßten Suchbereiche dagegen sind kleiner und erlauben daher zum einen aufgrund der kleineren Fläche eine bessere Suche. Zum anderen werden Überschneidungen zwischen Suchbereichen stark reduziert. Dadurch werden komplizierte Berechnungen zur Zuordnung von Bildpunkten oder Segmenten zu einem der den sich überschneidenden Suchbereiche entsprechenden Objekte seltener erforderlich. Weiterhin werden falsche Zuordnungen von Bildpunkten oder Segmenten, die bei zu großen Suchbereichen möglich ist, vermieden.
  • Besonders bevorzugt wird zur Objektverfolgung ein Kalman-Filter verwendet und wenigstens eine der zur Definition des Suchbereichs verwendeten Varianzen und/oder Kovarianzen der Position für wenigstens ein Objekt in Abhängigkeit von wenigstens einem der objektklassenabhängigen Modellparameter bestimmt. Die bei der Kalman-Filterung verwendeten Meßgrößen umfassen dabei insbesondere die Positionen der Objekte bzw. entsprechender Bezugspunkte der Objekte, die aus einem erfaßten Bild ermittelt werden. Bei der Verwendung eines solchen Kalman-Filters werden Werte der Meßgrößen und die Varianzen und Kovarianzen für die Position eines Objekts vorhergesagt. Der Suchbereich wird dann so definiert, daß das Objekt in dem aktuellen Bild mit einer vorgegebenen Wahrscheinlichkeit in dem Suchbereich aufgefunden wird. Beispielsweise kann hier ein Wert von 99% gewählt werden. Anhand eines prädizierten Wertes der die Position des Objekts bestimmenden Meßgröße läßt sich dann die Lage des Suchbereichs und anhand der Varianzen bzw. Kovarianzen Form und Größe des Suchbereichs festlegen. Durch die Abhängigkeit der Varianzen bzw. Kovarianzen von objektklassenabhängigen Modellparametern, insbesondere der maximalen Beschleunigung eines Objekts der Klasse, kann der Suchbereich kontrolliert und genau eingeschränkt werden.
  • Bevorzugt ist wenigstens eine Objektklasse für Gegenstände vorgesehen, die keine Fahrzeuge sind. Für Objekte, denen diese Objektklasse zugeordnet wurde, wird dann ein objektklassenabhängiger Modelltyp und/oder Modellparameter verwendet, nach dem mögliche Bewegungen des Objekts in allen Richtungen gleich behandelt werden. Objektklassen, denen typischerweise solche Modelltypen zugeordnet werden, sind zum Beispiel Objektklassen für Personen und sonstige, nicht näher klassifizierbare Gegenstände, von denen angenommen werden kann, daß sie sich in allen Richtungen gleich wahrscheinlich bewegen können und werden. Insbesondere sind mögliche Beschleunigungen in jeder Bewegungsrichtung gleich. Damit ergeben sich insbesondere bei Verwendung eines Kalman- Filters gleiche Varianzen bzw. Kovarianzen für die Positionen eines Objekts in allen Richtungen. Die Isotropie eines Modells kann häufig auch durch Wahl von Modellparametern erreicht werden.
  • Weiterhin ist es bevorzugt, daß wenigstens eine Objektklasse für Fahrzeuge vorgesehen ist und daß für Objekte, denen eine der Objektklassen für Fahrzeuge zugeordnet ist, ein Modelltyp verwendet wird, bei dem dem Objekt eine Objektlängsachse zugeordnet wird und Bewegungen des Objekts in Richtung der Objektlängsachse und solche senkrecht zur Richtung der Objektlängsachse unterschiedlich in dem Modelltyp berücksichtigt werden. Hierdurch kann insbesondere berücksichtigt werden, daß die Beschleunigung von Fahrzeugen quer zur Fahrzeuglängsachse bei normalem Fahrverhalten allenfalls aufgrund von Lenkbewegungen erfolgen kann, wodurch eine mögliche Querbeschleunigung zwischen der letzten Messung der Position eines Objekts und einer möglichen vorhergesagten Position des Objekts und damit eine Positionsänderung in dieser Richtung stark eingeschränkt sind. So weist ein Fahrzeug wie ein Personenkraftwagen in Fahrzeuglängsrichtung eine andere maximale Beschleunigung auf als quer dazu.
  • Grundsätzlich ist es hierbei möglich, daß dem Objekt nicht nur eine Achse sondern auch eine Achsenrichtung zugeordnet wird, und daß Beschleunigungen in Fahrtrichtung und Bremsverzögerungen, das heißt Beschleunigungen entgegen der Fahrtrichtung unterschiedlich behandelt werden. Dies ist je nach Anwendung bevorzugt, da die meisten Fahrzeuge bessere maximale Bremsverzögerungen als maximale Beschleunigungen aufweisen. Insbesondere kann sich hieraus ein günstigerer Suchbereich ergeben. So ist bei Verwendung eines Kalman-Filters, bei dem häufig zur Bestimmung der Varianzen und Kovarianzen der Positionen und Geschwindigkeiten die Beschleunigungen von Fahrzeugen berücksichtigt werden, eine günstige Anpassung des Suchbereichs möglich.
  • Besonders bevorzugt werden für Objekte, denen eine der Objektklassen für Fahrzeuge zugeordnet ist, Modelltypen verwendet, in denen kinematische Zwangsbedingungen berücksichtigt werden. Hiermit kann der Tatsache Rechnung getragen werden, daß sich Fahrzeuge zumindest im normalen Fahrbetrieb nur auf durch Lenkausschläge bestimmten Bahnen bewegen können, wodurch insbesondere die Prädiktion der Position eines Objekts erleichtert wird. Darüber hinaus kann aber auch wie oben ausgeführt, eine Verkleinerung des Suchbereichs erreicht werden.
  • Besonders bevorzugt kann als Modelltyp ein Ein- oder Zweispurmodell verwendet werden. Insbesondere das Einspurmodell zeichnet sich durch eine vergleichsweise geringe Anzahl von Zustandsparametern aus, wobei jedoch die für eine Objekterkennung und -verfolgung relevanten Bewegungsformen eines Fahrzeugs berücksichtigbar sind. Wird ein Kalman- Filter verwendet, können in diesen Einspurmodellen insbesondere die nicht stochastischen Beschleunigungen auf den Wert Null gesetzt werden.
  • Die Zuordnung von Objekten zu Objektklassen kann aufgrund der beschränkten Information in seltenen Einzelfällen unzutreffend sein. Es ist daher bevorzugt, daß der Modelltyp und/oder wenigstens einer der Modellparameter wenigstens eines Objekts situationsabhängig adaptiert wird. Hierdurch können abhängig von gemessenen geometrischen und/oder dynamischen Daten eines Objekts der Modelltyp gewechselt und/oder wenigstens ein Wert wenigstens eines Modellparameters angepaßt werden, was mit einem Wechsel der Objektklasse einhergehen kann, aber nicht unbedingt muß.
  • So ist eine Anpassung eines Modellparameters ohne einen Wechsel der Objektklasse insbesondere bei einer bevorzugten Weiterbildung des Verfahrens möglich, bei der für wenigstens eine Objektklasse nur ein Wertebereich für den Modellparameter bestimmt ist, wobei ein vorgegebener Standard- bzw. Defaultwert vorgesehen ist, der vor einer ersten Adaption verwendet wird. Der Standardwert kann dabei insbesondere so gewählt sein, daß für Objekte der Objektklasse, die den am häufigsten vorkommenden Gegenständen entsprechen, eine gute Beschreibung des Verhaltens erzielt wird. Damit kann bei der Erstzuweisung eines Modells ein Wert des entsprechenden Modellparameters zugewiesen werden, der jedoch später verbessert werden kann. Insbesondere können sich im Verlauf einer Objektverfolgung aufgrund verschiedener erfaßter Ansichten eines Gegenstands, dem das Objekt entspricht, die Dimensionen des Objekts verändern. Entsprechend der Änderung der Dimension können dann weitere Modellparameter adaptiert werden. Beispielsweise ist es denkbar, bei sehr großen Personenkraftwagen höhere Maximalbeschleunigungen vorzusehen. Eine solche Adaption des Modelltyps und/oder mindestens eines Wertes wenigstens eines Modellparameters kann dann zu einem wesentlich besseren Ergebnis der Objekterkennung und -verfolgung führen. Insbesondere können die oben geschilderten Vorteile eines reduzierten Suchbereichs erreicht werden.
  • Besonders bevorzugt wird eine Adaption durchgeführt, wenn ein gemessener Wert mindestens eines vorbestimmten Zustandsparameters nicht konsistent ist mit einem vorhergehenden gemessenen Wert oder mit einem auf der Basis vorhergehender Werte des Zustandsparameters prädizierten Wert des vorbestimmten Zustandsparameters. Hierbei kann es sich insbesondere um geometrische Abmessungen handeln, die aufgrund einer Verdeckung eines Gegenstands durch einen anderen Gegenstand oder einer ungünstigen Perspektive zunächst nicht korrekt bestimmt wurden. Darüber hinaus kann es sich auch um ungewöhnliche Geschwindigkeitsänderungen handeln.
  • Weiterhin ist es bevorzugt, daß eine Adaption des Modelltyps durchgeführt wird, wenn festgestellt wird, daß der optoelektronische Sensor einen Normalbewegungszustand verlassen hat oder in diesen zurückgekehrt ist. Insbesondere in dem Fall, daß der optoelektronische Sensor an einem Fahrzeug befestigt ist, kann der Normalbewegungszustand dadurch definiert sein, daß das Fahrzeug nicht schleudert, das heißt, sich im wesentlichen auf einer durch den Lenkwinkel und die Geschwindigkeit und Beschleunigung des Fahrzeugs bestimmten Bahn bewegt. Bei Verlassen des Normalbewegungszustands ist ein für ein Fahrzeug bevorzugt gewähltes Modell, bei dem kinematische Zwangsbedingungen berücksichtigt werden, von seinem Typ her in der Regel nicht mehr geeignet, die Bewegung hinreichend genau zu beschreiben, so daß in der Regel ein allgemeinerer Modelltyp gewählt werden wird, in dem die Bewegung des Objekts noch erfaßbar ist. Insbesondere im Fall eines Fahrzeugs kann beispielsweise bei Erkennen eines Schleuderzustands ein Übergang von einem Einspurmodell zu einem einfachen isotropen Modell erfolgen, in dem die Bewegung sowohl in Richtung des Fahrzeugs als auch quer zum Fahrzeug gleich behandelt wird.
  • Weiterer Gegenstand der Erfindung ist ein Computerprogramm mit Programmcode-Mitteln, um das erfindungsgemäße Verfahren durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
  • Gegenstand der Erfindung ist auch ein Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das erfindungsgemäße Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer ausgeführt wird.
  • Unter einem Computer wird hierbei eine beliebige Datenverarbeitungsvorrichtung verstanden, mit der das Verfahren ausgeführt werden kann. Insbesondere können diese digitale Signalprozessoren und/oder Mikroprozessoren aufweisen, mit denen das Verfahren ganz oder in Teilen ausgeführt wird.
  • Weiterer Gegenstand der Erfindung ist ein Verfahren zur Erkennung und Verfolgung von Gegenständen in einem Sichtbereich wenigstens eines Sensors, insbesondere eines Laserscanners, bei dem mit dem Sensor zeitlich aufeinanderfolgende tiefenaufgelöste Bilder wenigstens eines Teils seines Sichtbereichs erfaßt werden, und bei dem die erfaßten Bilder mit dem erfindungsgemäßen Verfahren zur Erkennung und Verfolgung von Objekten verarbeitet werden.
  • Schließlich ist Gegenstand der Erfindung eine Vorrichtung zur Erkennung und Verfolgung von Objekten mit mindestens einem zur Erfassung geschwindigkeits- oder tiefenaufgelöster Bilder eines Überwachungsbereichs ausgebildeten Sensor, vorzugsweise einem optoelektronischen Sensor, insbesondere einem Laserscanner, dessen Sichtbereich den Überwachungsbereich einschließt, und mit einer Datenverarbeitungseinrichtung, die zur Durchführung des erfindungsgemäßen Verfahrens ausgebildet ist.
  • Bevorzugt kann die Datenverarbeitungseinrichtung dazu einen Prozessor und eine Speichereinrichtung aufweisen, in der ein erfindungsgemäßes Computerprogramm zur Ausführung auf dem Prozessor gespeichert ist. Die Datenverarbeitungseinrichtung kann dabei als Prozessor besonders bevorzugt einen digitalen Signalprozessor aufweisen.
  • Bevorzugte Ausführungsformen der Erfindung werden nun beispielhaft anhand der Zeichnungen beschrieben. Es zeigen:
  • Fig. 1 eine schematische Draufsicht auf ein Fahrzeug mit einem Laserscanner und einen Sichtbereich des Laserscanners, in dem sich ein Gegenstand sowie ein bei der Objektverfolgung benutzter Suchbereich befinden,
  • Fig. 2 ein Ablaufdiagramm für ein Verfahren zur Erkennung und Verfolgung von Objekten nach einer bevorzugten Ausführungsform der Erfindung, und
  • Fig. 3 eine schematische Darstellung des Fahrzeugs in Fig. 1 und eines Personenkraftwagens sowie des bei dem erfindungsgemäßen Verfahren verwendeten Suchbereichs für das dem Personenkraftwagen zugeordnete Objekt.
  • In Fig. 1 ist an der Frontseite eines Fahrzeugs 10 ein Laserscanner 12 angeordnet, dessen Sichtbereich 14 einen Teil des in Fahrtrichtung vor dem Fahrzeug liegenden Bereichs umfaßt. Im Sichtbereich 14 befindet sich ein Gegenstand 16.
  • Der Laserscanner 12 tastet seinen Sichtbereich 14 mit einem umlaufenden, gepulsten Strahlungsbündel 18 ab und erfaßt die Position von Gegenstandspunkten 22, 24 und 26 des Gegenstands 16, an denen ein Puls des Strahlungsbündels reflektiert wurde, anhand des Winkels, bei dem der Strahlungspuls ausgesandt wurde, und dem Abstand zum Laserscanner 12, der sich aus der Laufzeit des Strahlungspulses von der Abstrahlung bis zum Empfang nach der Reflexion ergibt. Bei einer Abtastung des Sichtbereichs 14 wird somit ein tiefenaufgelöstes Bild erfaßt, das die bei der Abtastung erfaßten Rohdatenelemente bzw. Bildpunkte umfaßt, die zumindest die Koordinaten der Gegenstandspunkte 22, 24 und 26 enthalten, an denen das Strahlungsbündel 18 reflektiert wurde. Die Aktualisierung der vollständigen Bilder erfolgt in einem zeitlichen Abstand T.
  • Die von dem Laserscanner 12 erfaßten Bilder werden, gegebenenfalls nach einer Korrektur der Rohdatenelemente, an eine Datenverarbeitungseinrichtung 20 in dem Fahrzeug 10 ausgegeben, in der eine Weiterverarbeitung der Bilder stattfindet. Die Datenverarbeitungseinrichtung 20 weist dazu, in den Figuren nicht gezeigt, einen Prozessor und einen Speicher sowie eine Schnittstelle zur Übertragung der Daten von dem Laserscanner auf. Weiterhin ist eine Schnittstelle zur Ausgabe von Daten an andere Datenverarbeitungseinrichtungen in dem Fahrzeug 10 vorgesehen, die jedoch ebenfalls in den Figuren nicht gezeigt sind.
  • Zur Erkennung und Verfolgung von Objekten wird ein Objekterkennungs- und -verfolgungsverfahren nach einer bevorzugten Ausführungsform der Erfindung in der Datenverarbeitungseinrichtung 20 ausgeführt. Zur Objekterkennung und -verfolgung wird ein Kalman-Filter verwendet, der in diesem Beispiel in linearisierter Form verwendet wird. Dabei bezeichnet Xn(k) den Vektor mit Zustandsparametern, die den Zustand des Objekts n bei der Iteration k beschreiben und die Positionskoordinaten xn(k) und yn(k) eines dem Objekt n zugeordneten Referenzpunkts in einem ortsfesten Koordinatensystem, im Beispiel dem geometrischen Schwerpunkt des Objekts, umfassen, und Zn(k) den Vektor von Meßgrößen für das Objekt n bei der Messung für die Iteration k, die aus erfaßten Bildern bestimmt und bei der Objekterkennung und -verfolgung verwendet werden. Die Anzahl und Art der Zustandsparameter, die einem Objekt zugeordnet sind, hängt von dem Modelltyp ab, mit dem das Bewegungsverhalten eines Objekts bzw. eines durch das Objekt dargestellten realen Gegenstands beschrieben werden soll.
  • Die Gleichungen haben folgende Form

    Xn(k + 1) = FnXn(k) + un(k)

    Zn(k) = HnXn(k) + wn(k)

    wobei Fn eine Matrix ist, die die deterministische Zeitentwicklung der Zustandsparameter Xn des Objekts n bestimmt. Mit der Matrix Hn sind die Meßgrößen Zn aus den Zustandsparametern Xn bestimmbar. un und wn bezeichnen jeweils ein weißes, mittelwertfreies Rauschen für die Zustandsparameter und die Meßgrößen, wobei un und wn unkorreliert sind. Sie weisen aber jeweils durch eine entsprechende Kovarianzmatrix Qn bzw. Rn gegebene Korrelationen auf.
  • Das eigentliche Modell im Sinne der Anmeldung wird durch die erste Gleichung und die Kovarianzmatrix Qn gegeben. Die Angabe des Modells besteht also in der Angabe der Zustandsparameter und der Meßgrößen, sowie von Werten für die Matrizen Fn, Hn und Qn. Rn ist im wesentlichen durch die Meßgenauigkeit des Laserscanners 10 bestimmt und wird hier als bekannt vorausgesetzt.
  • Die Spezifizierung der Modelle anhand von Objektklassen wird nach einer Übersicht über den Verfahrensablauf behandelt.
  • Der Ablauf des Verfahrens ist grob schematisch in Fig. 2 dargestellt.
  • Bei einer neuen Iteration wird zunächst in Schritt S10 ein neues Bild von dem Laserscanner 12 eingelesen.
  • Im Schritt S12 wird dann das Bild segmentiert. Dazu werden Bildpunkte zu Segmenten zusammengefaßt, die jeweils einen einzelnen Bildpunkt oder eine Menge aller Bildpunkte umfassen, von denen jeweils mindestens zwei einen Abstand aufweisen, der kleiner als ein vorgegebener Mindestabstand ist, wobei die Segmente untereinander keine gemeinsamen Bildpunkte aufweisen Es können jedoch auch alternativ oder zusätzlich Reflektivitätsunterschiede zur Segmentierung verwendet werden. In Fig. 1 bilden beispielsweise die den Gegenstandspunkten 22, 24 und 26 zugeordneten Rohdatenelemente ein Segment.
  • Um zu erkennen, welche der im Schritt S12 gebildeten Segmente einem bereits erkannten Objekt zuzuordnen sind, werden Vektoren


    für die prädizierten Meßgrößen und prädizierte Kovarianzmatrizen


    für die Meßgrößen verwendet. Diese wurden am Ende der vorhergehenden Iteration k in Schritt S14 mittels bekannter Formeln für die Kalman- Filterung prädiziert. In die Prädiktion der Kovarianzmatrizen


    gehen insbesondere die Kovarianzmatrizen Qn der Zustandsparameter ein.
  • In Schritt S16 wird dann unter Verwendung der prädizierten Meßgrößen und Kovarianzmatrizen ein Suchbereich festgelegt, in dem nach Bildpunkten bzw. Segmenten für das Objekt gesucht wird. Die Lage des Suchbereichs ergibt sich aus den prädizierten Werten der Meßgrößen für die Position des Objekts. Unter der Annahme, daß die prädizierten Meßwerte normalverteilt sind, kann eine Region angegeben werden, in der der zugehörige Meßwert eines Objekts mit hoher Wahrscheinlichkeit liegen muß. Unter Vorgabe einer Mindestwahrscheinlichkeit γ, den durch Messung ermittelten Vektor der Meßgrößen Zn(k + 1) in dem Suchbereich zu finden, ergibt sich der Suchbereich für den Schwerpunkt des Objekts aus den entsprechenden Komponenten der Vektoren der Meßgrößen in der Menge aller Vektoren Y, die der Bedingung


    genügen. Dieser Bereich entspricht in Fig. 1 für den unten beschriebenen Modelltyp dem gezeigten Kreis 28. Als eigentlicher Suchbereich für Segmente, die den Objekten in dem Iterationsschritt zugeordnet werden können, wird dann der Bereich definiert, der sich ergibt, wenn man, wie in Fig. 1 durch gestrichelte Linien angedeutet, ein Rechteck 30 mit der Orientierung und den Ausmaßen des Objekts mit seinem Schwerpunkt über die Umfangslinie des Suchbereiches 28 für den Schwerpunkt, in Fig. 1 des Kreises, umlaufen läßt und die dadurch abgedeckte Fläche einschließlich der Kreisinnenfläche als Suchbereiche für neue Segmente definiert. Dieser eigentliche Suchbereich ist in Fig. 1 schematisch durch die Kurve 31 dargestellt.
  • Im Schritt S18 erfolgt dann die Zuordnung von Segmenten zu Objekten.
  • Darauf werden in Schritt S20 unter Verwendung der zugeordneten Segmente neu berechnete Eigenschaften und Meßgrößen der Objekte und anhand des Kalman-Filters neue Schätzwerte für die Zustandsparameter des Objekts berechnet. Für Objekte, denen keine Segmente zugeordnet werden konnten, wird als neuer Schätzwert für die Zustandsparameter und die Varianzen der zuletzt prädizierte Wert verwendet. Danach wird geprüft, ob die prädizierte Varianz der Meßgrößen für die Position des Objekts einen vorgegebenen Schwellwert übersteigt. Ist dies der Fall, wird das Objekt gelöscht, da es dann als zu unsicher gilt. Ansonsten wird es wie ein normales Objekt weiterbehandelt.
  • Können bei der Zuordnung von Segmenten zu Objekten im Schritt S18 Segmente keinem Objekt zugeordnet werden, werden im Schritt S22 aus diesen Segmenten neue Objekte gebildet.
  • Nach Bildung der neuen Objekte wird diesen im Schritt S24 anhand der Größe und Form der Segmente eine Objektklasse zugewiesen. Dazu wird das kleinste Rechteck bestimmt, das alle Punkte des Segments umfaßt, wobei neben einer Änderung der Seitenlängen des Rechtecks auch Drehungen des Rechtecks zugelassen sind. Jeder der Objektklassen ist sowohl für die Länge als auch die Breite eines solchen Rechtecks ein Bereich zulässiger Werte zugeordnet, so daß einem neuen Objekt die entsprechende Objektklasse zugeordnet wird, wenn sowohl Länge als auch Breite in dem für die Objektklasse zulässigen Wertebereich liegen. Gleichzeitig wird den neuen Objekten ein Modell zugeordnet, indem ihnen in Abhängigkeit von der zugeordneten Objektklasse ein objektklassenspezifischer Modelltyp und objektklassenspezifische Werte für entsprechende Modellparameter des Modelltyps zugeordnet werden. Neuen Objekten können weiterhin Bewegungseigenschaften des Objekts betreffende Zustandsparameter, beispielsweise für die Geschwindigkeit zugewiesen werden, wobei deren Werte sich aus Plausibilitätsüberlegungen ergeben können.
  • Im Schritt S26 werden dann die Schätzwerte für die Objekte ausgegeben bzw. gespeichert.
  • In Schritt S14 werden dann mittels bekannter Formeln für die Kalman- Filterung Vektoren


    für die prädizierten Meßgrößen und prädizierte Kovarianzmatrizen


    für die Meßgrößen prädiziert, woraufhin das Verfahren mit Schritt S10 fortgesetzt wird.
  • Als Objektklassen sind in diesem Beispiel Objektklassen für Personen und Personenkraftwagen und Lastkraftwagen vorgesehen. Im vorliegenden Beispiel werden die Objektklassen anhand der geometrischen Dimensionen der erkannten Objekte zugewiesen.
  • Die Objektklasse Person zeichnet sich im Beispiel dadurch aus, daß Gegenstände in der Abtastebene des Laserscanners eine Länge und Breite in einem Intervall von 0,1 m bis 1 m haben. Einem Objekt 1, das dem in Fig. 1 gezeigten Gegenstand 16 entspricht, ist im Beispiel die Objektklasse Person zugeordnet. Da auf der Basis der von dem Laserscanner 12 erfaßten Daten in aller Regel keine Orientierung der Person festgestellt werden kann, werden als Zustandsparameter eines einer Person entsprechenden Objekts der geometrische Objektschwerpunkt, das heißt genauer dessen Koordinaten, die Objektgeschwindigkeit und die Breite und Länge eines das Objekt darstellenden Rechtecks verwendet. Da sich Personen unvorhersehbar in allen möglichen Richtungen bewegen können, wird als deterministischer Teil des Modells eine geradlinige gleichförmige Bewegung des Schwerpunkts, in Fig. 1 angedeutet durch den Pfeil von dem Gegenstand 16 zu dem Suchbereich 28, angenommen, wobei unvorhersehbare Schwankungen in den Positionen des Schwerpunkts in allen Richtungen gleich wahrscheinlich sind. Hierdurch können insbesondere Beschleunigungen in der Bewegung der Person berücksichtigt werden.
  • Als Zustandsparameter ergeben sich damit die Positionen x und y in x- und y-Richtung, die Geschwindigkeiten in den beiden Koordinatenrichtungen vx, vy, sowie die Breite b und Länge l eines das Objekt darstellenden Rechtecks, wobei die Koordinaten und Geschwindigkeiten in dem kartesischen Koordinatensystem mit x- und y-Achsen angegeben sind. Der Vektor X der Zustandsparameter für die Iteration k lautet daher

    X1(k) = (x(k), y(k), vx(k), vy(k), b(k), l(k)).

  • Die Matrix F1 hat dann die Form


  • Wie bereits ausgeführt, werden durch das Rauschen w unter anderem Bewegungen aufgrund nicht vorhersehbarer Beschleunigungen des Gegenstands 16, d. h. hier einer Person, berücksichtigt. Die Kovarianzmatrix Q1 lautet daher:


  • Hierbei bezeichnet a die maximal mögliche Beschleunigung für ein Objekt der Objektklasse Person. Die Varianzen und Kovarianzen ergeben sich daraus, daß aufgrund einer maximalen Beschleunigung in der Zeit T maximal die Strecke 1/2 a.T2 zurückgelegt bzw. sich die Geschwindigkeit um maximal a.T verändert haben kann. Durch Produktbildung ergeben sich Matrixelemente für die Varianzen und Kovarianzen der Koordinaten und der zugehörigen Geschwindigkeiten, wobei die Nichtdiagonalterme sich daraus ergeben, daß eine Geschwindigkeitsänderung um a.T mit einer entsprechenden Änderung der Position von 1/2 a.T2 korreliert ist. Als Wert für a wird in der Objektklasse Person etwa 2 m/s2 angenommen. σbb und σll sind die Varianzen für die Breite und Länge des ein Objekt umfassenden Rechtecks und für diese Klasse durch die Quadrate der Größe der objektklassenspezifischen Intervalle für die Breite und die Länge, die sich jeweils von 0,1 m bis 1 m erstrecken, gegeben.
  • Als Meßwerte für den Kalman-Filter werden die Koordinaten x und y des Objekts und die Breite b und Länge l des das Objekt umschreibenden Rechtecks verwendet. Das Rechteck ist das Rechteck, das die dem Objekt zuzuordnenden Segmente möglichst eng umschließt. Daher lautet der Vektor der Meßgrößen Z1 = (x, y, b, l) und die Matrix H hat die Form


  • Die Kovarianzmatrix R1 ist im wesentlichen durch das Auflösungsvermögen bzw. die Meßgenauigkeit des Laserscanners 12 gegeben und muß hier nicht genauer beschrieben werden.
  • Aufgrund der Symmetrien der Matrizen ergibt sich dann der in Fig. 1 gezeigte kreisförmige Suchbereich 28 für den Schwerpunkt. Der Mittelpunkt des Suchbereichs für den Schwerpunkt ergibt sich aus den Koordinaten in dem Vektor der prädizierten Meßgröße Z1. Er ist aufgrund der angenommenen gleichförmigen Bewegung der Person 16 gegenüber der letzten Position, wie durch den Pfeil in Fig. 1 angedeutet, verschoben. Der Suchbereich für Segmente wird, wie in Fig. 1 durch die gestrichelt gezeigten Rechtecke 30 angedeutet, erhalten, indem ein Rechteck mit Breitenwerten und Längenwerten des Vektors der prädizierten Meßgrößen mit seinem Schwerpunkt auf der Begrenzungslinie des Suchbereichs 28 für den Schwerpunkt bewegt wird und die resultierende, von dem bewegten Rechteck 30 und dem Suchbereich 28 für den Schwerpunkt abgedeckte Fläche als Suchbereich 31 für Segmente festgelegt wird.
  • In Fig. 3 befindet sich im Sichtbereich 14 des Laserscanners 12 statt einer Person 16, die durch ein Objekt der Objektklasse Person dargestellt wird, ein Personenkraftwagen 32, der durch ein Objekt der Objektklasse Personenkraftwagen dargestellt wird. Einem Objekt wird diese Objektklasse zugewiesen, wenn ein die Bildpunkte umschreibendes Rechteck kleinster Ausdehnung eine kürzere Seite mit Längen zwischen 1 m und 2 m und eine längere Seite mit Längen zwischen 3 m und 5,5 m aufweist.
  • Der Zustand des dem Personenkraftwagen 32 zugeordneten Objekts 2 wird ebenfalls durch die Zustandsparameter Koordinaten x, y und Geschwindigkeiten vx und vy des Schwerpunkts des Objekts, einen Orientierungswinkel ψ zwischen der Längsachse des Personenkraftwagens 28 und der Fahrzeuglängsachse des Fahrzeugs 10, das den Laserscanner 12 trägt, sowie, wie oben, die Breite und Länge des Objekts spezifiziert, die in dieser Reihenfolge die Komponenten des Zustandsvektors X2 bilden.
  • Wie oben wird angenommen, daß sich der Personenkraftwagen 32 bis auf Schwankungen, die durch Beschleunigung und Lenkbewegungen des Fahrers verursacht sind, geradlinig und gleichförmig bewegt. Der deterministische Anteil der zeitliche Änderung dψ/dt wird zu Null angenommen, was konsistent mit der Annahme ist, daß der Personenkraftwagen sich deterministisch geradlinig gleichförmig bewegt.
  • Die Matrix F2 lautet daher


  • Als Meßgrößen werden die Koordinaten x und y des Schwerpunkts, der Winkel ψ und wiederum die Länge und Breite des Objekts, bestimmt über das kleinste Rechteck, das die dem Objekt zugeordneten Bildpunkte umfaßt, verwendet, die in dieser Reihenfolge die Komponenten des Meßvektors Z2 bilden.
  • Die Matrix H2 hat daher die Form


  • In dem Modelltyp wird weiter davon ausgegangen, daß die Zeitentwicklung des Winkels ψ unabhängig von der Richtung der Geschwindigkeiten vx und vy ist.
  • Die Varianzen und Kovarianzen für die entsprechenden Rauschterme für die Schwerpunktskoordinaten werden bei diesem Beispiel für Richtungen parallel zur Längsachse des Personenkraftwagens 32 und senkrecht dazu unterschiedlich behandelt. Dazu werden die Varianzen und Kovarianzen in einem rechtwinkligen x'-y'-Koordinatensystem angegeben, dessen eine Achse durch die Längsachse des Objekts gebildet wird, das den Personenkraftwagen 32 darstellt. Diese werden dann durch Drehung um den Winkel ψ in das Koordinatensystem des Fahrzeugs 10 und von dort gegebenenfalls durch eine weitere Drehung in das ortsfeste Koordinatensystem überführt, in dem die Schwerpunktskoordinaten angegeben sind. Zur besseren Lesbarkeit werden im folgenden die Striche für die Koordinatenrichtung fortgelassen.
  • Ein Personenkraftwagen kann sich in einem normalen Fahrzustand nicht beliebig quer zu seiner Längsachse bewegen. Seine Bewegung in dieser Richtung ist vielmehr zusammen mit einer Bewegung in Längsrichtung möglich, da ein Lenkwinkel von 90° nicht vorgesehen ist. Hierdurch ergeben sich für die Bewegung des Fahrzeugs kinematische Zwangsbedingungen.
  • In einer einfachen Näherung geht man davon aus, daß ein Fahrzeug der Objektklasse Personenkraftfahrzeug in Fahrtrichtung maximal mit einer Beschleunigung a von 10 m/s2 beschleunigt werden kann. Weiter wird angenommen, daß ein Bewegung quer zur Fahrtrichtung nur durch einen Lenkeinschlag mit einem maximalen Lenkwinkel δmax von etwa 30° möglich ist, wobei eine gewisse maximale Geschwindigkeit vs, ab der ein Personenkraftwagen ins Schleudern gerät, nicht überschritten wird.
  • Die Varianzen und die Kovarianzen für die Schwerpunktskoordinate und -geschwindigkeit in Richtung der Längsachse des Personenkraftwagens 32, die auf die Beschleunigung a zurückgehen, ergeben sich wie oben aus den Verschiebungen qxa = S aT2 und qvxa = aT durch Produktbildung.
  • Eine Bewegung auf einer Kreisbahn wird davon als unabhängig angenommen. Bei einer Bewegung des Personenkraftwagens auf einer Kreisbahn mit dem kleinstmöglichen Radius Rmin, der in der Näherung eines Einspurmodells bei neutralem Fahrverhalten durch den Quotienten aus Achsabstand L und maximalem Lenkwinkel δmax gegeben ist, ist unter der Annahme einer gleichförmigen Kreisbewegung die maximale Geschwindigkeitsänderung qvy in Richtung senkrecht zu der Längsachse durch vs sin(vsT/R) = vs sin(Kδmax) mit K = vsT/L und die entsprechende Verschiebung qy durch L(1 - cos(Kδmax))/δmax gegeben. Die entsprechende Geschwindigkeitsänderung qvxk durch die Kreisbewegung bzw. die damit verbundene Verschiebung qxk in Längsrichtung sind vs(1 - cos(Kδmax)) bzw. Lsin(Kδmax)/δmax. Wie oben ergeben sich dann entsprechende Varianzen und Kovarianzen durch Produktbildung. Die maximale Änderung des Orientierungswinkels ψ durch Kreisbewegung ergibt sich in der gleichen Näherung zu Kδmax, die Varianz σPP also zu (Kδmax)2. Korrelationen zwischen der Schwerpunktsbewegung und dem Orientierungswinkel ψ werden hierbei nicht angenommen. Als Werte für vs und L können entsprechende Daten für typische Personenkraftwagen verwendet werden.
  • Die Kovarianzmatrix Q2 könnte dann beispielsweise näherungsweise lauten


    σbb und σll sind die Varianzen für die Breite und Länge des ein Objekt umfassenden Rechtecks und für diese Objektklasse durch die Quadrate der Größe der objektklassenspezifischen Intervalle für die Breite und Länge gegeben. Die Intervalle für die Breite und die Länge sind im Beispiel durch die Bereiche von 1 m bis 2 m bzw. von 3 m bis 5,5 m gegeben.
  • Hierdurch ergibt sich, wie in Fig. 3 grob schematisch gezeigt, für diese Klasse ein elliptischer Suchbereich 34 für den Schwerpunkt, der daher wesentlich kleiner als ein entsprechender kreisförmiger Suchbereich ist. Wie oben ergibt sich der Suchbereich für Bildpunkte bzw. Segmente durch den Suchbereich 34 für den Schwerpunkt und die durch eine Bewegung des gestrichelt gezeichneten Rechtecks 36 überdeckte Fläche, bei der das Rechteck 36 mit seinem Schwerpunkt entlang des Umfangs des Suchbereichs 34 für den Schwerpunkt bewegt wird.
  • Hierdurch wird die Zuordnung von Segmenten zu zwei nahe beieinanderliegenden Objekten wesentlich erleichtert, da eine Überschneidung der Suchbereiche wesentlich seltener auftritt und daher wesentlich häufiger eine eindeutige Zuordnung der Segmente ohne weitere Plausibilitätsprüfungen möglich ist.
  • Es ist weiterhin eine Objektklasse für Lastkraftwagen vorgesehen, die sich von der für Personenkraftwagen durch die Angabe anderer Längen- und Breitenintervalle sowie anderer Werte für die Modellparameter a, vs und δmax unterscheidet, wobei jedoch der oben beschriebene Modelltyp der gleiche ist wie bei Personenkraftwagen. Ein Objekt wird der Klasse Lastkraftwagen zugeordnet, wenn dessen Länge in einem Intervall zwischen 5 m und 20 m und dessen Breite im Intervall von 2 m bis 3 m liegt.
  • Da die maximale Beschleunigung für Lastkraftwagen einen wesentlich geringeren Wert von etwa 1 m/s2 hat, als Personenkraftwagen, wird sich als Suchbereich eine weniger ausgeprägte Ellipse als im Fall eines Objekts der Klasse Personenkraftwagen ergeben.
  • Bei dem Modelltyp für Personenkraftwagen und Lastkraftwagen werden die Orientierung des Fahrzeugs und die Bewegungsrichtung unabhängig behandelt. Dies ermöglicht es, auf einfache Weise Schleuderzustände festzustellen, indem überprüft wird, ob der Winkel des Vektors der Personenkraftwagengeschwindigkeit bis auf die für Kraftfahrzeuge üblichen Abweichungen mit dem Orientierungswinkel ψ übereinstimmt.
  • Bei einer weiteren Ausführungsform ist daher eine vierte Objektklasse für unbekannte Gegenstände vorgesehen, die dadurch definiert ist, daß sie allen Objekten zugeordnet wird, denen keine andere Objektklasse zugeordnet werden kann. Nach Schritt S14 und vor Schritt S10 wird überprüft, ob der Winkel des Vektors der Personenkraftwagengeschwindigkeit bis auf die für Kraftfahrzeuge üblichen Abweichungen mit dem Orientierungswinkel ψ übereinstimmt. Ist dies nicht der Fall, wird das Modell aufgegeben. Dem Objekt wird die Objektklasse für unbekannte Gegenstände zugeordnet. Für Objekte dieser Objektklasse wird der gleiche Modelltyp verwendet wie für Objekte der Objektklasse Personen, wobei jedoch keine Beschränkung der Länge und Breite vorgesehen und die Beschleunigungen und damit die Varianzen und Kovarianzen wesentlich größer gewählt sind.
  • In diese Objektklasse für unbekannte Gegenstände werden auch Objekte eingeordnet, denen nur ein oder zwei Bildpunkte zugeordnet sind, und die sich in einer großen Entfernung von dem Laserscanner befinden. Solche Objekte können aufgrund der begrenzten Auflösung des Laserscanners bei großen Entfernungen nämlich nicht genauer klassifiziert werden. Insbesondere ist eine Zuordnung einer Orientierung anhand der Meßdaten nicht möglich. Eine solche könnte nur aus Annahmen über die Fahrzeuggeschwindigkeit relativ zur Lage der Längsachse des Fahrzeugs abgeleitet werden. Bezugszeichenliste 10 Fahrzeug
    12 Laserscanner
    14 Sichtbereich
    16 Person
    18 Strahlungsbündel
    20 Datenverarbeitungseinrichtung
    22 Gegenstandspunkt
    24 Gegenstandspunkt
    26 Gegenstandspunkt
    28 Suchbereich für Schwerpunkt
    30 Rechteck
    31 Suchbereich für Segmente
    32 Personenkraftwagen
    34 Suchbereich
    36 Rechteck

Claims (16)

1. Verfahren zur Erkennung und Verfolgung von Objekten auf der Basis von bevorzugt geschwindigkeits- oder tiefenaufgelösten Bildern von Gegenständen (16, 32) in einem Sichtbereich wenigstens eines, insbesondere an einem Fahrzeug (10) angeordneten, Sensors, insbesondere eines Laserscanners (12), bei dem die Erkennung und Verfolgung unter Verwendung eines jeweils einem der Objekte zugeordneten Modells für die zeitliche Entwicklung von Zustandsparametern erfolgt, die wenigstens eine sensorspezifische Eigenschaft des Objekts beschreiben, wobei das Modell einen Modelltyp hat und durch wenigstens einen Modellparameter parametrisierbar ist, dadurch gekennzeichnet,
daß zur Klassifizierung von Objekten mehrere Objektklassen vorgesehen werden, die wenigstens eine Eigenschaft von Objekten betreffen, die aus wenigstens einem der tiefenaufgelösten Bilder bestimmbar ist,
daß mindestens einem Objekt eine der Objektklassen zugeordnet ist, und
daß dem Objekt in Abhängigkeit von der zugeordneten Objektklasse ein Modelltyp und ein Wert für den entsprechenden Modellparameter zugeordnet werden.
2. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Modellparameter für wenigstens eines der Objekte wenigstens einen objektklassenabhängigen Parameter umfassen, der zur Beschreibung des dynamischen Verhaltens des Objekts dient.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß für Lebewesen, insbesondere Personen (16), für Fahrzeuge (32) und für sonstige Gegenstände jeweils wenigstens eine Objektklasse vorgesehen ist.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
daß zur Verfolgung von Objekten auf der Basis vorhergehender Bilder des dem Objekt zugeordneten Modells neue Werte wenigstens für die Position mindestens eines Objekts prädiziert werden,
daß für das Objekt unter Verwendung wenigstens eines objektklassenabhängigen Modellparameters ein Suchbereich (28, 34) in dem aktuellen Bild definiert wird, in dem nach Bildpunkten für das Objekt gesucht wird, und
daß unter Verwendung des prädizierten Wertes wenigstens der Position des Objekts und der Lage der Bildpunkte in dem aktuellen Bild ein neuer Wert für wenigstens die Position des Objekts bestimmt wird.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß zur Objektverfolgung ein Kalman-Filter verwendet wird, und wenigstens eine der zur Definition des Suchbereichs (28, 34) verwendeten Varianzen und/oder Kovarianzen der Position für wenigstens ein Objekt in Abhängigkeit von wenigstens einem der objektklassenabhängigen Modellparameter bestimmt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
daß wenigstens eine Objektklasse für Gegenstände (16), die keine Fahrzeuge sind, vorgesehen ist, und
daß für Objekte, denen diese Objektklasse zugeordnet wurde, ein objektklassenabhängiger Modelltyp und/oder Modellparameter verwendet wird, nach dem mögliche Bewegungen des Objekts in allen Richtungen gleich behandelt werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet,
daß für Objekte, denen eine der Objektklassen für Fahrzeuge (32) zugeordnet ist, ein Modelltyp verwendet wird, bei dem dem Objekt eine Objektlängsachse zugeordnet wird, und
daß Bewegungen des Objekts in Richtung der Objektlängsachse und solche senkrecht zur Richtung der Objektlängsachse unterschiedlich in dem Modelltyp berücksichtigt werden.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß für Objekte, denen eine der Objektklassen für Fahrzeuge zugeordnet ist, ein objektklassenspezifischer Modelltyp verwendet wird, in dem kinematische Zwangsbedingungen berücksichtigt werden.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, daß ein Ein- oder Zweispurmodell verwendet wird.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß der Modelltyp und/oder wenigstens einer der Modellparameter wenigstens eines Objekts situationsabhängig adaptiert wird.
11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daß für wenigstens eine Objektklasse ein Wertebereich für den adaptierbaren Modellparameter bestimmt ist, wobei ein vorgegebener Standard- bzw. Defaultwert vorgesehen ist, der vor einer ersten Adaption verwendet wird.
12. Verfahren nach Anspruch 10 oder 11, dadurch gekennzeichnet, daß eine Adaption durchgeführt wird, wenn ein gemessener Wert mindestens eines vorbestimmten Zustandsparameters nicht konsistent ist mit einem vorhergehenden gemessenen Wert oder mit einem Wert des vorbestimmten Zustandsparameters, der auf der Basis vorhergehender Werte der Zustandsparameter prädiziert wurde.
13. Verfahren nach einem der Ansprüche 10 bis 12, dadurch gekennzeichnet, daß eine Adaption durchgeführt wird, wenn festgestellt wird, daß der Sensor (12) einen Normalbewegungszustand verlassen hat oder in diesen zurückgekehrt ist.
14. Computerprogramm mit Programmcode-Mitteln, um das Verfahren nach einem der Ansprüche 1 bis 13 durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
15. Computerprogrammprodukt mit Programmcode-Mitteln, die auf einem computerlesbaren Datenträger gespeichert sind, um das Verfahren nach einem der Ansprüche 1 bis 13 durchzuführen, wenn das Computerprogrammprodukt auf einem Computer ausgeführt wird.
16. Vorrichtung zur Erkennung und Verfolgung von Objekten mit mindestens einem zur Erfassung bevorzugt geschwindigkeits- oder tiefenaufgelöster Bilder eines Überwachungsbereichs (14) ausgebildeten Sensor, insbesondere einem Laserscanner (12), dessen Sichtbereich (14) den Überwachungsbereich einschließt, und mit einer Datenverarbeitungseinrichtung (20), die zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 13 ausgebildet ist.
DE10148071A 2001-09-28 2001-09-28 Verfahren zur Erkennung und Verfolgung von Objekten Withdrawn DE10148071A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE10148071A DE10148071A1 (de) 2001-09-28 2001-09-28 Verfahren zur Erkennung und Verfolgung von Objekten
DE50212627T DE50212627D1 (de) 2001-09-28 2002-09-23 Verfahren zur Erkennung und Verfolgung von Objekten
EP02021124A EP1298454B1 (de) 2001-09-28 2002-09-23 Verfahren zur Erkennung und Verfolgung von Objekten
AT02021124T ATE404887T1 (de) 2001-09-28 2002-09-23 Verfahren zur erkennung und verfolgung von objekten

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10148071A DE10148071A1 (de) 2001-09-28 2001-09-28 Verfahren zur Erkennung und Verfolgung von Objekten

Publications (1)

Publication Number Publication Date
DE10148071A1 true DE10148071A1 (de) 2003-04-17

Family

ID=7700763

Family Applications (2)

Application Number Title Priority Date Filing Date
DE10148071A Withdrawn DE10148071A1 (de) 2001-09-28 2001-09-28 Verfahren zur Erkennung und Verfolgung von Objekten
DE50212627T Expired - Lifetime DE50212627D1 (de) 2001-09-28 2002-09-23 Verfahren zur Erkennung und Verfolgung von Objekten

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE50212627T Expired - Lifetime DE50212627D1 (de) 2001-09-28 2002-09-23 Verfahren zur Erkennung und Verfolgung von Objekten

Country Status (3)

Country Link
EP (1) EP1298454B1 (de)
AT (1) ATE404887T1 (de)
DE (2) DE10148071A1 (de)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10353348A1 (de) * 2003-11-14 2005-06-02 Ibeo Automobile Sensor Gmbh Verfahren zur Verfolgung von Objekten
DE10353347A1 (de) * 2003-11-14 2005-06-02 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung von Fußgängern
DE102004003870A1 (de) * 2004-01-26 2005-08-11 Ibeo Automobile Sensor Gmbh Verfahren zur Klassifizierung von Objekten
DE102004003868A1 (de) * 2004-01-26 2005-08-11 Ibeo Automobile Sensor Gmbh Verfahren zur Verfolgung von Objekten
DE102004027693A1 (de) * 2004-04-08 2005-10-27 Daimlerchrysler Ag Verfahren zum Steuern von Insassenrückhaltemitteln und Steuereinheit für Insassenrückhaltemittel in einem Fahrzeug
DE102005020731A1 (de) * 2005-05-04 2006-11-09 Audi Ag Modelliervorrichtung und Verfahren zum Modellieren einer Umgebung eines Fahrzeugs
US7949151B2 (en) 2006-05-19 2011-05-24 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
DE102009058488A1 (de) 2009-12-16 2011-06-22 Audi Ag, 85057 Verfahren zum Unterstützen beim Führen eines Kraftfahrzeugs
US7982748B2 (en) 2006-05-19 2011-07-19 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
US8301344B2 (en) 2003-07-25 2012-10-30 Robert Bosch Gmbh Device for classifying at least one object in the surrounding field of a vehicle
DE102004028324B4 (de) * 2003-06-16 2016-06-23 Volkswagen Ag Wärmebild-Erkennungssystem
DE102019112625A1 (de) * 2019-05-14 2020-11-19 Eyyes Gmbh Verfahren zum Anzeigen und/oder Berechnen einer Relativbewegung
EP3800483A1 (de) * 2019-10-04 2021-04-07 Diehl Defence GmbH & Co. KG Ausrichtung eines detektors eines dircm-moduls auf ein ziel
DE102020003610B3 (de) 2020-06-17 2021-09-02 Christian Bleser Nachrüstsatz mit Erkennungssystem zur Kollisionsvermeidung von nachtaktiven Tieren bei Rasenmährobotern

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006039682A1 (en) * 2004-09-30 2006-04-13 Faro Technologies, Inc. Absolute distance meter that measures a moving retroreflector
USRE46672E1 (en) 2006-07-13 2018-01-16 Velodyne Lidar, Inc. High definition LiDAR system
DE102007013023B4 (de) 2007-03-19 2017-10-05 Sick Ag Probabilistische Rasterkarte
JP5136927B2 (ja) * 2007-10-09 2013-02-06 オプテックス株式会社 レーザエリアセンサ
CN101853511B (zh) * 2010-05-17 2012-07-11 哈尔滨工程大学 一种抗遮挡目标轨迹预测跟踪方法
CN101894278B (zh) * 2010-07-16 2012-06-27 西安电子科技大学 基于变结构多模型的人体运动跟踪方法
CN102074034B (zh) * 2011-01-06 2013-11-06 西安电子科技大学 多模型人体运动跟踪方法
CN106023242A (zh) * 2015-04-09 2016-10-12 广东易富网络科技有限公司 一种基于量子均值漂移的抗遮挡多运动车辆追踪方法
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
WO2017164989A1 (en) 2016-03-19 2017-09-28 Velodyne Lidar, Inc. Integrated illumination and detection for lidar based 3-d imaging
CA3024510C (en) 2016-06-01 2022-10-04 Velodyne Lidar, Inc. Multiple pixel scanning lidar
JP7290571B2 (ja) 2017-03-31 2023-06-13 ベロダイン ライダー ユーエスエー，インコーポレイテッド 統合化されたｌｉｄａｒ照明出力制御
CN110809704B (zh) 2017-05-08 2022-11-01 威力登激光雷达美国有限公司 Lidar数据获取与控制
US10676085B2 (en) * 2018-04-11 2020-06-09 Aurora Innovation, Inc. Training machine learning model based on training instances with: training instance input based on autonomous vehicle sensor data, and training instance output based on additional vehicle sensor data
US11550061B2 (en) 2018-04-11 2023-01-10 Aurora Operations, Inc. Control of autonomous vehicle based on environmental object classification determined using phase coherent LIDAR data
US11403492B2 (en) 2018-11-02 2022-08-02 Aurora Operations, Inc. Generating labeled training instances for autonomous vehicles
US11256263B2 (en) 2018-11-02 2022-02-22 Aurora Operations, Inc. Generating targeted training instances for autonomous vehicles
US11829143B2 (en) 2018-11-02 2023-11-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11209821B2 (en) 2018-11-02 2021-12-28 Aurora Operations, Inc. Labeling autonomous vehicle data
US11086319B2 (en) 2018-11-02 2021-08-10 Aurora Operations, Inc. Generating testing instances for autonomous vehicles
US11082010B2 (en) 2018-11-06 2021-08-03 Velodyne Lidar Usa, Inc. Systems and methods for TIA base current detection and compensation
US11885958B2 (en) 2019-01-07 2024-01-30 Velodyne Lidar Usa, Inc. Systems and methods for a dual axis resonant scanning mirror
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3915631A1 (de) * 1989-05-12 1990-11-15 Dornier Luftfahrt Navigationsverfahren
US5644386A (en) * 1995-01-11 1997-07-01 Loral Vought Systems Corp. Visual recognition system for LADAR sensors
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4320485B4 (de) * 1993-06-21 2007-04-19 Eads Deutschland Gmbh Verfahren zur Objektvermessung mittels intelligenter Entfernungsbildkamera
JP3035768B2 (ja) * 1995-05-22 2000-04-24 本田技研工業株式会社 車両用対照物検知装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3915631A1 (de) * 1989-05-12 1990-11-15 Dornier Luftfahrt Navigationsverfahren
US5644386A (en) * 1995-01-11 1997-07-01 Loral Vought Systems Corp. Visual recognition system for LADAR sensors
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
DE19926559A1 (de) * 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004028324B4 (de) * 2003-06-16 2016-06-23 Volkswagen Ag Wärmebild-Erkennungssystem
US8301344B2 (en) 2003-07-25 2012-10-30 Robert Bosch Gmbh Device for classifying at least one object in the surrounding field of a vehicle
DE10353347A1 (de) * 2003-11-14 2005-06-02 Ibeo Automobile Sensor Gmbh Verfahren zur Erkennung von Fußgängern
DE10353348A1 (de) * 2003-11-14 2005-06-02 Ibeo Automobile Sensor Gmbh Verfahren zur Verfolgung von Objekten
DE102004003870A1 (de) * 2004-01-26 2005-08-11 Ibeo Automobile Sensor Gmbh Verfahren zur Klassifizierung von Objekten
DE102004003868A1 (de) * 2004-01-26 2005-08-11 Ibeo Automobile Sensor Gmbh Verfahren zur Verfolgung von Objekten
DE102004027693A1 (de) * 2004-04-08 2005-10-27 Daimlerchrysler Ag Verfahren zum Steuern von Insassenrückhaltemitteln und Steuereinheit für Insassenrückhaltemittel in einem Fahrzeug
DE102005020731A1 (de) * 2005-05-04 2006-11-09 Audi Ag Modelliervorrichtung und Verfahren zum Modellieren einer Umgebung eines Fahrzeugs
US7982748B2 (en) 2006-05-19 2011-07-19 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
US7949151B2 (en) 2006-05-19 2011-05-24 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
DE102009058488A1 (de) 2009-12-16 2011-06-22 Audi Ag, 85057 Verfahren zum Unterstützen beim Führen eines Kraftfahrzeugs
EP2339375A2 (de) 2009-12-16 2011-06-29 Audi AG Verfahren zum Unterstützen beim Führen eines Kraftfahrzeugs
DE102009058488B4 (de) * 2009-12-16 2014-07-31 Audi Ag Verfahren zum Unterstützen beim Führen eines Kraftfahrzeugs
DE102019112625A1 (de) * 2019-05-14 2020-11-19 Eyyes Gmbh Verfahren zum Anzeigen und/oder Berechnen einer Relativbewegung
EP3800483A1 (de) * 2019-10-04 2021-04-07 Diehl Defence GmbH & Co. KG Ausrichtung eines detektors eines dircm-moduls auf ein ziel
DE102020003610B3 (de) 2020-06-17 2021-09-02 Christian Bleser Nachrüstsatz mit Erkennungssystem zur Kollisionsvermeidung von nachtaktiven Tieren bei Rasenmährobotern

Also Published As

Publication number Publication date
EP1298454A3 (de) 2004-02-04
DE50212627D1 (de) 2008-09-25
EP1298454A2 (de) 2003-04-02
EP1298454B1 (de) 2008-08-13
ATE404887T1 (de) 2008-08-15

Similar Documents

Publication Publication Date Title
EP1298454B1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
EP1267178B1 (de) Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
DE102009006113B4 (de) Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
EP1475764B1 (de) Verfahren und Vorrichtung zur Ermittlung der Wahrscheinlichkeit für eine Kollision eines Fahrzeugs mit einem Gegenstand
EP1531343B1 (de) Verfahren zur Verfolgung von Objekten
DE10026586B4 (de) Objekterfassungssystem
EP1418444B1 (de) Verfahren zur Bestimmung einer Eigenbewegung eines Fahrzeugs
EP1589484A1 (de) Verfahren zur Erkennung und/oder Verfolgung von Objekten
EP1306690B1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
WO2007033870A1 (de) Verfahren und fahrerassistenzsystem zur sensorbasierten anfahrtsteuerung eines kraftfahrzeugs
DE102017102506B4 (de) Verfahren zum erfassen anderer fahrzeuge relativ zu einem trägerfahrzeug mittels raderfassung
DE10029866A1 (de) Objekterkennungssystem
EP1531342B1 (de) Verfahren zur Erkennung von Fussgängern
WO2019201565A1 (de) Verfahren, vorrichtung und computerlesbares speichermedium mit instruktionen zur verarbeitung von sensordaten
EP1298453A2 (de) Verfahren zur Erkennung und Verfolgung von Objekten
EP1298012B1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE10148070A1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
WO2003019234A1 (de) Verfahren zur erkennung und verfolgung von objekten
DE10148062A1 (de) Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
DE102020105192B4 (de) Verfahren zum Detektieren bewegter Objekte in einer Fahrzeugumgebung und Kraftfahrzeug
EP1291674A2 (de) Verfahren zur Erkennung und Verfolgung von Objekten
EP3663881B1 (de) Verfahren zur steuerung eines autonomen fahrzeugs auf der grundlage von geschätzten bewegungsvektoren
DE102018121158A1 (de) Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen
DE10148063A1 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE10148068A1 (de) Verfahren zur Erkennung und Verfolgung von Objekten

Legal Events

Date Code Title Description
OM8 Search report available as to paragraph 43 lit. 1 sentence 1 patent law
8110 Request for examination paragraph 44
8139 Disposal/non-payment of the annual fee