DE602004012962T2 - Echtzeit-hinderniserkennung mit einer kalibrierten kamera und bekannter ego-bewegung - Google Patents

Echtzeit-hinderniserkennung mit einer kalibrierten kamera und bekannter ego-bewegung Download PDF

Info

Publication number
DE602004012962T2
DE602004012962T2 DE602004012962T DE602004012962T DE602004012962T2 DE 602004012962 T2 DE602004012962 T2 DE 602004012962T2 DE 602004012962 T DE602004012962 T DE 602004012962T DE 602004012962 T DE602004012962 T DE 602004012962T DE 602004012962 T2 DE602004012962 T2 DE 602004012962T2
Authority
DE
Germany
Prior art keywords
points
real
motion
world
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE602004012962T
Other languages
English (en)
Other versions
DE602004012962D1 (de
Inventor
Dorin Princeton Jct. COMANICIU
Binglong Bethlehem XIE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Corp
Original Assignee
Siemens Corporate Research Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Corporate Research Inc filed Critical Siemens Corporate Research Inc
Publication of DE602004012962D1 publication Critical patent/DE602004012962D1/de
Application granted granted Critical
Publication of DE602004012962T2 publication Critical patent/DE602004012962T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324Alternative operation using ultrasonic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

  • VERWEIS AUF VERWANDTE PATENTE
  • Diese Patentschrift beansprucht die Vorteile der vorläufigen US-Anmeldung, Eingangsnummer 60/445,203, eingereicht am 5. Februar 2003.
  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Die Erfindung betrifft das Gebiet der Hinderniserkennung und insbesondere die Echtzeit-Hinderniserkennung mit einer kalibrierten Kamera und bekannter Eigenbewegung.
  • 2. Beschreibung des Stands der Technik
  • Die Echtzeit-Hinderniserkennung in einem fahrenden Fahrzeug stellt eine Schlüsselkomponente für autonomes Fahren und Fahrerunterstützung durch Computersicht dar. Die Hinderniserkennung beim autonomen Fahren und in der Fahrerunterstützung wird häufig zum Vermeiden von Zusammenstößen eingesetzt. Was ein Hindernis ist, hängt stets vom Zusammenhang ab. Obwohl es sich bei einem Hindernis auf der Straße in der Regel um ein Fahrzeug handelt, kann auch ein anderes Hindernis vorhanden sein, beispielsweise ein großer Felsblock.
  • Bei Serge Beucher et al., Road Monitoring and Obstacle Detection System by Image Analysis and Mathematical Morphology, Proceedings 5th EAEC (European Automobile Engineers Cooperation) International Congress, "The European Automotive Industry Meets the Challenges of the Year 2000", Straßburg, 21.–23. Juni 1995, März 1995, erfolgt die Hinderniserkennung durch morphologische Operationen, bei denen die Erkennungsergebnisse für die Straße bzw. Fahrspur verwendet werden. Es wird unterstellt, dass es sich bei dem Hindernis um ein Fahrzeug handelt, das zwei unterschiedliche Merkmale aufweist: a) es hat dunkle untere Teile, beispielsweise eine Stoßstange oder Schatten, und b) es besitzt eine regelmäßige rechteckige Form. Zu den Schwierigkeiten bei dieser Vorgehensweise zählen die strenge Vorgabe, dass es sich bei dem Hindernis um ein Fahrzeug handeln muss, und dass sie von einer korrekten Erkennung der Straße und/oder Fahrspur abhängt.
  • Bei Massimo Bertozzi et al., Sensing of Automotive Environments Using Stereo Vision, 30th International Symposium an Automotive Technology and Automation (ISATA), Special Session an Machine Vision and Intelligent Vehicles and Autonomous Robots, Seiten 187–193, Florenz, Italien, 16.–19. Juni 1997, wird eine inverse perspektivische Abbildung (IPM, IPM = Inverse Perspective Mapping) dazu verwendet, eine Draufsicht der Straßenebene für jede von zwei Stereokameras zu gewinnen. Die Differenz der beiden überlagerten Bilder zeigt die hoch herausragenden Hindernisse der Straßenebene. Für dieses Verfahren benötigt man mehr als eine Kamera, und es kann Hindernisse mit geringen Höhen, die sich auf der Straße bewegen, nicht erkennen.
  • Bei Heinrich Niemann et al., Integrated motion and geometry based obstacle detection in image sequences of traffic scenes, 10th Annual Symposium AeroSensev '96, Orlando, FL, 1996, wird ein aktuelles Bild in einem dreidimensionalen Weltsystem auf eine Straßenebene zurückprojiziert, wobei eine aktuelle Transformation zwischen einer Kamera und der realen Welt verwendet wird. Die Fahrzeugbewegungsinformation wird dazu verwendet, den Ort der Straße in der Zeit des vorhergehenden Frames zu bestimmen. Daraufhin wird die Straße wieder in das Bild abgebildet, und zwar mit Hilfe der Transformation im vorhergehenden Frame. Das ausgerichtete Bild, aus dem die Eigenbewegung entfernt wurde, wird mit dem vorhergehenden Bild verglichen, um Hindernisse zu finden. Die Vorgehensweise verlangt das Verzerren des aktuellen Framebilds auf das Bild des vorhergehenden Frames mit einer Eigenbewegungskorrektur. Diese Vorgehensweise erfordert auch eine erhöhte Rechenleistung. In dem Verfahren werden keine Informationen von anderen Sensoren im Fahrzeug verwendet, beispielsweise der Vorderradwinkel, mit dem man einen genaueren Fahrzeugbewegungsstatus erhält.
  • In D1 (ENKELMANN W: "OBSTACLE DETECTION BY EVALUATION OF OPTICAL FLOW FIELDS FROM IMAGE SEQUENCES" IMAGE AND VISION COMPUTING, GUILDFORD, GB, vol. 9, no. 3) sind ein Verfahren für die Echtzeit-Hinderniserkennung und ein System und ein Computerprogramm gemäß dem Oberbegriff der unabhängigen Ansprüche offenbart.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Die Erfindung ist in den unabhängigen Ansprüchen bestimmt, die nun eingesehen werden sollten. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen dargestellt.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Man versteht die Erfindung anhand der folgenden Beschreibung und in Verbindung mit den beiliegenden Zeichnungen besser. Gleiche Bezugszeichen in den Zeichnungen kennzeichnen gleiche Elemente.
  • Es zeigt:
  • 1 ein Blockdiagramm eines prozessorgestützten Systems gemäß einer Ausführungsform der Erfindung;
  • 2 ein Flussdiagramm eines Verfahrens zur Echtzeit-Hinderniserkennung gemäß einer Ausführungsform der Erfindung;
  • 3 ein vereinfachtes Modell eines Fahrzeugs bei der Drehung;
  • 4(A) Bilder, die von einer Bilderfassungsvorrichtung erfasst wurden, gemäß einer Ausführungsform der Erfindung;
  • 4(B) einen Bildbewegungsfluss gemäß einer Ausführungsform der Erfindung;
  • 4(C) einen tatsächlichen Bewegungsfluss gemäß einer Ausführungsform der Erfindung;
  • 4(D) eine Ausgabe eines Vergleichs zwischen dem Bildbewegungsfluss und dem tatsächlichen Bewegungsfluss gemäß einer Ausführungsform der Erfindung; und
  • 5 eine alternative Ausgabe einer Anzahl Vergleiche zwischen den Bildbewegungsströmen und den tatsächlichen Bewegungsströmen gemäß einer Ausführungsform der Erfindung.
  • AUSFÜHRLICHE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
  • Im Weiteren werden erläuternde Ausführungsformen der Erfindung beschrieben. Um eine übersichtliche Darstellung zu gewährleisten werden in dieser Anmeldung nicht alle Merkmale einer tatsächlichen Implementierung beschrieben. Natürlich müssen im Zuge der Entwicklung jeder beliebigen tatsächlichen Ausführungsform zahlreiche implementierungsspezifische Entscheidungen getroffen werden, um die besonderen Ziele des Entwicklers zu erreichen, beispielsweise die Verträglichkeit mit systembezogenen und geschäftsabhängigen Einschränkungen, die sich von Implementierung zu Implementierung unterscheiden. Selbstverständlich kann eine derartige Entwicklungsanstrengung kompliziert und zeitaufwendig sein. Ein Fachmann, der im Besitz dieser Offenbarung ist, kann sie trotzdem im Rahmen einer geläufigen Prozedur vornehmen.
  • Die Erfindung kann in verschiedener Weise modifiziert bzw. in anderen Formen ausgeführt werden. In den Zeichnungen dargestellt und hier beispielhaft ausführlich beschrieben sind besondere Ausführungsformen der Erfindung. Die hier beschriebenen be sonderen Ausführungsformen sind jedoch nicht dafür gedacht, die Erfindung auf die besonderen hier offenbarten Formen einzuschränken. Es ist ganz im Gegensatz beabsichtigt, alle Modifikationen, Äquivalente und Alternativen abzudecken, die in den Bereich der Erfindung fallen, der in den beigefügten Ansprüchen bestimmt ist.
  • Natürlich können die hier beschriebenen Systeme und Verfahren in unterschiedlichen Formen von Hardware, Software, Firmware, Sonderprozessoren oder einer Kombination daraus implementiert werden. Im Einzelnen wird zumindest ein Teil der Erfindung bevorzugt als Anwendung implementiert, die Programmbefehle umfasst, die greifbar in einer oder mehreren Programmspeichervorrichtungen (z. B. Festplatte, magnetische Floppy Disk, RAM, ROM, CD-ROM usw.) hinterlegt sind und von jeder beliebigen Vorrichtung oder Maschine ausgeführt werden können, die eine geeignete Architektur aufweist, beispielsweise einem digitalen Allzweckcomputer, der einen Prozessor, Speicher und Ein/Ausgabe-Schnittstellen aufweist. Da einige der konstituierenden Systemkomponenten und Verarbeitungsschritte, die in den beiliegenden Abbildungen dargestellt sind, bevorzugt in Software implementiert werden, ist zu beachten, dass die Verbindungen zwischen Systemmodulen (oder die logischen Abläufe von Verfahrensschritten) sich abhängig davon unterscheiden können, in welcher Weise die Erfindung programmiert wird. Mit Hilfe der hier angegebenen Lehren ist ein Fachmann in der Lage, diese und ähnliche Implementierungen der Erfindung in Betracht zu ziehen.
  • Gemäß einer Ausführungsform der Erfindung, siehe 1, kann ein Computersystem 101 zum Implementieren der Erfindung unter anderem eine Zentraleinheit (CPU) 102, einen Speicher 103 und eine Ein/Ausgabe-Schnittstelle (I/O) 104 umfassen. Das Computersystem 101 ist über die I/O-Schnittstelle 104 funktionell mit einer Anzeige 105 verbunden sowie mit verschiedenen Eingabevorrichtungen 106, beispielsweise einer Maus und einer Tastatur. Das Computersystem 101 kann zudem beliebige unterschiedliche Hilfsschaltungen (nicht dargestellt) umfassen, beispielsweise einen Cache, Stromversorgungen, Taktschaltungen und einen Kommunikationsbus. Der Speicher 103 kann einen Speicher mit wahlfreiem Zugriff (RAM), einen Festwertspeicher (ROM), ein Festplattenlaufwerk, ein Bandlaufwerk usw. oder eine Kombination daraus enthalten. Die Erfindung kann als Routine 107 implementiert werden, die im Speicher 103 abgelegt ist, und von der CPU 102 ausgeführt werden, damit das Signal von der Signalquelle 108 verarbeitet wird. Somit ist das Computersystem 101 ein Allzweck-Computersystem, das zu einem Sonder-Computersystem wird, wenn es die Routine 107 der Erfindung ausführt.
  • Das Computersystem 101 enthält auch ein Betriebssystem (nicht dargestellt) und einen Mikrobefehlscode (nicht dargestellt), der beispielsweise im Speicher 103 hinterlegt sein kann. Die verschiedenen hier beschriebenen Prozesse und Funktionen können entweder ein Teil des Mikrobefehlscodes oder ein Teil der Routine 107 sein (oder eine Kombination daraus), die über das Betriebssystem ausgeführt werden. Zusätzlich können verschiedene andere Peripheriegeräte (nicht dargestellt) mit dem Computersystem 101 verbunden sein, beispielsweise eine zusätzliche Datenspeichervorrichtung und eine Druckvorrichtung.
  • Das Grundprinzip mindestens einer Ausführungsform der Erfindung stellt sich wie folgt dar. Eine Videokamera wird in ein Fahrzeug mit bekannter Position und Ausrichtung eingebaut. Fachleuten ist geläufig, dass man jede beliebige Vorrichtung aus einer Vielzahl von Bilderfassungsvorrichtungen einsetzen kann. Die Kamera ist so kalibriert, dass man jeden beliebigen Punkt der realen Welt (im Weiteren "Punkt der realen Welt"), wenn man seinen Ort kennt, auf einen Punkt im Bild abbilden kann, das die Kamera erfasst (im Weiteren "Bildpunkt"). Die Straße wird als in einer idealen Ebene liegend vorausgesetzt, und diese Straßenebene ist bekannt. Bewegt sich das Fahrzeug, so ist seine Bewegungsinformation, beispielsweise Geschwindigkeit und Winkelgeschwindigkeit, von weiteren in das Fahrzeug eingebauten Sensoren verfügbar. Fachleute kennen derartige Sensoren, beispielsweise ein Gyroskop und ein Global Positioning System (GPS). Die Bewegung der Kamera, d. h. ihre Eigenbewegung, kann man anhand der Bewegungsinformation des Fahrzeugs ermitteln.
  • Ausgehend von der bekannten Eigenbewegung der Kamera bezüglich der bekannten Straßenebene besitzt jeder beliebige Punkt der realen Welt eine projizierte Bewegung, die allgemein als "tatsächlicher Bewegungsfluss" oder "geometrischer Bewegungsfluss" bekannt ist. Die Kamera erfasst die tatsächliche Bewegung dieses Punkts. Aus diesen Kamerabildern kann man die Bewegung des Bildpunkts berechnen (d. h., des Punkts in dem Bild, der dem Punkt der realen Welt zugeordnet ist). Diese Bewegung wird allgemein als "Bildbewegungsfluss" bezeichnet. Stimmt die Bewegung des Punkts der realen Welt mit der Bewegung des Bildpunkts überein, so wird gefordert, dass dieser Punkt in der Straßenebene liegt. Andernfalls wird gefordert, dass sich dieser Punkt entweder in der Straßenebene bewegt oder nicht in der Straßenebene. Beide Punkte werden als "Hindernispunkte" eingestuft, die die Möglichkeit eines Hindernisses anzeigen. Man beachte, dass sich ein Hindernispunkt außerhalb der Straßenebene so bewegen kann, dass der Punkt der realen Welt und der Bildpunkt zusammenfallen. Dies würde fälschlicherweise anzeigen, dass kein Hindernis vorhanden ist. Eine derartige Situation tritt jedoch unter realen Straßenbedingungen selten auf.
  • Es wird vorausgesetzt, dass ein Hindernis entweder auf der Straßenebene liegt oder nicht auf der Straßenebene liegt. Auf der Straßenebene liegende Hindernisse bewegen sich relativ zu Straße (beispielsweise bewegt sich ein auf einer Straße fahrendes Fahrzeug gegenüber der Straße). Hindernisse außerhalb der Straßenebene können statisch sein (z. B. die Spitze eines Strommasts) oder sich bewegen (z. B. ein tieffliegender Vogel am Himmel). Dadurch stimmt das Bewegungsfeld des sich bewegenden Hindernisses im erfassten Video nicht mit dem Bewegungsfeld der Straßenebene überein.
  • Es ist wichtig, festzustellen, welche Bildpunkte und zugeordneten Bildbewegungsflüsse zuverlässig sind. Die Videokamera erzeugt in kurzen Intervallen periodisch Bilder. Wie Fachleuten bekannt ist, kann man die Zeiten derartiger Intervalle verändern. Mit einem Bewegungsschätzverfahren kann man verlässlich die Verschiebungen der Punkte (d. h. den Bildbewegungsfluss) aus aufeinander folgenden Bildern berechnen. Ein beispielhaftes Bewegungsschätzverfahren ist das optische Flussverfahren mit statistischer Fusion, das im US-Patent mit der Eingangsnummer 10/681,702 und dem Titel "Variable-Bandwidth Density-Based Fusion", eingereicht am 8. Okt 2003, beschrieben ist und dem Inhaber dieses Patents abgetreten wurde. Die vollständige Offenbarung der genannten Patentschrift ist hiermit durch Bezugnahme eingeschlossen. Die Zuverlässigkeit von Punkten, die zum Ermitteln des Bildbewegungsflusses verwendet werden, ändert sich durch die Eigenschaften der benachbarten Bildmuster. Beispielsweise ist der Bildbewegungsfluss, der für einen Punkt in einem gleichförmigen Straßenstück berechnet wird, weit weniger zuverlässig als der Bildbewegungsfluss für einen Eckpunkt auf einer Fahrspurmarkierung. Das oben beschriebene optische Flussverfahren mit statistischer Fusion ist in der Lage, Bildpunkte mit zuverlässigen Bildbewegungsflüssen von Bildpunkten mit unzuverlässigen Flüssen zu unterscheiden. Die unzuverlässigen Flüsse werden verworfen. Die Ausgaben, die man durch das Anwenden des beschriebenen optischen Flussverfahrens erhält, sind zuverlässige Bildpunktorte und die zugehörigen Bildbewegungsflüsse.
  • Mit einer kalibrierten Kamera kann man jeden beliebigen Punktort der realen Welt auf einen zugeordneten Bildpunktort abbilden. Einen Bildpunktort kann man generell nicht auf einen zugeordneten Punktort der realen Welt abbilden, da man die Mehrdeutigkeit auf dem Sichtstrahl der Kamera in aller Regel nicht auflösen kann. Weiß man jedoch, dass sich der Bildpunkt in einer bekannten Ebene befindet, so ist die letztgenannte Abbildung möglich. Damit kann man nach dem Ermitteln der zuverlässigen Bildpunktorte die zugehörigen Punktorte der realen Welt feststellen, vorausgesetzt dass die zuverlässigen Bildpunktorte in der Straßenebene liegen.
  • Stimmen der zuverlässige Bildbewegungsfluss und der tatsächliche Bewegungsfluss eines Punkts überein, so wird der Punkt als an der Straßenebene haftend betrachtet und nicht als mögliches Hindernis. Stimmen sie nicht überein, so wird er Punkt als Hindernispunkt betrachtet, der ein mögliches Hindernis bezeichnet, das sich entweder in der Straßenebene bewegt oder überhaupt nicht der Straßenebene angehört.
  • Eine Entscheidung, ob ein Hindernispunkt ein tatsächliches Hindernis bezeichnet, kann im Verlauf einer Zeitperiode getroffen werden, wie Fachleuten geläufig ist. Man kann beispielsweise über eine bekannte Zeitperiode Beweise sammeln, und falls ein Punkt durchwegs zwei sich nicht deckende Flüsse aufweist, kann man einen Hindernispunkt (d. h. ein mögliches Hindernis) als tatsächliches Hindernis einstufen.
  • Das hier beschriebene Verfahren ist sehr schnell und zuverlässig. Die Erfassung des Bildbewegungsflusses beruht auf einem schnellen und zuverlässigen optischen Flussverfahren mit statistischer Fusion. Die Berechnung des tatsächlichen Bewegungsflusses erfolgt analytisch und schnell, und sie ist exakt, falls die Kamerakalibrierung, die Straßenebeneninformation und die Fahrzeugsensoren exakt sind. Zudem nimmt durch die Verifizierung einer Nichtübereinstimmung über eine Zeitperiode die Entscheidungsgenauigkeit zu, ob ein Hindernispunkt ein tatsächliches Hindernis bezeichnet. Damit erhält man eine robuste Hinderniserkennung.
  • 2 zeigt ein Flussdiagramm 200 einer Ausführungsform der Erfindung. Für die Ausführung dieses Verfahrens werden die folgenden Voraussetzungen getroffen. Erstens ist eine Straßenebene bekannt. Zweitens befindet sich ein fahrendes Fahrzeug auf der Straßenebene und bewegt sich relativ zur Straßenebene. Mit dem Fahrzeug ist eine Videokamera funktionell verbunden. Die Videokamera kann beispielsweise auf dem Armaturenbrett des Fahrzeugs angeordnet sein und Bilder vor der Windschutzscheibe erfassen (beispielsweise vergleichbar mit den Eindrücken, die der Fahrer oder ein Insasse des fahrenden Fahrzeugs empfängt). Drittens ist die Eigenbewegung der Videokamera gegenüber der Straßenebene ebenfalls bekannt. Die Eigenbewegung kann man wie beschrieben mit Hilfe eines beliebigen in das Fahrzeug eingebauten Sensors oder einer Kombination aus solchen Sensoren bestimmen. In einer anderen Ausführungsform kann man die Eigenbewegung der Videokamera mit Hilfeeiner Anzahl Bilder bestimmen, die die Videokamera sammelt.
  • Die Videokamera mit bekannter Eigenbewegung wird (bei 205) kalibriert. Die Vi deokamera sammelt (bei 210) ein oder mehrere Bilder. Ein Punkt der realen Welt wird (bei 215) gemäß einem Lenkbarkeitskriterium gewählt. Das Lenkbarkeitskriterium kann umgekehrt proportional zur Unsicherheit sein, die der Auffindung der Punkte der realen Welt zugeordnet ist. Das beschriebene optische Flussverfahren wird auf den Punkt der realen Welt, das eine Bild oder die Anzahl Bilder und die bekannte Ebene angewendet, um (bei 220) einen Bildbewegungsfluss des Punkts der realen Welt zu ermitteln. Aus dem Punkt der realen Welt, dem einen Bild oder der Anzahl Bilder und der bekannten Eigenbewegung wird (bei 225) ein tatsächlicher Bewegungsfluss des Punkts der realen Welt bestimmt. Der tatsächliche Bewegungsfluss und der Bildbewegungsfluss werden verglichen, damit (bei 230) festgestellt wird, ob der Punkt der realen Welt ein Hindernispunkt ist. Der Punkt der realen Welt kann als Hindernispunkt angesehen werden, falls der Bildbewegungsfluss und der tatsächliche Bewegungsfluss nicht übereinstimmen. Der Punkt der realen Welt kann als kein Hindernispunkt eingestuft werden, falls der Bildbewegungsfluss und der tatsächliche Bewegungsfluss übereinstimmen. Ein Hindernispunkt legt einen Punkt eines möglichen Hindernisses fest. Wird, wie Fachleuten bekannt ist, der Punkt der realen Welt über ein bestimmtes Zeitintervall durchwegs als Hindernispunkt angesehen, so kann man den Hindernispunkt als tatsächliches Hindernis einstufen. Wird der Punkt der realen Welt über ein bestimmtes Zeitintervall nicht andauernd als Hindernispunkt eingestuft, so kann man den Hindernispunkt nicht als tatsächliches Hindernis einstufen. Man kann, wie Fachleuten geläufig ist, weitere unterstützende Kriterien hinzuziehen, um festzustellen, ob ein Hindernispunkt ein tatsächliches Hindernis ist. Beispielsweise kann die enge Nachbarschaft mehrerer Hindernispunkte zusätzlich das Vorhandensein eines Hindernisses anzeigen.
  • Eine theoretische Analyse der Erfindung wird nun anhand einer Ausführungsform der Erfindung beschrieben. Die Abbildung der Orte geschieht wie folgt. Die Transformation zwischen den Weltkoordinaten und den Kameraframekoordinaten erfolgt gemäß: P = R(Pw – T), (1)wobei Pw = (Xw, Yw, Zw)T die Weltkoordinaten sind, T die Verschiebung zwischen den Ursprüngen der zwei Koordinatensysteme, R die 3×3-Drehmatrix zwischen den Ausrichtungen der beiden Koordinatensysteme, und Pc = (Xc, Yc, Zc)T der Punkt im Kameraframe ist. Man beachte, dass R in der Tat nur drei freie Elemente aufweist, nämlich das Rollen (Drehung um die X-Achse), das Nicken (Drehung um die Y-Achse) und das Gieren (Drehung um die Z-Achse). R und T sind nicht zur Kamera gehörende Parameter, die die Weltkoordinaten in den Kamerareferenzframe abbilden.
  • Es sei vorausgesetzt, dass der Bildframe, der Kameraframe und der Weltframe eine ähnliche Struktur besitzen, d. h., die X-Achse zeigt nach vorn, die Y-Achse zeigt nach links und die Z-Achse zeigt nach oben. Gemäß einem kanonischen Kameramodell sind die Bildkoordinaten (Yi, Zi)T eingeschränkt durch:
    Figure 00090001
    wobei oy, oz, sy, sz und f der Kamera innewohnende Parameter sind, die die Kamerareferenzframe-Koordinaten in die Bildebene abbilden.
  • Definiert man
    Figure 00090002
    so sind die Pixelkoordinaten:
    Figure 00090003
  • Durch Einsetzen von Gleichung (1) in Gleichung (4) erhält man:
    Figure 00100001
    wobei R i / T die i-te Zeile der Matrix R bedeutet. Dies stellt die Transformation eines beliebigen Weltpunkts in die Bildebene dar.
  • Befinden sich die Weltpunkte in einer Ebene, so erfüllen sie die Ebenengleichung: aXw + bYw + cZw = –d. (8)
  • Da man den Ursprung so wählen kann, dass d = 0 vermieden wird, kann man eine normierte Ebenengleichung verwenden: aXw + bYw + cZw = ATPw = 1. (9)
  • Gleichung (1) kann man wie folgt schreiben: Pc = RPw – RT = RPw – RTATPw = R(I – TAT)Pw. (10)
  • Durch Einsetzen von Gleichung (10) in Gleichung (4) erhält man:
    Figure 00100002
  • Definiert man
    Figure 00110001
    so gilt
  • Figure 00110002
  • Dabei ist H die Homographiematrix, die eine Weltebene in die Bildebene abbildet. Das Weltkoordinatensystem sei in folgender Weise definiert: der Ursprung ist ein fester Punkt im Fahrzeug, und die Ausrichtung liegt bezüglich des Fahrzeugs fest. Beispielsweise zeigt die X-Achse zur Vorderseite des Fahrzeugs, die Y-Achse zeigt zur linken Seite des Fahrzeugs, und die Z-Achse zeigt zur Oberseite des Fahrzeugs. Zur Klarstellung wird dies, wo es im folgenden Kontext erforderlich ist, als "Fahrzeugkoordinatensystem" bezeichnet, und als Index wird v anstelle von w verwendet. Zudem wird die Kamera so eingebaut, dass sie fest mit dem Fahrzeug verbunden ist. Dadurch liegen R und T fest. Unter der Voraussetzung, dass sich die kamerainternen Parameter oy, oz, –f/sy, –f/sz nicht verändern, und dass die normierte Ebenengleichung (d. h. Gleichung (9)) im Fahrzeugkoordinatensystem gilt (d. h., dass sich A nicht ändert), ist H konstant.
  • Für die letzte Forderung eines sich nicht ändernden A kann sich der Ursprung des Fahrzeugkoordinatensystems entweder in einer geraden Linie bewegen oder sich um den Normalenvektor der Straßenebene in einer Ebene parallel zur Straßenebene drehen. Diese Einschränkung ist für sehr gerade Straßen vernünftig. Für geringe Neigungen der Straße gilt H nur näherungsweise. Starke Steigungen oder Fahrzeugüberschläge verletzen die Forderung. Im Folgenden sei vorausgesetzt, dass H zeitlich konstant ist.
  • Kennt man andererseits einen Punkt in der Bildebene, so sollte man in der Lage sein, den Punkt in der Weltebene zu bestimmen. H ist normalerweise nicht singulär. Sonst würde die Kamera die Straßenebene in der Tat als Linie im Bild sehen. Dies ist bei einer realen Systemeinstellung vermeidbar. Somit gilt:
  • Figure 00120001
  • Da gilt ATPv = 1, folgt
    Figure 00120002
  • Somit erhält man
  • Figure 00120003
  • Setzt man voraus, dass die Bildpixel den Punkten der Weltebene zugeordnet sind, so liefert Gleichung (16) den Weltpunkt in der Ebene.
  • Die Abbildung von Geschwindigkeiten wird wie folgt vorgenommen. Die Geschwindigkeit des Weltpunkts in der Straßenebene kann man als Ableitung bezüglich der Zeit t ausdrücken:
    Figure 00120004
  • Sei H T / i als i-te Zeile von H definiert, so gilt x1 = H1 TP, (18) X2 = H2 TP, (19) x3 = H3 TP. (20)
  • Nun muss die Abbildung der Bildgeschwindigkeit auf die Weltgeschwindigkeit hergestellt werden:
    Figure 00130001
  • Kennt man den Bildpunkt und seine Geschwindigkeit in der Bildebene, so kann man in ähnlicher Weise aus der Ableitung von Gleichung (16) die Geschwindigkeit eines Punkts in der Welt gewinnen:
    Figure 00130002
  • Oben wurden die Zusammenhänge zwischen den Orten und Geschwindigkeiten im Fahrzeug und den Bildkoordinatensystemen hergestellt. Man muss nun noch herausfinden, wie sich die Welt gesehen aus dem Fahrzeug bewegt, d. h. die Bewegung der Welt im Fahrzeugkoordinatensystem bestimmen.
  • Bewegt sich das Fahrzeug in einer geraden Linie mit einer bekannten Geschwindigkeit Vv,w, so bewegt sich jeder Weltpunkt mit P'v = –Vv,w im Fahrzeugkoordinatensystem. Damit kann man für ein Pixel in der Bildebene den zugeordneten Weltort im Fahrzeugkoordinatensystem Pv über Gleichung (16) berechnen. Ferner kann man seinen tatsächlichen Bewegungsfluss im Bild leicht aus Pv und P'v berechnen, und zwar mit Hilfe von Gleichung (21) und Gleichung (22).
  • Fährt das Fahrzeug jedoch eine Kurve, so ist die Geschwindigkeit des Weltpunkts in Fahrzeugkoordinatensystem nicht mehr homogen. Es seien reine Drehungen in der Ebene betrachtet, d. h., das Fahrzeug dreht sich während es auf der idealen Ebene fährt, und es tritt kein Schleudern auf. Gemäß 3 wird das Fahrzeug auf zwei Räder verein facht, nämlich das (mittlere) Vorderrad und das (mittlere) Hinterrad. Der Begriff "mittlere" wird im folgenden Sinn verwendet. Ein vierrädriges Fahrzeug wird so vereinfacht, dass es nur zwei Räder aufweist, nämlich das "mittlere" Vorderrad im Mittelpunkt zwischen den beiden Vorderrädern, und das "mittlere" Hinterrad im Mittelpunkt zwischen den zwei Hin terrädern. Die Fahrzeugbewegungsinformation erfolgt anhand des vereinfachten Fahrzeugmodells, z. b. der (mittleren) Vorderradgeschwindigkeit und des (mittleren) Vorderradwinkels. Mit dem bekannten Vorderradwinkel δ und der Radachse L erhält man den Vorderrad-Drehradius:
    Figure 00140001
  • Kennt man die physikalische Vorderradgeschwindigkeit Vf,w, so ist die Winkelgeschwindigkeit Vf,wIR = Vf,w sinδ/L. Mit ω sei der Winkelgeschwindigkeitsvektor bezeichnet:
    Figure 00140002
  • Für jeden beliebigen Punkt Pw auf dem Fahrzeug ist seine Geschwindigkeit hinsichtlich der Drehung O: Vω = ω × (pω – O). (27)
  • Da das Fahrzeugkoordinatensystem bezüglich seines Ursprungs Ov fest mit dem Fahrzeug verbunden ist, bewegt sich jeder nicht zum Fahrzeug gehörende Weltpunkt Pw mit einer Geschwindigkeit: Vv = (Pω – O) × ω (28) = (Pω-Ov – O) × ω (29) = (Pω – Ov) × ω – Vv,ω, (30)wobei Vv,ω die Geschwindigkeit des Ursprungs des Fahrzeugkoordinatensystems in der realen Welt ist. Man beachte, dass Vω – Ov tatsächlich der Weltpunkt im Fahrzeugkoordinatensystem ist. Damit ist die Geschwindigkeit eines nicht zum Fahrzeug gehörenden Weltpunkts im Fahrzeugweltsystem Vv = Pv × ω – Vv,ω. (31)
  • Die nicht drehende Bewegung ist ein Sonderfall, für den gilt ω = 0, also Vv = Vv,ω (32)
  • Mit Gleichung (31) kennt man die Geschwindigkeit eines Weltpunkts für den Fall einer Drehbewegung. Somit kann man seinen tatsächlichen Bildbewegungsfluss leicht aus Gleichung (21) und Gleichung (22) berechnen.
  • Es sei angenommen, dass der Ursprung ein Punkt auf der Achse zwischen den Mitten des (mittleren) Vorderrads und des (mittleren) Hinterrads ist, wobei der Abstand zur Mitte des Hinterrads pL ist. Ähnlich zu δ, kann der Winkel β zwischen der Geschwindigkeit des Ursprungs und der X-Achse berechnet werden zu β = arctan(p tanδ). (33)
  • Die (skalare) Geschwindikeit des Fahrzeugsprungs ist
    Figure 00150001
    , so das gilt:
    Figure 00150002
    Figure 00150003
  • Für den Sonderfall einer geradlinigen Bewegung gilt δ = 0 und β = 0, also
  • Figure 00160001
  • Setzt man einfach den Ursprung des Fahrzeugkoordinatensystems in die Vorderradmitte, so gilt p = 1 und β = δ. Man beachte, dass H verändert werden muss, da ein anderes T verwendet wird. Somit gilt
    Figure 00160002
  • Gestützt auf die beschriebene theoretische Analyse werden nun die Abläufe der Erfindung anhand einer ihrer Ausführungsformen beschrieben.
  • Die Kamera wird fest im Fahrzeug eingebaut. Das Fahrzeugkoordinatensystem wird ermittelt, indem der Ursprung auf einen Punkt im Fahrzeug festgelegt wird. Damit kennt man die Drehung R und die Verschiebung T zwischen dem Fahrzeugkoordinatensystem und dem Kameraframe. Der Zusammenhang zwischen der Straßenebene und dem Fahrzeugkoordinatensystem wird ebenfalls bestimmt, d. h. A wird ermittelt. Aufgrund der Art, in der das Fahrzeugkoordinatensystem gewählt ist, hat A die Form (0, 0, c)T. Damit lässt sich die Homographie H leicht aus den kameraeigenen Parametern, R, T und A anhand von Gleichung (12) berechnen.
  • Wird ein Bild als Video von der Kamera empfangen, kann man den Bildbewegungsfluss für ausgewählte Punkte mit hoher Zuverlässigkeit berechnen, und zwar mit fortgeschrittenen Algorithmen, die an anderen Orten beschrieben sind. Gleichzeitig kann man aus dem Wissen über den Punkt, dem Ort in der Bildebene y und z, den Weltpunkt Pv mit Hilfe von Gleichung 16 berechnen. Gleichung (35) oder Gleichung (37) liefern Vv, die Geschwindigkeit eines Weltpunkts im Fahrzeugkoordinatensystem. Setzt man Pv und P'v = Vv in Gleichung (21) und Gleichung (22) ein, so erhält man den tatsächlichen Bildbewegungsfluss des Punkts. Durch den Vergleich des gemessenen Bildbewegungsflusses mit dem berechneten tatsächlichen Bewegungsfluss (wobei davon ausgegangen wird, dass es sich um einen Punkt in der Straßenebene handelt) kann man prüfen, ob der Punkt tatsächlich ein Straßenpunkt ist. Wie bereits erwähnt stimmt der Bildbewegungsfluss eines Hindernispunkts nicht mit dem tatsächlichen Bewegungsfluss überein, der unter der Annahme berechnet wurde, dass es sich um einen Straßenpunkt handelt. Damit ist das Hindernis erkannt.
  • Anhand von 4 wird nun eine Anwendung des Verfahrens in 2 gemäß einer Ausführungsform der Erfindung erläutert. 4(A) zeigt zwei Bilder 405, 410, die mit einer kalibrierten Videokamera mit bekannter Eigenbewegung bezüglich einer bekannten Straßenebene aufgenommen wurden. Das zweite Bild 410 stellt die Situation nach einem Zeitintervall dar, das seit der Aufnahme des ersten Bilds 405 verstrichen ist. Obwohl zur Vereinfachung nur zwei Bilder 405, 410 dargestellt sind, kann man natürlich, wie Fachleuten bekannt ist, jede beliebige Anzahl von Bildern sammeln. Die beiden Bilder 405, 410 können an eine Bildbewegungsfluss-Erfassungseinheit gesendet werden, die den Bildbewegungsfluss erkennt.
  • 4(B) zeigt einen beispielhaften Bildbewegungsfluss 415 mit einem zuverlässigen bewegten Muster 420. Das zuverlässige sich bewegende Muster 420 entspricht der Spitze einer Fahrstreifenmarkierung. Insbesondere stellt das zuverlässige sich bewegende Muster 420 die Spitze der Fahrstreifenmarkierung dar, die sich vom ersten Bild 405 in das zweite Bild 410 bewegt. Obwohl nur ein zuverlässiges sich bewegendes Muster 405 dargestellt ist, kann die Bildbewegungsfluss-Erfassungseinheit natürlich mehrere zuverlässige sich bewegende Muster 420 innerhalb des Bildbewegungsflusses ermitteln. Der Bildbewegungsfluss kann an eine Erfassungseinheit für den tatsächlichen Bewegungsfluss gesendet werden.
  • 4(C) zeigt einen beispielhaften tatsächlichen Bewegungsfluss 425 mit zwei Straßenpunktbewegungen, nämlich der Bewegung einer Fahrstreifenmarkierung 430 und der Bewegung eines Hinterrads 435. Die beiden Straßenpunktbewegungen 430, 435 stellen projizierte Bewegungen der Fahrstreifenmarkierung bzw. des Hinterrads dar. Wie bereits beschrieben werden sie mit Hilfe der bekannten Eigenbewegung der Kamera ermittelt. Der Bildbewegungsfluss und der tatsächliche Bewegungsfluss können an eine Vergleichseinheit gesendet werden.
  • 4(D) zeigt eine beispielhafte Ausgabe 440 nach dem Vergleich des Bildbewegungsflusses und des tatsächlichen Bewegungsflusses. Das zuverlässige sich bewegende Muster 420 in 4(B) stimmt mit der Bewegung 430 der Fahrstreifenmarkierung in 4(C) überein. Daher wird es nicht als Hindernispunkt eingestuft. Dagegen weist die Hinterradbewegung 435 in 4(C) keine entsprechende Übereinstimmung im Bildbewegungsfluss 415 in 4(B) auf. Daher wird die Hinterradbewegung 435 in der Ausgabe 440 als Hindernispunkt 445 dargestellt. In einer Ausführungsform kann der Hindernispunkt 445 nach einer Iteration der Vergleichseinheit bestimmt werden. In einer anderen Ausführungsform kann der Hindernispunkt 445 nach mehreren Iterationen der Vergleichseinheit bestimmt werden, um sicherzustellen, dass die Hinterradbewegung 435 keine Übereinstimmung im Bildbewegungsfluss 415 aufweist. 5 zeigt eine andere beispielhafte Ausgabe 450 mit mehreren Hindernispunkten 445.
  • Natürlich kann man die Erfindung mit jedem beliebigen Hinderniserkennungsverfahren und System aus einer Reihe bekannter Verfahren und Systeme kombinieren. Derartige Kombinationen können eine höhere Genauigkeit und/oder robustere Verfahren und Systeme liefern. Die Erfindung kann beispielsweise mit Radar-, Lidar- und Ultraschall-Hinderniserkennungssystemen und Verfahren kombiniert werden. Zudem kann man nach der Einstufung eines Hindernispunkts als tatsächliches Hindernis den Typ des Hindernisses klassifizieren. Man kann beispielsweise jedes beliebige Klassifizierungsverfahren aus einer Reihe bekannter Verfahren nutzen. Man kann es mit Hilfe eines automatisierten Klassifizierungssystems und/oder einer graphischen Benutzerschnittstelle implementieren. Die graphische Benutzerschnittstelle kann menschliche Eingaben ermöglichen, damit der Klassifizierungsvorgang genauer erfolgt.
  • Die oben offenbarten besonderen Ausführungsformen dienen nur der Erklärung. Fachleute, die die hier angegebenen Lehren besitzen, können die Erfindung abwandeln und in unterschiedlichen aber gleichwertigen Weisen verwirklichen. Zudem sind keine Einschränkungen bezüglich der Einzelheiten der Konstruktion oder des Entwurfs wie dargestellt beabsichtigt, die nicht aus den folgenden Ansprüchen hervorgehen. Es ist daher offensichtlich, dass die besonderen oben offenbarten Ausführungsformen verändert oder abgewandelt werden können, und dass alle derartigen Varianten als in den Bereich der Erfindung fallend betrachtet werden. Damit entspricht der beanspruchte Schutz den Angaben in den folgenden Ansprüchen.

Claims (19)

  1. Verfahren zur Echtzeit-Hinderniserkennung aus einem Fahrzeug, das sich relativ zu einer Straße bewegt, umfassend: das Kalibrieren (205) einer Bilderfassungsvorrichtung, damit man jeden beliebigen Bildpunkt auf einen Punkt der realen Welt abbilden kann; das Empfangen (210) eines oder mehrerer Bilder von der Bilderfassungsvorrichtung; das Empfangen von Information über die Eigenbewegung der Bilderfassungsvorrichtung; das Auswählen (215) eines oder mehrerer Punkte der realen Welt; das Anwenden eines Bewegungsschätzverfahrens auf den einen oder mehrere Punkte der realen Welt, das eine oder mehrere Bilder und eine bekannte Ebene, damit man einen Bildbewegungsfluss (220) des einen oder der mehreren Punkte der realen Welt ermitteln kann; das Bestimmen eines tatsächlichen Bewegungsflusses (225) des einen oder der mehreren Punkte der realen Welt abhängig von dem einen oder den mehreren Punkten der realen Welt, dem einen oder den mehreren Bildern und der Eigenbewegung; und das Feststellen (230), dass es sich bei dem einen oder den mehreren Punkten der realen Welt um einen oder mehrere Hindernispunkte handelt, indem man den Bildbewegungsfluss und den tatsächlichen Bewegungsfluss vergleicht; dadurch gekennzeichnet, dass der eine oder die mehreren Punkte der realen Welt anhand eines Lenkbarkeitskriteriums gewählt (215) werden, das umgekehrt proportional zur Unsicherheit ist, die der Ortung der Punkte der realen Welt zugewiesen ist.
  2. Verfahren nach Anspruch 1, wobei das Anwenden eines Bewegungsschätzverfahrens das Anwenden eines optischen Flussverfahrens mit statistischer Vereinigung umfasst.
  3. Verfahren nach Anspruch 1, wobei der Informationsempfang bezüglich der Eigenbewegung der Bilderfassungsvorrichtung den Informationsempfang von einem oder mehreren Sensoren umfasst, die das Fahrzeug mit sich führt.
  4. Verfahren nach Anspruch 2, wobei der Informationsempfang von dem einem oder den mehreren Sensoren den Informationsempfang von mindestens einem Gyroskop und einem GPS umfasst.
  5. Verfahren nach Anspruch 1, wobei der Informationsempfang bezüglich der Eigenbewegung der Bilderfassungsvorrichtung das Ermitteln der Information ausgehend von dem einem oder den mehreren Bildern umfasst.
  6. Verfahren nach Anspruch 1, wobei das Ermitteln (230), dass der eine oder die mehreren Punkte der realen Welt ein oder mehrere Hindernispunkte sind, indem der Bildbewegungsfluss und der tatsächliche Bewegungsfluss verglichen werden, enthält: falls der Bildbewegungsfluss nicht mit dem tatsächlichen Bewegungsfluss übereinstimmt, das Feststellen, dass es sich bei dem einen oder den mehreren Punkten der realen Welt um einen oder mehrere Hindernispunkte handelt; und falls der Bildbewegungsfluss mit dem tatsächlichen Bewegungsfluss übereinstimmt, das Feststellen, dass es sich bei dem einen oder den mehreren Punkten der realen Welt nicht um Hindernispunkte handelt.
  7. Verfahren nach Anspruch 1, zudem umfassend: das Verfolgen der Daten einer Anzahl Fälle des einen oder der mehreren Hindernispunkte über ein Zeitintervall; und das Feststellen anhand der Daten, dass es sich bei dem einen oder den mehreren Hindernispunkten um ein oder mehrere tatsächliche Hindernisse handelt.
  8. Verfahren nach Anspruch 7, wobei das Ermitteln (230) anhand der Daten, dass es sich bei dem einen oder den mehreren Hindernispunkten um ein oder mehrere tatsächliche Hindernisse handelt, das Feststellen anhand der Daten und anhand von Information aus anderen Erfassungsverfahren umfasst, dass es sich bei dem einen oder den mehreren Hindernispunkten um ein oder mehrere tatsächliche Hindernisse handelt.
  9. Verfahren nach Anspruch 8, wobei das Ermitteln (230) anhand der Daten und anhand von Information aus anderen Erfassungsverfahren, dass es sich bei dem einen oder den mehreren Hindernispunkten um ein oder mehrere tatsächliche Hindernisse handelt, das Feststellen umfasst, dass es sich bei dem einen oder den mehreren Hindernispunkten um ein oder mehrere tatsächliche Hindernisse handelt, und zwar anhand der Daten und der Information, die mindestens entweder von einer Radar-Hinderniserkennung oder einer Lidar-Hinderniserkennung oder einer Ultraschall-Hinderniserkennung stammt.
  10. Verfahren nach Anspruch 7, zudem umfassend das Klassifizieren eines Typs des einen oder der mehreren tatsächlichen Hindernisse mit Hilfe der automatischen Erkennung.
  11. Verfahren nach Anspruch 7, zudem umfassend das Klassifizieren eines Typs des einen oder der mehreren tatsächlichen Hindernisse mit Hilfe einer grafischen Benutzerschnittstelle.
  12. Verfahren nach Anspruch 1, wobei das Kalibrieren einer Bilderfassungsvorrichtung das Kalibrieren einer Videokamera (205) umfasst.
  13. System zur Echtzeit-Hinderniserkennung aus einem Fahrzeug, das sich relativ zu einer Straße bewegt, umfassend: eine Bilderfassungsvorrichtung; Mittel zum Kalibrieren einer Bilderfassungsvorrichtung, so dass man jeden beliebigen Bildpunkt auf einen Punkt der realen Welt abbilden kann; Mittel zum Empfangen eines oder mehrerer Bilder von der Bilderfassungsvorrichtung; Mittel zum Empfangen von Information über die Eigenbewegung der Bilderfassungsvorrichtung; Mittel zum Wählen eines oder mehrerer Punkte der realen Welt; Mittel zum Anwenden eines Bewegungsschätzverfahrens auf den einen oder die mehreren Punkte der realen Welt, das eine oder die mehreren Bilder und auf die Straße, um einen Bildbewegungsfluss des einen oder der mehreren Punkte der realen Welt zu ermitteln; Mittel zum Bestimmen eines tatsächlichen Bewegungsflusses des einen oder der mehreren Punkte der realen Welt abhängig von dem einen oder den mehreren Punkten der realen Welt, dem einen oder den mehreren Bildern und der Eigenbewegung; und Mittel zum Feststellen, dass es sich bei dem einen oder den mehreren Punkten der realen Welt um einen oder mehrere Hindernispunkte handelt, indem man den Bildbewegungsfluss und den tatsächlichen Bewegungsfluss vergleicht; dadurch gekennzeichnet, dass die Mittel zum Wählen des einen oder der mehreren Punkte der realen Welt gemäß einem Lenkbarkeitskriterium wählen (215), das umgekehrt proportional zur Unsicherheit ist, die der Ortung der Punkte der realen Welt zugewiesen ist.
  14. System nach Anspruch 13, wobei die Bilderfassungsvorrichtung eine Videokamera umfasst.
  15. System nach Anspruch 13, zudem umfassend: Mittel zum Verfolgen der Daten einer Anzahl Fälle des einen oder der mehreren Hindernispunkte über ein Zeitintervall; und Mittel zum Feststellen anhand der Daten, dass es sich bei dem einen oder den mehreren Hindernispunkten um ein oder mehrere tatsächliche Hindernisse handelt.
  16. System nach Anspruch 13, zudem umfassend einen oder mehrere Sensoren, die das Fahrzeug mit sich führt, damit die Eigenbewegung der Bilderfassungsvorrichtung ermittelt wird.
  17. System nach Anspruch 16, wobei der eine oder die mehreren Sensoren, die das Fahrzeug mit sich führt, einen Gyroskopsensor umfassen.
  18. System nach Anspruch 16, wobei der eine oder die mehreren Sensoren, die das Fahrzeug mit sich führt, einen GPS-Sensor umfassen.
  19. Maschinenlesbares Medium, auf dem Befehle gespeichert sind, die ein Prozessor ausführen kann, damit er ein Verfahren zur Echtzeit-Hinderniserkennung aus einem Fahrzeug ausführt, das sich relativ zu einer Straße bewegt, umfassend: das Kalibrieren (205) einer Bilderfassungsvorrichtung, damit man jeden beliebigen Bildpunkt auf einen Punkt der realen Welt abbilden kann; das Empfangen (210) eines oder mehrerer Bilder von der Bilderfassungsvorrichtung; das Empfangen von Information über die Eigenbewegung der Bilderfassungsvorrichtung; das Auswählen (215) einer oder mehrerer Punkte der realen Welt; das Anwenden eines Bewegungsschätzverfahrens auf den einen oder mehrere Punkte der realen Welt, das eine oder mehrere Bilder und auf die Straße, um einen Bildbewegungsfluss (220) des einen oder der mehreren Punkte der realen Welt zu ermitteln; das Bestimmen eines tatsächlichen Bewegungsflusses (225) des einen oder der mehreren Punkte der realen Welt abhängig von dem einen oder den mehreren Punkten der realen Welt, dem einen oder den mehreren Bildern und der Eigenbewegung; und das Feststellen (230), dass es sich bei dem einen oder den mehreren Punkten der realen Welt um einen oder mehrere Hindernispunkte handelt, indem man den Bildbewegungsfluss und den tatsächlichen Bewegungsfluss vergleicht; dadurch gekennzeichnet, dass der eine oder die mehreren Punkte der realen Welt anhand eines Lenkbarkeitskriteriums gewählt (215) werden, das umgekehrt proportional zur Unsicherheit ist, die der Ortung der Punkte der realen Welt zugewiesen ist.
DE602004012962T 2003-02-05 2004-02-03 Echtzeit-hinderniserkennung mit einer kalibrierten kamera und bekannter ego-bewegung Expired - Lifetime DE602004012962T2 (de)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US44520303P 2003-02-05 2003-02-05
US445203P 2003-02-05
US10/770,044 US7446798B2 (en) 2003-02-05 2004-02-02 Real-time obstacle detection with a calibrated camera and known ego-motion
US770044 2004-02-02
PCT/US2004/003013 WO2004072901A1 (en) 2003-02-05 2004-02-03 Real-time obstacle detection with a calibrated camera and known ego-motion

Publications (2)

Publication Number Publication Date
DE602004012962D1 DE602004012962D1 (de) 2008-05-21
DE602004012962T2 true DE602004012962T2 (de) 2008-07-31

Family

ID=32871938

Family Applications (1)

Application Number Title Priority Date Filing Date
DE602004012962T Expired - Lifetime DE602004012962T2 (de) 2003-02-05 2004-02-03 Echtzeit-hinderniserkennung mit einer kalibrierten kamera und bekannter ego-bewegung

Country Status (4)

Country Link
US (1) US7446798B2 (de)
EP (1) EP1590771B1 (de)
DE (1) DE602004012962T2 (de)
WO (1) WO2004072901A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012080044A1 (de) 2010-12-15 2012-06-21 Robert Bosch Gmbh Verfahren und system zur bestimmung einer eigenbewegung eines fahrzeugs
DE102014117888A1 (de) * 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050908B1 (en) * 2005-03-22 2006-05-23 Delphi Technologies, Inc. Lane marker projection method for a motor vehicle vision system
US8401240B2 (en) * 2006-11-09 2013-03-19 University Of Florida Research Foundation, Inc. Passive single camera imaging system for determining motor vehicle speed
JP4919036B2 (ja) * 2007-01-30 2012-04-18 アイシン精機株式会社 移動物体認識装置
JP4744537B2 (ja) * 2008-02-05 2011-08-10 日立オートモティブシステムズ株式会社 走行レーン検出装置
DE102008058279A1 (de) * 2008-11-20 2010-05-27 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Kompensation eines Rollwinkels
CN101419667B (zh) * 2008-12-15 2010-12-08 东软集团股份有限公司 识别图像中障碍物的方法和装置
EP2209091B1 (de) * 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System und Verfahren zur Objektbewegungsdetektion auf Grundlage von mehrfachem 3D-Warping und mit solch einem System ausgestattetes Fahrzeug
DE102009007842A1 (de) * 2009-02-06 2010-08-12 Adc Automotive Distance Control Systems Gmbh Verfahren und Vorrichtung zum Betrieb eines videobasierten Fahrerassistenzsystems in einem Fahrzeug
US8340400B2 (en) * 2009-05-06 2012-12-25 Honeywell International Inc. Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
TWI398160B (zh) * 2009-12-01 2013-06-01 Ind Tech Res Inst 攝影機校正系統與座標資料產生系統及其方法
US8199977B2 (en) 2010-05-07 2012-06-12 Honeywell International Inc. System and method for extraction of features from a 3-D point cloud
CN107092856A (zh) * 2011-03-14 2017-08-25 加州大学评议会 用于车辆分类的方法和系统
FR2976355B1 (fr) * 2011-06-09 2013-06-21 Jean Luc Desbordes Dispositif de mesure de vitesse et de position d'un vehicule se deplacant le long d'une voie de guidage, procede et produit programme d'ordinateur correspondant.
US8521418B2 (en) 2011-09-26 2013-08-27 Honeywell International Inc. Generic surface feature extraction from a set of range data
CN104584097B (zh) * 2012-08-09 2017-04-05 丰田自动车株式会社 物体检测装置和驾驶辅助装置
TWI500318B (zh) * 2012-08-21 2015-09-11 Tung Thin Electronic Co Ltd 校正汽車攝影裝置之方法
US9153067B2 (en) 2013-01-21 2015-10-06 Honeywell International Inc. Systems and methods for 3D data based navigation using descriptor vectors
DE102014202639A1 (de) 2013-02-15 2014-08-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen einer Fahrzeugbewegung eines Fahrzeugs
DE102013206707A1 (de) 2013-04-15 2014-10-16 Robert Bosch Gmbh Verfahren zur Überprüfung eines Umfelderfassungssystems eines Fahrzeugs
CN104933755B (zh) * 2014-03-18 2017-11-28 华为技术有限公司 一种静态物体重建方法和系统
US9569736B1 (en) * 2015-09-16 2017-02-14 Siemens Healthcare Gmbh Intelligent medical image landmark detection
US10019805B1 (en) * 2015-09-29 2018-07-10 Waymo Llc Detecting vehicle movement through wheel movement
CN105678787A (zh) * 2016-02-03 2016-06-15 西南交通大学 一种基于双目鱼眼摄像头的载重货车行驶障碍物检测及跟踪方法
US10318826B2 (en) 2016-10-07 2019-06-11 Ford Global Technologies, Llc Rear obstacle detection and distance estimation
US20180293735A1 (en) * 2017-04-11 2018-10-11 Sony Corporation Optical flow and sensor input based background subtraction in video content
EP3738072A4 (de) * 2018-01-08 2021-09-29 Foresight Automotive Ltd. Multispektrales system zur bereitstellung von vorkollisionswarnungen
CN109389650B (zh) * 2018-09-30 2021-01-12 京东方科技集团股份有限公司 一种车载相机的标定方法、装置、车辆和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6370475B1 (en) * 1997-10-22 2002-04-09 Intelligent Technologies International Inc. Accident avoidance system
JP3463858B2 (ja) * 1998-08-27 2003-11-05 矢崎総業株式会社 周辺監視装置及び方法
US6704621B1 (en) * 1999-11-26 2004-03-09 Gideon P. Stein System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
US7266220B2 (en) * 2002-05-09 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring device, monitoring method and program for monitoring

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012080044A1 (de) 2010-12-15 2012-06-21 Robert Bosch Gmbh Verfahren und system zur bestimmung einer eigenbewegung eines fahrzeugs
DE102010063133A1 (de) 2010-12-15 2012-06-21 Robert Bosch Gmbh Verfahren und System zur Bestimmung einer Eigenbewegung eines Fahrzeugs
US9789816B2 (en) 2010-12-15 2017-10-17 Robert Bosch Gmbh Method and system for determining an ego-motion of a vehicle
DE102014117888A1 (de) * 2014-12-04 2016-10-13 Connaught Electronics Ltd. Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems

Also Published As

Publication number Publication date
US20040183905A1 (en) 2004-09-23
US7446798B2 (en) 2008-11-04
DE602004012962D1 (de) 2008-05-21
WO2004072901A1 (en) 2004-08-26
EP1590771B1 (de) 2008-04-09
EP1590771A1 (de) 2005-11-02

Similar Documents

Publication Publication Date Title
DE602004012962T2 (de) Echtzeit-hinderniserkennung mit einer kalibrierten kamera und bekannter ego-bewegung
EP3183721B1 (de) Verfahren und achsenzähl-vorrichtung zur berührungslosen achsenzählung eines fahrzeugs sowie achsenzählsystem für den strassenverkehr
DE102013209415B4 (de) Dynamische Hinweisüberlagerung mit Bildbeschneidung
DE102008026397B4 (de) Radar-, Lidar- und Kamera-unterstützte Verfahren zur Schätzung der Fahrzeugdynamik
DE112008003486B4 (de) Bewegungszustand-Schätzvorrichtung
EP2150939B1 (de) Verfahren und vorrichtung zum bestimmen der position eines verkehrszeichens
DE102015105248A1 (de) Erzeugen eines bildes von der umgebung eines gelenkfahrzeugs
DE102013205882A1 (de) Verfahren und Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts
DE102009005184A1 (de) Fahrzeugabtastsystem
DE102012219834A1 (de) Spurverfolgungssystem
DE102015203016A1 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
DE102012112104A1 (de) Verfahren und vorrichtung zur befahrbarkeitsanalyse
EP2707862B1 (de) Abstandsbestimmung mittels eines kamerasensors
EP3392111A1 (de) Verfahren und vorrichtung zum ermitteln einer visuellen ablenkung eines fahrers eines fahrzeugs
DE112017007347T5 (de) Objekterkennungsvorrichtung und fahrzeug
DE102018127600A1 (de) Informationsverarbeitungsvorrichtung, Fahrerüberwachungssystem, Informationsverarbeitungsverfahren und Informationsverarbeitungsprogramm
EP3520023B1 (de) Detektion und validierung von objekten aus sequentiellen bildern einer kamera
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
DE102017209427B3 (de) Vorrichtung zur Fahrschlauchabsicherung
DE102018204451A1 (de) Verfahren und Vorrichtung zur Autokalibrierung eines Fahrzeugkamerasystems
EP1787847A2 (de) Fahrerassistenzsystem mit Abstandserfassung
EP2394247B1 (de) Verfahren und vorrichtung zum betrieb eines videobasierten fahrerassistenzsystems in einem fahrzeug
WO2021170321A1 (de) Verfahren zum detektieren bewegter objekte in einer fahrzeugumgebung und kraftfahrzeug
EP3520020B1 (de) Verkehrszeichenklassifikation in einem umgebungsbereich eines kraftfahrzeugs
DE102013001867A1 (de) Verfahren zur Ermittlung einer Fahrzeugorientierung und/oder einer korrigierten Fahrzeugposition eines Kraftfahrzeugs und Kraftfahrzeug

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: SIEMENS CORP. (N. D. GES. D. STAATES DELAWARE), US