DE102009050505A1 - Detektion eines freien Pfads durch Strassenmodellerstellung - Google Patents

Detektion eines freien Pfads durch Strassenmodellerstellung Download PDF

Info

Publication number
DE102009050505A1
DE102009050505A1 DE102009050505A DE102009050505A DE102009050505A1 DE 102009050505 A1 DE102009050505 A1 DE 102009050505A1 DE 102009050505 A DE102009050505 A DE 102009050505A DE 102009050505 A DE102009050505 A DE 102009050505A DE 102009050505 A1 DE102009050505 A1 DE 102009050505A1
Authority
DE
Germany
Prior art keywords
image
vehicle
road
lane
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102009050505A
Other languages
English (en)
Inventor
Wende Shelby Township Zhang
Sanjeev M. Troy Naik
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/474,594 external-priority patent/US8634593B2/en
Priority claimed from US12/581,659 external-priority patent/US8487991B2/en
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102009050505A1 publication Critical patent/DE102009050505A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Ein Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug, das eine Vereinigung einer Detektion eines freien Pfads durch eine Bildanalyse und von Straßengeometriedaten, die eine Straßengeometrie beschreiben, umfasst, umfasst, dass ein Bild von einer Kameraeinrichtung an dem Fahrzeug überwacht wird, das Bild durch eine Analyse einer Detektion eines freien Pfads analysiert wird, um einen freien Fahrpfad in dem Bild zu ermitteln, die Straßengeometriedaten überwacht werden, die Straßengeometriedaten analysiert werden, um eine Auswirkung der Daten auf den freien Pfad zu ermitteln, der freie Pfad auf der Grundlage der Analyse der Straßengeometriedaten modifiziert wird und der freie Pfad bei der Navigation des Fahrzeugs verwendet wird.

Description

  • QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
  • Diese Anmeldung ist eine Continuation-In-Part-Anmeldung der US-Anmeldung Nr. 12/581,659, eingereicht am 19. Oktober 2009, die eine Continuation-In-Part-Anmeldung der US-Anmeldung Nr. 12/474,594, eingereicht am 29. Mai 2009, ist, die eine Continuation-In-Part-Anmeldung der US-Anmeldung Nr. 12/108,581, eingereicht am 24. April 2008, ist. Die US-Anmeldung Nr. 12/581,659, eingereicht am 19. Oktober 2009, beansprucht die Priorität der vorläufigen US-Anmeldung Nr. 61/215,745, eingereicht am 8. Mai 2009. Der Offenbarungsgehalt der US-Anmeldung Nr. 12/581,659, der US-Anmeldung Nr. 12/474,594, der US-Anmeldung Nr. 12/108,581 und der vorläufigen US-Anmeldung Nr. 61/215,745 sind hierin durch Bezugnahme vollständig mit eingeschlossen.
  • TECHNISCHES GEBIET
  • Diese Offenbarung bezieht sich auf eine automatisierte oder halbautomatisierte Steuerung eines Kraftfahrzeugs.
  • HINTERGRUND
  • Die Aussagen in diesem Abschnitt stellen lediglich Hintergrundinformationen bezüglich der vorliegenden Offenbarung bereit und müssen nicht unbedingt Stand der Technik darstellen.
  • Autonome Fahrsysteme und halbautonome Fahrsysteme verwenden Eingänge bezüglich der Straße und andere Fahrbedingungen, um Drossel- und Lenkmechanismen automatisch zu steuern. Eine genaue Schätzung und Identifikation eines freien Pfads, auf dem ein Kraftfahrzeug betrieben werden soll, ist hinsichtlich eines erfolgreichen Ersetzens des menschlichen Gehirns als Steuermechanismus für einen Fahrzeugbetrieb kritisch.
  • Die Straßenbedingungen können komplex sein. Bei normalem Betrieb eines Fahrzeugs macht der menschliche Betreiber Hunderte von Beobachtungen pro Minute und passt er den Betrieb des Fahrzeugs auf der Grundlage von wahrgenommenen Straßenbedingungen an. Ein Aspekt des Wahrnehmens von Straßenbedingungen ist die Wahrnehmung der Straße im Kontext von Objekten auf der und um die Fahrbahn herum und das Fahren auf einem freien Pfad durch jegliche Objekte hindurch. Ein Ersetzen der menschlichen Wahrnehmung durch eine Technologie umfasst vorzugsweise ein Mittel, um Objekte genau wahrzunehmen und mit dem effektiven Fahren um solche Objekte herum fortzufahren.
  • Ein technologisches Mittel zum Wahrnehmen eines Objekts oder von Straßenbedingungen umfasst Daten von visuellen Kameras, eine Radarbilderfassung, LIDAR, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Kommunikationen und die Verwendung von Daten einer globalen Positionsbestimmung mit einer digitalen Karte. Kameras übersetzen visuelle Bilder in Form von Strahlung, wie beispielsweise Lichtmuster oder Infrarotsignaturen, in ein lesbares Datenformat. Ein solches Datenformat umfasst Pixel-Bilder, wobei eine wahrgenommene Szene in eine Reihe von Pixeln zerlegt wird. Eine Radarbilderfassung verwendet Funkwellen, die durch einen Sender erzeugt werden, um Formen und Objekte, die vor dem Sender vorhanden sind, zu schätzen. Muster in den Wellen, die von diesen Formen und Objekten reflektiert werden, können analysiert werden und die Orte von Objekten können geschätzt werden.
  • Sobald Daten bezüglich des Bodens vor dem Fahrzeug erzeugt wurden, müssen die Daten analysiert werden, um das Vorhandensein von Objekten aus den Daten zu schätzen. Durch Verwenden von Kameras und Radarbilderfassungssystemen können der Boden oder die Fahrbahn vor dem Fahrzeug hinsichtlich des Vorhandenseins von Objekten, die vermieden werden müssten, analysiert werden. Die ledigliche Identifikation von potentiellen Objekten, die vermieden werden müssen, führt jedoch nicht die Analyse aus. Eine wichtige Komponente jedes autonomen Systems umfasst die Tatsache, wie in den wahrgenommenen Bodendaten identifizierte potentielle Objekte verarbeitet und verändert werden, um einen freien Pfad zu identifizieren, auf dem das Fahrzeug betrieben werden soll.
  • Ein bekanntes Verfahren zum Identifizieren eines freien Pfads, auf dem das Fahrzeug betrieben werden soll, ist, alle wahrgenommenen Objekte zu katalogisieren und vorläufig zu identifizieren und hinsichtlich der Orte und Verhalten von identifizierten Objekten einen freien Pfad zu identifizieren. Es können Bilder verarbeitet werden, um Objekte gemäß ihrer Form und Beziehung zu der Fahrbahn zu identifizieren und zu klassifizieren. Während dieses Verfahren beim Identifizieren eines freien Pfads effektiv sein kann, erfordert es eine große Menge an Verarbeitungsleistung, wobei die Erkennung und Trennung verschiedener Objekte in dem visuellen Bild, beispielsweise ein Unterscheiden zwischen einem Baum an der Seite der Straße und einem Fußgänger, der in Richtung Randstein geht, erforderlich ist. Solche Verfahren können beim Verarbeiten komplexer Situationen langsam oder uneffektiv sein oder können unhandliche und teure Geräte erfordern, um die notwendige Verarbeitungskapazität zu liefern.
  • ZUSAMMENFASSUNG
  • Ein Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug, das eine Vereinigung einer Detektion eines freien Pfads durch eine Bildanalyse und von Straßengeometriedaten, die eine Straßengeometrie beschreiben, umfasst, umfasst, dass ein Bild von einer Kameraeinrichtung an dem Fahrzeug überwacht wird, das Bild durch eine Analyse einer Detektion eines freien Pfads analysiert wird, um einen freien Fahrpfad in dem Bild zu ermitteln, die Straßengeometriedaten überwacht werden, die Straßengeometriedaten analysiert werden, um eine Auswirkung der Daten auf den freien Pfad zu ermitteln, der freie Pfad auf der Grundlage der Analyse der Straßengeometriedaten modifiziert wird und der freie Pfad bei der Navigation des Fahrzeugs verwendet wird.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Nachstehend werden eine oder mehrere Ausführungsformen beispielhaft in Bezug auf die begleitenden Zeichnungen beschrieben, wobei:
  • 1 eine beispielhafte Anordnung eines Fahrzeugs, das mit einer Kamera und einem Radarbilderfassungssystem ausgestattet ist, gemäß der Offenbarung zeigt;
  • 2 ein bekanntes Verfahren zum Ermitteln eines freien Pfads zum autonomen Fahren gemäß der Offenbarung zeigt;
  • 3 ein beispielhaftes Verfahren zum Ermitteln eines freien Pfads unter Verwendung einer Wahrscheinlichkeitsanalyse eines Bilds gemäß der Offenbarung zeigt;
  • 4 ein beispielhaftes Verfahren zum Analysieren eines Bilds gemäß der Offenbarung zeigt;
  • 5 ein beispielhaftes Verfahren zum Definieren eines Klassifizierungsfehlers durch Abstimmen eines einzelnen Schwellenwerts gemäß der Offenbarung zeigt;
  • 6A, 6B und 6C eine beispielhafte Ermittlung einer Bilddifferenz durch Berechnen einer absoluten Bildintensitätsdifferenz gemäß der Offenbarung zeigen;
  • 7 ein beispielhaftes Verfahren zum Klassifizieren eines Merkmals als Abschnitt eines freien Pfads und gleichzeitig als detektiertes Objekt als Verfahren zur Bildanalyse gemäß der Offenbarung zeigt;
  • 8 ferner ein beispielhaftes Verfahren zum Klassifizieren eines Merkmals als Abschnitt eines freien Pfads und gleichzeitig als detektiertes Objekt als Verfahren zur Bildanalyse gemäß der Offenbarung zeigt;
  • 9 einen beispielhaften Prozess zum Analysieren eines Bilds durch eine Wahrscheinlichkeitsanalyse gemäß der Offenbarung zeigt;
  • 10 ein erstes Verarbeitungsschema zum Detektieren eines freien Pfads gemäß der Offenbarung ist;
  • 11 ein beispielhaftes momentanes Bild, das einen beispielhaften Satz von an dem momentanen Bild identifizierten interessierenden Punkten umfasst, gemäß der vorliegenden Offenbarung zeigt;
  • 12 ein beispielhaftes momentanes Bild, das nach dem in 11 gezeigten Bild erfasst wurde, gemäß der vorliegenden Offenbarung zeigt;
  • 13A und 13B ein beispielhaftes Paar von in Übereinstimmung gebrachten Punkten, wobei das Paar von in Übereinstimmung gebrachten Punkten einen interessierenden Punkt von einem momentanen Bild und einen entsprechenden interessierenden Punkt von einem vorherigen Bild umfasst, und ein beispielhaftes Pixel-Gebiet, das die Punkte umgibt, gemäß der vorliegenden Offenbarung zeigen;
  • 13A den interessierenden Punkt von dem momentanen Bild und das Pixel-Gebiet um den interessierenden Punkt zeigt;
  • 13B den interessierenden Punkt von dem vorherigen Bild und das Pixel-Gebiet um den interessierenden Punkt zeigt;
  • 14 graphisch die Verwendung eines beispielhaften momentanen Bilds, eines beispielhaften vorherigen Bilds und den Betrieb eines Host-Fahrzeugs zum Ermitteln der Position eines gesehenen Merkmals gemäß der vorliegenden Offenbarung zeigt;
  • 15 graphisch eine beispielhafte Draufsichtabbildung, die vertikale Positionen von interessierenden Punkten bei x- und y-Koordinaten vor dem Host-Fahrzeug beschreibt, gemäß der vorliegenden Offenbarung zeigt;
  • 16 ein zweites Verarbeitungsschema zum Detektieren eines freien Pfads gemäß der vorliegenden Offenbarung zeigt;
  • 17 ein beispielhaftes gefiltertes Bild auf der Grundlage einer Pixel-Farbintensität gemäß der vorliegenden Offenbarung zeigt;
  • 18 ein beispielhaftes gefiltertes Bild, das ein Kantenerkennungsverfahren verwendet, gemäß der vorliegenden Offenbarung zeigt;
  • 19 einen alternativen beispielhaften Prozess für das zweite Verarbeitungsschema gemäß der vorliegenden Offenbarung zeigt;
  • 20 ein Sichtfeld außerhalb eines Fahrzeugs gemäß der vorliegenden Offenbarung zeigt;
  • 21 einen beispielhaften Prozess zum Detektieren eines verbesserten freien Pfads gemäß der vorliegenden Offenbarung zeigt;
  • 22 ein beispielhaftes Verarbeitungsschema zum Ermitteln von Spurmarkierungen gemäß der vorliegenden Offenbarung zeigt; und
  • 23 eine beispielhafte Verfeinerung gegenseitiger Vorteile eines beispielhaften freien Pfads und eines beispielhaften Straßenmodells gemäß der vorliegenden Offenbarung zeigt.
  • DETAILLIERTE BESCHREIBUNG
  • Nun auf die Zeichnungen Bezug nehmend, in denen die Darstellungen lediglich dem Zweck des Erläuterns bestimmter beispielhafter Ausführungsformen und nicht dem Zweck des Einschränkens dieser dienen, zeigt 1 eine beispielhafte Anordnung einer Kamera 110, die an der Front eines Fahrzeugs 100 angeordnet ist und auf den Boden vor dem Fahrzeug 100 gerichtet ist, gemäß der Offenbarung. Die Kamera 110 steht mit dem Verarbeitungsmodul 120 in Kommunikation, das eine Logik enthält, um Eingänge von der Kamera 110 zu verarbeiten. Das Fahrzeug 100 kann auch mit einem Radarbilderfassungssystem 130 ausgestattet sein, das, wenn es vorhanden ist, auch mit dem Verarbeitungsmodul 120 in Kommunikation steht. Fachleute werden erkennen, dass das Fahrzeug 100 zusätzlich zu der Verwendung der Kamera 110 und des Radarbilderfassungssystems 130, oder alternativ dazu, eine Anzahl von Verfahren zum Identifizieren von Straßenbedingungen verwenden könnte, die eine GPS-Information, eine Information von anderen Fahrzeugen, die mit dem Fahrzeug 100 in Kommunikation stehen, Verlaufsdaten hinsichtlich der bestimmten Fahrbahn, eine biometrische Information, wie beispielsweise Systeme, die den Blickpunkt des Fahrers lesen, ein Radarbilderfassungssystem oder andere ähnliche Systeme umfassen. Die Offenbarung hierin kann auf verschiedene Einrichtungsanordnungen angewandt werden und ist daher nicht dadurch beschränkt.
  • Die Kamera 110 ist eine Einrichtung, die in der Technik weithin bekannt ist und visuelle Eingänge in Form von Licht, Infrarot- oder einer anderen elektromagnetischen Strahlung (EM-Strahlung) in ein Datenformat übersetzen kann, das leicht analysiert werden kann, z. B. ein digitales Pixel-Bild. Bei einer Ausführungsform verwendet die Kamera 110 einen Sensor einer ladungsgekoppelten Einrichtung (CCD-Sensor) zum Erzeugen von Bildern, die ein Sichtfeld angeben. Vorzugsweise ist die Kamera 110 für eine kontinuierliche Bilderzeugung, z. B. 30 erzeugte Bilder pro Sekunde, ausgestaltet. Durch die Kamera 110 erzeugte Bilder können in einem Speicher in der Kamera 110 gespeichert werden oder für eine Speicherung und/oder Analyse an das Verarbeitungsmodul 120 übertragen werden. Vorzugsweise ist jedes durch die Kamera 110 erzeugte Bild ein zweidimensionales Bild mit bekannten Pixel-Dimensionen, das mehrere identifizierbare Pixel umfasst. Die mehreren identifizierbaren Pixel können unter Verwendung eines Array gespeichert und analysiert werden. Jedes Pixel kann in dem Array als Satz von Bits oder mehrere Sätze von Bits dargestellt werden, wobei die Bits einer Farbe an einer vorbestimmten Palette oder Farbkarte entsprechen. Jedes Pixel kann als Funktion mehrerer Farbintensitätswerte, wie beispielsweise in einem Rot-Grün-Blau-Farbmodell (RGB-Farbmodell) oder einem Cyan-Magenta-Gelb-Key-Farbmodell (CMYK-Farbmodell), ausgedrückt werden. Vorzugsweise umfasst jedes Pixel mehrere Sätze von Bits, wobei jeder Satz von Bits einer Farbintensität und einem Farbintensitätswert entspricht, z. B. entspricht ein erster Satz von Bits einem Wert einer roten Farbintensitätswert, entspricht ein zweiter Satz von Bits einem Wert einer gründen Farbintensität und entspricht ein dritter Satz von Bits einem Wert einer blauen Farbintensität an dem RGB-Farbmodell.
  • Die Radarbilderfassungseinrichtung 130 ist eine in der Technik weithin bekannte Einrichtung, die einen Sender, der Funkwellen oder eine andere EM-Strahlung aussenden kann, eine Empfängereinrichtung, die die ausgesendeten Wellen erfassen kann, die von Objekten vor dem Sender zu dem Empfänger zurückreflektiert werden, und ein Mittel zum Übertragen der erfassten Wellen in ein Datenformat umfasst, das analysefähig ist und beispielsweise die Entfernung und den Winkel von den Objekten, von denen die Wellen reflektiert wurden, angibt. Alternativ kann die Radarbilderfassungseinrichtung 130 durch ein Light Detection And Ranging-System (LIDAR-System), das ausgestaltet ist, um optische Energie zu senden und zu empfangen, ersetzt oder ergänzt werden. Die empfangene optische Energie kann verwendet werden, um die geometrischen Abmessungen eines Objekts und/oder die geometrische Nähe zu dem Fahrzeug 100 zu ermitteln. Es sei angemerkt, dass die Radarbilderfassungseinrichtung 130 optional und nicht notwendig ist, um viele der hierin offenbarten Verfahren auszuführen, wobei die Verarbeitung von visuellen Bildern eine Detektion eines freien Pfads ausführen kann.
  • Das Verarbeitungsmodul 120 ist in 1 gezeigt und hierin als diskretes Element beschrieben. Diese Darstellung dient der Vereinfachung der Beschreibung und es sei angemerkt, dass die durch dieses Element ausgeführten Funktionen in einer oder mehreren Einrichtungen kombiniert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Das Verarbeitungsmodul 120 kann ein universeller digitaler Computer sein, der einen Mikroprozessor oder eine zentrale Verarbeitungseinheit, Speichermedien mit einem nichtflüchtigen Speicher einschließlich eines Nur-Lese-Speichers und eines elektrisch programmierbaren Nur-Lese-Speichers, einen Direktzugriffsspeicher, einen Hochgeschwindigkeitstakt, eine Analog-Digital- und eine Digital-Analog-Schaltung und eine Eingabe/Ausgabe-Schaltung und Eingabe/Ausgabe-Einrichtungen und eine geeignete Signalkonditionierungs- und -Pufferschaltung umfasst. Alternativ kann das Verarbeitungsmodul 120 eine Digitalsignalverarbeitungseinheit (DSP-Einheit) sein, wie beispielsweise ein kundenspezifischer integrierter Schaltkreis wie beispielsweise ein Field Programmable Gate Array. Das Verarbeitungsmodul 120 weist einen Satz von Verarbeitungsalgorithmen auf, die residente Programmanweisungen und Kalibrierungen umfassen, die in dem nichtflüchtigen Speicher gespeichert sind und ausgeführt werden, um gewünschte Funktionen bereitzustellen. Die Algorithmen werden vorzugsweise während vorab festgelegter Schleifenzyklen ausgeführt. Die Algorithmen werden durch die zentrale Verarbeitungseinheit ausgeführt und dienen dazu, Eingänge von den zuvor genannten Erfassungseinrichtungen zu überwachen und Steuer- und Diagnoseroutinen zum Steuern des Betriebs der Aktoren unter Verwendung voreingestellter Kalibrierungen auszuführen. Die Schleifenzyklen können mit regelmäßigen Intervallen, beispielsweise alle 3,125, 6,25, 12,5, 25 und 100 Millisekunden während des laufenden Motor- und Fahrzeugbetriebs, ausgeführt werden. Alternativ können die Algorithmen in Reaktion auf das Auftreten eines Ereignisses ausgeführt werden.
  • Das Verarbeitungsmodul 120 führt einen darin gespeicherten algorithmischen Code aus, um in Beziehung stehende Geräte, wie beispielsweise die Kamera 110 und das Radarbilderfassungssystem 130, zu überwachen und Befehle oder Datenübertragungen wie durch die Analyse, die in dem Verarbeitungsmodul durchgeführt wird, angegeben auszuführen. Das Verarbeitungsmodul 120 kann Algorithmen und Mechanismen zum Betätigen einer autonomen Fahrsteuerung durch Mittel, die in der Technik bekannt und hierin nicht beschrieben sind, umfassen, oder das Verarbeitungsmodul 120 kann einfach eine Information an ein separates autonomes Fahrsystem liefern. Das Verarbeitungsmodul 120 ist geeignet, um in Abhängigkeit von der genauen Ausführungsform, die in Verbindung mit dem Steuermodul verwendet wird, nach Bedarf Eingangssignale von anderen Systemen und dem Bediener zu empfangen.
  • 2 zeigt ein bekanntes Verfahren zum Ermitteln eines freien Pfads zum autonomen Fahren gemäß der Offenbarung. Entsprechend der Fahrbahn vor dem Fahrzeug 100 wird ein Bild 10 erzeugt. In einem von verschiedenen Verfahren werden die Objekte 40A, 40B und 40C im Bild 10 identifiziert und wird jedes Objekt gemäß einer Filterung und trainierten Objektverhalten kategorisiert und klassifiziert. Eine separate Behandlung jedes Objekts kann rechenintensiv sein und erfordert teure und unhandliche Geräte zum Bewältigen der Rechenlast. Ein Algorithmus verarbeitet alle verfügbaren Informationen bezüglich der Fahrbahn und der Objekte 40 zum Schätzen eines für das Fahrzeug 100 verfügbaren freien Pfads. Die Ermittlung des freien Pfads hängt von den bestimmten Klassifizierungen und Verhalten der identifizierten Objekte 40 ab.
  • 3 zeigt ein beispielhaftes Verfahren zum Ermitteln eines freien Pfads für ein autonomes oder semiautonomes Fahren gemäß der Offenbarung. Das Bild 10 ist als einen Boden 20, einen Horizont 30 und Objekte 40 umfassend gezeigt. Das Bild 10 wird durch die Kamera 110 erfasst und stellt die Straßenumgebung vor dem Fahrzeug 100 dar. Der Boden 20 stellt die Zone aller verfügbaren Pfade, die für eine Fahrt offen sind, ohne jegliche Unterscheidung auf der Grundlage von Objekten, die vorhanden sein könnten, dar. Das Verfahren von 3, das einen freien Pfad auf dem Boden 20 ermittelt, beginnt durch die Annahme, dass der gesamte Boden 20 frei ist, und verwendet dann verfügbare Daten, um Abschnitte des Bodens 20 als nicht frei auszuschließen. Im Gegensatz zu dem Verfahren von 2, das jedes Objekt 40 klassifiziert, analysiert das Verfahren von 3 stattdessen den Boden 20 und versucht es, aus verfügbaren Daten eine Wahrscheinlichkeit zu definieren, dass eine detektierbare Abweichung, die das Objekt 40 darstellen kann, diesen Abschnitt des Bodens 20 einschränkt oder nicht frei macht. Dieser Fokus auf den Boden 20 anstatt auf die Objekte 40 vermeidet die mit dem Verwalten der Detek tion der Objekte in Verbindung stehenden komplexen Rechen-Tasks. Eine individuelle Klassifizierung und Verfolgung einzelner Objekte ist unnötig, da die einzelnen Objekte 40 einfach als Teil der gesamten einheitlichen Einschränkung auf dem Boden 20 miteinander gruppiert werden. Der Boden 20, der oben als alle zum Fahren offene Pfade ohne Unterscheidung beschrieben ist, minus die Einschränkungen, die auf dem Boden 20 durch als nicht frei befundene Bereiche angeordnet sind, definieren einen freien Pfad 50, gezeigt in 3 als der Bereich innerhalb der gestrichelten Linien, oder einen Bereich, der mit einer Schwellenwertwahrscheinlichkeit für eine Fahrt des Fahrzeugs 100 offen ist.
  • Das Objekt 40, das auf dem Boden 20 nicht freie Einschränkungen erzeugt, kann viele Formen annehmen. Beispielsweise kann ein Objekt 40 ein diskretes Objekt darstellen, wie beispielsweise ein geparktes Auto, einen Fußgänger oder ein Straßenhindernis, oder kann ein Objekt 40 auch eine weniger diskrete Änderung der Flächenmuster darstellen, die einen Rand zu einer Straße angibt, wie beispielsweise einen Bordstein, eine Seitenbegrenzung zur Wiese oder Wasser, das die Fahrbahn bedeckt. Das Objekt 40 kann auch ein Nichtvorhandensein einer mit dem Boden 20 in Verbindung stehenden ebenen Straße umfassen, wie es beispielsweise bei einem großen Loch in der Straße detektiert werden könnte. Das Objekt 40 kann auch einen Indikator ohne irgendeine definierbare Höhenänderung von der Straße, jedoch mit klaren Auswirkungen auf einen freien Pfad für dieses Segment der Straße, wie beispielsweise ein Farbmuster auf der Fahrbahn, das eine Spurmarkierung angibt, umfassen. Das hierin offenbarte Verfahren, das nicht versucht, ein Objekt 40 zu identifizieren, sondern lediglich visuelle Hinweise von dem Boden 20 und allem in der Nähe des Bodens in dem Bild 10 aufzunehmen, bewertet eine Wahrscheinlichkeit von frei gegenüber nicht frei und passt die Steuerung des Fahrzeugs 100 für das Vorhandensein jedes Objekts 40 an.
  • Es sind zahlreiche Verfahren für eine automatisierte Analyse von zweidimensionalen Bildern (2D-Bildern) möglich. Durch einen Algorithmus in dem Verarbeitungsmodul 120 wird eine Analyse des Bilds 10 durchgeführt. 4 zeigt ein beispielhaftes Verfahren, das angewandt werden kann, um das Bild 10 gemäß der Offenbarung zu analysieren. Dieses Verfahren unterteilt das Bild 10 und identifiziert ein Subbild oder ein Stück 60 des Bodens 20 für eine Analyse, extrahiert Merkmale oder analysiert die verfügbare visuelle Information von dem Stück 60, um irgendwelche interessierenden oder unterscheidenden Merkmale innerhalb des Stücks zu identifizieren, und klassifiziert das Stück gemäß der Wahrscheinlichkeit, dass es gemäß der Analyse der Merkmale ein freier Pfad ist. Die Stücke, die mit einer Wahrscheinlichkeit, die größer als ein bestimmter Schwellenwert ist, als frei klassifiziert werden, und eine Zusammenstellung der Stücke können verwendet werden, um einen freien Pfad in dem Bild zusammenzusetzen.
  • Das Stück 60 kann, als ein Subbild des Bilds 10, durch ein beliebiges bekanntes Mittel identifiziert werden, wie beispielsweise eine Zufallssuche oder eine Scharsuche des Bilds 10. Alternativ kann eine Information bezüglich des Vorhandenseins eines Objekts 40, die von einer anderen Informationsquelle, wie beispielsweise dem Radarbilderfassungssystem 130, verfügbar ist, verwendet werden, um ein Stück zu identifizieren, um den Abschnitt des Bilds 10 zu analysieren, der das Objekt 40 beschreiben sollte. Das Bild 10 kann viele Stücke 60 zum Analysieren des gesamten Bilds erfordern. Ferner könnten mehrere sich überlagernde Stücke oder Stücke verschiedener Größe verwendet werden, um ein Gebiet des Bilds 10, das eine interessierende Information enthält, vollständig zu analysieren. Beispielsweise könnte ein kleines Stück 60 verwendet werden, um einen kleinen Punkt auf der Straße zu analysieren; es könnte jedoch ein großes Stück 60 erforderlich sein, um eine Reihe von Punkten zu analysieren, die allein uninteressant scheinen könnten, jedoch im Kontext der gesamten Reihe ein interessierendes Objekt 40 angeben könnten. Ferner kann die Auflösung von Stücken, die auf einen bestimmten Bereich angewandt werden, auf der Grundlage einer verfügbaren Information moduliert werden, wobei beispielsweise mehrere Stücke auf ein Gebiet des Bilds 10 angewandt werden, von dem geglaubt wird, dass ein Objekt 40 in ihm existiert. Es können viele Schemas oder Strategien zum Definieren der Stücke 60 für eine Analyse verwendet werden, und die Offenbarung soll nicht auf die hierin beschriebenen spezifischen Ausführungsformen beschränkt sein.
  • Sobald ein Stück 60 für eine Analyse identifiziert wurde, verarbeitet das Verarbeitungsmodul 120 das Stück durch eine Anwendung eines Filters zum Extrahieren von Merkmalen aus dem Stück. Ferner kann das Verarbeitungsmodul 120 eine Analyse des Orts des Stücks in dem Kontext des Orts des Fahrzeugs durchführen. Die verwendeten Filter können viele Formen annehmen. Die zum Extrahieren von Merkmalen verwendeten Filteralgorithmen durchsuchen oftmals die verfügbare visuelle Information hinsichtlich charakteristischer Muster in den Daten, wobei die Merkmale durch eine Spurausrichtung, einen Spurort, eine Farbe, Eckeneigenschaften, andere visuelle Attribute und gelernte Attribute definiert sind. Die gelernten Attribute können durch Maschinenlernalgorithmen in dem Fahrzeug gelernt werden, werden aber zumeist offline programmiert und können experimentell, empirisch, prädiktiv, durch Modellerstellung oder andere Techniken entwickelt werden, die geeignet sind, um unterscheidende Attribute genau zu trainieren.
  • Sobald Merkmale in dem Stück 60 extrahiert wurden, wird das Stück auf der Grundlage der Merkmale klassifiziert, um die Wahrscheinlichkeit zu ermitteln, dass der Pfad ein freier Pfad ist. Eine Wahrscheinlichkeitsanalyse ist ein in der Technik bekannter Prozess, durch den ein Wahrscheinlichkeitswert oder eine Konfidenz entwickelt wird, dass eine bestimmte Bedingung existiert. Bei einer Anwendung auf die vorliegende Offenbarung umfasst eine Klassifizierung eine Wahrscheinlichkeitsanalyse, um zu ermitteln, ob das Stück einen freien Pfad darstellt oder ob der Boden 20 in diesem Stück durch ein Objekt 40 eingeschränkt ist. Bei einer beispielhaften Ausführungsform wird die Klassifizierung durch eine Anwendung von Klassifizierern oder Algorithmen durchgeführt, die mit einer Datenbank von beispielhaften Straßenbedingungen und Interaktionen mit detektierten Objekten trainiert werden. Diese Klassifizierer ermöglichen dem Verarbeitungsmodul 120, einen Bruch-Wahrscheinlichkeitswert eines freien Pfads für das Stück 60 zu entwickeln, wobei eine Konfidenz zwischen Null und Eins, dass die in dem Stück identifizierten Merkmale kein einschränkendes Objekt 40 angeben, das eine freie Fahrt des Fahrzeugs 100 verhindern würde, quantitativ bestimmt wird. Es kann eine Schwellenwertkonfidenz festgelegt werden, die die Wahrscheinlichkeit eines freien Pfads definiert, die erforderlich ist, um das Stück als freien Pfad zu definieren, und zwar beispielsweise durch die folgende Logik: Konfidenz = WahrscheinlichkeitFreierPfad(i) Wenn Konfidenz > 0,5, dann_Stück = freierPfad (1)
  • Bei dieser bestimmten beispielhaften Ausführungsform wird eine Konfidenz von 50% oder 0,5 als Schwellenwertkonfidenz ausgewählt. Diese Zahl kann experimentell, empirisch, prädiktiv, über Modellerstellung oder andere Techniken, die zum genauen Bewerten von Stücken hinsichtlich Eigenschaften eines freien Pfads geeignet sind, entwickelt werden.
  • Die Wahrscheinlichkeitsanalyse kann wie oben erwähnt bei einer beispielhaften Ausführungsform durch Anwenden von trainierten Klassifizierern auf aus einem Stück extrahierte Merkmale durchgeführt werden. Ein Verfahren analysiert die Merkmale a priori unter Verwendung eines Trainingsbildsatzes. In dieser Trainingsstufe werden unterscheidende Merkmale aus einem rohen Merkmalssatz ausgewählt, wobei die unterscheidenden Merkmale durch in der Technik bekannte Verfahren, wie beispielsweise Haar-Wavelet, Gabor-Wavelet und Leung-Malik-Filterbank, definiert werden. Ferner kann eine 2D-Bildortsinformation auf der Grundlage minimaler Klassifizierungsfehler jedes Merkmals, berechnet als die Summe einer Falschakzeptanzrate (FAR) und einer Falschrückweisungsrate (FRR), durch Abstimmen eines einzelnen Schwellenwerts verwendet werden, wie es in 5 gezeigt ist. Dieser Klassifizierungsfehler kann durch den folgenden Ausdruck beschrieben werden: Klassifizierungsfehler(i) = FARi + FRRi (2)
  • Die Information von den trainierten Klassifizierern wird verwendet, um das Merkmal als einen freien Pfad oder einen nicht freien Pfad angebend zu klassifizieren oder zu gewichten, wobei die bestimmte Klassifizierung von der Stärke von Vergleichen mit den trainierten Daten abhängt. Die Klassifizierung des Merkmals kann, wenn das Merkmal das einzige Merkmal in dem Stück ist, direkt auf das Stück angewandt werden. Die Klassifizierung eines Stücks mit mehreren identifizierten Merkmalen kann viele Formen annehmen, die umfassen, dass das Stück durch das umfasste Merkmal definiert wird, das am stärksten darauf hinweist, dass das Stück nicht frei ist, oder dass das Stück durch eine gewichtete Summe aller darin umfasster Merkmale definiert wird.
  • Das obige Verfahren kann verwendet werden, um ein einzelnes Bild 10 zu prüfen und auf der Grundlage der visuellen Information, die in dem Bild 10 enthalten ist, einen freien Pfad 50 zu schätzen. Dieses Verfahren kann mit einem Intervall wiederholt werden, wenn das Fahrzeug die Straße entlangfährt, um neue Informationen zu berücksichtigen und den formulierten freien Pfad auf einen Bereich vor der neuen Position des Fahrzeugs zu erweitern. Die Wahl des Intervalls muss das Bild 10 mit einer ausreichenden Häufigkeit aktualisieren, um dem Fahrzeug 100 einen freien Pfad genau bereitzustellen, auf dem es fahren kann. Das Intervall kann jedoch auch als ein Minimalwert gewählt werden, um das Fahrzeug geeignet zu steuern, die dem Verarbeitungsmodul 120 auferlegte Rechenlast jedoch auch nicht übermäßig zu erhöhen.
  • Die Detektion eines freien Pfads kann wie oben beschrieben durch ein einzelnes Bild 10 erreicht werden. Mit dem Hinzufügen eines zweiten Bilds, das zeitlich nahe an dem ursprünglichen Bild aufgenommen wird, wie beispielsweise sequentielle Bilder von einem Streaming-Video-Clip, können jedoch die Verarbeitungsgeschwindigkeit und die Genauigkeit verbessert werden. Ein zweites Bild ermöglicht einen direkten Vergleich mit dem ersten und sorgt für eine aktualisierte Information hinsichtlich des Verlaufs des Fahrzeugs und der Bewegung von detektierten Objekten. Die Änderung der Perspektive der Kamera 110 ermöglicht auch eine andere Analyse von Merkmalen von dem ersten Bild: ein Merkmal, das in dem ersten Bild möglicherweise nicht deutlich auftauchte oder undeutlich war, kann unter einem anderen Kamerawinkel angezeigt werden, kann deutlicher auffallen oder kann sich seit dem ersten Bild bewegt haben, was dem Klassifizierungsalgorithmus eine zusätzliche Möglichkeit zum Definieren des Merkmals ermöglicht.
  • Ein Verarbeiten eines zweiten Bilds in Bezug auf das ursprüngliche Bild 10 kann durch Berechnen einer Bilddifferenz durchgeführt werden. Wenn die Bilddifferenz eines interessierenden Punkts, wie beispielsweise eines durch Radar identifizierten Merkmals, nicht Null ist, kann der Punkt als eine neue Information umfassend identifiziert werden. Punkte, bei denen die Bilddifferenz gleich Null ist, können bei der Analyse weggelassen werden, und Rechenressourcen können eingespart werden. Verfahren zum Ermitteln einer Bilddifferenz umfassen eine absolute Bildintensitätsdifferenz und eine fahrzeugbewegungskompensierte Bilddifferenz.
  • Ein Ermitteln einer Bilddifferenz durch Berechnen einer absoluten Bildintensitätsdifferenz kann verwendet werden, um eine Information zwischen zwei Bildern zu sammeln. Ein Verfahren einer absoluten Bildintensitätsdifferenz umfasst das Ermitteln äquivalenter Bildeigenschaften zwischen dem ursprünglichen Bild und dem zweiten Bild, um eine Bewegung des Fahrzeugs zwischen den Bildern zu kompensieren, das Überlagern der Bilder und das Notieren jeder signifikanten Änderung der Intensität zwischen den Bildern. Ein Vergleich zwischen den Bildern, der eine Änderung der Bildintensität in einem bestimmten Bereich angibt, enthält eine neue Information. Bereichen oder Stücken, die keine Intensitätsänderung anzeigen, kann bei der Analyse weniger Aufmerksamkeit geschenkt werden, wohingegen man sich auf Bereiche konzentrieren kann, die deutliche Intensitätsänderungen anzeigen, wobei die zuvor genannten Verfahren zum Analysieren von Stücken an einem oder beiden erfassten Bildern verwendet werden.
  • 6A, 6B und 6C eine beispielhafte Ermittlung einer Bilddifferenz durch Berechnen einer absoluten Bildintensitätsdifferenz gemäß der Offenbarung zeigen. 6A zeigt ein ursprüngliches Bild. 6B zeigt ein zweites Bild mit Änderungen zu dem ursprünglichen Bild. Im Speziellen hat sich die gezeigte Kreisform nach links verschoben. Ein Vergleich der beiden Bilder wie in 6C gezeigt, ein Ausgang, der das Ergebnis eines Vergleichs einer absoluten Bildintensitätsdifferenz darstellt, identifiziert ein Gebiet, das von dem ersten Bild zu dem zweiten Bild dunkler geworden ist, und ein anderes Gebiet, das von dem ersten Bild zu dem zweiten Bild heller geworden ist. Solch ein Verfahren kann als differenzieren beschrieben werden. Eine Analyse des Vergleichs liefert die Information, dass in diesem Gebiet der Bilder wahrscheinlich eine Änderung als Ergebnis einer Bewegung oder eine Änderung der Perspektive vorliegt. Auf diese Weise kann eine absolute Bildintensitätsdifferenz verwendet werden, um ein Paar von sequentiellen Bildern zum Identifizieren eines potentiell nicht freien Pfads zu analysieren.
  • Ähnlich kann ein Ermitteln einer Bilddifferenz durch Berechnen einer fahrzeugbewegungskompensierten Bilddifferenz verwendet werden, um eine Information zwischen zwei Bildern zu erfassen. Es sind viele Verfahren zum Berechnen einer fahrzeugbewegungskompensierten Bilddifferenz bekannt. Ein beispielhaftes Verfahren einer fahrzeugbewegungskompensierten Bilddifferenz umfasst das gleichzeitige Analysieren eines potentiellen Objekts als sowohl ein stationärer Abschnitt eines freien Pfads als auch ein detektiertes Objekt. Es wird eine Wahrscheinlichkeitsanalyse an Merkmalen durchgeführt, die entsprechend dem potentiellen Objekt aus beiden Klassifizierungen gleichzeitig identifiziert werden, und die Klassifizierungen können beispielsweise durch die folgende Logik verglichen werden: Konfidenz(i) = WahrscheinlichkeitFreierPfad(i) – WahrscheinlichkeitDetektiertesObjekt(i) Wenn Konfidenz > 0, dann Stück = freierPfad (3)
  • Wenn bei diesem beispielhaften Vergleich Konfidenz(i) größer als Null ist, wird das Stück, das das Merkmal enthält, als freier Pfad klassifiziert. Wenn Konfidenz(i) kleiner oder gleich Null ist, wird das Stück, das das Merkmal enthält, als nicht freier Pfad oder eingeschränkt klassifiziert. Es können jedoch verschiedene Werte für das Konfidenzniveau zum Klassifizieren des Stücks als freier Pfad ausgewählt werden. Beispielsweise kann ein Testen zeigen, dass falsche positive Ergebnisse wahrscheinlicher sind als falsche negative Ergebnisse, und somit kann ein Faktor oder Offset eingeführt werden.
  • 7 zeigt ein Verfahren zum gleichzeitigen Klassifizieren eines Merkmals als Abschnitt eines freien Pfads und als detektiertes Objekt, wie es oben gemäß der Offenbarung beschrieben ist. Das Bild 10 umfasst das Objekt 40, eine trapezförmige Projektion 70 und eine rechteckige Projektion 80. Dieses Verfahren verwendet eine Annahme, die das Objekt 40 innerhalb der Projektion 70 als flaches Objekt auf den Boden projiziert, um die Klassifizierung des Merkmals als Abschnitt eines freien Pfads zu testen. Das Verfahren verwendet auch eine Annahme, die das Objekt 40 innerhalb der rechteckigen Projektion 80 als vertikales Objekt projiziert, um die Klassifizierung des Merkmals als ein detektiertes Objekt zu testen. 8 zeigt Vergleiche, die mit den gesammelten Daten zwischen den beiden Bildern gezogen werden, zum Bewerten der Natur des Objekts 40 gemäß der Offenbarung. Die Kamera 110 beobachtet und erfasst zum Zeitpunkt t1 Daten von dem Objekt 40 in Form eines ersten Bilds. Wenn das Objekt 40 ein tatsächliches detektiertes Objekt ist, entspricht das durch die Kamera 110 beobachtete Profil des Objekts 40 zum Zeitpunkt t1 einem Punkt 90A. Wenn das Objekt 40 ein flaches Objekt in der gleichen Ebene wie der Boden 20 ist, entspricht das durch die Kamera 110 beobachtete Profil des Objekts 40 zum Zeitpunkt t1 einem Punkt 90B. Zwischen den Zeitpunkten t1 und t2 bewegt sich die Kamera 110 eine Distanz. Zum Zeitpunkt t2 wird ein zweites Bild erfasst, und eine Information bezüglich des Objekts 40 kann durch Anwenden eines Algorithmus getestet werden, der sichtbare Attribute des Objekts in dem zweiten Bild im Vergleich zu dem ersten Bild betrachtet. Wenn das Objekt 40 ein tatsächliches detektiertes Objekt ist, das sich von dem Boden 20 nach oben erstreckt, wird zum Zeitpunkt t2 das Profil des Objekts 40 bei Punkt 90C beobachtet. Wenn das Objekt 40 ein flaches Objekt in der gleichen Ebene wie der Boden 20 ist, wird das Profil des Objekts 40 zum Zeitpunkt t2 bei Punkt 90B beobachtet. Der durch die fahrzeugbewegungskompensierte Bilddifferenz abgeleitete Vergleich kann durch Anwendung von Klassifizierern auf der Grundlage der Beobachtungen der Punkte 90 direkt eine Konfidenz zuordnen, oder der Vergleich kann einfach auf den Bereich hinweisen, der die Änderung als interessierenden Punkt anzeigt. Ein Testen des Objekts hinsichtlich beider Klassifizierungen, als flaches Objekt und als tatsächliches detektiertes Objekt, ermöglicht entweder, dass der Bereich, der das Objekt 40 umfasst, für eine weitere Analyse durch eine Analyse eines Stücks wie oben beschrieben identifiziert wird, oder eine direkte Entwicklung einer Wahrscheinlichkeit eines freien Pfads und einer Wahrscheinlichkeit eines detektierten Objekts zum Vergleich, wie beispielsweise in dem obigen logischen Ausdruck (3).
  • Die aus der Analyse des zweiten Bilds verfügbare Information kann zusätzlich durch Integration einer Information bezüglich einer Bewegung des Fahrzeugs, wie beispielsweise Drehzahl und Gierrate, verbessert werden. Eine Information bezüglich der Fahrzeugbewegung steht von einer Anzahl von Quellen zur Verfügung, die den Fahrzeuggeschwindigkeitsmesser, Fahrzeugdynamiksensoren oder Raddrehzahlsensoren, Antiblockiermechanismen und GPS-Ortssysteme umfassen. Die Algorithmen können diese Fahrzeugbewegungsinformation beispielsweise in Verbindung mit den in 7 und 8 beschriebenen Projektionen verwenden, um Winkel, die bei einem Merkmal vorliegen sollten, das flach auf dem Boden liegt, im zweiten Bild auf der Grundlage von Daten von dem ersten Bild und der gemessenen Bewegung des Fahrzeugs zwischen den Bildern zu projizieren.
  • Die Anzahl von Bildern, die für einen Vergleich verwendet werden, muss nicht auf Zwei begrenzt sein. Es kann eine Mehrbildanalyse mit mehreren Iterationen durchgeführt werden, wobei ein Objekt über eine Anzahl von Zyklen verfolgt und verglichen wird. Wie oben erwähnt kann die Recheneffizienz erhöht werden, indem eine Bilddifferenzanalyse zum Identifizieren von interessierenden Punkten verwendet wird und Bereiche mit einer Differenz von Null bei den nachfolgenden Analysen weggelassen werden. Solche Effizienzen können bei mehreren Iterationen verwendet werden, wobei beispielsweise nur zwischen einem ersten und einem zweiten Bild identifizierte interessierende Punkte in dem dritten und vierten aufgenommenen Bild analysiert werden. An einer Stelle muss ein frischer Satz von Bildern verglichen werden, um sicherzustellen, dass in keinem der Bereiche, die eine Differenz von Null zeigen, eine Änderung aufgetreten ist, wie beispielsweise ein sich bewegendes Objekt, das auf einem zuvor freien Pfad auftaucht. Die Verwendung von Bilddifferenzanalysen und fokussierten Analysen, wobei mit einer Änderung von Null identifizierte Bereiche weggelassen werden, variiert von Anwendung zu Anwendung und kann zwischen verschiedenen Betriebsbedingungen, wie beispielsweise Fahrzeuggeschwindigkeit oder wahrgenommene Betriebsumgebung, variieren. Die spezielle Verwendung der Bilddifferenzanalysen und der fokussierten Analysen kann viele verschiedene Ausführungsformen umfassen, und die Offenbarung soll nicht auf die hierin beschriebenen spezifischen Ausführungsformen beschränkt sein.
  • 9 zeigt einen beispielhaften Prozess 200, bei dem ein Eingang von einer Kamera analysiert wird, um eine Wahrscheinlichkeit eines freien Pfads zu ermitteln, gemäß der Offenbarung. In Schritt 202 wird ein Kameraeingang in Form eines Bilds erzeugt. In Schritt 204 wird aus dem Bild ein Stück für eine Analyse ausgewählt. Schritt 206 stellt ein Filter oder einen Satz von Filtern, die zum Verarbeiten des Stücks zur Verfügung stehen, dar. In Schritt 208 wird an dem ausgewählten Pfad durch Anwendung der Filter, die aus Schritt 206 zur Verfügung stehen, und Anwendung anderer Algorithmen eine Merkmalsextraktion durchgeführt. Es sei angemerkt, dass einige Merkmale eine Bedeutung haben und andere nicht, und dass ein Prozess einer Merkmalsauswahl verwendet werden kann, um eine Gruppe von besten Merkmalen für eine Analyse zu identifizieren. Schritt 210 umfasst einen Klassifizierertrainingsprozess. Wie oben erwähnt werden Klassifizierer oder eine Logik, die beim Entwickeln von Wahrscheinlichkeitswerten verwendet werden, anfänglich offline trainiert. Auf der Grundlage von Fuzzy-Logik, neuronalen Netzen oder anderen in der Technik bekannten Lernmechanismen kann optional ein Training in dem Fahrzeug fortgeführt werden. Diese trainierten Klassifizierer werden in Schritt 212 verwendet, um an den in Schritt 208 extrahierten Merkmalen eine Wahrscheinlichkeitsanalyse durchzuführen, und es wird ein Wahrscheinlichkeitswert für das Stück entwickelt. Dieser Wahrscheinlichkeitswert drückt eine Konfidenz aus, dass das ausgewählte Stück frei ist. In Schritt 214 wird der in Schritt 212 entwickelte Wahrscheinlichkeitswert mit einem Schwellenwertwahrscheinlichkeitswert verglichen. Wenn der Wahrscheinlichkeitswert größer als der Schwellenwert ist, wird das Stück in Schritt 218 als freier Pfad identifiziert. Wenn der Wahrscheinlichkeitswert nicht größer als der Schwellenwert ist, wird das Stück als nicht freier Pfad identifiziert. Wie oben beschrieben kann der Prozess 200 auf eine Anzahl von Arten wiederholt oder reiteriert werden, wobei das gleiche Bild mit der Auswahl und Analyse von unterschiedlichen Stücken wiederholt analysiert wird, und ein identifiziertes Stück hinsichtlich einer Änderung über einer Anzahl von sequentiellen Bildern verfolgt und analysiert werden kann.
  • Wie oben erwähnt kann das Verarbeitungsmodul 120 Algorithmen und Mechanismen zum Betätigen einer autonomen Fahrsteuerung durch ein in der Technik bekanntes und hierin nicht beschriebenes Mittel umfassen oder kann das Verarbeitungsmodul 120 einfach eine Information an ein separates autonomes Fahrsystem liefern. Die Reaktionen auf wahrgenommene Objekte können variieren und umfassen ohne Einschränkung Lenkänderungen, Drosseländerungen, Bremsantworten und dass der Bediener des Fahrzeugs gewarnt wird und dass die Steuerung des Fahrzeugs dem Bediener überlassen wird.
  • Das obige Verfahren, das eine Analyse von Stücken verwendet, ist ein Verfahren zum Herstellen eines freien Fahrpfads für ein Fahrzeug. Es werden zwei zusätzliche, in Beziehung stehende Verarbeitungsschemas offenbart, die ähnliche Verfahren zum Analysieren von Pixeln anstatt von Stücken einsetzen. Es wird ein erstes Verarbeitungsschema offenbart, das strukturreiche Verfahren zum Analysieren von Bildern zum Identifizieren eines freien Pfads verwendet. 10 zeigt ein erstes Verarbeitungsschema 101 zum Detektieren eines freien Pfads, das hierin als diskrete Elemente umfassend beschrieben ist. Solch eine Darstellung dient der Vereinfachung der Beschreibung und es ist zu erkennen, dass die durch diese Elemente durchgeführten Funktionen in einer oder mehreren Einrichtungen kombiniert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung.
  • Das Verarbeitungsschema 101 ist ein beispielhaftes Verfahren zum Anwenden einer strukturreichen Bildanalyse eines Sichtfelds vor dem Host- Fahrzeug und beginnt mit Schritt 103, in dem Bilder des Sichtfelds vor dem Fahrzeug erzeugt werden. In Schritt 106 werden die überwachten Bilder hinsichtlich interessierender Punkte geprüft, wobei beispielsweise eine Pixel-Farbintensität wie hierin oben beschrieben geprüft wird und das Pixel oder eine Gruppe von Pixeln mit umgebenden Pixeln verglichen wird. Durch in der Technik bekannte Verfahren können interessierende Punkte identifiziert und verwendet werden, um hierin beschriebene Verfahren auszuführen. In Schritt 109 werden sequentielle Bilder des Sichtfelds vor dem Fahrzeug verglichen, wenn sich das Fahrzeug bewegt, und werden interessierende Punkte von jedem Bild mit entsprechenden Punkten in sequentiellen Bildern, die den gleichen Punkten in dem Sichtfeld entsprechen, in Übereinstimmung gebracht, wenn dies möglich ist. Ein Inübereinstimmungbringen umfasst ein Lokalisieren entsprechender Punkte durch eine Inübereinstimmungbringung mit einer Vorlage (template matching) oder ein Vergleichen von interessierenden Punkten an den sequentiellen Bildern, ein Berücksichtigen der Bewegung des Host-Fahrzeugs und ein Erzeugen eines besten Schätzwerts, ob zwei Punkte das gleiche Objekt oder Merkmal darstellen, das in dem Sichtfeld sichtbar ist. Wenn interessierende Punkte in Übereinstimmung gebracht werden können, stellen nicht alle Paare von in Übereinstimmung gebrachten entsprechenden Punkten Paare von entsprechenden Punkten mit hoher Qualität dar, die die Identifikation ihrer dreidimensionalen Positionen in dem Sichtfeld für Klassifizierungen als freier Pfad für eine Durchfahrt des Fahrzeugs ermöglichen. In Schritt 112 wird ein Filter auf die Paare von in Übereinstimmung gebrachten entsprechenden Punkten angewandt, um Paare von entsprechenden Punkten mit hoher Qualität zu identifizieren, die für eine dreidimensionale Positionsidentifikation mit hoher Konfidenz verwendet werden können. In Schritt 115 werden die Paare von entsprechenden Punkten mit hoher Qualität analysiert, um dreidimensionale Positionen von Objekten zu ermitteln, die durch die Paare von entsprechenden Punk ten dargestellt werden. Es sei angemerkt, dass sich entsprechende Punkte an verschiedenen Höhen im Vergleich zum Bodenniveau zwischen sequentiellen Bildern unterschiedlich bewegen. Ein Analysieren der Bewegung der interessierenden Punkte kann geschätzte dreidimensionale Koordinaten der interessierenden Punkte liefern. In Schritt 118 werden die ermittelten Objektpositionen verwendet, um Objektpositionen vor dem Host-Fahrzeug abzubilden. In Schritt 121 wird die Abbildung verwendet, um einen freien Pfad vor dem Host-Fahrzeug zu ermitteln.
  • 11 zeigt ein beispielhaftes momentanes Bild (k) 500, das einen beispielhaften Satz von interessierenden Punkten 501 umfasst, die an dem momentanen Bild (k) identifiziert werden, wobei jeder interessierende Punkt 501 einem Pixel entspricht. Das Verarbeitungsmodul 120 identifiziert vorzugsweise interessierende Punkte 501 an jedem erzeugten Bild einschließlich des momentanen Bilds (k) 500 und eines vorherigen Bilds (k – 1). Ein interessierender Punkt 501 ist ein identifizierbares Pixel an einem Bild und ist einem Satz von visuellen Informationen, d. h. strukturreichen Merkmalen, zugeordnet und ist Objekten, die sich in dem Sichtfeld befinden, zugeordnet. Das beispielhafte Sichtfeld oder die beispielhafte Ansicht, das bzw. die in 11 gezeigt ist, umfasst eine Fahrbahn 510, Teilabschnitte 515 auf der Fahrbahn, Randsteine 520 und 521, Spurmarkierungen 522, eine kreuzende Spur 526 und Gebäude 524 und 525. In der Ansicht werden interessierende Kandidatenpunkte 501 durch eine Programmierung einer Extraktion interessierender Punkte identifiziert, woraus ein Satz von interessierenden Punkten 501 ausgewählt werden kann. Die Programmierung einer Extraktion interessierender Punkte wird an den Bildern mittels eines von verschiedenen bekannten Verfahren ausgeführt, z. B. einer skaleninvarianten Merkmalstransformation (SIFT), Verfahren, die eine Eckendetektion oder eine Detektion anderer Formen einsetzen, oder eines Sobel-Filters. Die Programmierung einer Extraktion interessierender Punkte wird vorzugsweise in dem Verarbeitungsmodul 120 ausgeführt, kann jedoch in einer oder mehreren Einrichtungen kombiniert sein, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Die Programmierung einer Extraktion interessierender Punkte lokalisiert interessierende Kandidatenpunkte 501 in jedem Bild entsprechend vorbestimmten identifizierbaren strukturreichen Merkmalen, z. B. Pixel, die eine Kante angeben, Pixel, die einen Übergang in den visuellen Daten angeben, wobei in der Ansicht potentiell signifikante Merkmale identifiziert werden können. Bei der beispielhaften Ansicht von 11 wird aus den vielen identifizierten interessierenden Punkten 501 ein Punkt, 501A, an einer Ecke identifiziert, die an einem Teilabschnitt 505 an dem Randstein 520 ausgebildet ist.
  • Nach dem Identifizieren von interessierenden Kandidatenpunkten 501 kann die Programmierung einer Extraktion interessierender Punkte die interessierenden Kandidatenpunkte durch Entfernen redundanter interessierender Kandidatenpunkte, z. B. interessierender Kandidatenpunkte, die einem gleichen Merkmal entsprechen, filtern. Beispielsweise kann die Programmierung einer Extraktion interessierender Punkte mehrere interessierende Kandidatenpunkte, die einer Kante entsprechen, filtern, was zu weniger interessierenden Kandidatenpunkten, die der Kante entsprechen, führt. Der verbleibende Satz von interessierenden Kandidatenpunkten umfasst die interessierenden Punkte für das Bild. Bei einer Ausführungsform wird für eine Recheneffizienz ein Filtern redundanter interessierender Kandidatenpunkte ausgeführt.
  • Sobald die interessierenden Punkte 501 in einem momentanen Bild (k) 500 identifiziert sind, bringt das Verarbeitungsmodul 120 den Satz von interessierenden Punkten von dem momentanen Bild (k) mit einem Satz von von dem vorherigen Bild (k – 1) identifizierten Punkten in Übereinstim mung, um einen Satz von Paaren von in Übereinstimmung gebrachten Punkten zu ermitteln, was Schritt 109 in dem Prozess 101 entspricht.
  • Ein erstes Verfahren zum Ermitteln eines Satzes von Paaren von in Übereinstimmung gebrachten Punkten umfasst das Verwenden einer Programmierung einer Korrespondenzinübereinstimmungbringung, um interessierende Punkte von einem momentanen Bild (k) und einem vorherigen Bild (k – 1) in Übereinstimmung zu bringen. Das Verarbeitungsmodul 120 bringt den Satz von interessierenden Punkten von dem momentanen Bild (k) mit einem Satz von interessierenden Punkten in Übereinstimmung, die in dem vorherigen Bild (k – 1) identifiziert wurden, um einen Satz von Paaren von in Übereinstimmung gebrachten interessierenden Punkten zu ermitteln. 12 zeigt ein beispielhaftes momentanes Bild (k), das nach dem in 11 gezeigten Bild erfasst wurde. Das beispielhafte momentane Bild (k) 530 stellt ein dem in 11 gezeigten Bild folgend erfasstes Bild dar, wobei die Perspektive des Betrachters zwischen den Bildern entlang der betrachteten Straße geringfügig vorangeschritten ist. In dieser beispielhaften Situation kann das Bild 500 von 11, obwohl es zum Zeitpunkt seiner Erfassung ein momentanes Bild (k) war, nun als vorheriges Bild (k – 1) für das momentane Bild (k) 530 fungieren. Die beispielhafte in 12 gezeigte Ansicht umfasst die Fahrbahn 510, Teilabschnitte 515 auf der Fahrbahn, Randsteine 520 und 521, Spurmarkierungen 522 und Gebäude 524 und 525, wie sie in 11 gezeigt sind, mit geringfügig anderen Perspektiven jedes Merkmals in der Ansicht. Bei der in 12 gezeigten beispielhaften Ansicht werden viele identifizierte interessierende Punkte 531 gemäß den oben beschriebenen Verfahren identifiziert und wird ein Punkt, 531A, an einer in dem Teilabschnitt 505 an dem Randstein 520 ausgebildeten Ecke identifiziert. Es sei angemerkt, dass die im Bild 530 identifizierten interessierenden Punkte 531 nicht notwendigerweise direkt den im Bild 500 identifizierten interessierenden Punkten 501 entsprechen. Die im Bild 530 identifizierten Punkte 531 werden wie in Verbindung mit den Punkten 501 beschrieben verarbeitet und gefiltert, wie es in Verbindung mit 11 beschrieben ist. Vorzugsweise werden verschiedene interessierende Punkte 531 von dem Satz von interessierenden Punkten von dem momentanen Bild (k) 530 mit einem interessierenden Punkt 501 von dem von dem vorherigen Bild (k – 1) 500 identifizierten Satz von interessierenden Punkten in Übereinstimmung gebracht, um mehrere Paare von in Übereinstimmung gebrachten Punkten zu ermitteln. Es wird erwartet, dass jeder interessierende Punkt, der ein Paar von in Übereinstimmung gebrachten Punkten umfasst, einem gleichen Merkmal entspricht, das einem Objekt in der Ansicht zugeordnet ist. Um den Satz von Paaren von in Übereinstimmung gebrachten Punkten zu ermitteln, wird der Satz von interessierenden Punkten 531 von dem momentanen Bild (k) mit dem Satz von interessierenden Punkten 501, der aus dem vorherigen Bild (k – 1) identifiziert wird, durch eine von verschiedenen bekannten Programmierungen einer Korrespondenzinübereinstimmungbringung verglichen, z. B. eine Programmierung einer Merkmalsinübereinstimmungbringung einer skaleninvarianten Merkmalstransformation (SIFT) und eine Programmierung eines optischen Flusses (optical flow). Die Programmierung einer Korrespondenzinübereinstimmungbringung wird vorzugsweise in dem Verarbeitungsmodul 120 ausgeführt, kann jedoch in einer oder mehreren Einrichtungen kombiniert sein, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Die resultierenden Paare von in Übereinstimmung gebrachten Punkten entsprechen einem gleichen Merkmal, das sich an sowohl dem momentanen Bild (k) als auch an dem vorherigen Bild (k – 1) befindet, wobei das gleiche Merkmal einem gleichen Objekt in der Ansicht zugeordnet ist.
  • Ein zweites Verfahren zum Ermitteln eines Satzes von Paaren von in Übereinstimmung gebrachten Punkten umfasst das Verwenden einer Programmierung einer Inübereinstimmungbringung mit einer Vorlage, um interessierende Punkte von dem momentanen Bild (k) und dem vorherigen Bild (k – 1) in Übereinstimmung zu bringen. Bei einer Ausführungsform werden unter Verwendung eines vorbestimmten Pixel-Gebiets benachbart zu einem interessierenden Punkt Vorlagen erzeugt. In 12 ist ein beispielhaftes Gebiet 535 gezeigt, das dem interessierenden Punkt 531A zugeordnet ist. Die Inübereinstimmungbringung mit einer Vorlage kann unter Verwendung eines von mehreren Verfahren ermittelt werden, die eines von verschiedenen bekannten Verfahren zur Programmierung einer Inübereinstimmungbringung mit einer Vorlage umfassen, um die entsprechenden interessierenden Punkte in dem vorherigen Bild zu finden, z. B. Lucas-Kanade oder Horn-Schunck. Vorzugsweise werden die Vorlagen benachbart zu einem interessierenden Punkt in einem momentanen Bild mit Vorlagen benachbart zu einem interessierenden Punkt in einem vorherigen Bild verglichen. Wenn die Programmierung einer Inübereinstimmungbringung mit einer Vorlage ermittelt, dass die Vorlagen übereinstimmen, werden die interessierenden Punkte in den Satz von Paaren von in Übereinstimmung gebrachten Punkten einbezogen. Die resultierenden Paare von in Übereinstimmung gebrachten Punkten entsprechen einem gleichen Merkmal, das sich an sowohl dem momentanen Bild (k) als auch an dem vorherigen Bild (k – 1) befindet, wobei das gleiche Merkmal einem gleichen Objekt in der Ansicht zugeordnet ist.
  • 13A und 13B zeigen ein beispielhaftes Paar von in Übereinstimmung gebrachten Punkten, wobei das Paar von in Übereinstimmung gebrachten Punkten einen interessierenden Punkt 531A von dem momentanen Bild (k) 530 und einen zweiten interessierenden Punkt 501A von dem vorherigen Bild (k – 1) 500 umfasst, und ein beispielhaftes Pixel-Gebiet, das die Punkte umgibt. Gemäß dem oben beschriebenen Verfahren ist ein Pixel-Gebiet 535 um den interessierenden Punkt 531A in 13A gezeigt. Wie oben beschrieben ist der interessierende Punkt 531A ein an einer Ecke des Teilabschnitts 505 zwischen Abschnitten des Randsteins 520 identifizierter Punkt. Das Pixel-Gebiet 535 ist um den Punkt 531A ausgewählt und umfasst vorzugsweise erkennbare Merkmale, Strukturen oder Muster, die verwendet werden können, um das Gebiet positiv zu identifizieren. 13B zeigt auf ähnliche Weise den interessierenden Punkt 501A und ein Pixel-Gebiet 540 um den interessierenden Punkt. Wegen der Änderung der Perspektive zwischen Bild 500 und Bild 530 ist es möglich, dass das Pixel-Gebiet 535 und das Pixel-Gebiet 540 einige Unterschiede umfassen können, wobei jedoch bei einer Anwendung von oben beschriebenen Verfahren ein Vergleich der Pixel-Gebiete und ein Identifizieren der Merkmale darin als ein Verfahren verwendet werden können, um mit einer Konfidenz zu bestätigen, dass die interessierenden Punkte 531A und 501A innerhalb der in den Bildern 500 und 530 erfassten Ansicht das gleiche Merkmal darstellen und als in Übereinstimmung gebrachtes Paar behandelt werden können.
  • Nach der Ermittlung der Paare von in Übereinstimmung gebrachten Punkten wählt das Verarbeitungsmodul 120 durch Anwenden von Filtern, die Paare von in Übereinstimmung gebrachten entsprechenden Punkten mit geringer Qualität, die schlecht in Übereinstimmung gebrachte oder nicht in Übereinstimmung gebrachte Paare angeben, entfernen, bevorzugte Paare von in Übereinstimmung gebrachten Punkten mit hoher Qualität aus dem Satz von Paaren von in Übereinstimmung gebrachten Punkten aus, wie es oben in dem beispielhaften Schritt 112 beschrieben ist. Die bevorzugten Paare von in Übereinstimmung gebrachten Punkten können auf der Grundlage von Qualitätssteuerkriterien ausgewählt werden. Bei einer Ausführungsform werden Paare von in Übereinstimmung gebrachten Punkten analysiert, und, wenn sie jedes Kriterium erfüllen, als bevorzugte Paare von in Übereinstimmung gebrachten Punkten identifiziert.
  • Ein erstes Kriterium ist erfüllt, wenn eine Distanz zwischen Punkten eines Paars von in Übereinstimmung gebrachten Punkten kleiner ist als ein Schwellenwert. Die Distanz wird auf der Grundlage des Orts der Punkte ermittelt, als wären sie an Koordinaten eines gleichen zweidimensionalen Bilds angeordnet. Der Schwellenwert kann vorbestimmt und ortsabhängig sein oder dynamisch auf der Geschwindigkeit des Fahrzeugs basieren. Ein zweites Kriterium ist erfüllt, wenn beide Punkte eines Paars von in Übereinstimmung gebrachten Punkten eine vorbestimmte Schwellenwertdistanz von einer Bildgrenze entfernt sind. Aufgrund der Perspektive der Kamera zu Objekten an den Rändern der Bildgrenze und der Fahrzeugbewegung können Punkte, die zu nahe an dem Rand liegen, entweder keinen entsprechenden Punkt lokalisieren, der sich außerhalb der Perspektive der Kamera befinden kann, oder können sie verzerrte Schätzwerte von Objektorten erzeugen. Ferner ist die Wahrscheinlichkeit, dass ein Fahrzeug eine Information bezüglich eines freien Pfads in Richtung der Grenzen der Ansicht benötigt, bei einem normalen Fahrzeugbetrieb in Vorwärtsrichtung gering. Ein drittes Kriterium ist erfüllt, wenn eine Farbdifferenz zwischen einem vorbestimmten Bereich benachbart zu jedem Punkt eines Paars von in Übereinstimmung gebrachten Punkten kleiner ist als eine Schwellenwertfarbdifferenz. Unter Verwendung der in 13 definierten beispielhaften Pixel-Gebiete kann eine Farbdifferenz zwischen den Pixel-Gebieten 535 und 540 verwendet werden, um die Konfidenz des in Übereinstimmung gebrachten Paars zu erhöhen. Jedem Pixel innerhalb jedes der Gebiete kann auf der Grundlage seiner entsprechenden Farbe ein Zahlenwert zugeordnet werden. Die zugeordnete Zahl kann auf einem Bitwert basieren, der während der Erfassung des Bilds ermittelt wird, oder kann auf einer indizierten Farbe in Bezug auf eine vorbestimmte Palette basieren. Das Verarbeitungsmodul 120 berechnet absolute Differenzen zwischen den zugeordneten Zahlenwerten innerhalb des ersten Bereichs 501 und des zweiten Bereichs 502 Pixel für Pixel und summiert die Differenzen, was die Farbdifferenz liefert. Die Differenz wird mit der Schwellenwertdifferenz verglichen. Wenn die Differenz kleiner als die Schwellenwertdifferenz ist, ist das dritte Kriterium erfüllt. Die Schwellenwertfarbdifferenz kann durch ein beliebiges Verfahren ausgewählt werden, das ausreicht, um ein genaues Straßenvorhandensein oder eine Schätzung eines freien Pfads zu kalibrieren. Auf der Grundlage von Beleuchtungsniveaus außerhalb des Fahrzeugs, des Wetters, der Geschwindigkeit des Fahrzeugs oder beliebiger anderer Faktoren, die eine genaue Schätzung des Vorhandenseins eines freien Pfads auf der Grundlage von Farbdifferenzen beeinflussen, können verschiedene Schwellenwertfarbdifferenzen verwendet werden. Durch Beurteilen, ob die Bereiche um die interessierenden Punkte ähnlich sind, kann beurteilt werden, ob in beiden Bildern der gleiche Bereich, der das durch die interessierenden Punkte dargestellte Merkmal umfasst, analysiert wird.
  • Es sei angemerkt, dass die drei oben beschriebenen Kriterien beispielhafte Kriterien sind, die nützlich sind, um in Übereinstimmung gebrachte Paare zu beurteilen, wobei jedoch ein Teil dieser Kriterien oder zusätzliche nicht genannte ähnliche Kriterien verwendet werden können, um die Gültigkeit von in Übereinstimmung gebrachten Paaren zu beurteilen. Eine Auswahl von Kriterien zum Beurteilen von in Übereinstimmung gebrachten Paaren kann ferner auf der Grundlage von Bedingungen, wie das außerhalb des Fahrzeugs vorhandene Beleuchtungsniveau, das Wetter, die Geschwindigkeit des Fahrzeugs und beliebigen anderen Faktoren getroffen werden, die die Fähigkeit des Beurteilens von in Übereinstimmung gebrachten Paaren oder eine Dringlichkeit, einen freien Pfad schnell und genau zu definieren, beeinflussen.
  • Nach der Auswahl der bevorzugten Paare von in Übereinstimmung gebrachten Punkten ermittelt das Verarbeitungsmodul 120 Positionen mehrerer den Merkmalen von Objekten in der Ansicht zugeordneter Punkte in Bezug auf das Fahrzeug 100, wie es in dem beispielhaften Schritt 115 oben beschrieben ist. 14 zeigt graphisch die Verwendung eines beispielhaften momentanen Bilds, eines beispielhaften vorherigen Bilds und des Betriebs eines Host-Fahrzeugs zum Ermitteln der Position eines gesehenen Merkmals. Die Objektposition in einem horizontalen Referenzrahmen und eine Höhe des Objekts im Vergleich zu einem Bodenniveau können auf der Grundlage des bevorzugten Satzes von Paaren von in Übereinstimmung gebrachten Punkten innerhalb der sequentiellen Bilder 317 und 327 (das in dieser Figur durch die Punkte 1 und 2 gezeigte in Übereinstimmung gebrachte Paar), einer Distanz (d), die das Fahrzeug 100 von einer ersten Position 310 zu einer zweiten Position 320 zurückgelegt hat, und einer Fahrzeuggier (θ) ermittelt werden. Das Verarbeitungsmodul 120 führt eines von verschiedenen bekannten Triangulationsverfahren zum Ermitteln der Position des Punkts in Bezug auf das Fahrzeug 100 und einer Höhe des Punkts aus. In 14 ist ein Sichtfeld 315 von 310 einschließlich eines Bilds k – 1 317 gezeigt, und ist ein Sichtfeld 325 von 320 einschließlich eines Bilds k 327 gezeigt. Die Distanz d ist als eine Distanz beschreibend gezeigt, die ein Beobachter zwischen den Punkten 310 und 320 zurückgelegt hat. Die Linien, die in Längsrichtung zu den Sichtfeldern 315 und 325 ausgerichtet sind, sind durch die Linien 312 bzw. 322 dargestellt. Eine Winkeländerung der Ausrichtung oder Gier (θ) ist als einen Winkel zwischen den Linien 312 und 322 beschreibend gezeigt. Die Distanz d kann durch ein beispielhaftes Fahrzeug durch Verfolgen der Geschwindigkeit des Fahrzeugs über eine Abtastzeit zwischen dem Zeitpunkt bei 310 und dem Zeitpunkt bei 320 ermittelt werden. Ähnlich kann θ bei einem beispielhaften Fahrzeug durch Verfolgen einer Gierrate des Fahrzeugs über die Abtastzeit ermittelt werden. Das gesehene Objekt 305 ist gezeigt, und es sind die Linien 318 und 328 gezeigt, die Sichtlinien von den Punkten 310 bzw. 320 zu dem Objekt 305 beschreiben. Die Punkte 1 und 2 sind an den Bildern 317 und 327 gezeigt, wobei die Linien 318 und 328 die Bilder 317 bzw. 327 schneiden. Eine Distanz (a) kann als einen Ort des Punkts 1 an dem Bild 317 beschreibend definiert werden, und die Distanz (b) kann als einen Ort des Punkts 2 an dem Bild 327 beschreibend definiert werden. Es sei angemerkt, dass 14 eine Draufsicht darstellt, wobei eine Position des Objekts 305 in einer horizontalen Ebene definiert werden kann, und ähnliche Berechnungen in einer Seitenansicht der gleichen Objekte verwendet werden können, um eine vertikale Position des Objekts 305 in Bezug auf ein bekanntes Bodenniveau für den Beobachter zu definieren. Durch Anwenden von weithin bekannten Triangulationsverfahren können Positionsdaten, wie beispielsweise die Distanzen a und b von sequentiellen Bildern und Fahrzeugdaten, wie beispielsweise Fahrzeuggeschwindigkeit, Fahrzeuggierrate, und die Abtastzeit verwendet werden, um eine Position eines gesehenen Objekts in Relation zu dem Fahrzeug zu lokalisieren und eine relative Bewegung des Objekts in Relation zu dem Fahrzeug zu ermitteln. Diese Triangulationsverfahren können eine Position des Objekts in einer horizontalen Ebene und eine Höhe des Objekts in Relation zu einem Bodenniveau liefern.
  • Sobald die Position und die Höhe ermittelt sind, kann das Verarbeitungsmodul 120 die Punkte an einer Draufsichtabbildung wie in dem beispielhaften Schritt 118 oben beschrieben darstellen. 15 zeigt graphisch eine beispielhafte Draufsichtabbildung, die vertikale Positionen von interessierenden Punkten bei x- und y-Koordinaten vor dem Host-Fahrzeug beschreibt. Die Position <0,0> an der x-Achse und an der y-Achse entspricht der zweiten Position 320 des Fahrzeugs 100, die hierin oben be schrieben ist, oder der momentanen Position des Fahrzeugs 100. Vorzugsweise wird eine Objekthöhe in vorbestimmten Kategorien klassifiziert. Beispielsweise können Objekte mit minimaler Höhe, z. B. unter einem vorbestimmten Schwellenwert, als Boden klassifiziert werden, können Objekte, die die Bodenhöhe übersteigen, jedoch kleiner als ein zweiter vorbestimmter Schwellenwert sind, in einer zweiten Kategorie klassifiziert werden, die in der Nähe der Fahrzeughöhe liegt und vorzugsweise geringer als diese ist, und können Objekte, die größer als der zweite vorbestimmte Schwellenwert sind, in einer dritten Kategorie klassifiziert werden. Wie es 15 zeigt, werden Objekte mit minimaler Höhe als Boden (Boden) klassifiziert, werden Objekte, die die Bodenhöhe übersteigen, jedoch kleiner als ein 2-Meter-Schwellwert sind, in der zweiten Kategorie (kleiner als 2 m) klassifiziert, und werden Objekte, die größer als der 2-Meter-Schwellenwert sind, in der dritten Kategorie (größer als 2 m) klassifiziert.
  • Nach dem Darstellen der Objekte an der Abbildung detektiert das Verarbeitungsmodul 120 auf der Grundlage von in der Abbildung dargestellten Merkmalen einen freien Pfad, wie es in dem beispielhaften Schritt 121 oben beschrieben ist. Der Begriff ”freier Pfad” soll, wie er hierin verwendet wird, für einen Fachmann eine gewöhnliche und übliche Bedeutung darstellen (und ist nicht auf eine spezielle oder spezifisch angepasste Bedeutung beschränkt) und bezieht sich ohne Einschränkung auf einen Pfad, der frei von Objekten ist, die einen Schwellenwert übersteigen, z. B. einen Pfad, der frei von Objekten ist, die in der oben erwähnten zweiten und dritten Kategorie klassifiziert sind. Die Merkmale von Objekten, die in vorbestimmten Kategorien, z. B. der hierin oben beschriebenen zweiten und dritten Kategorie, klassifiziert sind, werden durch das Verarbeitungsmodul 120 als nicht freie Bereiche, d. h. für die Fahrzeugfahrt nicht erwünscht, identifiziert. Vorzugsweise wird ein vorbestimmter Bereich benachbart zu jedem in den vorbestimmten Kategorien klassifizierten Objekt durch das Verarbeitungsmodul 120 als nicht freier Bereich identifiziert. Das Verarbeitungsmodul 120 kann unter Verwendung eines von mehreren Verfahren ermitteln, dass ein freier Pfad an der Abbildung vorhanden ist. Ein erstes Verfahren zum Ermitteln eines freien Pfads umfasst das Vergleichen eines erwarteten Pfads mit der Abbildung, die die nicht freien Bereiche umfasst. Wenn sich der erwartete Pfad nicht mit irgendwelchen nicht freien Bereichen schneidet, ermittelt das Verarbeitungsmodul 120, dass der erwartete Pfad ein freier Pfad ist. Wenn sich der erwartete Pfad jedoch mit einem nicht freien Bereich schneidet, ermittelt das Verarbeitungsmodul 120, dass kein freier Pfad vorhanden ist. Ein zweites Verfahren zum Ermitteln eines freien Pfads umfasst das Verwenden der nicht freien Bereiche in der Abbildung zum Ermitteln eines freien Pfads. Jeder Pfad, der die nicht freien Bereiche nicht schneidet, kann als freier Pfad verwendet werden.
  • Das obige Verfahren verwendet sequentielle Bilder zum Herstellen einer Abbildung von Objektpositionen und vertikalen Höhen vor dem Fahrzeug, so dass ein freier Pfad definiert werden kann. Es sei angemerkt, dass bei dieser bestimmten Analyse in beliebigen zwei gegebenen Bildern ein bestimmtes Objekt nicht als zwei interessierende Punkte mit hoher Qualität umfassend, die für eine Abbildung ausreichen, klassifiziert werden könnte. Die obige Analyse findet jedoch mehrere Male pro Sekunde bei der Fahrzeugfahrt statt. Wenn sich das Fahrzeug auf dem freien Pfad vorwärts bewegt, werden unterschiedliche Perspektiven auf ein Objekt erlangt und wird eine große Anzahl von Bildern analysiert. Eine Fahrt auf einem Pfad und eine Analyse der mehreren iterativen Bilder auf diesem Pfad bauen durch die Analysen eine Konfidenz auf, dass kein Objekt, das dem freien Pfad widerspricht, auf dem identifizierten freien Pfad existiert.
  • 16 zeigt ein zweites Verarbeitungsschema zum Detektieren eines freien Pfads. Während das erste hierin beschriebene Verarbeitungsschema strukturreiche Verfahren verwendet, die Pixel-Merkmale, die bestimmte interessierende Punkte beschreiben, auf der Grundlage einer Kontextansicht innerhalb des Bilds analysieren, kann das zweite offenbarte Verarbeitungsschema als beispielhaftes strukturloses Verfahren zur Bildanalyse beschrieben werden, das aus einem Bild nicht konforme Gebiete des Bilds als nicht zu einer planaren, konsistenten Fahrbahn gehörend filtert. Durch Filtern von nicht konformen Gebieten aus einem Bild kann eine freie Fläche aus dem verbleibenden Bild als potentieller freier Pfad für die Fahrt des Fahrzeugs identifiziert werden. Ein Prozess 250 ist in 16 gezeigt und hierin als diskrete Elemente umfassend beschrieben. Solch eine Darstellung dient der Vereinfachung der Beschreibung und es ist zu erkennen, dass die durch diese Elemente durchgeführten Funktionen in einer oder mehreren Einrichtungen kombiniert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Beispielsweise kann der Prozess 250 in dem Verarbeitungsmodul 120 als ein oder mehrere Algorithmen ausgeführt werden. Der Prozess 250 zum Detektieren eines freien Pfads umfasst das Erzeugen mehrerer gefilterter Bilder und das Vereinigen der gefilterten Bilder, um einen freien Pfad zu ermitteln.
  • Es wird ein beispielhafter Prozess 250 offenbart, der die Schritte umfasst, um ein beispielhaftes strukturloses Verfahren zur Detektion eines freien Pfads einzusetzen. Der Prozess 250 beginnt in Schritt 253, in dem Bilder erzeugt werden. Die Schritte 256, 259, 262 und 265 beschreiben alternative beispielhafte Verfahren zum Filtern eines Bilds, um einen Ort eines freien Pfads einschließlich einer Fahrbahn zu identifizieren. Es sei angemerkt, dass jedes der Verfahren das Bild auf eine Art verarbeitet, um beim Identifizieren des freien Pfads zu helfen. Es könnte ein Prozess mit einem Teil der vier beispielhaften Verfahren eingesetzt werden, oder es könnte ein Prozess eingesetzt werden, der nicht genannte, jedoch ähnliche Verfahren umfasst, um das Bild zu verarbeiten. Es kann jedes Verfahren eingesetzt werden, das innerhalb eines Bilds eine frei Fläche, an der eine Fahrbahn geschätzt werden kann, von anderen Teilen des Bilds filtert, die keine potentielle Fahrbahn angeben. Schritt 256 wendet ein beispielhaftes Verfahren zum Filtern eines Bereichs unter einem Horizont oder Fluchtpunkt, der eine Fahrbahn, auf der gefahren werden kann, umfasst, von einem Bereich über dem Horizont oder Fluchtpunkt an, der den Himmel und andere vertikale Merkmale umfasst, die kein Teil einer Fahrbahn sein können. Schritt 259 wendet ein Filter auf der Grundlage der Abweichung der Pixel-Intensität basierend auf der Prämisse an, dass eine Fahrbahn eine große Fläche mit einer visuellen Intensität umfasst, die über der Fläche sehr einheitlich ist. Schritt 262 wendet ein Filter auf der Grundlage eines Differenzierens von sequentiellen Bildern an, was eine Analyse von Änderungen zwischen den Bildern ermöglicht. Schritt 265 wendet ein Filter auf der Grundlage eines Identifizierens von Pixeln an, die Kanten oder Übergänge in den visuellen Daten darstellen. Bei einem parallelen Anwenden der verschiedenen Verfahren können die Ergebnisse in einer einzelnen Abbildung des Bilds in Schritt 268 vereinigt werden und in Schritt 271 hinsichtlich visueller Daten, die einen freien Fahrpfad angeben, analysiert werden.
  • Unter Verwendung eines Fluchtpunkts wird ein erstes gefiltertes Bild erzeugt, was in dem beispielhaften Schritt 256 oben beschrieben wird. Der Begriff ”Fluchtpunkt”, wie er hierin verwendet wird, ist ein breiter Begriff und stellt für Fachleute seine gewöhnliche und übliche Bedeutung dar und bezieht sich auf einen unendlich weit entfernten Punkt am Horizont, der von einer Vielzahl von parallelen Linien am Boden in der Ansicht geschnitten wird. Eine Fahrbahn, die einen freien Pfad erzeugt, auf dem gefahren werden soll, muss nötwendigerweise unter dem Fluchtpunkt oder der Horizontlinie identifiziert werden. Ein Filtern von Bildern nur zum Analysieren eines Bereichs unter der Horizontlinie hilft beim Abgrenzen der Pixel, die zum Identifizieren einer Fahrbahn analysiert werden, von irrelevanten Pixeln. Ein Fachmann wird erkennen, dass es viele bekannte Verfahren zum Ermitteln eines Fluchtpunkts und einer entsprechenden Horizontlinie gibt. Ein bekanntes Verfahren umfasst das Ermitteln des Fluchtpunkts auf der Grundlage eines Punkts, an dem sich die Spurmarkierungen links und rechts eines Host-Fahrzeugs schneiden. Die Horizontlinie wird auf der Grundlage des Fluchtpunkts ermittelt. Das erste gefilterte Bild besteht aus Pixeln an dem momentanen Bild unter der Horizontlinie.
  • Das Verarbeitungsmodul 120 erzeugt auf der Grundlage der Pixel-Farbintensität der mehreren Pixel, die das momentane Bild (k) umfassen, ein zweites gefiltertes Bild, wie es oben in dem beispielhaften Schritt 259 beschrieben ist. 17 zeigt ein beispielhaftes zweites gefiltertes Bild auf der Grundlage der Pixel-Farbintensität. Das zweite gefilterte Bild umfasst aus den mehreren Pixeln ausgewählte Pixel. Es wird eine Anzahl von Verfahren zum Filtern von Pixeln betrachtet. Das Verarbeitungsmodul 120 vergleicht jeden Farbintensitätswert eines Pixels mit einem zugeordneten Farbverteilungsmittelwert, z. B. einem Verteilungsmittelwert einer roten, grünen und blauen Farbe. Die Farbverteilungsmittelwerte umfassen eine mittlere Farbintensitätsverteilung für eine zugeordnete Farbintensität, die Pixeln zugeordnet ist, die zuvor auf freien Pfaden identifiziert wurden. Die Farbverteilungsmittelwerte können ferner auf historisch erfassten Farbverteilungsmittelwerten von Pixeln eines freien Pfads der zugeordneten Farben basieren. Es wird ein Pixel für das zweite gefilterte Bild ausgewählt, wenn jeder Farbintensitätswert des Pixels kleiner ist als ein Farbintensitätsschwellenwert von dem zugeordneten Farbverteilungsmittelwert.
  • Wenn ein Farbintensitätswert des Pixels größer als ein Farbintensitätsschwellenwert von dem zugeordneten Farbverteilungsmittelwert ist, wird das Pixel von dem zweiten gefilterten Bild ausgeschlossen. Der Farbverteilungsmittelwert für die zugeordnete Farbintensität ist ein in dem Bild verteilter mittlerer Farbintensitätswert. Die Farbverteilungsmittelwerte werden anfänglich ermittelt. Bei einer Ausführungsform passt das Verarbeitungsmodul 120 den Farbverteilungsmittelwert für jede zugeordnete Farbintensität auf der Grundlage der Farbintensitätsverteilungen in einer vorbestimmten Anzahl von Bildern an.
  • Wie hierin oben beschrieben umfasst jedes Pixel mehrere Farbintensitätswerte. Vorzugsweise wird der Farbintensitätswert mit dem zugeordneten Farbverteilungsmittelwert verglichen. Beispielsweise wird für ein unter Verwendung des RGB-Farbmodells erzeugtes Pixel ein einer roten Farbintensität zugeordneter erster Bitsatz mit dem der roten Farbintensität zugeordneten Farbverteilungsmittelwert verglichen, wird der der grünen Farbintensität zugeordnete Bit-Satz mit dem der grünen Farbintensität zugeordneten Farbverteilungsmittelwert verglichen und wird der der blauen Farbintensität zugeordnete Bit-Satz mit dem der blauen Farbintensität zugeordneten Farbverteilungsmittelwert verglichen. Wenn die Differenz zwischen jeder Farbintensität, die das Pixel umfasst, und dem zugeordneten Farbverteilungsmittelwert kleiner ist als ein Farbintensitätsschwellenwert, wird das Pixel für das zweite gefilterte Bild verwendet.
  • Unter Verwendung des RGB-Farbmodells umfasst jedes Pixel einen ersten, einen zweiten und einen dritten Farbintensitätswert. Eine erste Farbintensität ist eine rote Intensität, eine zweite Farbintensität ist eine grüne Intensität und eine dritte Farbintensität ist eine blaue Intensität. Das Pixel für das zweite gefilterte Bild wird aus den mehreren Pixeln, die das momentane Bild (k) umfassen, ausgewählt, wenn die Differenz zwischen einer roten Intensität des Pixels und einem Verteilungsmittelwert einer roten Farbe kleiner ist als ein Schwellenwert einer roten Intensität und die Differenz zwischen einer grünen Intensität des Pixels und einem Verteilungsmittelwert einer grünen Farbe kleiner ist als ein Schwellenwert einer grünen Intensität und die Differenz zwischen einer blauen Intensität des Pixels und einem Verteilungsmittelwert einer blauen Farbe kleiner ist als ein Schwellenwert einer blauen Intensität. Die folgende Gleichung drückt diesen Prozess unter Verwendung des RGB-Farbmodells aus: |R – RM| < thresholdR und |G – GM| < thresholdG und |B – BM| < thresholdB (4)wobei
    R eine rote Farbe ist,
    G eine grüne Farbe ist,
    B eine blaue Farbe ist,
    RM ein Farbverteilungsmittelwert für die rote Farbe ist,
    GM ein Farbverteilungsmittelwert für die grüne Farbe ist,
    BM ein Farbverteilungsmittelwert für die blaue Farbe ist,
    thresholdR ein Schwellenwert einer roten Intensität ist,
    thresholdG ein Schwellenwert einer grünen Intensität ist, und
    thresholdB ein Schwellenwert einer blauen Intensität ist.
  • Ein Fachmann wird erkennen, dass die obige Gleichung 4 ausgestaltet sein kann, um mit mehreren anderen Farbmodellen verwendet zu werden, die das CMYK-, das YUV- und das LAB-Farbmodell umfassen.
  • Das Verarbeitungsmodul 120 erzeugt ein drittes gefiltertes Bild unter Verwendung des momentanen Bilds (k) und des vorherigen Bilds (k – 1) durch Differenzieren der Bilder, wie es in dem beispielhaften Schritt 262 oben beschrieben ist. Bei einem beispielhaften Prozess zum Erzeugen eines differenzierten Bilds wird ein drittes gefiltertes Bild als eine Bilddifferenz des momentanen Bilds (k) und des vorherigen Bilds (k – 1) erzeugt und umfasst es einen Pixel-für-Pixel-Vergleich, der die Differenz zwischen dem momentanen Bild (k) und dem vorherigen Bild (k – 1) darstellt. Solch ein Prozess ist oben in Verbindung mit 6A–6C beschrieben. Ein erstes Verfahren zum Ermitteln des dritten gefilterten Bilds umfasst das Ermitteln einer Differenz zwischen einzelnen Pixeln an einem momentanen Bild (k) und entsprechenden einzelnen Pixeln an dem vorherigen Bild (k – 1). Die Differenz kann durch Subtrahieren von einem Pixel zugeordneten Farbintensitätswerten von entsprechenden Farbintensitätswerten zum Ermitteln einer Farbintensitätsdifferenz ermittelt werden, z. B. Subtrahieren des Werts einer roten Farbintensität eines ersten Pixels an dem momentanen Bild (k) von dem Wert einer roten Farbintensität eines ersten Pixels an dem vorherigen Bild (k – 1). Die resultierende Farbintensitätsdifferenz umfasst den Pixel-Wert und entspricht der Differenz zwischen dem Pixel an dem momentanen Bild (k) und dem vorherigen Bild (k – 1). Jeder Pixel-Wert kann in einem Array gespeichert werden, das dem dritten gefilterten Bild entspricht. Bei einer Ausführungsform wird ein Absolutwert der Differenz ermittelt und in dem Array gespeichert. Das resultierende Array umfasst Werte, die die Differenz zwischen den beiden Bildern darstellen, und umfasst die Bilddifferenz. Nach dem Ermitteln des Arrays entfernt das Verarbeitungsmodul 120 Werte, die Pixel darstellen, die sich um weniger als den vorbestimmten Schwellenwert geändert haben. Die resultierenden Werte können bei einer Ausführungsform durch einen vorbestimmten Wert, z. B. Eins, ersetzt werden, um an einem resultierenden Bild eine deutliche Abbildung von identifizierten Differenzen zwischen den beiden verwendeten Bildern darzustellen.
  • Es wird ein zweites beispielhaftes Verfahren zum Ermitteln des dritten gefilterten Bilds auf der Grundlage eines Differenzierens von Bildern beschrieben. Durch Vergleichen des momentanen Bilds (k) mit einem bewegungsangepassten vorherigen Bild (k – 1) kann eine Ermittlung vorgenommen werden, und die Differenzen zwischen diesen Bildern können verwendet werden, um Objekte abzubilden, die nicht in ein bestimmtes Modell passen, das zum Erzeugen des bewegungsangepassten Bilds verwendet wird. Ein beispielhaftes Modell zum Erzeugen des bewegungsangepassten Bilds umfasst das Verwenden von Triangulationsverfahren, wie beispielsweise die Verfahren, die in Verbindung mit 14 beschrieben sind, einer Information bezüglich der Bewegung des Fahrzeugs und einer Annahme, dass sich alle detektierten Punkte auf Bodenniveau befinden, um eine Bewegung von Objekten in dem vorherigen Bild (k – 1) vorherzusagen. Durch Verwenden einer Annahme, dass sich alle Objekte in dem Bild auf Bodenniveau befinden, sind die Vorhersagen der Bewegung der Objekte in dem resultierenden Bild konsistent mit dem vorherigen Bild, das als ein vollständig flaches Bild auf Bodenniveau existiert. Ein Vergleich dieses resultierenden bewegungsangepassten vorherigen Bilds (k – 1) mit dem tatsächlichen momentanen Bild (k), das perspektivische Änderungen der Objekte, die sich nicht auf Bodenniveau befinden, umfasst, ermöglicht eine Identifikation aller Objekte oder Merkmale in den betrachteten Bildern, die sich nicht auf Bodenniveau befinden. Durch Subtrahieren von Pixeln in den verglichenen Bildern, beispielsweise gemäß dem ersten beispielhaften Prozess zum Ermitteln des dritten gefilterten Bilds, der oben beschrieben ist, können Pixel, die Objekte darstellen, die sich nicht auf Bodenniveau befinden, durch die Werte, die nicht Null sind, oder die Werte, die einen bestimmten Schwellenwert übersteigen, identifiziert werden. Auf diese Weise kann das Verarbeitungsmodul 120 das dritte gefilterte Bild wie hierin oben beschrieben unter Verwendung des momentanen Bilds (k) und des bewegungsangepassten vorherigen Bilds anstatt des vorherigen Bilds (k – 1) ermitteln.
  • Das Verarbeitungsmodul 120 erzeugt auf der Grundlage der Farbintensitätswerte der mehreren Pixel, die das momentane Bild (k) umfassen, ein viertes gefiltertes Bild, wie es in dem beispielhaften Schritt 265 oben beschrieben ist. 18 zeigt ein viertes gefiltertes Bild unter Verwendung eines Kantenerkennungsverfahrens. Das vierte gefilterte Bild umfasst Kanten des momentanen Bilds (k). Um das vierte gefilterte Bild zu erzeugen, extrahiert das Verarbeitungsmodul 120 Pixel von dem Bild auf der Grundlage von Farbintensitätswerten, die den Kanten entsprechen, unter Verwendung eines von verschiedenen bekannten Kantendetektionsfiltern, z. B. eines Sobel-Filters. Das Kantendetektionsfilter wird vorzugsweise in dem Verarbeitungsmodul 120 ausgeführt, kann jedoch in einer oder mehreren Einrichtungen kombiniert sein, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Bei einer Ausführungsform wird jedes Pixel unter Verwendung eines Sobel-Operators analysiert. Der Sobel-Operator berechnet einen Gradientenvektor einer Farbintensität an jedem Pixel, was zu einer Richtung des größtmöglichen Anstiegs von Hell nach Dunkel und der Änderungsrate in dieser Richtung führt. Punkte, die einer Änderungsrate entsprechen, die einen Schwellwert übersteigt, und Gradientenvektoren bei nahe gelegenen Pixeln entsprechen, geben Kanten an und sind in dem vierten gefilterten Bild umfasst. Jene Pixel können durch eine vorbestimmte Pixel-Farbe, z. B. Schwarz, ersetzt werden.
  • Nach dem Erzeugen der mehreren gefilterten Bilder vereinigt das Verarbeitungsmodul 120 die gefilterten Bilder, um Pixel-Orte zu ermitteln, die einem freien Pfad entsprechen, wie es in dem beispielhaften Schritt 268 beschrieben ist. Das vereinigte gefilterte Bild umfasst ein Bild, das Pixel enthält, die in allen der mehreren gefilterten Bilder enthalten sind, d. h., nur Pixel, die an einem bestimmten Pixel-Ort in jedem der mehreren gefilterten Bilder enthalten sind, sind in dem vereinigten gefilterten Bild umfasst. Das Vereinigen der gefilterten Bilder umfasst das Ermitteln von Pixel-Orten, die an jedem der mehreren gefilterten Bilder umfasst sind. Jeder Pixel-Ort wird mit entsprechenden Pixel-Orten an jedem der gefilterten Bilder verglichen. Wenn jedes der mehreren gefilterten Bilder ein Pixel an einem entsprechenden Pixel-Ort enthält, ist dieses Pixel an einer Abbildung eines vereinigten freien Pfads, die eine freie Fläche auf der Straße darstellt, umfasst. Der vereinigte freie Pfad wird verwendet, um einen freien Pfad für das Fahrzeug 100 zu detektieren. Pixel an der Abbildung eines vereinigten freien Pfads entsprechen gewünschten Fahrtorten in der Ansicht. Die Orte an der Abbildung eines vereinigten freien Pfads ohne Pixel entsprechen unerwünschten Fahrtorten in der Ansicht.
  • Der in 16 beschriebene Prozess 250 wendet verschiedene Verfahren parallel auf Bilder an, um Merkmale in einer Ansicht zu identifizieren, die für ein Definieren eines freien Pfads relevant sind. Es sei jedoch angemerkt, dass diese Verfahren nicht parallel durchgeführt werden müssen, sondern dass die Verfahren stattdessen verwendet werden können, um Bilder sequentiell schrittweise zu verarbeiten, um Merkmale in einer Ansicht zu identifizieren, die für ein Definieren eines freien Pfads relevant sind. Ein beispielhafter Prozess 600 für das zweite Verarbeitungsschema ist in 19 gezeigt. Der Prozess 600 beginnt durch Erzeugen einer Sequenz von Bildern in Schritt 603. Jedes Bild wird parallel an zwei Schritte übermittelt, und die Ergebnisse von den beiden Schritten werden vereinigt und für die nachfolgenden Schritte in dem Prozess zur Verfügung gestellt. Die parallelen Schritte umfassen Schritt 606, in dem ein erstes Bild gemäß einem Filtern von Pixeln durch das oben beschriebene Fluchtpunktverfahren gefiltert wird, um die Teile der Bilder von der Verarbeitung zu filtern, die keine Fahrbahn darstellen können, und Schritt 609, in dem ein zweites gefiltertes Bild durch Filtern von Pixeln gemäß der Intensität wie oben beschrieben verwendet wird, um Abschnitte der Bilder von der Ver arbeitung zu filtern, die mit einer Fahrbahn inkonsistente Merkmale beschreiben. In Schritt 612 wird ein vereinigtes Bild des ersten gefilterten Bilds und des zweiten gefilterten Bilds erzeugt, wobei das vereinigte Bild nur einen Abschnitt des Bilds unter dem Fluchtpunkt umfasst und Pixel mit einer mit einer Fahrbahn konsistenten Intensität umfasst. In Schritt 615 werden sequentielle vereinigte Bilder verwendet, um unter Verwendung eines der oben beschriebenen Differenzierungsverfahren ein drittes gefiltertes Bild zu erzeugen. In Schritt 618 wird das dritte gefilterte Bild verwendet, um unter Verwendung der oben beschriebenen Kantenextraktionsverfahren ein viertes gefiltertes Bild zu erzeugen. Die Ergebnisse des Prozesses 600 können dann hinsichtlich visueller Daten, die einen freien Fahrpfad angeben, analysiert werden.
  • Die Prozesse 250 und 600 zeigen zwei beispielhafte Anordnungen, in denen Filterverfahren in Kombination verwendet werden können, um eine Sequenz von Bildern zu verarbeiten, um einen freien Pfad zu identifizieren. Es sei jedoch angemerkt, dass solche Kombinationen viele Formen annehmen können, Schritte in anderen Reihenfolgen angewandt werden können und weniger oder zusätzliche Filter in anderen Kombinationen verwendet werden können. Ferner können Filter selektiv verwendet werden oder können Konfigurationen von Prozessen selektiv verwendet werden, wobei beispielsweise verschiedene Kombinationen tagsüber verwendet werden und andere Nachts verwendet werden. Beispielsweise können einige Kombinationen weiterhin durch Scheinwerfer beleuchtete Fahrbahnen analysieren, während andere Verfahren ohne eine vollständig beleuchtete Sicht nicht nützlich sein könnten. Bei einem anderen Beispiel können andere Kombinationen verwendet werden, wenn Regen oder Schnee auf der Straße liegt. Beispielsweise könnten einige Verfahren und Analyseverfahren bei einer leichten Schneedecke weiterhin nützlich sein, die beispielsweise Reifenspuren im Schnee als potentielle freie Pfade iden tifizieren, wohingegen andere Verfahren nicht nützlich sein könnten, wenn eine weiße Decke die meisten identifizierbaren Merkmale verdeckt. Bei einem anderen Beispiel können andere Kombinationen verwendet werden, wenn eine zusätzliche Information zur Verfügung gestellt wird, wobei beispielsweise Infrarot-, Radar- oder GPS-Daten ein Filtern der Bilder auf der Grundlage der zusätzlichen Information erweitern oder vereinfachen. Es wird eine Anzahl von Kombinationen von Filterverfahren betrachtet, und die Offenbarung soll nicht auf die bestimmten hierin beschriebenen Ausführungsformen beschränkt sein.
  • Oben wurden ein erstes Verarbeitungsschema, das strukturreiche Verfahren einsetzt, und ein zweites Verarbeitungsschema, das strukturlose Verfahren einsetzt, beschrieben, wobei jedes Schema eine Identifikation von Straßenmerkmalen ermöglicht, die nützlich sind, um einen freien Pfad in der Sicht des Fahrzeugs zu beschreiben. Es sei jedoch angemerkt, dass eine einzelne Analyse auf der Grundlage eines der beiden Schemas mehrdeutige Ergebnisse liefern kann, wobei beispielsweise bestimmte Beleuchtungsbedingungen, Schatten von einem anderen Fahrzeug, eine durch Wärme verursachte Verzerrung der Fahrbahn oder andere ähnliche Probleme bewirken können, dass Teile einer Fahrbahn als nicht mit dem Rest der Fahrbahn konform fehlidentifiziert werden. Ein Verfahren zum Auflösen mehrdeutiger Ergebnisse wird durch Analysieren von iterativen Bildern erreicht, wenn das Fahrzeug entlang der Straße fährt. Es sei angemerkt, dass, wenn ein Fahrzeug entlang einer Straße fährt, Hunderte von Bildern eines bestimmten Teilabschnitts der Straße, die in einer schnellen Folge aufgenommen werden, analysiert werden können. Wenn das Fahrzeug vorwärts fährt, wird als Ergebnis unterschiedlicher Sichtperspektiven eine unterschiedliche Beleuchtung und Ausleuchtung der Fahrbahn beobachtet. Eine Fahrt auf einem Pfad und eine Analyse der mehreren iterativen Bilder auf diesem Pfad können durch die Analysen eine Konfi denz aufbauen, dass der bestimmte Abschnitt der Fahrbahn korrekt als freier Pfad geschätzt wird.
  • Ein anderes Verfahren zum Auflösen mehrdeutiger Ergebnisse eines der beiden Schemas ist, beide Schemas zu verwenden und die Ergebnisse zu vereinigen, wobei die Kombination der beiden Schemas zum Erhöhen der Konfidenz einer Identifikation eines freien Pfads verwendet wird. Jedes der Schemas hat hinsichtlich anderer Aspekte einer Detektion eines freien Pfads Vorteile gegenüber dem anderen Schema. Beispielsweise zeichnet sich das beispielhafte strukturreiche Verfahren beim Detektieren von Objekten aus, die deutlich mit vielen Strukturen von dem Bodenniveau hervorstehen. Dieses Verfahren identifiziert positiv Objekte, die in verschiedenen Höhen detektiert werden können, und liefert eine Abbildung von Bereichen, in denen ein Fahrzeug nicht fahren sollte, damit die Objekte nicht mit dem Fahrzeug kollidieren. Bei einem anderen Beispiel zeichnet sich das beispielhafte strukturlose Verfahren beim Identifizieren eines Gebiets aus, in dem Pixel eine normal erscheinende Fläche identifizieren. Dieses Verfahren identifiziert positiv ein Gebiet, in dem es wahrscheinlich ist, dass eine Fahrbahn existiert, und es bildet die Grenzen dieser Fläche ab.
  • Das erste Schema und das zweite Schema können auf eine Anzahl von Arten vereinigt werden. Ein Bild mit identifizierten Punkten und ermittelten Höhen, das mit strukturreiche Verfahren identifiziert wird, kann mit einem gefilterten Bild, das durch strukturlose Verfahren erzeugt wird, überlagert werden, und eine Vereinbarung der beiden Verfahren kann verwendet werden, um durch das überlagerte Bild einen freien Pfad zu definieren. Bei einem alternativen Verfahren zum Vereinigen der beiden Schemas können die Daten von beiden Schemas verwendet werden, um eine Information auf eine programmierte Draufsichtabbildung eines Be reichs vor dem Fahrzeug zu projizieren, und diese Draufsichtabbildung, die von einer Analyse der beiden Schemas erhaltene Daten umfasst, kann ein Aufbauen von Konfidenzhinweisen für Gebiete der Abbildung umfassen. Bei einem alternativen Verfahren zum Vereinigen der beiden Schemas kann ein Schema als primäres oder dominantes Schema verwendet werden und kann das zweite Schema verwendet oder aktiviert werden, um Gebiete in der Ansicht zu analysieren, die als mehrdeutig oder unklar identifiziert werden. Bei jedem Verfahren zum Vereinigen der beiden Schemas können die Stärken eines Verarbeitungsschemas verwendet werden, um die Schwächen des anderen Verarbeitungsschemas zu reduzieren. Wenn beide Schemas darin übereinstimmen, dass der Pfad frei ist, kann das Verarbeitungsmodul, das die Schemas einsetzt, mit erhöhter Konfidenz ermitteln, dass der Pfad für eine Fahrt des Fahrzeugs wünschenswert ist. Es wird eine Anzahl von Verfahren zum Vereinigen der identifizierten Schemas in Betracht gezogen, und die Offenbarung soll nicht auf die bestimmten hierin beschriebenen Ausführungsformen beschränkt sein. Ferner kann ein Schema oder können beide Schemas mit dem oben eingesetzten Verfahren kombiniert werden, das eine Analyse von Stücken verwendet.
  • Ein Fachmann wird erkennen, dass auf die erfassten Bilddaten eine Beleuchtungsnormalisierung angewandt werden kann. Eine Normalisierung ist ein Prozess, der den Bereich von Pixel-Intensitätswerten ändert. Der Zweck der Normalisierung ist, das Bild in einen Bereich zu bringen, der für einen Maschinenprozess geeigneter ist, um die Zuverlässigkeit zu verbessern. Beispielsweise wird jeder Pixel-Wert auf einen Mittelwert von Null und eine Einheitsvarianz normalisiert, um den Bildkontrast zu verbessern, insbesondere in einer Umgebung mit schwacher Beleuchtung, oder wenn der Kontrast aufgrund einer Blendung schlecht ist.
  • Die hierin oben beschriebenen Filter und Algorithmen können viele Formen annehmen. Die zum Extrahieren von Merkmalen verwendeten Filteralgorithmen durchsuchen oftmals die verfügbare visuelle Information hinsichtlich charakteristischer Muster in den Daten, wobei die Merkmale durch eine Spurausrichtung, einen Spurort, eine Farbe, Eckeneigenschaften, andere visuelle Attribute und gelernte Attribute definiert sind. Die Attribute können experimentell, empirisch, prädiktiv, durch Modellerstellung oder andere Techniken, die zum genauen Trainieren von unterscheidenden Attributen geeignet sind, entwickelt werden. Gelernte Attribute können durch Maschinenlernalgorithmen oder Fuzzy-Logik innerhalb des Fahrzeugs mit einer Anpassung über der Zeit gelernt werden. Ferner können gelernte Attribute oder gelernte Landmarken aus einer wiederholten Fahrt eines Fahrzeugs auf einer Route erfasst und bei einer Identifikation eines freien Pfads verwendet werden.
  • Oben sind Ausführungsformen zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung einer Analyse von Kameradaten beschrieben. Ferner umfassen hierin erläuterte beispielhafte Ausführungsformen ein Verfahren zum Ermitteln eines Straßenmodells auf der Grundlage des Überwachens von Daten, die eine Straßengeometrie beschreiben, um die Ermittlung eines freien Pfads zu verbessern. Die überwachten Daten, die eine Straßengeometrie beschreiben, können ein Überwachen von Bildern von der Kameraeinrichtung oder ein Überwachen von Rückführungsdaten von dem Light Detection and Ranging-System (LIDAR-System) umfassen, das ausgestaltet ist, um optische Energie zu senden und zu empfangen. Es sei angemerkt, dass das LIDAR-System optional und nicht notwendig ist, um viele der hierin offenbarten Verfahren auszuführen, wobei die Verarbeitung von visuellen Bildern eine Ermittlung eines freien Pfads und eine Straßenmodellermittlung ausführen kann. Die Straßenmodellermittlung beschreibt eine Straßengeometrie, die den Ort von Spurmarkierungen und den Ort eines Straßenrands umfasst. Es sei angemerkt, dass das Straßenmodell, das den Ort der Spurmarkierungen und den Ort des Straßenrands unterhalb einer Horizontlinie beschreibt, durch das Verarbeitungsmodul analysiert werden kann, wobei zusätzlich Spuren auf einer Straße ermittelt und analysiert werden können. Das analysierte Straßenmodell kann auf diese Weise mit der Ermittlung eines freien Pfads durch eine Verfeinerung gegenseitiger Vorteile erweitert werden, um die Ermittlung eines freien Pfads zu modifizieren oder zu verbessern, wobei der verbesserte freie Pfad bei der Navigation des Fahrzeugs verwendet wird. Beispielsweise fällt der freie Fahrpfad sehr wahrscheinlich mit einer detektierten Spur auf der Straße zusammen, die durch die Spurmarkierungen und einen Straßenrand bestimmt wird. Ergebnisse eines freien Pfads, die zu den detektierten Spurmarkierungen im Widerspruch stehen, können als unzuverlässig gekennzeichnet werden, oder es können zusätzliche Verarbeitungsressourcen festgelegt werden, um entweder das fehlerhafte Straßenmodell oder den fehlerhaften detektierten freien Pfad zu ermitteln. Ähnlich kann eine Grenze eines freien Pfads, die einen Bereich definiert, der keinen freien Pfad umfasst, verwendet werden, um einen Straßenrand bei der Straßenmodellermittlung zu untermauern.
  • Bei einer beispielhaften Ausführungsform der vorliegenden Offenbarung zeigt 21 ein Prozessschema 800 zum Ermitteln eines verbesserten freien Pfads auf der Grundlage einer Verfeinerung gegenseitiger Vorteile zwischen einer Straßenmodellanalyse und einer Abbildungsvereinigung eines detektierten freien Pfads. Der beispielhafte Prozess 800 beginnt in Schritt 802, in dem Bilder erzeugt werden. Es sei angemerkt, dass in Schritt 806 ein freier Pfad durch eine kamerabasierte Analyse eines freien Pfads gemäß oben beschriebenen Verfahren detektiert werden kann. In Schritt 810 wird eine Vereinigung mehrerer in Schritt 806 eingesetzter Verfahren durchgeführt, um aus den mehreren Verfahren einen freien Fahrpfad zu entwickeln. Diese Verfahren und die Vereinigung dieser sind oben erläutert. In Schritt 804 kann ein Straßenmodell, das eine Straßengeometrie detektiert, ermittelt werden, und in Schritt 808 kann es analysiert werden. Das Straßenmodell umfasst das Ermitteln einer Straßengeometrie, was entweder das Detektieren des Orts von Spurmarkierungen oder des Orts eines Straßenrands oder beides umfassen kann. Eingänge. in Schritt 804 können einen Bildeingang wie gezeigt, einen separaten LIDAR-Eingang oder jedes andere Verfahren, das genügt, um Spurmarkierungen und/oder Straßenränder genau zu detektieren, umfassen. In Schritt 804 können mehrere Verfahren eingesetzt werden, um das Straßenmodell zu ermitteln. In Schritt 812 kann das analysierte Straßenmodell mit dem detektierten und vereinigten freien Pfad für eine Verfeinerung gegenseitiger Vorteile erweitert oder vereinigt werden. Eine Verfeinerung gegenseitiger Vorteile sorgt für eine Konfidenz mit dem detektierten freien Pfad und kann ferner verwendet werden, um den Ort von Spurmarkierungen und/oder einem Straßenrand entlang einer Fahrbahn abzuleiten. In Schritt 814 kann ein verbesserter freier Pfad auf der Grundlage der Verfeinerung gegenseitiger Vorteile, die in Schritt 812 ermittelt wurde, ermittelt werden.
  • Wie oben erläutert wird oder werden ein Bild oder mehrere Bilder, das oder die durch die Kameraeinrichtung erzeugt wird oder werden, durch das Verarbeitungsmodul überwacht und analysiert. Auf der Grundlage der analysierten Bilder von dem Kamerasystem kann ein freier Pfad, an dem eine potentielle Fahrbahn geschätzt werden kann, aus anderen Teilen des Bilds ermittelt werden, die keine potentielle Fahrbahn angeben. Beispielsweise und in Bezug auf 9 verwendet das erste Schema eine strukturreiche Bildanalyse eines Sichtfelds vor dem Fahrzeug, wobei analysierte Pixel-Merkmale, die bestimmte interessierende Punkte auf der Grundlage einer kontextabhängigen Ansicht in dem Bild beschreiben, abgebildet und verwendet werden, um einen freien Pfad vor dem Host-Fahrzeug zu ermitteln. Bei einem anderen Beispiel und in Bezug auf 16 und 19 verwendet das zweite Schema eine strukturlose Bildanalyse zum Filtern nicht konformer Bildgebiete des Bilds als nicht zu einer planaren konsistenten Fahrbahn gehörend, wobei mehrere gefilterte Bilder miteinander vereinigt werden, um einen freien Pfad zu ermitteln.
  • Die obigen Verfahren beschreiben kamerabasierte Verfahren, durch die ein freier Pfad geschätzt werden kann. Wie oben beschrieben kann LIDAR als zusätzlicher oder alternativer Eingang verwendet werden, um Spurmarkierungen und einen Straßenrand zu detektieren. Die Verwendung von LIDAR für solch eine Detektion ist in der ebenfalls anhängigen und an den Rechtsinhaber der vorliegenden Erfindung übertragenen US-Patentanmeldung Nr. 12/175,634 mit dem Titel LIDAR BASED GEOMETRIC ROAD CURVE DETECTION offenbart, die hierin durch Bezugnahme mit einbezogen ist. LIDAR sendet Licht aus und detektiert die Rückführung des Lichts. Ein Betrag der Rückführung beschreibt das Reflexionsvermögen der detektierten Fläche. Beispielsweise erzeugen eine Fahrbahn und eine reflektierende Farbe, die für Straßenmarkierungen verwendet wird, eindeutige Unterschiede bei dem zurückgeführten Licht und können sie verwendet werden, um Muster zu detektieren, die den Ort der Spurmarkierungen angeben. Ferner können die Rückführungen eine Distanz zu der detektierten Fläche beschreiben. Solch eine Distanz über eine Fläche kann eine Struktur der Fläche beschreiben, und Strukturunterschiede, die zwischen der Fahrbahn und dem Mittelstreifen, dem Seitenstreifen oder der grasbewachsenen Seite der Straße detektiert werden, können verwendet werden, um den Straßenrand zu detektieren. Die Verwendung von LIDAR-Rückführungen kann viele Ausführungsformen umfassen, und die Offenbarung soll nicht auf die bestimmten hierin beschriebenen beispielhaften Ausführungsformen beschränkt sein.
  • Bei einer beispielhaften Ausführungsform der vorliegenden Offenbarung ist ein beispielhafter Prozess 900 zum Ermitteln eines Straßenmodells in 22 gezeigt. Das Straßenmodell umfasst das Ermitteln einer Straßengeometrie, was das Detektieren des Orts von Spurmarkierungen und aus den erfassten Bilddaten umfasst. Der Prozess 900 verwendet eine oben erläuterte kamerabasierte Erfassungstechnik. Der Prozess 900 wendet einen Ansatz einer parallelen Verarbeitung an, der (1) einen Beleuchtungsnormalisierungsschritt, (2) einen Liniendetektionsschritt, (3) einen Hough-Transformationsschritt und (4) einen Schritt einer Verringerung eines falschen Alarms umfasst.
  • In Bezug auf Schritt 902 wird ein Bild von der Kameraeinrichtung, das das Sichtfeld außerhalb des Fahrzeugs wie in 20 gezeigt beschreibt, erzeugt. 20 zeigt ein beispielhaftes Sichtfeld 700, das einen Straßenrand 702, Spurmarkierungen 704, Straßenspuren 706 und eine Horizontlinie 708 umfasst. Das Bild, das das Sichtfeld darstellt, umfasst eine Anordnung von Pixeln. In Schritt 904 wird eine Beleuchtungsnormalisierung auf das Bild von der Kameraeinrichtung angewandt. Wie oben erläutert ist eine Normalisierung ein Prozess, der den Bereich von Pixel-Intensitätswerten ändert. Der Zweck der Normalisierung ist, das Bild in einen Bereich zu bringen, der für einen Maschinenprozess geeigneter ist, um die Zuverlässigkeit zu verbessern. Beispielsweise wird jeder Pixel-Wert auf einen Mittelwert von Null und eine Einheitsvarianz normalisiert, um den Bildkontrast zu verbessern, insbesondere in einer Umgebung mit schwacher Beleuchtung, oder wenn der Kontrast aufgrund einer Blendung schlecht ist.
  • Das normalisierte Bild wird in mehrere parallele Verarbeitungspfade für eine Straßengeometriedetektion in einigen Hauptausrichtungswinkeln aufgeteilt. Bezug nehmend auf die Blöcke 906a–f werden in jedem Hauptausrichtungswinkel α die normalisierten Bilddaten mit einem ausgerichteten Liniendetektionsfilter mit Winkel α gefaltet, um die Linien mit dem Winkel nahe α(d. h. Hauptkörperabschnitt) der Straßengeometrie zu detektieren. Ferner werden die normalisierten erfassten Bilddaten mit einem ausgerichteten Randdetektionsfilter mit Winkel α gefaltet, um die Ränder mit dem Winkel nahe α, die die Linie der Straßengeometrie abgrenzen, zu detektieren. Die ausgerichteten Liniendetektionsfilter sind unter verschiedenen Winkeln ausgerichtet, um eine jeweilige Ausrichtung der Spurmarkierungen zu identifizieren (z. B. α = 0, α = 30, α = 60, α = 90, α = 120 und α = 150). Beispielsweise werden die erfassten Bilddaten für eine gekrümmte Spurmarkierung durch in Übereinstimmung bringen einer selektiven Gruppe von ausgerichteten Filtern mit der Spurmarkierung zum Identifizieren jeweiliger Segmente und ihres jeweiligen Ausrichtungswinkels der gekrümmten Spurmarkierung identifiziert. Die Krümmung wird detektiert, indem gerade Linien, die unter verschiedenen Winkeln ausgerichtet sind, zusammengesetzt werden. Das Koppeln der geraden Linien, die jeweils unter verschiedenen Winkeln ausgerichtet sind, identifiziert die Krümmung der Spurmarkierung. Das heißt, für eine gekrümmte Spurmarkierung werden mehrere ausgerichtete Spurdetektionsfilter auf Segmente der Spurmarkierung angewandt, um eine Filterantwort zu erzeugen, die die Ausrichtung jedes Segments der Spurmarkierung identifiziert. Die oben beschriebenen ausgerichteten Detektionsfilter können erste und zweite Ableitungen von Gauß-Filtern sein.
  • Bezug nehmend auf die Schritte 908a–f wird eine Hough-Transformationstechnik angewandt, um die Liniensegmente einer Straßengeometrie für die Kandidatenpunkte einer Straßengeometrie zu identifizieren. Die Hough-Transformation ist eine Merkmalsextraktionstechnik, die verwendet wird, um fehlerhafte Instanzen von Objekten innerhalb der Klasse von Formen der Kandidatenpunkte, die analysiert werden, zu finden. Die Hough-Transformation beschäftigt sich mit der Identifikation von Linien der Kandidatenpunkte in einem Bild und spezieller der Identifikation der Positionen und Winkel der Linien der Kandidatenpunkte in einem Bild. Beispielsweise werden das ausgerichtete Randdetektionsfilter und Liniendetektionsfilter mit einem Winkel α = 0 in Schritt 906a als Präprozessor verwendet, um Kandidatenpunkte zu erhalten, die in dem normalisierten Bild an der gewünschten Linie mit dem Winkel nahe α = 0 liegen (große positive Linienfilterantworten und große positive und große negative Randfilterantworten entlang der senkrechten Richtung von α aufweisen). Aufgrund von Fehlern bei entweder dem ausgerichteten Randdetektionsfilter, dem ausgerichteten Liniendetektionsfilter oder dem Rauschen in den normalisierten erfassten Bilddaten können Pixel an den gewünschten Linien/Krümmungen fehlen oder kann Rauschen von den Filterergebnissen erzeugt werden. Daher ist es möglich, Gruppierungen von Kandidatenpunkten zu den Kandidatenliniensegmenten durchzuführen, indem die Linien auf der Grundlage der Kandidatenpunkte in einem Bild parametrisiert werden. Die Hough-Transformationstechnik ermittelt grundlegend auf der Grundlage der Kandidatenpunkte, ob es genügend Belege einer Linie gibt. Wenn es genügend Belege gibt, werden die Parameter der Linie berechnet. Die Hough-Technik parametrisiert Linien in dem Hough-Bereich mit zwei Parametern ρ und θ, wobei ρ die Distanz zwischen der Linie und dem Ursprung darstellt und θ der Winkel der Linie ist. Unter Verwendung dieser Parametrisierung wird die Gleichung wie folgt geschrieben: ρi = xcos θi + ysin θi (5)
  • Für eine Linie mit den Parametern (ρ, θ) in einer Bildebene folgen alle Punkte, die auf der Linie liegen, der obigen Gleichung. Als Ergebnis ermittelt der Hough-Transformationsalgorithmus für die Kandidatenbildpunkte, welche Linien extrahiert werden können und welche Linien beseitigt werden können.
  • Nun auf die Blöcke 910a–f Bezug nehmend wird ein Test einer Analyse einer Verringerung eines falschen Alarms angewandt, um zu verifizieren, dass die identifizierte Spurmarkierung wie durch die Hough-Technik extrahiert eine Spurmarkierung ist. Um den Test einer Analyse einer Verringerung eines falschen Alarms auszuführen wird eine Länge jeder identifizierten Spurmarkierung in den Weltkoordinaten durch eine Kamerakalibrierung in Bezug auf die Bodenebene ermittelt. Als Nächstes wird die Länge jeder identifizierten Spurmarkierung mit einer vorbestimmten Länge verglichen. Die vorbestimmte Länge stellt eine minimale Länge dar, die eine jeweilige Spurmarkierung aufweisen muss, um als Spurmarkierung betrachtet zu werden. Wenn die Länge größer als die vorbestimmte Länge ist, wird die identifizierte Spurmarkierung als Spurmarkierung betrachtet. Wenn die Länge (l) kleiner als die vorbestimmte Länge ist, wird die identifizierte Spurmarkierung nicht als Spurmarkierung betrachtet.
  • Zusätzlich oder alternativ zu dem oben beschriebenen Test einer Analyse einer Verringerung eines falschen Alarms kann ein zweiter Test einer Analyse einer Falsch-Verringerung angewandt werden. Zwischen einer ersten identifizierten Spurmarkierung und einer zweiten identifizierten Spurmarkierung parallel zu der ersten identifizierten Spurmarkierung wird in den Weltkoordinaten durch eine Kamerakalibrierung in Bezug auf die Bodenebene eine Distanz ermittelt. Die Distanz wird mit einer vorbestimmten Breite verglichen. Die Breite stellt zumindest die minimale Breite einer Spur einer Straße dar. Dann wird in Ansprechen darauf, ob die Breite kleiner als die vorbestimmte Breite ist, ermittelt, ob die erste und die zweite identifizierte Spurmarkierung Spurmarkierungen sind. Wenn die Breite zwischen der ersten und zweiten identifizierten Spurmarkierung kleiner als die vorbestimmte Breite ist, wird ermittelt, dass die erste und zweite identifizierte Spurmarkierung keine Spurmarkierungen sind oder zumindest eine der jeweiligen identifizierten Spurmarkierungen keine Spurmarkierung ist. Dieser jeweilige Test einer Verringerung eines falschen Alarms unterstützt das Unterscheiden von Schatten von Spurmarkierungen, die von Bäumen und anderen Objekten, die Schatten auf die Straße werfen, resultieren.
  • Bezug nehmend auf Schritt 912 wird eine Straßenmodellanpassung und -verfolgung durchgeführt. Wie oben erläutert wird ein paralleler Prozess auf das normalisierte Bild angewandt, der den Liniendetektionsschritt 906, den Hough-Transformationsschritt 908 und den Schritt 910 einer Verringerung eines falschen Alarms umfasst. Die normalisierten Bilddaten werden mit einem ausgerichteten Liniendetektionsfilter mit Winkel α gefaltet, um die Linien mit einem Winkel nahe α der Spurmarkierung zu detektieren. Es sei angemerkt, dass die Schritte 906a–910a dem ausgerichteten Liniendetektionsfilter mit Winkel α = 0 entsprechen, die Schritte 906b–910b dem ausgerichteten Liniendetektionsfilter mit Winkel α = 30 entsprechen ... und die Schritte 906f–910f dem ausgerichteten Liniendetektionsfilter mit Winkel α = 150 entsprechen. Die detektierten Linien für jedes ausgerichtete Liniendetektionsfilter mit Winkel α werden angepasst und verfolgt, um den Ort von Spurmarkierungen zu detektieren, wie es in Schritt 914 gezeigt ist.
  • Wie oben erläutert kann eine Straßengeometrie auch den Ort eines Straßenrands umfassen. Ein Straßenrand kann durch Randsteine, Seiten streifen, Radwege oder Mittelstreifen definiert sein, ist jedoch nicht darauf beschränkt. Der Ort eines Straßenrands kann durch eine Anzahl von Verfahren ermittelt werden. Beispielsweise kann ein Straßenrand auf der Grundlage von analysierten Bildern von dem Kamerasystem entsprechend vorbestimmten identifizierbaren strukturreichen Merkmalen, z. B. Pixel, die einen Straßenrand angeben, detektiert werden. Bei einem anderen Beispiel kann ein Straßenrand unter Verwendung einer strukturlosen Bildanalyse detektiert werden, um nicht konforme Bildgebiete des Bilds als nicht zu der Planaren konsistenten Fahrbahn gehörend zu filtern, wobei mehrere gefilterte Bilder miteinander vereinigt werden, um einen Straßenrand zu detektieren. Bei einem anderen Beispiel kann ein Straßenrand unter Verwendung eines Überwachens von Daten von dem LIDAR-System detektiert werden.
  • Es sei angemerkt, dass die Straßengeometrie, die durch irgendeines der oben erläuterten Verfahren detektierte Spurmarkierungen und einen durch irgendeines der oben erläuterten Verfahren detektierten Straßenrand umfasst, vereinigt werden kann, um die Straßenmodellermittlung zu erzeugen. Die Straßenmodellermittlung wird auf diese Weise analysiert und mit der vereinigten Ermittlung eines freien Pfads durch eine Verfeinerung gegenseitiger Vorteile erweitert oder vereinigt, um den verbesserten freien Pfad zu ermitteln. Der verbesserte freie Pfad kann auf diese Weise bei der Navigation des Fahrzeugs verwendet werden. Beispielsweise kann ein Modul einer autonomen Lenkung in einem Fahrzeug eine Bildanzeigeeinrichtung umfassen, wobei das Modul einer autonomen Lenkung den verbesserten freien Pfad verwendet, um die Fahrzeugposition autonom zwischen detektierten Spurmarkierungen zu halten. Bei einem anderen Beispiel kann eine Geschwindigkeitsregelungseinrichtung in einem Fahrzeug den verbesserten freien Pfad für ein autonomes Halten der Fahrzeuggeschwindigkeit zwischen detektierten Spurmarkierungen verwenden.
  • Ferner kann eine Bildanzeigeeinrichtung die Straßengeometrie, wie beispielsweise die detektierten Spurmarkierungen und einen detektierten Straßenrand, hervorheben, um die Fahrzeugspur für den Fahrer des Fahrzeugs wie es in 20 gezeigt visuell zu verbessern. Ein Hervorheben ist in der Technik bekannt und bezieht sich auf das Identifizieren des Orts von entweder den Spurmarkierungen oder einem Straßensegment in den Bilddaten und kann durch ein beliebiges vergleichbares Verfahren zum Darstellen des Orts der Spurmarkierungen oder eines Straßensegments in den Bilddaten durchgeführt werden.
  • Schritt 812 von 21 zeigt eine Verfeinerung gegenseitiger Vorteile, wobei ein freier Pfad und ein Objektort oder eine Verfolgungsinformation eingegeben werden, um einen verbesserten freien Pfad auszugeben. Wie aus den oben beschriebenen Verfahren erkannt werden wird, kann ein freier Pfad von einem Straßenmodell profitieren, was ein Verständnis bezüglich dessen, welche Bereiche wahrscheinlich ein freier Pfad sind, erweitert. Es sei angemerkt, dass ein verbessertes Modell auf ähnliche Weise durch eine Analyse des identifizierten freien Pfads erreicht werden kann. Beispielsweise wird eine Grenze eines freien Pfads häufig durch sichtbare Attribute, die eine Fahrspur definieren, definiert. Es können Rechenressourcen zum Ermitteln des Straßenmodells für die Grenze des freien Pfads reserviert werden, um die erforderlichen Markierungen und Ränder, die für das Straßenmodell erforderlich sind, am effektivsten zu ermitteln. Solch eine Analyse kann mit nachfolgenden Bildern iterativ untermauert werden, wobei eine Konfidenz entlang der Fahrtroute von sowohl dem freien Pfad als auch dem Straßenmodell aufgebaut wird. Ferner kann ein einzelnes Bild iterativ überprüft werden, wobei mehrere Iterationen einer Analyse eines freien Pfads und Straßenmodellattribute die Analyse des einzelnen Bilds untermauern. Solch eine Analyseschleife kann Startannahmen und Ergebnisse der Analysen vorteilhaft verfeinern.
  • 23 zeigt graphisch solch eine iterative Analyse gemäß der vorliegenden Offenbarung. Es ist Schritt 812 gezeigt, der eine Straßenmodellverfeinerung in Schritt 809 und eine Verfeinerung eines freien Pfads in Schritt 811 umfasst. Schritt 812 gibt sowohl den verbesserten freien Pfad wie oben beschrieben als auch zusätzlich ein verbessertes Straßenmodell aus.
  • Eine Verfeinerung gegenseitiger Vorteile wie oben beschrieben kann mehrere verschiedene Ausführungsformen annehmen. Eine bestimmte Ausführungsform umfasst die Verwendung des Straßenmodells zum Definieren von Bereichen, in denen ein freier Pfad wahrscheinlich ist und in denen ein freier Pfad unwahrscheinlich ist. Ein Straßenrand entlang der rechten Seite einer momentanen Fahrspur macht einen freien Pfad rechts der momentanen Spur unwahrscheinlich. Ähnlich kann ein definierter freier Pfad, der ein Gebiet beschreibt, in dem keine Fahrzeugfahrt stattfinden kann, verwendet werden, um Spurmarkierungs- und Straßenranddetektionstechniken auf Bereiche zu richten, die der freie Pfad als wahrscheinlich eine Fahrbahn umfassend beschreibt.
  • Die Offenbarung beschrieb bestimmte bevorzugte Ausführungsformen und Abwandlungen dieser. Weitere Abwandlungen und Änderungen können für Dritte beim Lesen und Verstehen der Beschreibung ersichtlich werden. Daher soll die Offenbarung nicht auf die bestimmte Ausführungsform/die bestimmten Ausführungsformen beschränkt sein, die als die Ausführungsform(en) offenbart ist/sind, die zum Ausführung dieser Offenbarung als am geeignetsten betrachtet wird/werden, sondern soll die Offenbarung alle Ausführungsformen umfassen, die innerhalb des Schutzumfangs der beigefügten Ansprüche liegen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Nicht-Patentliteratur
    • - LIDAR BASED GEOMETRIC ROAD CURVE DETECTION [0100]

Claims (10)

  1. Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug, das eine Vereinigung einer Detektion eines freien Pfads durch eine Bildanalyse und von Straßengeometriedaten, die eine Straßengeometrie beschreiben, umfasst, wobei das Verfahren umfasst, dass ein Bild von einer Kameraeinrichtung an dem Fahrzeug überwacht wird; das Bild durch eine Analyse einer Detektion eines freien Pfads analysiert wird, um einen freien Fahrpfad in dem Bild zu ermitteln; die Straßengeometriedaten überwacht werden; die Straßengeometriedaten analysiert werden, um eine Auswirkung der Daten auf den freien Pfad zu ermitteln; der freie Pfad auf der Grundlage der Analyse der Straßengeometriedaten modifiziert wird; und der freie Pfad bei der Navigation des Fahrzeugs verwendet wird.
  2. Verfahren nach Anspruch 1, wobei das Analysieren der Straßengeometriedaten zum Ermitteln der Auswirkung der Daten auf den freien Pfad umfasst, dass Spurmarkierungen einer momentanen Straße, auf der gefahren wird, detektiert werden, wobei das Überwachen der Straßengeometriedaten vorzugsweise umfasst, dass das Bild von der Kameraeinrichtung überwacht wird.
  3. Verfahren nach Anspruch 2, wobei das Detektieren von Spurmarkierungen der momentanen Straße umfasst, dass eine Beleuchtungsnormalisierung auf die Straßengeometriedaten angewandt wird, um normalisierte Straßengeometriedaten zu erzeugen; die normalisierten Straßengeometriedaten mit einem Randdetektionsfilter gefaltet werden, um eine randbasierte Filterantwort zu erzeugen; die normalisierten Straßengeometriedaten mit einem Liniendetektionsfilter gefaltet werden, um eine linienbasierte Filterantwort zu erzeugen; Kandidatenspurmarkierungen in Ansprechen auf die randbasierte Filterantwort und die linienbasierte Filterantwort ausgewählt werden; und eine Transformationstechnik auf die Kandidatenspurmarkierungen angewandt wird, um Spurmarkierungen zu identifizieren, vorzugsweise ferner umfassend, dass eine Analyse einer Verringerung eines falschen Alarms zum Verifizieren, ob die identifizierten Spurmarkierungen Spurmarkierungen sind, angewandt wird, wobei die Analyse einer Verringerung eines falschen Alarms umfasst, dass eine Länge der identifizierten Spurmarkierungen ermittelt wird; die Länge mit einer vorbestimmten Länge verglichen wird; und in Ansprechen darauf, dass die Länge größer als die vorbestimmte Länge ist, ermittelt wird, dass die identifizierten Spurmarkierungen Spurmarkierungen sind, und andernfalls ermittelt wird, dass die identifizierten Spurmarkierungen keine Spurmarkierungen sind, und/oder ferner umfassend, dass eine Analyse einer Verringerung eines falschen Alarms angewandt wird, um zu verifizieren, ob die identifizierten Spurmarkierungen Spurmarkierungen sind, wobei die Analyse einer Verringerung eines falschen Alarms umfasst, dass eine Distanz zwischen einer ersten identifizierten Spurmarkierung und einer zweiten identifizierten Spurmarkierung ermittelt wird; die Distanz mit einer vorbestimmten Breite verglichen wird, wobei die vorbestimmte Breite zumindest die Breite einer Spur einer Straße darstellt; und basierend darauf, dass die Breite kleiner als die vorbestimmte Breite ist, ermittelt wird, dass die erste Spurmarkierung und die zweite Spurmarkierung Spurmarkierungen sind, und andernfalls ermittelt wird, dass die erste Spurmarkierung und die zweite Spurmarkierung keine Spurmarkierungen sind, wobei vorzugsweise das Ermitteln, dass die erste Spurmarkierung und die zweite Spurmarkierung Spurmarkierungen sind, ferner darauf basiert, dass ermittelt wird, dass die erste Spurmarkierung und die zweite Spurmarkierung parallel zueinander sind, und andernfalls ermittelt wird, dass die erste Spurmarkierung und die zweite Spurmarkierung keine Spurmarkierungen sind.
  4. Verfahren nach Anspruch 3, wobei das Detektieren von Spurmarkierungen der momentanen Straße in Echtzeit durchgeführt wird.
  5. Verfahren nach Anspruch 3, wobei die Straßengeometriedaten in mehrere gerade Linien segmentiert werden, die unter verschiedenen Winkeln ausgerichtet sind, die Krümmungen potentieller Spurmarkierungen auf der Straße darstellen, wobei das Randdetektionsfilter vorzugsweise mehrere ausgerichtete randbasierte Filter umfasst, wobei jedes ausgerichtete randbasierte Filter auf jede segmentierte gerade Linie angewandt wird, und/oder das Liniendetektionsfilter mehrere ausgerichtete linienbasierte Filter umfasst, wobei jedes ausgerichtete linienbasierte Filter auf jede jeweilige segmentierte gerade Linie angewandt wird.
  6. Verfahren nach Anspruch 2, wobei das Überwachen der Straßengeometriedaten umfasst, dass Rückführungsdaten von einem LIDAR-System überwacht werden.
  7. Verfahren nach Anspruch 1, wobei das Analysieren der Straßengeometriedaten, um die Auswirkung der Daten auf den freien Pfad zu ermitteln, umfasst, dass ein Straßenrand einer momentanen Straße, auf der gefahren wird, detektiert wird, wobei das Detektieren des Straßenrands der momentanen Straße vorzugsweise umfasst, dass das Bild von der Kameraeinrichtung überwacht wird, wobei das Bild mehrere Pixel umfasst; eine strukturreiche Analyse zum Analysieren der Pixel verwendet wird; und der Straßenrand auf der Grundlage von Mustern von Pixeln, die den Straßenrand angeben, identifiziert wird, und/oder das Detektieren des Straßenrands der momentanen Straße umfasst, dass das Bild von der Kameraeinrichtung überwacht wird; und das Verwenden einer strukturlosen Analyse zum Analysieren des Bilds umfasst, dass das Bild gefiltert wird, um Teile des Bilds, an denen ein Straßenrand geschätzt werden kann, von anderen Teilen des Bilds zu trennen, die keinen potentiellen Straßenrand angeben, und der Straßenrand auf der Grundlage des Filters ermittelt wird, und/oder das Überwachen der Straßengeometriedaten umfasst, dass Rückführungsdaten von einem LIDAR-System überwacht werden.
  8. Verfahren zum Ermitteln eines verbesserten freien Fahrpfads für ein Fahrzeug unter Verwendung einer Analyse mehrerer Bilder, die durch eine Kameraeinrichtung erzeugt werden, die sich an dem Fahrzeug befindet, wobei das Verfahren umfasst, dass Bilder von der Kameraeinrichtung überwacht werden; die Bilder von der Kameraeinrichtung analysiert werden, umfassend, dass durch eine kamerabasierte Analyse eines freien Pfads ein freier Pfad, an dem eine potentielle Fahrbahn geschätzt werden kann, aus anderen Teilen des Bilds ermittelt wird, die keine potentielle Fahrbahn angeben, ein Straßenmodell ermittelt wird, das eine Straßengeometrie beschreibt, wobei die Straßengeometrie umfasst, dass Spurmarkierungen detektieren werden, und ein Straßenrand detektiert wird, das Straßenmodell und der freie Pfad analysiert werden; das Straßenmodell und der freie Pfad erweitert werden, um einen verbesserten freien Pfad zu ermitteln; und der verbesserte freie Pfad bei der Navigation des Fahrzeugs verwendet wird.
  9. System zum Detektieren eines freien Fahrpfads für ein Fahrzeug, das eine Analyse mehrerer Bilder von einer Kameraeinrichtung verwendet, die sich an dem Fahrzeug befindet, wobei das System umfasst: die Kameraeinrichtung; und ein Verarbeitungsmodul, das die Bilder überwacht und die Bilder analysiert, umfassend, dass ein freier Fahrpfad aus anderen Teilen des Bilds, die keinen freien Fahrpfad angeben, ermittelt wird, und auf der Grundlage der Analyse ein Straßenmodell ermittelt wird, den freien Pfad und das Straßenmodell analysiert, den freien Pfad auf der Grundlage der Analyse des freien Pfads und des Straßenmodells modifiziert, und die Navigation des Fahrzeugs auf der Grundlage des modifizierten Fahrpfads unterstützt.
  10. System nach Anspruch 9, ferner umfassend ein System eines autonomen Lenkens und eine Geschwindigkeitsregelungseinrichtung, wobei das System eines autonomen Lenkens und die Geschwindigkeitsregelungseinrichtung auf der Grundlage des Analysierens der Bilder von dem Kamerasystem arbeiten.
DE102009050505A 2009-05-08 2009-10-23 Detektion eines freien Pfads durch Strassenmodellerstellung Withdrawn DE102009050505A1 (de)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US21574509P 2009-05-08 2009-05-08
US61/215,745 2009-05-08
US12/474,594 2009-05-29
US12/474,594 US8634593B2 (en) 2008-04-24 2009-05-29 Pixel-based texture-less clear path detection
US12/581,841 US8699754B2 (en) 2008-04-24 2009-10-19 Clear path detection through road modeling
US12/581,659 US8487991B2 (en) 2008-04-24 2009-10-19 Clear path detection using a vanishing point
US12/581,659 2009-10-19
US12/581,841 2009-10-19

Publications (1)

Publication Number Publication Date
DE102009050505A1 true DE102009050505A1 (de) 2010-11-18

Family

ID=42979251

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009050505A Withdrawn DE102009050505A1 (de) 2009-05-08 2009-10-23 Detektion eines freien Pfads durch Strassenmodellerstellung

Country Status (3)

Country Link
US (1) US8699754B2 (de)
CN (1) CN101929867B (de)
DE (1) DE102009050505A1 (de)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012201891A1 (de) * 2012-02-09 2013-08-14 Robert Bosch Gmbh Parkassistenzverfahren und Parkassistenzsystem zur Ermittlung einer Parklücke
DE102014204933A1 (de) * 2014-03-17 2015-09-17 Conti Temic Microelectronic Gmbh Verfahren und eine Vorrichtung zur Erzeugung eines Segmentierungs-Layers
US10901421B2 (en) 2018-06-26 2021-01-26 Neusoft Reach Automotive Technology (Shanghai) Co., Ltd. Method and device for detecting road boundary
DE102019218559A1 (de) * 2019-11-29 2021-06-02 Volkswagen Aktiengesellschaft Verfahren zur Informationsbereitstellung über Infrastrukturzustände für Fahrzeuge und/oder Infrastrukturinformationssysteme, Vorrichtung, Infrastrukturinformationssystem

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8611585B2 (en) * 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
US8917904B2 (en) * 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8421859B2 (en) * 2008-04-24 2013-04-16 GM Global Technology Operations LLC Clear path detection using a hierachical approach
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
US8751154B2 (en) 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
US8428305B2 (en) 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
US8890951B2 (en) * 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
US8452053B2 (en) * 2008-04-24 2013-05-28 GM Global Technology Operations LLC Pixel-based texture-rich clear path detection
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8634593B2 (en) * 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
US8803966B2 (en) 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US8305444B2 (en) * 2008-11-14 2012-11-06 Toyota Motor Engineering & Manufacturing North America, Inc. Integrated visual display system
US20110169957A1 (en) * 2010-01-14 2011-07-14 Ford Global Technologies, Llc Vehicle Image Processing Method
JP5516301B2 (ja) * 2010-10-05 2014-06-11 トヨタ自動車株式会社 車両の走路判定システム
US8681222B2 (en) * 2010-12-08 2014-03-25 GM Global Technology Operations LLC Adaptation for clear path detection with additional classifiers
US8773535B2 (en) * 2010-12-08 2014-07-08 GM Global Technology Operations LLC Adaptation for clear path detection using reliable local model updating
KR101472615B1 (ko) * 2010-12-21 2014-12-16 삼성전기주식회사 차선이탈 경보 시스템 및 방법
JP5304804B2 (ja) * 2011-01-12 2013-10-02 株式会社デンソー 境界検出装置、および境界検出プログラム
DE102011081397A1 (de) * 2011-08-23 2013-02-28 Robert Bosch Gmbh Verfahren zur Schätzung eines Straßenverlaufs und Verfahren zur Steuerung einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs
US9349069B2 (en) * 2011-11-21 2016-05-24 Analog Devices, Inc. Dynamic line-detection system for processors having limited internal memory
US8948449B2 (en) * 2012-02-06 2015-02-03 GM Global Technology Operations LLC Selecting visible regions in nighttime images for performing clear path detection
US8504233B1 (en) * 2012-04-27 2013-08-06 Google Inc. Safely navigating on roads through maintaining safe distance from other vehicles
US9516277B2 (en) 2012-05-02 2016-12-06 GM Global Technology Operations LLC Full speed lane sensing with a surrounding view system
US8521352B1 (en) * 2012-05-07 2013-08-27 Google Inc. Controlling a vehicle having inadequate map data
US9589184B1 (en) 2012-08-16 2017-03-07 Groupon, Inc. Method, apparatus, and computer program product for classification of documents
WO2014049987A1 (ja) * 2012-09-28 2014-04-03 パナソニック株式会社 通知装置およびそれを利用した車両
TWI493513B (zh) * 2013-01-08 2015-07-21 Pixart Imaging Inc 車道偏離警示系統與車道辨識裝置以及相關方法
US9488483B2 (en) * 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
US8996197B2 (en) * 2013-06-20 2015-03-31 Ford Global Technologies, Llc Lane monitoring with electronic horizon
CN105493141B (zh) * 2013-08-23 2018-09-14 哈曼国际工业有限公司 非结构化道路边界检测
KR101491305B1 (ko) * 2013-08-27 2015-02-06 현대자동차주식회사 장애물 검출 장치 및 방법
KR101439052B1 (ko) * 2013-09-05 2014-09-05 현대자동차주식회사 장애물 검출 장치 및 방법
KR102016549B1 (ko) * 2014-01-13 2019-08-30 한화디펜스 주식회사 차량 및 차선 위치 검출 시스템 및 방법
US9298992B2 (en) * 2014-02-20 2016-03-29 Toyota Motor Engineering & Manufacturing North America, Inc. Geographic feature-based localization with feature weighting
JP6130325B2 (ja) * 2014-04-24 2017-05-17 本田技研工業株式会社 道路環境認識装置
DE102014008425B4 (de) * 2014-06-07 2017-09-14 Audi Ag Verfahren zum proaktiven Regeln von Fahrwerkskomponenten
US9321461B1 (en) 2014-08-29 2016-04-26 Google Inc. Change detection using curve alignment
US9453941B2 (en) * 2014-12-22 2016-09-27 GM Global Technology Operations LLC Road surface reflectivity detection by lidar sensor
US10115024B2 (en) * 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
WO2016207749A1 (en) * 2015-06-23 2016-12-29 Mobile Telephone Networks (Proprietary) Limited A device and method of detecting potholes
US9922565B2 (en) * 2015-07-20 2018-03-20 Dura Operating Llc Sensor fusion of camera and V2V data for vehicles
US10691958B1 (en) * 2015-07-30 2020-06-23 Ambarella International Lp Per-lane traffic data collection and/or navigation
WO2017118907A1 (en) * 2016-01-05 2017-07-13 Mobileye Vision Technologies Ltd. Systems and methods for estimating future paths
US10366290B2 (en) * 2016-05-11 2019-07-30 Baidu Usa Llc System and method for providing augmented virtual reality content in autonomous vehicles
JP6531726B2 (ja) * 2016-07-07 2019-06-19 株式会社デンソー 走行支援装置
US10248124B2 (en) 2016-07-21 2019-04-02 Mobileye Vision Technologies, Inc. Localizing vehicle navigation using lane measurements
EP3488384A1 (de) * 2016-07-21 2019-05-29 Mobileye Vision Technologies Ltd. Crowdsourcing und verteilen einer spärlichen karte sowie fahrspurmessungen für autonome fahrzeugnavigation
US10838426B2 (en) * 2016-07-21 2020-11-17 Mobileye Vision Technologies Ltd. Distributing a crowdsourced sparse map for autonomous vehicle navigation
DE102016213782A1 (de) * 2016-07-27 2018-02-01 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zur Bestimmung der lateralen Position eines Fahrzeuges relativ zu den Fahrstreifen einer Fahrbahn
JP6712775B2 (ja) * 2016-08-12 2020-06-24 パナソニックＩｐマネジメント株式会社 路面推定装置、車両制御装置、路面推定方法、およびプログラム
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
US11328822B2 (en) * 2017-02-01 2022-05-10 Conflu3Nce Ltd Multi-purpose interactive cognitive platform
DE102018204829A1 (de) 2017-04-12 2018-10-18 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Analyse einer Fahrzeugumgebung sowie Fahrzeug mit einer solchen Vorrichtung
DE102017005967A1 (de) * 2017-06-23 2018-12-27 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Fahrerunterstützungsverfahren und -system
US10605924B2 (en) * 2017-08-02 2020-03-31 GM Global Technology Operations LLC Method and apparatus cross segment detection in a lidar system
US10140530B1 (en) * 2017-08-09 2018-11-27 Wipro Limited Method and device for identifying path boundary for vehicle navigation
US10303956B2 (en) * 2017-08-23 2019-05-28 TuSimple System and method for using triplet loss for proposal free instance-wise semantic segmentation for lane detection
US10239451B1 (en) * 2017-09-05 2019-03-26 GM Global Technology Operations LLC Systems and methods for providing relative lane assignment of objects at distances from the vehicle
US20180004215A1 (en) * 2017-09-15 2018-01-04 GM Global Technology Operations LLC Path planning of an autonomous vehicle for keep clear zones
US10788831B2 (en) * 2017-10-06 2020-09-29 Wipro Limited Method and device for identifying center of a path for navigation of autonomous vehicles
EP3480726B1 (de) * 2017-11-07 2023-09-13 Arriver Software AB Sichtsystem und verfahren zum autonomen fahren und/oder zur fahrerassistenz in einem kraftfahrzeug
EP3732439B1 (de) * 2017-12-27 2023-04-05 Bayerische Motoren Werke Aktiengesellschaft Deformationskorrektur einer digitalen karte für ein fahrzeug
JP6954850B2 (ja) * 2018-02-09 2021-10-27 トヨタ自動車株式会社 表示装置
JP7039727B2 (ja) * 2018-04-18 2022-03-22 モービルアイ ヴィジョン テクノロジーズ リミテッド カメラを用いた車両環境モデリング
WO2020006764A1 (zh) * 2018-07-06 2020-01-09 深圳前海达闼云端智能科技有限公司 通路检测方法、相关装置及计算机可读存储介质
US10497256B1 (en) * 2018-07-26 2019-12-03 Here Global B.V. Method, apparatus, and system for automatic evaluation of road closure reports
KR102146451B1 (ko) * 2018-08-17 2020-08-20 에스케이텔레콤 주식회사 좌표계 변환 정보 획득 장치 및 방법
WO2020219303A1 (en) * 2019-04-26 2020-10-29 Nvidia Corporation Intersection pose detection in autonomous machine applications
US11100672B2 (en) * 2019-09-27 2021-08-24 Myntra Designs Private Limited System and method for reducing jitter in augmented reality
US11912271B2 (en) * 2019-11-07 2024-02-27 Motional Ad Llc Trajectory prediction from precomputed or dynamically generated bank of trajectories
CN111491140B (zh) * 2020-05-15 2021-05-11 深圳金三立视频科技股份有限公司 输电线缆视频巡线方法及终端
US20220012506A1 (en) * 2020-07-13 2022-01-13 Wisense Technologies Ltd. System and method of segmenting free space based on electromagnetic waves
US11654933B2 (en) * 2020-11-10 2023-05-23 GM Global Technology Operations LLC Navigation trajectory using reinforcement learning for an ego vehicle in a navigation network
JP7459779B2 (ja) * 2020-12-17 2024-04-02 トヨタ自動車株式会社 音源候補抽出システムおよび音源探査方法
KR20220160850A (ko) * 2021-05-28 2022-12-06 삼성전자주식회사 소실점을 추정하는 방법 및 장치
US20210309221A1 (en) * 2021-06-15 2021-10-07 Nauto, Inc. Devices and methods for determining region of interest for object detection in camera images
US20230401872A1 (en) * 2022-06-08 2023-12-14 GM Global Technology Operations LLC System and method for dynamic dimensioning of vehicle and trailer from shadow profiling

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4970653A (en) * 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
DE59809476D1 (de) 1997-11-03 2003-10-09 Volkswagen Ag Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
US6591000B1 (en) * 1998-04-21 2003-07-08 Denso Corporation Apparatus and method for preprocessing a picked-up image, lane mark recognizing system, related vehicle traveling control system, and recording media
DE19926559A1 (de) 1999-06-11 2000-12-21 Daimler Chrysler Ag Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung
JP3575346B2 (ja) * 1999-09-03 2004-10-13 日本電気株式会社 道路白線検出システム、道路白線検出方法および道路白線検出用プログラムを記録した記録媒体
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
US6801244B2 (en) * 2000-02-29 2004-10-05 Kabushiki Kaisha Toshiba Obstacle detection apparatus and method
JP4624594B2 (ja) * 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
JP3733875B2 (ja) * 2000-09-29 2006-01-11 日産自動車株式会社 道路白線認識装置
JP3759429B2 (ja) * 2001-05-23 2006-03-22 株式会社東芝 障害物検出装置及びその方法
JP3778849B2 (ja) 2001-12-18 2006-05-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3904988B2 (ja) * 2002-06-27 2007-04-11 株式会社東芝 画像処理装置およびその方法
KR100446636B1 (ko) * 2002-11-21 2004-09-04 삼성전자주식회사 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법
KR100488739B1 (ko) 2003-07-10 2005-05-11 현대자동차주식회사 차량용 멀티유저 시트 기억장치
DE10334620B4 (de) 2003-07-30 2023-07-06 Robert Bosch Gmbh Generierung von Verkehrshinweisen durch die Interpretation von Verkehrszeichenszenarien und Navigationsinformation in einem Fahrzeug
US7376262B2 (en) * 2003-08-04 2008-05-20 American Gnc Corporation Method of three dimensional positioning using feature matching
KR20060002138A (ko) 2004-07-01 2006-01-09 주식회사 하이닉스반도체 반도체 소자의 제조방법
JP2006264416A (ja) * 2005-03-22 2006-10-05 Takata Corp 対象物検知システム、保護システム、車両
JP4659631B2 (ja) * 2005-04-26 2011-03-30 富士重工業株式会社 車線認識装置
DE102005044979A1 (de) 2005-09-20 2007-03-22 Adc Automotive Distance Control Systems Gmbh Verfahren zur Erkennung von Fahrspurmarkierungen
DE102005045017A1 (de) 2005-09-21 2007-03-22 Robert Bosch Gmbh Verfahren und Fahrerassistenzsystem zur sensorbasierten Anfahrtsteuerung eines Kraftfahrzeugs
CN1804928A (zh) 2005-11-24 2006-07-19 上海交通大学 基于机器视觉的车道局部几何结构和车辆位置估计方法
JP4607193B2 (ja) * 2005-12-28 2011-01-05 本田技研工業株式会社 車両及びレーンマーク検出装置
CN101046387A (zh) * 2006-08-07 2007-10-03 南京航空航天大学 利用景象匹配提高导航系统精度的方法及组合导航仿真系统
DE102006040334A1 (de) 2006-08-29 2008-03-06 Robert Bosch Gmbh Verfahren für die Spurerfassung mit einem Fahrerassistenzsystem und Fahrerassistenzsystem
DE102006047131A1 (de) * 2006-10-05 2008-04-10 Robert Bosch Gmbh Verfahren zum automatischen Steuern eines Fahrzeugs
US7876926B2 (en) * 2006-11-03 2011-01-25 Delphi Technologies, Inc. Lane marker detection and fitting methods
EP2168079B1 (de) * 2007-01-23 2015-01-14 Valeo Schalter und Sensoren GmbH Verfahren und system zur universellen strassenbegrenzungserkennung
DE102008020007A1 (de) 2007-04-20 2008-10-23 Continental Teves Ag & Co. Ohg Verfahren zum Unterstützen eines Fahrers beim Fahren mit einem Fahrzeug mit einer Fahrspurerkennung
JP4937030B2 (ja) * 2007-07-24 2012-05-23 ルネサスエレクトロニクス株式会社 車両用画像処理装置
US8355539B2 (en) * 2007-09-07 2013-01-15 Sri International Radar guided vision system for vehicle validation and vehicle motion characterization
CN101364259B (zh) * 2008-04-09 2010-06-02 武汉大学 多层次知识驱动的全色遥感影像的道路变化信息提取方法
US8428305B2 (en) * 2008-04-24 2013-04-23 GM Global Technology Operations LLC Method for detecting a clear path through topographical variation analysis
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US8670592B2 (en) * 2008-04-24 2014-03-11 GM Global Technology Operations LLC Clear path detection using segmentation-based method
US8452053B2 (en) * 2008-04-24 2013-05-28 GM Global Technology Operations LLC Pixel-based texture-rich clear path detection
US8890951B2 (en) * 2008-04-24 2014-11-18 GM Global Technology Operations LLC Clear path detection with patch smoothing approach
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8917904B2 (en) * 2008-04-24 2014-12-23 GM Global Technology Operations LLC Vehicle clear path detection
US8487991B2 (en) * 2008-04-24 2013-07-16 GM Global Technology Operations LLC Clear path detection using a vanishing point
US8611585B2 (en) 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
US8421859B2 (en) * 2008-04-24 2013-04-16 GM Global Technology Operations LLC Clear path detection using a hierachical approach
US8634593B2 (en) * 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8194927B2 (en) * 2008-07-18 2012-06-05 GM Global Technology Operations LLC Road-lane marker detection using light-based sensing technology
US8099213B2 (en) * 2008-07-18 2012-01-17 GM Global Technology Operations LLC Road-edge detection
US8204277B2 (en) * 2008-07-18 2012-06-19 GM Global Technology Operations LLC Apparatus and method for camera-bases lane marker detection
US20100140137A1 (en) * 2008-12-10 2010-06-10 Deluga Gregg A Fuel conversion system, apparatus, and method
US8259174B2 (en) * 2009-02-06 2012-09-04 GM Global Technology Operations LLC Camera auto-calibration by horizon estimation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIDAR BASED GEOMETRIC ROAD CURVE DETECTION

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012201891A1 (de) * 2012-02-09 2013-08-14 Robert Bosch Gmbh Parkassistenzverfahren und Parkassistenzsystem zur Ermittlung einer Parklücke
DE102014204933A1 (de) * 2014-03-17 2015-09-17 Conti Temic Microelectronic Gmbh Verfahren und eine Vorrichtung zur Erzeugung eines Segmentierungs-Layers
US10901421B2 (en) 2018-06-26 2021-01-26 Neusoft Reach Automotive Technology (Shanghai) Co., Ltd. Method and device for detecting road boundary
DE102019218559A1 (de) * 2019-11-29 2021-06-02 Volkswagen Aktiengesellschaft Verfahren zur Informationsbereitstellung über Infrastrukturzustände für Fahrzeuge und/oder Infrastrukturinformationssysteme, Vorrichtung, Infrastrukturinformationssystem

Also Published As

Publication number Publication date
US8699754B2 (en) 2014-04-15
US20100098295A1 (en) 2010-04-22
CN101929867A (zh) 2010-12-29
CN101929867B (zh) 2014-07-23

Similar Documents

Publication Publication Date Title
DE102009050505A1 (de) Detektion eines freien Pfads durch Strassenmodellerstellung
DE102009050492A1 (de) Detektion eines freien Pfads unter Verwendung eines segmentierungsbasierten Verfahrens
DE102009048892A1 (de) Pixelbasierte strukturreiche Detektion eines freien Pfads
DE102009048699A1 (de) Pixelbasierte Detektion einer nicht vorhandenen Struktur eines freien Pfads
DE102009050501A1 (de) Verbesserte Detektion eines freien Pfads bei Vorhandensein eines Verkehrsinfrastrukturindikators
DE102009050502A1 (de) Detektion eines freien Pfads unter Verwendung eines hierarchischen Ansatzes
DE102009050504A1 (de) Verfahren zum Detektieren eines freien Pfads durch eine Analyse einer topografischen Veränderung
DE102013205950B4 (de) Verfahren zum Detektieren von Straßenrändern
US8611585B2 (en) Clear path detection using patch approach
DE112012002885B4 (de) Verfahren und Vorrichtung zur bildbasierten Fahrzeugerfassung und Entfernungsmessung
DE102009050503A1 (de) Durch Objektdetektion verbessertes Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug
US8332134B2 (en) Three-dimensional LIDAR-based clear path detection
DE112009000949T5 (de) Detektion eines freien Fahrpfads für ein Fahrzeug
DE102019104217A1 (de) Bereitstellen von Informationsreicher Kartensemantik an Navigations-Metrik-Karten
DE102019206036A1 (de) Verfahren und Vorrichtung zur Bestimmung der geografischen Position und Orientierung eines Fahrzeugs
CN110188606B (zh) 基于高光谱成像的车道识别方法、装置及电子设备
DE102015203016A1 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
CN106250816A (zh) 一种基于双摄像头的车道线识别方法及系统
DE102010005290A1 (de) Vereinigungsmodul für mehrere Objekte für ein Kollisionsvorbereitungssystem
EP2579228A1 (de) Verfahren und System zur Erstellung einer digitalen Abbildung eines Fahrzeugumfeldes
DE102021129426A1 (de) Verfahren und System zum Lernen eines neuralen Netzes zur Bestimmung eines Pose eines Fahrzeugs in einer Umgebung
DE102022130559A1 (de) Systeme und verfahren für verbesserte dreidimensionale datenzuordnung unter verwendung von informationen aus zweidimensionalen bildern
DE102022132359A1 (de) Automatische extraktion und klassifizierung von fahrspurmarkierungen aus lidar-abtastungen
WO2019057252A1 (de) Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
DE102018109680A1 (de) Verfahren zum Unterscheiden von Fahrbahnmarkierungen und Bordsteinen durch parallele zweidimensionale und dreidimensionale Auswertung; Steuereinrichtung; Fahrassistenzsystem; sowie Computerprogrammprodukt

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
8127 New person/name/address of the applicant

Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC , ( N. D. , US

R081 Change of applicant/patentee

Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GES, US

Free format text: FORMER OWNER: GM GLOBAL TECHNOLOGY OPERATIONS, INC., DETROIT, MICH., US

Effective date: 20110323

Owner name: GM GLOBAL TECHNOLOGY OPERATIONS LLC (N. D. GES, US

Free format text: FORMER OWNER: GM GLOBAL TECHNOLOGY OPERATIONS, INC., DETROIT, US

Effective date: 20110323

R016 Response to examination communication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20130501