DE102009048699A1

DE102009048699A1 - Pixelbasierte Detektion einer nicht vorhandenen Struktur eines freien Pfads

Info

Publication number: DE102009048699A1
Application number: DE102009048699A
Authority: DE
Inventors: Wende Shelby Township Zhang; Sanjeev M. Troy Naik
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2009-05-29
Filing date: 2009-10-08
Publication date: 2010-12-02
Also published as: CN101900567B; US20090295917A1; CN101900567A; US8634593B2

Abstract

Ein Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung einer Analyse mehrerer Bilder, die durch eine Kameraeinrichtung erzeugt werden, die sich an dem Fahrzeug befindet, umfasst, dass die Bilder überwacht werden, wobei jedes Bild mehrere Pixel umfasst, und ein Verarbeitungsschema einer nicht vorhandenen Struktur zum Analysieren der Bilder verwendet wird, das umfasst, dass das Bild gefiltert wird, um Abschnitte des Bilds, die eine freie Fläche angeben, auf der eine potentielle Fahrbahn geschätzt werden kann, von anderen Abschnitten des Bilds zu trennen, die keine potentielle Fahrbahn angeben. Der freie Pfad wird auf der Grundlage der freien Fläche ermittelt, und der freie Pfad wird verwendet, um das Fahrzeug zu betreiben.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung ist eine Continuation-In-Part-Anmeldung der US-Anmeldung Nr. 12/108,581, die am 24. April 2008 eingereicht wurde und deren Offenbarungsgehalt hierin durch Bezugnahme vollständig mit eingeschlossen ist.
TECHNISCHES GEBIET
Diese Offenbarung bezieht sich auf eine automatisierte oder halbautomatisierte Steuerung eines Kraftfahrzeugs.
HINTERGRUND
Die Aussagen in diesem Abschnitt stellen lediglich Hintergrundinformationen bezüglich der vorliegenden Offenbarung bereit und müssen nicht unbedingt Stand der Technik darstellen.
Autonome Fahrsysteme und halbautonome Fahrsysteme verwenden Eingänge bezüglich der Straße und andere Fahrbedingungen, um Drossel- und Lenkmechanismen automatisch zu steuern. Eine genaue Schätzung und Identifikation eines freien Pfads, auf dem ein Kraftfahrzeug betrieben werden soll, ist hinsichtlich eines erfolgreichen Ersetzens des menschlichen Gehirns als Steuermechanismus für einen Fahrzeugbetrieb kritisch.
Die Straßenbedingungen können komplex sein. Bei normalem Betrieb eines Fahrzeugs macht der menschliche Betreiber Hunderte von Beobachtungen pro Minute und passt er den Betrieb des Fahrzeugs auf der Grundlage von wahrgenommenen Straßenbedingungen an. Ein Aspekt des Wahrnehmens von Straßenbedingungen ist die Wahrnehmung der Straße im Kontext von Objekten auf der und um die Fahrbahn herum und das Fahren auf einem freien Pfad durch jegliche Objekte hindurch. Ein Ersetzen der menschlichen Wahrnehmung durch eine Technologie umfasst vorzugsweise ein Mittel, um Objekte genau wahrzunehmen und mit dem effektiven Fahren um solche Objekte herum fortzufahren.
Ein technologisches Mittel zum Wahrnehmen eines Objekts umfasst Daten von visuellen Kameras und eine Radarbilderfassung. Kameras übersetzen visuelle Bilder in Form von Strahlung, wie beispielsweise Lichtmuster oder Infrarotsignaturen, in ein lesbares Datenformat. Ein solches Datenformat umfasst Pixel-Bilder, wobei eine wahrgenommene Szene in eine Reihe von Pixeln zerlegt wird. Eine Radarbilderfassung verwendet Funkwellen, die durch einen Sender erzeugt werden, um Formen und Objekte, die vor dem Sender vorhanden sind, zu schätzen. Muster in den Wellen, die von diesen Formen und Objekten reflektiert werden, können analysiert werden und die Orte von Objekten können geschätzt werden.
Sobald Daten bezüglich des Bodens vor dem Fahrzeug erzeugt wurden, müssen die Daten analysiert werden, um das Vorhandensein von Objekten aus den Daten zu schätzen. Durch Verwenden von Kameras und Radarbilderfassungssystemen können der Boden oder die Fahrbahn vor dem Fahrzeug hinsichtlich des Vorhandenseins von Objekten, die vermieden werden müssten, analysiert werden. Die ledigliche Identifikation von potentiellen Objekten, die vermieden werden müssen, führt jedoch nicht die Analyse aus. Eine wichtige Komponente jedes autonomen Systems umfasst die Tatsache, wie in den wahrgenommenen Bodendaten identifizierte potentielle Objekte verarbeitet und verändert werden, um einen freien Pfad zu identifizieren, auf dem das Fahrzeug betrieben werden soll.
Ein bekanntes Verfahren zum Identifizieren eines freien Pfads, auf dem das Fahrzeug betrieben werden soll, ist, alle wahrgenommenen Objekte zu katalogisieren und vorläufig zu identifizieren und hinsichtlich der Orte und Verhalten von identifizierten Objekten einen freien Pfad zu identifizieren. Es können Bilder verarbeitet werden, um Objekte gemäß ihrer Form und Beziehung zu der Fahrbahn zu identifizieren und zu klassifizieren. Während dieses Verfahren beim Identifizieren eines freien Pfads effektiv sein kann, erfordert es eine große Menge an Verarbeitungsleistung, wobei die Erkennung und Trennung verschiedener Objekte in dem visuellen Bild, beispielsweise ein Unterscheiden zwischen einem Baum an der Seite der Straße und einem Fußgänger, der in Richtung Randstein geht, erforderlich ist. Solche Verfahren können beim Verarbeiten komplexer Situationen langsam oder uneffektiv sein oder können unhandliche und teure Geräte erfordern, um die notwendige Verarbeitungskapazität zu liefern.
ZUSAMMENFASSUNG
Ein Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung einer Analyse mehrerer Bilder, die durch eine Kameraeinrichtung erzeugt werden, die sich an dem Fahrzeug befindet, umfasst, dass die Bilder überwacht werden, wobei jedes Bild mehrere Pixel umfasst, und ein Verarbeitungsschema einer nicht vorhandenen Struktur zum Analysieren der Bilder verwendet wird, was das Filtern des Bilds umfasst, um Abschnitte des Bilds, die eine freie Fläche angeben, auf der eine potentielle Fahrbahn geschätzt werden kann, von anderen Abschnit ten des Bilds zu trennen, die keine potentielle Fahrbahn angeben. Der freie Pfad wird auf der Grundlage der freien Fläche ermittelt, und der freie Pfad wird verwendet, um das Fahrzeug zu betreiben.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Nachstehend werden eine oder mehrere Ausführungsformen beispielhaft in Bezug auf die begleitenden Zeichnungen beschrieben, wobei:
1 eine beispielhafte Anordnung eines Fahrzeugs, das mit einer Kamera und einem Radarbilderfassungssystem ausgestattet ist, gemäß der Offenbarung zeigt;
2 ein bekanntes Verfahren zum Ermitteln eines freien Pfads zum autonomen Fahren gemäß der Offenbarung zeigt;
3 ein beispielhaftes Verfahren zum Ermitteln eines freien Pfads unter Verwendung einer Wahrscheinlichkeitsanalyse eines Bilds gemäß der Offenbarung zeigt;
4 ein beispielhaftes Verfahren zum Analysieren eines Bilds gemäß der Offenbarung zeigt;
5 ein beispielhaftes Verfahren zum Definieren eines Klassifizierungsfehlers durch Abstimmen eines einzelnen Schwellenwerts gemäß der Offenbarung zeigt;
6A, 6B und 6C eine beispielhafte Ermittlung einer Bilddifferenz durch Berechnen einer absoluten Bildintensitätsdifferenz gemäß der Offenbarung zeigen;
7 ein beispielhaftes Verfahren zum Klassifizieren eines Merkmals als Abschnitt eines freien Pfads und gleichzeitig als detektiertes Objekt als Verfahren zur Bildanalyse gemäß der Offenbarung zeigt;
8 ferner ein beispielhaftes Verfahren zum Klassifizieren eines Merkmals als Abschnitt eines freien Pfads und gleichzeitig als detektiertes Objekt als Verfahren zur Bildanalyse gemäß der Offenbarung zeigt;
9 einen beispielhaften Prozess zum Analysieren eines Bilds durch eine Wahrscheinlichkeitsanalyse gemäß der Offenbarung zeigt;
10 ein erstes Verarbeitungsschema zum Detektieren eines freien Pfads gemäß der Offenbarung ist;
11 ein beispielhaftes momentanes Bild, das einen beispielhaften Satz von an dem momentanen Bild identifizierten interessierenden Punkten umfasst, gemäß der vorliegenden Offenbarung zeigt;
12 ein beispielhaftes momentanes Bild, das nach dem in 11 gezeigten Bild erfasst wurde, gemäß der vorliegenden Offenbarung zeigt;
13A und 13B ein beispielhaftes Paar von in Übereinstimmung gebrachten Punkten, wobei das Paar von in Übereinstimmung gebrachten Punkten einen interessierenden Punkt von einem momentanen Bild und einen entsprechenden interessierenden Punkt von einem vorherigen Bild umfasst, und ein beispielhaftes Pixel-Gebiet, das die Punkte umgibt, gemäß der vorliegenden Offenbarung zeigen;
13A den interessierenden Punkt von dem momentanen Bild und das Pixel-Gebiet um den interessierenden Punkt zeigt;
13B den interessierenden Punkt von dem vorherigen Bild und das Pixel-Gebiet um den interessierenden Punkt zeigt;
14 graphisch die Verwendung eines beispielhaften momentanen Bilds, eines beispielhaften vorherigen Bilds und den Betrieb eines Host-Fahrzeugs zum Ermitteln der Position eines gesehenen Merkmals gemäß der vorliegenden Offenbarung zeigt;
15 graphisch eine beispielhafte Draufsichtabbildung, die vertikale Positionen von interessierenden Punkten bei x- und y-Koordinaten vor dem Host-Fahrzeug beschreibt, gemäß der vorliegenden Offenbarung zeigt;
16 ein zweites Verarbeitungsschema zum Detektieren eines freien Pfads gemäß der vorliegenden Offenbarung zeigt;
17 ein beispielhaftes gefiltertes Bild auf der Grundlage einer Pixel-Farbintensität gemäß der vorliegenden Offenbarung zeigt;
18 ein beispielhaftes gefiltertes Bild, das ein Kantenerkennungsverfahren verwendet, gemäß der vorliegenden Offenbarung zeigt; und
19 einen alternativen beispielhaften Prozess für das zweite Verarbeitungsschema gemäß der vorliegenden Offenbarung zeigt.
DETAILLIERTE BESCHREIBUNG
Nun auf die Zeichnungen Bezug nehmend, in denen die Darstellungen lediglich dem Zweck des Erläuterns bestimmter beispielhafter Ausführungsformen und nicht dem Zweck des Einschränkens dieser dienen, zeigt 1 eine beispielhafte Anordnung einer Kamera 110, die an der Front eines Fahrzeugs 100 angeordnet ist und auf den Boden vor dem Fahrzeug 100 gerichtet ist, gemäß der Offenbarung. Die Kamera 110 steht mit dem Verarbeitungsmodul 120 in Kommunikation, das eine Logik enthält, um Eingänge von der Kamera 110 zu verarbeiten. Das Fahrzeug 100 kann auch mit einem Radarbilderfassungssystem 130 ausgestattet sein, das, wenn es vorhanden ist, auch mit dem Verarbeitungsmodul 120 in Kommunikation steht. Fachleute werden erkennen, dass das Fahrzeug 100 zusätzlich zu der Verwendung der Kamera 110 und des Radarbilderfas sungssystems 130, oder alternativ dazu, eine Anzahl von Verfahren zum Identifizieren von Straßenbedingungen verwenden könnte, die eine GPS-Information, eine Information von anderen Fahrzeugen, die mit dem Fahrzeug 100 in Kommunikation stehen, Verlaufsdaten hinsichtlich der bestimmten Fahrbahn, eine biometrische Information, wie beispielsweise Systeme, die den Blickpunkt des Fahrers lesen, ein Radarbilderfassungssystem oder andere ähnliche Systeme umfassen. Die Offenbarung hierin kann auf verschiedene Einrichtungsanordnungen angewandt werden und ist daher nicht dadurch beschränkt.
Die Kamera 110 ist eine Einrichtung, die in der Technik weithin bekannt ist und visuelle Eingänge in Form von Licht, Infrarot- oder einer anderen elektromagnetischen Strahlung (EM-Strahlung) in ein Datenformat übersetzen kann, das leicht analysiert werden kann, z. B. ein digitales Pixel-Bild. Bei einer Ausführungsform verwendet die Kamera 110 einen Sensor einer ladungsgekoppelten Einrichtung (CCD-Sensor) zum Erzeugen von Bildern, die ein Sichtfeld angeben. Vorzugsweise ist die Kamera 110 für eine kontinuierliche Bilderzeugung, z. B. 30 erzeugte Bilder pro Sekunde, ausgestaltet. Durch die Kamera 110 erzeugte Bilder können in einem Speicher in der Kamera 110 gespeichert werden oder für eine Speicherung und/oder Analyse an das Verarbeitungsmodul 120 übertragen werden. Vorzugsweise ist jedes durch die Kamera 110 erzeugte Bild ein zweidimensionales Bild mit bekannten Pixel-Dimensionen, das mehrere identifizierbare Pixel umfasst. Die mehreren identifizierbaren Pixel können unter Verwendung eines Array gespeichert und analysiert werden. Jedes Pixel kann in dem Array als Satz von Bits oder mehrere Sätze von Bits dargestellt werden, wobei die Bits einer Farbe an einer vorbestimmten Palette oder Farbkarte entsprechen. Jedes Pixel kann als Funktion mehrerer Farbintensitätswerte, wie beispielsweise in einem Rot-Grün-Blau-Farbmodell (RGB-Farbmodell) oder einem Cyan-Magenta-Gelb-Key-Farbmodell (CMYK-Farbmodell), ausgedrückt werden. Vorzugsweise umfasst jedes Pixel mehrere Sätze von Bits, wobei jeder Satz von Bits einer Farbintensität und einem Farbintensitätswert entspricht, z. B. entspricht ein erster Satz von Bits einem Wert einer roten Farbintensitätswert, entspricht ein zweiter Satz von Bits einem Wert einer gründen Farbintensität und entspricht ein dritter Satz von Bits einem Wert einer blauen Farbintensität an dem RGB-Farbmodell.
Die Radarbilderfassungseinrichtung 130 ist eine in der Technik weithin bekannte Einrichtung, die einen Sender, der Funkwellen oder eine andere EM-Strahlung aussenden kann, eine Empfängereinrichtung, die die ausgesendeten Wellen erfassen kann, die von Objekten vor dem Sender zu dem Empfänger zurückreflektiert werden, und ein Mittel zum Übertragen der erfassten Wellen in ein Datenformat umfasst, das analysefähig ist und beispielsweise die Entfernung und den Winkel von den Objekten, von denen die Wellen reflektiert wurden, angibt. Alternativ kann die Radarbilderfassungseinrichtung 130 durch ein Light Detection And Ranging-System (LIDAR-System), das ausgestaltet ist, um optische Energie zu senden und zu empfangen, ersetzt oder ergänzt werden. Die empfangene optische Energie kann verwendet werden, um die geometrischen Abmessungen eines Objekts und/oder die geometrische Nähe zu dem Fahrzeug 100 zu ermitteln. Es sei angemerkt, dass die Radarbilderfassungseinrichtung 130 optional und nicht notwendig ist, um viele der hierin offenbarten Verfahren auszuführen, wobei die Verarbeitung von visuellen Bildern eine Detektion eines freien Pfads ausführen kann.
Das Verarbeitungsmodul 120 ist in 1 gezeigt und hierin als diskretes Element beschrieben, wobei diese Darstellung der Vereinfachung der Beschreibung dient und angemerkt sei, dass die durch dieses Element ausgeführten Funktionen in einer oder mehreren Einrichtungen kombi niert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Vorzugsweise ist das Verarbeitungsmodul 120 ein universeller digitaler Computer, der einen Mikroprozessor oder eine zentrale Verarbeitungseinheit, Speichermedien mit einem nichtflüchtigen Speicher einschließlich eines Nur-Lese-Speichers und eines elektrisch programmierbaren Nur-Lese-Speichers, einen Direktzugriffsspeicher, einen Hochgeschwindigkeitstakt, eine Analog-Digital- und eine Digital-Analog-Schaltung und eine Eingabe/Ausgabe-Schaltung und Eingabe/Ausgabe-Einrichtungen und eine geeignete Signalkonditionierungs- und -Pufferschaltung umfasst. Das Verarbeitungsmodul 120 weist einen Satz von Verarbeitungsalgorithmen auf, die residente Programmanweisungen und Kalibrierungen umfassen, die in dem nichtflüchtigen Speicher gespeichert sind und ausgeführt werden, um die jeweiligen Funktionen jedes Computers bereitzustellen. Die Algorithmen werden vorzugsweise während vorab festgelegter Schleifenzyklen ausgeführt. Die Algorithmen werden durch die zentrale Verarbeitungseinheit ausgeführt und dienen dazu, Eingänge von den zuvor genannten Erfassungseinrichtungen zu überwachen und Steuer- und Diagnoseroutinen zum Steuern des Betriebs der Aktoren unter Verwendung voreingestellter Kalibrierungen auszuführen. Die Schleifenzyklen können mit regelmäßigen Intervallen, beispielsweise alle 3,125, 6,25, 12,5, 25 und 100 Millisekunden während des laufenden Motor- und Fahrzeugbetriebs, ausgeführt werden. Alternativ können die Algorithmen in Ansprechen auf das Auftreten eines Ereignisses ausgeführt werden.
Das Verarbeitungsmodul 120 führt einen darin gespeicherten algorithmischen Code aus, um in Beziehung stehende Geräte, wie beispielsweise die Kamera 110 und das Radarbilderfassungssystem 130, zu überwachen und Befehle oder Datenübertragungen wie durch die Analyse, die in dem Verarbeitungsmodul durchgeführt wird, angegeben auszuführen. Das Verarbeitungsmodul 120 kann Algorithmen und Mechanismen zum Betätigen einer autonomen Fahrsteuerung durch Mittel, die in der Technik bekannt und hierin nicht beschrieben sind, umfassen, oder das Verarbeitungsmodul 120 kann einfach eine Information an ein separates autonomes Fahrsystem liefern. Das Verarbeitungsmodul 120 ist geeignet, um in Abhängigkeit von der genauen Ausführungsform, die in Verbindung mit dem Steuermodul verwendet wird, nach Bedarf Eingangssignale von anderen Systemen und dem Bediener zu empfangen.
2 zeigt ein bekanntes Verfahren zum Ermitteln eines freien Pfads für ein autonomes Fahren gemäß der Offenbarung. Entsprechend der Fahrbahn vor dem Fahrzeug 100 wird ein Bild 10 erzeugt. In einem von verschiedenen Verfahren werden die Objekte 40A, 40B und 40C im Bild 10 identifiziert und wird jedes Objekt gemäß einer Filterung und trainierten Objektverhalten kategorisiert und klassifiziert. Eine separate Behandlung jedes Objekts kann rechenintensiv sein und erfordert teure und unhandliche Geräte zum Bewältigen der Rechenlast. Ein Algorithmus verarbeitet alle verfügbaren Informationen bezüglich der Fahrbahn und der Objekte 40 zum Schätzen eines für das Fahrzeug 100 verfügbaren freien Pfads. Die Ermittlung des freien Pfads hängt von den bestimmten Klassifizierungen und Verhalten der identifizierten Objekte 40 ab.
3 zeigt ein beispielhaftes Verfahren zum Ermitteln eines freien Pfads für ein autonomes oder semiautonomes Fahren gemäß der Offenbarung. Das Bild 10 ist als einen Boden 20, einen Horizont 30 und Objekte 40 umfassend gezeigt. Das Bild 10 wird durch die Kamera 110 erfasst und stellt die Straßenumgebung vor dem Fahrzeug 100 dar. Der Boden 20 stellt die Zone aller verfügbaren Pfade, die für eine Fahrt offen sind, ohne jegliche Unterscheidung auf der Grundlage von Objekten, die vorhanden sein könnten, dar. Das Verfahren von 3 ermittelt eine freien Pfad auf dem Boden 20, indem es durch die Annahme beginnt, dass der gesamte Boden 20 frei ist und dann verfügbare Daten verwendet, um Abschnitte des Bodens 20 als nicht frei auszuschließen. Im Gegensatz zu dem Verfahren von 2, das jedes Objekt 40 klassifiziert, analysiert das Verfahren von 3 stattdessen den Boden 20 und versucht es, aus verfügbaren Daten eine Wahrscheinlichkeit zu definieren, dass eine detektierbare Abweichung, die das Objekt 40 darstellen kann, diesen Abschnitt des Bodens 20 einschränkt oder nicht frei macht. Dieser Fokus auf den Boden 20 anstatt auf die Objekte 40 vermeidet die mit dem Verwalten der Detektion der Objekte in Verbindung stehenden komplexen Rechen-Tasks. Eine individuelle Klassifizierung und Verfolgung einzelner Objekte ist unnötig, da die einzelnen Objekte 40 einfach als Teil der gesamten einheitlichen Einschränkung auf dem Boden 20 miteinander gruppiert werden. Der Boden 20, der oben als alle zum Fahren offene Pfade ohne Unterscheidung beschrieben ist, minus die Einschränkungen, die auf dem Boden 20 durch als nicht frei befundene Bereiche angeordnet sind, definieren einen freien Pfad 50, der in 3 als der Bereich innerhalb der gestrichelten Linien gezeigt ist, oder einen Bereich, der mit einer Schwellenwertwahrscheinlichkeit für eine Fahrt des Fahrzeugs 100 offen ist.
Das Objekt 40, das auf dem Boden 20 nicht freie Einschränkungen erzeugt, kann viele Formen annehmen. Beispielsweise kann ein Objekt 40 ein diskretes Objekt darstellen, wie beispielsweise ein geparktes Auto, einen Fußgänger oder ein Straßenhindernis, oder kann ein Objekt 40 auch eine weniger diskrete Änderung der Flächenmuster darstellen, die einen Rand zu einer Straße angibt, wie beispielsweise einen Bordstein, eine Seitenbegrenzung zur Wiese oder Wasser, das die Fahrbahn bedeckt. Das Objekt 40 kann auch ein Nichtvorhandensein einer mit dem Boden 20 in Verbindung stehenden ebenen Straße umfassen, wie es beispielsweise bei einem großen Loch in der Straße detektiert werden könnte. Das Objekt 40 kann auch einen Indikator ohne irgendeine definierbare Höhenänderung von der Straße, jedoch mit klaren Auswirkungen auf einen freien Pfad für dieses Segment der Straße, wie beispielsweise ein Farbmuster auf der Fahrbahn, das eine Spurmarkierung angibt, umfassen. Das hierin offenbarte Verfahren, das nicht versucht, ein Objekt 40 zu identifizieren, sondern lediglich visuelle Hinweise von dem Boden 20 und allem in der Nähe des Bodens in dem Bild 10 aufzunehmen, bewertet eine Wahrscheinlichkeit von frei gegenüber nicht frei und passt die Steuerung des Fahrzeugs 100 für das Vorhandensein jedes Objekts 40 an.
Es sind zahlreiche Verfahren für eine automatisierte Analyse von zweidimensionalen Bildern (2D-Bildern) möglich. Durch einen Algorithmus in dem Verarbeitungsmodul 120 wird eine Analyse des Bilds 10 durchgeführt. 4 zeigt ein beispielhaftes Verfahren, das angewandt werden kann, um das Bild 10 gemäß der Offenbarung zu analysieren. Dieses Verfahren unterteilt das Bild 10 und identifiziert ein Subbild oder ein Stück 60 des Bodens 20 für eine Analyse, extrahiert Merkmale oder analysiert die verfügbare visuelle Information von dem Stück 60, um irgendwelche interessierenden oder unterscheidenden Merkmale innerhalb des Stücks zu identifizieren, und klassifiziert das Stück gemäß der Wahrscheinlichkeit, dass es gemäß der Analyse der Merkmale ein freier Pfad ist. Die Stücke, die mit einer Wahrscheinlichkeit, die größer als ein bestimmter Schwellenwert ist, als frei klassifiziert werden, und eine Zusammenstellung der Stücke können verwendet werden, um einen freien Pfad in dem Bild zusammenzusetzen.
Das Stück 60 kann, als ein Subbild des Bilds 10, durch ein beliebiges bekanntes Mittel identifiziert werden, wie beispielsweise eine Zufallssuche oder eine Scharsuche des Bilds 10. Alternativ kann eine Information bezüglich des Vorhandenseins eines Objekts 40, die von einer anderen Informationsquelle, wie beispielsweise dem Radarbilderfassungssystem 130, verfügbar ist, verwendet werden, um ein Stück zu identifizieren, um den Abschnitt des Bilds 10 zu analysieren, der das Objekt 40 beschreiben sollte. Das Bild 10 kann viele Stücke 60 zum Analysieren des gesamten Bilds erfordern. Ferner könnten mehrere sich überlagernde Stücke oder Stücke verschiedener Größe verwendet werden, um ein Gebiet des Bilds 10, das eine interessierende Information enthält, vollständig zu analysieren. Beispielsweise könnte ein kleines Stück 60 verwendet werden, um einen kleinen Punkt auf der Straße zu analysieren; es könnte jedoch ein großes Stück 60 erforderlich sein, um eine Reihe von Punkten zu analysieren, die allein uninteressant scheinen könnten, jedoch im Kontext der gesamten Reihe ein interessierendes Objekt 40 angeben könnten. Ferner kann die Auflösung von Stücken, die auf einen bestimmten Bereich angewandt werden, auf der Grundlage einer verfügbaren Information moduliert werden, wobei beispielsweise mehrere Stücke auf ein Gebiet des Bilds 10 angewandt werden, von dem geglaubt wird, dass ein Objekt 40 in ihm existiert. Es können viele Schemas oder Strategien zum Definieren der Stücke 60 für eine Analyse verwendet werden, und die Offenbarung soll nicht auf die hierin beschriebenen spezifischen Ausführungsformen beschränkt sein.
Sobald ein Stück 60 für eine Analyse identifiziert wurde, verarbeitet das Verarbeitungsmodul 120 das Stück durch eine Anwendung eines Filters zum Extrahieren von Merkmalen aus dem Stück. Ferner kann das Verarbeitungsmodul 120 eine Analyse des Orts des Stücks in dem Kontext des Orts des Fahrzeugs durchführen. Die verwendeten Filter können viele Formen annehmen. Filteralgorithmen, die zum Extrahieren von Merkmalen verwendet werden, durchsuchen oftmals die verfügbare visuelle Information hinsichtlich charakteristischer Muster in den Daten, wobei die Merkmale durch eine Spurausrichtung, einen Spurort, eine Farbe, Ecken eigenschaften, andere visuelle Attribute und gelernte Attribute definiert sind. Die gelernten Attribute können durch Maschinenlernalgorithmen in dem Fahrzeug gelernt werden, werden aber zumeist offline programmiert und können experimentell, empirisch, prädiktiv, durch Modellerstellung oder andere Techniken entwickelt werden, die geeignet sind, um unterscheidende Attribute genau zu trainieren.
Sobald Merkmale in dem Stück 60 extrahiert wurden, wird das Stück auf der Grundlage der Merkmale klassifiziert, um die Wahrscheinlichkeit zu ermitteln, dass der Pfad ein freier Pfad ist. Eine Wahrscheinlichkeitsanalyse ist ein in der Technik bekannter Prozess, durch den ein Wahrscheinlichkeitswert oder eine Konfidenz entwickelt wird, dass eine bestimmte Bedingung existiert. Bei einer Anwendung auf die vorliegende Offenbarung umfasst eine Klassifizierung eine Wahrscheinlichkeitsanalyse, um zu ermitteln, ob das Stück einen freien Pfad darstellt oder ob der Boden 20 in diesem Stück durch ein Objekt 40 eingeschränkt ist. Bei einer beispielhaften Ausführungsform wird die Klassifizierung durch eine Anwendung von Klassifizierern oder Algorithmen durchgeführt, die mit einer Datenbank von beispielhaften Straßenbedingungen und Interaktionen mit detektierten Objekten trainiert werden. Diese Klassifizierer ermöglichen dem Verarbeitungsmodul 120, einen Bruch-Wahrscheinlichkeitswert eines freien Pfads für das Stück 60 zu entwickeln, wobei eine Konfidenz zwischen Null und Eins, dass die in dem Stück identifizierten Merkmale kein einschränkendes Objekt 40 angeben, das eine freie Fahrt des Fahrzeugs 100 verhindern würde, quantitativ bestimmt wird. Es kann eine Schwellenwertkonfidenz festgelegt werden, die die Wahrscheinlichkeit eines freien Pfads definiert, die erforderlich ist, um das Stück als freien Pfad zu definieren, und zwar beispielsweise durch die folgende Logik: Konfidenz = WahrscheinlichkeitFreierPfad(i) Wenn_Konfidenz > 0,5, dann_Stück = FreierPfad (1)
Bei dieser bestimmten beispielhaften Ausführungsform wird eine Konfidenz von 50% oder 0,5 als Schwellenwertkonfidenz ausgewählt. Diese Zahl kann experimentell, empirisch, prädiktiv, über Modellerstellung oder andere Techniken, die zum genauen Bewerten von Stücken hinsichtlich Eigenschaften eines freien Pfads geeignet sind, entwickelt werden.
Die Wahrscheinlichkeitsanalyse kann wie oben erwähnt bei einer beispielhaften Ausführungsform durch Anwenden von trainierten Klassifizierern auf aus einem Stück extrahierte Merkmale durchgeführt werden. Ein Verfahren analysiert die Merkmale a priori unter Verwendung eines Trainingsbildsatzes. In dieser Trainingsstufe werden unterscheidende Merkmale aus einem rohen Merkmalssatz ausgewählt, wobei die unterscheidenden Merkmale durch in der Technik bekannte Verfahren, wie beispielsweise Haar-Wavelet, Gabor-Wavelet und Leung-Malik-Filterbank, definiert werden. Ferner kann eine 2D-Bildortsinformation auf der Grundlage minimaler Klassifizierungsfehler jedes Merkmals, berechnet als die Summe einer Falschakzeptanzrate (FAR) und einer Falschrückweisungsrate (FRR), durch Abstimmen eines einzelnen Schwellenwerts verwendet werden, wie es in 5 gezeigt ist. Dieser Klassifizierungsfehler kann durch den folgenden Ausdruck beschrieben werden: Klassifizierungsfehler(i) = FARi + FRRi (2)
Die Information von den trainierten Klassifizierern wird verwendet, um das Merkmal als einen freien Pfad oder einen nicht freien Pfad angebend zu klassifizieren oder zu gewichten, wobei die bestimmte Klassifizierung von der Stärke von Vergleichen mit den trainierten Daten abhängt. Die Klassifizierung des Merkmals kann, wenn das Merkmal das einzige Merkmal in dem Stück ist, direkt auf das Stück angewandt werden. Die Klassifizierung eines Stücks mit mehreren identifizierten Merkmalen kann viele Formen annehmen, die umfassen, dass das Stück durch das umfasste Merkmal definiert wird, das am stärksten darauf hinweist, dass das Stück nicht frei ist, oder dass das Stück durch eine gewichtete Summe aller darin umfasster Merkmale definiert wird.
Das obige Verfahren kann verwendet werden, um ein einzelnes Bild 10 zu prüfen und auf der Grundlage der visuellen Information, die in dem Bild 10 enthalten ist, einen freien Pfad 50 zu schätzen. Dieses Verfahren kann mit einem Intervall wiederholt werden, wenn das Fahrzeug die Straße entlangfährt, um neue Informationen zu berücksichtigen und den formulierten freien Pfad auf einen Bereich vor der neuen Position des Fahrzeugs zu erweitern. Die Wahl des Intervalls muss das Bild 10 mit einer ausreichenden Häufigkeit aktualisieren, um dem Fahrzeug 100 einen freien Pfad genau bereitzustellen, auf dem es fahren kann. Das Intervall kann jedoch auch als ein Minimalwert gewählt werden, um das Fahrzeug geeignet zu steuern, die dem Verarbeitungsmodul 120 auferlegte Rechenlast jedoch auch nicht übermäßig zu erhöhen.
Die Detektion eines freien Pfads kann wie oben beschrieben durch ein einzelnes Bild 10 erreicht werden. Mit dem Hinzufügen eines zweiten Bilds, das zeitlich nahe an dem ursprünglichen Bild aufgenommen wird, wie beispielsweise sequentielle Bilder von einem Streaming-Video-Clip, können jedoch die Verarbeitungsgeschwindigkeit und die Genauigkeit verbessert werden. Ein zweites Bild ermöglicht einen direkten Vergleich mit dem ersten und sorgt für eine aktualisierte Information hinsichtlich des Verlaufs des Fahrzeugs und der Bewegung von detektierten Objekten. Die Änderung der Perspektive der Kamera 110 ermöglicht auch eine ande re Analyse von Merkmalen von dem ersten Bild: ein Merkmal, das in dem ersten Bild möglicherweise nicht deutlich auftauchte oder undeutlich war, kann unter einem anderen Kamerawinkel angezeigt werden, kann deutlicher auffallen oder kann sich seit dem ersten Bild bewegt haben, was dem Klassifizierungsalgorithmus eine zusätzliche Möglichkeit zum Definieren des Merkmals ermöglicht.
Ein Verarbeiten eines zweiten Bilds in Bezug auf das ursprüngliche Bild 10 kann durch Berechnen einer Bilddifferenz durchgeführt werden. Wenn die Bilddifferenz eines interessierenden Punkts, wie beispielsweise eines durch Radar identifizierten Merkmals, nicht Null ist, kann der Punkt als eine neue Information umfassend identifiziert werden. Punkte, bei denen die Bilddifferenz gleich Null ist, können bei der Analyse weggelassen werden, und Rechenressourcen können eingespart werden. Verfahren zum Ermitteln einer Bilddifferenz umfassen eine absolute Bildintensitätsdifferenz und eine fahrzeugbewegungskompensierte Bilddifferenz.
Ein Ermitteln einer Bilddifferenz durch Berechnen einer absoluten Bildintensitätsdifferenz kann verwendet werden, um eine Information zwischen zwei Bildern zu sammeln. Ein Verfahren einer absoluten Bildintensitätsdifferenz umfasst das Ermitteln äquivalenter Bildeigenschaften zwischen dem ursprünglichen Bild und dem zweiten Bild, um eine Bewegung des Fahrzeugs zwischen den Bildern zu kompensieren, das Überlagern der Bilder und das Notieren jeder signifikanten Änderung der Intensität zwischen den Bildern. Ein Vergleich zwischen den Bildern, der eine Änderung der Bildintensität in einem bestimmten Bereich angibt, enthält eine neue Information. Bereichen oder Stücken, die keine Intensitätsänderung anzeigen, kann bei der Analyse weniger Aufmerksamkeit geschenkt werden, wohingegen man sich auf Bereiche konzentrieren kann, die deutliche Intensitätsänderungen anzeigen, wobei die zuvor genannten Verfahren zum Analysieren von Stücken an einem oder beiden erfassten Bildern verwendet werden.
6A, 6B und 6C zeigen eine beispielhafte Ermittlung einer Bilddifferenz durch Berechnen einer absoluten Bildintensitätsdifferenz gemäß der Offenbarung. 6A zeigt ein ursprüngliches Bild. 6B zeigt ein zweites Bild mit Änderungen zu dem ursprünglichen Bild. Im Speziellen hat sich die gezeigte Kreisform nach links verschoben. Ein Vergleich der beiden Bilder wie in 6C gezeigt, ein Ausgang, der das Ergebnis eines Vergleichs einer absoluten Bildintensitätsdifferenz darstellt, identifiziert ein Gebiet, das von dem ersten Bild zu dem zweiten Bild dunkler geworden ist, und ein anderes Gebiet, das von dem ersten Bild zu dem zweiten Bild heller geworden ist. Solch ein Verfahren kann als differenzieren beschrieben werden. Eine Analyse des Vergleichs liefert die Information, dass in diesem Gebiet der Bilder wahrscheinlich eine Änderung als Ergebnis einer Bewegung oder eine Änderung der Perspektive vorliegt. Auf diese Weise kann eine absolute Bildintensitätsdifferenz verwendet werden, um ein Paar von sequentiellen Bildern zum Identifizieren eines potentiell nicht freien Pfads zu analysieren.
Ähnlich kann ein Ermitteln einer Bilddifferenz durch Berechnen einer fahrzeugbewegungskompensierten Bilddifferenz verwendet werden, um eine Information zwischen zwei Bildern zu erfassen. Es sind viele Verfahren zum Berechnen einer fahrzeugbewegungskompensierten Bilddifferenz bekannt. Ein beispielhaftes Verfahren einer fahrzeugbewegungskompensierten Bilddifferenz umfasst das gleichzeitige Analysieren eines potentiellen Objekts als sowohl ein stationärer Abschnitt eines freien Pfads als auch ein detektiertes Objekt. Es wird eine Wahrscheinlichkeitsanalyse an Merkmalen durchgeführt, die entsprechend dem potentiellen Objekt aus beiden Klassifizierungen gleichzeitig identifiziert werden, und die Klassifi zierungen können beispielsweise durch die folgende Logik verglichen werden: Konfidenz(i) = = WahrscheinlichkeitFreierPfad(i) – WahrscheinlichkeitDetektiertesObjekt(i) Wenn_Konßdenz > 0, dann_Stück = freierPfad (3)
Wenn bei diesem beispielhaften Vergleich Konfidenz(i) größer als Null ist, wird das Stück, das das Merkmal enthält, als freier Pfad klassifiziert. Wenn Konfidenz(i) kleiner oder gleich Null ist, wird das Stück, das das Merkmal enthält, als nicht freier Pfad oder eingeschränkt klassifiziert. Es können jedoch verschiedene Werte für das Konfidenzniveau zum Klassifizieren des Stücks als freier Pfad ausgewählt werden. Beispielsweise kann ein Testen zeigen, dass falsche positive Ergebnisse wahrscheinlicher sind als falsche negative Ergebnisse, und somit kann ein Faktor oder Offset eingeführt werden.
7 zeigt ein Verfahren zum gleichzeitigen Klassifizieren eines Merkmals als Abschnitt eines freien Pfads und als detektiertes Objekt, wie es oben gemäß der Offenbarung beschrieben ist. Das Bild 10 umfasst das Objekt 40, eine trapezförmige Projektion 70 und eine rechteckige Projektion 80. Dieses Verfahren verwendet eine Annahme, die das Objekt 40 innerhalb der Projektion 70 als flaches Objekt auf den Boden projiziert, um die Klassifizierung des Merkmals als Abschnitt eines freien Pfads zu testen. Das Verfahren verwendet auch eine Annahme, die das Objekt 40 innerhalb der rechteckigen Projektion 80 als vertikales Objekt projiziert, um die Klassifizierung des Merkmals als ein detektiertes Objekt zu testen. 8 zeigt Vergleiche, die mit den gesammelten Daten zwischen den beiden Bildern gezogen werden, zum Bewerten der Natur des Objekts 40 gemäß der Offenbarung. Die Kamera 110 beobachtet und erfasst zum Zeitpunkt t₁ Daten von dem Objekt 40 in Form eines ersten Bilds. Wenn das Objekt 40 ein tatsächliches detektiertes Objekt ist, entspricht das durch die Kamera 110 beobachtete Profil des Objekts 40 zum Zeitpunkt t₁ einem Punkt 90A. Wenn das Objekt 40 ein flaches Objekt in der gleichen Ebene wie der Boden 20 ist, entspricht das durch die Kamera 110 beobachtete Profil des Objekts 40 zum Zeitpunkt t₁ einem Punkt 90B. Zwischen den Zeitpunkten t₁ und t₂ bewegt sich die Kamera 110 eine Distanz. Zum Zeitpunkt t2 wird ein zweites Bild erfasst, und eine Information bezüglich des Objekts 40 kann durch Anwenden eines Algorithmus getestet werden, der sichtbare Attribute des Objekts in dem zweiten Bild im Vergleich zu dem ersten Bild betrachtet. Wenn das Objekt 40 ein tatsächliches detektiertes Objekt ist, das sich von dem Boden 20 nach oben erstreckt, wird zum Zeitpunkt t₂ das Profil des Objekts 40 bei Punkt 90C beobachtet. Wenn das Objekt 40 ein flaches Objekt in der gleichen Ebene wie der Boden 20 ist, wird das Profil des Objekts 40 zum Zeitpunkt t2 bei Punkt 90B beobachtet. Der durch die fahrzeugbewegungskompensierte Bilddifferenz abgeleitete Vergleich kann durch Anwendung von Klassifizierern auf der Grundlage der Beobachtungen der Punkte 90 direkt eine Konfidenz zuordnen, oder der Vergleich kann einfach auf den Bereich hinweisen, der die Änderung als interessierenden Punkt anzeigt. Ein Testen des Objekts hinsichtlich beider Klassifizierungen, als flaches Objekt und als tatsächliches detektiertes Objekt, ermöglicht entweder, dass der Bereich, der das Objekt 40 umfasst, für eine weitere Analyse durch eine Analyse eines Stücks wie oben beschrieben identifiziert wird, oder eine direkte Entwicklung einer Wahrscheinlichkeit eines freien Pfads und einer Wahrscheinlichkeit eines detektierten Objekts zum Vergleich, wie beispielsweise in dem obigen logischen Ausdruck (3).
Die aus der Analyse des zweiten Bilds verfügbare Information kann zusätzlich durch Integration einer Information bezüglich einer Bewegung des Fahrzeugs, wie beispielsweise Drehzahl und Gierrate, verbessert werden. Eine Information bezüglich der Fahrzeugbewegung steht von einer Anzahl von Quellen zur Verfügung, die den Fahrzeuggeschwindigkeitsmesser, Fahrzeugdynamiksensoren oder Raddrehzahlsensoren, Antiblockiermechanismen und GPS-Ortssysteme umfassen. Die Algorithmen können diese Fahrzeugbewegungsinformation beispielsweise in Verbindung mit den in 7 und 8 beschriebenen Projektionen verwenden, um Winkel, die bei einem Merkmal vorliegen sollten, das flach auf dem Boden liegt, im zweiten Bild auf der Grundlage von Daten von dem ersten Bild und der gemessenen Bewegung des Fahrzeugs zwischen den Bildern zu projizieren.
Die Anzahl von Bildern, die für einen Vergleich verwendet werden, muss nicht auf Zwei begrenzt sein. Es kann eine Mehrbildanalyse mit mehreren Iterationen durchgeführt werden, wobei ein Objekt über eine Anzahl von Zyklen verfolgt und verglichen wird. Wie oben erwähnt kann die Recheneffizienz erhöht werden, indem eine Bilddifferenzanalyse zum Identifizieren von interessierenden Punkten verwendet wird und Bereiche mit einer Differenz von Null bei den nachfolgenden Analysen weggelassen werden. Solche Effizienzen können bei mehreren Iterationen verwendet werden, wobei beispielsweise nur zwischen einem ersten und einem zweiten Bild identifizierte interessierende Punkte in dem dritten und vierten aufgenommenen Bild analysiert werden. An einer Stelle muss ein frischer Satz von Bildern verglichen werden, um sicherzustellen, dass in keinem der Bereiche, die eine Differenz von Null zeigen, eine Änderung aufgetreten ist, wie beispielsweise ein sich bewegendes Objekt, das auf einem zuvor freien Pfad auftaucht. Die Verwendung von Bilddifferenzanalysen und fokussierten Analysen, wobei mit einer Änderung von Null identifizierte Bereiche weggelassen werden, variiert von Anwendung zu Anwendung und kann zwischen verschiedenen Betriebsbedingungen, wie beispielsweise Fahr zeuggeschwindigkeit oder wahrgenommene Betriebsumgebung, variieren. Die spezielle Verwendung der Bilddifferenzanalysen und der fokussierten Analysen kann viele verschiedene Ausführungsformen umfassen, und die Offenbarung soll nicht auf die hierin beschriebenen spezifischen Ausführungsformen beschränkt sein.
9 zeigt einen beispielhaften Prozess 200, bei dem ein Eingang von einer Kamera analysiert wird, um eine Wahrscheinlichkeit eines freien Pfads zu ermitteln, gemäß der Offenbarung. In Schritt 202 wird ein Kameraeingang in Form eines Bilds erzeugt. In Schritt 204 wird aus dem Bild ein Stück für eine Analyse ausgewählt. Schritt 206 stellt ein Filter oder einen Satz von Filtern, die zum Verarbeiten des Stücks zur Verfügung stehen, dar. In Schritt 208 wird an dem ausgewählten Pfad durch Anwendung der Filter, die aus Schritt 206 zur Verfügung stehen, und Anwendung anderer Algorithmen eine Merkmalsextraktion durchgeführt. Schritt 210 umfasst einen Klassifizierertrainingsprozess. Wie oben erwähnt werden Klassifizierer oder eine Logik, die beim Entwickeln von Wahrscheinlichkeitswerten verwendet werden, anfänglich offline trainiert. Auf der Grundlage von Fuzzy-Logik, neuronalen Netzen oder anderen in der Technik bekannten Lernmechanismen kann optional ein Training in dem Fahrzeug fortgeführt werden. Diese trainierten Klassifizierer werden in Schritt 212 verwendet, um an den in Schritt 208 extrahierten Merkmalen eine Wahrscheinlichkeitsanalyse durchzuführen, und es wird ein Wahrscheinlichkeitswert für das Stück entwickelt. Dieser Wahrscheinlichkeitswert drückt eine Konfidenz aus, dass das ausgewählte Stück frei ist. In Schritt 214 wird der in Schritt 212 entwickelte Wahrscheinlichkeitswert mit einem Schwellenwertwahrscheinlichkeitswert verglichen. Wenn der Wahrscheinlichkeitswert größer als der Schwellenwert ist, wird das Stück in Schritt 218 als freier Pfad identifiziert. Wenn der Wahrscheinlichkeitswert nicht größer als der Schwellenwert ist, wird das Stück als nicht freier Pfad identifiziert. Wie oben beschrieben kann der Prozess 200 auf eine Anzahl von Arten wiederholt oder reiteriert werden, wobei das gleiche Bild mit der Auswahl und Analyse von unterschiedlichen Stücken wiederholt analysiert wird, und ein identifiziertes Stück hinsichtlich einer Änderung über einer Anzahl von sequentiellen Bildern verfolgt und analysiert werden kann.
Wie oben erwähnt kann das Verarbeitungsmodul 120 Algorithmen und Mechanismen zum Betätigen einer autonomen Fahrsteuerung durch ein in der Technik bekanntes und hierin nicht beschriebenes Mittel umfassen oder kann das Verarbeitungsmodul 120 einfach eine Information an ein separates autonomes Fahrsystem liefern. Die Reaktionen auf wahrgenommene Objekte können variieren und umfassen ohne Einschränkung Lenkänderungen, Drosseländerungen, Bremsantworten und dass der Bediener des Fahrzeugs gewarnt wird und dass die Steuerung des Fahrzeugs dem Bediener überlassen wird.
Das obige Verfahren, das eine Analyse von Stücken verwendet, ist ein Verfahren zum Herstellen eines freien Fahrpfads für ein Fahrzeug. Es werden zwei zusätzliche, in Beziehung stehende Verarbeitungsschemas offenbart, die ähnliche Verfahren zum Analysieren von Pixeln anstatt von Stücken einsetzen. Es wird ein erstes Verarbeitungsschema offenbart, das Verfahren einer reichen Struktur zum Analysieren von Bildern zum Identifizieren eines freien Pfads verwendet. 10 zeigt ein erstes Verarbeitungsschema 101 zum Detektieren eines freien Pfads, das hierin als diskrete Elemente umfassend beschrieben ist. Diese Darstellung dient der Vereinfachung der Beschreibung und es sei angemerkt, dass die durch diese Elemente durchgeführten Funktionen in einer oder mehreren Einrichtungen kombiniert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung.
Das Verarbeitungsschema 101 ist ein beispielhaftes Verfahren zum Anwenden einer Bildanalyse einer reichen Struktur eines Sichtfelds vor dem Host-Fahrzeug und beginnt mit Schritt 103, in dem Bilder des Sichtfelds vor dem Fahrzeug erzeugt werden. In Schritt 106 werden die überwachten Bilder hinsichtlich interessierender Punkte geprüft, wobei beispielsweise eine Pixel-Farbintensität wie hierin oben beschrieben geprüft wird und das Pixel oder eine Gruppe von Pixeln mit umgebenden Pixeln verglichen wird. Durch in der Technik bekannte Verfahren können interessierende Punkte identifiziert und verwendet werden, um hierin beschriebene Verfahren auszuführen. In Schritt 109 werden sequentielle Bilder des Sichtfelds vor dem Fahrzeug verglichen, wenn sich das Fahrzeug bewegt, und werden interessierende Punkte von jedem Bild mit entsprechenden Punkten in sequentiellen Bildern, die den gleichen Punkten in dem Sichtfeld entsprechen, in Übereinstimmung gebracht, wenn dies möglich ist. Ein in Übereinstimmung bringen umfasst ein Lokalisieren entsprechender Punkte durch ein in Übereinstimmung bringen mit einer Vorlage (template matching) oder ein Vergleichen von interessierenden Punkten an den sequentiellen Bildern, ein Berücksichtigen der Bewegung des Host-Fahrzeugs und ein Erzeugen eines besten Schätzwerts, ob zwei Punkte das gleiche Objekt oder Merkmal darstellen, das in dem Sichtfeld sichtbar ist. Wenn interessierende Punkte in Übereinstimmung gebracht werden können, stellen nicht alle Paare von in Übereinstimmung gebrachten entsprechenden Punkten Paare von entsprechenden Punkten mit hoher Qualität dar, die die Identifikation ihrer dreidimensionalen Positionen in dem Sichtfeld für Klassifizierungen als freier Pfad für eine Durchfahrt des Fahrzeugs ermöglichen. In Schritt 112 wird ein Filter auf die Paare von in Übereinstimmung gebrachten entsprechenden Punkten angewandt, um Paare von entsprechenden Punkten mit hoher Qualität zu identifizieren, die für eine dreidimensionale Positionsidentifikation mit hoher Konfidenz verwendet werden können. In Schritt 115 werden die Paare von entsprechenden Punkten mit hoher Qualität analysiert, um dreidimensionale Positionen von Objekten zu ermitteln, die durch die Paare von entsprechenden Punkten dargestellt werden. Es sei angemerkt, dass sich entsprechende Punkte an verschiedenen Höhen im Vergleich zum Bodenniveau zwischen sequentiellen Bildern unterschiedlich bewegen. Ein Analysieren der Bewegung der interessierenden Punkte kann geschätzte dreidimensionale Koordinaten der interessierenden Punkte liefern. In Schritt 118 werden die ermittelten Objektpositionen verwendet, um Objektpositionen vor dem Host-Fahrzeug abzubilden. In Schritt 121 wird die Abbildung verwendet, um einen freien Pfad vor dem Host-Fahrzeug zu ermitteln.
11 zeigt ein beispielhaftes momentanes Bild (k) 500, das einen beispielhaften Satz von interessierenden Punkten 501 umfasst, die an dem momentanen Bild (k) identifiziert werden, wobei jeder interessierende Punkt 501 einem Pixel entspricht. Das Verarbeitungsmodul 120 identifiziert vorzugsweise interessierende Punkte 501 an jedem erzeugten Bild einschließlich des momentanen Bilds (k) 500 und eines vorherigen Bilds (k – 1). Ein interessierender Punkt 501 ist ein identifizierbares Pixel an einem Bild und ist einem Satz von visuellen Informationen, d. h. Merkmalen einer reichen Struktur, zugeordnet und ist Objekten, die sich in dem Sichtfeld befinden, zugeordnet. Das beispielhafte Sichtfeld oder die beispielhafte Ansicht, das bzw. die in 11 gezeigt ist, umfasst eine Fahrbahn 510, Teilabschnitte 515 auf der Fahrbahn, Randsteine 520 und 521, Spurmarkierungen 522, eine kreuzende Spur 526 und Gebäude 524 und 525. In der Ansicht werden interessierende Kandidatenpunkte 501 durch eine Programmierung einer Extraktion interessierender Punkte identifiziert, woraus ein Satz von interessierenden Punkten 501 ausgewählt werden kann. Die Programmierung einer Extraktion interessierender Punkte wird an den Bildern mittels eines von verschiedenen bekannten Verfahren ausgeführt, z. B. einer skaleninvarianten Merkmalstransformation (SIFT), Verfahren, die eine Eckendetektion oder eine Detektion anderer Formen einsetzen, oder eines Sobel-Filters. Die Programmierung einer Extraktion interessierender Punkte wird vorzugsweise in dem Verarbeitungsmodul 120 ausgeführt, kann jedoch in einer oder mehreren Einrichtungen kombiniert sein, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Die Programmierung einer Extraktion interessierender Punkte lokalisiert interessierende Kandidatenpunkte 501 in jedem Bild entsprechend vorbestimmten identifizierbaren Merkmalen einer reichen Struktur, z. B. Pixel, die eine Kante angeben, Pixel, die einen Übergang in den visuellen Daten angeben, wobei in der Ansicht potentiell signifikante Merkmale identifiziert werden können. Bei der beispielhaften Ansicht von 11 wird aus den vielen identifizierten interessierenden Punkten 501 ein Punkt, 501A, an einer Ecke identifiziert, die an einem Teilabschnitt 505 an dem Randstein 520 ausgebildet ist.
Nach dem Identifizieren von interessierenden Kandidatenpunkten 501 kann die Programmierung einer Extraktion interessierender Punkte die interessierenden Kandidatenpunkte durch Entfernen redundanter interessierender Kandidatenpunkte, z. B. interessierender Kandidatenpunkte, die einem gleichen Merkmal entsprechen, filtern. Beispielsweise kann die Programmierung einer Extraktion interessierender Punkte mehrere interessierende Kandidatenpunkte, die einer Kante entsprechen, filtern, was zu weniger interessierenden Kandidatenpunkten, die der Kante entsprechen, führt. Der verbleibende Satz von interessierenden Kandidatenpunkten umfasst die interessierenden Punkte für das Bild. Bei einer Ausführungsform wird für eine Recheneffizienz ein Filtern redundanter interessierender Kandidatenpunkte ausgeführt.
Sobald die interessierenden Punkte 501 in einem momentanen Bild (k) 500 identifiziert sind, bringt das Verarbeitungsmodul 120 den Satz von interessierenden Punkten von dem momentanen Bild (k) mit einem Satz von von dem vorherigen Bild (k – 1) identifizierten Punkten in Übereinstimmung, um einen Satz von Paaren von in Übereinstimmung gebrachten Punkten zu ermitteln, was Schritt 109 in dem Prozess 101 entspricht.
Ein erstes Verfahren zum Ermitteln eines Satzes von Paaren von in Übereinstimmung gebrachten Punkten umfasst das Verwenden einer Programmierung einer Korrespondenzinübereinstimmungbringung, um interessierende Punkte von einem momentanen Bild (k) und einem vorherigen Bild (k – 1) in Übereinstimmung zu bringen. Das Verarbeitungsmodul 120 bringt den Satz von interessierenden Punkten von dem momentanen Bild (k) mit einem Satz von interessierenden Punkten in Übereinstimmung, die in dem vorherigen Bild (k – 1) identifiziert wurden, um einen Satz von Paaren von in Übereinstimmung gebrachten interessierenden Punkten zu ermitteln. 12 zeigt ein beispielhaftes momentanes Bild (k), das nach dem in 11 gezeigten Bild erfasst wurde. Das beispielhafte momentane Bild (k) 530 stellt ein dem in 11 gezeigten Bild folgend erfasstes Bild dar, wobei die Perspektive des Betrachters zwischen den Bildern entlang der betrachteten Straße geringfügig vorangeschritten ist. In dieser beispielhaften Situation kann das Bild 500 von 11, obwohl es zum Zeitpunkt seiner Erfassung ein momentanes Bild (k) war, nun als vorheriges Bild (k – 1) für das momentane Bild (k) 530 fungieren. Die beispielhafte in 12 gezeigte Ansicht umfasst die Fahrbahn 510, Teilabschnitte 515 auf der Fahrbahn, Randsteine 520 und 521, Spurmarkierungen 522 und Gebäude 524 und 525, wie sie in 11 gezeigt sind, mit geringfügig anderen Perspektiven jedes Merkmals in der Ansicht. Bei der in 12 gezeigten beispielhaften Ansicht werden viele identifizierte interessierende Punkte 531 gemäß den oben beschriebenen Verfahren identifiziert und wird ein Punkt, 531A, an einer in dem Teilabschnitt 505 an dem Randstein 520 ausgebildeten Ecke identifiziert. Es sei angemerkt, dass die im Bild 530 identifizierten interessierenden Punkte 531 nicht notwendigerweise direkt den im Bild 500 identifizierten interessierenden Punkten 501 entsprechen. Die im Bild 530 identifizierten Punkte 531 werden wie in Verbindung mit den Punkten 501 beschrieben verarbeitet und gefiltert, wie es in Verbindung mit 11 beschrieben ist. Vorzugsweise werden verschiedene interessierende Punkte 531 von dem Satz von interessierenden Punkten von dem momentanen Bild (k) 530 mit einem interessierenden Punkt 501 von dem von dem vorherigen Bild (k – 1) 500 identifizierten Satz von interessierenden Punkten in Übereinstimmung gebracht, um mehrere Paare von in Übereinstimmung gebrachten Punkten zu ermitteln. Es wird erwartet, dass jeder interessierende Punkt, der ein Paar von in Übereinstimmung gebrachten Punkten umfasst, einem gleichen Merkmal entspricht, das einem Objekt in der Ansicht zugeordnet ist. Um den Satz von Paaren von in Übereinstimmung gebrachten Punkten zu ermitteln, wird der Satz von interessierenden Punkten 531 von dem momentanen Bild (k) mit dem Satz von interessierenden Punkten 501, der aus dem vorherigen Bild (k – 1) identifiziert wird, durch eine von verschiedenen bekannten Programmierungen einer Korrespondenzinübereinstimmungbringung verglichen, z. B. eine Programmierung einer Merkmalsinübereinstimmungbringung einer skaleninvarianten Merkmalstransformation (SIFT) und eine Programmierung eines optischen Flusses (optical flow). Die Programmierung einer Korrespondenzinübereinstimmungbringung wird vorzugsweise in dem Verarbeitungsmodul 120 ausgeführt, kann jedoch in einer oder mehreren Einrichtungen kombiniert sein, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Die resultierenden Paare von in Übereinstimmung gebrachten Punkten entsprechen einem gleichen Merkmal, das sich an sowohl dem momentanen Bild (k) als auch dem vorherigen Bild (k – 1) befindet, wobei das gleiche Merkmal einem gleichen Objekt in der Ansicht zugeordnet ist.
Ein zweites Verfahren zum Ermitteln eines Satzes von Paaren von in Übereinstimmung gebrachten Punkten umfasst das Verwenden einer Programmierung einer Inübereinstimmungbringung mit einer Vorlage, um interessierende Punkte von dem momentanen Bild (k) und dem vorherigen Bild (k – 1) in Übereinstimmung zu bringen. Bei einer Ausführungsform werden unter Verwendung eines vorbestimmten Pixel-Gebiets benachbart zu einem interessierenden Punkt Vorlagen erzeugt. In 12 ist ein beispielhaftes Gebiet 535 gezeigt, das dem interessierenden Punkt 531A zugeordnet ist. Die Inübereinstimmungbringung mit einer Vorlage kann unter Verwendung eines von mehreren Verfahren ermittelt werden, die eines von verschiedenen bekannten Verfahren zur Programmierung einer Inübereinstimmungbringung mit einer Vorlage umfassen, um die entsprechenden interessierenden Punkte in dem vorherigen Bild zu finden, z. B. Lucas-Kanade oder Horn-Schunck. Vorzugsweise werden die Vorlagen benachbart zu einem interessierenden Punkt in einem momentanen Bild mit Vorlagen benachbart zu einem interessierenden Punkt in einem vorherigen Bild verglichen. Wenn die Programmierung einer Inübereinstimmungbringung mit einer Vorlage ermittelt, dass die Vorlagen übereinstimmen, werden die interessierenden Punkte in den Satz von Paaren von in Übereinstimmung gebrachten Punkten einbezogen. Die resultierenden Paare von in Übereinstimmung gebrachten Punkten entsprechen einem gleichen Merkmal, das sich an sowohl dem momentanen Bild (k) als auch an dem vorherigen Bild (k – 1) befindet, wobei das gleiche Merkmal einem gleichen Objekt in der Ansicht zugeordnet ist.
13A und 13B zeigen ein beispielhaftes Paar von in Übereinstimmung gebrachten Punkten, wobei das Paar von in Übereinstimmung gebrachten Punkten einen interessierenden Punkt 531A von dem momentanen Bild (k) 530 und einen zweiten interessierenden Punkt 501A von dem vorherigen Bild (k – 1) 500 umfasst, und ein beispielhaftes Pixel-Gebiet, das die Punkte umgibt. Gemäß dem oben beschriebenen Verfahren ist ein Pixel-Gebiet 535 um den interessierenden Punkt 531A in 13A gezeigt. Wie oben beschrieben ist der interessierende Punkt 531A ein an einer Ecke des Teilabschnitts 505 zwischen Abschnitten des Randsteins 520 identifizierter Punkt. Das Pixel-Gebiet 535 ist um den Punkt 531A ausgewählt und umfasst vorzugsweise erkennbare Merkmale, Strukturen oder Muster, die verwendet werden können, um das Gebiet positiv zu identifizieren. 13B zeigt auf ähnliche Weise den interessierenden Punkt 501A und ein Pixel-Gebiet 540 um den interessierenden Punkt. Wegen der Änderung der Perspektive zwischen Bild 500 und Bild 530 ist es möglich, dass das Pixel-Gebiet 535 und das Pixel-Gebiet 540 einige Unterschiede umfassen können, wobei jedoch bei einer Anwendung von oben beschriebenen Verfahren ein Vergleich der Pixel-Gebiete und ein Identifizieren der Merkmale darin als ein Verfahren verwendet werden können, um mit einer Konfidenz zu bestätigen, dass die interessierenden Punkte 531A und 501A innerhalb der in den Bildern 500 und 530 erfassten Ansicht das gleiche Merkmal darstellen und als in Übereinstimmung gebrachtes Paar behandelt werden können.
Nach der Ermittlung der Paare von in Übereinstimmung gebrachten Punkten wählt das Verarbeitungsmodul 120 durch Anwenden von Filtern, die Paare von in Übereinstimmung gebrachten entsprechenden Punkten mit geringer Qualität, die schlecht in Übereinstimmung gebrachte oder nicht in Übereinstimmung gebrachte Paare angeben, entfernen, bevorzugte Paare von in Übereinstimmung gebrachten Punkten mit hoher Qualität aus dem Satz von Paaren von in Übereinstimmung gebrachten Punkten aus, wie es oben in dem beispielhaften Schritt 112 beschrieben ist. Die bevorzugten Paare von in Übereinstimmung gebrachten Punkten können auf der Grundlage von Qualitätssteuerkriterien ausgewählt werden. Bei einer Ausführungsform werden Paare von in Übereinstimmung gebrachten Punkten analysiert, und, wenn sie jedes Kriterium erfüllen, als bevorzugte Paare von in Übereinstimmung gebrachten Punkten identifiziert.
Ein erstes Kriterium ist erfüllt, wenn eine Distanz zwischen Punkten eines Paars von in Übereinstimmung gebrachten Punkten kleiner ist als ein Schwellenwert. Die Distanz wird auf der Grundlage des Orts der Punkte ermittelt, als wären sie an Koordinaten eines gleichen zweidimensionalen Bilds angeordnet. Der Schwellenwert kann vorbestimmt und ortsabhängig sein oder dynamisch auf der Geschwindigkeit des Fahrzeugs basieren. Ein zweites Kriterium ist erfüllt, wenn beide Punkte eines Paars von in Übereinstimmung gebrachten Punkten eine vorbestimmte Schwellenwertdistanz von einer Bildgrenze entfernt sind. Aufgrund der Perspektive der Kamera zu Objekten an den Rändern der Bildgrenze und der Fahrzeugbewegung können Punkte, die zu nahe an dem Rand liegen, entweder keinen entsprechenden Punkt lokalisieren, der sich außerhalb der Perspektive der Kamera befinden kann, oder können sie verzerrte Schätzwerte von Objektorten erzeugen. Ferner ist die Wahrscheinlichkeit, dass ein Fahrzeug eine Information bezüglich eines freien Pfads in Richtung der Grenzen der Ansicht benötigt, bei einem normalen Fahrzeugbetrieb in Vorwärtsrichtung gering. Ein drittes Kriterium ist erfüllt, wenn eine Farbdifferenz zwischen einem vorbestimmten Bereich benachbart zu jedem Punkt eines Paars von in Übereinstimmung gebrachten Punkten kleiner ist als eine Schwellenwertfarbdifferenz. Unter Verwendung der in 13 definierten beispielhaften Pixel-Gebiete kann eine Farbdifferenz zwischen den Pixel-Gebieten 535 und 540 verwendet werden, um die Konfidenz des in Übereinstimmung gebrachten Paars zu erhöhen. Jedem Pixel innerhalb jedes der Gebiete kann auf der Grundlage seiner entsprechenden Farbe ein Zahlenwert zugeordnet werden. Die zugeordnete Zahl kann auf einem Bitwert basieren, der während der Erfassung des Bilds ermittelt wird, oder kann auf einer indizierten Farbe in Bezug auf eine vorbestimmte Palette basieren. Das Verarbeitungsmodul 120 berechnet absolute Differenzen zwischen den zugeordneten Zahlenwerten innerhalb des ersten Bereichs 501 und des zweiten Bereichs 502 Pixel für Pixel und summiert die Differenzen, was die Farbdifferenz liefert. Die Differenz wird mit der Schwellenwertdifferenz verglichen. Wenn die Differenz kleiner als die Schwellenwertdifferenz ist, ist das dritte Kriterium erfüllt. Die Schwellenwertfarbdifferenz kann durch ein beliebiges Verfahren ausgewählt werden, das ausreicht, um ein genaues Straßenvorhandensein oder eine Schätzung eines freien Pfads zu kalibrieren. Auf der Grundlage von Beleuchtungsniveaus außerhalb des Fahrzeugs, des Wetters, der Geschwindigkeit des Fahrzeugs oder beliebiger anderer Faktoren, die eine genaue Schätzung des Vorhandenseins eines freien Pfads auf der Grundlage von Farbdifferenzen beeinflussen, können verschiedene Schwellenwertfarbdifferenzen verwendet werden. Durch Beurteilen, ob die Bereiche um die interessierenden Punkte ähnlich sind, kann beurteilt werden, ob in beiden Bildern der gleiche Bereich, der das durch die interessierenden Punkte dargestellte Merkmal umfasst, analysiert wird.
Es sei angemerkt, dass die drei oben beschriebenen Kriterien beispielhafte Kriterien sind, die nützlich sind, um in Übereinstimmung gebrachte Paare zu beurteilen, wobei jedoch ein Teil dieser Kriterien oder zusätzliche nicht genannte ähnliche Kriterien verwendet werden können, um die Gültigkeit von in Übereinstimmung gebrachten Paaren zu beurteilen. Eine Auswahl von Kriterien zum Beurteilen von in Übereinstimmung gebrachten Paaren kann ferner auf der Grundlage von Bedingungen, wie das außerhalb des Fahrzeugs vorhandene Beleuchtungsniveau, das Wetter, die Geschwindigkeit des Fahrzeugs und beliebigen anderen Faktoren getroffen werden, die die Fähigkeit des Beurteilens von in Übereinstimmung gebrachten Paaren oder eine Dringlichkeit, einen freien Pfad schnell und genau zu definieren, beeinflussen.
Nach der Auswahl der bevorzugten Paare von in Übereinstimmung gebrachten Punkten ermittelt das Verarbeitungsmodul 120 Positionen mehrerer den Merkmalen von Objekten in der Ansicht zugeordneter Punkte in Bezug auf das Fahrzeug 100, wie es in dem beispielhaften Schritt 115 oben beschrieben ist. 14 zeigt graphisch die Verwendung eines beispielhaften momentanen Bilds, eines beispielhaften vorherigen Bilds und des Betriebs eines Host-Fahrzeugs zum Ermitteln der Position eines gesehenen Merkmals. Die Objektposition in einem horizontalen Referenzrahmen und eine Höhe des Objekts im Vergleich zu einem Bodenniveau können auf der Grundlage des bevorzugten Satzes von Paaren von in Übereinstimmung gebrachten Punkten innerhalb der sequentiellen Bilder 317 und 327 (das in dieser Figur durch die Punkte 1 und 2 gezeigte in Übereinstimmung gebrachte Paar), einer Distanz (d), die das Fahrzeug 100 von einer ersten Position 310 zu einer zweiten Position 320 zurückgelegt hat, und einer Fahrzeuggier (θ) ermittelt werden. Das Verarbeitungsmodul 120 führt eines von verschiedenen bekannten Triangulationsverfahren zum Ermitteln der Position des Punkts in Bezug auf das Fahrzeug 100 und einer Höhe des Punkts aus. In 14 ist ein Sichtfeld 315 von 310 einschließlich eines Bilds k – 1 317 gezeigt, und ist ein Sichtfeld 325 von 320 einschließlich eines Bilds k 327 gezeigt. Die Distanz d ist als eine Distanz beschreibend gezeigt, die ein Beobachter zwischen den Punkten 310 und 320 zurückgelegt hat. Die Linien, die in Längsrichtung zu den Sichtfeldern 315 und 325 ausgerichtet sind, sind durch die Linien 312 bzw. 322 dargestellt. Eine Winkeländerung der Ausrichtung oder Gier (θ) ist als einen Winkel zwischen den Linien 312 und 322 beschreibend gezeigt. Die Distanz d kann durch ein beispielhaftes Fahrzeug durch Verfolgen der Geschwindigkeit des Fahrzeugs über eine Abtastzeit zwischen dem Zeitpunkt bei 310 und dem Zeitpunkt bei 320 ermittelt werden. Ähnlich kann θ durch Verfolgen einer Gierrate des Fahrzeugs über die Abtastzeit ermittelt werden. Das gesehene Objekt 305 ist gezeigt, und es sind die Linien 318 und 328 gezeigt, die Sichtlinien von den Punkten 310 bzw. 320 zu dem Objekt 305 beschreiben. Die Punkte 1 und 2 sind an den Bildern 317 und 327 gezeigt, wobei die Linien 318 und 328 die Bilder 317 bzw. 327 schneiden. Eine Distanz (a) kann als einen Ort des Punkts 1 an dem Bild 317 beschreibend definiert werden, und die Distanz (b) kann als einen Ort des Punkts 2 an dem Bild 327 beschreibend definiert werden. Es sei angemerkt, dass 14 eine Draufsicht darstellt, wobei eine Position des Objekts 305 in einer horizontalen Ebene definiert werden kann, und ähnliche Berechnungen in einer Seitenansicht der gleichen Objekte verwendet werden können, um eine vertikale Position des Objekts 305 in Bezug auf ein bekanntes Bodenniveau für den Beobachter zu definieren. Durch Anwenden von weithin bekannten Triangulationsverfahren können Positionsdaten, wie beispielsweise die Distanzen a und b von sequentiellen Bildern und Fahrzeugdaten, wie beispielsweise Fahrzeuggeschwindigkeit, Fahrzeuggierrate, und die Abtastzeit verwendet werden, um eine Position eines gesehenen Objekts in Relation zu dem Fahrzeug zu lokalisieren und eine relative Bewegung des Objekts in Relation zu dem Fahrzeug zu ermitteln. Diese Triangulationsverfahren können eine Position des Objekts in einer horizontalen Ebene und eine Höhe des Objekts in Relation zu einem Bodenniveau liefern.
Sobald die Position und die Höhe ermittelt sind, kann das Verarbeitungsmodul 120 die Punkte an einer Draufsichtabbildung wie in dem beispielhaften Schritt 118 oben beschrieben darstellen. 15 zeigt graphisch eine beispielhafte Draufsichtabbildung, die vertikale Positionen von interessierenden Punkten bei x- und y-Koordinaten vor dem Host-Fahrzeug beschreibt. Die Position <0,0> an der x-Achse und an der y-Achse entspricht der zweiten Position 320 des Fahrzeugs 100, die hierin oben beschrieben ist, oder der momentanen Position des Fahrzeugs 100. Vorzugsweise wird eine Objekthöhe in vorbestimmten Kategorien klassifiziert. Beispielsweise können Objekte mit minimaler Höhe, z. B. unter einem vorbestimmten Schwellenwert, als Boden klassifiziert werden, können Objekte, die die Bodenhöhe übersteigen, jedoch kleiner als ein zweiter vorbestimmter Schwellenwert sind, in einer zweiten Kategorie klassifiziert werden, die in der Nähe der Fahrzeughöhe liegt und vorzugsweise geringer als diese ist, und können Objekte, die größer als der zweite vorbestimmte Schwellenwert sind, in einer dritten Kategorie klassifiziert werden. Wie es 15 zeigt, werden Objekte mit minimaler Höhe als Boden (Boden) klassifiziert, werden Objekte, die die Bodenhöhe übersteigen, jedoch kleiner als ein 2-Meter-Schwellwert sind, in der zweiten Kategorie (kleiner als 2 m) klassifiziert, und werden Objekte, die größer als der 2-Meter-Schwellenwert sind, in der dritten Kategorie (größer als 2 m) klassifiziert.
Nach dem Darstellen der Objekte an der Abbildung detektiert das Verarbeitungsmodul 120 auf der Grundlage von in der Abbildung dargestellten Merkmalen einen freien Pfad, wie es in dem beispielhaften Schritt 121 oben beschrieben ist. Der Begriff ”freier Pfad” soll, wie er hierin verwendet wird, für einen Fachmann eine gewöhnliche und übliche Bedeutung darstellen (und ist nicht auf eine spezielle oder spezifisch angepasste Bedeutung beschränkt) und bezieht sich ohne Einschränkung auf einen Pfad, der frei von Objekten ist, die einen Schwellenwert übersteigen, z. B. einen Pfad, der frei von Objekten ist, die in der oben erwähnten zweiten und dritten Kategorie klassifiziert sind. Die Merkmale von Objekten, die in vorbestimmten Kategorien, z. B. der hierin oben beschriebenen zweiten und dritten Kategorie, klassifiziert sind, werden durch das Verarbeitungsmodul 120 als nicht freie Bereiche, d. h. für die Fahrzeugfahrt nicht erwünscht, identifiziert. Vorzugsweise wird ein vorbestimmter Bereich benachbart zu jedem in den vorbestimmten Kategorien klassifizierten Objekt durch das Verarbeitungsmodul 120 als nicht freier Bereich identifiziert. Das Verarbeitungsmodul 120 kann unter Verwendung eines von mehreren Verfahren ermitteln, dass ein freier Pfad an der Abbildung vorhanden ist. Ein erstes Verfahren zum Ermitteln eines freien Pfads umfasst das Vergleichen eines erwarteten Pfads mit der Abbildung, die die nicht freien Bereiche umfasst. Wenn sich der erwartete Pfad nicht mit irgendwelchen nicht freien Bereichen schneidet, ermittelt das Verarbeitungsmodul 120, dass der erwartete Pfad ein freier Pfad ist. Wenn sich der erwartete Pfad jedoch mit einem nicht freien Bereich schneidet, ermittelt das Verarbeitungsmodul 120, dass kein freier Pfad vorhanden ist. Ein zweites Verfahren zum Ermitteln eines freien Pfads umfasst das Verwenden der nicht freien Bereiche in der Abbildung zum Ermitteln eines freien Pfads. Jeder Pfad, der die nicht freien Bereiche nicht schneidet, kann als freier Pfad verwendet werden.
Das obige Verfahren verwendet sequentielle Bilder zum Herstellen einer Abbildung von Objektpositionen und vertikalen Höhen vor dem Fahrzeug, so dass ein freier Pfad definiert werden kann. Es sei angemerkt, dass bei dieser bestimmten Analyse in beliebigen zwei gegebenen Bildern ein bestimmtes Objekt nicht als zwei interessierende Punkte mit hoher Qualität umfassend, die für eine Abbildung ausreichen, klassifiziert werden könnte. Die obige Analyse findet jedoch mehrere Male pro Sekunde bei der Fahrzeugfahrt statt. Wenn sich das Fahrzeug auf dem freien Pfad vorwärts bewegt, werden unterschiedliche Perspektiven auf ein Objekt erlangt und wird eine große Anzahl von Bildern analysiert. Eine Fahrt auf einem Pfad und eine Analyse der mehreren iterativen Bilder auf diesem Pfad bauen durch die Analysen eine Konfidenz auf, dass kein Objekt, das dem freien Pfad widerspricht, auf dem identifizierten freien Pfad existiert.
16 zeigt ein zweites Verarbeitungsschema zum Detektieren eines freien Pfads. Während das erste hierin beschriebene Verarbeitungsschema Verfahren einer reichen Struktur verwendet, die Pixel-Merkmale, die bestimmte interessierende Punkte beschreiben, auf der Grundlage einer Kontextansicht innerhalb des Bilds analysieren, kann das zweite offenbarte Verarbeitungsschema als beispielhaftes Verfahren einer nicht vorhandenen Struktur zur Bildanalyse beschrieben werden, das aus einem Bild nicht konforme Gebiete des Bilds als nicht zu einer planaren, konsistenten Fahrbahn gehörend filtert. Durch Filtern von nicht konformen Gebieten aus einem Bild kann eine freie Fläche aus dem verbleibenden Bild als potentieller freier Pfad für die Fahrt des Fahrzeugs identifiziert werden. Ein Prozess 250 ist in 16 gezeigt und hierin als diskrete Elemente umfassend beschrieben. Solch eine Darstellung dient der Vereinfachung der Beschreibung, und es sei angemerkt, dass die durch diese Elemente durchgeführten Funktionen in einer oder mehreren Einrichtungen kombiniert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Beispielsweise kann der Prozess 250 in dem Verarbeitungsmodul 120 als ein oder mehrere Algorithmen ausgeführt werden. Der Prozess 250 zum Detektieren eines freien Pfads umfasst das Erzeugen mehrerer gefilterter Bilder und das Vereinigen der gefilterten Bilder, um einen freien Pfad zu ermitteln.
Es wird ein beispielhafter Prozess 250 offenbart, der die Schritte umfasst, um ein beispielhaftes Verfahren einer nicht vorhandenen Struktur zur Detektion eines freien Pfads einzusetzen. Der Prozess 250 beginnt in Schritt 253, in dem Bilder erzeugt werden. Die Schritte 256, 259, 262 und 265 beschreiben alternative beispielhafte Verfahren zum Filtern eines Bilds, um einen Ort eines freien Pfads einschließlich einer Fahrbahn zu identifizieren. Es sei angemerkt, dass jedes der Verfahren das Bild auf eine Art verarbeitet, um beim Identifizieren des freien Pfads zu helfen. Es könnte ein Prozess mit einem Teil der vier beispielhaften Verfahren eingesetzt werden, oder es könnte ein Prozess eingesetzt werden, der nicht genannte, jedoch ähnliche Verfahren umfasst, um das Bild zu verarbeiten. Es kann jedes Verfahren eingesetzt werden, das innerhalb eines Bilds eine frei Fläche, an der eine Fahrbahn geschätzt werden kann, von anderen Teilen des Bilds filtert, die keine potentielle Fahrbahn angeben. Schritt 256 wendet ein beispielhaftes Verfahren zum Filtern eines Bereichs unter einem Horizont oder Fluchtpunkt, der eine Fahrbahn, auf der gefahren werden kann, umfasst, von einem Bereich über dem Horizont oder Fluchtpunkt an, der den Himmel und andere vertikale Merkmale umfasst, die kein Teil einer Fahrbahn sein können. Schritt 259 wendet ein Filter auf der Grundlage der Abweichung der Pixel-Intensität basierend auf der Prämisse an, dass eine Fahrbahn eine große Fläche mit einer visuellen Intensität umfasst, die über der Fläche sehr einheitlich ist. Schritt 262 wendet ein Filter auf der Grundlage eines Differenzierens sequentieller Bilder an, was eine Analyse von Änderungen zwischen den Bildern ermöglicht. Schritt 265 wendet ein Filter auf der Grundlage eines Identifizierens von Pixeln an, die Kanten oder Übergänge in den visuellen Daten darstellen. Bei einem parallelen Anwenden der verschiedenen Verfahren können die Ergebnisse in einer einzelnen Abbildung des Bilds in Schritt 268 vereinigt werden und in Schritt 271 hinsichtlich visueller Daten, die einen freien Fahrpfad angeben, analysiert werden.
Unter Verwendung eines Fluchtpunkts wird ein erstes gefiltertes Bild erzeugt, was in dem beispielhaften Schritt 256 oben beschrieben wird. Der Begriff ”Fluchtpunkt”, wie er hierin verwendet wird, ist ein breiter Begriff und stellt für Fachleute seine gewöhnliche und übliche Bedeutung dar und bezieht sich auf einen unendlich weit entfernten Punkt am Horizont, der von einer Vielzahl von parallelen Linien am Boden in der Ansicht geschnitten wird. Eine Fahrbahn, die einen freien Pfad erzeugt, auf dem gefahren werden soll, muss notwendigerweise unter dem Fluchtpunkt oder der Horizontlinie identifiziert werden. Ein Filtern von Bildern nur zum Analysieren eines Bereichs unter der Horizontlinie hilft beim Abgrenzen der Pixel, die zum Identifizieren einer Fahrbahn analysiert werden, von irrelevanten Pixeln. Ein Fachmann wird erkennen, dass es viele bekannte Verfahren zum Ermitteln eines Fluchtpunkts und einer entsprechenden Horizontlinie gibt. Ein bekanntes Verfahren umfasst das Ermitteln des Fluchtpunkts auf der Grundlage eines Punkts, an dem sich die Spurmarkierungen links und rechts eines Host-Fahrzeugs schneiden. Die Horizontlinie wird auf der Grundlage des Fluchtpunkts ermittelt. Das erste gefilterte Bild besteht aus Pixeln an dem momentanen Bild unter der Horizontlinie.
Das Verarbeitungsmodul 120 erzeugt auf der Grundlage der Pixel-Farbintensität der mehreren Pixel, die das momentane Bild (k) umfassen, ein zweites gefiltertes Bild, wie es oben in dem beispielhaften Schritt 259 beschrieben ist. 17 zeigt ein beispielhaftes zweites gefiltertes Bild auf der Grundlage der Pixel-Farbintensität. Das zweite gefilterte Bild umfasst aus den mehreren Pixeln ausgewählte Pixel. Es wird eine Anzahl von Verfahren zum Filtern von Pixeln betrachtet. Das Verarbeitungsmodul 120 vergleicht jeden Farbintensitätswert eines Pixels mit einem zugeordneten Farbverteilungsmittelwert, z. B. einem Verteilungsmittelwert einer roten, grünen und blauen Farbe. Die Farbverteilungsmittelwerte umfassen eine mittlere Farbintensitätsverteilung für eine zugeordnete Farbintensität, die Pixeln zugeordnet ist, die zuvor auf freien Pfaden identifiziert wurden. Die Farbverteilungsmittelwerte können ferner auf historisch erfassten Farbverteilungsmittelwerten von Pixeln eines freien Pfads der zugeordneten Farben basieren. Es wird ein Pixel für das zweite gefilterte Bild ausgewählt, wenn jeder Farbintensitätswert des Pixels kleiner ist als ein Farbintensitätsschwellenwert von dem zugeordneten Farbverteilungsmittelwert. Wenn ein Farbintensitätswert des Pixels größer als ein Farbintensitätsschwellenwert von dem zugeordneten Farbverteilungsmittelwert ist, wird das Pixel von dem zweiten gefilterten Bild ausgeschlossen. Der Farbverteilungsmittelwert für die zugeordnete Farbintensität ist ein in dem Bild verteilter mittlerer Farbintensitätswert. Die Farbverteilungsmittelwerte werden anfänglich ermittelt. Bei einer Ausführungsform passt das Verarbeitungsmodul 120 den Farbverteilungsmittelwert für jede zugeordnete Farbintensität auf der Grundlage der Farbintensitätsverteilungen in einer vorbestimmten Anzahl von Bildern an.
Wie hierin oben beschrieben umfasst jedes Pixel mehrere Farbintensitätswerte. Vorzugsweise wird der Farbintensitätswert mit dem zugeordneten Farbverteilungsmittelwert verglichen. Beispielsweise wird für ein unter Verwendung des RGB-Farbmodells erzeugtes Pixel ein einer roten Farbintensität zugeordneter erster Bitsatz mit dem der roten Farbintensität zugeordneten Farbverteilungsmittelwert verglichen, wird der der grünen Farbintensität zugeordnete Bit-Satz mit dem der grünen Farbintensität zugeordneten Farbverteilungsmittelwert verglichen und wird der der blauen Farbintensität zugeordnete Bit-Satz mit dem der blauen Farbintensität zugeordneten Farbverteilungsmittelwert verglichen. Wenn die Differenz zwischen jeder Farbintensität, die das Pixel umfasst, und dem zugeordneten Farbverteilungsmittelwert kleiner ist als ein Farbintensitätsschwellenwert, wird das Pixel für das zweite gefilterte Bild verwendet.
Unter Verwendung des RGB-Farbmodells umfasst jedes Pixel einen ersten, einen zweiten und einen dritten Farbintensitätswert. Eine erste Farbintensität ist eine rote Intensität, eine zweite Farbintensität ist eine grüne Intensität und eine dritte Farbintensität ist eine blaue Intensität. Das Pixel für das zweite gefilterte Bild wird aus den mehreren Pixeln, die das momentane Bild (k) umfassen, ausgewählt, wenn die Differenz zwischen einer roten Intensität des Pixels und einem Verteilungsmittelwert einer roten Farbe kleiner ist als ein Schwellenwert einer roten Intensität und die Differenz zwischen einer grünen Intensität des Pixels und einem Verteilungsmittelwert einer grünen Farbe kleiner ist als ein Schwellenwert einer grünen Intensität und die Differenz zwischen einer blauen Intensität des Pixels und einem Verteilungsmittelwert einer blauen Farbe kleiner ist als ein Schwellenwert einer blauen Intensität. Die folgende Gleichung drückt diesen Prozess unter Verwendung des RGB-Farbmodells aus: |R – RM| < thresholdR und |G – GM| < thresholdG und |B – BM| < thresholdB (4)wobei

R: eine rote Farbe ist,
G: eine grüne Farbe ist,
B: eine blaue Farbe ist,
R_M: ein Farbverteilungsmittelwert für die rote Farbe ist,
G_M: ein Farbverteilungsmittelwert für die grüne Farbe ist,
B_M: ein Farbverteilungsmittelwert für die blaue Farbe ist,
threshold_R: ein Schwellenwert einer roten Intensität ist,
threshold_G: ein Schwellenwert einer grünen Intensität ist, und
threshold_B: ein Schwellenwert einer blauen Intensität ist.

Ein Fachmann wird erkennen, dass die obige Gleichung 4 ausgestaltet sein kann, um mit mehreren anderen Farbmodellen verwendet zu werden, die das CMYK-, das YUV- und das LAB-Farbmodell umfassen.
Das Verarbeitungsmodul 120 erzeugt ein drittes gefiltertes Bild unter Verwendung des momentanen Bilds (k) und des vorherigen Bilds (k – 1) durch Differenzieren der Bilder, wie es in dem beispielhaften Schritt 262 oben beschrieben ist. Bei einem beispielhaften Prozess zum Erzeugen eines differenzierten Bilds wird ein drittes gefiltertes Bild als eine Bilddifferenz des momentanen Bilds (k) und des vorherigen Bilds (k – 1) erzeugt und umfasst es einen Pixel-für-Pixel-Vergleich, der die Differenz zwischen dem momentanen Bild (k) und dem vorherigen Bild (k – 1) darstellt. Solch ein Prozess ist oben in Verbindung mit 6A–6C beschrieben. Ein erstes Verfahren zum Ermitteln des dritten gefilterten Bilds umfasst das Ermitteln einer Differenz zwischen einzelnen Pixeln an einem momentanen Bild (k) und entsprechenden einzelnen Pixeln an dem vorherigen Bild (k – 1). Die Differenz kann durch Subtrahieren von einem Pixel zugeordneten Farbintensitätswerten von entsprechenden Farbintensitätswerten zum Ermitteln einer Farbintensitätsdifferenz ermittelt werden, z. B. Subtrahieren des Werts einer roten Farbintensität eines ersten Pixels an dem momentanen Bild (k) von dem Wert einer roten Farbintensität eines ersten Pixels an dem vorherigen Bild (k – 1). Die resultierende Farbintensitätsdifferenz umfasst den Pixel-Wert und entspricht der Differenz zwischen dem Pixel an dem momentanen Bild (k) und dem vorherigen Bild (k – 1). Jeder Pixel-Wert kann in einem Array gespeichert werden, das dem dritten gefilterten Bild entspricht. Bei einer Ausführungsform wird ein Absolutwert der Differenz ermittelt und in dem Array gespeichert. Das resultierende Array umfasst Werte, die die Differenz zwischen den beiden Bildern darstellen, und umfasst die Bilddifferenz. Nach dem Ermitteln des Arrays entfernt das Verarbeitungsmodul 120 Werte, die Pixel darstellen, die sich um weniger als den vorbestimmten Schwellenwert geändert haben. Die resultierenden Werte können bei einer Ausführungsform durch einen vorbestimmten Wert, z. B. Eins, ersetzt werden, um an einem resultierenden Bild eine deutliche Abbildung von identifizierten Differenzen zwischen den beiden verwendeten Bildern darzustellen.
Es wird ein zweites beispielhaftes Verfahren zum Ermitteln des dritten gefilterten Bilds auf der Grundlage eines Differenzierens von Bildern beschrieben. Durch Vergleichen des momentanen Bilds (k) mit einem bewegungsangepassten vorherigen Bild (k – 1) kann eine Ermittlung vorgenommen werden, und die Differenzen zwischen diesen Bildern können verwendet werden, um Objekte abzubilden, die nicht in ein bestimmtes Modell passen, das zum Erzeugen des bewegungsangepassten Bilds verwendet wird. Ein beispielhaftes Modell zum Erzeugen des bewegungsangepassten Bilds umfasst das Verwenden von Triangulationsverfahren, wie beispielsweise die Verfahren, die in Verbindung mit 14 beschrieben sind, einer Information bezüglich der Bewegung des Fahrzeugs und einer Annahme, dass sich alle detektierten Punkte auf Bodenniveau befinden, um eine Bewegung von Objekten in dem vorherigen Bild (k – 1) vorherzusagen. Durch Verwenden einer Annahme, dass sich alle Objekte in dem Bild auf Bodenniveau befinden, sind die Vorhersagen der Bewegung der Objekte in dem resultierenden Bild konsistent mit dem vorherigen Bild, das als ein vollständig flaches Bild auf Bodenniveau existiert. Ein Vergleich dieses resultierenden bewegungsangepassten vorherigen Bilds (k – 1) mit dem tatsächlichen momentanen Bild (k), das perspektivische Änderungen der Objekte, die sich nicht auf Bodenniveau befinden, umfasst, ermöglicht eine Identifikation aller Objekte oder Merkmale in den betrachteten Bildern, die sich nicht auf Bodenniveau befinden. Durch Subtrahieren von Pixeln in den verglichenen Bildern, beispielsweise gemäß dem ersten beispielhaften Prozess zum Ermitteln des dritten gefilterten Bilds, der oben beschrieben ist, können Pixel, die Objekte darstellen, die sich nicht auf Bodenniveau befinden, durch die Werte, die nicht Null sind, oder die Werte, die einen bestimmten Schwellenwert übersteigen, identifiziert werden. Auf diese Weise kann das Verarbeitungsmodul 120 das dritte gefilterte Bild wie hierin oben beschrieben unter Verwendung des momentanen Bilds (k) und des bewegungsangepassten vorherigen Bilds anstatt des vorherigen Bilds (k – 1) ermitteln.
Das Verarbeitungsmodul 120 erzeugt auf der Grundlage der Farbintensitätswerte der mehreren Pixel, die das momentane Bild (k) umfassen, ein viertes gefiltertes Bild, wie es in dem beispielhaften Schritt 265 oben beschrieben ist. 18 zeigt ein viertes gefiltertes Bild unter Verwendung eines Kantenerkennungsverfahrens. Das vierte gefilterte Bild umfasst Kanten des momentanen Bilds (k). Um das vierte gefilterte Bild zu erzeugen, extrahiert das Verarbeitungsmodul 120 Pixel von dem Bild auf der Grundlage von Farbintensitätswerten, die den Kanten entsprechen, unter Verwendung eines von verschiedenen bekannten Kantendetektionsfiltern, z. B. eines Sobel-Filters. Das Kantendetektionsfilter wird vorzugsweise in dem Verarbeitungsmodul 120 ausgeführt, kann jedoch in einer oder mehreren Einrichtungen kombiniert sein, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Bei einer Ausführungsform wird jedes Pixel unter Verwendung eines Sobel-Operators analysiert. Der Sobel-Operator berechnet einen Gradientenvektor einer Farbintensität an jedem Pixel, was zu einer Richtung des größtmöglichen Anstiegs von Hell nach Dunkel und der Änderungsrate in dieser Richtung führt. Punkte, die einer Änderungsrate entsprechen, die einen Schwellwert übersteigt, und Gradientenvektoren bei nahe gelegenen Pixeln entsprechen, geben Kanten an und sind in dem vierten gefilterten Bild umfasst. Jene Pixel können durch eine vorbestimmte Pixel-Farbe, z. B. Schwarz, ersetzt werden.
Nach dem Erzeugen der mehreren gefilterten Bilder vereinigt das Verarbeitungsmodul 120 die gefilterten Bilder, um Pixel-Orte zu ermitteln, die einem freien Pfad entsprechen, wie es in dem beispielhaften Schritt 268 beschrieben ist. Das vereinigte gefilterte Bild umfasst ein Bild, das Pixel enthält, die in allen der mehreren gefilterten Bilder enthalten sind, d. h., nur Pixel, die an einem bestimmten Pixel-Ort in jedem der mehreren gefilterten Bilder enthalten sind, sind in dem vereinigten gefilterten Bild umfasst. Das Vereinigen der gefilterten Bilder umfasst das Ermitteln von Pixel-Orten, die an jedem der mehreren gefilterten Bilder umfasst sind. Jeder Pixel-Ort wird mit entsprechenden Pixel-Orten an jedem der gefilterten Bilder verglichen. Wenn jedes der mehreren gefilterten Bilder ein Pixel an einem entsprechenden Pixel-Ort enthält, ist dieses Pixel an einer Abbildung eines vereinigten freien Pfads, die eine freie Fläche auf der Straße darstellt, umfasst. Der vereinigte freie Pfad wird verwendet, um einen freien Pfad für das Fahrzeug 100 zu detektieren. Pixel an der Abbildung eines vereinigten freien Pfads entsprechen gewünschten Fahrtorten in der Ansicht. Die Orte an der Abbildung eines vereinigten freien Pfads ohne Pixel entsprechen unerwünschten Fahrtorten in der Ansicht.
Der in 16 beschriebene Prozess 250 wendet verschiedene Verfahren parallel auf Bilder an, um Merkmale in einer Ansicht zu identifizieren, die für ein Definieren eines freien Pfads relevant sind. Es sei jedoch angemerkt, dass diese Verfahren nicht parallel durchgeführt werden müssen, sondern dass die Verfahren stattdessen verwendet werden können, um Bilder sequentiell schrittweise zu verarbeiten, um Merkmale in einer Ansicht zu identifizieren, die für ein Definieren eines freien Pfads relevant sind. Ein beispielhafter Prozess 600 für das zweite Verarbeitungsschema ist in 19 gezeigt. Der Prozess 600 beginnt durch Erzeugen einer Sequenz von Bildern in Schritt 603. Jedes Bild wird parallel an zwei Schritte übermittelt, und die Ergebnisse von den beiden Schritten werden vereinigt und für die nachfolgenden Schritte in dem Prozess zur Verfügung gestellt. Die parallelen Schritte umfassen Schritt 606, in dem ein erstes Bild ge mäß einem Filtern von Pixeln durch das oben beschriebene Fluchtpunktverfahren gefiltert wird, um die Teile der Bilder von der Verarbeitung zu filtern, die keine Fahrbahn darstellen können, und Schritt 609, in dem ein zweites gefiltertes Bild durch Filtern von Pixeln gemäß der Intensität wie oben beschrieben verwendet wird, um Abschnitte der Bilder von der Verarbeitung zu filtern, die mit einer Fahrbahn inkonsistente Merkmale beschreiben. In Schritt 612 wird ein vereinigtes Bild des ersten gefilterten Bilds und des zweiten gefilterten Bilds erzeugt, wobei das vereinigte Bild nur einen Abschnitt des Bilds unter dem Fluchtpunkt umfasst und Pixel mit einer mit einer Fahrbahn konsistenten Intensität umfasst. In Schritt 615 werden sequentielle vereinigte Bilder verwendet, um unter Verwendung eines der oben beschriebenen Differenzierungsverfahren ein drittes gefiltertes Bild zu erzeugen. In Schritt 618 wird das dritte gefilterte Bild verwendet, um unter Verwendung der oben beschriebenen Kantenextraktionsverfahren ein viertes gefiltertes Bild zu erzeugen. Die Ergebnisse des Prozesses 600 können dann hinsichtlich visueller Daten, die einen freien Fahrpfad angeben, analysiert werden.
Die Prozesse 250 und 600 zeigen zwei beispielhafte Anordnungen, in denen Filterverfahren in Kombination verwendet werden können, um eine Sequenz von Bildern zu verarbeiten, um einen freien Pfad zu identifizieren. Es sei jedoch angemerkt, dass solche Kombinationen viele Formen annehmen können, Schritte in anderen Reihenfolgen angewandt werden können und weniger oder zusätzliche Filter in anderen Kombinationen verwendet werden können. Ferner können Filter selektiv verwendet werden oder können Konfigurationen von Prozessen selektiv verwendet werden, wobei beispielsweise verschiedene Kombinationen tagsüber verwendet werden und andere Nachts verwendet werden. Beispielsweise können einige Kombinationen weiterhin durch Scheinwerfer beleuchtete Fahrbahnen analysieren, während andere Verfahren ohne eine vollständig be leuchtete Sicht nicht nützlich sein könnten. Bei einem anderen Beispiel können andere Kombinationen verwendet werden, wenn Regen oder Schnee auf der Straße liegt. Beispielsweise könnten einige Verfahren und Analyseverfahren bei einer leichten Schneedecke weiterhin nützlich sein, die beispielsweise Reifenspuren im Schnee als potentielle freie Pfade identifizieren, wohingegen andere Verfahren nicht nützlich sein könnten, wenn eine weiße Decke die meisten identifizierbaren Merkmale verdeckt. Bei einem anderen Beispiel können andere Kombinationen verwendet werden, wenn eine zusätzliche Information zur Verfügung gestellt wird, wobei beispielsweise Infrarot-, Radar- oder GPS-Daten ein Filtern der Bilder auf der Grundlage der zusätzlichen Information erweitern oder vereinfachen. Es wird eine Anzahl von Kombinationen von Filterverfahren betrachtet, und die Offenbarung soll nicht auf die bestimmten hierin beschriebenen Ausführungsformen beschränkt sein.
Oben wurden ein erstes Verarbeitungsschema, das Verfahren einer reichen Struktur einsetzt, und ein zweites Verarbeitungsschema, das Verfahren einer nicht vorhandenen Struktur einsetzt, beschrieben, wobei jedes Schema eine Identifikation von Straßenmerkmalen ermöglicht, die nützlich sind, um einen freien Pfad in der Sicht des Fahrzeugs zu beschreiben. Es sei jedoch angemerkt, dass eine einzelne Analyse auf der Grundlage eines der beiden Schemas mehrdeutige Ergebnisse liefern kann, wobei beispielsweise bestimmte Beleuchtungsbedingungen, Schatten von einem anderen Fahrzeug, eine durch Wärme verursachte Verzerrung der Fahrbahn oder andere ähnliche Probleme bewirken können, dass Teile einer Fahrbahn als nicht mit dem Rest der Fahrbahn konform fehlidentifiziert werden. Ein Verfahren zum Auflösen mehrdeutiger Ergebnisse wird durch Analysieren von iterativen Bildern erreicht, wenn das Fahrzeug entlang der Straße fährt. Es sei angemerkt, dass, wenn ein Fahrzeug entlang einer Straße fährt, Hunderte von Bildern eines bestimmten Teilabschnitts der Straße, die in einer schnellen Folge aufgenommen werden, analysiert werden können. Wenn das Fahrzeug vorwärts fährt, wird als Ergebnis unterschiedlicher Sichtperspektiven eine unterschiedliche Beleuchtung und Ausleuchtung der Fahrbahn beobachtet. Eine Fahrt auf einem Pfad und eine Analyse der mehreren iterativen Bilder auf diesem Pfad können durch die Analysen eine Konfidenz aufbauen, dass der bestimmte Abschnitt der Fahrbahn korrekt als freier Pfad geschätzt wird.
Ein anderes Verfahren zum Auflösen mehrdeutiger Ergebnisse eines der beiden Schemas ist, beide Schemas zu verwenden und die Ergebnisse zu vereinigen, wobei die Kombination der beiden Schemas zum Erhöhen der Konfidenz einer Identifikation eines freien Pfads verwendet wird. Jedes der Schemas hat hinsichtlich anderer Aspekte einer Detektion eines freien Pfads Vorteile gegenüber dem anderen Schema. Beispielsweise zeichnet sich das beispielhafte Verfahren einer reichen Struktur beim Detektieren von Objekten aus, die deutlich mit vielen Strukturen von dem Bodenniveau hervorstehen. Dieses Verfahren identifiziert positiv Objekte, die in verschiedenen Höhen detektiert werden können, und liefert eine Abbildung von Bereichen, in denen ein Fahrzeug nicht fahren sollte, damit die Objekte nicht mit dem Fahrzeug kollidieren. Bei einem anderen Beispiel zeichnet sich das beispielhafte Verfahren einer nicht vorhandenen Struktur beim Identifizieren eines Gebiets aus, in dem Pixel eine normal erscheinende Fläche identifizieren. Dieses Verfahren identifiziert positiv ein Gebiet, in dem es wahrscheinlich ist, dass eine Fahrbahn existiert, und es bildet die Grenzen dieser Fläche ab.
Das erste Schema und das zweite Schema können auf eine Anzahl von Arten vereinigt werden. Ein Bild mit identifizierten Punkten und ermittelten Höhen, das mit Verfahren einer reichen Struktur identifiziert wird, kann mit einem gefilterten Bild, das durch Verfahren einer nicht vorhan denen Struktur erzeugt wird, überlagert werden, und eine Vereinbarung der beiden Verfahren kann verwendet werden, um durch das überlagerte Bild einen freien Pfad zu definieren. Bei einem alternativen Verfahren zum Vereinigen der beiden Schemas können die Daten von beiden Schemas verwendet werden, um eine Information auf eine programmierte Draufsichtabbildung eines Bereichs vor dem Fahrzeug zu projizieren, und diese Draufsichtabbildung, die von einer Analyse der beiden Schemas erhaltene Daten umfasst, kann ein Aufbauen von Konfidenzhinweisen für Gebiete der Abbildung umfassen. Bei einem alternativen Verfahren zum Vereinigen der beiden Schemas kann ein Schema als primäres oder dominantes Schema verwendet werden und kann das zweite Schema verwendet oder aktiviert werden, um Gebiete in der Ansicht zu analysieren, die als mehrdeutig oder unklar identifiziert werden. Bei jedem Verfahren zum Vereinigen der beiden Schemas können die Stärken eines Verarbeitungsschemas verwendet werden, um die Schwächen des anderen Verarbeitungsschemas zu reduzieren. Wenn beide Schemas darin übereinstimmen, dass der Pfad frei ist, kann das Verarbeitungsmodul, das die Schemas einsetzt, mit erhöhter Konfidenz ermitteln, dass der Pfad für eine Fahrt des Fahrzeugs wünschenswert ist. Es wird eine Anzahl von Verfahren zum Vereinigen der identifizierten Schemas in Betracht gezogen, und die Offenbarung soll nicht auf die bestimmten hierin beschriebenen Ausführungsformen beschränkt sein. Ferner kann ein Schema oder können beide Schemas mit dem oben eingesetzten Verfahren kombiniert werden, das eine Analyse von Stücken verwendet.
Ein Fachmann wird erkennen, dass auf die erfassten Bilddaten eine Beleuchtungsnormalisierung angewandt werden kann. Eine Normalisierung ist ein Prozess, der den Bereich von Pixel-Intensitätswerten ändert. Der Zweck der Normalisierung ist, das Bild in einen Bereich zu bringen, der für einen Maschinenprozess geeigneter ist, um die Zuverlässigkeit zu verbessern. Beispielsweise wird jeder Pixel-Wert auf einen Mittelwert von Null und eine Einheitsvarianz normalisiert, um den Bildkontrast zu verbessern, insbesondere in einer Umgebung mit schwacher Beleuchtung, oder wenn der Kontrast aufgrund einer Blendung schlecht ist.
Die hierin oben beschriebenen Filter und Algorithmen können viele Formen annehmen. Die zum Extrahieren von Merkmalen verwendeten Filteralgorithmen durchsuchen oftmals die verfügbare visuelle Information hinsichtlich charakteristischer Muster in den Daten, wobei die Merkmale durch eine Spurausrichtung, einen Spurort, eine Farbe, Eckeneigenschaften, andere visuelle Attribute und gelernte Attribute definiert sind. Die Attribute können experimentell, empirisch, prädiktiv, durch Modellerstellung oder andere Techniken, die zum genauen Trainieren von unterscheidenden Attributen geeignet sind, entwickelt werden. Gelernte Attribute können durch Maschinenlernalgorithmen oder Fuzzy-Logik innerhalb des Fahrzeugs mit einer Anpassung über der Zeit gelernt werden. Ferner können gelernte Attribute oder gelernte Landmarken aus einer wiederholten Fahrt eines Fahrzeugs auf einer Route erfasst und bei einer Identifikation eines freien Pfads verwendet werden.
Die Offenbarung beschrieb bestimmte bevorzugte Ausführungsformen und Abwandlungen dieser. Weitere Abwandlungen und Änderungen können für Dritte beim Lesen und Verstehen der Beschreibung ersichtlich werden. Daher soll die Offenbarung nicht auf die bestimmte Ausführungsform/die bestimmten Ausführungsformen beschränkt sein, die als die Ausführungsform(en) offenbart ist/sind, die zum Ausführung dieser Offenbarung als am geeignetsten betrachtet wird/werden, sondern soll die Offenbarung alle Ausführungsformen umfassen, die innerhalb des Schutzumfangs der beigefügten Ansprüche liegen.

Claims

Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung einer Analyse mehrerer Bilder, die durch eine Kameraeinrichtung erzeugt werden, die sich an dem Fahrzeug befindet, wobei das Verfahren umfasst, dass die Bilder überwacht werden, wobei jedes Bild mehrere Pixel umfasst; ein Verarbeitungsschema einer nicht vorhandenen Struktur zum Analysieren der Bilder verwendet wird, das umfasst, dass bei jedem Bild das Bild gefiltert wird, um Abschnitte des Bilds, die eine freie Fläche angeben, auf der eine potentielle Fahrbahn geschätzt werden kann, von anderen Abschnitten des Bilds zu trennen, die keine potentielle Fahrbahn angeben; und auf der Grundlage der freien Fläche ein freier Pfad ermittelt wird.
Verfahren nach Anspruch 1, wobei das Filtern des Bilds zum Trennen der Abschnitte des Bilds, die die freie Fläche angeben, auf der die potentielle Fahrbahn geschätzt werden kann, von anderen Abschnitten des Bilds, die keine potentielle Fahrbahn angeben, umfasst, dass ein Bereich unter einer Horizontlinie an dem Bild von einem Bereich über der Horizontlinie gefiltert wird.
Verfahren nach Anspruch 1, wobei das Filtern des Bilds, um die Abschnitte des Bilds, die die freie Fläche angeben, auf der die potentielle Fahrbahn geschätzt werden kann, von anderen Abschnitten des Bilds zu trennen, die keine potentielle Fahrbahn angeben, umfasst, dass Pixel in dem Bild auf der Grundlage des Vergleichens einer Farbintensität der Pixel mit einem Farbintensitätsschwellenwert auf der Grundlage eines Farbverteilungsmittelswerts gefiltert werden.
Verfahren nach Anspruch 3, wobei jedes der Pixel mehrere Farbintensitäten umfasst; wobei der Farbintensitätsschwellenwert auf der Grundlage des Farbverteilungsmittelwerts einen Farbintensitätsschwellenwert für jede der mehreren Farbintensitäten umfasst; und wobei das Filtern von Pixeln in dem Bild auf der Grundlage des Vergleichens einer Farbintensität der Pixel mit einem Farbintensitätsschwellenwert auf der Grundlage eines Farbverteilungsmittelwerts umfasst, dass jede der mehreren Farbintensitäten für jedes der Pixel mit dem Farbintensitätsschwellenwert für jede der mehreren Farbintensitäten verglichen wird, und jedes der Pixel auf der Grundlage eines Entfernens des Pixels gefiltert wird, wenn eine der mehreren Farbintensitäten größer ist als der der Farbintensität zugeordnete Farbintensitätsschwellenwert, wobei der Farbverteilungsmittelwert für den einer der mehreren Farbintensitäten zugeordneten Farbintensitätsschwellenwert, der einer Farbintensität zugeordnet ist, im Speziellen eine in dem Bild verteilte mittlere Farbintensität ist, ferner im Speziellen umfassend, dass der Farbverteilungsmittelwert für die zugeordnete Farbintensität auf der Grundlage der überwachten Bilder angepasst wird.
Verfahren nach Anspruch 4, wobei eine erste Farbintensität eine rote Intensität ist, eine zweite Farbintensität eine grüne Intensität ist und eine dritte Farbintensität eine blaue Intensität ist, und wobei jedes Pixel eine erste, eine zweite und eine dritte Farbintensität umfasst, und das Pixel gefiltert wird, wenn die Differenz zwischen einer roten Intensität des Pixels und einem Verteilungsmittelwert einer roten Farbe größer ist als ein Schwellenwert einer roten Intensität, und die Differenz zwischen einer grünen Intensität des Pixels und einem Verteilungsmittelwert einer grünen Farbe größer ist als ein Schwellenwert einer grünen Intensität, und die Differenz zwischen einer blauen Intensität des Pixels und einem Verteilungsmittelwert einer blauen Farbe größer ist als ein Schwellenwert einer blauen Intensität.
Verfahren nach Anspruch 1, wobei das Filtern des Bilds zum Trennen der Abschnitte des Bilds, die die freie Fläche angeben, auf der die potentielle Fahrbahn geschätzt werden kann, von anderen Abschnitten des Bilds, die keine potentielle Fahrbahn angeben, umfasst, dass auf der Grundlage eines Differenzierens sequentieller Bilder analysiert wird, wobei das Differenzieren sequentieller Bilder im Speziellen umfasst, dass eine Differenz zwischen einzelnen Pixeln an einem momentanen Bild und entsprechenden einzelnen Pixeln an einem vorherigen Bild ermittelt wird, wobei die Differenz im Speziellen durch Subtrahieren von Farbintensitäten, die einem Pixel zugeordnet sind, von entsprechen den Farbintensitäten ermittelt wird, um eine Farbintensitätsdifferenz zu ermitteln, und/oder ferner umfassend, dass das Filtern der einzelnen Pixel umfasst, dass Pixel entfernt werden, wenn die Differenz zwischen einzelnen Pixeln an einem momentanen Bild und entsprechenden einzelnen Pixeln an einem vorherigen Bild einen vorbestimmten Schwellenwert übersteigt, und/oder wobei das vorherige Bild auf der Grundlage der Fahrzeugbewegung angepasst wird.
Verfahren nach Anspruch 1, wobei das Filtern des Bilds zum Trennen der Abschnitte des Bilds, die die freie Fläche angeben, auf der die potentielle Fahrbahn geschätzt werden kann, von anderen Abschnitten des Bilds, die keine potentielle Fahrbahn angeben, umfasst, dass auf der Grundlage eines Identifizierens von Pixeln, die Kanten darstellen, gefiltert wird, wobei das Filtern auf der Grundlage eines Identifizierens von Pixeln, die Kanten darstellen, im Speziellen umfasst, dass ein Sobel-Filter angewandt wird, und/oder wobei das Filtern des Bilds zum Trennen der Abschnitte des Bilds, die die frei Fläche angeben, auf der die potentielle Fahrbahn geschätzt werden kann, von anderen Abschnitten des Bilds, die keine potentielle Fahrbahn angeben, umfasst, dass mehrere gefilterte Bilder erzeugt werden; und die gefilterten Bilder vereinigt werden, um die freie Fläche zu ermitteln.
Verfahren nach Anspruch 7, wobei das Vereinigen der gefilterten Bilder umfasst, dass Pixel-Orte ermittelt werden, die an jedem der mehreren gefilterten Bilder umfasst sind; die Pixel an den Pixel-Orten mit entsprechenden Pixel-Orten an den mehreren gefilterten Bildern verglichen werden; und das Pixel einbezogen wird, wenn alle der mehreren gefilterten Bilder das Pixel an dem entsprechenden Pixel-Ort enthalten.
Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung einer Analyse mehrerer Bilder, die durch eine Kameraeinrichtung erzeugt werden, die sich an dem Fahrzeug befindet, wobei das Verfahren umfasst, dass die Bilder überwacht werden; ein Steuerschema einer nicht vorhandenen Struktur zum Analysieren der Bilder verwendet wird, das umfasst, dass ein Bereich unter einer Horizontlinie an dem Bild von einem Bereich über der Horizontlinie gefiltert wird, Pixel in dem Bild auf der Grundlage eines Vergleichens einer Farbintensität der Pixel mit einem Farbintensitätsschwellenwert auf der Grundlage eines Farbverteilungsmittelwerts gefiltert werden, auf der Grundlage eines Differenzierens von sequentiellen Bildern gefiltert wird, auf der Grundlage eines Identifizierens von Pixeln, die Kanten darstellen, gefiltert wird, auf der Grundlage des Filterns eine freie Fläche ermittelt wird und auf der Grundlage der freien Fläche ein freier Pfad ermittelt wird, und der freie Pfad verwendet wird, um das Fahrzeug zu betreiben; ein Steuerschema einer reichen Struktur zum Analysieren der Bilder verwendet wird, das umfasst, dass ein Satz interessierender Punkte von den mehreren Pixeln in jedem von zwei Bildern identifiziert wird, wobei die beiden Bilder ein momentanes Bild und ein vorhergehendes Bild umfassen, Paare von interessierenden Punkten von dem Satz von interessierenden Punkten von dem momentanen Bild und dem Satz von interessierenden Punkten von dem vorhergehenden Bild in Übereinstimmung gebracht werden, wobei jedes der in Übereinstimmung gebrachten Paare als einem einzelnen gesehenen Merkmal entsprechend geschätzt wird, die in Übereinstimmung gebrachten Paare von interessierenden Punkten gefiltert werden, um einen Satz von in Übereinstimmung gebrachten Paaren mit hoher Qualität auszuwählen, und eine dreidimensionale Abbildung von Merkmalen in der Ansicht auf der Grundlage des Satzes von in Übereinstimmung gebrachten Paaren mit hoher Qualität erzeugt wird; auf der Grundlage des Steuerschemas einer reichen Struktur und des Steuerschemas einer nicht vorhandenen Struktur ein freier Pfad ermittelt wird; und der freie Pfad verwendet wird, um das Fahrzeug zu betreiben.
Vorrichtung zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung einer Analyse mehrerer Bilder, die durch eine Kameraeinrichtung erzeugt werden, die sich an dem Fahrzeug befindet, wobei die Vorrichtung umfasst: die Kameraeinrichtung; und ein Steuermodul, das die Bilder von der Kameraeinrichtung überwacht und die Bilder überwacht, wobei jedes Bild mehrere Pixel umfasst, wobei ein Verarbeitungsschema einer nicht vorhandenen Struktur zum Analysieren der Bilder verwendet wird, umfassend, dass bei jedem Bild das Bild gefiltert wird, um Abschnitte des Bilds, die eine freie Fläche angeben, auf der eine potentielle Fahrbahn geschätzt werden kann, von anderen Abschnitten des Bilds zu trennen, die keine potentielle Fahrbahn angeben, und auf der Grundlage der freien Fläche ein freier Pfad ermittelt wird.