DE102013205854B4

DE102013205854B4 - Verfahren zum Detektieren eines freien Pfads mittels temporärer Koherenz

Info

Publication number: DE102013205854B4
Application number: DE102013205854.3A
Authority: DE
Inventors: Wende Zhang; Jinsong Wang
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2012-04-09
Filing date: 2013-04-03
Publication date: 2020-03-19
Anticipated expiration: 2033-04-04
Also published as: DE102013205854A8; CN103366155B; US20130266226A1; CN103366155A; DE102013205854A1; US8559727B1

Abstract

Verfahren zum Detektieren eines freien Fahrpfads, wobei das Verfahren die Schritte umfasst, dass:verschiedene Eingangsbilder einer Szene außerhalb des Fahrzeugs (12) unter Verwendung von zumindest einer Bilderfassungseinrichtung (14) erfasst werden, wobei die verschiedenen Eingangsbilder in Frames verschiedener Zeitschritte erfasst werden; eine Wahrscheinlichkeitsabbildung eines freien Pfads eines Frames eines aktuellen Zeitschritts durch ein Verarbeitungsmodul erzeugt wird, wobei die Wahrscheinlichkeitsabbildung eines freien Pfads Wahrscheinlichkeitswerte identifiziert, die darstellen, ob extrahierte Merkmale in dem Frame eines aktuellen Zeitschritts Merkmale eines freien Pfads sind;eine Wahrscheinlichkeitsabbildung eines freien Pfads eines Frames eines temporären vorherigen Zeitschritts durch das Verarbeitungsmodul erzeugt wird, wobei die Wahrscheinlichkeitsabbildung eines freien Pfads Wahrscheinlichkeitswerte identifiziert, die darstellen, ob extrahierte Merkmale in dem Frame eines vorherigen Zeitschritts Merkmale eines freien Pfads sind;eine entsprechende Wahrscheinlichkeitsabbildung eines freien Pfads für den Frame eines aktuellen Zeitschritts erzeugt wird, wobei die entsprechende Wahrscheinlichkeitsabbildung eines freien Pfads als Funktion der Wahrscheinlichkeitsabbildung eines freien Pfads des Frames eines vorherigen Zeitschritts und einer entsprechenden Zuordnung, die den Frame eines vorherigen Zeitschritts kohärent mit dem Frame eines aktuellen Zeitschritts verknüpft, abgeleitet wird; eine Gewichtsübereinstimmungsabbildung durch das Verarbeitungsmodul erzeugt wird, wobei die Gewichtsübereinstimmungsabbildung Gewichtswerte umfasst, die einen Grad an erfolgreicher Inübereinstimmungbringung extrahierter Merkmale zwischen dem Frame eines vorherigen Zeitschritts und dem Frame eines aktuellen Zeitschritts identifizieren;die Wahrscheinlichkeitswerte des Frames eines aktuellen Zeitschritts als Funktion der entsprechenden Wahrscheinlichkeitsabbildung aktualisiert werden, wobei die Gewichtswerte auf die Wahrscheinlichkeitswerte der entsprechenden Wahrscheinlichkeitsabbildung angewandt werden, um den Grad zu ermitteln, zu dem die Wahrscheinlichkeitswerte der entsprechenden Wahrscheinlichkeitsabbildung beim Aktualisieren der Wahrscheinlichkeitsabbildung eines freien Pfads eines Frames eines aktuellen Zeitschritts verwendet werden;eine Wahrscheinlichkeitsentscheidungsabbildung eines aktuellen Frames auf der Grundlage von aktualisierten Wahrscheinlichkeitswerten des Frames eines aktuellen Zeitschritts erzeugt wird; und der freie Pfad in dem Bild des aktuellen Zeitstempels auf der Grundlage der Wahrscheinlichkeitsentscheidungsabbildung eines aktuellen Frames identifiziert wird;wobei jedes erfasste Bild in jedem Zeitschritt-Frame in ein Blockgitter aufgeteilt wird, wobei jeder Block in dem Blockgitter in dem Frame eines aktuellen Zeitschritts mit einem zugehörigen Block in dem Blockgitter eines jeweiligen Frames eines vorherigen Zeitschritts verglichen wird, wobei Merkmale aus jedem der Blockgitter extrahiert werden, um zu ermitteln, ob die extrahierten Merkmale in einem jeweiligen Satz von zugehörigen Blöcken übereinstimmen; undwobei Gewichtswerte auf der Grundlage des Grads, zu dem Merkmale jedes jeweiligen zugehörigen Satzes von Blöcken zwischen den Blockgittern übereinstimmen, ermittelt werden, und wobei jeder jeweilige Gewichtswert jedem jeweiligen Block in dem Blockgitter der entsprechenden Wahrscheinlichkeitsabbildung auf der Grundlage einer Funktion des Grads, zu dem Merkmale des jeweiligen zugehörigen Satzes von Blöcken übereinstimmen, zugeordnet wird.

Description

HINTERGRUND DER ERFINDUNG
Eine Ausführungsform bezieht sich allgemein auf eine Objektdetektion bei einem Fahrpfad eines Fahrzeugs.
Sichtbildgebungssysteme werden in Fahrzeugen verwendet, um Anwendungen in dem Fahrzeug, wie beispielsweise ein autonomes Fahrsystem oder semiautonome Fahrsysteme, zu verbessern. Solche Systeme können verwendet werden, um das Fahrzeug über Lenksysteme, eine Drosselklappensteuerung, eine Bremssteuerung autonom oder semiautonom zu steuern, oder können sogar für Spurverlassenswarnsysteme verwendet werden.
Systeme zur Detektion eines freien Pfads identifizieren einen freien Pfad, auf dem ein Fahrzeug betrieben werden soll, das entlang einer Straße fährt. Der Fahrpfad wird hinsichtlich Objekten einschließlich aller nicht die Straße betreffenden Flächen erfasst, so dass das Fahrzeug entlang eines kontinuierlichen Fahrpfads fahren kann. Merkmale in einem Bild können gemäß ihrer Form und Beziehung zu der Fahrbahn detektiert und analysiert werden. Solche Verfahren können jedoch aufgrund einer intensiven Datenverarbeitung oder des Unvermögens, Merkmale eines freien Pfads und Merkmale eines nicht freien Pfads zu unterscheiden, langsam sein.
DE 10 2009 048 699 A1 offenbart ein Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung einer Analyse mehrerer durch eine Kameraeinrichtung erzeugter Bilder, wobei die Bilder gefiltert werden, um Abschnitte jedes Bilds, die eine freie Fläche angeben, auf der eine potentielle Fahrbahn geschätzt werden kann, von anderen Abschnitten des Bilds zu trennen, die keine potentielle Fahrbahn angeben.
ZUSAMMENFASSUNG DER ERFINDUNG
Aufgabe der Erfindung ist es, ein verbessertes Verfahren zur Detektion eines freien Fahrpfads bereitzustellen.
Zur Lösung der Aufgabe ist ein Verfahren mit den Merkmalen des Anspruchs 1 vorgesehen. Vorteilhafte Ausbildungen der Erfindung sind den Unteransprüchen, der Beschreibung und den Zeichnungen zu entnehmen.
Figurenliste

1 ist ein Fahrzeug, in dem ein System zur Detektion eines freien Pfads integriert ist.
2a, 3a, 4a, 5a zeigen beispielhafte Bilder, die durch eine Bilderfassungseinrichtung zu verschiedenen Zeitpunkten erfasst werden.
2b, 3b, 4b, 5b zeigen beispielhafte Wahrscheinlichkeitsabbildungen eines freien Pfads zu den jeweiligen Zeitpunkten.
6 ist ein Flussdiagramm eines Verfahrens für eine temporäre Kohärenz des freien Pfads.
7 ist eine Wahrscheinlichkeitsentscheidungsabbildung des freien Pfads.

DETAILLIERTE BESCHREIBUNG
In 1 ist ein Fahrzeug 12 gezeigt, in das ein System zur Detektion eines freien Pfads integriert ist. Das System zur Detektion eines freien Pfads umfasst eine an dem Fahrzeug 12 angebrachte Bilderfassungseinrichtung 14. Die Bilderfassungseinrichtung 14 steht mit einer Verarbeitungseinheit 16 in Verbindung.
Die Bilderfassungseinrichtung 14 kann eine Kamera oder eine andere Bildgebungseinrichtung umfassen, die Bilder der Fahrstraße erfasst. Die Bilderfassungseinrichtung 14 erfasst Bilder vor dem Fahrzeug, die verwendet werden, um einen freien Fahrpfad zu identifizieren. Vorzugsweise ist die Bilderfassungseinrichtung 14 ausgestaltet, um eine kontinuierliche Bilderfassung durchzuführen. Die durch die Bilderfassungseinrichtung 14 erfassten Bilder können in einem Speicher der Bilderfassungseinrichtung 14 gespeichert werden, an eine Speichereinrichtung außerhalb des Fahrzeugs übermittelt werden oder können für eine Analyse an die Verarbeitungseinheit 16 übermittelt werden. Ferner können mehr als eine Bilderfassungseinrichtung verwendet werden, um Bilder hinter dem Fahrzeug und/oder auf beiden Seiten dieses für eine Detektion eines freien Pfads zu erfassen. Bei einem Umgebungssichtsystem führen vier Kameras mit weitem Sichtfeld (180 Grad +) und eine nach vorn gerichtete Kamera mit schmalem Sichtfeld (~ 50 Grad) eine Detektion eines freien Pfads durch. Hinter dem Fahrzeug erfasste Bilder können bei der Analyse verwendet werden, um den freien Pfad der Fahrstraße vor dem Fahrzeug zu identifizieren.
Die erfassten Bilder sind vorzugsweise ein zweidimensionales Bild mit bekannten Pixel-Dimensionen. Das Bild enthält mehrere identifizierbare Pixel. Jedes der Pixel umfasst einen Satz von Bits, die einer Farbe an einer vorbestimmten Farbabbildung entsprechen, die einen Farbintensitätswert darstellt.
Die Verarbeitungseinheit 16 ist wie in 1 dargestellt eine einzelne Einheit; es ist jedoch zu verstehen, dass Funktionen der Verarbeitungseinheit 16 durch eine oder mehrere in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung realisierten Einrichtungen durchgeführt werden können. Die Verarbeitungseinheit 16 kann ein Universalprozessor, ein digitaler Computer mit einem zentralen Mikroprozessor oder einer zentralen Verarbeitungseinheit, ein ASIC oder ein anderes Verarbeitungsmodul mit einem nichtflüchtigen Speicher, einem Nur-Lese-Speicher, einem programmierbaren Nur-Lese-Speicher, einem RAM, einer A-D-Schaltung, einer D-A-Schaltung, einer Eingabe/Ausgabe-Schaltung, einer Pufferfähigkeit und einer geeigneten Signalkonditionierung, wie beispielsweise einer digitalen Signalverarbeitung, sein. Die Verarbeitungseinheit 16 ist entworfen, um Algorithmen auszuführen, die Eingänge von den hierin beschriebenen Einrichtungen sowie anderen Einrichtungen oder Systemen in dem Fahrzeug verwenden.
Die Verarbeitungseinheit 16 ermittelt einen freien Pfad in dem erfassten Bild. Der freie Pfad wird beim Führen des Fahrzeugs entlang der Fahrstraße verwendet. Die Verarbeitungseinheit 16 kann die Führungsfunktionen wie oben beschrieben durchführen oder kann die Ergebnisse an eine sekundäre Anwendung übermitteln, die die Führungsfunktionen durchführt.
Die durch die Bilderfassungseinrichtung erfassten Bilder sind in 2a - 5a dargestellt. Die Bilder werden zu verschiedenen Zeitschritten erfasst. 2b - 5b zeigen zugehörige Wahrscheinlichkeitsabbildungen der jeweiligen erfassten Bilder in 2a - 5a, die Wahrscheinlichkeiten zum Identifizieren des freien Pfads in jedem erfassten Bild darstellen. Es wird eine Wahrscheinlichkeitsabbildung zum Identifizieren eines freien Pfads der Fahrstraße für jedes Bild erzeugt, wenn es erfasst wird. Es können verschiedene Techniken verwendet werden, um eine Wahrscheinlichkeit zu ermitteln, die jedem der Merkmale in dem Frame eines aktuellen Zeitschritts zugehörig ist. Eine solche Technik ist in der ebenfalls anhängigen Anmeldung mit der Publikationsnummer US 2010 / 0 098 297 A1 beschrieben, die am 19. Oktober 2009 eingereicht wurde und deren Offenbarungsgehalt hierin durch Bezugnahme vollständig mit eingeschlossen ist. Die hierin beschriebene Technik teilt das Eingangsbild in mehrere Bereiche auf und ermittelt Wahrscheinlichkeitswerte für jeden der Bereiche.
Wie in 2b - 5b gezeigt zeigen Wahrscheinlichkeitswerte die Wahrscheinlichkeit eines Bereichs, dass das jeweilige Merkmal des Bereichs als Teil des freien Pfads klassifiziert wird. Die Wahrscheinlichkeitswerte reichen von 0 - 1. Wahrscheinlichkeitswerte, die größer als 0,5 sind, geben an, dass das jeweilige Merkmal eines Bereichs als Teil des freien Pfads klassifiziert ist, wohingegen Wahrscheinlichkeitswerte, die kleiner als 0,5 sind, angeben, dass das jeweilige Merkmal eines Bereichs nicht als Teil des freien Pfads klassifiziert ist. Je näher der Wahrscheinlichkeitswert an 1 liegt, desto größer ist das Vertrauen, dass der entsprechende Bereich Teil des freien Pfads ist. Je näher der Wahrscheinlichkeitswert an 0 liegt, desto größer ist das Vertrauen, dass der jeweilige Bereich nicht Teil des freien Pfads ist.
Bei den hierin beschriebenen Ausführungsformen wird eine Technik angewandt, die eine Entscheidungsabbildung erzeugt, die aktualisierte Wahrscheinlichkeiten des freien Pfads umfasst, um das Vertrauensniveau des identifizierten freien Pfads in dem Frame eines aktuellen Zeitschritts zu erhöhen. Die Technik umfasst, dass ein Frame eines aktuellen Zeitschritts in ein Blockgitter aufgeteilt wird. Ein entsprechendes Blockgitter des Frames eines vorherigen Zeitschritts wird auf der Grundlage des Blockgitters des Frames eines aktuellen Zeitschritts identifiziert. Es wird eine Entsprechungsabbildung zwischen den jeweiligen Blockgittern erzeugt. Es wird auch eine Merkmalsextraktion auf das entsprechende Blockgitter jedes Frames eines jeweiligen Zeitschritts angewandt, um einen Grad (oder ein Gewicht) diesbezüglich zu ermitteln, ob identifizierte entsprechende Blockgitter miteinander übereinstimmen. Sobald die entsprechende Zuordnung erzeugt wurde und ein Grad (oder Gewicht) in Bezug darauf, wie eng alle zugehörigen Blockgitter übereinstimmen, ermittelt wurde, wird eine Technik einer temporären Kohärenz zwischen dem Frame eines vorherigen Zeitschritts und dem Frame eines aktuellen Zeitschritts durchgeführt, um eine Wahrscheinlichkeitsentscheidungsabbildung zu erzeugen, um den freien Pfad der befahrenen Straße zu identifizieren. Die folgenden Absätze beschreiben ausführlich den Prozess zum Erzeugen der Wahrscheinlichkeitsentscheidungsabbildung unter Verwendung der Technik einer temporären Kohärenz zwischen einem Frame eines aktuellen Zeitschritts und einem Frame eines vorherigen Zeitschritts.
6 zeigt ein Flussdiagramm einer Technik zum Identifizieren des freien Pfads unter Verwendung der Technik einer temporären Kohärenz.
In Schritt 30 werden Bilder durch die Bilderfassungseinrichtung erfasst. Die Bilder erfassen vorzugsweise die Umgebung außerhalb des Fahrzeugs einschließlich eines Fahrpfads des Fahrzeugs. Die erfassten Bilder sind vorzugsweise ein zweidimensionales Bild mit bekannten Pixel-Dimensionen (Farbe oder Graustufe). Das Bild enthält mehrere identifizierbare Pixel. Jedes der Pixel umfasst einen Satz von Bits, die einer Farbe an einer vorbestimmten Farbabbildung entsprechen, die einen Farbintensitätswert darstellt.
Jedes der Bilder ist zeitlich zu einem anderen verschoben. Das heißt, die Bilder werden in temporärer Nähe zueinander erhalten, um einen Frame eines aktuellen Zeitschritts mit einem Frame eines vorherigen Zeitschritts zu vergleichen.
In Schritt 31 wird ein interessierendes Gebiet in jedem erfassten Bild identifiziert. Es wird ein interessierendes Gebiet in dem Bild zur Konzentration auf eine Region des Bilds, die wahrscheinlicher einen freien Fahrpfad enthält, ausgewählt. Durch Herausfiltern von Abschnitten des Bilds, in denen der freie Fahrpfad höchstwahrscheinlich nicht existiert, wird die Verarbeitungszeit zum Detektieren eines freien Fahrpfads reduziert.
Vorzugsweise wird eine Skyline als interessierendes Gebiet ausgewählt, da der Himmel der beste Indikator zum Trennen der Bodenebene, die den freien Pfad enthält, von dem Himmel ist. Das interessierende Gebiet kann auf der Grundlage eines Fluchtpunkts und einer Horizontlinie, die ein spezifisches Gebiet des Bilds vorgibt, erzeugt werden, um eine Detektion eines freien Pfads durchzuführen, im Gegensatz zu einem Analysieren des gesamten Bilds. Eine obere Grenze des interessierenden Gebiets (eine Horizontlinie mit einem Sicherheitsspielraum) ist allgemein durch 50 in 2b dargestellt.
Der Begriff „Fluchtpunkt“ ist wie hierin verwendet ein breiter Begriff und umfasst seine für Fachleute übliche und herkömmliche Bedeutung und bezieht sich auf einen unendlich weit entfernten Punkt am Horizont, den mehrere parallele Linien am Boden schneiden. Ein Identifizieren einer Fahrbahn, die einen freien Pfad umfasst, auf dem gefahren werden soll, liegt notwendigerweise unter dem Fluchtpunkt oder der Horizontlinie. Ein Filtern des Bilds, so dass nur die Region unter der Horizontlinie analysiert wird, unterstützt das Verdeutlichen, welche Pixel analysiert werden sollten, um eine Fahrbahn aus irrelevanten Pixeln zu identifizieren. Wie ein Fachmann verstehen wird, gibt es viele bekannte Verfahren zum Ermitteln eines Fluchtpunkts und einer entsprechenden Horizontlinie. Die Ausführungsformen hierin sind nicht auf eine bestimmte Technik beschränkt, und es kann jede jeweilige Technik hierin verwendet werden, ohne von dem Schutzumfang der Erfindung abzuweichen.
In Schritt 32 wird das interessierende Gebiet in ein Blockgitter aufgeteilt. Das Blockgitter besteht aus Blöcken (kleine Rechtecke oder Quadrate). Jeder der Blöcke enthält eine definierte Region in dem interessierenden Gebiet. Die Blöcke in dem Blockgitter eines Frames eines aktuellen Zeitschritts werden mit den Blöcken in dem Blockgitter eines Frames eines vorherigen Zeitschritts verglichen.
In Schritt 33 wird die Bewegung des Fahrzeugs verfolgt. Die Bewegung des Fahrzeugs wird in Kombination mit dem Blockgitter des Frames eines aktuellen Schritts zum Erzeugen einer entsprechenden Zuordnung in einem Frame eines vorherigen Zeitschritts verwendet.
In Schritt 34 wird eine Entsprechungszuordnung für den vorherigen Frame aus dem Blockgitter des aktuellen Frames (Schritt 32) und der Fahrzeugbewegung (Schritt 33) abgeleitet. Es wird eine Entsprechungszuordnung erzeugt, indem angenommen wird, dass alle Punkte in dem interessierenden Gebiet auf der flachen Bodenebene liegen. Daher kann jeder gegebene Punkt in der flachen Bodenebene auf einen vorherigen Zeitschritt abgebildet werden, wenn alle Bedingungen ideal sind (d.h. alle abgebildeten Punkte auf dem flachen Boden liegen und stationär sind). Für jeden jeweiligen Block in dem Blockgitter wird eine Kohärenz in einem Frame eines vorherigen Zeitschritts gefunden. Das heißt, der Ort eines Blocks wird in dem Frame eines aktuellen Zeitschritts identifiziert, und es wird ein entsprechender Ort in dem Frame eines vorherigen Zeitschritts identifiziert. Die rechteckige Form eines jeweiligen Blocks in dem aktuellen Zeitschritt ist in dem Frame eines vorherigen Zeitschritts aufgrund der Fahrzeugbewegung trapezförmig (wobei der jeweilige Block des Frames eines vorherigen Zeitschritts eine größere Distanz in dem Bild im Gegensatz zu dem Frame eines aktuellen Zeitschritts umfasst).
In Schritt 35 wird ermittelt, ob die in dem Frame eines vorherigen Zeitschritts abgebildeten Blöcke in dem aktuellen interessierenden Gebiet liegen. Wenn ein Block als außerhalb des interessierenden Gebiets liegend projiziert wird, wird der Block aus der Zuordnung entfernt. Wenn ein Block als in dem interessierenden Gebiet liegend projiziert wird, wird dem Block ein Index zugeordnet. Es wird auch eine Merkmalsextraktion auf jeden Block in dem Blockgitter angewandt, um Merkmale aus dem vorgesehenen Gebiet zu extrahieren.
In Schritt 36 wird jedem jeweiligen Block, von dem ermittelt wird, dass er innerhalb des interessierenden Gebiets des Frames eines vorherigen Zeitschritts liegt, ein Blockgitterindex zugeordnet. Der jeweilige Block in einem vorherigen Blockgitter-Frame wird identifiziert, so dass er abgerufen und mit einem jeweiligen Block des Frames eines aktuellen Zeitschritts verglichen werden kann.
In Schritt 37 wird ein effektives Blockgitter identifiziert, um Merkmale aus dem jeweiligen Blockgitter des Frames eines vorherigen Zeitschritts zu extrahieren.
In Schritt 38 werden Merkmale aus dem in Schritt 37 identifizierten effektiven Blockgitter extrahiert. Eine Merkmalsextraktion umfasst, dass Merkmale in jedem Block des Blockgitters auf der Grundlage von Erscheinungsbildern identifiziert werden.
In Schritt 39 werden auch Merkmale aus jedem Block des Blockgitters aus dem Frame eines aktuellen Zeitschritts extrahiert.
In Schritt 40 wird ein Block von dem aktuellen Zeitschritt mit einem Block von dem vorherigen Zeitschritt auf der Grundlage des Blockgitterindex verglichen. Eine Blockinübereinstimmungbringung umfasst das Analysieren der Merkmale der entsprechenden Blöcke des Frames eines aktuellen Zeitschritts und des Frames eines vorherigen Zeitschritts. Eine Inübereinstimmungbringung wird ohne jegliche Okklusionen durchgeführt und basiert auf einem Erscheinungsbild. Wenn eine Übereinstimmung eines Erscheinungsbilds zwischen einem Block des Frames eines aktuellen Zeitschritts und einem Block des Frames eines vorherigen Zeitschritts vorliegt, dann wird die Wahrscheinlichkeitsentscheidungsabbildung wie nachstehend beschrieben auf der Grundlage von sowohl den Wahrscheinlichkeiten des Frames eines vorherigen und eines aktuellen Zeitschritts als auch einem Zeitabklingungsfaktor aktualisiert. Alternativ, wenn nicht viel Gemeinsamkeit zwischen den jeweiligen Blöcken des vorherigen und aktuellen Zeitschritts vorliegt, basiert die Wahrscheinlichkeitsentscheidungsabbildung primär auf dem Frame eines aktuellen Zeitschritts. Die Nutzung der Wahrscheinlichkeiten von dem Frame eines vorherigen Zeitschritts beim Ermitteln einer Wahrscheinlichkeitsentscheidungsabbildung hängt von einem Grad an Erscheinungsbildübereinstimmungseigenschaften und dem Zeitabklingungsfaktor als die Gewichte für die Wahrscheinlichkeitskombination zwischen dem Frame eines aktuellen Zeitschritts und den Frames eines vorherigen Zeitschritts ab. Dieser Ansatz wird in der folgenden Gleichung beschrieben: $p^{T S} (u_{0}, v_{0}) = \frac{c_{0} \cdot P_{0} (u_{0}, v_{0}) + \sum_{t = 1}^{n} c_{t} \cdot m_{t} (u_{0}, v_{0} | u_{t}, v_{t}) \cdot P_{t} (u_{t}, v_{t})}{c_{0} + \sum_{t = 1}^{n} c_{t} \cdot m_{t} (u_{0}, v_{0} | u_{t}, v_{t})} .$
Ein Blockort (u_t, v_t) in dem Frame eines vorherigen t-ten Zeitschritts, der einem Blockort (u₀, v₀) in dem Frame eines aktuellen Zeitschritts entspricht, wird auf der Grundlage einer Fahrzeugbewegung und einer Bodenannahme identifiziert. Eine Übereinstimmungsfunktion mt (u₀, v₀| u_t, v_t) gibt das Gewicht oder den Grad jedes Blocks (u_t, v_t) in dem Frame eines vorherigen t-ten Zeitschritts an, das oder der zu der temporären Wahrscheinlichkeitsaktualisierung beiträgt, die auf dessen Merkmalsähnlichkeit S(f_t(u_t, v_t),f₀(u₀, v₀)) zu dem entsprechenden Block (u₀, v₀) in dem Frame eines aktuellen Zeitschritts basiert. Die Ausführungsformen hierin sind nicht auf irgendein bestimmtes Ähnlichkeitsmaß oder eine Übereinstimmungsfunktion beschränkt. Jeder jeweilige Übereinstimmungs- und Ähnlichkeitsmaßansatz kann hierin verwendet werden, ohne von dem Schutzumfang der Erfindung abzuweichen. Der Abklingungsfaktor c_t = λ^t, t = 0, 1, ..., n, 0 < λ ≤ 1 gibt den Beitragsfaktor jedes Frames für die geglättete Wahrscheinlichkeit p^TS(u₀, v₀) an. λ = 1 bedeutet einen gleichen Beitrag von der Wahrscheinlichkeit P_t(u_t, v_t) jedes Frames, während λ < 1 bedeutet, dass der Frame eines vorherigen Zeitschritts weniger beiträgt, wenn er von einem früheren Zeitpunkt stammt.
In Schritt 41 wird eine Wahrscheinlichkeitsabbildung erzeugt, um einen freien Pfad der Fahrstraße in dem Frame eines aktuellen Zeitschritts zu identifizieren. Wie zuvor beschrieben können verschiedene Techniken verwendet werden, um eine Wahrscheinlichkeit zu ermitteln, die jedem der Merkmale der Bereiche in dem Frame eines aktuellen Zeitschritts zugehörig ist, wie beispielsweise die Technik, die in der ebenfalls anhängigen Anmeldung 12/581,742 beschrieben ist.
In Schritt 42 wird eine Wahrscheinlichkeitsabbildung erzeugt, um einen freien Pfad der Fahrstraße in einem Frame eines vorherigen Zeitschritts zu identifizieren. Die Wahrscheinlichkeitsabbildung zeigt die Wahrscheinlichkeiten verschiedener Bereiche in dem Frame eines vorherigen Zeitschritts in Bezug auf sowohl den freien Pfad als auch den nicht freien Pfad an. Wahrscheinlichkeitsabbildungen vorheriger Zeitschritte sind in 2b - 5b dargestellt.
In Schritt 43 wird eine entsprechende Zuordnung wie durch den Blockgitterindex (in Schritt 36) identifiziert auf die Wahrscheinlichkeitsabbildung des Frames eines vorherigen Zeitschritts angewandt, um eine geschätzte aktuelle Wahrscheinlichkeitsabbildung zu erzeugen. Das heißt, die Entsprechungszuordnung unterstützt das Identifizieren, wie sich Punkte von dem Frame eines vorherigen Zeitschritts zu dem Frame eines aktuellen Zeitschritts bewegen.
In Schritt 44 werden die Ausgänge von Schritt 41 und 43 kooperativ einbezogen, um die Wahrscheinlichkeitsabbildung des Frames eines aktuellen Zeitschritts mit den in Schritt 40 erzeugten Gewichten zu aktualisieren. Eine geschätzte Wahrscheinlichkeit auf der Grundlage einer Wahrscheinlichkeitsabbildung des Frames eines vorherigen Zeitschritts und eine entsprechende Gewichtszuordnung werden mit der Wahrscheinlichkeitsabbildung des Frames eines aktuellen Zeitschritts kombiniert, um eine aktualisierte Wahrscheinlichkeitsabbildung für den aktuellen Zeitschritt zu erzeugen. Der Grad, zu dem sich auf die von dem Frame eines vorherigen Zeitschritts abgeleitete Wahrscheinlichkeitsabbildung gestützt wird, basiert auf der Gewichtsübereinstimmung und dem Zeitabklingungsfaktor. Wie zuvor in Schritt 40 beschrieben ist der Grad, zu dem die Wahrscheinlichkeitsabbildung des Frames eines vorherigen Zeitschritts beim Erzeugen der Wahrscheinlichkeitsaktualisierung verwendet wird, umso größer, je größer die Übereinstimmung zwischen dem Frame eines aktuellen Zeitschritts und dem Frame eines vorherigen Zeitschritts ist. Folglich kann ein Gewichtsfaktor auf der Grundlage des in Schritt 40 ermittelten Grads an Ähnlichkeit sowie des Abklingungsfaktors erzeugt werden und auf die Wahrscheinlichkeitsabbildung angewandt werden, die durch den Frame eines vorherigen Zeitschritts erzeugt wird, um deren Verwendung beim Erzeugen der Wahrscheinlichkeitsaktualisierung zu ermitteln.
Wenn die jeweiligen Blockmerkmale ähnlich sind, werden sowohl die in Schritt 43 ermittelte Wahrscheinlichkeitsabbildung als auch die in Schritt 41 ermittelte Wahrscheinlichkeitsabbildung verwendet, um die Wahrscheinlichkeitsaktualisierung zu erzeugen. Wenn die jeweiligen Blockmerkmale unähnlich sind, stützt sich die Aktualisierung der Wahrscheinlichkeitszuordnung mehr auf die in Schritt 41 ermittelte Wahrscheinlichkeitsabbildung.
In Schritt 45 wird eine Entscheidungsabbildung eines aktuellen Frames auf der Grundlage der in Schritt 44 ermittelten Wahrscheinlichkeitsaktualisierungen erzeugt. Die Entscheidungsabbildung eines aktuellen Frames identifiziert einen freien Pfad in dem aktuellen Bild. Wie zuvor beschrieben gehören Merkmale, die in dem Bild extrahiert werden und höhere Wahrscheinlichkeitswerte aufweisen (z.B. größer als 0,5) zu dem freien Fahrpfad. Jene Merkmale, die in dem Bild extrahiert werden und geringere Wahrscheinlichkeitswerte aufweisen (z.B. kleiner als 0,5), gehören zu dem nicht freien Fahrpfad. Die Entscheidungsabbildung kann eine oder mehrere der Wahrscheinlichkeitsabbildungen des/der Frames eines vorherigen Zeitschritts mit dem Frame eines aktuellen Zeitschritts vereinigen, um die Entscheidungsabbildung zu erzeugen. 7 zeigt die resultierende Entscheidungsabbildung auf der Grundlage der in 2b - 5b gezeigten Wahrscheinlichkeitsabbildungen.
Während in der vorliegenden Erfindung bestimmte Ausführungsformen ausführlich beschrieben wurden, werden Fachleute, die diese Erfindung betrifft, verschiedene alternative Entwürfe und Ausführungsformen zum Ausführen der Erfindung wie durch die folgenden Ansprüche definiert erkennen.

Claims

Verfahren zum Detektieren eines freien Fahrpfads, wobei das Verfahren die Schritte umfasst, dass: verschiedene Eingangsbilder einer Szene außerhalb des Fahrzeugs (12) unter Verwendung von zumindest einer Bilderfassungseinrichtung (14) erfasst werden, wobei die verschiedenen Eingangsbilder in Frames verschiedener Zeitschritte erfasst werden; eine Wahrscheinlichkeitsabbildung eines freien Pfads eines Frames eines aktuellen Zeitschritts durch ein Verarbeitungsmodul erzeugt wird, wobei die Wahrscheinlichkeitsabbildung eines freien Pfads Wahrscheinlichkeitswerte identifiziert, die darstellen, ob extrahierte Merkmale in dem Frame eines aktuellen Zeitschritts Merkmale eines freien Pfads sind; eine Wahrscheinlichkeitsabbildung eines freien Pfads eines Frames eines temporären vorherigen Zeitschritts durch das Verarbeitungsmodul erzeugt wird, wobei die Wahrscheinlichkeitsabbildung eines freien Pfads Wahrscheinlichkeitswerte identifiziert, die darstellen, ob extrahierte Merkmale in dem Frame eines vorherigen Zeitschritts Merkmale eines freien Pfads sind; eine entsprechende Wahrscheinlichkeitsabbildung eines freien Pfads für den Frame eines aktuellen Zeitschritts erzeugt wird, wobei die entsprechende Wahrscheinlichkeitsabbildung eines freien Pfads als Funktion der Wahrscheinlichkeitsabbildung eines freien Pfads des Frames eines vorherigen Zeitschritts und einer entsprechenden Zuordnung, die den Frame eines vorherigen Zeitschritts kohärent mit dem Frame eines aktuellen Zeitschritts verknüpft, abgeleitet wird; eine Gewichtsübereinstimmungsabbildung durch das Verarbeitungsmodul erzeugt wird, wobei die Gewichtsübereinstimmungsabbildung Gewichtswerte umfasst, die einen Grad an erfolgreicher Inübereinstimmungbringung extrahierter Merkmale zwischen dem Frame eines vorherigen Zeitschritts und dem Frame eines aktuellen Zeitschritts identifizieren; die Wahrscheinlichkeitswerte des Frames eines aktuellen Zeitschritts als Funktion der entsprechenden Wahrscheinlichkeitsabbildung aktualisiert werden, wobei die Gewichtswerte auf die Wahrscheinlichkeitswerte der entsprechenden Wahrscheinlichkeitsabbildung angewandt werden, um den Grad zu ermitteln, zu dem die Wahrscheinlichkeitswerte der entsprechenden Wahrscheinlichkeitsabbildung beim Aktualisieren der Wahrscheinlichkeitsabbildung eines freien Pfads eines Frames eines aktuellen Zeitschritts verwendet werden; eine Wahrscheinlichkeitsentscheidungsabbildung eines aktuellen Frames auf der Grundlage von aktualisierten Wahrscheinlichkeitswerten des Frames eines aktuellen Zeitschritts erzeugt wird; und der freie Pfad in dem Bild des aktuellen Zeitstempels auf der Grundlage der Wahrscheinlichkeitsentscheidungsabbildung eines aktuellen Frames identifiziert wird; wobei jedes erfasste Bild in jedem Zeitschritt-Frame in ein Blockgitter aufgeteilt wird, wobei jeder Block in dem Blockgitter in dem Frame eines aktuellen Zeitschritts mit einem zugehörigen Block in dem Blockgitter eines jeweiligen Frames eines vorherigen Zeitschritts verglichen wird, wobei Merkmale aus jedem der Blockgitter extrahiert werden, um zu ermitteln, ob die extrahierten Merkmale in einem jeweiligen Satz von zugehörigen Blöcken übereinstimmen; und wobei Gewichtswerte auf der Grundlage des Grads, zu dem Merkmale jedes jeweiligen zugehörigen Satzes von Blöcken zwischen den Blockgittern übereinstimmen, ermittelt werden, und wobei jeder jeweilige Gewichtswert jedem jeweiligen Block in dem Blockgitter der entsprechenden Wahrscheinlichkeitsabbildung auf der Grundlage einer Funktion des Grads, zu dem Merkmale des jeweiligen zugehörigen Satzes von Blöcken übereinstimmen, zugeordnet wird.
Verfahren nach Anspruch 1, wobei das Ermitteln, ob die extrahierten Merkmale in einem jeweiligen Satz zugehöriger Blöcke übereinstimmen, umfasst, dass Merkmale auf der Grundlage einer Merkmalserscheinungsbildähnlichkeit verglichen werden.
Verfahren nach Anspruch 2, wobei das Vergleichen von Erscheinungsbildern und das Ermitteln, ob eine Übereinstimmung vorliegt, ohne Okklusionen, die die extrahierten Merkmale blockieren, durchgeführt wird.
Verfahren nach Anspruch 1, wobei die Gewichtswerte ferner als Funktion eines Zeitabklingungsfaktors ermittelt werden, wobei auf Frames neuer Zeitschritte im Vergleich zu Frames weniger neuer Zeitschritte Werte einer erhöhten Gewichtung angewandt werden.
Verfahren nach Anspruch 1, wobei die entsprechende Zuordnung, die den Frame eines vorherigen Zeitschritts mit dem Frame eines aktuellen Zeitschritts kohärent verknüpft, als Funktion des Blockgitters des Frames eines aktuellen Zeitschritts und der Fahrzeugbewegung abgeleitet wird.
Verfahren nach Anspruch 1, wobei die Wahrscheinlichkeitsentscheidungsabbildung eines aktuellen Frames umfasst, dass Wahrscheinlichkeiten auf der Grundlage einer Vereinigung der aktuellen Wahrscheinlichkeitsabbildung eines freien Pfads und der entsprechenden Wahrscheinlichkeitsabbildung eines freien Pfads aktualisiert werden.
Verfahren nach Anspruch 1, wobei die Wahrscheinlichkeitsentscheidungsabbildung eines aktuellen Frames umfasst, dass Wahrscheinlichkeiten auf der Grundlage einer Vereinigung der aktuellen Wahrscheinlichkeitsabbildung eines freien Pfads und von zumindest zwei entsprechenden Pfadwahrscheinlichkeitsabbildungen aktualisiert werden, wobei die zumindest zwei entsprechenden Pfadwahrscheinlichkeitsabbildungen in Frames verschiedener vorheriger Zeitschritte erzeugt werden.
Verfahren nach Anspruch 1, wobei jeder Wahrscheinlichkeitswert in der Wahrscheinlichkeitsabbildung eines freien Pfads des Frames eines aktuellen Zeitschritts auf der Grundlage einer Formel wie folgt ermittelt wird: $p^{T S} (u_{0}, v_{0}) = \frac{c_{0} \cdot P_{0} (u_{0}, v_{0}) + \sum_{t = 1}^{n} c_{t} \cdot m_{t} (u_{0}, v_{0} | u_{t}, v_{t}) \cdot P_{t} (u_{t}, v_{t})}{c_{0} + \sum_{t = 1}^{n} c_{t} \cdot m_{t} (u_{0}, v_{0} | u_{t}, v_{t})} .$
wobei p^TS(u₀, v₀) ein geglätteter Wahrscheinlichkeitswert ist, (u₀, v₀) ein jeweiliger Blockort in dem Frame eines aktuellen Zeitschritts ist, (u_t, v_t) ein jeweiliger Blockort in dem Frame eines vorherigen t-ten Zeitschritts ist, der dem Blockort (u₀, v₀) entspricht, m_t (u₀, v₀| u_t, v_t) eine Übereinstimmungsfunktion ist, die das Gewicht oder den Grad jedes Blocks (u_t, v_t) in dem Frame eines vorherigen t-ten Zeitschritts, das oder der zu einer temporären Wahrscheinlichkeitsaktualisierung beiträgt, angibt, c₀ ein Abklingungsfaktor für einen Frame eines aktuellen Zeitschritts ist und c_t ein Abklingungsfaktor für einen Frame eines vorherigen Zeitschritts ist.