DE102013205952B4

DE102013205952B4 - Rekonfigurierbares System und Verfahren zur Detektion eines freien Pfads

Info

Publication number: DE102013205952B4
Application number: DE102013205952.3A
Authority: DE
Inventors: Wende Zhang; Jinsong Wang
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2012-04-09
Filing date: 2013-04-04
Publication date: 2020-03-19
Anticipated expiration: 2033-04-05
Also published as: US9626599B2; DE102013205952A1; CN103366154A; CN103366154B; US20130265424A1

Abstract

Rekonfigurierbares System (10) zur Detektion eines freien Pfads für ein Fahrzeug (12), umfassend:
eine Bilderfassungseinrichtung (14) zum Erfassen von Bildern einer Szene eines Fahrpfads;
ein primäres Modul (20) zur Detektion eines freien Pfads, das einen freien Pfad in einem von der Bilderfassungseinrichtung (14) erfassten Eingangsbild ermittelt;
mehrere sekundäre Module zur Detektion eines freien Pfads, wobei jedes sekundäre Modul zur Detektion eines freien Pfads ausgestaltet ist, um unabhängig das Identifizieren eines jeweiligen freien Pfads der Fahrstraße in dem Eingangsbild zu unterstützen, wobei selektiv ein oder mehrere der sekundären Module zur Detektion eines freien Pfads freigegeben werden, um das Identifizieren des freien Pfads der Fahrstraße zu unterstützen, wobei nur die selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads verwendet werden, um den freien Pfad der Fahrstraße in dem Eingangsbild zu identifizieren; und
ein Vereinigungsmodul (22, 24) zum kollektiven Analysieren der Ergebnisse der Detektion eines freien Pfads des primären Moduls (20) zur Detektion eines freien Pfads und der selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads, um den freien Pfad in dem Eingangsbild zu identifizieren.

Description

HINTERGRUND DER ERFINDUNG
Eine Ausführungsform bezieht sich allgemein auf eine Straßenerkennung.
Es werden Sichtbildgebungssysteme in Fahrzeugen verwendet, um Erfassungsanwendungen in dem Fahrzeug, wie beispielsweise Systeme zur Detektion eines freien Pfads, Objektdetektionssysteme und andere Sicht-/Positionsbestimmungssysteme zu verbessern. Solche Systeme können verwendet werden, um das Fahrzeug autonom oder semiautonom über Lenksysteme, eine Drosselklappensteuerung, eine Bremssteuerung zu steuern, oder können sogar für Spurverlassenswarnsysteme verwendet werden.
Es können verschiedene Techniken verwendet werden, um einen freien Pfad für eine Objektdetektion zu identifizieren. Typischerweise weist jede jeweilige Technik Attribute auf, die in bestimmten Beziehungen Vorteile bereitstellen. Ein Verwenden von mehr als einer Technik würde eine verbesserte Detektion des freien Pfads bieten, würde jedoch auch die Verarbeitungszeit zum Ermitteln des freien Pfads erhöhen.
DE 10 2011 081 740 A1 offenbart eine Fahrumgebung-Erkennungseinrichtung zur präzisen Erkennung der Fahrumgebung eines Fahrzeugs. Hierbei wird eine Belegungsgitterkarte, die eine Belegungswahrscheinlichkeit jedes Hindernisses für die Fahrt des Fahrzeugs für jede Zelle der Belegungsgitterkarte speichert, erzeugt, und die Belegungswahrscheinlichkeit für jede Zelle wird mittels Bayes'scher Deduktion aktualisiert. Weiterer Stand der Technik ist aus DE 10 2011 016 770 A 1 bekannt.
ZUSAMMENFASSUNG DER ERFINDUNG
Aufgabe der Erfindung ist es, ein verbessertes System und ein verbessertes Verfahren zur Detektion eines freien Pfads bereitzustellen.
Zur Lösung der Aufgabe sind ein rekonfigurierbares System mit den Merkmalen des Anspruchs 1 und ein Verfahren mit den Merkmalen des Anspruchs 10 vorgesehen. Vorteilhafte Ausbildungen der Erfindung sind den Unteransprüchen, der Beschreibung und den Zeichnungen zu entnehmen.
Eine Ausführungsform zieht ein Verfahren zum Detektieren eines freien Pfads einer Fahrstraße für ein Fahrzeug in Betracht. Es werden Bilder einer Szene eines Fahrpfads durch eine Bilderfassungseinrichtung erfasst. Es wird ein freier Pfad in einem Eingangsbild durch ein primäres Modul zur Detektion eines freien Pfads ermittelt. Das primäre Modul zur Detektion eines freien Pfads analysiert das Eingangsbild von der Bilderfassungseinrichtung. Das primäre Modul zur Detektion eines freien Pfads teilt das Eingangsbild in mehrere Bereiche auf. Es werden Wahrscheinlichkeitswerte für jeden der Bereiche ermittelt, die eine Wahrscheinlichkeit bezüglich dessen, ob ein jeweiliger Bereich ein freier Fahrpfad ist, darstellen. Zu den aufgeteilten Bereichen gehören Merkmalsdaten des Eingangsbilds. Es wird eine trainierte Klassifizierungseinrichtung angewandt, um einen freien Fahrpfad in dem Eingangsbild auf der Grundlage der Merkmalsdaten und der entsprechenden Wahrscheinlichkeitswerte zu identifizieren. Es werden mehrere sekundäre Module zur Detektion eines freien Pfads bereitgestellt, um unabhängig einen jeweiligen freien Fahrpfad in dem Eingangsbild zu identifizieren. Es werden selektiv ein oder mehrere der sekundären Module zur Detektion eines freien Pfads freigegeben, um den freien Fahrpfad zu identifizieren. Es werden nur die selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads verwendet, um den freien Pfad der Fahrstraße in dem Eingangsbild zu identifizieren. Ein Vereinigungsmodul analysiert kollektiv die Ergebnisse der Detektion eines freien Pfads des primären Moduls zur Detektion eines freien Pfads und analysiert die selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads, um den freien Pfad in dem Eingangsbild zu identifizieren.
Eine Ausführungsform zieht ein rekonfigurierbares System zur Detektion eines freien Pfads für ein Fahrzeug in Betracht. Eine Bilderfassungseinrichtung erfasst Bilder einer Szene eines Fahrpfads. Ein primäres Modul zur Detektion eines freien Pfads ermittelt einen freien Pfad in einem Eingangsbild, das von der Bilderfassungseinrichtung erfasst wird. Mehrere sekundäre Module zur Detektion eines freien Pfads, wobei jedes sekundäre Modul zur Detektion eines freien Pfads konfiguriert ist, um unabhängig das Identifizieren eines jeweiligen freien Pfads der Fahrstraße in dem Eingangsbild zu unterstützen. Eines oder mehrere der sekundären Module zur Detektion eines freien Pfads werden selektiv freigegeben, um das Identifizieren des freien Pfads der Fahrstraße zu unterstützen, wobei nur die selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads verwendet werden, um den freien Pfad der Fahrstraße in dem Eingangsbild zu identifizieren. Ein Vereinigungsmodul analysiert kollektiv die Ergebnisse der Detektion eines freien Pfads des primären Moduls zur Detektion eines freien Pfads und der selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads, um den freien Pfad in dem Eingangsbild zu identifizieren.
Figurenliste

1 ist eine Darstellung eines Fahrzeugs, in dem ein Fahrzeugsystem zur Detektion eines freien Pfads integriert ist.
2 ist ein Blockdiagramm des rekonfigurierbaren Systems zur Detektion eines freien Pfads.

DETAILLIERTE BESCHREIBUNG
In 1 ist ein Fahrzeug gezeigt, in dem ein rekonfigurierbares System zur Detektion eines freien Pfads für ein Fahrzeug 12 integriert ist. Das rekonfigurierbare System zur Detektion eines freien Pfads ist mit einer Bilderfassungseinrichtung 14 ausgestattet, die an dem Fahrzeug 12 angebracht ist. Die Bilderfassungseinrichtung 14 steht mit einer Verarbeitungseinheit 16 in Verbindung.
2 zeigt ein Blockdiagramm des rekonfigurierbaren Systems 10 zur Detektion eines freien Pfads. Das rekonfigurierbare System 10 zur Detektion eines freien Pfads kann ferner eine Speichereinrichtung 18, um erfasste Bilder zu speichern oder zu puffern, ein primäres Modul 20 zur Detektion eines freien Pfads, mehrere sekundäre Module zur Detektion eines freien Pfads, ein erstes Vereinigungsmodul 22 und ein zweites Vereinigungsmodul 24 umfassen.
Die Bilderfassungseinrichtung 14 kann eine Kamera oder eine andere Bildgebungseinrichtung umfassen. Die Bilderfassungseinrichtung 14 erfasst Bilder vor dem Fahrzeug, die verwendet werden, um einen freien Fahrpfad zu identifizieren. Vorzugsweise ist die Bilderfassungseinrichtung 14 ausgestaltet, um eine kontinuierliche Bilderfassung durchzuführen. Die durch die Bilderfassungseinrichtung 14 erfassten Bilder können in einem Speicher der Bilderfassungseinrichtung 14 gespeichert werden, zu einer Speichereinrichtung außerhalb des Fahrzeugs übermittelt werden oder können für eine Analyse zu einer Verarbeitungseinheit übermittelt werden. Die Verarbeitungseinheit kann die verschiedenen Module zur Detektion eines freien Pfads und das Vereinigungsmodul umfassen oder kann unabhängig sein und die Information von einem jeweiligen Modul außerhalb des Fahrzeugs abrufen. Ferner können mehr als eine Bilderfassungseinrichtung verwendet werden, um Bilder hinter dem Fahrzeug zu erfassen. Die hinter dem Fahrzeug erfassten Bilder können bei der Analyse verwendet werden, um den freien Fahrpfad vor dem Fahrzeug zu identifizieren.
Die erfassten Bilder sind vorzugsweise ein zweidimensionales Bild mit bekannten Pixel-Dimensionen. Das Bild enthält mehrere identifizierbare Pixel. Jedes der Pixel umfasst einen Satz von Bits, die einer Farbe an einer vorbestimmten Farbabbildung entsprechen, die einen Farbintensitätswert darstellt.
Die Verarbeitungseinheit ist eine einzelne Einheit; es ist jedoch zu verstehen, dass Funktionen der Verarbeitungseinheit durch eine oder mehrere in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung realisierte Einrichtungen durchgeführt werden können. Die Verarbeitungseinheit kann ein Universalprozessor, ein digitaler Computer mit einem zentralen Mikroprozessor oder einer zentralen Verarbeitungseinheit, ein ASIC oder ein anderes Verarbeitungsmodul mit einem nichtflüchtigen Speicher, einem Nur-Lese-Speicher, einem programmierbaren Nur-Lese-Speicher, einem RAM, einer A-D-Schaltung, einer D-A-Schaltung, einer Eingabe/Ausgabe-Schaltung, einer Pufferfähigkeit und einer geeigneten Signalkonditionierung, wie beispielsweise einer digitalen Signalverarbeitung, sein. Die Verarbeitungseinheit 16 ist entworfen, um Algorithmen auszuführen, die Eingänge von den hierin beschriebenen Einrichtungen sowie anderen Einrichtungen oder Systemen in dem Fahrzeug verwenden. Die Verarbeitungseinheit ermittelt einen freien Pfad in dem erfassten Bild. Der freie Pfad wird beim Führen des Fahrzeugs entlang der Fahrstraße verwendet. Die Verarbeitungseinheit kann die Führungsfunktionen wie oben beschrieben durchführen oder kann die Ergebnisse an eine sekundäre Anwendung übermitteln, die die Führungsfunktionen durchführt.
Das primäre Modul 20 zur Detektion eines freien Pfads verwendet eine aufteilungsbasierte Technik zum Detektieren eines freien Pfads der befahrenen Straße. Das primäre Modul 20 zur Detektion eines freien Pfads analysiert ein von der Bilderfassungseinrichtung 14 erfasstes Eingangsbild. Das primäre Modul 20 zur Detektion eines freien Pfads teilt das Eingangsbild in mehrere Bereiche auf und ermittelt Wahrscheinlichkeitswerte für jeden der Bereiche. Die ermittelten Wahrscheinlichkeitswerte jedes Bereichs stellen eine Wahrscheinlichkeit bezüglich dessen dar, ob ein jeweiliger Bereich einen freien Pfad der befahrenen Straße umfasst. Merkmalsdaten des Eingangsbilds gehören zu den aufgeteilten Bereichen und werden einer Klassifizierungseinrichtung geliefert, um einen freien Pfad der befahrenen Straße auf der Grundlage der Merkmalsdaten und der entsprechenden Wahrscheinlichkeitswerte zu identifizieren. Eine Detektion eines freien Pfads unter Verwendung der aufteilungsbasierten Technik ist in der ebenfalls anhängigen Anmeldung mit der Publikationsnummer US 2010 / 0 098 297 A1 beschrieben, die am 19. Oktober 2009 eingereicht wurde, den Titel „Clear Path Detection Using Segmentation-Based Method“ trägt und deren Offenbarungsgehalt hierin durch Bezugnahme vollständig mit eingeschlossen ist.
Die mehreren sekundären Module zur Detektion eines freien Pfads werden selektiv in Kooperation mit den Ergebnissen von dem primären Modul 20 zur Detektion eines freien Pfads verwendet, um einen freien Pfad für die Fahrstraße in dem erfassten Bild zu ermitteln. Die sekundären Module zur Detektion eines freien Pfads umfassen ein Online-Modul 26 zur Detektion einer ähnlichen Szene unter Verwendung von vorherigen zuverlässigen Bereichen eines freien Pfads, ein Anpassungsmodul 28, ein Draufsichtklassifizierungsmodul 30, ein Straßenstrukturidentifikationsmodul 32 und ein Modul 34 einer temporären Kohärenz, sind jedoch nicht darauf beschränkt.
Das Online-Modul 26 zur Detektion einer ähnlichen Szene umfasst eine Technik, die eine geringe Datenverarbeitung erfordert. Während das Fahrzeug läuft, wird ein Bild in Echtzeit erfasst und sofort mit verschiedenen Datensatzbildabtastwerten verglichen, die einen freien Pfad umfassen und zuvor gekennzeichnet und identifiziert wurden. Das heißt, vorherige in dem Speicher gespeicherte Abtastwertbilder sind bereits als freie Pfade klassifiziert. Es wird ein flüchtiger Vergleich zwischen dem aktuellen Bild und den in dem Speicher, wie beispielsweise einer Datenbank, gespeicherten Abtastwerten durchgeführt, um zu ermitteln, ob eine Übereinstimmung vorliegt. Da der Vergleich eine geringe Datenverarbeitung erfordert, kann eine schnelle Auswertung eingesetzt werden. Dieser Prozess wird als Durchlauf bezeichnet, da das Bild nicht für eine intensive Analysierung gepuffert wird. Wenn die Fahrstraße neu und keine zuvor befahrene Straße ist, kann das Online-Modul 26 zur Detektion einer ähnlichen Szene nicht verwendet werden, da keine Kenntnis der Fahrstraße vorliegt.
Das Anpassungsmodul 28 verwendet adaptive Maschinenlerntechniken, die zumindest zwei Klassifizierungseinrichtungen umfassen. Bilder, die durch die Bilderfassungseinrichtung 14 erhalten werden, werden in Bereiche aufgeteilt. Es werden charakteristische Merkmale aus den Bildern extrahiert. Attribute, die aus den erfassten Bildern identifiziert werden können, umfassen Farbe und Aufbau. Die Attribute werden durch eine erste Klassifizierungseinrichtung, wie beispielsweise eine Stützvektormaschine bzw. Support Vector Machine, analysiert, die zuvor trainiert wurde, um Gebiete eines freien Pfads in einem Bild zu identifizieren. Die verschiedenen Gebiete werden durch einen Vertrauenswert identifiziert, der eine Wahrscheinlichkeit bezüglich dessen betrifft, ob ein jeweiliger Bereich Teil des freien Pfads ist. Die Bereiche, die einen Vertrauenswert unter einem vorbestimmten Schwellenwert aufweisen, werden durch eine zusätzliche Klassifizierungseinrichtung analysiert, die adaptiv unter Verwendung von realen Testabtastwerten trainiert wird, die zuvor als ein hohes Vertrauensniveau, was einen freien Fahrpfad angibt, aufweisend klassifiziert wurden. Die Datenergebnisse von der ersten Klassifizierungseinrichtung und der zusätzlichen adaptiv aktualisierten Klassifizierungseinrichtung werden dann verwendet, um eine kooperative Entscheidung bezüglich der Existenz eines freien Pfads in Bereichen nachfolgend erfasster Bilder zu treffen. Details für eine Detektion eines freien Pfads unter Verwendung der adaptiven Technik sind in der ebenfalls anhängigen Anmeldung mit der Publikationsnummer US 2012 / 0 147 176 A1 , die am 08. Dezember 2010 eingereicht wurde und den Titel „Adaptation For Clear Path Detection With Additional Classifiers“ trägt, und der ebenfalls anhängigen Anmeldung mit der Publikationsnummer US 2012 / 0 147 189 A1 die am 08. Dezember 2010 eingereicht wurde und den Titel „Adaptation for Clear Path Detection Using Reliable Local Model Updating“ trägt, beschrieben, wobei die Offenbarungsgehalte beider hierin durch Bezugnahme vollständig mit eingeschlossen sind.
Das Draufsichtklassifizierungsmodul 30 verwendet einen Draufsichtgenerator, der ein oder mehrere Bilder, die von der Bilderfassungseinrichtung 14 erhalten werden, in eine Draufsicht der Fahrstraße umwandelt. Es werden ein oder mehrere Bilder durch die Bilderfassungseinrichtung 14 erfasst. Es wird eine Bild-Warping-Umwandlungstechnik auf das Bild angewandt, um das Bild von einer Frontansicht der Fahrstraße in eine Draufsicht der Fahrstraße umzuwandeln. Das umgewandelte Draufsichtbild wird in Bereiche aufgeteilt. Es werden charakteristische Merkmale aus den Bereichen in der Draufsicht extrahiert. Attribute, die aus den umgewandelten Draufsichtbildern identifiziert werden können, umfassen Farbe und Aufbau. Die extrahierten Merkmale werden durch eine Klassifizierungseinrichtung, wie beispielsweise eine Stützvektormaschine, analysiert, um zu identifizieren, welche Bereiche Gebiete eines freien Pfads für die Fahrstraße sind.
Jedes der oben beschriebenen mehreren sekundären Module zur Detektion eines freien Pfads kann einen freien Pfad der Fahrstraße für das Eingangsbild identifizieren oder die Identifizierung dieses unterstützen. In 2 werden Ergebnisse der Detektion eines freien Pfads von einigen der sekundären Module zur Detektion eines freien Pfads an das erste Vereinigungsmodul 22 geliefert, an dem die Ergebnisse in Kooperation mit Ergebnissen von dem primären Modul 20 zur Detektion eines freien Pfads verarbeitet werden. Jedes der dem ersten Vereinigungsmodul 22 gelieferten Ergebnisse wird selektiv kombiniert, um die Genauigkeit des Identifizierens des freien Pfads aus dem Eingangsbild zu verbessern.
Jedes der sekundären Module zur Detektion eines freien Pfads kann auch beim Ermitteln des freien Pfads der befahrenen Straße freigegeben oder gesperrt werden oder kann selektiv verwendet werden, was umfasst, dass die Wahrscheinlichkeiten der sekundären Detektion eines freien Pfads selektiv gewichtet werden. Beim Verwenden von nur einer ausgewählten Gruppe der sekundären Module zur Detektion eines freien Pfads kann das System zur Detektion eines freien Pfads einen Kompromiss zwischen der Genauigkeit und der Verarbeitungszeit beim Identifizieren des freien Pfads wählen. Das heißt, ein System zur Detektion eines freien Pfads kann als Kompromiss auf der Grundlage der Anzahl von ausgewählten Modulen, der sich direkt auf die Genauigkeit und die Zeit der Durchführung des Systems als Ganzes bezieht, rekonfiguriert werden.
Das Erhöhen der Anzahl an Techniken zur Detektion eines freien Pfads, die in Kooperation mit dem primären Modul 12 zur Detektion eines freien Pfads ausgeführt werden, erhöht das Vertrauensniveau, dass der freie Fahrpfad korrekt identifiziert wurde. Während jedoch jede zusätzliche zweite Technik zur Detektion eines freien Pfads das Vertrauensniveau eines genauen Identifizierens des freien Pfads erhöht, erhöht sich die Verarbeitungszeit, die zum Ausführen jedes der ausgewählten Module erforderlich ist. Daher kann möglicherweise nur eine ausgewählte Anzahl an sekundären Techniken zur Detektion eines freien Pfads ausgeführt werden, um einen Kompromiss zwischen Genauigkeit und Durchführungszeit zu optimieren.
Das Identifizieren eines Gebiets, in dem das Fahrzeug typischerweise fährt, kann das Ermitteln unterstützen, welche Techniken zur Detektion eines freien Pfads am besten geeignet sein können, um den freien Pfad zu identifizieren, da bestimmte Techniken in Bezug auf Genauigkeit beim Identifizieren des freien Pfads der Fahrstraße möglicherweise keinen zusätzlichen Nutzen bereitstellen. Wenn das Fahrzeug beispielsweise primär in einem Stadtgebiet fährt, kann ein sekundäres Modul zur Detektion eines freien Pfads, wie beispielsweise die Straßenstrukturverfolgungstechnik, die eine Fluchtpunktliniendetektion verwendet, die Genauigkeit der Ergebnisse möglicherweise nicht erhöhen, da ein Fluchtpunkt in einem Stadtgebiet möglicherweise schwer zu detektieren ist. Daher kann das System zur Detektion eines freien Pfads rekonfiguriert werden, um entweder ein jeweiliges sekundäres Modul zur Detektion eines freien Pfads nicht auszuführen oder ein Gewicht von Null auf die Ergebnisse von dieser jeweiligen Technik anzuwenden. Folglich können möglicherweise nur jene sekundären Techniken zur Detektion eines freien Pfads ausgewählt werden, die entweder aus einer Genauigkeitsperspektive oder aus einer Verarbeitungsgeschwindigkeitsperspektive beim Identifizieren des freien Pfads nützlich sind.
In dem ersten Vereinigungsmodul 22 werden die Ergebnisse von jedem der Module zur Detektion eines freien Pfads gewichtet, um einen Grad zu ermitteln, zu dem auf jedes der Ergebnisse vertraut wird bzw. zu dem jedes verwendet wird. Die folgende Gleichung stellt eine gewichtete Formel dar, um jedes der jeweiligen Ergebnisse von den Ergebnissen der Detektion eines freien Pfads wie oben beschrieben anzuwenden. Die Formel ist wie folgt dargestellt: $P_{f u s e} (c) = \frac{w_{o f f l i n e} \cdot P_{o f f l i n e} (c) + w_{o n l i n e} \cdot P_{o n l i n e} (c) + w_{t o p v i e w} \cdot P_{t o p v i e w} (c) + w_{a d a p t} \cdot P_{a d a p t} (c)}{w_{o f f l i n e} + w_{o n l i n e} + w_{t o p v i e w} + w_{a d a p t}}$
Die vereinigte Wahrscheinlichkeit eines freien Pfads P_fuse(c) wird als Funktion einer gewichteten Linearkombination einer Offline-SVM-Klassifizierungswahrscheinlichkeit P_oflline(c), einer Online-Klassifizierungswahrscheinlichkeit einer ähnlichen Szene P_online(c), einer Draufsichtklassifizierungswahrscheinlichkeit Ptopview(c) und der Anpassungswahrscheinlichkeit P_adapt(c) ermittelt. Die Gewichte der vier Modulausgänge w_offline, w_online, w_topview und w_adapt können gleich sein (z.B. 1/4), oder es kann ein Regressionsverfahren verwendet werden, um ein optimales Gewicht für jedes Modul zu erzeugen. Folglich kann das rekonfigurierbare System zur Detektion eines freien Pfads nur das primäre Modul 20 zur Detektion eines freien Pfads verwenden oder kann es selektiv eine beliebige Kombination der anderen drei Module umfassen.
Die Ergebnisse von dem ersten Vereinigungsmodul 22 werden dann auf das zweite Vereinigungsmodul 24 angewandt. Das zweite Vereinigungsmodul 24 verwendet die Ergebnisse des ersten Vereinigungsmoduls 22 und berücksichtigt Straßenstrukturbeschränkungen. Es wird eine Gewichtung verwendet, um einen Grad zu ermitteln, zu dem die Straßenstrukturbeschränkungen in dem zweiten Vereinigungsmodul 24 verwendet werden. Die Gewichtung basiert auf einem Wahrscheinlichkeitssystem. Auf der Grundlage des Straßenstrukturdetektionsergebnisses wird eine Vertrauensabbildung erzeugt. Die Vertrauensabbildung wird auf die Wahrscheinlichkeitsabbildung der Klassifizierung eines freien Pfads angewandt, um das Ergebnis der Detektion eines freien Pfads zu verfeinern.
In Kasten 24 werden die Ergebnisse von dem ersten Vereinigungsmodul 22 dem zweiten Vereinigungsmodul 24 geliefert. Die Ergebnisse von dem Straßenstrukturidentifikationsmodul 32 wirken mit den Ergebnissen von dem ersten Vereinigungsmodul 22 zusammen, um ein verbessertes Vertrauen hinsichtlich des Identifizierens des freien Pfads zu gewinnen.
In dem Straßenstrukturidentifikationsmodul 32 werden ein Fluchtpunkt und potentielle Straßenränder detektiert, um Grenzen der Straße zu identifizieren, was verwendet wird, um den freien Pfad zu identifizieren. Das Straßenstrukturidentifikationsmodul 32 erhält Bilder von der Bilderfassungseinrichtung 14 oder dem Speicher 18. Die Bilder werden einem Linien-Clusterbildungs- und Fluchtpunktdetektionssubmodul geliefert. Das Submodul verwendet ein Beleuchtungsintensitätsbild und ein Gelbbild, die aus dem erfassten Eingangsbild transformiert werden, und führt eine Randanalyse an dem Beleuchtungsintensitätsbild und dem Gelbbild durch, um Linienkandidaten zu detektieren. Es werden Randfilter auf das Beleuchtungsintensitätsbild angewandt, um vertikale und horizontale Gradienten zu erhalten, die dann verwendet werden, um einen Gradientenbetrag und einen Gradientenwinkel zu ermitteln. Der Gradientenbetrag jedes Pixels wird mit einem Schwellenwert verglichen, um Randpunkte zu extrahieren, die einen Gradientenbetrag aufweisen, der größer als ein vorbestimmter Schwellenwert ist. Die Randanalyse identifiziert den Rändern zugehörige Pixel in den Bilddaten und verwendet dann die Randpunkte in dem Bild, um einen potentiellen Linienkandidaten zu ermitteln.
Die Linienkandidaten werden durch Einordnen in ein Cluster (Gruppieren) von potentiellen Pixeln detektiert, die einer potentiellen Spurmarkierung oder einem potentiellen Bordstein zugehörig sind. Eine Linien-Clustereinordnung umfasst das Abtasten der Rand-Pixel eines nach dem anderen. Es wird eine Konnektivität von Pixeln identifiziert, um einen jeweiligen Satz von Pixeln auf der Grundlage eines ähnlichen Gradienten zwischen den Nachbar-Pixeln in ein Cluster einzuordnen. Für jedes Rand-Pixel wird die Umgebungsregion eines jeweiligen Pixels nach anderen Rand-Pixeln, die einen ähnlichen Gradientenwinkel wie das jeweilige Pixel aufweisen, durchsucht. Die Pixel, die ähnliche Gradientenwinkel aufweisen, werden miteinander gruppiert, und es wird ihnen ein gleicher Linienindex zugeordnet. Nach dem Abtasten und Gruppieren aller Pixel werden Liniengruppen, die länger als eine jeweilige Länge und eine Ausbreitung in vertikaler Richtung sind, extrahiert und als potentielle Linien-Cluster für eine weitere Verarbeitung identifiziert. Folglich werden potentielle Linien-Cluster auf der Grundlage jener Cluster identifiziert, die eine Gradientenwinkelähnlichkeit und eine lokale Konnektivität aufweisen.
Die Linien-Cluster, die in dem Beleuchtungsintensitätsbild und dem Gelbbild identifiziert werden, werden zusammengeführt, und es wird eine Detektion potentieller Linienkandidaten an den zusammengeführten Linien-Clustern durchgeführt. Potentielle Linienkandidaten können aus den Streifen einer hellen Linie, den Streifen einer dunklen Linie und den Streifen einer langgestreckten Linie (d.h. Linien, die sich eine wesentliche Distanz in dem Bild erstrecken) identifiziert werden.
Es wird eine Fluchtpunktdetektion auf der Grundlage der Ergebnisse der potentiellen Linienkandidaten angewandt. Ein Fluchtpunkt wird auf der Grundlage der identifizierten hellen Streifen und der langen dunklen Streifen geschätzt. Ferner werden andere dunkle Streifen und einzelne lange Linien identifiziert, um den Fluchtpunkt zu verfeinern. Endende Linien, die sich in naher Nähe zu dem geschätzten anfänglichen Fluchtpunkt befinden, werden ausgewählt, um den Fluchtpunkt zu verfeinern. Als Ergebnis wird die Straßenstruktur auf der Grundlage der detektierten Linien wie hierin beschrieben identifiziert.
Nach dem Ermitteln des Fluchtpunkts werden Linien in naher Nähe zu den geschätzten Fluchtpunkten identifiziert. Für alle identifizierten Linien in naher Nähe zu den geschätzten Fluchtpunkten werden Merkmale aus dem Bild extrahiert. Es wird eine Klassifizierungsanalyse an den Kandidatenmerkmalen von kategorisierten linken und rechten Linien-Clustern, die zuverlässige Straßenränder darstellen, durchgeführt.
In dem zweiten Vereinigungsmodul 24 wird eine Vertrauensabbildung erzeugt, bei der dem Gebiet oder den Gebieten zwischen den detektierten Straßenrändern, die durch das Straßenstrukturidentifikationsmodul 32 detektiert werden, ein hohes Vertrauen zugeordnet wird, und dem Gebiet oder den Gebieten außerhalb der detektierten Straßenränder ein niedriger Vertrauenswert zugeordnet wird. Für jene Aufteilungsbereiche, die in das Gebiet außerhalb der identifizierten Straßenränder fallen, ist die Wahrscheinlichkeit, dass dieser Aufteilungsbereich Teil des freien Pfads ist, verringert. Dies erfolgt, indem deren zugehörige Wahrscheinlichkeit wie in dem ersten Vereinigungsmodul 22 ermittelt mit der von dem Straßenstrukturidentifikationsmodul 32 erzeugten Vertrauensabbildung vereinigt wird. Die Formel zum Ermitteln der Wahrscheinlichkeit des freien Pfads als Funktion der identifizierten Straßenstruktur wird durch die folgende Formel dargestellt: $P_{r d s t r_f u s e} (c) = C o n f_{r d_e d g e} (c) \cdot P_{f u s e} (c)$
wobei P_fuse(c) die Wahrscheinlichkeit des freien Pfads für einen jeweiligen aufgeteilten Bereich ist, die durch das erste Vereinigungsmodul 22 erzeugt wird, und Conf_{rd_edge} der dem Gebiet innerhalb oder außerhalb des Straßenrands zugeordnete Vertrauenswert ist.
Das Vereinigungsmodul wie beschrieben kann rekonfiguriert werden, was bedeutet, dass die vereinigte Wahrscheinlichkeit eines freien Pfads verwendet werden kann, indem Straßenrandbeschränkungen in Betracht gezogen werden, oder ohne dass diese in Betracht gezogen werden.
Die Ergebnisse von dem zweiten Vereinigungsmodul 24 werden dem Modul 34 einer temporären Kohärenz bereitgestellt. Das Modul 34 einer temporären Kohärenz wendet eine temporäre Glättung auf die vereinigten Ausgangsdaten an. Die Technik einer temporären Kohärenz erzeugt eine vereinigte Wahrscheinlichkeit eines freien Pfads aus vorherigen Bild-Frame-Daten und aktuellen Bild-Frame-Daten. Das Modul 34 einer temporären Kohärenz identifiziert Bereiche in jedem der zeitlich versetzten erfassten Bilder. Aus jedem Bild werden den Bereichen hinzugehörige Merkmale extrahiert. Für jedes extrahierte Merkmal wird ein Wahrscheinlichkeitswert ermittelt, der eine Wahrscheinlichkeit, dass ein Bereich Teil des freien Pfads der befahrenen Straße ist, angibt. Es werden alle zeitlich versetzten Bilder verglichen, und es werden Merkmale mit im Wesentlichen ähnlichen Erscheinungsbildeigenschaften zwischen den zeitlich versetzten Bildern identifiziert. In Ansprechen auf den Vergleich der Merkmale mit im Wesentlichen ähnlichen Erscheinungsbildeigenschaften und deren zugehöriger Wahrscheinlichkeitswerte werden die Merkmale ermittelt, die den freien Pfad angeben. Diese Technik kann unter Verwendung der folgenden Formel dargestellt werden: $p^{T S} (u_{0} v_{0}) = \frac{c_{0} \cdot P_{0} (u_{0} v_{0}) + \sum_{t = 1}^{n} c_{t} \cdot δ (m_{t} (u_{0}, v_{0} | u (t), v (t))) \cdot P_{t} (u (t), v (t))}{c_{0} + \sum_{t = 1}^{n} c_{t} \cdot δ (m_{t} (u_{0}, v_{0} | u (t), v (t)))} .$
Ein Pixel-Ort (u_tv_t) in einem vorherigen Frame, der (u₀v₀) in dem aktuellen Frame entspricht, wird unter Verwendung von Faktoren, wie beispielsweise Fahrzeugbewegung und Bodenannahmen (freier Pfad), berechnet. Eine Delta-Funktion δ(m_t(u₀v₀ | u_tv_t)) gibt an, ob das Pixel (u_tv_t) in dem t-ten vorherigen Frame zu einer temporären Glättung beiträgt, was auf der Ähnlichkeit zu dem Pixel (u₀v₀) in dem aktuellen Frame basiert. Die Gewichte c_t, t = 0, 1, 2, ... geben das Beitragsgewicht jedes Frames an. Die Gewichte können feste gleiche Gewichte sein, was eine gleichmäßige Verteilung zwischen jedem Frame bedeutet, oder können mit der Zeit t abfallen, was bedeutet, dass der vorherige Video-Frame weniger beiträgt, wenn er von einem früheren Zeitpunkt stammt.
Die Ergebnisse eines freien Pfads, die durch das erste Vereinigungsmodul 22 und das zweite Vereinigungsmodul 24 erzeugt werden, werden einer Ausgabeeinrichtung 36 geliefert. Die Ausgabeeinrichtung 36 kann eine Anzeige zum Anzeigen der Fahrstraße und des freien Pfads für den Fahrer des Fahrzeugs umfassen, wie beispielsweise die Anzeige, die von einer Rückfahrkamera verwendet wird. Die Ausgabeeinrichtung 36 kann eine Fahrzeuganwendung, wie beispielsweise ein Objektdetektionssystem, umfassen, das den identifizierten freien Pfad abtastet, um Objekte in der Szene der befahrenen Straße zu detektieren.

Die nachstehende Tabelle zeigt beispielhafte Konfigurationen auf der Grundlage von Genauigkeit und Geschwindigkeit eines Verwendens sekundärer Module eines freien Pfads in Kooperation mit dem primären Modul eines freien Pfads. Die Basislinie wie in der nachstehenden Tabelle gezeigt stellt das primäre Modul zur Detektion eines freien Pfads dar.

Konfiguration	Genauigkeit	Geschwindigkeit (s)
Basislinie	93,93 %	0,736
Basislinie + Anpassungsdetektion	93,38 %	0,774
Basislinie + Straßenstrukturdetektion	93,94 %	1,411
Basislinie + Detektion einer temporären Kohärenz	91,51 %	2,21
Basislinie + temporäre Kohärenz + An passungsdetektion	94,63 %	2,25
Basislinie + temporäre Kohärenz + Anpassung + Straßenstrukturdetektion	94,64 %	2,759

Es ist zu verstehen, dass die hierin gezeigten Konfigurationen und Werte beispielhaft sind und dass die Tabelle mehr oder weniger Informationen als die gezeigten umfassen kann. Beispielsweise können verschiedene Konfigurationen diese Draufsichttechniken und/oder Online-Techniken zusätzlich zu anderen bekannten Techniken verwenden, ohne von dem Schutzumfang der Erfindung abzuweichen. Ferner können sich Geschwindigkeitsdaten und Genauigkeitsdaten in Abhängigkeit von Umgebung, Hardware und Software, die verwendet werden, unterscheiden. Wie gezeigt erhöht sich, wenn sich die Genauigkeit erhöht, die Verarbeitungszeit zum Identifizieren des freien Pfads unter Verwendung der ausgewählten Module eines freien Pfads. Alternativ verringern sich die Verarbeitungszeit sowie die Genauigkeit, wenn weniger Module zur Detektion eines freien Pfads verwendet werden.
Um das System zur Detektion eines freien Pfads zu rekonfigurieren, so dass nur die ausgewählten sekundären Module zur Detektion eines freien Pfads verwendet werden, kann das Fahrzeug durch einen Techniker in einer Werkstatt oder eine andere Fachperson, die auf die Software zugreifen können und diese rekonfigurieren können, gewartet werden, um das System zur Detektion eines freien Pfads auszuführen. Wenn die Ergebnisse der sekundären Module zur Detektion eines freien Pfads gewichtet werden sollen, ermittelt das System automatisch die Gewichte auf der Grundlage einer gleichmäßigen Verteilung der Gewichtung zwischen den sekundären Modulen zur Detektion eines freien Pfads, oder die Gewichtung kann auf einer Regressionstechnik basieren.
Während in der vorliegenden Erfindung bestimmte Ausführungsformen ausführlich beschrieben wurden, werden Fachleute, die diese Erfindung betrifft, verschiedene alternative Entwürfe und Ausführungsformen zum Ausführen der Erfindung wie durch die folgenden Ansprüche definiert erkennen.

Claims

Rekonfigurierbares System (10) zur Detektion eines freien Pfads für ein Fahrzeug (12), umfassend: eine Bilderfassungseinrichtung (14) zum Erfassen von Bildern einer Szene eines Fahrpfads; ein primäres Modul (20) zur Detektion eines freien Pfads, das einen freien Pfad in einem von der Bilderfassungseinrichtung (14) erfassten Eingangsbild ermittelt; mehrere sekundäre Module zur Detektion eines freien Pfads, wobei jedes sekundäre Modul zur Detektion eines freien Pfads ausgestaltet ist, um unabhängig das Identifizieren eines jeweiligen freien Pfads der Fahrstraße in dem Eingangsbild zu unterstützen, wobei selektiv ein oder mehrere der sekundären Module zur Detektion eines freien Pfads freigegeben werden, um das Identifizieren des freien Pfads der Fahrstraße zu unterstützen, wobei nur die selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads verwendet werden, um den freien Pfad der Fahrstraße in dem Eingangsbild zu identifizieren; und ein Vereinigungsmodul (22, 24) zum kollektiven Analysieren der Ergebnisse der Detektion eines freien Pfads des primären Moduls (20) zur Detektion eines freien Pfads und der selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads, um den freien Pfad in dem Eingangsbild zu identifizieren.
Rekonfigurierbares System (10) zur Detektion eines freien Pfads nach Anspruch 1, wobei die mehreren sekundären Module zur Detektion eines freien Pfads ein Modul (34) einer temporären Kohärenz umfassen, wobei eine Detektionswahrscheinlichkeit eines freien Pfads von einem Frame eines vorherigen Zeitschritts verwendet wird, um eine Detektionswahrscheinlichkeit eines freien Pfads in einem Frame eines aktuellen Zeitschritts zu aktualisieren, wobei eine Wahrscheinlichkeitsaktualisierung auf einer Technik einer gewichteten Übereinstimmung zwischen Frames basiert, die von einer Fahrzeugbewegung und einer Bodenebenenannahme abgeleitet wird.
Rekonfigurierbares System (10) zur Detektion eines freien Pfads nach Anspruch 1, wobei die mehreren sekundären Module zur Detektion eines freien Pfads ein Draufsichtklassifizierungsmodul (30) umfassen, wobei ein Draufsichtbild aus dem Eingangsbild erzeugt wird, und wobei Merkmale aus dem Draufsichtbild extrahiert werden, um den freien Pfad zu identifizieren.
Rekonfigurierbares System (10) zur Detektion eines freien Pfads nach Anspruch 1, wobei die mehreren sekundären Module zur Detektion eines freien Pfads ein Straßenstrukturidentifikationsmodul (32) umfassen, wobei eine Fluchtpunktverfolgung und eine Verfolgung von am Fluchtpunkt vorbeiführenden Linien durchgeführt werden und eine lernbasierte Straßenranddetektion angewandt wird, um Straßenränder und eine Straßenstruktur in dem Eingangsbild zu identifizieren.
Rekonfigurierbares System (10) zur Detektion eines freien Pfads nach Anspruch 1, wobei die mehreren sekundären Module zur Detektion eines freien Pfads ein Online-Modul (26) einer ähnlichen Szene umfassen, wobei das Online-Modul (26) einer ähnlichen Szene ein in Echtzeit erfasstes Bild verwendet und das erfasste Bild mit verschiedenen von einer Datenbank abgerufenen Bildern vergleicht, die zuvor gekennzeichnet oder identifiziert werden.
Rekonfigurierbares System (10) zur Detektion eines freien Pfads nach Anspruch 1, wobei eine Kombination des primären Moduls (20) zur Detektion eines freien Pfads und der selektiv freigegebenen Module zur Detektion eines freien Pfads kollektiv analysiert wird, indem jedes der Ergebnisse des primären Moduls (20) zur Detektion eines freien Pfads und der selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads gewichtet wird.
Rekonfigurierbares System (10) zur Detektion eines freien Pfads nach Anspruch 6, wobei eine Gewichtung jedes der Ergebnisse des primären Moduls (20) zur Detektion eines freien Pfads und der selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads durch die folgende Formel dargestellt wird: $P_{f u s e} (c) = \frac{w_{o f f l i n e} \cdot P_{o f f l i n e} (c) + w_{o n l i n e} \cdot P_{o n l i n e} (c) + w_{t o p v i e w} \cdot P_{t o p v i e w} (c) + w_{a d a p t} \cdot P_{a d a p t} (c)}{w_{o f f l i n e} + w_{o n l i n e} + w_{t o p v i e w} + w_{a d a p t}}$
wobei P_fuse(c) eine vereinigte Wahrscheinlichkeit eines freien Pfads ist, P_offline(c) eine durch ein offline trainiertes SVM-Modell klassifizierte Wahrscheinlichkeit einer primären Detektion eines freien Pfads ist, P_online(c) eine Wahrscheinlichkeit einer Online-Klassifizierung einer ähnlichen Szene ist, P_topview(c) eine Draufsichtklassifizierungswahrscheinlichkeit ist und P_adapt(c) die Anpassungswahrscheinlichkeit ist und w_offiine, w_online, w_topview und w_adapt Gewichtswerte sind.
Rekonfigurierbares System (10) zur Detektion eines freien Pfads nach Anspruch 7, wobei der freie Pfad ferner als Funktion der identifizierten Straßenstruktur ermittelt wird und durch die folgende Formel dargestellt wird: $P_{r d s t r_f u s e} (c) = C o n f_{r d_e d g e} (c) \cdot P_{f u s e} (c)$
wobei P_{rdstr_fuse}(c) eine Wahrscheinlichkeit des freien Pfads als Funktion der identifizierten Straßenstruktur ist, P_fuse(c) die Wahrscheinlichkeit des freien Pfads für einen jeweiligen aufgeteilten Bereich, erzeugt durch ein erstes Vereinigungsmodul (22), ist und Conf_{rd_edge} eine Vertrauensabbildung mit Gebieten innerhalb und außerhalb der identifizierten Straßenränder, denen verschiedene Vertrauenswerte zugeordnet werden, ist.
Rekonfigurierbares System (10) zur Detektion eines freien Pfads nach Anspruch 1, wobei die selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads zeitlich versetzte erfasste Bilder der befahrenen Straße zum Identifizieren des freien Pfads in dem Eingangsbild verwenden.
Verfahren zum Detektieren eines freien Pfads einer Fahrstraße für ein Fahrzeug (12), wobei das Verfahren die Schritte umfasst, dass: Bilder einer Szene eines Fahrpfads durch eine Bilderfassungseinrichtung (14) erfasst werden; ein freier Pfad in einem Eingangsbild durch ein primäres Modul (20) zur Detektion eines freien Pfads ermittelt wird, wobei das primäre Modul (20) zur Detektion eines freien Pfads das Eingangsbild von der Bilderfassungseinrichtung (14) analysiert, wobei das primäre Modul (20) zur Detektion eines freien Pfads das Eingangsbild in mehrere Bereiche aufteilt, wobei Wahrscheinlichkeitswerte für jeden der Bereiche, die eine Wahrscheinlichkeit bezüglich dessen, ob ein jeweiliger Bereich ein freier Fahrpfad ist, darstellen, ermittelt werden, wobei Merkmalsdaten des Eingangsbilds mit den aufgeteilten Bereichen in Verbindung gebracht werden und eine trainierte Klassifizierungseinrichtung angewandt wird, um einen freien Fahrpfad in dem Eingangsbild auf der Grundlage der Merkmalsdaten und der entsprechenden Wahrscheinlichkeitswerte zu identifizieren; mehrere sekundäre Module zur Detektion eines freien Pfads bereitgestellt werden, um unabhängig einen jeweiligen freien Fahrpfad in dem Eingangsbild zu identifizieren; selektiv ein oder mehrere der sekundären Module zur Detektion eines freien Pfads freigegeben werden, um den freien Fahrpfad zu identifizieren, wobei nur die selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads verwendet werden, um den freien Pfad der Fahrstraße in dem Eingangsbild zu identifizieren; ein Vereinigungsmodul (22, 24) kollektiv die Ergebnisse der Detektion eines freien Pfads des primären Moduls (20) zur Detektion eines freien Pfads und der selektiv freigegebenen sekundären Module zur Detektion eines freien Pfads analysiert, um den freien Pfad in dem Eingangsbild zu identifizieren.