DE102009050502A1

DE102009050502A1 - Detektion eines freien Pfads unter Verwendung eines hierarchischen Ansatzes

Info

Publication number: DE102009050502A1
Application number: DE102009050502A
Authority: DE
Inventors: Wende Shelby Township Zhang; Sanjeev M. Troy Naik
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2009-05-29
Filing date: 2009-10-23
Publication date: 2010-12-02
Also published as: CN101950350A; CN101950350B; US8421859B2; US20100097456A1

Abstract

Ein Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung eines durch eine Kamera erzeugten Bilds umfasst, dass das Bild überwacht wird und eine erste stückbasierte Analyse des Bilds verwendet wird, die umfasst, dass das Bild in mehrere Stücke unterteilt wird und jedes Stück analysiert wird, um für jedes der Stücke der ersten stückbasierten Analyse eine erste Konfidenzwahrscheinlichkeit eines freien Pfads zu ermitteln. Jedes der Stücke, bei dem die erste Konfidenzwahrscheinlichkeit eines freien Pfads größer als eine erste Schwellenwertkonfidenzwahrscheinlichkeit ist, wird als Stück eines freien Pfads definiert. Es wird eine zweite Analyse an einem Teil der Stücke verwendet, bei dem die erste Konfidenz eines freien Pfads nicht größer als die erste Schwellenwertkonfidenzwahrscheinlichkeit ist, um eine zweite Konfidenzwahrscheinlichkeit eines freien Pfads für jedes der Stücke der zweiten Analyse zu ermitteln. Jedes der Stücke der zweiten Analyse, bei dem die zweite Konfidenzwahrscheinlichkeit eines freien Pfads größer als eine zweite Schwellenwertkonfidenzwahrscheinlichkeit ist, wird als Stück eines freien Pfads definiert. Der freie Fahrpfad für das Fahrzeug wird auf der Grundlage der Stücke eines freien Pfads identifiziert.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Diese Anmeldung ist eine Continuation-In-Part-Anmeldung der US-Anmeldung Nr. 12/474,594, eingereicht am 29. Mai 2009, die eine Continuation-In-Part-Anmeldung der US-Anmeldung Nr. 12/108,581, eingereicht am 24. April 2008, ist. Der Offenbarungsgehalt der US-Anmeldung Nr. 12/474,594 und der US-Anmeldung Nr. 12/108,581 sind hierin durch Bezugnahme vollständig mit eingeschlossen.
TECHNISCHES GEBIET
Diese Offenbarung bezieht sich auf eine automatisierte oder halbautomatisierte Steuerung eines Kraftfahrzeugs.
HINTERGRUND
Die Aussagen in diesem Abschnitt stellen lediglich Hintergrundinformationen bezüglich der vorliegenden Offenbarung bereit und müssen nicht unbedingt Stand der Technik darstellen.
Autonome Fahrsysteme und halbautonome Fahrsysteme verwenden Eingänge bezüglich der Straße und andere Fahrbedingungen, um Drossel- und Lenkmechanismen automatisch zu steuern. Eine genaue Schätzung und Identifikation eines freien Pfads, auf dem ein Kraftfahrzeug betrieben werden soll, ist hinsichtlich eines erfolgreichen Ersetzens des menschlichen Gehirns als Steuermechanismus für einen Fahrzeugbetrieb kritisch.
Die Straßenbedingungen können komplex sein. Bei normalem Betrieb eines Fahrzeugs macht der menschliche Betreiber Hunderte von Beobachtungen pro Minute und passt er den Betrieb des Fahrzeugs auf der Grundlage von wahrgenommenen Straßenbedingungen an. Ein Aspekt des Wahrnehmens von Straßenbedingungen ist die Wahrnehmung der Straße im Kontext von Objekten auf der und um die Fahrbahn herum und das Fahren auf einem freien Pfad durch jegliche Objekte hindurch. Ein Ersetzen der menschlichen Wahrnehmung durch eine Technologie umfasst vorzugsweise ein Mittel, um Objekte, die beispielsweise stationäre Objekte, wie beispielsweise Randsteine, und sich bewegende Objekte, wie beispielsweise andere Fahrzeuge, umfassen, und Straßenbedingungen, wie beispielsweise Spurmarkierungen, Schlaglöcher, eisige Stellen auf der Fahrbahn, genau wahrzunehmen und mit dem effektiven Navigieren um solche navigatorischen Probleme herum fortzufahren.
Ein technologisches Mittel zum Wahrnehmen eines Objekts oder von Straßenbedingungen umfasst Daten von visuellen Kameras, eine Radarbilderfassung und LIDAR. Kameras übersetzen visuelle Bilder in Form von Strahlung, wie beispielsweise Lichtmuster oder Infrarotsignaturen, in ein lesbares Datenformat. Ein solches Datenformat umfasst Pixel-Bilder, wobei eine wahrgenommene Szene in eine Reihe von Pixeln zerlegt wird. Eine Radarbilderfassung verwendet Funkwellen, die durch einen Sender erzeugt werden, um Formen und Objekte, die vor dem Sender vorhanden sind, zu schätzen. Muster in den Wellen, die von diesen Formen und Objekten reflektiert werden, können analysiert werden und die Orte von Objekten können geschätzt werden. Ähnlich verwendet LIDAR eine Licht quelle und die Rückkehr des Lichts von der Umgebung des Fahrzeugs, um eine Information hinsichtlich der Umgebung zu erzeugen.
Sobald Daten bezüglich des Bodens vor dem Fahrzeug erzeugt wurden, müssen die Daten analysiert werden, um das Vorhandensein von Objekten oder Straßenbedingungen aus den Daten zu schätzen. Durch Verwenden von Kameras, Radarbilderfassungssystemen und LIDAR können der Boden oder die Fahrbahn vor dem Fahrzeug hinsichtlich des Vorhandenseins von Objekten oder Straßenbedingungen, die vermieden werden müssten, analysiert werden. Die ledigliche Identifikation von potentiellen navigatorischen Problemen, die vermieden werden müssen, führt jedoch nicht die Analyse aus. Eine wichtige Komponente jedes autonomen Systems umfasst die Tatsache, wie in den wahrgenommenen Bodendaten identifizierte potentielle navigatorischen Probleme verarbeitet und verändert werden, um einen freien Pfad zu identifizieren, auf dem das Fahrzeug betrieben werden soll.
Ein bekanntes Verfahren zum Identifizieren eines freien Pfads, auf dem das Fahrzeug betrieben werden soll, ist, alle wahrgenommenen navigatorischen Problemen zu katalogisieren und vorläufig zu identifizieren und hinsichtlich der Orte und Verhalten von identifizierten Problemen einen freien Pfad zu identifizieren. Es können Bilder verarbeitet werden, um navigatorische Problemen gemäß ihrer Form und Beziehung zu der Fahrbahn zu identifizieren und zu klassifizieren. Während dieses Verfahren beim Identifizieren eines freien Pfads effektiv sein kann, erfordert es eine große Menge an Verarbeitungsleistung, wobei beispielsweise die Erkennung und Trennung verschiedener Objekte in dem visuellen Bild, beispielsweise ein Unterscheiden zwischen einem Baum an der Seite der Straße und einem Fußgänger, der in Richtung Randstein geht, erforderlich ist. Solche Verfahren können beim Verarbeiten komplexer Situationen langsam oder uneffektiv sein oder können unhandliche und teure Geräte erfordern, um die notwendige Verarbeitungskapazität zu liefern.
ZUSAMMENFASSUNG
Ein Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung eines durch eine Kamera erzeugten Bilds umfasst, dass das Bild überwacht wird und eine erste stückbasierte Analyse des Bilds verwendet wird, die umfasst, dass das Bild in mehrere Stücke unterteilt wird und jedes Stück analysiert wird, um für jedes der Stücke der ersten stückbasierten Analyse eine erste Konfidenzwahrscheinlichkeit eines freien Pfads zu ermitteln. Jedes der Stücke, bei dem die erste Konfidenzwahrscheinlichkeit eines freien Pfads größer als eine erste Schwellenwertkonfidenzwahrscheinlichkeit ist, wird als Stück eines freien Pfads definiert. Es wird eine zweite Analyse an einem Teil der Stücke verwendet, bei dem die erste Konfidenz eines freien Pfads nicht größer als die erste Schwellenwertkonfidenzwahrscheinlichkeit ist, um eine zweite Konfidenzwahrscheinlichkeit eines freien Pfads für jedes der Stücke der zweiten Analyse zu ermitteln. Jedes der Stücke der zweiten Analyse, bei dem die zweite Konfidenzwahrscheinlichkeit eines freien Pfads größer als eine zweite Schwellenwertkonfidenzwahrscheinlichkeit ist, wird als Stück eines freien Pfads definiert. Der freie Fahrpfad für das Fahrzeug wird auf der Grundlage der Stücke eines freien Pfads identifiziert.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Nachstehend werden eine oder mehrere Ausführungsformen beispielhaft in Bezug auf die begleitenden Zeichnungen beschrieben, wobei:
1 eine beispielhafte Anordnung eines Fahrzeugs, das mit einer Kamera und einem Radarbilderfassungssystem ausgestattet ist, gemäß der Offenbarung zeigt;
2 ein bekanntes Verfahren zum Ermitteln eines freien Pfads zum autonomen Fahren gemäß der Offenbarung zeigt;
3 ein beispielhaftes Verfahren zum Ermitteln eines freien Pfads unter Verwendung einer Wahrscheinlichkeitsanalyse eines Bilds gemäß der Offenbarung zeigt;
4 ein beispielhaftes Verfahren zum Analysieren eines Bilds gemäß der Offenbarung zeigt;
5 ein beispielhaftes Verfahren zum Definieren eines Klassifizierungsfehlers durch Abstimmen eines einzelnen Schwellenwerts gemäß der Offenbarung zeigt;
6A, 6B und 6C eine beispielhafte Ermittlung einer Bilddifferenz durch Berechnen einer absoluten Bildintensitätsdifferenz gemäß der Offenbarung zeigen;
7 ein beispielhaftes Verfahren zum Klassifizieren eines Merkmals als Abschnitt eines freien Pfads und gleichzeitig als detektiertes Objekt als Verfahren zur Bildanalyse gemäß der Offenbarung zeigt;
8 ferner ein beispielhaftes Verfahren zum Klassifizieren eines Merkmals als Abschnitt eines freien Pfads und gleichzeitig als detektiertes Objekt als Verfahren zur Bildanalyse gemäß der Offenbarung zeigt;
9 ein Flussdiagramm für ein beispielhaftes stückbasiertes Verfahren zum Detektieren eines freien Pfads gemäß der Offenbarung ist;
10 beispielhafte mehrere perspektivische Stücke, die auf ein beispielhaftes Bild angewandt werden, gemäß der Offenbarung graphisch darstellt;
11 ein Flussdiagramm für ein strukturreiches Pixelbasiertes Verfahren zum Detektieren eines freien Pfads gemäß der Offenbarung ist;
12 ein Flussdiagramm für ein strukturloses Pixel-basiertes Verfahren zum Detektieren eines freien Pfads gemäß der Offenbarung ist;
13 ein Flussdiagramm zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung einer ersten hierarchischen Ausgestaltung von Verfahren einer Detektion eines freien Pfads gemäß der Offenbarung ist;
14 ein Flussdiagramm zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung einer zweiten hierarchischen Ausgestaltung von Verfahren einer Detektion eines freien Pfads gemäß der Offenbarung ist; und
15 schematisch einen Betrieb eines beispielhaften beispielbasierten Verfahrens gemäß der vorliegenden Offenbarung zeigt.
DETAILLIERTE BESCHREIBUNG
Nun auf die Zeichnungen Bezug nehmend, in denen die Darstellungen lediglich dem Zweck des Erläuterns bestimmter beispielhafter Ausführungsformen und nicht dem Zweck des Einschränkens dieser dienen, zeigt 1 eine beispielhafte Anordnung einer Kamera 110, die an der Front eines Fahrzeugs 100 angeordnet ist und auf den Boden vor dem Fahrzeug 100 gerichtet ist, gemäß der Offenbarung. Die Kamera 110 steht mit dem Verarbeitungsmodul 120 in Kommunikation, das eine Logik enthält, um Eingänge von der Kamera 110 zu verarbeiten. Das Fahrzeug 100 kann auch mit einem Radarbilderfassungssystem 130 ausgestattet sein, das, wenn es vorhanden ist, auch mit dem Verarbeitungsmodul 120 in Kommunikation steht. Fachleute werden erkennen, dass das Fahrzeug 100 zusätzlich zu der Verwendung der Kamera 110 und des Radarbilderfassungssystems 130 oder alternativ dazu eine Anzahl von Verfahren zum Identifizieren von Straßenbedingungen verwenden könnte, die LIDAR, eine GPS-Information in Kombination mit einer digitalen Abbildung, eine Information von anderen Fahrzeugen, die mit dem Fahrzeug 100 in Kommunikation stehen, eine Information von einer Infrastruktureinrichtung, die mit dem Fahrzeug 100 verbunden ist, Verlaufsdaten hinsichtlich der bestimmten Fahrbahn, eine biometrische Information, wie beispielsweise Systeme, die den Blickpunkt des Fahrers lesen, oder andere ähnliche Systeme umfassen. Die Offenbarung hierin kann auf verschiedene Einrichtungsanordnungen angewandt werden und ist daher nicht dadurch beschränkt.
Die Kamera 110 ist eine Einrichtung, die in der Technik weithin bekannt ist und visuelle Eingänge in Form von Licht, Infrarot- oder einer anderen elektromagnetischen Strahlung (EM-Strahlung) in ein Datenformat übersetzen kann, das leicht analysiert werden kann, z. B. ein digitales Pixel-Bild. Bei einer Ausführungsform verwendet die Kamera 110 einen Sensor einer ladungsgekoppelten Einrichtung (CCD-Sensor) zum Erzeugen von Bildern, die ein Sichtfeld angeben. Vorzugsweise ist die Kamera 110 für eine kontinuierliche Bilderzeugung, z. B. 30 erzeugte Bilder pro Sekunde, ausgestaltet. Durch die Kamera 110 erzeugte Bilder können in einem Speicher in der Kamera 110 gespeichert werden oder für eine Speicherung und/oder Analyse an das Verarbeitungsmodul 120 übertragen werden. Vorzugsweise ist jedes durch die Kamera 110 erzeugte Bild ein zweidimensionales Bild mit bekannten Pixel-Dimensionen, das mehrere identifizierbare Pixel umfasst. Die mehreren identifizierbaren Pixel können unter Verwendung eines Array gespeichert und analysiert werden. Jedes Pixel kann in dem Array als Satz von Bits oder mehrere Sätze von Bits dargestellt werden, wobei die Bits einer Farbe an einer vorbestimmten Palette oder Farbkarte entsprechen. Jedes Pixel kann als Funktion mehrerer Farbintensitätswerte, wie beispielsweise in einem Rot-Grün-Blau-Farbmodell (RGB-Farbmodell) oder einem Cyan-Magenta-Gelb-Key-Farbmodell (CMYK-Farbmodell), ausgedrückt werden. Vorzugsweise umfasst jedes Pixel mehrere Sätze von Bits, wobei jeder Satz von Bits einer Farbintensität und einem Farbintensitätswert entspricht, z. B. entspricht ein erster Satz von Bits einem Wert einer roten Farbintensitätswert, entspricht ein zweiter Satz von Bits einem Wert einer gründen Farbintensität und entspricht ein dritter Satz von Bits einem Wert einer blauen Farbintensität an dem RGB-Farbmodell.
Die Radarbilderfassungseinrichtung 130 ist eine in der Technik weithin bekannte Einrichtung, die einen Sender, der Funkwellen oder eine andere EM-Strahlung aussenden kann, eine Empfängereinrichtung, die die ausgesendeten Wellen erfassen kann, die von Objekten vor dem Sender zu dem Empfänger zurückreflektiert werden, und ein Mittel zum Übertragen der erfassten Wellen in ein Datenformat umfasst, das analysefähig ist und beispielsweise die Entfernung und den Winkel von den Objekten, von denen die Wellen reflektiert wurden, angibt. Alternativ kann die Radarbilderfassungseinrichtung 130 durch ein Light Detection And Ranging-System (LIDAR-System), das ausgestaltet ist, um optische Energie zu senden und zu empfangen, ersetzt oder ergänzt werden. Die empfangene optische Energie kann verwendet werden, um die geometrischen Abmessungen eines Objekts und/oder die geometrische Nähe zu dem Fahrzeug 100 zu ermitteln. Es sei angemerkt, dass die Radarbilderfassungseinrichtung 130 optional und nicht notwendig ist, um viele der hierin offenbarten Verfahren auszuführen, wobei die Verarbeitung von visuellen Bildern eine Detektion eines freien Pfads ausführen kann. Der Begriff ”freier Pfad” soll, wie er hierin verwendet wird, für einen Fachmann eine gewöhnliche und übliche Bedeutung darstellen (und ist nicht auf eine spezielle oder spezifisch angepasste Bedeutung beschränkt) und bezieht sich ohne Einschränkung auf einen Pfad, der frei von Objekten ist, die einen Schwellenwert übersteigen, z. B. einen Pfad, der frei von Objekten ist, die in der oben erwähnten zweiten und dritten Kategorie klassifiziert sind.
Das Verarbeitungsmodul 120 ist in 1 gezeigt und hierin als diskretes Element beschrieben. Diese Darstellung dient der Vereinfachung der Beschreibung und es sei angemerkt, dass die durch dieses Element ausgeführten Funktionen in einer oder mehreren Einrichtungen kombiniert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Das Verarbeitungsmodul 120 kann ein universeller digitaler Computer sein, der einen Mikroprozessor oder eine zentrale Verarbeitungseinheit, Speichermedien mit einem nicht flüchtigen Speicher einschließlich eines Nur-Lese-Speichers und eines elektrisch programmierbaren Nur-Lese-Speichers, einen Direktzugriffsspeicher, einen Hochgeschwindigkeitstakt, eine Analog-Digital- und eine Digital-Analog-Schaltung und eine Eingabe/Ausgabe-Schaltung und Eingabe/Ausgabe-Einrichtungen und eine geeignete Signalkonditionierungs- und -pufferschaltung umfasst. Alternativ kann das Verarbeitungsmodul 120 eine Digitalsignalverarbeitungseinheit (DSP-Einheit) sein, wie beispielsweise ein kundenspezifischer integrierter Schaltkreis wie beispielsweise ein Field Programmable Gate Array. Das Verarbeitungsmodul 120 weist einen Satz von Verarbeitungsalgorithmen auf, die residente Programmanweisungen und Kalibrierungen umfassen, die in dem nichtflüchtigen Speicher gespeichert sind und ausgeführt werden, um gewünschte Funktionen bereitzustellen. Die Algorithmen werden vorzugsweise während vorab festgelegter Schleifenzyklen ausgeführt. Die Algorithmen werden durch die zentrale Verarbeitungseinheit ausgeführt und dienen dazu, Eingänge von den zuvor genannten Erfassungseinrichtungen zu überwachen und Steuer- und Diagnoseroutinen zum Steuern des Betriebs der Aktoren unter Verwendung voreingestellter Kalibrierungen auszuführen. Die Schleifenzyklen können mit regelmäßigen Intervallen, beispielsweise alle 3,125, 6,25, 12,5, 25 und 100 Millisekunden während des laufenden Motor- und Fahrzeugbetriebs, ausgeführt werden. Alternativ können die Algorithmen in Reaktion auf das Auftreten eines Ereignisses ausgeführt werden.
Das Verarbeitungsmodul 120 führt einen darin gespeicherten algorithmischen Code aus, um in Beziehung stehende Geräte, wie beispielsweise die Kamera 110 und das Radarbilderfassungssystem 130, zu überwachen und Befehle oder Datenübertragungen wie durch die Analyse, die in dem Verarbeitungsmodul durchgeführt wird, angegeben auszuführen. Das Verarbeitungsmodul 120 kann Algorithmen und Mechanismen zum Betä tigen einer autonomen Fahrsteuerung durch Mittel, die in der Technik bekannt und hierin nicht beschrieben sind, umfassen, oder das Verarbeitungsmodul 120 kann einfach eine Information an ein separates autonomes Fahrsystem liefern. Das Verarbeitungsmodul 120 ist geeignet, um in Abhängigkeit von der genauen Ausführungsform, die in Verbindung mit dem Steuermodul verwendet wird, nach Bedarf Eingangssignale von anderen Systemen und dem Bediener zu empfangen.
2 zeigt ein bekanntes Verfahren zum Ermitteln eines freien Pfads zum autonomen Fahren gemäß der Offenbarung. Entsprechend der Fahrbahn vor dem Fahrzeug 100 wird ein Bild 10 erzeugt. In einem von verschiedenen Verfahren werden die Objekte 40A, 40B und 40C im Bild 10 identifiziert und wird jedes Objekt gemäß einer Filterung und trainierten Objektverhalten kategorisiert und klassifiziert. Eine separate Behandlung jedes Objekts kann rechenintensiv sein und erfordert teure und unhandliche Geräte zum Bewältigen der Rechenlast. Ein Algorithmus verarbeitet alle verfügbaren Informationen bezüglich der Fahrbahn und der Objekte 40 zum Schätzen eines für das Fahrzeug 100 verfügbaren freien Pfads. Die Ermittlung des freien Pfads hängt von den bestimmten Klassifizierungen und Verhalten der identifizierten Objekte 40 ab.
3 zeigt ein beispielhaftes Verfahren zum Ermitteln eines freien Pfads für ein autonomes oder semiautonomes Fahren gemäß der Offenbarung. Das Bild 10 ist als einen Boden 20, einen Horizont 30 und Objekte 40 umfassend gezeigt. Das Bild 10 wird durch die Kamera 110 erfasst und stellt die Straßenumgebung vor dem Fahrzeug 100 dar. Der Boden 20 stellt die Zone aller verfügbaren Pfade, die für eine Fahrt offen sind, ohne Bezugnahme auf irgendwelche potentiellen Objekte dar. Das Verfahren von 3, das einen freien Pfad auf dem Boden 20 ermittelt, beginnt durch die Annahme, dass der gesamte Boden 20 frei ist, und verwendet dann verfügbare Daten, um Abschnitte des Bodens 20 als nicht frei auszuschließen. Im Gegensatz zu dem Verfahren von 2, das jedes Objekt 40 klassifiziert, analysiert das Verfahren von 3 stattdessen den Boden 20 und versucht es, aus verfügbaren Daten eine Konfidenzwahrscheinlichkeit eines freien Pfads zu definieren, dass eine detektierbare Abweichung, die das Objekt 40 darstellen kann, diesen Abschnitt des Bodens 20 einschränkt oder nicht frei macht. Dieser Fokus auf den Boden 20 anstatt auf die Objekte 40 vermeidet die mit dem Verwalten der Detektion der Objekte in Verbindung stehenden komplexen Rechen-Tasks. Eine individuelle Klassifizierung und Verfolgung einzelner Objekte ist unnötig, da die einzelnen Objekte 40 einfach als Teil der gesamten einheitlichen Einschränkung auf dem Boden 20 miteinander gruppiert werden. Der Boden 20, der oben als alle zum Fahren offene Pfade ohne Unterscheidung beschrieben ist, minus die Einschränkungen, die auf dem Boden 20 durch als nicht frei befundene Bereiche angeordnet sind, definieren einen freien Pfad 50, der in 3 als der Bereich innerhalb der gestrichelten Linien gezeigt ist, oder einen Bereich, der mit einer Schwellenwertkonfidenzwahrscheinlichkeit für eine Fahrt des Fahrzeugs 100 offen ist.
Das Objekt 40, das auf dem Boden 20 nicht freie Einschränkungen erzeugt, kann viele Formen annehmen. Beispielsweise kann ein Objekt 40 ein diskretes Objekt darstellen, wie beispielsweise ein geparktes Auto, einen Fußgänger oder ein Straßenhindernis, oder kann ein Objekt 40 auch eine weniger diskrete Änderung der Flächenmuster darstellen, die einen Rand zu einer Straße angibt, wie beispielsweise einen Bordstein, eine Seitenbegrenzung zur Wiese oder Wasser, das die Fahrbahn bedeckt. Das Objekt 40 kann auch ein Nichtvorhandensein einer mit dem Boden 20 in Verbindung stehenden ebenen Straße umfassen, wie es beispielsweise bei einem großen Loch in der Straße detektiert werden könnte. Das Objekt 40 kann ferner einen Indikator ohne irgendeine definierbare Hö henänderung von der Straße, jedoch mit klaren Auswirkungen auf einen freien Pfad für dieses Segment der Straße, wie beispielsweise ein Farbmuster auf der Fahrbahn, das eine Spurmarkierung angibt, umfassen. Das hierin offenbarte Verfahren, das nicht versucht, ein Objekt 40 zu identifizieren, jedoch visuelle Hinweise von dem Boden 20 und allem in der Nähe des Bodens in dem Bild 10 aufnimmt, bewertet eine Konfidenzwahrscheinlichkeit eines freien Pfads von frei gegenüber nicht frei und passt die Steuerung des Fahrzeugs 100 für das Vorhandensein jedes Objekts 40 an.
Es sind zahlreiche Verfahren für eine automatisierte Analyse von zweidimensionalen Bildern (2D-Bildern) möglich. Durch einen Algorithmus in dem Verarbeitungsmodul 120 wird eine Analyse des Bilds 10 durchgeführt. 4 zeigt ein beispielhaftes Verfahren, das angewandt werden kann, um das Bild 10 gemäß der Offenbarung zu analysieren. Dieses Verfahren unterteilt das Bild 10 und identifiziert ein Subbild oder ein Stück 60 des Bodens 20 für eine Analyse, extrahiert Merkmale oder analysiert die verfügbare visuelle Information von dem Stück 60, um irgendwelche interessierenden oder unterscheidenden Merkmale innerhalb des Stücks zu identifizieren, und klassifiziert das Stück gemäß der Konfidenzwahrscheinlichkeit, dass es gemäß der Analyse der Merkmale ein freier Pfad ist. Die Stücke, die mit einer Wahrscheinlichkeit, die größer als ein bestimmter Schwellenwert ist, als frei klassifiziert werden, und eine Zusammenstellung der Stücke können verwendet werden, um einen freien Pfad in dem Bild zusammenzusetzen.
Das Stück 60 kann, als ein Subbild des Bilds 10, durch ein beliebiges bekanntes Mittel identifiziert werden, wie beispielsweise eine Zufallssuche oder eine Scharsuche des Bilds 10. Alternativ kann eine Information bezüglich des Vorhandenseins eines Objekts 40, die von einer anderen Informationsquelle, wie beispielsweise dem Radarbilderfassungssystem 130, verfügbar ist, verwendet werden, um ein Stück zu identifizieren, um den Abschnitt des Bilds 10 zu analysieren, der das Objekt 40 beschreiben sollte. Das Bild 10 kann viele Stücke 60 zum Analysieren des gesamten Bilds erfordern. Ferner könnten mehrere sich überlagernde Stücke oder Stücke verschiedener Größe verwendet werden, um ein Gebiet des Bilds 10, das eine interessierende Information enthält, vollständig zu analysieren. Beispielsweise könnte ein kleines Stück 60 verwendet werden, um einen kleinen Punkt auf der Straße zu analysieren; es könnte jedoch ein großes Stück 60 erforderlich sein, um eine Reihe von Punkten zu analysieren, die allein uninteressant scheinen könnten, jedoch im Kontext der gesamten Reihe ein interessierendes Objekt 40 angeben könnten. Ferner kann die Auflösung von Stücken, die auf einen bestimmten Bereich angewandt werden, auf der Grundlage einer verfügbaren Information moduliert werden, wobei beispielsweise mehrere Stücke auf ein Gebiet des Bilds 10 angewandt werden, von dem geglaubt wird, dass ein Objekt 40 in ihm existiert. Es können viele Schemas oder Strategien zum Definieren der Stücke 60 für eine Analyse verwendet werden, und die Offenbarung soll nicht auf die hierin beschriebenen spezifischen Ausführungsformen beschränkt sein.
Sobald ein Stück 60 für eine Analyse identifiziert wurde, verarbeitet das Verarbeitungsmodul 120 das Stück durch eine Anwendung eines bekannten Merkmalsidentifikationsalgorithmus für das Stück. Ferner kann das Verarbeitungsmodul 120 eine Analyse des Orts des Stücks in dem Kontext des Orts des Fahrzeugs durchführen. Die Merkmalsidentifikationsalgorithmen durchsuchen die verfügbare visuelle Information hinsichtlich charakteristischer Muster in dem einem Objekt zugeordneten Bild, wobei die Merkmale umfasst sind, die durch eine Spurausrichtung, einen Spurort, eine Farbe, Eckeneigenschaften, andere visuelle Attribute und gelern te Attribute definiert sind. Die Merkmalsidentifikationsalgorithmen können auf sequentielle Bilder angewandt werden, um Änderungen entsprechend der Fahrzeugbewegung zu identifizieren, wobei Änderungen, die nicht einer Bodenbewegung zugeordnet sind, nicht als freier Pfad identifiziert werden können. Die gelernten Attribute können durch Maschinenlernalgorithmen in dem Fahrzeug gelernt werden, werden aber zumeist offline programmiert und können experimentell, empirisch, prädiktiv, durch Modellerstellung oder andere Techniken entwickelt werden, die geeignet sind, um unterscheidende Attribute genau zu trainieren.
Sobald Merkmale in dem Stück 60 extrahiert wurden, wird das Stück auf der Grundlage der Merkmale klassifiziert, um die Konfidenzwahrscheinlichkeit zu ermitteln, dass der Pfad ein freier Pfad ist. Eine Wahrscheinlichkeitsanalyse ist ein in der Technik bekannter Prozess, durch den ein Wahrscheinlichkeitswert oder eine Konfidenz entwickelt wird, dass eine bestimmte Bedingung existiert. Bei einer Anwendung auf die vorliegende Offenbarung umfasst eine Klassifizierung eine Wahrscheinlichkeitsanalyse, um zu ermitteln, ob das Stück einen freien Pfad darstellt oder ob der Boden 20 in diesem Stück durch ein Objekt 40 eingeschränkt ist. Bei einer beispielhaften Ausführungsform wird die Klassifizierung durch eine Anwendung von Klassifizierern oder Algorithmen durchgeführt, die mit einer Datenbank von beispielhaften Straßenbedingungen und Interaktionen mit detektierten Objekten trainiert werden. Diese Klassifizierer ermöglichen dem Verarbeitungsmodul 120, einen Bruch-Wahrscheinlichkeitswert eines freien Pfads für das Stück 60 zu entwickeln, wobei eine Konfidenz zwischen Null und Eins, dass die in dem Stück identifizierten Merkmale kein einschränkendes Objekt 40 angeben, das eine freie Fahrt des Fahrzeugs 100 verhindern würde, quantitativ bestimmt wird. Es kann eine Schwellenwertkonfidenz festgelegt werden, die die Wahrscheinlichkeit eines freien Pfads definiert, die erforderlich ist, um das Stück als freien Pfad zu definieren, und zwar beispielsweise durch die folgende Logik.
Konfidenz = WahrscheinlichkeitFreierPfad(i) Wenn_Konfidenz > 0,5, dann_Stück = freierPfad (1)
Bei dieser bestimmten beispielhaften Ausführungsform wird eine Konfidenz von 50% oder 0,5 als Schwellenwertkonfidenz ausgewählt. Diese Zahl kann experimentell, empirisch, prädiktiv, über Modellerstellung oder andere Techniken, die zum genauen Bewerten von Stücken hinsichtlich Eigenschaften eines freien Pfads geeignet sind, entwickelt werden.
Die Wahrscheinlichkeitsanalyse kann wie oben erwähnt bei einer beispielhaften Ausführungsform durch Anwenden von trainierten Klassifizierern auf aus einem Stück extrahierte Merkmale durchgeführt werden. Ein Verfahren analysiert die Merkmale a priori unter Verwendung eines Trainingsbildsatzes. In dieser Trainingsstufe werden unterscheidende Merkmale aus einem rohen Merkmalssatz ausgewählt, wobei die unterscheidenden Merkmale durch in der Technik bekannte Verfahren, wie beispielsweise Haar-Wavelet, Gabor-Wavelet und Leung-Malik-Filterbank, definiert werden. Ferner kann eine 2D-Bildortsinformation auf der Grundlage minimaler Klassifizierungsfehler jedes Merkmals, berechnet als die Summe einer Falschakzeptanzrate (FAR) und einer Falschrückweisungsrate (FRR), durch Abstimmen eines einzelnen Schwellenwerts verwendet werden, wie es in 5 gezeigt ist. Dieser Klassifizierungsfehler kann durch den folgenden Ausdruck beschrieben werden. Klassifizierungsfehler(i) = FARi + FRRi (2)
Die Information von den trainierten Klassifizierern wird verwendet, um das Merkmal als einen freien Pfad oder einen nicht freien Pfad angebend zu klassifizieren oder zu gewichten, wobei die bestimmte Klassifizierung von der Stärke von Vergleichen mit den trainierten Daten abhängt. Die Klassifizierung des Merkmals kann, wenn das Merkmal das einzige Merkmal in dem Stück ist, direkt auf das Stück angewandt werden. Die Klassifizierung eines Stücks mit mehreren identifizierten Merkmalen kann viele Formen annehmen, die umfassen, dass das Stück durch das umfasste Merkmal definiert wird, das am stärksten darauf hinweist, dass das Stück nicht frei ist, oder dass das Stück durch eine gewichtete Summe aller darin umfasster Merkmale definiert wird.
Das obige Verfahren kann verwendet werden, um ein einzelnes Bild 10 zu prüfen und auf der Grundlage der visuellen Information, die in dem Bild 10 enthalten ist, einen freien Pfad 50 zu schätzen. Dieses Verfahren kann mit einem Intervall wiederholt werden, wenn das Fahrzeug die Straße entlangfährt, um neue Informationen zu berücksichtigen und den formulierten freien Pfad auf einen Bereich vor der neuen Position des Fahrzeugs zu erweitern. Die Wahl des Intervalls muss das Bild 10 mit einer ausreichenden Häufigkeit aktualisieren, um dem Fahrzeug 100 einen freien Pfad genau bereitzustellen, auf dem es fahren kann. Das Intervall kann jedoch auch als ein Minimalwert gewählt werden, um das Fahrzeug geeignet zu steuern, die dem Verarbeitungsmodul 120 auferlegte Rechenlast jedoch auch nicht übermäßig zu erhöhen.
Die Detektion eines freien Pfads kann wie oben beschrieben durch ein einzelnes Bild 10 erreicht werden. Mit dem Hinzufügen eines zweiten Bilds, das zeitlich nahe an dem ursprünglichen Bild aufgenommen wird, wie beispielsweise sequentielle Bilder von einem Streaming-Video-Clip, können jedoch die Verarbeitungsgeschwindigkeit und die Genauigkeit verbessert werden. Ein zweites Bild ermöglicht einen direkten Vergleich mit dem ersten und sorgt für eine aktualisierte Information hinsichtlich des Verlaufs des Fahrzeugs und der Bewegung von detektierten Objekten. Die Änderung der Perspektive der Kamera 110 ermöglicht auch eine andere Analyse von Merkmalen von dem ersten Bild: ein Merkmal, das in dem ersten Bild möglicherweise nicht deutlich auftauchte oder undeutlich war, kann unter einem anderen Kamerawinkel angezeigt werden, kann deutlicher auffallen oder kann sich seit dem ersten Bild bewegt haben, was dem Klassifizierungsalgorithmus eine zusätzliche Möglichkeit zum Definieren des Merkmals ermöglicht.
Ein Verarbeiten eines zweiten Bilds in Bezug auf das ursprüngliche Bild 10 kann durch Berechnen einer Bilddifferenz durchgeführt werden. Wenn die Bilddifferenz eines interessierenden Punkts, wie beispielsweise eines durch Radar identifizierten Merkmals, nicht Null ist, kann der Punkt als eine neue Information umfassend identifiziert werden. Punkte, bei denen die Bilddifferenz gleich Null ist, können bei der Analyse weggelassen werden, und Rechenressourcen können eingespart werden. Verfahren zum Ermitteln einer Bilddifferenz umfassen eine absolute Bildintensitätsdifferenz und eine fahrzeugbewegungskompensierte Bilddifferenz.
Ein Ermitteln einer Bilddifferenz durch Berechnen einer absoluten Bildintensitätsdifferenz kann verwendet werden, um eine Information zwischen zwei Bildern zu sammeln. Ein Verfahren einer absoluten Bildintensitätsdifferenz umfasst das Ermitteln äquivalenter Bildeigenschaften zwischen dem ursprünglichen Bild und dem zweiten Bild, um eine Bewegung des Fahrzeugs zwischen den Bildern zu kompensieren, das Überlagern der Bilder und das Notieren jeder signifikanten Änderung der Intensität zwischen den Bildern. Ein Vergleich zwischen den Bildern, der eine Änderung der Bildintensität in einem bestimmten Bereich angibt, enthält eine neue Information. Bereichen oder Stücken, die keine Intensitätsänderung anzeigen, kann bei der Analyse weniger Aufmerksamkeit geschenkt werden, wohingegen man sich auf Bereiche konzentrieren kann, die deutliche Intensitätsänderungen anzeigen, wobei die zuvor genannten Verfahren zum Analysieren von Stücken an einem oder beiden erfassten Bildern verwendet werden.
6A, 6B und 6C zeigen eine beispielhafte Ermittlung einer Bilddifferenz durch Berechnen einer absoluten Bildintensitätsdifferenz gemäß der Offenbarung. 6A zeigt ein ursprüngliches Bild. 6B zeigt ein zweites Bild mit Änderungen zu dem ursprünglichen Bild. Im Speziellen hat sich die gezeigte Kreisform nach links verschoben. Ein Vergleich der beiden Bilder wie in 6C gezeigt, ein Ausgang, der das Ergebnis eines Vergleichs einer absoluten Bildintensitätsdifferenz darstellt, identifiziert ein Gebiet, das von dem ersten Bild zu dem zweiten Bild dunkler geworden ist, und ein anderes Gebiet, das von dem ersten Bild zu dem zweiten Bild heller geworden ist. Solch ein Verfahren kann als differenzieren beschrieben werden. Eine Analyse des Vergleichs liefert die Information, dass in diesem Gebiet der Bilder wahrscheinlich eine Änderung als Ergebnis einer Bewegung oder eine Änderung der Perspektive vorliegt. Auf diese Weise kann eine absolute Bildintensitätsdifferenz verwendet werden, um ein Paar von sequentiellen Bildern zum Identifizieren eines potentiell nicht freien Pfads zu analysieren.
Ähnlich kann ein Ermitteln einer Bilddifferenz durch Berechnen einer fahrzeugbewegungskompensierten Bilddifferenz verwendet werden, um eine Information zwischen zwei Bildern zu erfassen. Es sind viele Verfahren zum Berechnen einer fahrzeugbewegungskompensierten Bilddifferenz bekannt. Ein beispielhaftes Verfahren einer fahrzeugbewegungskompensierten Bilddifferenz umfasst das gleichzeitige Analysieren eines potentiel len Objekts als sowohl ein stationärer Abschnitt eines freien Pfads als auch ein detektiertes Objekt. Es wird eine Wahrscheinlichkeitsanalyse an Merkmalen durchgeführt, die entsprechend dem potentiellen Objekt aus beiden Klassifizierungen gleichzeitig identifiziert werden, und die Klassifizierungen können beispielsweise durch die folgende Logik verglichen werden.
Konfidenz(i) = WahrscheinlichkeitFreierPfad(i) – WahrscheinlichkeitDetektiertesObjekt(i) Wenn_Konfidenz > 0, dann_Stück = freierPfad (3)
Wenn bei diesem beispielhaften Vergleich Konfidenz(i) größer als Null ist, wird das Stück, das das Merkmal enthält, als freier Pfad klassifiziert. Wenn Konfidenz(i) kleiner oder gleich Null ist, wird das Stück, das das Merkmal enthält, als nicht freier Pfad oder eingeschränkt klassifiziert. Es können jedoch verschiedene Werte für das Konfidenzniveau zum Klassifizieren des Stücks als freier Pfad ausgewählt werden. Beispielsweise kann ein Testen zeigen, dass falsche positive Ergebnisse wahrscheinlicher sind als falsche negative Ergebnisse, und somit kann ein Faktor oder Offset eingeführt werden.
7 zeigt ein Verfahren zum gleichzeitigen Klassifizieren eines Merkmals als Abschnitt eines freien Pfads und als detektiertes Objekt, wie es oben gemäß der Offenbarung beschrieben ist. Das Bild 10 umfasst das Objekt 40, eine trapezförmige Projektion 70 und eine rechteckige Projektion 80. Dieses Verfahren verwendet eine Annahme, die das Objekt 40 innerhalb der Projektion 70 als flaches Objekt auf den Boden projiziert, um die Klassifizierung des Merkmals als Abschnitt eines freien Pfads zu testen. Das Verfahren verwendet auch eine Annahme, die das Objekt 40 innerhalb der rechteckigen Projektion 80 als vertikales Objekt projiziert, um die Klassifizierung des Merkmals als ein detektiertes Objekt zu testen. 8 zeigt Vergleiche, die mit den gesammelten Daten zwischen den beiden Bildern gezogen werden, zum Bewerten der Natur des Objekts 40 gemäß der Offenbarung. Die Kamera 110 beobachtet und erfasst zum Zeitpunkt t₁ Daten von dem Objekt 40 in Form eines ersten Bilds. Wenn das Objekt 40 ein tatsächliches detektiertes Objekt ist, entspricht das durch die Kamera 110 beobachtete Profil des Objekts 40 zum Zeitpunkt t₁ einem Punkt 90A. Wenn das Objekt 40 ein flaches Objekt in der gleichen Ebene wie der Boden 20 ist, entspricht das durch die Kamera 110 beobachtete Profil des Objekts 40 zum Zeitpunkt t₁ einem Punkt 90B. Zwischen den Zeitpunkten t₁ und t₂ bewegt sich die Kamera 110 eine Distanz. Zum Zeitpunkt t2 wird ein zweites Bild erfasst, und eine Information bezüglich des Objekts 40 kann durch Anwenden eines Algorithmus getestet werden, der sichtbare Attribute des Objekts in dem zweiten Bild im Vergleich zu dem ersten Bild betrachtet. Wenn das Objekt 40 ein tatsächliches detektiertes Objekt ist, das sich von dem Boden 20 nach oben erstreckt, wird zum Zeitpunkt t₂ das Profil des Objekts 40 bei Punkt 90C beobachtet. Wenn das Objekt 40 ein flaches Objekt in der gleichen Ebene wie der Boden 20 ist, wird das Profil des Objekts 40 zum Zeitpunkt t2 bei Punkt 90B beobachtet. Der durch die fahrzeugbewegungskompensierte Bilddifferenz abgeleitete Vergleich kann durch Anwendung von Klassifizierern auf der Grundlage der Beobachtungen der Punkte 90 direkt eine Konfidenz zuordnen, oder der Vergleich kann einfach auf den Bereich hinweisen, der die Änderung als interessierenden Punkt anzeigt. Ein Testen des Objekts hinsichtlich beider Klassifizierungen, als flaches Objekt und als tatsächliches detektiertes Objekt, ermöglicht entweder, dass der Bereich, der das Objekt 40 umfasst, für eine weitere Analyse durch eine Analyse eines Stücks wie oben beschrieben identifiziert wird, oder eine direkte Entwicklung einer Wahrscheinlichkeit eines freien Pfads und einer Wahrschein lichkeit eines detektierten Objekts zum Vergleich, wie beispielsweise in dem obigen logischen Ausdruck (3).
Die aus der Analyse des zweiten Bilds verfügbare Information kann zusätzlich durch Integration einer Information bezüglich einer Bewegung des Fahrzeugs, wie beispielsweise Drehzahl und Gierrate, verbessert werden. Eine Information bezüglich der Fahrzeugbewegung steht von einer Anzahl von Quellen zur Verfügung, die den Fahrzeuggeschwindigkeitsmesser, Fahrzeugdynamiksensoren oder Raddrehzahlsensoren, Antiblockiermechanismen und GPS-Ortssysteme umfassen. Die Algorithmen können diese Fahrzeugbewegungsinformation beispielsweise in Verbindung mit den in 7 und 8 beschriebenen Projektionen verwenden, um Winkel, die bei einem Merkmal vorliegen sollten, das flach auf dem Boden liegt, im zweiten Bild auf der Grundlage von Daten von dem ersten Bild und der gemessenen Bewegung des Fahrzeugs zwischen den Bildern zu projizieren.
Die Anzahl von Bildern, die für einen Vergleich verwendet werden, muss nicht auf Zwei begrenzt sein. Es kann eine Mehrbildanalyse mit mehreren Iterationen durchgeführt werden, wobei ein Objekt über eine Anzahl von Zyklen verfolgt und verglichen wird. Wie oben erwähnt kann die Recheneffizienz erhöht werden, indem eine Bilddifferenzanalyse zum Identifizieren von interessierenden Punkten verwendet wird und Bereiche mit einer Differenz von Null bei den nachfolgenden Analysen weggelassen werden. Solche Effizienzen können bei mehreren Iterationen verwendet werden, wobei beispielsweise nur zwischen einem ersten und einem zweiten Bild identifizierte interessierende Punkte in dem dritten und vierten aufgenommenen Bild analysiert werden. An einer Stelle muss ein frischer Satz von Bildern verglichen werden, um sicherzustellen, dass in keinem der Bereiche, die eine Differenz von Null zeigen, eine Änderung aufgetreten ist, wie beispielsweise ein sich bewegendes Objekt, das auf einem zuvor identifizierten freien Pfad auftaucht. Die Verwendung von Bilddifferenzanalysen und fokussierten Analysen, wobei mit einer Änderung von Null identifizierte Bereiche weggelassen werden, variiert von Anwendung zu Anwendung und kann zwischen verschiedenen Betriebsbedingungen, wie beispielsweise Fahrzeuggeschwindigkeit oder wahrgenommene Betriebsumgebung, variieren. Die spezielle Verwendung der Bilddifferenzanalysen und der fokussierten Analysen kann viele verschiedene Ausführungsformen umfassen, und die Offenbarung soll nicht auf die hierin beschriebenen spezifischen Ausführungsformen beschränkt sein.
Hierin sind mehrere Verfahren zum Identifizieren eines freien Pfads offenbart, die stückbasierte Verfahren und Pixel-basierte Verfahren umfassen. Diese Verfahren werden vorzugsweise in dem Verarbeitungsmodul 120 ausgeführt, können jedoch in einer oder mehreren Einrichtungen kombiniert sein, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Die stückbasierten Verfahren sind oben und hierin in Bezug auf 9 und 10 beschrieben. Die Pixelbasierten Verfahren sind hierin in Bezug auf 11 und 12 beschrieben. Beispielhafte Pixel-basierte Verfahren umfassen strukturlose und strukturreiche Verfahren. Strukturreiche Verfahren analysieren Pixel-Merkmale in einem Bild hinsichtlich bestimmter interessierender Punkte auf der Grundlage einer kontextabhängigen Ansicht in dem Bild. Die interessierenden Punkte werden entsprechend einem Sichtfeld von dem Fahrzeug 100 abgebildet, und auf der Grundlage der Topografie der interessierenden Punkte in der Abbildung wird ein freier Pfad ermittelt. Strukturlose Verfahren filtern von einem Bild nicht konforme Gebiete des Bilds als nicht zu einer planaren, konsistenten Fahrbahn gehörend; die verbleibenden Pixel entsprechen dem freien Pfad. Wie hierin oben beschrieben ist die Berechnung bei stückbasierten Verfahren relativ schnell, während die Berechnung bei Pixel-basierten Verfahren relativ langsam ist.
9 zeigt ein beispielhaftes stückbasiertes Verfahren 200, bei dem ein Eingang von einer Kamera analysiert wird, um eine Wahrscheinlichkeit eines freien Pfads zu ermitteln, gemäß der Offenbarung. Das stückbasierte Verfahren 200 ist in 9 gezeigt und hierin als diskrete Elemente umfassend beschrieben. Solch eine Darstellung dient der Vereinfachung der Beschreibung und es ist zu erkennen, dass die durch diese Elemente durchgeführten Funktionen in einer oder mehreren Einrichtungen kombiniert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Beispielsweise kann das stückbasierte Verfahren 200 in dem Verarbeitungsmodul 120 als ein oder mehrere Algorithmen ausgeführt werden.
Während des Betriebs erzeugt die Kamera 110 ein Bild für eine Analyse in dem Verarbeitungsmodul 120 (202). Das Verarbeitungsmodul 120 identifiziert Stücke in dem Bild und wählt ein Stück für eine Analyse aus (204). Durch diese Offenbarung werden mehrere Verfahren zum Definieren mehrerer Stücke, die genügen, um das Bild geeignet zu analysieren, betrachtet. Wie oben beschrieben können Stücke gemäß Verfahren einer Zufallssuche oder einer Scharsuche definiert werden. Alternativ kann eine Information von einer anderen Informationsquelle, wie beispielsweise einem Radarbilderfassungssystem oder LIDAR, verwendet werden, um ein Stück zu definieren, um den Abschnitt des Bilds zu analysieren. Ferner können mehrere überlagerte Stücke auf der Grundlage des wahrgenommenen interessierenden Bereichs an dem zu analysierenden Bild verwendet werden. Ferner können Verfahren verwendet werden, um Stücke gemäß einer erwarteten Fahrbahn vor dem Fahrzeug und resultierende Muster eines freien Pfads zu definieren, die beispielsweise ein Verfahren eines Stücks mit festem Gitter, das einen Teil des Bilds oder das gesamte Bild gemäß einem regelmäßigen Stückmuster aufteilt, und ein Verfahren eines perspektivischen Stücks umfassen, das ähnlich dem Verfahren eines Stücks mit festem Gitter ist, außer, dass die Stückgrößen und/oder -formen auf der Grundlage einer perspektivischen Ansicht der Straße und einer Betrachtung eines Umfangs der Fahrbahn, der in jedem der Stücke enthalten ist, abgestimmt werden. Solch eine erwartete Fahrbahn vor dem Fahrzeug kann durch eine anfängliche Überprüfung des eingegebenen Bilds, beispielsweise durch Verwenden von deutlich sichtbaren Linien, die Spurbegrenzungen definieren könnten, als eine anfängliche Referenz zum Definieren eines Stückmusters beurteilt werden. Bei einem anderen Beispiel könnte ein Stückmuster von einer unmittelbar vorhergehenden Iteration des Verfahrens eines freien Pfads verwendet und über die Iterationen langsam abgestimmt werden, und zwar basierend auf dem iterativ definierten freien Pfad und anderen Hinweisen, die in den analysierten Bildern identifiziert werden können.
Das Verfahren eines Stücks mit festem Gitter identifiziert und unterteilt das Bild basierend auf einem interessierenden Bereich in mehrere Stücke und wendet ein Muster eines festen Gitters auf den interessierenden Bereich an. Das Muster eines festen Gitters teilt im Wesentlichen den gesamten interessierenden Bereich in Stücke auf. Der interessierende Bereich umfasst vorzugsweise das Sichtfeld unmittelbar vor dem Fahrzeug, wobei der Bereich jedoch derart definiert sein kann, dass er ein schmaleres Sichtfeld umfasst. Bei einer Ausführungsform umfasst der interessierende Bereich das Sichtfeld unmittelbar vor dem Fahrzeug, das durch eine Horizontlinie oder einen Fluchtpunkt abgegrenzt ist, der für die Fahrbahn wahrgenommen wird. Das Verfahren eines Stücks mit festem Gitter kann eine Stückverfolgung, eine Identifikation und eine Analyse über eine Matrix umfassen, wobei jedes Stück durch eine Nummer einer Nummernreihe identifiziert werden kann.
Das Stück mit festem Gitter kann unter Verwendung einer Anzahl von Verfahren auf das Bild angewandt werden. Ein erstes Verfahren umfasst das Anwenden des Stücks mit festem Gitter auf sequentielle Bilder unter Verwendung von gleichen Bildkoordinaten. Ein zweites Verfahren umfasst das Anwenden des Stücks mit festem Gitter auf das Bild unter Verwendung eines identifizierten interessierenden Punkts an dem Bild, z. B. der Horizontlinie. Ein drittes Verfahren umfasst das Anwenden des Stücks mit festem Gitter auf das Bild mit einer Kompensation der Fahrzeugbewegung, z. B. der Fahrzeuggier.
Das Verfahren eines perspektivischen Stücks identifiziert und unterteilt das Bild in mehrere Stücke auf der Grundlage von Sichtfeldkoordinaten und anstatt von Bildkoordinaten. Ein interessierender Bereich wird wie hierin oben beschrieben identifiziert, wobei ein Muster eines perspektivischen Stücks auf der Grundlage von geschätzten Sichtfeldkoordinaten auf den interessierenden Bereich angewandt wird und die Stückgröße relativ zu einem ungefähren durch jedes Stück abgedeckten Bodenbereichs zugeteilt wird. Solche Definitionen eines perspektivischen Stücks ermöglichen eine detailliertere Überprüfung von Stücken, die den Boden näher an dem Fahrzeug beschreiben, und eine weniger verschwenderische Überprüfung von Stücken, die den Boden weiter entfernt von dem Fahrzeug beschreiben. Die Stücke können an den wahrgenommenen Fahrspuren auf der Fahrbahn, die beispielsweise durch Spurmarkierungen und/oder Bordsteinkanten definiert sind, ausgerichtet werden. Solche Stückdefinitionen sind häufig trapezförmig, wobei die parallelen Seiten der Trapeze parallel zum Horizont oder der horizontalen Achse des Fahrzeugs sind, und wobei die verbleibenden Seiten der Trapeze von der definierten Fahr bahn in der Bildansicht abhängen. Solch eine Stückausrichtung ist für ein Definieren der Fahrbahn effizient. Eine Berechnung des Gitters der Stücke und die Analyse der Stücke werden jedoch durch die vielen verschiedenen Formen verkompliziert. Die Stücke können stattdessen zu rechteckigen (oder quadratischen) Formen normalisiert werden, wobei sie immer noch parallel zum Horizont oder der horizontalen Achse des Fahrzeugs sind. Solche rechteckigen Stücke sind beim Abdecken der Fahrbahn in gewisser Weise weniger effizient, da beispielsweise Abschnitte der Bordsteinkante Stücke überlappen, die eine tatsächlich freie Fahrbahn umfassen, wobei jedoch eine ausreichende Auflösung der Stücke und eine verbesserte Recheneffizienz solche normalisierten perspektivischen Stücke vorteilhaft machen können.
10 zeigt grafisch beispielhafte mehrere normalisierte perspektivische Stücke, die an einem beispielhaften Bild angewandt werden. Die Größe der perspektivischen Stücke variiert auf der Grundlage eines dem perspektivischen Stück zugeordneten geografischen Bereichs. Wie 10 zeigt ist die Größe von einem geografischen Bereich zugeordneten Stücken in der Nähe des Fahrzeugs größer als die von Stücken, die dem geografischen Bereich weiter von dem Fahrzeug entfernt zugeordnet sind. Ein Definieren von Stücken an einem Bild gemäß einem geografischen Bereich teilt Verarbeitungsressourcen für die Stücke auf der Grundlage eines geografischen Bereichs zu, wodurch die Objektdetektionsfähigkeiten für Objekte in der Nähe des Fahrzeugs erhöht werden, wenn die Zeit für Fahrentscheidungen eingeschränkter ist.
Wieder auf 9 Bezug nehmend kann ein Filter oder ein Satz von Filtern auf das ausgewählte Stück angewandt werden (206), z. B. ein Beleuchtungsnormalisierungsfilter. Ein beispielhaftes Normalisierungsfilter ändert den Bereich von Pixel-Intensitätswerten in dem Stück, wodurch das Stück in einen Bereich gebracht wird, der für Maschinenprozesse geeigneter ist. Beispielsweise verbessert das Normalisieren jedes Pixel-Werts auf einen Mittelwert von Null und eine Einheitsvarianz den Bildkontrast, insbesondere in Umgebungen mit schwacher Beleuchtung, oder wenn der Kontrast aufgrund einer Blendung schlecht ist. Es wird eine Anzahl von beispielhaften Filtern und Filterverfahren, die für eine Bildanalyse nützlich sind, betrachtet, und die Offenbarung soll nicht auf die hierin beschriebenen bestimmten beispielhaften Ausführungsformen beschränkt sein.
Nach dem Filtern wird unter Verwendung von Merkmalsextraktionsalgorithmen eine Merkmalsextraktion an dem ausgewählten Stück ausgeführt (208). Merkmalsextraktionsalgorithmen können das ausgewählte Stück hinsichtlich vorbestimmter Merkmale, z. B. Kanten, Ecken und Kugeln und/oder Formen, z. B. Kreise, Ellipsen und Linien, analysieren. Es sei angemerkt, dass einige Merkmale eine Bedeutung haben und andere nicht, und dass ein Prozess einer Merkmalsauswahl verwendet werden kann, um eine Gruppe von besten Merkmalen für eine Analyse zu identifizieren. Ein Klassifizierertrainingsalgorithmus analysiert jedes Merkmal und ordnet einen Wahrscheinlichkeitswert zu (210). Wie oben erwähnt werden Klassifizierer oder eine Logik, die beim Entwickeln von Wahrscheinlichkeitswerten verwendet werden, anfänglich offline trainiert. Auf der Grundlage von Fuzzy-Logik, neuronalen Netzen oder anderen in der Technik bekannten Lernmechanismen kann optional ein Training in dem Fahrzeug fortgeführt werden. Diese trainierten Klassifizierer führen eine Wahrscheinlichkeitsanalyse an den extrahierten Merkmalen durch, und es wird ein Wahrscheinlichkeitswert für das Stück ermittelt. Dieser Wahrscheinlichkeitswert drückt eine Konfidenz aus, dass das ausgewählte Stück frei ist.
Die Wahrscheinlichkeitsanalyse kann unter Verwendung von räumlich und/oder temporär in Beziehung stehenden Stücken erweitert werden, um identifizierte Merkmale während des Fahrzeugbetriebs zu bewerten. Wenn der Merkmalsextraktionsalgorithmus ein Merkmal identifiziert hat, kann das Verarbeitungsmodul 120 das identifizierte Merkmal hinsichtlich einer Konsistenz unter benachbarten oder in der Nähe liegenden Stücke räumlich analysieren. Ein in einem Stück identifiziertes Merkmal kann mit umgebenden Stücken verglichen werden, um zu ermitteln, ob es sich um eine Abweichung handelt oder ob es mit den umgebenden Stücken konsistent ist. Einem Merkmal, das mit umgebenden Stücken konsistent ist, kann ein ähnlicher Wahrscheinlichkeitswert wie den umgebenden Stücken zugeordnet werden, wohingegen einem Merkmal, das nicht mit umgebenden Stücken konsistent ist, ein anderer Wahrscheinlichkeitswert zugeordnet werden kann. Ähnlich wie bei der räumlichen Analyse kann das Verarbeitungsmodul 120, wenn der Merkmalsextraktionsalgorithmus ein Merkmal identifiziert hat, das identifizierte Merkmal hinsichtlich einer Konsistenz unter temporär in Beziehung stehenden Stücken temporär analysieren, wobei eine Fahrzeugbewegung kompensiert wird. Beispielsweise kann ein Merkmal, das in mehreren Rahmen analysiert wird und für das ermittelt wird, dass es über die Bildrahmen einen hohen Wahrscheinlichkeitswert aufweist, temporär mit dem gleichen Merkmal verglichen werden, das in einem späteren Rahmen einen niedrigen Wahrscheinlichkeitswert erhält. Wenn die temporäre Analyse des Merkmals eine neue Information erkennen lässt, wie beispielsweise eine Bewegung des Merkmals in Bezug auf die Fahrbahn oder eine erhöhte Perspektive, die erkennen lässt, dass das Merkmal ein Objekt angibt, das sich auf der Fahrbahn befindet, kann der geringere Wahrscheinlichkeitswert für das Merkmal bestätigt werden. Wenn keine neue Information verfügbar ist, kann der geringere Wahrscheinlichkeitswert für das Merkmal in dem vorliegenden Rahmen als nicht unbedingt einen nicht freien Pfad angebend aufgehoben werden. Nachfolgende Rahmen können auf ähnliche Weise analysiert werden, um das Merkmal als signifikant oder nicht festzulegen. Ähnlich kann gemäß hierin beschriebenen Verfahren das fragliche Merkmal mit erhöhtem Recheneinsatz analysiert werden, entweder in dem vorliegenden Bild oder in nachfolgenden Bildern.
Das Verarbeitungsmodul 120 vergleicht den Wahrscheinlichkeitswert mit einem Schwellenwertwahrscheinlichkeitswert (214). Wenn der Wahrscheinlichkeitswert größer als der Schwellenwert ist, wird das Stück als freier Pfad identifiziert (218). Wenn der Wahrscheinlichkeitswert nicht größer als der Schwellenwert ist, wird das Stück als nicht freier Pfad identifiziert.
Wie oben beschrieben kann das stückbasierte Verfahren 200 auf eine Anzahl von Arten wiederholt oder reiteriert werden, wobei das gleiche Bild mit der Auswahl und Analyse von unterschiedlichen Stücken wiederholt analysiert wird, und ein identifiziertes Stück hinsichtlich einer Änderung über einer Anzahl von sequentiellen Bildern verfolgt und analysiert werden kann.
11 zeigt ein beispielhaftes strukturreiches Pixel-basiertes Verfahren 300, bei dem ein Eingang von einer Kamera analysiert wird, um eine Wahrscheinlichkeit eines freien Pfads zu ermitteln, gemäß der Offenbarung. Das strukturreiche Pixel-basierte Verfahren 300 ist in 11 gezeigt und hierin als diskrete Elemente umfassend beschrieben. Solch eine Darstellung dient der Vereinfachung der Beschreibung und es ist zu erkennen, dass die durch diese Elemente durchgeführten Funktionen in einer oder mehreren Einrichtungen kombiniert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Beispielsweise kann das Pixel-basierte Verfahren 300 in dem Verarbeitungsmodul 120 als ein oder mehrere Algorithmen ausgeführt werden.
Während des Betriebs erzeugt die Kamera 110 ein Bild für eine Analyse in dem Verarbeitungsmodul 120 (302). Das Verarbeitungsmodul 120 analysiert das Bild hinsichtlich interessierender Punkte, wobei beispielsweise eine Pixel-Farbintensität wie hierin oben beschrieben geprüft wird und das Pixel oder eine Gruppe von Pixeln mit umgebenden Pixeln verglichen wird. Ein interessierender Punkt ist ein identifizierbares Pixel an einem Bild und ist einem Satz von visuellen Informationen, d. h. strukturreichen Merkmalen, zugeordnet und ist Objekten, die sich in dem Sichtfeld befinden, zugeordnet. Mittels in der Technik bekannten Verfahren, z. B. einer skaleninvarianten Merkmalstransformation (SIFT), Verfahren, die eine Eckendetektion oder eine Detektion anderer Formen einsetzen, oder eines Sobel-Filters, können interessierende Punkte identifiziert und verwendet werden, um die hierin beschriebenen Verfahren auszuführen (306). Bei einer Ausführungsform werden redundante interessierende Punkte, z. B. mehrere interessierende Punkte, die dem gleichen Merkmal entsprechen, aus Gründen der Recheneffizienz entfernt.
Sobald die interessierenden Punkte identifiziert sind, vergleicht das Verarbeitungsmodul 120 sequentielle Bilder, wenn sich das Fahrzeug bewegt, um interessierende Punkte von jedem Bild mit entsprechenden Punkten in den sequentiellen Bildern, die den gleichen Punkten in dem Sichtfeld entsprechen, in Übereinstimmung zu bringen, wenn dies möglich ist (310). Ein Inübereinstimmungbringen umfasst das Verwenden einer Programmierung einer Korrespondenzinübereinstimmungbringung, z. B. einer Merkmalsinübereinstimmungbringung einer skaleninvarianten Merkmalstransformation (SIFT) und einer Programmierung eines optischen Flusses (optical flow), und kann ferner ein Lokalisieren entsprechender Punkte durch eine Inübereinstimmungbringung mit einer Vorlage (template matching), ein Berücksichtigen der Bewegung des Host-Fahrzeugs und ein Erzeugen eines besten Schätzwerts, ob zwei Punkte das gleiche Objekt oder Merkmal darstellen, das in dem Sichtfeld sichtbar ist, umfassen. Die Inübereinstimmungbringung mit einer Vorlage kann unter Verwendung eines von mehreren Verfahren ermittelt werden, die eines von verschiedenen bekannten Verfahren zur Programmierung einer Inübereinstimmungbringung mit einer Vorlage umfassen, um die entsprechenden interessierenden Punkte zu finden, z. B. Lucas-Kanade oder Horn-Schunck. Die resultierenden Paare von in Übereinstimmung gebrachten Punkten entsprechen einem gleichen Merkmal, das sich an beiden Bildern befindet, wobei das gleiche Merkmal einem gleichen Objekt in dem Sichtfeld zugeordnet ist. Wenn interessierende Punkte in Übereinstimmung gebracht werden können, stellen nicht alle Paare von in Übereinstimmung gebrachten entsprechenden Punkten Paare von entsprechenden Punkten mit hoher Qualität dar, die die Identifikation ihrer dreidimensionalen Positionen in dem Sichtfeld für Klassifizierungen als freier Pfad für eine Durchfahrt des Fahrzeugs ermöglichen.
Das Verarbeitungsmodul 120 filtert die Paare von in Übereinstimmung gebrachten entsprechenden Punkten, um Paare von entsprechenden Punkten mit hoher Qualität zu identifizieren, die für eine dreidimensionale Positionsidentifikation mit hoher Konfidenz verwendet werden können (314). Die bevorzugten Paare von in Übereinstimmung gebrachten Punkten können auf der Grundlage von Qualitätssteuerkriterien ausgewählt werden, z. B. einer Distanz zwischen Punkten, einer Distanz von einer Bildgrenze und Farbähnlichkeiten zwischen jeweiligen benachbarten Pixeln. Eine Auswahl von Kriterien zum Beurteilen von in Übereinstimmung gebrachten Paaren kann ferner auf der Grundlage von Bedingungen, wie das außerhalb des Fahrzeugs vorhandene Beleuchtungsniveau, das Wetter, die Geschwindigkeit des Fahrzeugs und beliebigen anderen Faktoren getroffen werden, die die Fähigkeit des Beurteilens von in Übereinstimmung gebrachten Paaren oder eine Dringlichkeit, einen freien Pfad schnell und genau zu definieren, beeinflussen.
Die Paare von entsprechenden Punkten mit hoher Qualität werden analysiert, um dreidimensionale Positionen von Objekten in dem Sichtfeld zu ermitteln, die durch die Paare von entsprechenden Punkten dargestellt werden (318). Es sei angemerkt, dass sich entsprechende Punkte an verschiedenen Höhen im Vergleich zum Bodenniveau zwischen sequentiellen Bildern unterschiedlich bewegen. Ein Analysieren der Bewegung der interessierenden Punkte zwischen sequentiellen Bildern kann geschätzte dreidimensionale Koordinaten der interessierenden Punkte liefern. Die Objektposition kann auf der Grundlage der Paare von entsprechenden Punkten mit hoher Qualität, der Abtastzeit zwischen sequentiellen Bildern und Fahrzeugdaten, wie beispielsweise Fahrzeuggeschwindigkeit und Fahrzeuggierrate, ermittelt werden. Diese Triangulationsverfahren können eine Position des Objekts in einer horizontalen Ebene und eine Höhe des Objekts in Relation zu einem Bodenniveau liefern.
Die ermittelten Objektpositionen werden verwendet, um Objektpositionen vor dem Host-Fahrzeug einschließlich einer geschätzten Topografie des Sichtfelds abzubilden (322). Die Topografie kann durch zuordnen vorbestimmter räumlicher Dimensionen um das Objekt herum geschätzt werden. Vorzugsweise nehmen die vorbestimmten räumlichen Dimensionen in Bezug auf die Höhe mit einer vorbestimmten Rate in Bezug auf die Distanz zu dem Objekt ab. Unter Verwendung der Abbildung und der geschätzten Topografie kann das Verarbeitungsmodul 120 einen freien Pfad vor dem Host-Fahrzeug ermitteln (326).
Das obige Verfahren verwendet sequentielle Bilder zum Herstellen einer Abbildung von Objektpositionen und vertikalen Höhen vor dem Fahrzeug, so dass ein freier Pfad definiert werden kann. Es sei angemerkt, dass bei dieser bestimmten Analyse in beliebigen zwei gegebenen Bildern ein bestimmtes Objekt nicht als zwei interessierende Punkte mit hoher Qualität umfassend, die für eine Abbildung ausreichen, klassifiziert werden könnte. Die obige Analyse findet jedoch mehrere Male pro Sekunde bei der Fahrzeugfahrt statt. Wenn sich das Fahrzeug auf dem freien Pfad vorwärts bewegt, werden unterschiedliche Perspektiven auf ein Objekt erlangt und wird eine große Anzahl von Bildern analysiert. Eine Fahrt auf einem Pfad und eine Analyse der mehreren iterativen Bilder auf diesem Pfad bauen durch die Analysen eine Konfidenz auf, dass kein Objekt, das dem freien Pfad widerspricht, auf dem identifizierten freien Pfad existiert.
12 zeigt ein beispielhaftes strukturloses Pixel-basiertes Verfahren 400, bei dem ein Eingang von einer Kamera analysiert wird, um eine Wahrscheinlichkeit eines freien Pfads zu ermitteln, gemäß der Offenbarung. Das strukturlose Pixel-basierte Verfahren 400 ist in 12 gezeigt und hierin als diskrete Elemente umfassend beschrieben. Solch eine Darstellung dient der Vereinfachung der Beschreibung und es ist zu erkennen, dass die durch diese Elemente durchgeführten Funktionen in einer oder mehreren Einrichtungen kombiniert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Beispielsweise kann das strukturlose Pixel-basierte Verfahren 400 in dem Verarbeitungsmodul 120 als ein oder mehrere Algorithmen ausgeführt werden.
Während des Betriebs erzeugt die Kamera 110 ein Bild für eine Analyse in dem Verarbeitungsmodul 120 (453). Das Verarbeitungsmodul 120 analysiert das Bild unter Verwendung mehrerer Filterverfahren, um nicht konforme Pixel aus dem Bild zu identifizieren und zu entfernen. Die verbleibenden Pixel geben einen potentiellen freien Pfad für eine Durchfahrt des Fahrzeugs an. 12 zeigt das strukturlose Pixel-basierte Verfahren 400 mit vier beispielhaften Filterverfahren zum Identifizieren und Entfernen von nicht konformen Pixeln von dem Bild. Ein strukturloses Verfahren könnte mit einem Teil der vier beispielhaften Verfahren verwendet werden und/oder kann nicht genannte, jedoch ähnliche Verfahren umfassen, um das Bild zu verarbeiten.
Ein erstes beispielhaftes Filterverfahren entfernt Pixel über einem Horizont oder Fluchtpunkt einschließlich des Himmels und anderer vertikaler Merkmale, die kein Teil einer Fahrbahn sein können (456). Der Begriff ”Fluchtpunkt”, wie er hierin verwendet wird, ist ein breiter Begriff und stellt für Fachleute seine gewöhnliche und übliche Bedeutung dar und bezieht sich auf einen unendlich weit entfernten Punkt am Horizont, der von einer Vielzahl von parallelen Linien am Boden in der Ansicht geschnitten wird. Eine Fahrbahn, die einen freien Pfad erzeugt, auf dem gefahren werden soll, muss notwendigerweise unter dem Fluchtpunkt oder der Horizontlinie identifiziert werden. Ein Filtern von Bildern nur zum Analysieren eines Bereichs unter der Horizontlinie hilft beim Abgrenzen der Pixel, die zum Identifizieren einer Fahrbahn analysiert werden, von irrelevanten Pixeln. Ein Fachmann wird erkennen, dass es viele bekannte Verfahren zum Ermitteln eines Fluchtpunkts und einer entsprechenden Horizontlinie gibt.
Ein zweites beispielhaftes Filterverfahren wendet ein Filter auf der Grundlage der Abweichung der Pixel-Farbintensität basierend auf der Prämisse an, dass eine Fahrbahn eine große Fläche mit einer visuellen Intensität umfasst, die über der Fläche einheitlich ist (459). Die Pixel werden von dem Bild entfernt, wenn sich eine zugeordnete Pixel-Farbintensität stärker als ein vorbestimmter Schwellenwert ändert. Bei Pixeln, denen mehrere. Farben zugeordnet wurden, kann eine Pixel-Farbintensität jeder bestimmten Farbe, die sich stärker als der vorbestimmte Schwellenwert ändert, von dem Bild entfernt werden. Der vorbestimmte Schwellenwert kann auf der Grundlage einer Farbintensität von Pixeln in der Vergangenheit, die als frei identifiziert wurden, aktualisiert werden.
Ein drittes beispielhaftes Filterverfahren wendet ein Filter auf der Grundlage eines Differenzierens sequentieller Bilder an, wobei eine Analyse von Änderungen zwischen den Bildern ermöglicht wird (462). Pixel, denen eine Pixel-Farbintensität zugeordnet ist, die sich von den sequentiellen Bildern stärker als ein vorbestimmter Schwellenwert ändert, können von dem Bild entfernt werden. Bei einer Ausführungsform werden die Anpassungen an den Bildern auf der Grundlage der Bewegung des Fahrzeugs so vorgenommen, dass Pixel differenziert und verglichen werden, als würden alle Pixel Punkten an einem Bodenniveau entsprechen. Für die Ermittlung von Bewegungsanpassungen an den Bildern können bekannte Triangulationsverfahren verwendet werden. Durch Verwenden einer Annahme, dass sich alle Objekte in dem Bild auf Bodenniveau befinden, können Punkte, die sich nicht auf Bodenniveau befinden, durch Änderungen identifiziert werden, die nicht mit dem Bodenniveau zugeordneten Pixeln konsistent sind. Beispielsweise können sich Pixel über dem Bodenniveau zwischen sequentiellen Bildern schneller bewegen als es erwartet werden würde und kann diese Bewegung durch Prüfen der Differenz zwischen Pixel-Farbintensitäten zwischen sequentiellen Bildern identifiziert werden.
Ein viertes beispielhaftes Filterverfahren wendet ein Filter auf der Grundlage eines Identifizierens von Pixeln an, die Kanten oder Übergange in den visuellen Daten darstellen (465). Um das vierte gefilterte Bild zu erzeugen, extrahiert das Verarbeitungsmodul 120 Pixel von dem Bild auf der Grund lage von Farbintensitätswerten, die den Kanten entsprechen, unter Verwendung eines von verschiedenen bekannten Kantendetektionsfiltern, z. B. eines Sobel-Filters. Das Kantendetektionsfilter wird vorzugsweise in dem Verarbeitungsmodul 120 ausgeführt, kann jedoch in einer oder mehreren Einrichtungen kombiniert sein, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Bei einer Ausführungsform wird jedes Pixel unter Verwendung eines Sobel-Operators analysiert. Der Sobel-Operator berechnet einen Gradientenvektor einer Farbintensität an jedem Pixel, was zu einer Richtung des größtmöglichen Anstiegs von Hell nach Dunkel und der Änderungsrate in dieser Richtung führt. Punkte, die einer Änderungsrate entsprechen, die einen Schwellwert übersteigt, und Gradientenvektoren bei nahe gelegenen Pixeln entsprechen, geben Kanten an und sind in dem vierten gefilterten Bild umfasst. Jene Pixel sind in dem Bild umfasst, während die anderen entfernt sind.
Bei einem parallelen Anwenden der verschiedenen Verfahren können die Ergebnisse in einer einzelnen Abbildung des Bilds vereinigt werden (468). Eine Vereinigung umfasst Pixel, die in jedem der verschiedenen Filterverfahren identifiziert werden. Pixel an der Abbildung eines vereinigten freien Pfads entsprechen gewünschten Fahrtorten in dem Sichtfeld. Die Orte an der Abbildung eines vereinigten freien Pfads ohne Pixel entsprechen unerwünschten Fahrtorten in dem Sichtfeld. Das Verarbeitungsmodul 120 kann die Abbildung hinsichtlich visueller Daten, die einen freien Fahrpfad angeben, analysieren (471).
Das in 12 beschriebene strukturlose Pixel-basierte Verfahren 400 wendet verschiedene Verfahren parallel auf Bilder an, um Merkmale in einer Ansicht zu identifizieren, die für ein Definieren eines freien Pfads relevant sind. Es sei jedoch angemerkt, dass diese Verfahren nicht parallel durchgeführt werden müssen, sondern dass die Verfahren stattdessen verwendet werden können, um Bilder sequentiell schrittweise zu verarbeiten, oder um selektiv Merkmale in einer Ansicht zu identifizieren, die für ein Definieren eines freien Pfads relevant sind.
Ein Zusatz eines Pixel-basierten Verfahrens zur Detektion eines freien Pfads umfasst das Anwenden eines vereinigten strukturreichen und strukturlosen Verfahrens.
Das strukturreiche und strukturlose Verfahren können auf eine Anzahl von Arten vereinigt werden. Ein Bild mit identifizierten Punkten und ermittelten Höhen, das mit strukturreiche Verfahren identifiziert wird, kann mit einem gefilterten Bild, das durch strukturlose Verfahren erzeugt wird, überlagert werden, und eine Vereinbarung der beiden Verfahren kann verwendet werden, um durch das überlagerte Bild einen freien Pfad zu definieren. Bei einem alternativen Verfahren zum Vereinigen der beiden Schemas können die Daten von beiden Schemas verwendet werden, um eine Information auf eine programmierte Draufsichtabbildung eines Bereichs vor dem Fahrzeug zu projizieren, und diese Draufsichtabbildung, die von einer Analyse der beiden Schemas erhaltene Daten umfasst, kann ein Aufbauen von Konfidenzhinweisen für Gebiete der Abbildung umfassen. Bei einem alternativen Verfahren zum Vereinigen der beiden Schemas kann ein Schema als primäres oder dominantes Schema verwendet werden und kann das zweite Schema verwendet oder aktiviert werden, um Gebiete in der Ansicht zu analysieren, die als mehrdeutig oder unklar identifiziert werden. Bei jedem Verfahren zum Vereinigen der beiden Schemas können die Stärken eines Verarbeitungsschemas verwendet werden, um die Schwächen des anderen Verarbeitungsschemas zu reduzieren. Wenn beide Schemas darin übereinstimmen, dass der Pfad frei ist, kann das Verarbeitungsmodul, das die Schemas einsetzt, mit erhöhter Konfidenz ermitteln, dass der Pfad für eine Fahrt des Fahrzeugs wünschenswert ist. Es wird eine Anzahl von Verfahren zum Vereinigen der identifizierten Schemas in Betracht gezogen, und die Offenbarung soll nicht auf die bestimmten hierin beschriebenen Ausführungsformen beschränkt sein. Ferner kann ein Schema oder können beide Schemas mit dem oben eingesetzten Verfahren kombiniert werden, das eine Analyse von Stücken verwendet.
Ein Fachmann wird erkennen, dass auf die erfassten Bilddaten eine Beleuchtungsnormalisierung angewandt werden kann. Eine Normalisierung ist ein Prozess, der den Bereich von Pixel-Intensitätswerten ändert. Der Zweck der Normalisierung ist, das Bild in einen Bereich zu bringen, der für einen Maschinenprozess geeigneter ist, um die Zuverlässigkeit zu verbessern. Beispielsweise wird jeder Pixel-Wert auf einen Mittelwert von Null und eine Einheitsvarianz normalisiert, um den Bildkontrast zu verbessern, insbesondere in einer Umgebung mit schwacher Beleuchtung, oder wenn der Kontrast aufgrund einer Blendung schlecht ist.
Wie oben beschrieben kann alternativ oder zusätzlich ein beispielbasiertes Verfahren verwendet werden, um einen freien Pfad auf der Grundlage eines Eingangsbilds zu definieren. Ein beispielhaftes beispielbasiertes Verfahren kann durch Erfassen einer Anzahl von Abtastbildern von Ansichten, Definieren eines freien Pfads für jedes der Abtastbilder, Inübereinstimmungbringen eines momentanen Bilds mit einem oder mehreren der Abtastbilder und Ermitteln eines freien Pfads auf der Grundlage der Inübereinstimmungbringung beschrieben werden. Ein Inübereinstimmungbringen des momentanen Bilds mit einem oder mehreren der Abtastbilder kann erreicht werden, indem beispielsweise Merkmale durch hierin beschriebene Verfahren von jedem der Abtastbilder extrahiert werden, Merkmale von dem momentanen Bild extrahiert werden, die extra hierten Merkmale von dem momentanen Bild mit einer Datenbank von extrahierten Merkmalen von den Abtastbildern verglichen werden und mit dem momentanen Bild übereinstimmende Abtastbilder ausgewählt werden. Ein freier Pfad kann aus dem am besten übereinstimmenden Abtastbild ausgewählt werden oder kann auf der Grundlage einer Kombination der engsten Übereinstimmungen mit dem momentanen Bild ermittelt werden.
15 zeigt schematisch einen Betrieb eines beispielhaften Verfahrens gemäß der vorliegenden Offenbarung. Das beispielbasierte Verfahren 700 ist in 15 gezeigt und hierin als diskrete Elemente umfassend beschrieben. Solch eine Darstellung dient der Vereinfachung der Beschreibung und es ist zu erkennen, dass die durch diese Elemente durchgeführten Funktionen in einer oder mehreren Einrichtungen kombiniert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Beispielsweise kann das Pixelbasierte Verfahren 700 in dem Verarbeitungsmodul 120 als ein oder mehrere Algorithmen ausgeführt werden.
Das Verfahren 700 zeigt einen Vergleich eines momentanen Bilds mit einer Anzahl von Beispiel- oder Abtastbildern zum Ermitteln eines freien Pfads. Wie oben beschrieben wird eine Anzahl von Abtastbildern durch eine Merkmalsextraktion analysiert (704) und werden die ermittelten Merkmale beispielsweise in einem Offline-Trainingsprozess in einer verfeinerten Datenbank gespeichert. Das Verfahren 700 gibt ein momentanes Bild ein und führt eine Merkmalsextraktion an dem Bild durch (702). Es werden momentane Merkmale des momentanen Bilds erzeugt. Die momentanen Merkmale werden verwendet, um eine oder mehrere Übereinstimmungen in der verfeinerten Datenbank mit den momentanen Merkmalen auszuwählen (706). Bei dieser beispielhaften Ausführungsform werden drei übereinstimmende Merkmalssätze identifiziert. Die entsprechenden Bilder der Übereinstimmungen werden dann mit dem momentanen Bild verglichen, und es wird ein freier Pfad für das momentane Bild auf der Grundlage des freien Pfads für das übereinstimmende Abtastbild oder die übereinstimmenden Abtastbilder ermittelt oder abgeleitet (708).
Ein Fachmann wird erkennen, dass ein beispielbasiertes Verfahren wie oben beschrieben nützlich sein kann, um Situationen zu beurteilen, bei denen visuelle Unterschiede zwischen Flächen, beispielsweise ähnliche Farben oder isotrope Strukturen, die keine dominante Richtung aufweisen, oder weniger ausgeprägte Merkmale in einem Bild, nicht zu genauen Ergebnissen von den anderen hierin beschriebenen beispielhaften Verfahren führen könnten. In solchen Fällen können die von einem Menschen definierten freien Pfade der Abtastbilder einen vorrangigen Eingang für den Ort des freien Pfads bereitstellen. Ferner sei angemerkt, dass Mehrdeutigkeiten oder Schwächen bei einer Kameradetektion, wie beispielsweise eine große radiale Verzerrung, die bei einigen Kamerabildern oder dicht gedrängten Gebäuden im Hintergrund vorhanden sein kann, die Interpretationen von Bildern gemäß anderen hierin beschriebenen Verfahren verzerren können oder Ungenauigkeiten bei diesen erzeugen können. Solche Mehrdeutigkeiten oder Schwächen bei Bildern existieren jedoch sowohl bei den Abtastbildern als auch bei dem momentanen Bild, das in dem offenbarten beispielbasierten Verfahren verwendet wird, und heben sich daher tendenziell auf. Im Speziellen stellt das beispielbasierte Verfahren wie in Bezug auf das hierin offenbarte hierarchische Verfahren beschrieben ein alternatives Verfahren zum Verarbeiten eines Bilds bereit und identifiziert es einen freien Pfad in Fällen, in denen ein stückbasiertes Verfahren und/oder ein Pixel-basiertes Verfahren den freien Pfad nicht klar identifizieren kann.
Wie oben beschrieben sind das beispielhafte stückbasierte und Pixelbasierte Verfahren nützlich, um ein Stück oder Pixel-Details innerhalb eines Stücks zu analysieren, um zu beurteilen, ob das Stück einen freien Pfad oder keinen freien Pfad darstellt. Das beispielbasierte Verfahren ermittelt oder schlussfolgert andererseits einen Ort eines freien Pfads an einem momentanen Bild. Bei einer Anwendung auf das hierarchische Verfahren kann der ermittelte freie Pfad von dem beispielbasierten Verfahren mit dem Ort des Stücks, das weiter analysiert wird, verglichen werden, und kann das Stück auf der Grundlage des Vergleichs als frei oder nicht frei gekennzeichnet werden.
Hierin werden Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung von hierarchischen Ausgestaltungen von Algorithmen einer Detektion eines freien Pfads, angeordnet auf der Grundlage einer Rechenintensität, offenbart. Bei der hierarchischen Ausgestaltung identifizieren weniger rechenintensive Detektionsverfahren freie Pfade in dem Bild und lassen sie verbleibende Teilabschnitte des Bilds, die nicht als freier Pfad identifiziert wurden, für eine rechenintensivere Analyse über. Auf diese Weise wird die Recheneffizienz für eine Identifikation eines freien Pfads erhöht. Wie oben beschrieben können sich die bestimmten verwendeten Verfahren und der hierarchische Aufbau des bestimmten verwendeten hierarchischen Verfahrens unterscheiden oder ändern. Ein erstes beispielhaftes Verfahren zum Detektieren eines freien Pfads unter Verwendung einer hierarchischen Ausgestaltung umfasst das Verwenden eines stückbasierten Verfahrens einer Detektion eines freien Pfads und eines Pixel-basierten Verfahrens einer Detektion eines freien Pfads. Das stückbasierte Verfahren einer Detektion eines freien Pfads identifiziert zuerst freie Pfade in dem Bild, und das Pixel-basierte Verfahren einer Detektion eines freien Pfads wird verwendet, um die verbleibenden Teilabschnitte des Bilds, die durch das stückbasierte Verfahren nicht als freier Pfad identifiziert wurden, zu analysieren. Ein zweites beispielhaftes hierin offenbartes Verfahren umfasst eine zusätzliche hierarchische Schicht. Bei dem zweiten Verfahren analysiert ein beispielbasiertes Verfahren ferner Teilabschnitte, die nicht durch das Pixel-basierte Verfahren als freier Pfad identifiziert wurden.
Es werden weitere beispielhafte Ausführungsformen von hierarchischen Ausgestaltungen in Betracht gezogen. Beispielsweise kann eine hierarchische Ausgestaltung derart definiert werden, dass sie ein stückbasiertes Verfahren, dann ein Pixel-basiertes Verfahren und dann ein weiteres Pixel-basiertes Verfahren umfasst. Bei einem anderen Beispiel kann die hierarchische Ausgestaltung derart definiert werden, dass sie ein Pixelbasiertes Verfahren, dann eine Vereinigung von Pixel-basierten Verfahren, dann ein beispielbasiertes Verfahren umfasst. Es sei angemerkt, dass solch eine Ausgestaltung, die nicht mehr an Stücke eines stückbasierten Verfahrens gebunden ist, die Gebiete des Bilds, die durch die verschiedenen Schichten der Hierarchie analysiert werden sollen, auf andere Weise definieren könnte. Beispielsweise könnte ein Pixel-basiertes Verfahren ein kreisförmiges Gebiet oder ein Cluster von Pixeln identifizieren und könnte dann nur dieses Gebiet oder Cluster durch ein nachfolgendes Verfahren eines freien Pfads analysiert werden. Es wird eine Anzahl von verschiedenen hierarchischen Ausgestaltungen betrachtet, und die Offenbarung soll nicht auf die bestimmten hierin beschriebenen Ausführungsformen beschränkt sein.
13 zeigt ein Flussdiagramm für ein Steuerschema 500 zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung einer beispielhaften hierarchischen Ausgestaltung von Verfahren einer Detektion eines freien Pfads, die ein stückbasiertes Verfahren und ein Pixelbasiertes Verfahren umfassen. Das Steuerschema 500 ist als Mehrzahl von diskreten Elementen gezeigt. Solch eine Darstellung dient der Vereinfachung der Beschreibung und es ist zu erkennen, dass die durch diese Elemente durchgeführten Funktionen in einer oder mehreren Einrichtungen kombiniert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Beispielsweise kann das Steuerschema 500 in dem Verarbeitungsmodul 120 als ein oder mehrere Algorithmen ausgeführt werden.
Während des Betriebs erzeugt die Kamera 110 ein Bild für eine Analyse in dem Verarbeitungsmodul 120 (502). Die Bilder werden unter Verwendung eines der hierin oben beschriebenen stückbasierten Verfahren einer Detektion eines freien Pfads analysiert (504). Das Verarbeitungsmodul 120 identifiziert in den Bildern unter Verwendung des stückbasierten Verfahrens mehrere Komponentenstücke. Jedes der Komponentenstücke wird unter Verwendung des stückbasierten Verfahrens hinsichtlich Merkmalen analysiert, um eine Konfidenzwahrscheinlichkeit zu ermitteln, wie es hierin oben beschrieben ist (506). Wie hierin oben beschrieben drückt die Konfidenzwahrscheinlichkeit eine Wahrscheinlichkeit aus, dass das Komponentenstück Teil eines freien Fahrpfads für das Fahrzeug ist.
Nach dem Ermitteln des Konfidenzwahrscheinlichkeitswerts für die mehreren Komponentenstücke vergleicht das Verarbeitungsmodul 120 den Konfidenzwahrscheinlichkeitswert mit einem ersten und zweiten vorbestimmten Schwellenwert, um zu ermitteln, ob das Komponentenstück frei, nicht frei oder für eine zusätzliche Analyse ausgewählt ist. Komponentenstücke, die einer Konfidenzwahrscheinlichkeit entsprechen, die größer als ein erster vorbestimmter Schwellenwert ist, werden als freier Pfad bezeichnet (508). Komponentenstücke, die nicht größer als der erste vorbestimmte Schwellenwert sind, jedoch größer als ein zweiter vorbestimmter Schwellenwert sind, werden für eine weitere Analyse ausgewählt (510).
Komponentenstücke, die kleiner als der zweite vorbestimmte Schwellenwert sind, werden als nicht frei bezeichnet (520).
Nach dem Auswählen eines Teils der Komponentenstücke für eine weitere Analyse analysiert das Verarbeitungsmodul 120 die Komponentenstücke unter Verwendung des Pixel-basierten Verfahrens einer Detektion eines freien Pfads (512). Das Verarbeitungsmodul 120 wendet ein hierin oben beschriebenes Pixel-basiertes Verfahren einer Detektion eines freien Pfads an, um eine Konfidenzwahrscheinlichkeit wie hierin oben beschrieben zu ermitteln, um basierend auf durch das Pixel-basierte Verfahren identifizierten Merkmalen zu ermitteln, ob das ausgewählte Komponentenstück einem freien Pfad oder einem nicht freien Pfad entspricht (514). Es sei angemerkt, dass Pixel-basierte Verfahren Entscheidungen auf der Grundlage eines Pixels oder einer Gruppe von Pixeln treffen. Diese Entscheidung für das Stück, das analysiert wird, kann auf Pixeln basieren, die in dem Stück enthalten sind, wobei das Stück beispielsweise als nicht frei ermittelt wird, wenn irgendeines oder eine minimale Anzahl der Pixel in dem Stück als nicht frei bestimmt wird. Komponentenstücke, denen ein Konfidenzwahrscheinlichkeitswert zugeordnet wird, der größer als ein vorbestimmter Schwellenwert ist, entsprechen einem freien Pfad, während Komponentenstücke, denen ein Konfidenzwahrscheinlichkeitswert zugeordnet wird, der kleiner als der vorbestimmte Schwellenwert ist, einem nicht freien Pfad entsprechen (515).
Nach dem Analysieren der ausgewählten Komponentenstücke kann ein freier Pfad unter Verwendung der Komponentenstücke, die einem freien Pfad entsprechen (516), und der Komponentenstücke, die einem nicht freien Pfad entsprechen (520), identifiziert werden.
13 beschreibt die Verwendung eines ersten vorbestimmten Schwellenwerts und eines zweiten vorbestimmten Schwellenwerts, um zu beurteilen, ob ein bestimmtes Stück frei ist, nicht frei ist oder eine zusätzliche Analyse erfordert. Es sei angemerkt, dass solch ein Paar von Schwellenwerten stattdessen als Bereich von Werten beschrieben werden kann, die beschreiben, wann die zusätzliche Analyse ausgeführt werden sollte.
13 beschreibt ferner die Verwendung des zweiten, unteren vorbestimmten Schwellenwerts zum Definieren von Stücken, die unmittelbar als nicht frei betrachtet werden. Es sei jedoch angemerkt, dass ein ähnliches Verfahren ohne den zweiten Schwellenwert eingesetzt werden könnte, bei dem jedes Stück, das in der ersten Analyse nicht als frei identifiziert wird, ferner in der zweiten Analyse analysiert werden würde.
14 zeigt ein Flussdiagramm für ein Steuerschema 600 zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung einer hierarchischen Ausgestaltung von Verfahren einer Detektion eines freien Pfads, die das stückbasierte Verfahren, das Pixel-basierte Verfahren und das beispielbasierte Verfahren umfassen. Das Steuerschema 600 ist als mehrere diskrete Elemente gezeigt. Solch eine Darstellung dient der Vereinfachung der Beschreibung und es ist zu erkennen, dass die durch diese Elemente durchgeführten Funktionen in einer oder mehreren Einrichtungen kombiniert sein können, z. B. realisiert in Software, Hardware und/oder einer anwendungsspezifischen integrierten Schaltung. Beispielsweise kann das Steuerschema 600 in dem Verarbeitungsmodul 120 als ein oder mehrere Algorithmen ausgeführt werden.
Während des Betriebs erzeugt die Kamera 110 ein Bild für eine Analyse in dem Verarbeitungsmodul 120 (602). Die Bilder werden unter Verwendung eines der hierin oben beschriebenen stückbasierten Verfahren einer De tektion eines freien Pfads analysiert (604). Das stückbasierte Verfahren identifiziert innerhalb der Bilder mehrere Komponentenstücke und Merkmale innerhalb der Komponentenstücke. Nach dem Identifizieren von Merkmalen innerhalb der Komponentenstücke ermittelt das Verarbeitungsmodul 120 eine Konfidenzwahrscheinlichkeit für jedes Komponentenstück wie hierin oben beschrieben unter Verwendung einer Wahrscheinlichkeitsanalyse. Komponentenstücke, die einer Konfidenzwahrscheinlichkeit zugeordnet sind, die größer als ein erster vorbestimmter Schwellenwert ist, werden [engl.: ”as”] als freier Pfad bezeichnet (606). Komponentenstücke, die einem Konfidenzwahrscheinlichkeitswert zugeordnet sind, der nicht größer als der erste vorbestimmte Schwellenwert ist, jedoch größer als ein zweiter vorbestimmter Schwellenwert ist, werden für eine weitere Analyse ausgewählt (608). Komponentenstücke, die einem Konfidenzwahrscheinlichkeitswert zugeordnet sind, der kleiner als der zweite vorbestimmte Schwellenwert ist, werden als nicht frei bezeichnet (622).
Nach dem Auswählen eines Teils der Komponentenstücke für eine weitere Analyse wendet das Verarbeitungsmodul 120 ein Pixel-basiertes Verfahren einer Detektion eines freien Pfads wie hierin oben beschrieben an, um eine Konfidenzwahrscheinlichkeit wie hierin oben beschrieben zu ermitteln, um zu ermitteln, ob das ausgewählte Komponentenstück einem freien Pfad oder einem nicht freien Pfad entspricht (610). Das Pixel-basierte Verfahren identifiziert Merkmale zur Verwendung bei der hierin oben verwendeten Wahrscheinlichkeitsanalyse, um Konfidenzwerte für das Komponentenstück zu ermitteln. Die Komponentenstücke, die einem Konfidenzwahrscheinlichkeitswert zugeordnet sind, der größer als ein dritter vorbestimmter Schwellenwert ist, entsprechen einem freien Pfad (612). Die Komponentenstücke, die einem Konfidenzwahrscheinlichkeitswert zugeordnet sind, der nicht größer als der dritte vorbestimmte Schwellenwert ist, jedoch größer als ein vierter vorbestimmter Schwellenwert ist, werden für eine weitere Analyse ausgewählt (614). Die Komponentenstücke, die einem Konfidenzwahrscheinlichkeitswert zugeordnet sind, der kleiner als der zweite vorbestimmte Schwellenwert ist, werden als nicht frei bezeichnet (622).
Nach dem Auswählen der Pixel analysiert das Verarbeitungsmodul 120 die Pixel unter Verwendung eines beispielhaften beispielbasierten Verfahrens einer Detektion eines freien Pfads, und es wird eine Konfidenzwahrscheinlichkeit ermittelt (616). Komponentenstücke, die einem Konfidenzwahrscheinlichkeitswert zugeordnet sind, der größer als ein vorbestimmter Schwellenwert ist, entsprechen einem freien Pfad (618). Komponentenstücke, die einem Konfidenzwahrscheinlichkeitswert zugeordnet sind, der kleiner als der zweite vorbestimmte Schwellenwert ist, werden als nicht frei bezeichnet (622).
Nach dem Analysieren der ausgewählten Komponentenstücke kann ein freier Pfad unter Verwendung der Komponentenstücke und Pixel, die einem freien Pfad entsprechen (620) und/oder der Komponentenstücke und Pixel, die einem nicht freien Pfad entsprechen (622), identifiziert werden.
14 beschreibt eine Reihe von Schwellenwerten, und den Schwellenwerten wird eine Reihe von numerischen Bezeichnungen (erster, zweiter, dritter, etc.) zugeordnet. Es sei angemerkt, dass diese Bezeichnungen lediglich für den Zweck des Darstellens der Schwellenwerte als potentiell voneinander verschieden zugeordnet werden. Der obere und untere Schwellenwert kann für jeden Vergleich unterschiedlich oder gleich sein. Die zugeordneten Bezeichnungen in 14 dienen jedoch nur der Dar stellung, und außerhalb der potentiellen Unterscheidung sollte durch die numerischen Bezeichnungen keine Bedeutung impliziert werden.
Die obigen hierarchischen Ausgestaltungen oder Verfahren definieren in den verschiedenen betrachteten Ausführungsformen die verschiedenen Stufen der Hierarchie auf der Grundlage einer Rechen- oder Verarbeitungskomplexität, wobei die Verwendung von nicht intensiven Verfahren vor der Verwendung von intensiveren Verfahren bevorzugt wird. Es sei jedoch angemerkt, dass die Rechenintensität nicht die einzige Betrachtung ist, die verwendet werden kann, um das bestimmte Verfahren, das in jeder Stufe der Hierarchie verwendet wird, zu definieren. Beispielsweise kann die Hierarchie von 14 unter normalen Bedingungen verwendet werden, wobei das Verfahren zuerst ein stückbasiertes Verfahren, dann ein Pixel-basiertes Verfahren und schließlich ein beispielbasiertes Verfahren verwendet. Die Reihenfolge der verwendeten Verfahren oder ein Ausschluss oder eine Ersetzung eines der Verfahren können jedoch auf der Grundlage von wahrgenommenen Faktoren realisiert werden. Beispielsweise kann eine Fahrt über eine verschmutzte Straße oder eine schneebedeckte Straße für eines der Verfahren besonders schlechte Ergebnisse liefern. Ähnlich kann eine urbane Umgebung mit sich schnell ändernden Verkehrsbedingungen oder Fußgängerverkehr für eines der Verfahren im Speziellen schlechte Ergebnisse liefern. Eine Verunreinigung des Bilds von der Kamera, die durch einen Fleck auf der Linse der Kamera verursacht wird, kann auf ähnliche Weise schlechte Ergebnisse von einem der Verfahren bewirken. Die Fahrzeuggeschwindigkeit kann die Qualität der Ergebnisse von einem der Verfahren beeinflussen. Solche Faktoren können experimentell oder rechnerisch ermittelt werden oder auf der Grundlage einer Modellerstellung oder eines anderen Verfahrens beurteilt werden, das genügt, um die Effektivität der verschiedenen Verfahren eines freien Pfads zum Ermitteln eines freien Pfads auf der Grundlage des Ein gangsbilds genau abzuschätzen. Ferner können Verfahren, wie beispielsweise Maschinenlernalgorithmen oder Fuzzy-Logik, realisiert werden, um eine Auswahl der verschiedenen Verfahren eines freien Pfads zur Verwendung bei dem hierarchischen Verfahren auf der Grundlage einer fahrzeuginternen Verwendung der verschiedenen Verfahren eines freien Pfads und des resultierenden Betriebs des Fahrzeugs abzustimmen. Solch ein Betrieb des Fahrzeugs kann auf viele in der Technik bekannte Arten beurteilt werden, wie beispielsweise Überwachen eines Auftretens eines Bedienereingriffs in die Steuerung des Fahrzeugs, oder durch Überwachen des Orts von Spurmarkierungen in Bildern, was die nachfolgende Steuerung des Fahrzeugs auf der Fahrbahn beschreibt. Es wird eine Anzahl von Verfahren zum Auswählen zwischen Verfahren eines freien Pfads und zum Anpassen der Auswahl der verschiedenen Verfahren eines freien Pfads in Betracht gezogen, und die Offenbarung soll nicht auf die bestimmten hierin offenbarten beispielhaften Ausführungsformen beschränkt sein.
Wie in 13 und 14 gezeigt ist eine Anzahl von Schwellenwertkonfidenzwahrscheinlichkeiten für einen Vergleich mit Konfidenzwahrscheinlichkeiten dargestellt, die in jeder Schicht der hierarchischen Verfahren entwickelt werden. Es sei angemerkt, dass diese Schwellenwerte jeweils unterschiedlich und eindeutig sein können und als erster Schwellenwert, zweiter Schwellenwert, dritter Schwellenwert etc. beschrieben werden können. Einige der Schwellenwerte können gleich sein, wobei beispielsweise gleiche Schwellenwerte definieren, wann das bestimmte Stück ein freier Pfad ist. Die genauen Niveaus jedes der Schwellenwerte hängen von den Verfahren eines freien Pfads ab, die verwendet werden, um das Stück zu analysieren, und können experimentell oder durch ein beliebiges Verfahren entwickelt werden, das genügt, um einen Betrieb der eingesetzten Bildverarbeitungsverfahren zu schätzen oder zu bewerten.
Wie oben erwähnt kann das Verarbeitungsmodul 120 Algorithmen und Mechanismen zum Betätigen einer autonomen Fahrsteuerung durch ein in der Technik bekanntes und hierin nicht beschriebenes Mittel umfassen oder kann das Verarbeitungsmodul 120 einfach eine Information an ein separates autonomes Fahrsystem liefern. Die Reaktionen auf wahrgenommene Objekte können variieren und umfassen ohne Einschränkung Lenkänderungen, Drosseländerungen, Bremsantworten und dass der Bediener des Fahrzeugs gewarnt wird und dass die Steuerung des Fahrzeugs dem Bediener überlassen wird.
Die Offenbarung beschrieb bestimmte bevorzugte Ausführungsformen und Abwandlungen dieser. Weitere Abwandlungen und Änderungen können für Dritte beim Lesen und Verstehen der Beschreibung ersichtlich werden. Daher soll die Offenbarung nicht auf die bestimmte Ausführungsform/die bestimmten Ausführungsformen beschränkt sein, die als die Ausführungsform(en) offenbart ist/sind, die zum Ausführung dieser Offenbarung als am geeignetsten betrachtet wird/werden, sondern soll die Offenbarung alle Ausführungsformen umfassen, die innerhalb des Schutzumfangs der beigefügten Ansprüche liegen.

Claims

Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung eines durch eine Kamera erzeugten Bilds, wobei das Verfahren umfasst, dass das Bild überwacht wird; eine erste stückbasierte Analyse des Bilds verwendet wird, die umfasst, dass das Bild in mehrere Stücke unterteilt wird, und jedes Stück analysiert wird, um für jedes der Stücke der ersten stückbasierten Analyse eine erste Konfidenzwahrscheinlichkeit eines freien Pfads zu ermitteln; jedes der Stücke, bei dem die erste Konfidenzwahrscheinlichkeit eines freien Pfads größer als eine erste Schwellenwertkonfidenzwahrscheinlichkeit ist, als Stück eines freien Pfads definiert wird; eine zweite Analyse an einem Teil der Stücke, bei dem die erste Konfidenz eines freien Pfads nicht größer als die erste Schwellenwertkonfidenzwahrscheinlichkeit ist, verwendet wird, um eine zweite Konfidenzwahrscheinlichkeit eines freien Pfads für jedes der Stücke der zweiten Analyse zu ermitteln; jedes der Stücke der zweiten Analyse, bei dem die zweite Konfidenzwahrscheinlichkeit eines freien Pfads größer als eine zweite Schwellenwertkonfidenzwahrscheinlichkeit ist, als Stück eines freien Pfads definiert wird; und der freie Fahrpfad für das Fahrzeug auf der Grundlage der Stücke eines freien Pfads identifiziert wird.
Verfahren nach Anspruch 1, das ferner umfasst, dass die erste Konfidenzwahrscheinlichkeit eines freien Pfads für jedes der Stücke der ersten stückbasierten Analyse mit einer dritten Schwellenwertkonfidenzwahrscheinlichkeit verglichen wird; und wobei das Verwenden der zweiten Analyse ferner umfasst, dass die zweite Analyse an einem Teil der Stücke der ersten stückbasierten Analyse, bei dem die erste Konfidenzwahrscheinlichkeit eines freien Pfads größer als die dritte Schwellenwertkonfidenzwahrscheinlichkeit ist, verwendet wird, vorzugsweise ferner umfassend, dass jedes der Stücke der ersten stückbasierten Analyse, bei dem die erste Konfidenzwahrscheinlichkeit eines freien Pfads nicht größer als die dritte Schwellenwertkonfidenzwahrscheinlichkeit ist, als Stück eines nicht freien Pfads definiert wird.
Verfahren nach Anspruch 1, das ferner umfasst, dass jedes der Stücke der zweiten Analyse, bei dem die zweite Konfidenzwahrscheinlichkeit eines freien Pfads nicht größer als die zweite Schwellenwertkonfidenzwahrscheinlichkeit ist, als Stück eines nicht freien Pfads definiert wird.
Verfahren nach Anspruch 1, wobei die zweite Analyse ein beispielbasiertes Verfahren eines freien Pfads und/oder ein Pixel-basiertes Verfahren eines freien Pfads umfasst, wobei das Pixel-basierte Verfahren eines freien Pfads vorzugsweise ein strukturreiches Verfahren eines freien Pfads und/oder ein strukturloses Verfahren eines freien Pfads umfasst.
Verfahren nach Anspruch 1, das ferner umfasst, dass eine dritte Analyse an den Stücken der zweiten Analyse, bei denen die zweite Konfidenzwahrscheinlichkeit eines freien Pfads nicht größer als die zweite Schwellenwertkonfidenzwahrscheinlichkeit ist, verwendet wird, um eine dritte Konfidenzwahrscheinlichkeit eines freien Pfads für jedes der Stücke der dritten Analyse zu ermitteln; und jedes der Stücke der dritten Analyse, bei dem die dritte Konfidenzwahrscheinlichkeit eines freien Pfads größer als eine dritte Schwellenwertkonfidenzwahrscheinlichkeit ist, als Stück eines freien Pfads definiert wird.
Verfahren nach Anspruch 5, das ferner umfasst, dass die zweite Konfidenzwahrscheinlichkeit eines freien Pfads für jedes der Stücke der zweiten stückbasierten Analyse mit einer vierten Schwellenwertkonfidenzwahrscheinlichkeit verglichen wird; und wobei das Verwenden der dritten Analyse ferner umfasst, dass die dritte Analyse an einem Teil der Stücke der zweiten stückbasierten Analyse verwendet wird, bei dem die zweite Konfidenzwahrscheinlichkeit eines freien Pfads größer als die vierte Schwellenwertkonfidenzwahrscheinlichkeit ist, vorzugsweise ferner umfassend, dass jedes der Stücke der zweiten stückbasierten Analyse, bei dem die zweite Konfidenzwahrscheinlichkeit eines freien Pfads nicht größer als die vierte Schwellenwertkonfidenzwahrscheinlichkeit ist, als Stück eines nicht freien Pfads definiert wird.
Verfahren nach Anspruch 5, das ferner umfasst, dass jedes der Stücke der dritten Analyse, bei dem die dritte Konfidenzwahrscheinlichkeit eines freien Pfads nicht größer als die dritte Schwellenwertkonfidenzwahrscheinlichkeit ist, als Stück eines nicht freien Pfads definiert wird.
Verfahren nach Anspruch 5, wobei die dritte Analyse ein Pixelbasiertes Verfahren eines freien Pfads an dem Teil der Stücke und/oder ein beispielbasiertes Verfahren eines freien Pfads an dem Teil der Stücke umfasst.
Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung eines durch eine Kamera erzeugten Bilds, wobei das Verfahren umfasst, dass das Bild überwacht wird; eine erste stückbasierte Analyse des Bilds verwendet wird, die umfasst, dass das Bild in mehrere Stücke unterteilt wird, und jedes Stück analysiert wird, um für jedes der Stücke der ersten stückbasierten Analyse eine erste Konfidenzwahrscheinlichkeit eines freien Pfads zu ermitteln; jedes der Stücke, bei dem die erste Konfidenzwahrscheinlichkeit eines freien Pfads größer als eine erste Schwellenwertkonfidenzwahrscheinlichkeit ist, als Stück eines freien Pfads definiert wird; eine Pixel-basierte Analyse an einem Teil der Stücke, bei dem die erste Konfidenz eines freien Pfads nicht größer als die erste Schwellenwertkonfidenzwahrscheinlichkeit ist, verwendet wird, um eine zweite Konfidenzwahrscheinlichkeit eines freien Pfads für jedes der Stücke der zweiten Analyse zu ermitteln; jedes der Stücke der Pixel-basierten Analyse, bei dem die zweite Konfidenzwahrscheinlichkeit eines freien Pfads größer als eine zweite Schwellenwertkonfidenzwahrscheinlichkeit ist, als Stück eines freien Pfads definiert wird; der freie Fahrpfad für das Fahrzeug auf der Grundlage der Stücke eines freien Pfads identifiziert wird; und der freie Fahrpfad zum Navigieren des Fahrzeugs verwendet wird.
Verfahren zum Detektieren eines freien Fahrpfads für ein Fahrzeug unter Verwendung eines durch eine Kamera erzeugten Bilds, wobei das Verfahren umfasst, dass das Bild überwacht wird; eine erste stückbasierte Analyse des Bilds verwendet wird, die umfasst, dass das Bild in mehrere Stücke unterteilt wird, und jedes Stück analysiert wird, um für jedes der Stücke der ersten stückbasierten Analyse eine erste Konfidenzwahrscheinlichkeit eines freien Pfads zu ermitteln; jedes der Stücke, bei dem die erste Konfidenzwahrscheinlichkeit eines freien Pfads größer als eine erste Schwellenwertkonfidenzwahrscheinlichkeit ist, als Stück eines freien Pfads definiert wird; eine beispielbasierte Analyse an einem Teil der Stücke, bei dem die erste Konfidenz eines freien Pfads nicht größer als die erste Schwellenwertkonfidenzwahrscheinlichkeit ist, verwendet wird, um eine zweite Konfidenzwahrscheinlichkeit eines freien Pfads für jedes der Stücke der zweiten Analyse zu ermitteln; jedes der Stücke der beispielbasierten Analyse, bei dem die zweite Konfidenzwahrscheinlichkeit eines freien Pfads größer als eine zweite Schwellenwertkonfidenzwahrscheinlichkeit ist, als Stück eines freien Pfads definiert wird; der freie Fahrpfad für das Fahrzeug auf der Grundlage der Stücke eines freien Pfads identifiziert wird; und der freie Fahrpfad zum Navigieren des Fahrzeugs verwendet wird.