DE102018119873A1

DE102018119873A1 - Verfahren zum erfassen einer schneebedeckten strassenoberfläche

Info

Publication number: DE102018119873A1
Application number: DE102018119873.6A
Authority: DE
Inventors: Qingrong Zhao; Bakhtiar B. Litkouhi; Qi Zhang; Jinsong Wang; Wende Zhang; Jingfu Jin
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-08-18
Filing date: 2018-08-15
Publication date: 2019-02-21
Also published as: US20190057272A1; CN109409185A

Abstract

Ein Verfahren zum Identifizieren einer schneebedeckten Straße beinhaltet das Erzeugen eines Vorwärtsbildes einer Straßenoberfläche. Das Vorwärtsbild wird analysiert, um eine Reifenspur in dem Vorwärtsbild zu erfassen. Wenn eine Reifenspur in dem Vorwärtsbild erfasst wird, wird eine Nachricht signalisiert, die eine schneebedeckte Straßenoberfläche anzeigt. Wenn in dem Vorwärtsbild keine Reifenspur erfasst wird, werden ein Rückwärtsbild, ein linksseitiges Bild und ein rechtsseitiges Bild erzeugt. Das Rückwärtsbild, das linksseitige Bild und das rechtsseitige Bild werden analysiert, um eine Reifenspur in mindesten einem von dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild zu erfassen. Eine Nachricht, die eine schneebedeckte Straßenoberfläche anzeigt, wird signalisiert, wenn eine Reifenspur in einem von dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild erfasst wird.

Description

EINLEITUNG
Die Offenbarung betrifft allgemein ein Verfahren zum Identifizieren einer schneebedeckten Straßenoberfläche.
Fahrzeugsteuersysteme können die Bedingung der Straßenoberfläche als eine Eingabe zum Steuern einer oder mehrerer Komponenten des Fahrzeugs verwenden. Unterschiedliche Bedingungen der Straßenoberfläche beeinflussen den Reibungskoeffizienten zwischen den Reifen und der Straßenoberfläche. Trockene Straßenoberflächenbedingungen bieten einen hohen Reibungskoeffizienten, wohingegen schneebedeckte Straßenbedingungen einen niedrigeren Reibungskoeffizienten ergeben. Fahrzeugsteuerungen können das Fahrzeug für die unterschiedlichen Bedingungen der Straßenoberfläche unterschiedlich steuern oder bedienen. Es ist daher wünschenswert, dass das Fahrzeug in der Lage ist, die aktuelle Bedingung der Straßenoberfläche zu bestimmen.
KURZDARSTELLUNG
Ein Verfahren zum Identifizieren einer schneebedeckten Straßenoberfläche wird bereitgestellt. Das Verfahren beinhaltet die Erstellung eines Vorwärtsbildes mit einer Vorwärtskamera. Das Vorwärtsbild ist ein Bild der Straßenoberfläche in einem vorderen Bereich relativ zu einer Karosserie eines Fahrzeugs. Eine Recheneinheit analysiert das Vorwärtsbild, um eine Reifenspur im Vorwärtsbild zu erfassen. Wenn eine Reifenspur in dem Vorwärtsbild nicht erfasst wird, erzeugt die Recheneinheit ein Rückwärtsbild mit einer Rückwärtskamera. Das Rückwärtsbild ist ein Bild der Straßenoberfläche in einem hinteren Bereich relativ zu der Karosserie des Fahrzeugs. Die Computereinheit analysiert das Rückwärtsbild, um eine Reifenspur in dem Rückwärtsbild zu erfassen, und signalisiert eine Nachricht, die anzeigt, dass die Straßenoberfläche mit Schnee bedeckt sein kann, wenn eine Reifenspur in dem Rückwärtsbild erfasst wird.
In einem Aspekt des Verfahrens signalisiert die Recheneinheit eine Nachricht, die anzeigt, dass die Straßenoberfläche mit Schnee bedeckt ist, wenn eine Reifenspur in dem Vorwärtsbild erfasst wird.
In einem Aspekt des Verfahrens, wenn eine Reifenspur in dem Vorwärtsbild nicht erfasst wird, erzeugt die Recheneinheit wenigstens ein Bild der linken Seite mit einer Kamera der linken Seite oder ein Bild der rechten Seite mit einer Kamera der rechten Seite. Das Bild auf der linken Seite ist ein Bild der Straßenoberfläche in einem linken Seitenbereich relativ zu der Karosserie des Fahrzeugs. Das Bild auf der rechten Seite ist ein Bild der Straßenoberfläche eines Bereichs der rechten Seite relativ zu der Karosserie des Fahrzeugs.
In einem weiteren Aspekt des Verfahrens analysiert die Recheneinheit mindestens eines von dem linksseitigen Bild und dem rechtsseitigen Bild, um eine Reifenspur in dem linksseitigen Bild und/oder dem rechtsseitigen Bild zu erfassen. In einer Ausführungsform des Verfahrens, wenn das Fahrzeug entlang eines linearen Wegs fährt, analysiert die Recheneinheit sowohl das linksseitige Bild als auch das rechtsseitige Bild, um eine Reifenspur in dem linksseitigen Bild und/oder dem rechtsseitigen Bild zu erfassen. In einer anderen Ausführungsform, wenn das Fahrzeug entlang einer Kurvenbahn zur rechten Seite des Fahrzeugs fährt, analysiert die Recheneinheit das linksseitige Bild, um eine Reifenspur im linksseitigen Bild zu erfassen. In einer anderen Ausführungsform des Verfahrens analysiert die Recheneinheit das rechtsseitige Bild, um eine Reifenspur in dem rechtsseitigen Bild zu erfassen, wenn das Fahrzeug entlang einer Kurvenbahn zur linken Seite des Fahrzeugs fährt.
In einem anderen Aspekt des Verfahrens signalisiert die Recheneinheit die Nachricht, die anzeigt, dass die Straßenoberfläche mit Schnee bedeckt ist, wenn eine Reifenspur in dem Rückwärtsbild, dem linksseitigen Bild oder dem rechtsseitigen Bild erfasst wird.
In einem anderen Aspekt des Verfahrens beinhaltet das Analysieren von jedem des Vorwärtsbilds, des Rückwärtsbilds, des linksseitigen Bilds und des rechtsseitigen Bilds das Extrahieren eines jeweiligen interessierenden Bereichs aus dem Vorwärtsbild, dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild. In einer Ausführungsform des Verfahrens hängt der jeweilige interessierende Bereich von dem Vorwärtsbild, dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild von einem aktuellen Lenkwinkel des Fahrzeugs ab.
In einer Ausführungsform des Verfahrens beinhaltet das Analysieren von jeweils einem von dem Vorwärtsbild, dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild, um eine Reifenspur darin zu erfassen, eine entsprechende Linienanalyse, um eine oder mehrere Linien und/oder ein Linienmuster im Vorwärtsbild, im Rückwärtsbild, im linksseitigen Bild und im rechtsseitigen Bild zu erfassen. In einer weiteren Ausführungsform des Verfahrens beinhaltet das Analysieren von jeweils einem von dem Vorwärtsbild, dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild, um eine Reifenspur darin zu erfassen, eine entsprechende statistische Analyse, um eine Richtungsstrukturabhängigkeit und eine Komplexität in dem Vorwärtsbild, dem Rückwärtsbild, dem linkssseitigen Bild und dem rechtsseitigen Bild zu erfassen. In einer weiteren Ausführungsform des Verfahrens beinhaltet das Analysieren von jeweils dem Vorwärtsbild, dem Rückwärtsbild, dem linkssseitigen Bild und dem rechtsseitigen Bild das Analysieren von mindestens einem von dem Vorwärtsbild, dem Rückwärtsbild, dem linkssseitigen Bild oder dem rechtsseitigen Bild unter Verwendung einer Helligkeitsanalyse, um den Kontrast oder ein Helligkeitsniveau der Straßenoberfläche zu erfassen. Ein höheres Helligkeitsniveau zeigt eine schneebedeckte Straßenoberfläche an, während ein dunkleres oder niedrigeres Helligkeitsniveau eine nicht schneebedeckte Straßenoberfläche anzeigt.
Ein Fahrzeug wird ebenfalls bereitgestellt. Das Fahrzeug beinhaltet einen Karosserie, eine Vorwärtskamera, eine Rückwärtskamera, eine Kamera auf der linken Seite und eine Kamera auf der rechten Seite. Die Vorwärtskamera ist an der Karosserie angebracht und positioniert, um ein Bild einer Straßenoberfläche in einem vorderen Bereich relativ zu der Karosserie zu erzeugen. Die Rückwärtskamera ist an der Karosserie angebracht und positioniert, um ein Bild der Straßenoberfläche in einem hinteren Bereich relativ zu der Karosserie zu erzeugen. Die Kamera an der linken Seite ist an der Karosserie angebracht und positioniert, um ein Bild der Straßenoberfläche entlang einer linken Seite der Karosserie zu erzeugen. Die Kamera auf der rechten Seite ist an der Karosserie angebracht und positioniert, um ein Bild der Straßenoberfläche entlang einer rechten Seite des Karosserie zu erzeugen. Eine Recheneinheit ist in Kommunikation mit der Vorwärtskamera, der Rückwärtskamera, der linken Seitenkamera und der rechten Seitenkamera angeordnet. Die Recheneinheit beinhaltet einen Prozessor und einen Speicher mit einem darauf gespeicherten Straßenoberflächen-Schneeerfassungsalgorithmus. Der Prozessor ist betreibbar, um den Straßenoberflächen-Schneeerfassungsalgorithmus auszuführen, um ein Vorwärtsbild einer Straßenoberfläche in dem vorderen Bereich mit der Vorwärtskamera zu erzeugen. Die Recheneinheit analysiert das Vorwärtsbild, um eine Reifenspur in dem Vorwärtsbild zu erfassen, und signalisiert eine Nachricht, die anzeigt, dass die Straßenoberfläche mit Schnee bedeckt ist, wenn eine Reifenspur in dem Vorwärtsbild erfasst wird. Wenn eine Reifenspur in dem Vorwärtsbild nicht erfasst wird, erzeugt die Recheneinheit ein Rückwärtsbild der Straßenoberfläche in dem hinteren Bereich mit der Rückwärtskamera und analysiert das Rückwärtsbild, um eine Reifenspur in dem Rückwärtsbild zu erfassen. Wenn eine Reifenspur in dem Rückwärtsbild erfasst wird, signalisiert die Recheneinheit eine Nachricht, die anzeigt, dass die Straßenoberfläche mit Schnee bedeckt sein kann.
In einem anderen Aspekt des Fahrzeugs, wenn eine Reifenspur in dem Vorwärtsbild nicht erfasst wird, kann der Prozessor den Straßenoberflächen-Schneeerfassungsalgorithmus ausführen, um wenigstens ein linksseitigen Bild mit der linksseitigen Kamera und ein rechtsseitiges Bild mit der rechtsseitigen Kamera zu erzeugen. Das linksseitige Bild ist ein Bild der Straßenoberfläche in dem linken Seitenbereich relativ zu der Karosserie des Fahrzeugs. Das rechtsseitige Bild ist ein Bild der Straßenoberfläche in dem rechten Seitenbereich relativ zu der Karosserie des Fahrzeugs.
In einem anderen Aspekt des Fahrzeugs ist der Prozessor betreibbar, um den Straßenoberflächen-Schneeerfassungsalgorithmus auszuführen, um mindestens eines von dem linksseitigen Bild und dem rechtsseitigen Bild zu analysieren, um eine Reifenspur in dem linksseitigen Bild und/oder dem rechtsseitigen Bild zu erfassen. In einer Ausführungsform, wenn das Fahrzeug entlang eines linearen Wegs fährt, beinhaltet das Analysieren von zumindest dem linksseitigen Bild oder dem rechtsseitigen Bild das Analysieren sowohl des linksseitigen Bilds als auch des rechtsseitigen Bilds, um eine Reifenspur in mindestens einem von beiden aus linksseitigen Bild und rechtsseitigen Bild zu erfassen. In einer anderen Ausführungsform, wenn das Fahrzeug entlang einer Kurvenbahn zur rechten Seite des Fahrzeugs fährt, beinhaltet das Analysieren von zumindest dem linksseitigen Bild oder dem rechtsseitigen Bild das Analysieren des linksseitigen Bildes, um eine Reifenspur in dem linksseitigen Bild zu erfassen. In einer anderen Ausführungsform, wenn das Fahrzeug entlang einer Kurvenbahn zur linken Seite des Fahrzeugs fährt, beinhaltet das Analysieren von zumindest dem linksseitigen Bild oder dem rechtsseitigen Bild das Analysieren des rechtsseitigen Bildes, um eine Reifenspur in dem rechtsseitigen Bild zu erfassen.
In einem anderen Aspekt des Fahrzeugs beinhaltet das Analysieren von jedem des Vorwärtsbilds, des Rückwärtsbilds, des linksseitigen Bilds und des rechtsseitigen Bilds das Extrahieren eines jeweiligen interessierenden Bereichs aus dem Vorwärtsbild, dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild. In einer Ausführungsform hängt der jeweilige interessierende Bereich von dem Vorwärtsbild, dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild von einem aktuellen Lenkwinkel des Fahrzeugs ab.
In einem anderen Aspekt des Fahrzeugs ist der Prozessor betreibbar, um den Straßenoberflächen-Schneeerfassungsalgorithmus auszuführen, um die Nachricht zu signalisieren, die anzeigt, dass die Straßenoberfläche mit Schnee bedeckt sein kann, wenn eine Reifenspur in dem Vorwärtsbild oder dem Rückwärtsbild, dem linksseitigen Bild oder dem rechtsseitigen Bild erfasst wird.
Ein Verfahren zum Identifizieren einer schneebedeckten Straßenoberfläche wird ebenfalls bereitgestellt. Das Verfahren beinhaltet das Erzeugen eines Bildes einer Straßenoberfläche mit einer Kamera. Eine Recheneinheit analysiert das Bild unter Verwendung eines Linienauswertealgorithmus, um eine oder mehrere Linien und/oder ein Linienmuster in dem Bild zu erfassen. Die Recheneinheit analysiert das Bild unter Verwendung eines statistischen Auswertealgorithmus, um die Richtungsstrukturabhängigkeit und die Komplexität im Bild zu erfassen. Die Recheneinheit analysiert das Bild unter Verwendung eines Algorithmus zur Helligkeitsanalyse, um Kontrast oder eine Helligkeitsstufe in dem Bild zu erfassen. Die Recheneinheit prüft dann die Ergebnisse der Linienanalyse, der statistischen Analyse und der Helligkeitsanalyse, um zu bestimmen, ob die Straßenoberfläche mit Schnee bedeckt ist oder ob die Straßenoberfläche nicht mit Schnee bedeckt ist.
Unter Umständen, bei denen die Straßenoberfläche mit einer Schneeschicht bedeckt ist, die vorher noch nicht befahren wurde, wird die Straßenoberfläche in dem vorderen Bereich vor dem Fahrzeug keine Reifenspuren aufweisen, die identifiziert werden können, um anzuzeigen, dass die Straßenoberfläche mit Schnee bedeckt ist. Jedoch haben entlang der linken Seitenregion, der rechten Seitenregion und/oder der hinteren Region die Reifen des Fahrzeugs Reifenspuren im Schnee hinterlassen, die sichtbar sein werden. Wenn keine Reifenspuren in dem vorderen Bereich des Fahrzeugs vorhanden sind, kann die Recheneinheit daher eine schneebedeckte Straße identifizieren, indem sie das linksseitige Bild, das rechtsseitige Bild und/oder das Rückwärtsbild untersucht, durch Erfassen der vom Fahrzeug hinterlassenen Reifenspuren im linken Seitenbereich, im rechten Seitenbereich und/oder im hinteren Bereich.
Um zu erkennen, ob ein Merkmal des Vorwärtsbilds, des Rückwärtsbildes, des linksseitigen Bildes und/oder des rechtsseitigen Bildes eine Reifenspur ist, kann die Recheneinheit das Merkmal mit einem Linienauswertealgorithmus, einer statistischen Analyse und einer Helligkeitsanalyse analysieren und die Ergebnisse von jedem verwenden, um zu bestimmen, ob das Merkmal eine Reifenspur ist.
Die vorstehenden Merkmale und Vorteile sowie weitere Merkmale und Vorteile der vorliegenden Lehren, lassen sich leicht aus der folgenden ausführlichen Beschreibung der besten Durchführungsarten der Lehren ableiten, wenn diese in Verbindung mit den zugehörigen Zeichnungen betrachtet werden.
Figurenliste

1 ist eine schematische Draufsicht eines Fahrzeugs, das entlang eines linearen Wegs fährt.
2 ist eine schematische Draufsicht des Fahrzeugs, das entlang eines kurvigen Wegs zur linken Seite des Fahrzeugs fährt.
3 ist eine schematische Draufsicht des Fahrzeugs, das entlang einer Kurvenbahn zur rechten Seite des Fahrzeugs fährt.
4 ist ein Flussdiagramm, das ein Verfahren zum Identifizieren einer schneebedeckten Straßenoberfläche darstellt.

AUSFÜHRLICHE BESCHREIBUNG
Fachleute auf dem Gebiet werden erkennen, dass Begriffe, wie „über“, „unter“, „nach oben“, „nach unten“, „oben“, „unten“ usw., beschreibend für die Figuren verwendet werden und keine Einschränkungen des Umfangs der durch die beigefügten Patentansprüche definierten Offenbarung darstellen. Weiterhin können die Lehren hierin in Bezug auf die funktionalen bzw. logischen Blockkomponenten bzw. verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware, Software- und/oder Firmware-Komponenten aufgebaut sein können, die dazu konfiguriert sind, die spezifizierten Funktionen auszuführen.
In den FIG., in denen die Bauteile in mehreren Ansichten nummeriert dargestellt sind, handelt es sich bei 20 im Allgemeinen um das Fahrzeug. Wie hierin verwendet, ist der Begriff „Fahrzeug“ nicht auf Kraftfahrzeuge beschränkt und kann eine Form einer beweglichen Plattform beinhalten, wie zum Beispiel, aber nicht beschränkt auf, Lastwagen, Autos, Traktoren, Motorräder, ATVs usw. Während diese Offenbarung in Verbindung mit einem Automobil beschrieben wird, ist die Offenbarung nicht auf Automobile beschränkt.
Bezug nehmend auf 1 bis 3 beinhaltet das Fahrzeug 20 eine Karosserie 22. Wie hierin verwendet, sollte die „Karosserie“ breit ausgelegt werden, um alle Rahmen- und Außenpaneelkomponenten des Fahrzeugs 20 zu beinhalten, ist aber nicht darauf beschränkt. Die Karosserie 22 kann in geeigneter Weise für den beabsichtigten Zweck des Fahrzeugs 20 konfiguriert sein. Der spezifische Typ, Stil, Größe, Form usw. der Karosserie 22 sind nicht relevant für die Lehren dieser Offenbarung und werden daher hierin nicht im Detail beschrieben.
Das Fahrzeug 20 beinhaltet eine Vielzahl von Kameras. Wie in 1 bis 3 dargestellt, beinhaltet das Fahrzeug 20 eine Vorwärtskamera 24, eine Kamera auf der linken Seite 26, eine Kamera auf der rechten Seite 28 und eine Rückwärtskamera 30. Es sollte jedoch erkannt werden, dass das Fahrzeug 20 mehr oder weniger als die beispielhaften vier Kameras beinhalten kann, die in 1 bis 3 dargestellt und hierin beschrieben sind.
Bezug nehmend auf 1 bis 3 ist die Vorwärtskamera 24 an der Karosserie 22 angebracht und positioniert, um ein Bild einer Straßenoberfläche 32 in einem vorderen Bereich 34 relativ zu der Karosserie 22 des Fahrzeugs 20 zu erzeugen. Die Vorwärtskamera 24 kann eine Vorrichtung beinhalten, die zur Verwendung mit Bilderkennungsanwendungen geeignet ist und die in der Lage ist, ein elektronisches Bild zu erfassen oder zu erzeugen und das Bild an eine Speichervorrichtung zu übermitteln und/oder zu speichern. Der spezifische Typ, Aufbau, Betrieb usw. der Vorwärtskamera 24 ist nicht relevant für die Lehren dieser Offenbarung und wird daher hierin nicht im Detail beschrieben. Die Vorwärtskamera 24 kann eine Lichtquelle (nicht dargestellt) beinhalten, die positioniert ist, um die Straßenoberfläche 32 in dem vorderen Bereich 34 zu beleuchten. Die Lichtquelle kann eine lichterzeugende Vorrichtung enthalten, wie beispielsweise eine Leuchtdiode (LED), einen Blitz, einen Laser, usw.
Die Vorwärtskamera 24 ist in der beispielhaften Ausführungsform an einem vorderen Stoßfänger des Fahrzeugs 20 angebracht dargestellt, wobei der vordere Bereich 34 direkt vor dem vorderen Stoßfänger liegt. Somit kann die Vorwärtskamera 24 ein Bild der Straßenoberfläche 32 in dem vorderen Bereich 34 erfassen oder erzeugen. Es sollte erkannt werden, dass die Vorwärtskamera 24 an einer anderen Stelle an der Karosserie 22 des Fahrzeugs 20 positioniert sein kann.
Bezug nehmend auf 1 bis 3 ist die linksseitige Kamera 26 an der Karosserie 22 angebracht und ist positioniert, um ein Bild der Straßenoberfläche 32 in einem linken Seitenbereich 36 relativ zu der Karosserie 22 zu erzeugen. Die linksseitige Kamera 26 kann eine Vorrichtung enthalten, die zur Verwendung mit Bilderkennungsanwendungen geeignet ist und die in der Lage ist, ein elektronisches Bild zu erfassen oder zu erzeugen und das Bild an eine Speichervorrichtung zu übermitteln und/oder zu speichern. Der spezifische Typ, Aufbau, Betrieb usw. der linksseitigen Kamera 26 ist nicht relevant für die Lehren dieser Offenbarung und wird daher hierin nicht im Detail beschrieben.
Die linksseitige Kamera 26 ist in der beispielhaften Ausführungsform an einer linksseitigen Bodenwanne des Fahrzeugs 20 angebracht, wobei der linke Seitenbereich 36 nur außen und unter der linken Seite des Fahrzeugs 20 liegt. Die linksseitige Kamera 26 kann eine Lichtquelle (nicht dargestellt) beinhalten, die positioniert ist, um die Straßenoberfläche 32 in dem linken Seitenbereich 36 zu beleuchten. Die Lichtquelle kann eine lichterzeugende Vorrichtung enthalten, beispielsweise eine Leuchtdiode (LED), einen Blitz, einen Laser usw. Es sollte erkannt werden, dass die linksseitige Kamera 26 an verschiedenen Orten relativ zu der Karosserie 22 angeordnet sein kann, um ein Bild des linken Seitenbereichs 36 zu erfassen.
Mit Bezug auf 1 bis 3 ist die rechtsseitige Kamera 28 an der Karosserie 22 angebracht und ist positioniert, um ein Bild der Straßenoberfläche 32 in einem rechten Seitenbereich 38 relativ zu der Karosserie 22 zu erzeugen. Die rechtsseitige Kamera 28 kann eine Vorrichtung beinhalten, die zur Verwendung mit Bilderkennungsanwendungen geeignet ist und die in der Lage ist, ein elektronisches Bild zu erfassen oder zu erzeugen und das Bild an eine Speichervorrichtung zu übermitteln und oder zu speichern. Der spezifische Typ, Aufbau, Betrieb usw. der rechtsseitigen Kamera 28 ist nicht relevant für die Lehren dieser Offenbarung und wird daher hierin nicht im Detail beschrieben.
Die rechtsseitige Seitenkamera 28 ist in der beispielhaften Ausführungsform an einer rechtsseitigen Bodenwanne des Fahrzeugs 20 angebracht, wobei der rechte Seitenbereich 38 nur außen und unter der rechten Seite des Fahrzeugs 20 liegt. Die rechtsseitige Kamera 28 kann eine Lichtquelle (nicht dargestellt) beinhalten, die positioniert ist, um die Straßenoberfläche 32 in dem rechten Seitenbereich 38 zu beleuchten. Die Lichtquelle kann eine lichterzeugende Vorrichtung beinhalten, beispielsweise eine Leuchtdiode (LED), einen Blitz, einen Laser usw. Es sollte beachtet werden, dass die rechtsseitige Kamera 28 an verschiedenen Stellen relativ zu der Karosserie 22 angeordnet sein kann, um ein Bild des rechten Seitenbereichs 38 zu erfassen.
Mit Bezug auf 1 bis 3 ist die Rückwärtskamera 30 an der Karosserie 22 angebracht und ist positioniert, um ein Bild der Straßenoberfläche 32 in einem hinteren Bereich 40 relativ zu der Karosserie 22 des Fahrzeugs 20 zu erzeugen. Die Rückwärtskamera 30 kann eine Vorrichtung beinhalten, die zur Verwendung mit Bilderkennungsanwendungen geeignet ist und die in der Lage ist, ein elektronisches Bild zu erfassen oder zu erzeugen und das Bild an eine Speichervorrichtung zu übermitteln und/oder zu speichern. Der spezifische Typ, Aufbau, Betrieb usw. der Rückwärtskamera 30 ist nicht relevant für die Lehren dieser Offenbarung und wird daher hierin nicht im Detail beschrieben. Die Rückwärtskamera 30 kann eine Lichtquelle (nicht dargestellt) beinhalten, die positioniert ist, um die Straßenoberfläche 32 in dem hinteren Bereich 40 zu beleuchten. Die Lichtquelle kann eine lichterzeugende Vorrichtung beinhalten, beispielsweise eine Leuchtdiode (LED), einen Blitz, einen Laser usw.
Die Rückwärtskamera 30 ist in der beispielhaften Ausführungsform an einem hinteren Stoßfänger des Fahrzeugs 20 angebracht dargestellt, wobei sich der hintere Bereich 40 direkt hinter dem hinteren Stoßfänger befindet. Somit kann die Rückwärtskamera 30 ein Bild der Straßenoberfläche 32 in dem hinteren Bereich 40 erfassen oder erzeugen. Es sollte beachtet werden, dass die Rückwärtskamera 30 an einer anderen Stelle an der Karosserie 22 des Fahrzeugs 20 positioniert sein kann.
Eine Recheneinheit 42 ist in Kommunikation mit der Vorwärtskamera 24, der linksseitigen Kamera 26, der rechtsseitigen Kamera 28 und der Rückwärtskamera 30 angeordnet. Die Recheneinheit 42 kann alternativ als eine Fahrzeugsteuerung, eine Steuereinheit, ein Computer, ein Steuermodul usw. bezeichnet werden. Die Recheneinheit 42 beinhaltet einen Prozessor 44 und einen Speicher 46 mit einem darauf gespeicherten Straßenoberflächen-Schneeerkennungsalgorithmus 48. Der Prozessor 44 ist betreibbar, um den Straßenoberflächen-Schneeerkennungsalgorithmus 48 auszuführen, um ein Verfahren zum Bestimmen, ob die Straßenoberfläche 32 mit Schnee bedeckt ist, zu implementieren.
Die Recheneinheit 42 ist konfiguriert, um auf Bilder zuzugreifen, (z.B. direkt von der Vorwärtskamera 24, der linken Seitenkamera 26, der rechten Seitenkamera 28 und der Rückwärtskamera 30 empfangen oder auf eine gespeicherte Version im Speicher 46 zugreifen) die jeweils durch die Vorwärtskamera 24, die linksseitige Kamera 26, die rechtsseitige Kamera 28 und die Rückwärtskamera 30 erzeugt werden. Der Prozessor 44 kann Daten (z. B. Daten des Bildes) steuern und/oder verarbeiten.
Der Prozessor 44 kann mehrere Prozessoren beinhalten, die verteilte Prozessoren oder parallele Prozessoren in einer einzelnen Maschine oder mehreren Maschinen beinhalten können. Der Prozessor 44 könnte einen virtuellen Prozessor (virtuelle Prozessoren) beinhalten. Der Prozessor 44 könnte eine Zustandsmaschine, eine anwendungsspezifische integrierte Schaltung (ASIC), ein programmierbares Gate-Array (PGA) einschließlich eines Field PGA oder eine Zustandsmaschine beinhalten. Wenn der Prozessor 44 Anweisungen zum Ausführen von „Operationen“ ausführt, könnte dies beinhalten, dass der Prozessor 44 die Operationen direkt ausführt und/oder erleichtert, leitet oder mit einer anderen Vorrichtung oder Komponente kooperiert, um die Operationen durchzuführen.
Die Recheneinheit 42 kann eine Vielzahl von computerlesbaren Medien beinhalten, einschließlich flüchtiger Medien, nicht flüchtiger Medien, Wechselmedien und nicht entfernbarer Medien. Der Ausdruck „computerlesbare Medien“ und Varianten davon, wie er in der Beschreibung und den Ansprüchen verwendet wird, beinhaltet Speichermedien und/oder den Speicher 46. Speichermedien beinhalten flüchtige und/oder nicht flüchtige, entfernbare und/oder nicht entfernbare Medien, wie zum Beispiel RAM, ROM, EEPROM, Flash-Speicher oder andere Speichertechnologie, CDROM, DVD oder andere optische Plattenspeicher, Magnetbänder, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein anderes Medium, das konfiguriert ist, um zum Speichern von Information verwendet zu werden, auf die von der Recheneinheit 42 zugegriffen werden kann.
Während der Speicher 46 so dargestellt ist, dass er sich in der Nähe des Prozessors 44 befindet, sollte verstanden werden, dass mindestens ein Teil des Speichers 46 ein Speichersystem mit entferntem Zugriff sein kann, beispielsweise ein Server in einem Kommunikationsnetzwerk, ein entferntes Festplattenlaufwerk, ein entfernbares Speichermedium, Kombinationen davon und dergleichen. Somit können die nachstehend beschriebenen Daten, Anwendungen und/oder Software in dem Speicher 46 gespeichert werden und/oder über Netzwerkverbindungen zu anderen Datenverarbeitungssystemen (nicht dargestellt) zugegriffen werden, die ein lokales Netzwerk (LAN), ein Stadtbereichsnetz (MAN) oder zum Beispiel ein Wide Area Network (WAN) beinhalten können. Der Speicher 46 beinhaltet mehrere Kategorien von Software und Daten, die in der Recheneinheit 42 verwendet werden, einschließlich einer oder mehrerer Anwendungen, einer Datenbank, eines Betriebssystems und Eingabe-/Ausgabe-Gerätetreibem.
Es sollte beachtet werden, dass das Betriebssystem ein Betriebssystem zur Verwendung mit einem Datenverarbeitungssystem sein kann. Die Eingabe-/Ausgabe-Gerätetreiber können verschiedene Routinen beinhalten, auf die das Betriebssystem durch die Anwendungen zur Kommunikation mit Geräten und bestimmten Speicherkomponenten zugreift. Die Anwendungen können in dem Speicher 46 und/oder in einer Firmware (nicht dargestellt) als ausführbare Anweisungen gespeichert werden und können durch den Prozessor 44 ausgeführt werden.
Die Anwendungen beinhalten verschiedene Programme, die, wenn sie von dem Prozessor 44 ausgeführt werden, die verschiedenen Merkmale und/oder Funktionen der Recheneinheit 42 implementieren. Die Anwendungen beinhalten Bildverarbeitungsanwendungen, die in Bezug auf das beispielhafte Verfahren zum Bestimmen, ob die Straßenoberfläche 32 mit Schnee bedeckt ist, detaillierter beschrieben werden. Die Anwendungen sind in dem Speicher 46 gespeichert und sind so konfiguriert, dass sie von dem Prozessor 44 ausgeführt werden.
Die Anwendungen können Daten verwenden, die in der Datenbank gespeichert sind, wie z. B. diejenigen von Eigenschaften, die von der Kamera gemessen werden (z. B. über die Eingabe-/Ausgabe-Datenanschlüsse empfangen werden). Die Datenbank beinhaltet statische und/oder dynamische Daten, die von den Anwendungen, dem Betriebssystem, den Eingabe-/Ausgabe-Gerätetreibern und anderen Softwareprogrammen, die sich in dem Speicher 46 befinden können, verwendet werden.
Es sollte verstanden werden, dass die obige Beschreibung eine kurze allgemeine Beschreibung einer geeigneten Umgebung bereitstellen soll, in der die verschiedenen Aspekte einiger Ausführungsformen der vorliegenden Offenbarung implementiert werden können. Die Terminologie „computerlesbares Medium“, „computerlesbare Speichervorrichtung“ und Varianten davon, wie sie in der Beschreibung und den Ansprüchen verwendet werden, können Speichermedien beinhalten. Speichermedien können flüchtige und/oder nichtflüchtige, entfernbare und/oder nicht entfernbare Medien, wie zum Beispiel RAM, ROM, EEPROM, Flash-Speicher 46 oder andere Speichertechnologien 46, CDROM, DVD oder andere optische Speicherplatten, Magnetbänder, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder ein anderes Medium beinhalten, ausgenommen Signalübertragung, das verwendet werden kann, um Information zu speichern, auf die von der Recheneinheit 42 zugegriffen werden kann.
Obwohl sich die Beschreibung auf computerlesbare Anweisungen bezieht, können Ausführungsformen der vorliegenden Offenbarung auch in Kombination mit anderen Programmmodulen und/oder als eine Kombination von Hardware und Software zusätzlich zu oder anstelle von computerlesbaren Anweisungen implementiert werden.
Obwohl die Beschreibung einen allgemeinen Kontext von computerausführbaren Anweisungen beinhaltet, kann die vorliegende Offenbarung auch in Kombination mit anderen Programmmodulen und/oder als Kombination von Hardware und Software implementiert werden. Der Begriff „Anwendung“ oder Varianten davon wird hierin weitläufig verwendet, um Routinen, Programmmodule, Programme, Komponenten, Datenstrukturen, Algorithmen und dergleichen einzuschließen. Anwendungen können in verschiedenen Systemkonfigurationen implementiert werden, einschließlich Einzelprozessor- oder Multiprozessorsystemen, Minicomputern, Mainframe-Computern, Personalcomputern, tragbaren Computergeräten, mikroprozessorbasierten, programmierbaren Verbraucherelektronikgeräten, Kombinationen davon und dergleichen.
Wie oben beschrieben, beinhaltet der Speicher 46 den Straßenoberflächen-Schneeerkennungsalgorithmus 48, der darauf gespeichert ist, und der Prozessor 44 führt den Straßenoberflächen-Schneeerkennungsalgorithmus 48 aus, um ein Verfahren zum Bestimmen, ob die Straßenoberfläche 32 mit Schnee bedeckt ist, zu implementieren. Unter Bezugnahme auf 4 beinhaltet das Verfahren das Erzeugen eines Vorwärtsbildes der Straßenoberfläche 32 in dem vorderen Bereich 34 relativ zu der Karosserie 22 des Fahrzeugs 20. Der Schritt des Erzeugens des Vorwärtsbilds wird allgemein durch das Kästchen 100 in 4 angezeigt. Das Vorwärtsbild wird mit der Vorwärtskamera 24 erzeugt und an die Recheneinheit 42 übermittelt.
Die Recheneinheit 42 analysiert das Vorwärtsbild, um eine Reifenspur 58 in dem Vorwärtsbild zu erfassen. Der Schritt des Analysierens des Vorwärtsbilds wird allgemein durch das Kästchen 102 in 4 angezeigt. Die Recheneinheit 42 kann eine geeignete Software, ein Programm, einen Algorithmus, eine Anwendung usw. verwenden, um das Vorwärtsbild zu analysieren. Die Recheneinheit 42 kann beispielsweise eine Richtungsmusteranalyse verwenden, um das Vorhandensein von Reifenspuren 58 in dem Vorwärtsbild zu identifizieren. In anderen Ausführungsformen kann die Recheneinheit 42 eine Canny-Filter- oder Hough-Transformation verwenden, um eine Kante oder Linie in dem Vorwärtsbild zu erfassen, die eine Reifenspur 58 in dem Vorwärtsbild anzeigen würde. Es sollte beachtet werden, dass die Recheneinheit 42 andere Anwendungen verwenden kann, um das Vorhandensein einer Reifenspur 58 in dem Vorwärtsbild zu identifizieren, die hierin nicht speziell erwähnt und/oder beschrieben sind. Außerdem ist die spezifische Art und Weise, in der die verschiedenen Anwendungen Bilder analysieren, um Merkmale darin zu erkennen, leicht zu verstehen und werden daher hierin nicht im Detail beschrieben.
Wenn die Straßenoberfläche 32 mit Schnee bedeckt ist, der noch nicht überfahren wurde, d. h. nicht zertrampelt ist, wie in 1 dargestellt, dann wird die die Straße bedeckende Schneeoberfläche eine saubere Oberfläche ohne Kanten und/oder Linien aufweisen, die als eine Reifenspur 58 identifiziert werden können. Dementsprechend erfasst die Recheneinheit 42 keine Reifenspuren 58, Kanten oder Linien in dem Vorwärtsbild, wenn die Straßenoberfläche 32 mit Schnee bedeckt ist, der nicht zertrampelt ist, d. h. ohne Reifenspuren 58, Kanten oder Linien. Somit kann eine Analyse des Vorwärtsbildes in dieser Situation möglicherweise nicht bestimmen, ob die Straßenoberfläche 32 mit Schnee bedeckt ist. Wenn jedoch der Schnee, der die Straßenoberfläche 32 bedeckt, vorher befahren wurde, dann können Reifenspuren 58, Kanten oder Linien in dem Vorwärtsbild sichtbar sein. Die Identifikation der Reifenspuren 58, Kanten und/oder Linien in dem Vorwärtsbild wird durch Schnee angezeigt, der die Straßenoberfläche 32 bedeckt, und ermöglicht der Recheneinheit 42, zu bestimmen, dass die Straßenoberfläche 32 mit Schnee bedeckt ist.
Wenn die Recheneinheit 42 eine Reifenspur 58 in dem Vorwärtsbild erfasst oder identifiziert, die allgemein bei 104 angezeigt wird, dann signalisiert die Recheneinheit 42 eine Nachricht, die anzeigt, dass die Straßenoberfläche 32 mit Schnee bedeckt ist. Der Schritt des Signalisierens der Nachricht wird allgemein durch das Kästchen 106 in 4 angezeigt. Die Recheneinheit 42 kann die Nachricht in einer wünschenswerten Weise signalisieren. Die Recheneinheit 42 kann beispielsweise eine Nachricht an einen Fahrer anzeigen, einen Warncode in einer Fahrzeugsteuerung 20 einstellen, eine Anzeigelampe blinken lassen, die Nachricht an ein Steuersystem 56 eines anderen Fahrzeugs 20, wie zum Beispiel ein Stabilitätssteuersystem 56 usw., übermitteln. Die spezifische Art und Weise, in der die Nachricht kommuniziert wird, kann variieren und kann von der spezifischen Anwendung abhängen.
Wenn die Recheneinheit 42 eine Reifenspur 58 in dem Vorwärtsbild, die allgemein bei 108 angezeigt wird, nicht erkennt oder identifiziert, kann die Straße mit Schnee bedeckt sein oder nicht mit Schnee bedeckt sein. In dieser Situation, wenn keine Reifenspuren 58 in dem Vorwärtsbild erfasst wurden, erzeugt die Recheneinheit 42 dann ein Rückwärtsbild der Straßenoberfläche 32 und mindestens eines von einem linksseitigen Bild und einem rechtsseitigen Bild der Straßenoberfläche 32. Der Schritt zum Erzeugen des Rückwärtsbildes, des linksseitigen Bildes und/oder des rechtsseitigen Bildes wird allgemein durch das Kästchen 110 in 4 angezeigt. Das Rückwärtsbild der Straßenoberfläche 32 ist ein Bild der Straßenoberfläche 32 in dem hinteren Bereich 40 relativ zu der Karosserie 22 des Fahrzeugs 20. Das Rückwärtsbild wird mit der Rückwärtskamera 30 erzeugt und wird an die Recheneinheit 42 übermittelt. Das linksseitige Bild der Straßenoberfläche 32 ist ein Bild der Straßenoberfläche 32 in dem linken Seitenbereich 36 relativ zu der Karosserie 22 des Fahrzeugs 20. Das linksseitige Bild wird mit der linksseitigen Kamera 26 erzeugt und wird an die Recheneinheit 42 übermittelt. Das rechtsseitige Bild der Straßenoberfläche 32 ist ein Bild der Straßenoberfläche 32 in dem rechten Seitenbereich 38 relativ zu der Karosserie 22 des Fahrzeugs 20. Das rechtsseitige Bild wird mit der rechtsseitigen Kamera 28 erzeugt und wird an die Recheneinheit 42 übermittelt.
Die Recheneinheit 42 analysiert dann das Rückwärtsbild und mindestens eines von dem linksseitigem Bild und dem rechtsseitigen Bild, um eine Reifenspur 58 in mindestens einem von dem Rückwärtsbild, dem linksseitigen Bild und/oder dem rechtsseitigen Seite zu erfassen. Der Schritt des Analysierens des Rückwärtsbildes, des linksseitigen Bildes und/oder des rechtsseitigen Bildes wird allgemein durch den Kasten 112 in 4 angezeigt. Die Recheneinheit 42 kann geeignete Software, Programm, Algorithmus, Anwendung usw. verwenden, um das Rückwärtsbild, das linksseitige Bild und/oder das rechtsseitige Bild zu analysieren. Die Recheneinheit 42 kann beispielsweise eine Richtungsmusteranalyse verwenden, um das Vorhandensein von Reifenspuren 58 in dem Rückwärtsbild, dem linksseitigen Bild und/oder dem rechtsseitigen Bild zu identifizieren. In anderen Ausführungsformen kann die Recheneinheit 42 eine Canny-Filter- oder Hough-Transformation verwenden, um eine Kante oder Linie in dem Rückwärtsbild, dem linksseitigen Bild und/oder dem rechtsseitigen Bild zu erfassen, die eine Reifenspur 58 in einem der jeweiligen Bilder anzeigen würden. Es sollte beachtet werden, dass die Recheneinheit 42 andere Anwendungen verwenden kann, um das Vorhandensein einer Reifenspur 58 in dem Rückwärtsbild, dem linksseitigen Bild und/oder dem rechtsseitigen Bild, die hier nicht speziell erwähnt und/oder beschrieben sind, zu identifizieren. Außerdem ist die spezifische Art und Weise, in der die verschiedenen Anwendungen Bilder analysieren, um Merkmale darin zu erfassen, leicht zu verstehen und werden daher hierin nicht im Detail beschrieben.
Das Analysieren sowohl des Vorwärtsbilds als auch des Rückwärtsbilds, des linksseitigen Bilds und/oder des rechtsseitigen Bilds kann das Extrahieren eines entsprechenden interessierenden Bereichs aus dem jeweiligen Vorwärtsbild, dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild beinhalten. Der interessierende Bereich ist der Abschnitt des jeweiligen Bildes, der analysiert wird, um eine Reifenspur 58 darin zu erfassen. Da sich die Fahrzeuge drehen, kann die genaue Position der interessierenden Region innerhalb der jeweiligen Bilder variieren. Dementsprechend kann der jeweilige interessierende Bereich von dem Vorwärtsbild, dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild von einem aktuellen Lenkwinkel des Fahrzeugs 20 abhängig sein.
Die Recheneinheit 42 kann den aktuellen Lenkwinkel des Fahrzeugs 20 bestimmen. Der Schritt des Bestimmens des aktuellen Lenkwinkels des Fahrzeugs 20 wird allgemein durch den Kasten 114 in 4 angezeigt. Der aktuelle Lenkwinkel des Fahrzeugs 20 kann auf geeignete Weise bestimmt werden, beispielsweise durch Erfassen eines Radwinkels mit einem Positionssensor oder Abfragen eines Steuersystems 56 eines anderen Fahrzeugs 20. Es sollte beachtet werden, dass der aktuelle Lenkwinkel des Fahrzeugs 20 in einer Weise bestimmt werden kann, die hierin nicht beschriebenen ist. Die Recheneinheit 42 kann den aktuellen Lenkwinkel des Fahrzeugs 20 als eine Kurve nach links, eine Kurve nach rechts oder keine Kurve, d. h. eine Bewegung entlang eines geraden linearen Wegs 50, bestimmen.
Sobald die Recheneinheit 42 den aktuellen Lenkwinkel des Fahrzeugs 20 bestimmt hat, kann die Recheneinheit 42 dann den gewünschten interessierenden Bereich in jedem jeweiligen Bild isolieren und jedes entsprechende Bild analysieren, um darin eine Reifenspur 58 zu erfassen. Unter Bezugnahme auf 1 können, wenn ein Fahrzeug 20 entlang eines linearen Wegs 50 geradeaus fährt, auf einer Straßenoberfläche 32, die mit nicht zertrampeltem Schnee, z. B. Neuschnee, bedeckt ist, die Vorderreifen Reifenspuren 58 in einer linearen Richtung direkt hinter den Reifen hinterlassen, die sowohl im linksseitigen Bild als auch im rechtsseitigen Bild vorhanden sein sollten. Mit Bezug auf 4, wenn die Recheneinheit 42 bestimmt, dass das Fahrzeug 20 entlang des linearen Wegs 50 fährt, der allgemein bei 116 in 4 angezeigt wird, dann kann das Analysieren des Rückwärtsbildes und mindestens eines von dem linksseitigen Bild und dem rechtsseitigen Bild das Analysieren des Rückwärtsbilds und sowohl des linksseitigen Bildes als auch des rechtsseitigen Bildes beinhalten, um eine Reifenspur 58 in mindestens einem von dem Rückwärtsbild, dem linksseitigen Bild und/oder dem rechtsseitigen Bild zu erfassen. Der Schritt des Analysierens des Rückwärtsbildes und sowohl des linksseitigen Bildes als auch des rechtsseitigen Bildes wird allgemein durch das Kästchen 118 in 4 angezeigt.
Unter Bezugnahme auf 2, wenn das Fahrzeug 20 entlang einer Kurvenbahn zur linken Seite 52 des Fahrzeugs 20 fährt, können Reifenspuren 58 von den Vorderrädern in dem rechtsseitigen Bild sichtbar sein, sind aber auf dem linksseitigen Bild möglicherweise nicht sichtbar. Mit Bezug auf 4, wenn die Recheneinheit 42 bestimmt, dass das Fahrzeug 20 entlang der Kurvenbahn zur linken Seite 52 des Fahrzeugs 20 fährt, allgemein bei 120 angezeigt, dann kann das Analysieren des Rückwärtsbildes und mindestens eines von dem linksseitigen Bild und dem rechtsseitigen Bild das Analysieren des Rückwärtsbildes und des rechtsseitigen Bildes beinhalten, um eine Reifenspur 58 in dem Rückwärtsbild und/oder dem rechtsseitigen Bild zu erfassen. Der Schritt des Analysierens des Rückwärtsbildes und des rechtsseitigen Bildes wird allgemein durch das Kästchen 122 in 4 angezeigt.
In ähnlicher Weise können, wie in 3 gezeigt, wenn das Fahrzeug 20 entlang einer Kurvenbahn zur rechten Seite 54 des Fahrzeugs 20 fährt, Reifenspuren 58 von den Vorderrädern in dem linksseitigen Bild sichtbar sein, sind aber auf dem rechtsseitigen Bild möglicherweise nicht sichtbar. Unter Bezugnahme auf 4, wenn die Recheneinheit 42 bestimmt, dass das Fahrzeug 20 entlang der Kurvenbahn zur rechten Seite 54 des Fahrzeugs 20 fährt, allgemein bei 124 angezeigt, dann kann das Analysieren des Rückwärtsbildes und mindestens eines von dem linksseitigen Bild und dem rechtsseitigen Bild das Analysieren des Rückwärtsbildes und des linksseitigen Bildes beinhalten, um eine Reifenspur 58 in dem Rückwärtsbild und/oder dem linksseitigen Bild zu erfassen. Der Schritt des Analysierens des Rückwärtsbildes und des linksseitigen Bildes wird allgemein durch den Kasten 126 in 4 angezeigt.
Unter Bezugnahme auf 4, wenn die Recheneinheit 42 keine Reifenspur 58 in dem hinteren Bild, allgemein bei 128 angezeigt, dem linksseitigen Bild, allgemein bei 130 angezeigt, oder dem rechtsseitigen Bild, allgemein bei 132 angezeigt, erfasst, dann kann die Recheneinheit 42 bestimmen, dass die Straßenoberfläche 32 nicht mit Schnee bedeckt ist, und keine zusätzlichen Maßnahme ergreifen, die allgemein durch den Kasten 134 in 4 angezeigt wird. Bei alternativen Verfahren kann die Recheneinheit 42 die Straßenbedingung, d. h. nicht mit Schnee bedeckt, an ein oder mehrere andere Steuersysteme 56 des Fahrzeugs 20 übermitteln, so dass die Steuersysteme 56 des Fahrzeugs 20 das Fahrzeug 20 entsprechend steuern können.
Wenn die Recheneinheit 42 eine Reifenspur 58 in einem von dem Rückwärtsbild, allgemein bei 136 angezeigt, dem linksseitigen Bild, allgemein bei 138 angezeigt, oder dem rechtsseitigen Bild, allgemein bei 140 angezeigt, erfasst, nachdem sie eine Reifenspur 58 in dem Vorwärtsbild nicht erfasst hat, dann kann die Recheneinheit 42 bestimmen, dass das Fahrzeug 20 auf nicht zertrampeltem Schnee fährt, und dass das Fahrzeug 20 Reifenspuren 58 im Schnee auf der Straßenoberfläche 32 hinterlässt oder erzeugt. Dementsprechend, wenn die Recheneinheit 42 eine Reifenspur 58 in einem von dem Rückwärtsbild, dem linksseitigen Bild und/oder dem rechtsseitigen Bild erfasst, kann die Recheneinheit 42 dann eine Nachricht signalisieren, die anzeigt, dass die Straßenoberfläche 32 mit Schnee bedeckt ist. Der Schritt des Signalisierens der Nachricht wird allgemein durch das Kästchen 142 in 4 angezeigt. Die Recheneinheit 42 kann die Nachricht in einer wünschenswerten Weise signalisieren. Die Recheneinheit 42 kann beispielsweise eine Nachricht an einen Fahrer anzeigen, einen Warncode in einer Fahrzeugsteuerung 20 einstellen, eine Anzeigelampe blinken lassen, die Nachricht an ein Steuersystem 56 eines anderen Fahrzeugs 20, wie zum Beispiel ein Stabilitätssteuersystem 56 usw., übermitteln. Die spezifische Art und Weise, in der die Nachricht kommuniziert wird, kann variieren und kann von der spezifischen Anwendung abhängen.
Die Recheneinheit 42 kann den identifizierten Zustand der Straßenoberfläche 32, d. h. mit Schnee bedeckt oder nicht mit Schnee bedeckt, an ein oder mehrere Steuersysteme 56 des Fahrzeugs 20 übermitteln, so dass diese Steuersysteme 56 das Fahrzeug 20 in einer Weise steuern können, die für den aktuellen Zustand der Straßenoberfläche 32, die durch die Recheneinheit 42 identifiziert wird, geeignet ist. Der Schritt des Kommunizierens des Zustandes der Straßenoberfläche 32 an das Steuersystem 56 wird allgemein durch das Kästchen 144 in 4 angezeigt. Das Steuersystem 56 kann dann das Fahrzeug 20 basierend auf dem identifizierten Zustand der Straßenoberfläche 32 steuern. Der Schritt des Steuerns des Fahrzeugs 20 wird allgemein durch das Kästchen 146 in 4 angezeigt. Wenn beispielsweise die Recheneinheit 42 bestimmt, dass die Straßenoberfläche 32 mit Schnee bedeckt ist, dann kann das Steuersystem 56, beispielsweise, jedoch nicht beschränkt auf ein Stabilitätssteuersystem 56 des Fahrzeugs 20, das Bremsen des Fahrzeugs 20 in geeigneter Weise für schneebedeckte Straßen steuern.
Wie oben erwähnt, können die verschiedenen Bilder analysiert werden, um eine Reifenspur 58 darin unter Verwendung eines geeigneten Algorithmus, Programms, Anwendung usw. zu erfassen. Wie oben erwähnt, kann beispielsweise die Recheneinheit 42 einen Canny-Filter oder eine Hough-Transformation verwenden, ist jedoch nicht darauf beschränkt, um eine Linie oder Kante zu erfassen, die zum Identifizieren einer Reifenspur 58 in den Bildern verwendet werden kann. Andere Verfahren und/oder Applikationen können verwendet werden, um eine Reifenspur 58 in dem Bild zu erfassen. Die nachfolgend beschriebenen Verfahren ist besonders nützlich für Bilder, die eine zertrampelte oder befahrene, schneebedeckte Straßenoberfläche 32 zeigen.
Um eine Reifenspur 58 auf einer zertrampelten, schneebedeckten Straßenoberfläche 32 zu erfassen, auf der viele Fahrzeuge zuvor gefahren sind, analysiert die Recheneinheit 42 das jeweilige Bild, z. B. das Vorwärtsbild, das Rückwärtsbild, das linksseitige Bild und/oder das rechtsseitige Bild unter Verwendung einer Kombination von Techniken, und untersucht dann die Ergebnisse jeder Technik, um zu bestimmen, ob die Straße mit Schnee bedeckt ist oder nicht. Die Recheneinheit 42 kann beispielsweise eine Kanten- oder Linienanalyse verwenden, um eine oder mehrere Linien/Kanten und/oder ein Linienmuster in dem jeweiligen Bild zu erfassen. Die Linienanalyse kann eine größere globale Skala des Bildes verwenden, um die Linien/Kanten und/oder Linienmuster zu erfassen. Die Linienanalyse kann einen Leung-Malik (LM) Bankfilter, eine Hough-Transformation, Canny-Filter oder eine andere ähnliche Kantenanalyseanwendung beinhalten, ist aber nicht darauf beschränkt. Die Recheneinheit 42 analysiert ferner das jeweilige Bild unter Verwendung einer statistischen Analyse, um die Richtungsstrukturabhängigkeit und Komplexität der in den jeweiligen Bildern zu erfassen. Die statistische Analyse kann einen kleineren lokalisierten Abschnitt des Bildes verwenden, um die Richtungsstrukturabhängigkeit und Komplexität in dem Bild zu erfassen. Die statistische Analyse kann eine Graustufen-Übereinstimmungsmatrix oder eine andere ähnliche Anwendung beinhalten, ist aber nicht darauf beschränkt. Zusätzlich kann die Recheneinheit 42 die jeweiligen Bilder unter Verwendung einer Helligkeitsanalyse analysieren, um einen Lichtkontrast oder ein Helligkeitsniveau in den jeweiligen Bildern zu erfassen. Ein höheres Helligkeitsniveau oder ein helleres Bild zeigt eine schneebedeckte Straßenoberfläche an, während ein niedrigeres Helligkeitsniveau oder ein dunkleres Bild eine nicht schneebedeckte Straßenoberfläche anzeigt. Die Recheneinheit 42 führt jede dieser verschiedenen Analysen durch und untersucht dann die Ergebnisse von jeder Analyse, um eine Reifenspur 58 darin zu identifizieren und/oder die Straßenoberfläche 32 als entweder schneebedeckt oder nicht schneebedeckt zu klassifizieren.
Die ausführliche Beschreibung und die Zeichnungen oder Figuren unterstützen und beschreiben die Offenbarung, während der Umfang der Offenbarung jedoch einzig und allein durch die Patentansprüche definiert wird. Während einige der besten Modi und andere Ausführungsformen zur Umsetzung der beanspruchten Lehren im Detail beschrieben werden, existieren verschiedene alternative Entwürfe und Ausführungsformen zur Umsetzung der Offenbarung, die in den hinzugefügten Ansprüchen definiert sind.

Claims

Verfahren zum Identifizieren einer schneebedeckten Straßenoberfläche, das Verfahren umfassend: das Erzeugen eines Vorwärtsbildes einer Straßenoberfläche in einem vorderen Bereich relativ zu einer Karosserie eines Fahrzeugs mit einer Vorwärtskamera; das Analysieren des Vorwärtsbildes mit einer Recheneinheit, um eine Reifenspur in dem Vorwärtsbild zu erfassen; das Erzeugen eines Rückwärtsbildes der Straßenoberfläche in einem hinteren Bereich relativ zu der Karosserie des Fahrzeugs mit einer Rückwärtskamera, wenn eine Reifenspur in dem Vorwärtsbild nicht erfasst wird; das Analysieren des Rückwärtsbildes mit der Recheneinheit, um eine Reifenspur in dem Rückwärtsbild zu erfassen; und das Signalisieren einer Nachricht durch Anzeigen, das die Straßenoberfläche mit Schnee bedeckt sein kann, wenn eine Reifenspur in dem Rückwärtsbild erfasst wird.
Verfahren nach Anspruch 1, ferner umfassend das Erzeugen von mindestens einem von einem linksseitigen Bild der Straßenoberfläche in einem linken Seitenbereich relativ zu der Karosserie des Fahrzeugs mit einer linksseitigen Kamera und einem rechtsseitigen Bild der Straßenoberfläche in einer rechten Seitenbereich relativ zu der Karosserie des Fahrzeugs mit einer rechtsseitigen Kamera, wenn eine Reifenspur in dem Vorwärtsbild nicht erfasst wird.
Verfahren nach Anspruch 2, ferner umfassend das Analysieren mindestens eines von dem linksseitigen Bild und dem rechtsseitigen Bild mit der Recheneinheit, um eine Reifenspur in mindestens einem von dem linksseitigen Bild und/oder dem rechtsseitigen Bild zu erfassen.
Verfahren nach Anspruch 3, worin das Analysieren von zumindest dem linksseitigen Bild oder dem rechtsseitigen Bild das Analysieren des linksseitigen Bildes mit der Recheneinheit beinhaltet, um eine Reifenspur in dem linksseitigen Bild zu erfassen, wenn das Fahrzeug entlang einer Kurvenbahn auf der rechten Seite des Fahrzeugs fährt.
Verfahren nach Anspruch 3, wobei das Analysieren von zumindest dem linksseitigen Bild oder dem rechtsseitigen Bild das Analysieren des rechtsseitigen Bildes mit der Recheneinheit beinhaltet, um eine Reifenspur in dem rechtsseitigen Bild zu erfassen, wenn das Fahrzeug entlang einer Kurvenbahn auf der linken Seite des Fahrzeugs fährt.
Verfahren nach Anspruch 3, worin das Analysieren des Vorwärtsbilds, des Rückwärtsbilds, des linksseitigen Bilds und des rechtsseitigen Bilds das Extrahieren eines jeweiligen interessierenden Bereichs aus dem Vorwärtsbild, dem Rückwärtsbild und dem linksseitigen Bild und dem rechtsseitigen Bild beinhaltet.
Verfahren nach Anspruch 6, worin der jeweilige interessierende Bereich von dem Vorwärtsbild, dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild von einem aktuellen Lenkwinkel des Fahrzeugs abhängig ist.
Verfahren nach Anspruch 3, worin das Analysieren von jeweils dem Vorwärtsbild, dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild, um eine darin enthaltene Reifenspur zu erfassen, eine entsprechende Linienanalyse beinhaltet, um eine oder mehrere Linien oder ein Linienmuster im dem Vorwärtsbild, dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild zu erfassen.
Verfahren nach Anspruch 3, worin das Analysieren von jeweils dem Vorwärtsbild, dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild, um eine darin enthaltene Reifenspur zu erfassen, eine entsprechende statistische Analyse beinhaltet, um die Richtungsstrukturabhängigkeit und Komplexität in dem Vorwärtsbild, dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild zu erfassen.
Verfahren nach Anspruch 3, ferner umfassend das Analysieren wenigstens eines von dem Vorwärtsbild, dem Rückwärtsbild, dem linksseitigen Bild und dem rechtsseitigen Bild mit der Recheneinheit unter Verwendung einer Helligkeitsanalyse, um ein Helligkeitsniveau der Straßenoberfläche zu erfassen.