-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Glätteerkennung für ein Fahrzeug sowie ein Kraftfahrzeug mit einer Steuervorrichtung.
-
Glätte, die durch Eis oder Wasser auf der Straße hervorgerufen werden kann, kann aufgrund reduzierter Reibung oder Aquaplaning zu gefährlichen Situationen für ein Fahrzeug führen. Bisherige Warnsysteme warnen einen Fahrer vor vereisten Straßen, wenn die Lufttemperatur unter einen Schwellenwert, insbesondere 0 Grad Celsius, fällt. Des Weiteren sind aus dem Stand der Technik Warnsysteme bekannt, die einen Fahrer vor Straßennässe warnen, indem die Systeme polarisiertes Licht detektieren, das durch eine Reflexion erzeugt wurde.
-
Aus der
DE 103 14 424 A1 ist eine Anwendung von Wärmebildkameras oder bildgebender IR-Flächendetektor-Array-Anordnungen in Kombination mit spezieller Bildbearbeitungssoftware zum Zwecke einer ortsaufgelösten Echtzeitfeststellung von vereisten Oberflächenstellen auf Oberflächen bekannt.
-
Aus der
EP 0 412 791 A2 ist ein System bekannt, das den Reibungskoeffizienten zwischen einem Fahrzeug und einer Straßenoberfläche abschätzt, über die das Fahrzeug fährt.
-
Aus der
EP 2 574 511 A1 ist ein System bekannt, das eine Oberfläche mittels Silicon-Retina-Kameras analysiert. Dabei kann eine Verarbeitungseinheit die Oberfläche basierend auf einem Signal, das durch die Silicon-Retina-Kameras bereitgestellt wird, analysieren.
-
Aus der
DE 10 2013 201 741 A1 ist ein Verfahren und ein System mit einem ersten optischen Sensor und einem zweiten optischen Sensor bekannt, wobei in einem Strahlengang vor dem ersten optischen Sensor ein erstes Polarisationsfilter angeordnet ist. Abhängig von Signalen der optischen Sensoren wird eine Abschätzung eines Fahrbahnzustandes durchgeführt.
-
Aus der
DE 10 2012 112 724 A1 ist ein Verfahren und eine Vorrichtung zur Bestimmung eines Fahrbahnzustandes aus Umfeldsensordaten bekannt. Hierbei ist eine Fusion aus Daten einer Vorrichtung, die einen lokalen Fahrbahnzustand oder Reibwert misst, mit Daten einer Kamera vorgesehen.
-
Nachteilig bei dem bekannten Stand der Technik ist es, dass bei einer Detektion von polarisiertem Licht keine Unterscheidung getroffen werden kann, von welchem Objekt die Reflexion stammt. Insbesondere bei autonom fahrenden Fahrzeugen, deren Steuervorrichtung einen Fahrparameter autonom anpassen soll, ist eine „falsch-positive“ Fehldetektion nachteilig. Das bedeutet, dass bei einer derartigen Fehldetektion ein autonom fahrendes Fahrzeug zum Beispiel die Geschwindigkeit reduziert, da eine Sensorvorrichtung Glätte detektiert hat, obwohl die Straße wasser- und eisfrei ist.
-
Aufgabe der vorliegenden Erfindung ist es, Verfahren und Vorrichtungen zur Glätteerkennung bereitzustellen.
-
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren offenbart.
-
Durch die Erfindung ist ein Verfahren zur Glätteerkennung für ein Fahrzeug breitgestellt. Das Verfahren kann zyklisch wiederholt werden, um eine dauerhafte Glätteerkennung zu gewährleisten. Das Verfahren umfasst ein Erfassen einer ersten Aufnahme und einer zweiten Aufnahme einer Straßenoberfläche mittels einer optischen Sensorvorrichtung, wobei die ersten Aufnahme mit einer ersten Polarisationseinstellung erfasst wird und die zweite Aufnahme mit einer zweiten Polarisationseinstellung erfasst wird. Mit anderen Worten kann die optische Sensorvorrichtung zwei Aufnahmen der Straßenoberfläche aufnehmen, wobei jede Aufnahme eine andere Polarisationseinstellung aufweist. Beispielsweise kann die optische Sensorvorrichtung zwei Kameras aufweisen, die vorzugsweise digitale Bildsensoren, wie zum Beispiel einen CCD-Chip (CCD - charged-coupled device) oder einen CMOS-Chip (CMOS - Complementary metal-oxide semiconductor) umfassen. Hierbei kann beispielsweise eine der Kameras einen Polarisationsfilter aufweisen, der vorzugsweise linear polarisiertes Licht filtern kann, insbesondere senkrecht-polarisiertes Licht. Alternativ kann die optische Sensorvorrichtung auch als eine Kamera ausgebildet sein, die mehrere Polarisationseinstellungen messen kann. Zum Beispiel kann ein Polarisationsfilter vorgesehen sein, der in einen Strahlengang der Kamera hinein- und herausgefahren werden kann.
-
Das erfindungsgemäße Verfahren umfasst ferner die Schritte des Erzeugens einer Bildmaske mittels einer Bilderkennung, wobei die Bilderkennung in der ersten Aufnahme und/oder in der zweiten Aufnahme die Straßenoberfläche erkennt und wobei in der Bildmaske der Bildbereich der Straßenoberfläche markiert wird, des Berechnens eines Differenzbildes aus der ersten Aufnahme und der zweiten Aufnahme, wobei die Aufnahmen in dem Differenzbild voneinander subtrahiert werden und Schwellenbereiche markiert werden, in denen ein vorgebbarer Schwellenwert überschritten wird und falls zumindest ein Schwellenbereich innerhalb der Bildmaske liegt, des Signalisierens von Glätte. Anders formuliert kann zum einen aus den Aufnahmen eine Bildmaske erzeugt werden, in der die Straßenoberfläche markiert wird, und zum anderen kann ein Differenzbild aus den beiden Aufnahmen berechnet werden, in dem beispielsweise Intensitätswerte pixelweise subtrahiert werden und Schwellenbereiche markiert werden, in denen der resultierende Differenzwert einen vorgebbaren Schwellenwert überschreitet. Dieser so markierte Schwellenbereich kann mit markierten Bereichen der Bildmaske verglichen werden und falls diese Bereiche sich überschneiden, kann ein Signal bereitgestellt werden, das Glätte signalisiert.
-
Die Bildmaske kann beispielsweise ein eigenes digitales Bild sein, das die gleiche Matrixgröße wie die erste oder zweite Aufnahme aufweist und in der der Bildbereich der Straßenoberfläche markiert ist. Zum Beispiel kann der Bildbereich der Straßenoberfläche in der Bildmaske einen anderen Pixelwert aufweisen als die Bereiche in denen keine Straßenoberfläche erkannt wurde. Die Bilderkennung kann die Straßenoberfläche beispielsweise aufgrund von Farbwerten, Formparametern und Mustern erkennen.
-
Der vorgebbare Schwellenwert, der die Schwellenbereiche markiert, kann beispielsweise derart gewählt werden, dass ein statistisches Rauschen des Differenzbilds als Schwellenbereich ausgeschlossen werden kann. Vorzugsweise kann in dem vorgebbaren Schwellenwert auch berücksichtigt werden, dass eine Aufnahme mit gefilterter Polarisation insgesamt eine geringere Intensität pro Pixel aufweist.
-
Der Vergleich, ob zumindest ein Schwellenbereich innerhalb der Bildmaske liegt, kann dadurch stattfinden, dass zumindest eine vorbestimmte Mindestanzahl an zusammenhängenden Pixeln des Schwellenbereichs mit entsprechenden Pixeln der Bildmaske übereinstimmt. Das anschließende Signalisieren von Glätte kann als optisches Signal stattfinden, das einem Fahrer des Fahrzeugs angezeigt wird und/oder es kann ein Steuersignal bereitgestellt werden, das einem Fahrerassistenzsystem bereitgestellt wird.
-
Ferner ist vorgesehen, dass während einer Fahrt des Fahrzeugs mit zwei verschränkten Pixelmatrizen gemessen wird. Mit anderen Worten kann die optische Sensorvorrichtung eine Kamera sein, deren Kamerachip zumindest zwei verschränkten Pixelmatrizen aufweist. Mit verschränkten Pixelmatrizen ist gemeint, dass für einen Bildpunkt in der Kamera zumindest zwei Pixel bereitgestellt sind, die Licht mit unterschiedlicher Polarisationsrichtung detektieren können. Die Pixel der verschränkten Pixelmatrix sind dabei abwechselnd nebeneinander angeordnet. Beispielsweise ist vor jeder Fotodiode in dem Kamerachip ein Polarisator vorgesehen, der eine bestimmte Polarisationsrichtung herausfiltert. Das hat den Vorteil, dass während einer Fahrt die erste Aufnahme und die zweite Aufnahme der Straßenoberfläche zu dem gleichen Zeitpunkt aufgenommen werden können sowie keine geometrische Verschiebung zwischen den beiden Aufnahmen vorhanden ist. Beispielsweise ist bei einer Anordnung von zwei Kameras, die sich nebeneinander oder übereinander befinden können, eine geometrische Verschiebung vorhanden. Alternativ ist beispielsweise in einer optischen Sensorvorrichtung, die einen ein- und ausschaltbaren Polarisator vorsieht, eine zeitliche Verschiebung zwischen den Aufnahmen vorhanden. Durch diese Ausführungsform ergibt sich der Vorteil, dass eine zeitliche und räumliche Koordinierung der Aufnahmen gleich ist und somit eine verbesserte Glätteerkennung möglich ist.
-
Durch das erfindungsgemäße Verfahren ergibt sich der Vorteil, dass Fehlinterpretationen der Glätteerkennung verringert werden können. Beispielsweise kann eine Reflexion, die von der Straßenoberfläche kommt, von einer Reflexion unterschieden werden, die beispielsweise von einer Fensterscheibe stammt. Hierdurch wird die Glätteerkennung verbessert und ein falsches Signalisieren von Glätte verringert.
-
Zu der Erfindung gehören auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.
-
Eine Ausführungsform sieht vor, dass mittels der ersten Polarisationseinstellung diffuses Licht erfasst wird und mittels der zweiten Polarisationseinstellung senkrecht-polarisiertes Licht herausgefiltert wird. Mit anderen Worten wird die erste Aufnahme ohne Polarisationsfilter durchgeführt, und die zweite Aufnahme wird mit einem Polarisationsfilter durchgeführt, der senkrecht polarisiertes Licht herausfiltert. Hierdurch ergibt sich der Vorteil, dass ein verbessertes Differenzbild berechnet werden kann, da Licht, das von Eis oder Nässe reflektiert wird, eine senkrechte Polarisation aufweist. Durch Filterung dieser senkrechten Polarisation, die auch als transversalelektrisch, s-polarisiert oder Sigma-polarisiert bezeichnet wird, können die Bereiche, die Glätte aufweisen, besser erkannt werden.
-
Eine weitere Ausführungsform sieht vor, dass bei dem Signalisieren von Glätte eine Fahrzeuggeschwindigkeit durch eine Steuereinheit auf einen vorbestimmten Geschwindigkeitswert begrenzt wird. Der vorbestimmte Geschwindigkeitswert kann derart gewählt werden, dass die Fahrzeuggeschwindigkeit an die Straßenverhältnisse angepasst wird. Beispielsweise kann der vorbestimmte Geschwindigkeitswert so gewählt sein, dass Aquaplaning vermieden wird. Zusätzlich kann vorgesehen sein, dass neben dem Signalisieren von Glätte durch das Verfahren auch ein Temperaturwert aufgenommen wird, und bei einem Unterschreiten des Temperaturwerts ein vorbestimmter Geschwindigkeitswert für Eisglätte verwendet wird. Durch diese Ausführungsform ergibt sich der Vorteil, dass die Fahrzeuggeschwindigkeit an die Glätte der Straßenoberfläche angepasst werden kann. Außerdem kann hiermit ein autonom fahrendes Fahrzeug basierend auf der Glätte der Straßenoberfläche die Geschwindigkeit automatisiert anpassen.
-
Eine weitere Ausführungsform sieht vor, dass die Bilderkennung ferner eine Straßenseite erkennt auf der sich das Fahrzeug befindet und wobei der Bildbereich der Straßenoberfläche in der Bildmaske auf die Straßenseite eingeschränkt wird. Beispielsweise kann die Bilderkennung die Straßenmarkierungen, insbesondere die Mittelstreifenmarkierung erkennen. Hierdurch ergibt sich der Vorteil, dass die Glätte nur signalisiert wird, wenn das Fahrzeug diese überfährt. Beispielsweise kann es insbesondere für autonom fahrende Fahrzeuge nachteilig sein, wenn eine Geschwindigkeit des Fahrzeugs reduziert wird, da Glätte auf der Gegenfahrbahn erkannt wurde, obwohl die eigene Straßenseite frei von Glätte ist. Hierdurch kann die Glätteerkennung verbessert werden.
-
Ein weiterer Aspekt der Erfindung betrifft eine Vorrichtung zur Glätteerkennung für ein Fahrzeug, mit einer optischen Sensorvorrichtung und einer Verarbeitungsvorrichtung, wobei die optische Sensorvorrichtung dazu ausgebildet ist, eine erste Aufnahme und eine zweite Aufnahme einer Straßenoberfläche mittels einer optischen Sensorvorrichtung zu erfassen, wobei die erste Aufnahme mit einer ersten Polarisationseinstellung erfasst wird und die zweite Aufnahme mit einer zweiten Polarisationseinstellung erfasst wird. Die Verarbeitungsvorrichtung ist dazu ausgebildet, eine Bildmaske mittels einer Bilderkennung zu erzeugen, wobei die Bilderkennung in der ersten Aufnahme und/oder in der zweiten Aufnahme die Straßenoberfläche erkennt und wobei in der Bildmaske der Bildbereich der Straßenoberfläche markiert wird. Die Verarbeitungsvorrichtung ist ferner dazu ausgebildet, ein Differenzbild aus der ersten Aufnahme und der zweiten Aufnahme zu berechnen, wobei die Aufnahmen in dem Differenzbild voneinander subtrahiert werden und Schwellenbereiche markiert werden, in denen ein vorgebbarer Schwellenwert überschritten wird und falls zumindest ein Schwellenbereich innerhalb der Bildmaske liegt, ein Steuersignal auszugeben, wobei das Steuersignal dazu ausgebildet ist, Glätte zu signalisieren. Hierbei ergeben sich gleiche Vorteile und Variationsmöglichkeiten wie bei dem Verfahren.
-
Erfindungsgemäß ist auch ein Kraftfahrzeug mit einer Steuervorrichtung vorgesehen, wobei die Steuervorrichtung eine Prozessoreinheit aufweist, die dazu ausgebildet ist, das erfindungsgemäße Verfahren durchzuführen. Die Prozessoreinheit kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller aufweisen. Des Weiteren kann die Prozessoreinheit einen Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinheit die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinheit gespeichert sein. Das erfindungsgemäße Kraftfahrzeug ist bevorzugt also Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen oder als Personenbus oder Motorrad ausgestaltet.
-
Zu der Erfindung gehören auch Weiterbildungen der erfindungsgemäßen Vorrichtung, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Vorrichtung hier nicht noch einmal beschrieben.
-
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.
-
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
- 1 eine schematische Darstellung eines Kraftfahrzeugs nach einer beispielhaften Ausführungsform;
- 2 ein schematisches Verfahrensdiagramm nach einer beispielhaften Ausführungsform.
-
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
-
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
-
In 1 ist eine schematische Darstellung eines Kraftfahrzeugs 10 während einer Fahrt auf einer Straße 12 gezeigt. Das Kraftfahrzeug 10 kann in diesem Beispiel ein autonom fahrendes Kraftfahrzeug 10 sein. Das autonom fahrende Kraftfahrzeug 10 kann eine optische Sensorvorrichtung 14 aufweisen, die digitale Bilder in Fahrtrichtung des Kraftfahrzeugs 10 aufnehmen kann.
-
Insbesondere kann die optische Sensorvorrichtung 14 eine Fahrzeugkamera sein, deren Bildsensor eine Bildmatrix aufweist, die verschränkte Pixel umfasst. Mit anderen Worten kann jeder Pixel der Bildmatrix ein CMOS-Fotosensorpaar sein, bei welchen die Sensoren des Paares aus Licht eine anderen Polarisationsrichtung filtern können. Somit kann die optische Sensorvorrichtung 14 mit der verschränkten Pixelmatrix, die im Nachfolgenden als Polarisationskamera 14 bezeichnet wird, zur gleichen Zeit mehrere Aufnahmen mit unterschiedlicher Polarisation des Lichts aufnehmen. Ein weiterer Vorteil der Polarisationskamera 14 ist es, dass nicht zwei Kameras mit unterschiedlichen Polarisationsfiltern verwendet werden müssen, um Aufnahmen mit unterschiedlichen Polarisationseinstellungen zu erhalten.
-
Dem in 1 gezeigten Ausführungsbeispiel kann folgende Situation zugrunde liegen. Das autonom fahrende Kraftfahrzeug 10 fährt auf der Straße 12. Vor dem Kraftfahrzeug 10 befindet sich ein glatter Bereich 16, wobei die Glätte beispielsweise durch Wasser oder Eis hervorgerufen werden kann. Die Schraffierung im glatten Bereich 16 zeigt hierbei eine Lichtreflexion an, die aufgrund physikalischer Gesetze in einer senkrechten Polarisationsrichtung polarisiert ist. Gleichzeitig kann eine weitere Reflexion von Licht von einem Fenster 18 eines Hauses 20 vorhanden sein.
-
Damit das autonom fahrende Kraftfahrzeug 10 durch den glatten Bereich 16 nicht in eine gefährliche Situation gebracht wird, kann vorgesehen sein, dass das Kraftfahrzeug 10 zusätzlich zu der Polarisationskamera 14 eine Verarbeitungsvorrichtung 22 aufweist, die das in 2 gezeigte Verfahren durchführen kann. Hierzu können in einem Schritt S10 von der Polarisationskamera 14 eine erste Aufnahme 24 und eine zweite Aufnahme 26 erfasst werden, wobei die erste Aufnahme 24 mittels einer ersten Polarisationseinstellung für diffuses Licht aufgenommen wird und für die zweite Aufnahme 26 mittels einer zweiten Polarisationseinstellung aufgenommen wird, in der senkrecht polarisiertes Licht herausgefiltert wird. Durch die Filterung des senkrecht polarisierten Lichts in der zweiten Aufnahme 26 wird dabei die Spiegelung des reflektierten Lichts aus dem glatten Bereich 16 und dem Fenster 18 im Gegensatz zu der ersten Aufnahme 24 herausgefiltert.
-
In einem weiteren Schritt S12 kann mittels einer Bilderkennung aus der ersten Aufnahme 24 und/oder der zweiten Aufnahme 26 eine Bildmaske 28 erzeugt werden, wobei die Bilderkennung eine Straßenoberfläche der Straße 12 erkennt und wobei in der Bildmaske 28 der Bildbereich der Straßenoberfläche 30 markiert wird. Alternativ oder zusätzlich kann die Bilderkennung ferner die Straßenseite erkennen, auf der sich das Kraftfahrzeug 10 befindet, wobei in diesem Fall der Bildbereich der Straßenoberfläche 30 auf diesen Bildbereich in der Bildmaske 28 eingeschränkt werden kann.
-
In einem Schritt S14 kann dann ein Differenzbild 32 aus der ersten Aufnahme 24 und der zweiten Aufnahme 26 berechnet werden, wobei Schwellenbereiche 34 markiert werden können, in denen ein vorgebbarer Schwellenwert überschritten wird. In diesem Ausführungsbeispiel werden in dem Differenzbild 32 zwei Schwellenbereiche 34 markiert, die dem Fenster 18 und dem glatten Bereich 16 entsprechen.
-
In einem letzten Schritt S16 kann das Differenzbild 32 mit der Bildmaske 28 verglichen werden und es kann festgestellt werden, ob einer der Schwellenbereiche 34 innerhalb des markierten Bildbereichs der Straßenoberfläche 30 liegt. Ist das der Fall, kann ein Steuersignal, das Glätte signalisiert, beispielsweise an eine Steuereinheit des Kraftfahrzeugs 10 ausgegeben werden, die eine Fahrzeuggeschwindigkeit auf einen vorbestimmten Geschwindigkeitswert begrenzt. Dann kann das autonom fahrende Kraftfahrzeug 10 in einen sicheren Geschwindigkeitsbereich herunter gebremst werden.
-
Insgesamt zeigt das Beispiel, wie durch die Erfindung eine Glättedetektion bereitgestellt werden kann.
