-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung einer Verschmutzung mindestens eines Umfeldsensors eines autonomen Fahrzeugs.
-
Stand der Technik
-
Ein autonomes Fahrzeug ist ein Fahrzeug, das ohne Fahrer auskommt. Das Fahrzeug fährt dabei autonom, indem beispielsweise der Straßenverlauf, andere Verkehrsteilnehmer oder Hindernisse selbständig erkannt werden und die entsprechenden Steuerbefehle im Fahrzeug berechnet sowie diese an die Aktuatoren im Fahrzeug weiterleitet, wodurch der Fahrverlauf des Fahrzeugs korrekt beeinflusst wird. Ein menschlicher Fahrer ist bei einem vollautonomen Fahrzeug nicht am Fahrgeschehen beteiligt.
-
Um einen autonomen oder teilautonomen Fahrbetrieb zu ermöglichen, sind Fahrerassistenzsysteme bekannt. Diese sind üblicherweise als elektronische Zusatzeinrichtungen in Kraftfahrzeugen, beispielsweise zur Unterstützung des Fahrers in bestimmten Fahrsituationen vorgesehen. Hierbei stehen oft Sicherheitsaspekte, aber auch die Steigerung des Fahrkomforts im Vordergrund. Ein weiterer Aspekt ist die Verbesserung der Ökonomie. Fahrerassistenzsysteme greifen teilautonom oder autonom in Antrieb, Steuerung (z. B. Gas, Bremse) oder Signalisierungseinrichtungen des Fahrzeuges ein oder warnen durch geeignete Mensch-Maschine-Schnittstellen den Fahrer kurz vor oder während kritischer Situationen.
-
In autonomen bzw. teilautonomen Fahrzeugen kommt eine Vielzahl von Umfeldsensoren zur Anwendung. Dabei handelt es sich beispielsweise um Kamera-, Lidar-, Radar-, Ultraschall-, und/oder weitere Umfeldsensoren. Diese Sensoren sind beispielsweise am Fahrzeugumfang oder auf dem Fahrzeugdach angebracht. Bei der Nutzung des autonomen Fahrzeugs können derartige Sensoren beispielsweise durch herumfliegende Insekten oder durch Staub oder Regen oder Schneeeinflüsse verunreinigt oder beschädigt werden. In diesem Fall kommt es zu einem degradierten Verhalten des bzw. der betroffenen Umfeldsensoren. Bei extremen Verschmutzungen, insbesondere von mehreren Umfeldsensoren, können dadurch Situationen auftreten, in denen ein Fahrzeug nicht mehr autonom, sondern nur noch manuell betrieben werden kann, da aufgrund der Verschmutzung nicht mehr genügend Sensorinformationen erfasst werden um einen sicheren autonomen Fahrbetrieb zu gewährleisten.
-
Aus der
DE 10 2016 2015 523 A1 ist bekannt, dass bei einem autonom fahrenden Fahrzeug mittels eines Sensors entweder z.B. der Verschmutzungsgrad des Fahrzeugs detektierbar ist, oder aber auch verschlissene oder defekte Bauteile. Auch ist erwähnt, dass in Abhängigkeit des Defekts detektierbar ist, ob das Fahrzeug (weiterhin) autonom betreibbar ist oder nicht. Zur Beseitigung des erkannten Defekts kann das Fahrzeug autonom ggf. an eine Servicestation (Tankstelle, Werkstatt usw.) fahren kann. Dieser Servicestation werden vorab Informationen zugeleitet, die mit Blick auf den Defekt wesentlich sind.
-
Die
DE 10 2004 048 346 B4 offenbart die Möglichkeit, in Abhängigkeit des Verschmutzungsgrades von der Fahrassistenz dienenden Sensoren deren Nutzung im Fahrassistenzsystem einzuschränken oder zu unterlassen. Weiterhin ist angesprochen, beispielsweise einen verunreinigten Sensor dem Fahrer zu einem geeigneten Zeitpunkt zu melden, insbesondere wenn dieser beispielsweise eine Tankstelle ansteuert, oder aber den Sensor durch ein Selbstreinigungssystem zu reinigen.
-
Aus der
DE 10 2017 101 508 A1 ist bekannt, bei einem autonom fahrenden Fahrzeug Reinigungselemente zur Reinigung des Fahrzeuginnenraums vorzusehen. Weiterhin ist offenbart, dass der Zustand bzw. die Sauberkeit des Fahrzeugs an externe Stationen kommunizierbar ist, um beispielsweise dort eine Reinigung oder ähnliches vornehmen zu lassen.
-
Offenbarung der Erfindung
-
Es ist demnach die Aufgabe der Erfindung ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Erkennung einer Verschmutzung mindestens eines Umfeldsensors eines autonomen Fahrzeugs sowie ein verbessertes Verfahren zum Betreiben eines autonomen Fahrzeugs bereitzustellen.
-
Die Aufgabe wird durch den jeweiligen Gegenstand der unabhängigen Ansprüche gelöst.
-
Durch die Erfindung wird Problemen durch verschmutzte Sensoren entgegengewirkt und die Verfügbarkeit autonomer Fahrzeuge erhöht.
-
Nach einem ersten Aspekt der Erfindung wird ein Verfahren zur Erkennung einer Verschmutzung mindestens eines Umfeldsensors einer Umfeldsensorik eines autonomen Fahrzeugs vorgeschlagen, wobei der Umfeldsensor als bildgebender Sensor, beispielsweise als Videokamera oder als bildgebender Radarsensor oder als bildgebender Lidarsensor, ausgebildet ist. Das Verfahren weist die folgenden Schritte auf:
- - Erzeugen von Bilddaten aus einem Abbild eines Fahrzeugumfeldes mittels des Umfeldsensors;
- - Analysieren der Bilddaten und Erkennen einer Verschmutzung des Umfeldsensors basierend auf der Analyse;
- - Bewertung der Verschmutzung basierend auf der Analyse;
- - Einleitung von Maßnahmen abhängig von der Bewertung,
wobei das Analysieren der Bilddaten und/oder die Erkennung einer Verschmutzung des Umfeldsensors und/oder die Bewertung der Verschmutzung mittels eines neuronalen Netzes durchgeführt wird.
-
Vorzugsweise handelt es sich bei der Umfeldsensorik um eine Umfeldsensorik eines autonomen Kraftfahrzeugs. Als autonomes Kraftfahrzeug wird dabei insbesondere ein Kraftfahrzeug, vorzugsweise ein Pkw, angesehen, welches für ein vollautomatisiertes Fahren, kurz VAF, und/oder auch für ein teilweise automatisiertes Fahren, auch hoch automatisiertes Fahren genannt, kurz HAF, ausgebildet ist. Die Umfeldsensorik ist somit insbesondere eingerichtet, die Bilddaten bezüglich eines Fahrzeugumfeldes zu analysieren und diese Umfeldanalyse anschließend zumindest einem Fahrerassistenzsystem des Fahrzeugs bereitzustellen. Die Umfeldanalyse der Bilddaten wird vorzugsweise ebenfalls mittels des neuronalen Netzes ausgeführt und kann beispielsweise eine Objekterkennung oder Objektverfolgung umfassen.
-
Bevorzugt wird das neuronale Netz vorab mit einer möglichst großen Datenmenge trainiert, um eine hohe Performance und Diagnose-Zuverlässigkeit des Verfahrens zu erhalten.
-
Bei dem Umfeldsensor handelt es sich bevorzugt um einen optischen Sensor, wie beispielsweise eine Kamera oder ein Lidar-Sensor. Alternativ sind vorzugsweise auch andere Sensor-Typen als Umfeldsensor möglich, welche geeignet sind ein Umfeld des Fahrzeugs zu erfassen und Bilddaten zu erzeugen, wie beispielsweise ein Radar-Sensor.
-
Besonders bevorzugt werden mittels des neuronalen Netzes Bilddatenbereiche, welche über die Zeit, insbesondere während einer Fortbewegung des Fahrzeugs, unverändert sind, erkannt. Die entsprechend als über die Zeit unverändert erkannten Bilddatenbereiche können als Verschmutzung erkannt werden. Als Bilddatenbereiche werden hierbei insbesondere Teilbereiche der Bilddaten angesehen, welche beispielsweise einzelne oder mehrere Pixel des Umfeldsensors sein können. Dies bietet eine besonders einfache Möglichkeit der Erkennung einer Verschmutzung und deren Bewertung, wodurch eine Bestimmung der Funktionsfähigkeit der Umfeldsensorik ermöglicht wird und gegebenenfalls Maßnahmen, insbesondere zur Reinigung des entsprechenden Umfeldsensors, eingeleitet werden können.
-
Bevorzugt erfolgt das Erkennen der Funktionsfähigkeit für jeden Pixel des ersten Sensors separat. Dadurch kann die Funktionsfähigkeit, und insbesondere auch eine Funktionsgenauigkeit, des Umfeldsensors besonders genau ermittelt werden. Alternativ oder zusätzlich können Pixelbereiche, insbesondere zusammenhängende Pixelbereiche analysiert werden. Besonders vorteilhaft ist es dadurch möglich, einen Grad der Funktionsfähigkeit der Umfeldsensorik zu bestimmen. Vorzugsweise kann hierdurch auch ein Verschmutzungsgrad bestimmt werden. Darauf basierend kann eine Bewertung der Verschmutzung erfolgen. Beispielsweise kann eine Bewertung der Verschmutzung basierend auf einer Anzahl und/oder einem Anteil der funktionsfähigen bzw. funktionsunfähigen Pixel erfolgen. Das neuronale Netz kann insbesondere ausgebildet sein, ein durch Verschmutzung funktionsunfähiges Pixel bzw. einen durch Verschmutzung funktionsunfähigen Pixelbereich von einem defekten Pixel bzw. Pixelbereich zu unterscheiden. Dies kann erreicht werden, indem das neuronale Netz mit entsprechenden Testdaten vorab trainiert wird.
-
Bevorzugt werden zeitlich aufeinanderfolgend erfasste Bilddaten analysiert. Eine Verschmutzung eines Pixels und/oder eines Pixelbereichs kann hierbei erkannt werden, wenn das neuronale Netz erkennt, dass ein Pixel und/oder ein Pixelbereich zeitlich unverändert ist, also in den zeitlich aufeinanderfolgend erfassten Bilddaten näherungsweise die gleiche Signalstärke aufweist.
-
Nach einem weiteren Aspekt der Erfindung wird ein Computerprogramm vorgeschlagen, umfassend Programmcode zur Durchführung eines derartigen Verfahrens zur automatisierten Reinigung mindestens eines Umfeldsensors einer Umfeldsensorik eines autonomen Fahrzeugs, wenn das Computerprogramm auf einem Computer ausgeführt wird.
-
Nach einem weiteren Aspekt der Erfindung, wird eine Vorrichtung zur Erkennung einer Verschmutzung mindestens eines Umfeldsensors einer Umfeldsensorik eines autonomen Fahrzeugs vorgeschlagen, wobei der Umfeldsensor als bildgebender Sensor ausgebildet ist. Die Vorrichtung umfasst
- - eine erste Recheneinheit welche ausgebildet ist, mittels des Umfeldsensor erzeugte Bilddaten zu analysieren und basierend auf der Analyse eine Verschmutzung des Umfeldsensors zu erkennen;
- - wobei die erste Recheneinheit ausgebildet ist, die Verschmutzung basierend auf der Analyse zu bewerten, oder eine zweite Recheneinheit vorgesehen ist, welche dazu ausgebildet ist, die Verschmutzung basierend auf der Analyse zu bewerten;
- - ein Steuergerät, welches ausgebildet ist, abhängig von der Bewertung Maßnahmen einzuleiten,
wobei die erste und/oder die zweite Recheneinheit mindestens ein neuronales Netz zur Durchführung der Analyse und/oder der Bewertung aufweisen.
-
Die erste Recheneinheit und die zweite Recheneinheit können separat ausgeführt sein. Alternativ können erste Recheneinheit und die zweite Recheneinheit als Teile, beispielsweise als Module einer einzelnen, übergeordneten Recheneinheit ausgeführt sein. Die Module können als Hardware und/oder als Software ausgebildet sein.
Die erste und/oder die zweite Recheneinheit können in dem jeweiligen Umfeldsensor vorgesehen sein, also in den jeweiligen Umfeldsensor integriert sein, oder als Teil einer zentralen Steuerungsvorrichtung des autonomen Fahrzeugs ausgebildet sein.
Bei einer Erkennung auf einer Recheneinheit des Umfeldsensors kann eine Fehlermeldung zusammen mit einem Performancewert des Sensors an das die zentrale Steuerungsvorrichtung des Fahrzeugs erfolgen, welche entsprechende weiteren Schritte einleiten kann.
-
Besonders vorteilhaft ist es, wenn die Bilddaten eine Signalstärke von Pixeln des ersten Sensors aufweisen. Alternativ oder zusätzlich weisen die ersten Bilddaten einen Rauschwert, insbesondere des erfassten Abbilds des Fahrzeugumfelds, auf. Die erste Recheneinheit ist dabei eingerichtet, die Signalstärke und/oder den Rauschwert zu erfassen und mittels des neuronalen Netzes zu analysieren, um eine mögliche Verschmutzung des Umfeldsensors zu erkennen. Somit kann besonders einfach und zuverlässig die Funktionsfähigkeit der Umfeldsensorik bezüglich einer Verschmutzung erfasst werden und gegebenenfalls Maßnahmen eingeleitet werden.
-
Nach einem weiteren Aspekt der Erfindung wird ein Verfahren zum Betreiben eines autonomen Fahrzeugs vorgeschlagen, welches eine wie zuvor beschrieben ausgebildete Vorrichtung und mindestens einen Umfeldsensor aufweist, wobei abhängig von einer Bewertung einer Verschmutzung des Umfeldsensors, eine Anpassung der autonomen Fahrfunktion des autonomen Fahrzeugs durchgeführt wird, insbesondere indem eine Steuerung des autonomen Fahrzeugs auf einen Betrieb mit weniger Umfeldsensoren und/oder einen Betrieb mit verschmutzten Umfeldsensoren angepasst wird. Dazu können beispielsweise Fahrparameter und/oder Sicherheitsparameter angepasst werden, so dass auch bei einem verschmutzten Umfeldsensor die Sicherheit des autonomen Fahrzeugs sichergestellt ist. Insbesondere bei einer Beeinträchtigung von mehreren Umfeldsensoren und/oder einem sehr hohen Verschmutzungsgrad kann der autonome Fahrbetrieb eingestellt werden.
-
Nach einem weiteren Aspekt der Erfindung wird ein Computerprogramm vorgeschlagen, umfassend Programmcode zur Durchführung eines derartigen Verfahrens zum Betreiben eines autonomen Fahrzeugs, wenn das Computerprogramm auf einem Computer ausgeführt wird.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
Bevorzugt erfolgt das Einleiten von Maßnahmen sofern ein Grad der Verschmutzung größer als ein vorbestimmter Grad der Verschmutzung, insbesondere größer als 50%, ist. Als Grad der Verschmutzung wird vorzugsweise ein prozentualer Anteil eines voll funktionsfähigen Teilbereichs und/oder ein prozentualer Anteil an nicht funktionsfähigen Pixeln des Umfeldsensors angesehen. Das heißt, sofern beispielsweise 50% oder mehr der Pixel des Umfeldsensors verschmutzt sind, wird insbesondere angenommen, dass der Umfeldsensor das Umfeld des Fahrzeugs nicht mehr mit ausreichender Qualität erfassen kann. Zur Vermeidung ungünstiger Fahrsituationen wird im Ansprechen darauf ein Deaktivieren von, vorzugsweise autonomen, Fahrfunktionen des Fahrzeugs vorgenommen. Beispielsweise kann eine solche Fahrfunktion eine Abstandsregelung sein. Besonders günstig ist es dabei, wenn die Umfeldsensorik, insbesondere kontinuierlich, während eines Fahrbetriebs des Fahrzeugs betrieben und überwacht wird und unter Umständen die vorgebestimmten Fahrfunktionen deaktiviert werden. Alternativ oder zusätzlich ist es besonders vorteilhaft, wenn das Verfahren zum Betreiben des Fahrzeugs während eines Stillstands des Fahrzeugs, vorzugsweise vor dem Losfahren, also beispielsweise im Ansprechen auf ein Starten einer Antriebsmaschine, ausgeführt wird. Zusätzlich ist eine Umschaltung auf einen noch funktionsfähigen Sensor bei Unterschreitung der Performance des ersten Sensors möglich, wobei der noch funktionsfähige Sensor das gleiche Sensierprinzip aufweist oder zumindest die gleiche Blickrichtung des ersten Sensors auf das Fahrzeugumfeld aufweist (z.B. nach vorne oder seitlich).
-
Bevorzugt umfassen die Maßnahmen eine automatisierte Reinigung des Umfeldsensors durch eine Reinigungsvorrichtung des Fahrzeugs und/oder durch eine Reinigungsvorrichtung des Umfeldsensors. Dazu können je nach Positionierung des Umfeldsensors am Fahrzeug beispielsweise am Fahrzeug vorhandene Vorrichtungen wie Spritzwasserdüsen oder Wischanlagen verwendet werden. Alternativ oder zusätzlich kann der Umfeldsensor eine dedizierte Reinigungsvorrichtung aufweisen, die ausgebildet ist, den Umfeldsensor, insbesondere ein Messfenster und/oder eine Lichtquelle des Umfeldsensors, also den Bereich des Umfeldsensors, der verschmutzt ist und der zu einem degradierten Verhalten der Umfelderfassung führt, zu reinigen. Die Reinigungsvorrichtung kann dazu beispielsweise Spritzdüsen und einen Tank mit einer Reinigungsflüssigkeit und/oder bewegbare Wischerblätter umfassen.
-
Alternativ oder zusätzlich können die Maßnahmen eine automatisierte Reinigung des Umfeldsensors durch autonomes Anfahren einer Waschanlage und/oder einer Servicestation durch das autonome Fahrzeug umfassen. Diese Maßnahme kann insbesondere durchgeführt werden, wenn eine Reinigung des Umfeldsensors durch fahrzeugeigene oder sensoreigene Reinigungsvorrichtungen nicht möglich ist oder nicht erfolgreich war.
-
In einer bevorzugten Ausführung können die Maßnahmen eine vollständige oder teilweise Abschaltung des Umfeldsensors umfassen. Dies kann bevorzugt durch ein Deaktivieren nicht funktionsfähiger Pixel des Umfeldsensors erfolgen. Dadurch kann auch bei teilweise nicht funktionsfähiger Umfeldsensorik weiterhin eine hohe Genauigkeit der verbleibenden, funktionsfähigen Teile ermöglicht werden. Durch das Deaktivieren der aufgrund von Verschmutzungen oder Defekt nicht funktionsfähigen Pixel, wird verhindert, dass diese Pixel Bilddaten erzeugen, welche die weiteren Bilddaten der verbleibenden, voll funktionsfähigen Pixel verfälschen und damit den autonomen Fahrbetrieb beeinträchtigen können.
-
In einer bevorzugten Ausführung können die Maßnahmen eine Anpassung der autonomen Fahrfunktion des autonomen Fahrzeugs umfassen, insbesondere durch Anpassung der Steuerung des autonomen Fahrzeugs auf einen Betrieb mit weniger Umfeldsensoren und/oder einen Betrieb mit verschmutzten Umfeldsensoren. Beispielsweise können bestimmte Parameter der autonomen Fahrfunktion, wie die Höchstgeschwindigkeit, die Verfügbarkeit bestimmter Manöver, Sicherheitsabstände und/oder Warnfunktionen angepasst werden und/oder bestimmte Fahrfunktionen deaktiviert werden. Damit wird es ermöglicht, trotz eines oder mehrerer Verschmutzter Umfeldsensoren einen sicheren autonomen Fahrbetrieb aufrecht zu erhalten. In einer besonders bevorzugten Ausgestaltung wird eine Fahrzeug-KI einer Steuerungsvorrichtung des autonomen Fahrzeugs, angepasst um beispielsweise adaptiv auf den Ausfall oder Teilausfall bestimmter Umfeldsensoren reagieren zu können. Dazu können z.B. bestimmte Funktionen oder Parameter der Fahrzeug-KI abhängig von der Bewertung der Verschmutzung und von dem oder den betroffenen Umfeldsensoren angepasst werden.
-
Insbesondere, wenn beispielsweise durch eine besonders schwere Verschmutzung ein oder mehrere Umfeldsensoren keine oder ungenügende Umfelddaten liefern, kann der autonome Fahrbetrieb beendet werden und das autonome Fahrzeug in einen sicheren Zustand versetzt werden. Dazu wird das autonome Fahrzeug beispielsweise auf einem Standstreifen zum Stillstand gebracht. Damit wird ein unsicherer Betrieb verhindert und Schaden von dem Insassen und von anderen Verkehrsteilnehmern wirksam verhindert.
-
In einer bevorzugten Ausführung umfasst eine Vorrichtung gemäß der Erfindung eine Reinigungsvorrichtung, welche ausgebildet ist, mindestens einen Umfeldsensor des autonomen Fahrzeugs zu reinigen und welche ausgebildet ist, von einem Steuergerät der Vorrichtung aktiviert und/oder angesteuert zu werden. Das Steuergerät kann insbesondere als Teil einer Steuerungseinrichtung zur Steuerung des autonomen Fahrbetriebs des Fahrzeugs ausgebildet sein.
-
Zusammenfassend wird gemäß der Erfindung der Vorschlag gemacht, bei einem autonom fahrenden Fahrzeug unterschiedliche Strategien bei Erkennung eines verschmutzten oder aber defekten Sensors, der Bestandteil eines Assistenzsystems zum autonomen Fahren ist vorzunehmen. So wird insbesondere in Abhängigkeit des erkannten Verschmutzungsgrads eine Selbstreinigungsfunktion ausgelöst. Ist eine Reinigung nicht möglich oder erfolgreich wird der entsprechende Sensor nicht weiter benutzt. In Abhängigkeit der Wichtigkeit des betroffenen Sensors für die autonome Fahrfunktion kann darüber hinaus ein autonomer Betrieb ggf. nicht mehr möglich sein, so dass andere Maßnahmen getroffen werden müssen. Weiterhin ist in bevorzugten Ausführungen der Erfindung vorgesehen, ein selbstständiges Anfahren des Fahrzeugs zu einem Ort zu ermöglichen, um dort entweder eine Reinigung des Sensors, oder aber einen Austausch oder ähnliches vorzunehmen.
-
So wird eine Verunreinigung auf mindestens einem Umfeldsensor einer Umfeldsensorik eines autonomen Fahrzeugs zunächst erkannt. Beispielsweise können in einem Kamerabild, Lidarbild oder Radarbild bestimmte Pixel aufgrund von Verschmutzungen verdeckt sein, wobei diese Verdeckung nicht mehr verschwindet. Eine derartige Verunreinigung wird mithilfe eines neuronalen Netzes zur Bildauswertung erkannt, beispielsweise indem fortlaufend erfasste Bilddaten eines Umfeldsensors miteinander verglichen werden. Ist das Fahrzeug beispielsweise in Bewegung und es sind immer die gleichen Pixel des Bildes verdeckt, also dunkel, so ist dies ein Hinweis für eine Verschmutzung des Umfeldsensors.
-
Verfügt der Umfeldsensor und/oder das Fahrzeug über eine Reinigungsvorrichtung, so wird diese basierend auf der Erkennung einer Verschmutzung aktiviert, und der entsprechende Umfeldsensor gereinigt. Anschließend wird überprüft, ob die entsprechenden Pixel der erfassten Bilddaten wieder verfügbar bzw. nicht mehr verdeckt, also dunkel sind.
-
Insbesondere falls keine Reinigungsvorrichtung am Umfeldsensor oder am Fahrzeug vorhanden oder einsatzbereit ist, oder falls der Reinigungsvorgang nicht zu einer Verbesserung der Sensorperformance führt, kann eine Ausgabe der erkannten Verschmutzung an eine Steuerungsvorrichtung oder Auswerteeinheit, z.B. an ein Fahrzeugzentralsteuergerät oder an ein Fahrzeugdiagnosegerät erfolgen. Auf der Auswerteeinheit bzw. dem weiteren Fahrzeugsteuergerät wird die Verschmutzung ausgewertet.
-
Insbesondere bei relativ geringfügigen Verunreinigungen, die nicht zu einem Komplettausfall eines Umfeldsensors bzw. nicht zu einem degradierten Verhalten innerhalb der autonomen Fahrfunktion führen, kann beispielsweise automatisiert eine Reinigungsanlage angefahren werden. Das bedeutet, dass das autonome Fahrzeug aufgrund dieser Verunreinigungen noch autonom betrieben werden kann. Nach dem Durchfahren der Reinigungsanlage ist der entsprechende Sensor gereinigt und wieder voll einsatzfähig.
-
Alternativ oder zusätzlich erfolgt eine Überprüfung von verschmutzten Umfeldsensoren einer Umfeldsensorik des autonomen Fahrzeugs in einer Servicestation. Wird ein verunreinigter Umfeldsensor erkannt, so kann die Reinigung dieses Umfeldsensors im Rahmen eines regulären Werkstatttermins oder bei einer TÜV Abnahme erfolgen, sodass das autonome Fahrzeug anschließend wieder voll einsatzfähig ist.
-
Es kann außerdem vorkommen, dass bestimmte Umfeldsensoren des Fahrzeugs so stark verschmutzt sind, dass ein automatisierter Betrieb des autonomen Fahrzeugs nicht mehr möglich ist. Das bedeutet, es werden Verunreinigungen der Umfeldsensoren erkannt, wie beispielsweise Staubablagerungen auf einer Erdstraßenfahrt und die automatisierte Fahrfunktionen bei einem zu starken degradierten Verhalten der Umfeldsensoren deaktiviert. Das bedeutet, das autonome Fahrzeug kann fortan nur noch durch einen menschlichen Fahrer manuell gesteuert werden. Befindet sich in diesem autonomen Fahrzeug kein Fahrer für die manuelle Steuerung, so führt das Fahrzeug einen sogenannten Safestopp durch, es nimmt also einen sicheren Zustand ein und wird abgestellt. Das Fahrzeug kann anschließend nur noch manuell betrieben werden. In diesem Fall kann der Fahrer des Fahrzeugs aufgefordert werden, die entsprechenden Umfeldsensoren des Fahrzeugs beispielsweise durch eine manuelle Durchfahrt durch eine Waschanlage zu reinigen, so dass die autonome Fahrfunktion wieder voll zur Verfügung steht. Dies Aufforderung erfolgt beispielsweise über eine HMI innerhalb des Fahrzeugs. Beispielsweise wird einem Insassen des Fahrzeugs eine Meldung angezeigt oder eine audiovisuelle Mitteilung bestimmte Umfeldsensoren des Fahrzeugs zu reinigen. Es kann auch gezielt eine Reinigung bestimmter Umfeldsensoren durch eine Person durch eine audiovisuelle Mitteilung auf der HMI angewiesen werden. Beispielsweise wird einem Fahrzeuginsassen bzw. Nutzer des autonomen Fahrzeugs eine Umfeldsensorposition auf einem Fahrzeugbild auf der HMI und beispielsweise zusätzlich ein Video oder eine audiovisuelle Botschaft ausgegeben, wie der entsprechende Umfeldsensor zu reinigen ist (beispielsweise mit einem Schwamm oder feuchten Tuch). Sobald der Nutzer den entsprechenden Umfeldsensor gereinigt hat oder durch die Reinigungsanlage gefahren ist, kann der gereinigte Sensor durch eine erneute Analyse der erfassten Bilddaten des betroffenen Umfeldsensors erkannt und eine autonome Fahrfunktion wieder freigeschaltet werden. Dies ist vor allem in Gebieten mit einer hohen Staubentwicklung, wie beispielsweise in trockenen Regionen vorteilhaft. Aber auch in anderen Regionen kann es zu einer Ablagerung von Schnee oder Wasser oder Insekten auf den entsprechenden Sensoren kommen.
-
Es kann weiterhin vorkommen, dass die Oberfläche eines Umfeldsensors bzw. eine Schutzabdeckung eines Umfeldsensors so stark beschädigt oder zerkratzt ist, dass nur noch ein Austausch des Umfeldsensors oder zumindest der Schutzabdeckung zu einer Wiederherstellung der vollen Umfeldsensorperformance führt. Auch in diesem Fall kann eine Meldung ausgegeben werden, dass der Umfeldsensor auch nach einer Reinigung nicht voll einsatzfähig ist. Der Nutzer des autonomen Fahrzeugs oder das autonome Fahrzeug selbst können nun beispielsweise eine Werkstatt anfahren, wo die entsprechenden Bauteile ausgetauscht werden können. Alternativ kann auch ein Austausch des Umfeldsensors oder einer Schutzabdeckung, beispielsweise über einen einfachen Klickmechanismus an dem Umfeldsensor, durch den Nutzer selbst durchgeführt werden. Auch hier kann dem Nutzer, beispielsweise durch eine HMI oder ein Mobiltelefon oder eine App, dargestellt werden, wie das entsprechende Teil des Sensors ausgetauscht werden muss, was dabei zu beachten ist, wo das Teil bestellt werden kann bzw. bezogen werden kann, usw.
-
Zusätzlich oder alternativ kann ein Bestellvorgang eines Austauschteils auch automatisiert über eine Car-to-X Kommunikationsverbindung ins Internet oder in eine Cloud durch das autonome Fahrzeug erfolgen, sofern das autonome Fahrzeug ohne Fahrer betrieben wird. Der Besitzer des Fahrzeugs oder die Werkstatt des Fahrzeugs empfängt das entsprechende Ersatzteil und kann den Austausch zeitnah durchführen. Sofern nicht der Besitzer die Reparatur durchführt, sondern die Werkstatt, fährt das autonome Fahrzeug die Werkstatt automatisiert für den Austausch an, sofern dies noch möglich ist.
-
Ergibt die Analyse und Bewertung der Verschmutzung, dass ein Umfeldsensor zu wenige oder keine verwertbaren Bilddaten mehr liefern kann, wird der entsprechende Umfeldsensor bevorzugt nicht mehr für den autonomen Fahrbetrieb verwendet und kann beispielsweise durch eine zentrale Steuerungsvorrichtung des Fahrzeugs deaktiviert werden, insbesondere bis eine Reinigung oder Reparatur des entsprechenden Sensors erfolgt. In diesem Fall kann es vorteilhaft sein, eine Fahrzeug-KI einer Steuerungsvorrichtung des autonomen Fahrzeugs insbesondere die Trajektorienplanung auf diese Situation anzupassen. Da die Daten des betroffenen Umfeldsensors nicht mehr verwendet werden, können z.B. die entsprechenden Pfade bei der Berechnung der Trajektorie, die auf diesen Umfeldsensor basieren, deaktiviert werden. Die Trajektorienplanung erfolgt demnach nur noch basierend auf den restlichen, intakten, und nicht verschmutzten Umfeldsensoren. Zusätzlich oder alternativ kann innerhalb einer Steuerungsvorrichtung des autonomen Fahrzeugs mindestens eine zusätzliche Kl oder mindestens ein Zusatzalgorithmus vorgesehen sein, um die Berechnungen für das autonome Fahren, wie beispielsweise die Trajektorienplanung oder die Ansteuerung der Fahrzeug-Aktuatoren, basierend auf den Umfelddaten der übrigen Umfeldsensoren durchzuführen.
-
Es kann bereits bei geringen Verschmutzungen eines oder mehrerer Umfeldsensoren eine Teildegradierung des jeweiligen Umfeldsensors an eine zentrale Steuerungsvorrichtung des autonomen Fahrzeugs gemeldet oder alternativ dort erkannt werden. Die betroffenen Umfeldsensoren können in diesem Fall vorausschauend gereinigt, bzw. ein bevorstehender Reinigungsvorgang schon frühzeitig angezeigt bzw. automatisiert durchgeführt werden. Auf diese Weise kann die autonome Fahrfunktion zuverlässiger verfügbar bleiben, da sichergestellt wird, dass sich die Umfeldsensoren in einem relativ gut gereinigten Zustand befinden. In dieser Ausführungsform der Erfindung wird verhindert, dass ein autonomes Fahrzeug nur noch manuell betrieben werden kann, wenn die Umfeldsensoren derartig degradiert sind, dass das Fahrzeug nicht mehr autonom geführt werden kann.
-
Figurenliste
-
Unter Bezugnahme auf die beigefügten Figuren werden Ausführungsformen der Erfindung im Detail beschrieben.
- 1 eine vereinfachte perspektivische Ansicht eines Fahrzeugs mit einer Umfeldsensorik gemäß einem bevorzugten Ausführungsbeispiel der Erfindung, und
- 2 eine stark vereinfachte schematische Ansicht eines Verfahrens zum Betreiben des Fahrzeugs der 1.
-
Bevorzugte Ausführungsformen der Erfindung
-
In der nachfolgenden Beschreibung der Ausführungsbeispiele der Erfindung werden gleiche Elemente mit gleichen Bezugszeichen bezeichnet, wobei auf eine wiederholte Beschreibung dieser Elemente gegebenenfalls verzichtet wird. Die Figuren stellen den Gegenstand der Erfindung nur schematisch dar.
-
Die 1 zeigt eine perspektivische Ansicht eines Fahrzeugs 10 mit einer Umfeldsensorik 1 gemäß einer bevorzugten Ausführungsform der Erfindung. Bei dem Fahrzeug 10 handelt es sich um ein autonom betreibbares Kraftfahrzeug. In der 2 ist ein Verfahren 60 zum Betreiben des Fahrzeugs 10 der 1 dargestellt.
-
Die Umfeldsensorik 1 ist eingerichtet, ein Umfeld U des Fahrzeugs 10 zu erfassen und Umfeld-Bilddaten zu erzeugen. Für die Erfassung der Umfeld-Bilddaten umfasst die Umfeldsensorik 1 einen ersten Umfeldsensor 20, welcher eingerichtet ist, Bilddaten aus einem ersten Abbild des Umfeldes U zu erzeugen. Weiter umfasst die Umfeldsensorik 1 einen zweiten Umfeldsensor 30, welcher eingerichtet ist, Bilddaten aus einem zweiten Abbild des Umfeldes U zu erzeugen. Die beiden Sensoren 20, 30 sind an einem in Fahrtrichtung A vorderen Bereich des Fahrzeugs 10 angeordnet. Zudem handelt es sich bei den beiden Umfeldsensoren 20, 30 um optische Sensoren, welche im bevorzugten Ausführungsbeispiel als Lidarsensoren ausgebildet sind.
-
Das Fahrzeug 10 weist ferner eine Reinigungsvorrichtung 80 zur Reinigung der Oberflächen der Umfeldsensoren 20 und 30 auf. Die Reinigungsvorrichtung 80 ist in diesem Beispiel oberhalb der Umfeldsensoren 20 und 30 angeordnet und umfasst mindestens eine Spritzdüse durch die Wasser oder eine andere Reinigungsflüssigkeit auf die Oberflächen eines oder beider Umfeldsensoren 20, 30 gespritzt werden kann, um eine Verschmutzung des Umfeldsensors 20, 30 zu beseitigen.
-
Die Umfeldsensorik 1 weist weiterhin eine Recheneinheit 40 auf, welche eingerichtet ist, die Umfeld-Bilddaten zu analysieren. Hierfür wird eine Objekterkennung basierend auf den Umfeld-Bilddaten durchgeführt. Die aus dieser Objekterkennung resultierenden Informationen werden einer Steuerungseinrichtung 50 des Fahrzeugs 10 bereitgestellt. Die Steuerungseinrichtung 50 ist eingerichtet, das Fahrzeug 10 autonom zu steuern, also ein vollautomatisiertes Fahren, kurz VAF, des Fahrzeugs 10 zu ermöglichen.
-
Beim Betreiben des Fahrzeugs 10, also insbesondere bei einem Fahrbetrieb, kann es zu Beeinträchtigungen der Umfeldsensorik 1 kommen, aufgrund von Verschmutzungen durch Umwelteinflüsse des ersten Sensors 20 und/oder des zweiten Sensors 30. Um solche Beeinträchtigungen möglichst frühzeitig und zuverlässig zu erkennen und beseitigen zu können, und um eine mögliche fehlerbehaftete Umfelderfassung zu vermeiden, ist das in der 2 dargestellte Verfahren 60 zum Betreiben des Fahrzeugs 10 und die Umfeldsensorik 1 vorgesehen.
-
Im vorliegenden Beispiel ist der erste Umfeldsensor 20 verschmutzt.
-
Das Verfahren 60 beginnt mit dem oben beschriebenen Schritt 21 des Erzeugens der Bilddaten 2 mittels des ersten Sensors 20 und/oder des zweiten Sensors 30.
-
Im nächsten Verfahrensschritt 22 erfolgt eine Analyse der Bilddaten 2 mittels eines neuronalen Netzes.
-
Zur Bewertung der Funktionsfähigkeit der Umfeldsensorik 1 ist die Recheneinheit 40 ferner eingerichtet, eine Verschmutzung des ersten Sensors 20 und/oder des zweiten Sensors 30 basierend Auf der Analyse als Verschmutzung zu erkennen und zu bewerten, wie in der 2 als Schritt 3 dargestellt. Hierfür umfasst die Recheneinheit 40 mindestens ein neuronales Netz. Das neuronale Netz wurde vor der Inbetriebnahme des autonomen Fahrzeugs 10 mit einer möglichst großen Menge von Testdaten darauf trainiert, Verschmutzungen eines Umfeldsensors 20, 30 basierend auf durch den Umfeldsensor erzeugten Bilddaten zu erkennen und insbesondere von anderen Störungen, wie z.B. defekten Pixeln, zu unterscheiden.
-
Dabei werden beispielsweise sämtliche Pixel des ersten Umfeldsensors 20 und/oder des zweiten Umfeldsensors 30 einzeln auf eine Verschmutzung des jeweiligen Sensors hin überprüft. Alternativ oder zusätzlich können auch können zusammenhängende Pixelbereiche überprüft werden. Darauf basierend erfolgt eine Bewertung der Verschmutzung 4 des entsprechenden ersten Umfeldsensors 20 und/oder des zweiten Umfeldsensors 30. Mittels eines weiteren neuronalen Netzes kann die Auswerteeinheit 40 hierbei beurteilen, ob der aktuell betrachtete Pixel und/oder der aktuell betrachtete Pixelbereich eine sinnvolle und realistische Bildinformation erfasst hat. Eine Erkennung einer Verschmutzung kann dadurch erfolgen, dass das neuronale Netz erkennt, ob das betrachtete Pixel zeitlich unverändert ist, also bei zeitlich aufeinanderfolgend erfassten Bilddaten näherungsweise die gleiche Signalstärke aufweist. Alternativ oder zusätzlich kann das neuronale Netz beurteilen, ob die Bildinformation des betrachteten Pixels und/oder des betrachteten Pixelbereiches in Bezug auf einen Normwert in einem realistischen Bereich liegt, oder beispielsweise zu stark verdunkelt ist. Es wird demnach in Schritt 4 bewertet ob eine Verschmutzung vorhanden ist und welche Bildbereiche (Pixel) betroffen sind. Insbesondere kann ein Anteil von „verschmutzten“ Pixeln in Bezug zur Gesamtzahl der Pixel ermittelt werden, wodurch sich ein Grad der Verschmutzung ergibt.
-
Sofern das Bewerten der Verschmutzung 4 ergibt, dass keiner der Umfeldsensoren 20 oder 30 der Umfeldsensorik 1 eine Verschmutzung aufweist, wird die Umfeldsensorik 1 dementsprechend als „funktionsfähig“ klassifiziert, was durch den Schritt 41 des Verfahrens 60 dargestellt ist. Anschließend kann das Verfahren erneut ausgeführt werden, entweder unmittelbar danach, oder nach Ablauf einer vordefinierten Zeitspanne, beispielsweise 30 Minuten.
-
Wird dagegen erkannt, dass die Umfeldsensorik 1 aufgrund einer Verschmutzung oder von Pixeln zumindest teilweise nicht funktionsfähig ist, so wird das Verfahren 60 bei Schritt 42 weitergeführt, in welchem die Umfeldsensorik 1 als „nicht funktionsfähig“ oder als „teilweise nicht funktionsfähig“ klassifiziert wird. Ausgehend davon sind anschließend zwei alternative Verfahrensschritte möglich, welche in Abhängigkeit eines Grades der Verschmutzung ausgeführt werden.
-
Hierbei ergibt sich im vorliegenden Beispiel, dass der Umfeldsensor 20 verschmutzt ist, wodurch eine Mehrzahl von Pixeln keine verwertbare Umfeldinformation enthält. Der Umfeldsensor 30 weist beispielsweise keine Verschmutzung auf und alle Pixel liefern verwertbare Umfeldinformationen. Die Umfeldsensorik 1 wird also als „teilweise nicht funktionsfähig“ eingestuft.
-
Sofern der Grad der Verschmutzung des betroffenen Umfeldsensors 20 größer als beispielsweise 50% ist, das heißt, wenn 50% oder mehr der Pixel des betroffenen Umfeldsensors 20 verschmutzt sind, so erfolgt im Ansprechen darauf ein Deaktivieren vorbestimmter Fahrfunktionen 7. In diesem Fall werden Fahrfunktionen, insbesondere autonome Fahrfunktionen, welche ansonsten die ersten Bilddaten des betroffenen Umfeldsensors 20verwenden, wie beispielsweise eine Abstandsregelung, deaktiviert oder auf einen noch funktionsfähigen redundanten Umfeldsensor umgeschaltet. Dadurch können ungünstige Fahrsituationen aufgrund fehlerhafter Erfassung der Umfeldsensorik 1 vermieden werden. Im vorliegenden Beispiels ist der zweite Umfeldsensor 30, der voll funktionsfähig ist, derart angeordnet, dass der Erfassungsbereich für die von dem zweiten Umfeldsensor 30 erfassten Bilddaten aus dem zweiten Abbild des Umfeldes U sich zu einem großen Anteil mit dem Erfassungsbereich für die von dem ersten, verschmutzten Umfeldsensor 20 zu erfassenden Bilddaten aus dem ersten Abbild des Umfeldes U überlappt. Daher können Fahrfunktionen, die die Umfelddaten des ersten Umfeldsensors 20 verwenden, derart angepasst werden, dass nun stattdessen Umfelddaten des zweiten Umfeldsensors 30 verwenden werden.
-
Alternativ oder zusätzlich werden in Schritt 5 Maßnahmen zur Reinigung des verschmutzten Umfeldsensors 20eingeleitet. Dazu können in Schritt 6 Reinigungsvorrichtungen 80 des Fahrzeugs 1 aktiviert werden. Verläuft die Reinigung erfolgreich, so können die autonomen Fahrfunktionen im Anschluss wieder auf einen Normalbetrieb zurückgesetzt werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 1020162015523 A1 [0005]
- DE 102004048346 B4 [0006]
- DE 102017101508 A1 [0007]
