-
Stand der Technik
-
Die Automatisierung des Fahrens geht einher mit der Ausstattung von Fahrzeugen mit immer umfangreicheren und leistungsfähigeren Sensorsystemen zur Umfelderfassung. So ist es beispielsweise beim autonomen Fahren, aber auch zunehmend bei Fahrassistenzsystemen (Level 2-3) notwendig, eine möglichst hohe Verfügbarkeit der Sensoren und des gesamten Systems zu gewährleisten.
-
Ein Bildgebender Sensor kann durch unterschiedlichste Störungen des Aufnahmepfades degradiert sein, so z.B. durch eine Verschmutzung der Kameralinse oder der vorgelagerten Windschutzscheibe, oder einer Beschädigung der Kamera oder durch andere Umwelteinflüsse bedingt sein, wie Regen, Nebel, Schnee oder Gischt.
-
Für eine Erfassung von Umweltrepräsentationen mittels bildgebender Sensoren sind ausreichend klare Bilder der bildgebenden Sensoren besonders wichtig, um eine Verfügbarkeit der Sensoren sicherzustellen und somit die Sicherheit des Gesamtsystems zu gewährleisten.
-
Offenbarung der Erfindung
-
Bei der Interpretation der Sensordaten werden für Klassifikations- und Detektionsaufgaben Methoden des maschinellen Lernens (engl. Machine Learning) eingesetzt. Im Video-Bereich wird dabei beispielsweise mit neuronalen Netzwerken mit Faltungsschichten (engl. Convolutional Neural Networks) gearbeitet, um Objekte zu klassifizieren bzw. zu detektieren.
-
Diese Netzwerke sind ohne sehr spezielles Training nicht in der Lage ihre Funktionalität im degradierten bzw. eingeschränkten Betrieb zu gewährleisten. In der Praxis führen degradierte Bilder (Verschmutzungen, Regen etc.) sowohl mit Faltungsnetzwerken als auch mit klassischen Computer-Vision-Algorithmen zu einem fehlerhaften System-Output.
-
Es ist deshalb notwendig den Degradationsstatus der Sensorik bzw. eines gesamten Systems zur Umfelderkennung zu kennen, um frühzeitig auf eine Degradation reagieren zu können.
-
Gemäß Aspekten der Erfindung wird ein Verfahren zur Bestimmung einer Abbildungs-Degradation eines bildgebenden Sensors, ein Verfahren zum Trainieren eines neuronalen Netzwerkes zum Bestimmen einer Degradation, ein Verfahren zum Bereitstellen eines Steuersignals, eine Kontroll-Vorrichtung, ein Computerprogramm und ein maschinenlesbares Speichermedium, gemäß den Merkmalen der unabhängigen Ansprüche, vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
-
Gemäß einem Aspekt wird ein Verfahren zur Bestimmung einer Abbildungs-Degradation eines bildgebenden Sensors vorgeschlagen, das die folgenden Schritte aufweist:
- In einem Schritt des Verfahrens wird ein Bild einer Umgebung bereitgestellt, das von dem bildgebenden Sensor generiert wurde. In einem weiteren Schritt wird eine Degradation für jedes Teilbild einer Mehrzahl von Teilbildern des Bildes mittels eines dazu trainierten neuronalen Netzwerkes bestimmt. In einem weiteren Schritt wird die Abbildungs-Degradation des Sensors bestimmt, die ein Verhältnis einer Anzahl der Teilbilder des Bildes mit bestimmter Degradation zur Mehrzahl der Teilbilder aufweist.
-
In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.
-
Die Architektur eines solchen künstlichen neuronalen Netzes kann ein Faltungsnetzwerk sein. Bis auf die Eingabeschicht bestehen die unterschiedlichen Faltungsschichten aus Neuronen, die einer nichtlinearen Aktivierungsfunktion unterliegen. Ein Netzwerk das nur aus solchen Faltungsschichten besteht wird „Fully Convolutional Neural Network“ genannt.
-
Bei neuronalen Netzen kann ein Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl sein und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das mit fortschreitendem Lernen angepasst wird. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass nur dann ein Signal ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet.
-
Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern, möglicherweise nach mehrmaligem Durchlaufen der Schichten, von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht (Output-Schicht).
-
Solche neuronalen Netze müssen für ihre spezifische Aufgabe trainiert werden. Dabei erhält jedes Neuron der entsprechenden Architektur des neuronalen Netzes z. B. ein zufälliges Anfangs-Gewicht. Dann werden die Eingangs-Daten in das Netzwerk gegeben, und jedes Neuron kann die Eingangs-Signale mit seinem Gewicht gewichten und gibt das Ergebnis weiter an die Neuronen der nächsten Schicht. An der Output-Schicht wird dann das Gesamt-Ergebnis bereitgestellt. Die Größe des Fehlers kann berechnet werden, sowie der Anteil, den jedes Neuron an diesem Fehler hatte, um dann das Gewicht jedes Neurons in die Richtung zu verändern, die den Fehler minimiert. Dann erfolgen rekursiv Durchläufe, erneute Messungen des Fehlers und Anpassung der Gewichte, bis ein Fehlerkriterium erfüllt ist.
-
Ein solches Fehlerkriterium kann z.B. der Klassifikationsfehler auf einem Test-Daten-Set sein, oder auch ein aktueller Wert einer Loss-Funktion, beispielsweise auf einem Trainings-Daten-Set. Alternativ oder zusätzlich kann das Fehlerkriterium ein Abbruchkriterium als einen Schritt betreffen, bei dem im Training ein Overfitting einsetzen würde oder die verfügbare Zeit zum Training abgelaufen ist.
-
Das Bild der Umgebung kann dem trainierten neuronalen Netzwerk in digitaler Form als Eingangssignal bereitgestellt werden.
-
Eine Mehrzahl von Teilbildern des Bildes der Umgebung kann eine kleine Anzahl von Teilbilder wie beispielsweise zwei oder drei Teilbilder umfassen, die Mehrzahl kann auch 100 Teilbilder umfassen oder das Bild kann eine noch viel höhere Anzahl von Teilbildern aufweisen. Eine Größe eines solchen Teilbildes kann entsprechend den Anforderungen beliebig gewählt werden, beispielsweise kann ein Teilbild eine Größe von 320x320 Pixel aufweisen.
-
Die Degradation der Abbildung des bildgebenden Sensors, bzw. die Degradation jedes Teilbilds des Bildes, kann durch Beeinträchtigungen, die der bildgebende Sensor insbesondere im Betrieb erfahren hat, wie z. B. Regen, Schnee, Kratzer, Beschlag, Staub, Nebel, Blendeffekte von beispielsweise einer tiefstehenden Sonne, Blätter und/oder andere Verschmutzungen, hervorgerufen werden.
-
Mit anderen Worten wird bei diesem Verfahren die Abbildung-Degradation des bildgebenden Sensors dadurch erkannt, dass das Bild der Umgebung in eine Mehrzahl von Teilbilder unterteilt wird und mit einem trainierten Faltungsnetzwerk für jedes Teilbild eine jeweilige Degradation bestimmt wird. Mit Hilfe der bestimmten Degradation der Teilbilder kann dann die Abbildungs-Degradation des bildgebenden Sensors bestimmt werden. Dabei kann die Abbildungs-Degradation insbesondere durch ein Verhältnis einer Anzahl von Teilbildern des Bildes mit Degradation zu einer Anzahl von Teilbildern ohne Degradation sein.
-
Mit diesem Verfahren zur Bestimmung der Abbildung-Degradation eines bildgebenden Sensors können auch andere gängige Video-Algorithmen zur Erkennung von Objekten der Umgebung, die beispielsweise auf neuronalen Faltungsnetzen beruhen, unterstützt und deren Ergebnisse verifiziert oder falsifiziert werden, da beispielsweise Objekte der Umgebung von Video-Algorithmen erkannt werden, die aus Teilbildern des Bildes der Umgebung abgeleitet werden, die für eine sichere Objekterkennung zu stark degradiert sind. Solche Objekte, die in degradierten Teilbildern detektiert wurden, können beispielsweise dann verworfen werden.
-
Weiterhin vorteilhaft kann mit diesem Verfahren eine noch ausreichende Teilfunktionalität des bildgebenden Sensors definiert werden, so dass der bildgebende Sensor trotz Teileinschränkungen weiterhin für eine Objekterkennung der Umgebung verwendet werden kann. Dadurch ergibt sich eine höhere Verfügbarkeit des Systems zur Objekterkennung bzw. des bildgebenden Sensors.
-
Sofern die Abbildung-Degradation ein gewisses vordefiniertes Ausmaß überschritten hat, kann das System sicher, rechtzeitig und kontrolliert abgeschaltet werden, um einen für die jeweilige Verwendung ausreichend sicheren Betrieb zu gewährleisten. Mittels der Information über die Abbildung-Degradation des bildgebenden Sensors, die aus dem Verfahren abgeleitet werden kann, können darüber hinaus Freihaltefunktionen, wie Reinigungsfunktionen, ausgelöst werden, um eine Verfügbarkeit des bildgebenden Sensors bzw. eines Gesamtsystems zur Objekterkennung aufrechtzuerhalten bzw. wiederherzustellen.
-
Die Abbildung-Degradation bzw. Sensorblindheit des bildgebenden Sensors kann mit diesem Verfahren bestimmt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die bestimmte Abbildungs-Degradation eine Lokalisierung der degradierten Teilbilder in dem jeweiligen Bild aufweist.
-
Dadurch, dass bei dem Verfahren die Abbildung-Degradation eines bildgebenden Sensors jeweils für ein Teilbild einer Mehrzahl von Teilbildern des Bildes bestimmt wird, kann das jeweilige Teilbild verwendet werden, um den Ort in dem Bild zu bestimmen, in dem die Degradation bestimmt wurde.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das bereitgestellte Bild in eine Mehrzahl von Teilbildern des Bildes unterteilt wird, um die Degradation für jedes Teilbild der Mehrzahl der Teilbilder mittels des dazu trainierten neuronalen Netzwerkes zu bestimmen.
-
Dadurch, dass das Bild in eine Mehrzahl von Teilbildern unterteilt wird, kann vorteilhafterweise für das Bestimmen der Degradation des jeweiligen Teilbildes ein entsprechend trainiertes neuronales Netz verwendet werden, ohne dass das trainierte neuronale Netz eingerichtet ist, das Bild in Teilbilder zu unterteilen.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das neuronale Netzwerk ein neuronales Faltungsnetzwerk ist und das neuronale Faltungsnetzwerk eingerichtet ist, für jedes Teilbild der Mehrzahl von Teilbildern des Bildes der Umgebung die Degradation zu bestimmen.
-
Dadurch, dass das neuronale Faltungsnetzwerk eingerichtet ist, die Degradation von Teilbildern einer Mehrzahl von Teilbildern des Bildes in Bezug auf die Degradation zu bestimmen, ist es nicht notwendig das Bild vorher in Teilbilder zu unterteilen, wodurch das Verfahren für die Durchführung weniger Ressourcen in Bezug auf eine Hardware bzw. in Bezug auf eine Bearbeitungszeit benötigt.
-
Anders ausgedrückt wird das Faltungsnetzwerk zwar auf Teilbildern trainiert und kennt somit auch nur Teilbilder. Es funktioniert jedoch trotzdem mit einem Gesamt-Bild, dass aus einer Mehrzahl von Teilbildern besteht. Das Netzwerk unterteilt das Eingangsbild selbst in Teilbilder. Gleichzeitig klassifizierte und lokalisiert es diese.
-
Dabei kann ein für dieses Verfahren geeignetes neuronales Faltungsnetzwerk ausschließlich Faltungsschichten und Max-Pooling-Schichten aufweisen. Wobei die letzte Schicht des neuronalen Faltungsnetzwerkes eine Output-Schicht ist, die mittels Faltungsoperationen ein entsprechendes Klassifikationsergebnis des neuronalen Faltungsnetzwerkes generiert und bereitstellt.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das neuronale Faltungsnetzwerk in einer vorletzten Faltungsschicht eine Kernel-Größe (engl. „kernel size“) und eine Schrittgröße (engl. „step size“) aufweist, die einer Input-Größe der letzten Faltungsschicht entspricht und die letzte Faltungsschicht eine Null-Padding-Strategie aufweist.
-
D. h. mit anderen Worten, dass die Kernel-Größe und die Schrittgröße der vorletzten Faltungsschicht, die der Output-Schicht direkt angrenzend ist, exakt der verbleibenden Input-Größe für die vorletzte Faltungsschicht entsprechen. Dadurch werden die Teilbilder des Bildes am Eingang des neuronalen Faltungsnetzwerkes im Featurespace korrekt der jeweiligen bestimmten Degradation in der Output-Schicht zugeordnet.
-
Mit dieser Gesamt-Struktur kann das neuronale Faltungsnetzwerk das Bild in die Mehrzahl von Teilbildern unterteilen und jeweils entsprechend für die jeweiligen Teilbilder eine Degradation bestimmen.
-
Beispiel:
-
Für eine Eingangs Feature map von: [5x5xAnzahl_features] muss die vorletzte Faltungsschicht wie folgt parametrisiert werden:
- Faltung2d (Kernel Größe = [5,5], Schrittgröße =5, padding=„ja“)
-
Mit einem solchen neuronalen Faltungsnetzwerk (engl. „Fully Convolutional Neural Network“) kann ein Teilbild eines Bildes, also ein Teilbild, das kleiner ist als ein Bild, das die Umgebung repräsentiert, mittels einer ersten Anzahl von Faltungs-Schichten und einer zweiten Anzahl von Max-Pooling-Schichten immer kleiner gefaltet werden, bis für die Output-Schicht (engl. output-layer) bzw. die Klassifikationsschicht nur noch eine Input Größe von [1x1x anzahl _features] übrig ist, die für dieses Teilbild eine Degradation, also ein degradiertes Teilbild oder ein nicht-degradiertes Teilbild, bestimmt.
-
Die genaue Anordnung, Größe und Anzahl der Faltungs- und Max-Pooling Schichten kann unterschiedlich ausgeführt sein. Es ist lediglich relevant das Teilbild vollständig auf eine Größe [1x1x anzahl resultierender_features] klein zu falten. Für alle Eingangs-Bilder deren Höhe h und Breite b nicht ein Vielfaches der Teilbild-Größe P ist, kann ein spezielles „border handling“ vorgenommen werden. Die Rand- Pixel, die nicht in ein Teilbild fallen, könnten ignorieret werden, da sie nicht relevant bzw. zu vernachlässigen sein sollen oder das Eingangs-Bild, kann entsprechend skaliert werden, z. B. durch 0-padding, damit Höhe h und Breite b ein Vielfaches von P sind. Alternativ oder zusätzlich kann ein Bild auch passend skaliert werden.
-
Alternativ könnte man das Faltungsnetzwerk nur mit Teilbilder der Patchgröße/Teilbildgröße P betreiben. Hier müsste man jedoch von Hand dafür sorgen, dass das Eingangsbild in Teilbilder zerlegt wird, die dann in das Faltungsnetzwerk zur Degradation Klassifikation gegeben werden. Bei Verwendung des vorgestellten Faltungsnetzwerkes hätte der vorletzte layer dann keine Wirkung.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die Degradation der Teilbildern mittels des neuronalen Netzwerkes als degradiert oder nicht-degradiert bestimmt wird.
-
Mit anderen Worten kann die Degradation mit zwei Werten, degradiert oder nicht-degradiert, beschrieben werden. Dabei kann ein Ausmaß der Degradation, insbesondere beim Training des neuronalen Netzwerkes, bestimmt werden, wobei abhängig von einem Ausmaß der Degradation das jeweilige Teilbild als degradiert bzw. nicht-degradiert klassifiziert wird.
-
Gemäß einem Aspekt wird vorgeschlagen, dass die Degradation der Teilbilder mittels des neuronalen Netzwerkes mit einer Mehrzahl von Degradations-Kategorien bestimmt wird und die Degradation des jeweiligen Teilbildes zur Bestimmung der Abbildung-Degradation von der bestimmten Degradations-Kategorie abhängt.
-
Dabei kann die Degradations-Kategorie gewissen Anforderungen entsprechend angepasst werden und entweder ein Ausmaß der Degradation betreffen und/oder auf eine Ursache für die Degradation, wie beispielsweise Regen, Schnee, Kratzer, Nebel, Blendeffekte (tief stehende Sonne), Blätter sowie Verschmutzungen aller Art, zurückgeführt werden. Das Ergebnis einer solchen Degradations-Kategorie die für das jeweilige Teilbild bestimmt wird, kann dann auf Werte der Degradation, nämlich degradiert oder nicht- degradiert, gemappt werden.
-
Alternativ oder zusätzlich können die Degradations-Kategorien auch direkt als Klassifikations-Output-Größen verwendet werden. Der Zustand „Degradiert“ kann dann beispielsweise in Kategorien wie: Regen, Schnee, Nebel etc. unterteilt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass der bildgebende Sensor eine optische Kamera und/oder ein Videosystem und/oder LIDAR-System und/oder ein RADAR-System und/oder eine Time-of-Flight Kamera ist.
-
Dadurch, dass dieses Verfahren für den jeweiligen bildgebenden Sensor mittels des neuronalen Netzwerkes trainiert werden kann, kann es an die unterschiedlichen Sensor-Typen unter Vorrausetzung von Sensorspezifischen Trainings Daten angepasst werden.
-
Es wird ein Verfahren zum Trainieren eines neuronalen Netzwerkes zum Bestimmen einer Degradation für jedes Teilbild einer Mehrzahl von Teilbildern eines Bildes einer Umgebung mit einer Vielzahl von Trainings-Zyklen, entsprechend einem der oben beschriebenen Verfahren, vorgeschlagen, wobei jeder Trainings-Zyklus die folgenden Schritte aufweist:
- In einem Schritt wird ein Ground-Truth-Bild bereitgestellt, wobei jedes Teilbild einer Mehrzahl von Teilbildern des Ground Truth-Bildes in Bezug auf eine Degradation des Teilbildes gelabelt ist. In einem weiteren Schritt wird die Degradation des jeweiligen Teilbildes des Ground Truth-Bildes mit dem neuronalen Netzwerk bestimmt. In einem weiteren Schritt wird das neuronale Netzwerk adaptiert, um bei dem Bestimmen der Degradation des jeweiligen Teilbildes des Ground Truth-Bildes eine Abweichung der mit dem neuronalen Netzwerk bestimmten Degradation von der gelabelten Degradation des jeweiligen Teilbildes des Ground Truth-Bildes zu minimieren.
-
Dabei sind Ground-Truth-Bilder solche Bilder, die insbesondere speziell für das Anlernen eines maschinellen Lern-Systems, wie einem neuronalen Netzwerk bzw. einem neuronalen Faltungsnetzwerk, mittels des betroffenen bildgebenden Sensors generiert und beispielsweise manuell selektiert und beispielsweise anhand eines Label Guides annotiert wurden oder synthetisch, beispielsweise durch Simulation von Regen Schnee etc. direkt auf eine Bild, generiert wurden, und bei denen die Mehrzahl der Teilbilder der Ground-Truth-Bilder in Bezug auf die Degradation der Teilbilder gelabelt sind. Beispielsweise kann ein solches Labeln der Teilbilder manuell, entsprechend definierter Vorgaben für das Bestimmen einer Degradation oder Klassifikation, erfolgen.
-
Mit diesem Verfahren kann ein neuronales Netzwerk bzw. ein neuronales Faltungsnetzwerkes trainiert werden, das in den hier beschriebenen Verfahren zur Bestimmung der Abbildung-Degradation des bildgebenden Sensors verwendet werden kann.
-
Dabei kann das Bild des bildgebenden Sensors in digitaler Form dem trainierten neuronalen Netzwerk als Eingangssignal bereitgestellt werden.
-
Ein solches trainiertes neuronales Netzwerk bzw. neuronales Faltungsnetzwerk kann nach dem Training ohne die Ground-Truth-Bilder, die für das Training verwendet wurden, in unterschiedlichen Systemen eingesetzt werden.
-
Gemäß einem Aspekt wird vorgeschlagen, dass das neuronale Netzwerk eines der oben beschriebenen neuronalen Faltungsnetzwerke ist und das bereitgestellte Ground Truth-Bild zumindest ein Teilbild aufweist, das jeweils mit der zugehörigen Degradation gelabelt ist. Alternativ oder zusätzlich kann das bereitgestellte Ground Truth-Bild genau ein Teilbild einer Umgebung aufweisen, das mit der zugehörigen Degradation gelabelt ist.
-
Ein solches Faltungsnetzwerk (engl. „Fully Convolutional Network“) kann somit mit einzelnen Teilbildern, die gelabelt sind, trainiert werden, wobei dann trotzdem eine Degradation von Teilbildern in einem Gesamtbild mit einem solchen neuronalen Faltungsnetzwerk bestimmt werden kann und auch eine Zuordnung zu unterschiedlichen Bereichen des Bildes mit einer Mehrzahl von Teilbildern erfolgen kann. Alternativ oder zusätzlich kann das neuronale Faltungsnetzwerk auch mit Bildern, die mehrere Teilbilder aufweisen, trainiert werden, wobei jedes der Teilbilder, die das Bild aufweist, gelabelt ist.
-
D. h. mit anderen Worten, kann für das Verfahren zur Bestimmung der Abbildung-Degradation des bildgebenden Sensors ein neuronales Faltungsnetzwerk, wie es oben beschrieben ist, verwendet werden, wobei das beschriebene neuronale Faltungsnetzwerk das Bild zur Bestimmung der Abbildungs-Degradation in eine Mehrzahl von Teilbildern unterteilt und für ein jeweiliges Teilbild eine Degradation bestimmt. Insbesondere kann dieses neuronale Faltungsnetzwerk sowohl mit einzelnen Teilbildern als auch mit Bildern, die mehrere Teilbilder aufweisen, trainiert werden.
-
Es wird ein Verfahren vorgeschlagen bei dem, basierend auf einer, mit einem der oben beschriebenen Verfahren bestimmten, Abbildungs-Degradation eines bildgebenden Sensors, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf der bestimmten Abbildungs-Degradation des bildgebenden Sensors ein Warnsignal zur Warnung eines Fahrzeuginsassen bereitgestellt wird; und/ oder basierend auf der bestimmten Abbildungs-Degradation des bildgebenden Sensors ein Aktuator angesteuert wird.
-
Der Begriff „basierend auf“ ist in Bezug auf das Merkmal, dass ein Steuersignal basierend auf einer, mit einem der oben beschriebenen Verfahren bestimmten, Abbildungs-Degradation eines bildgebenden Sensors bereitgestellt wird, breit zu verstehen. Er ist so zu verstehen, dass die bestimmte Abbildungs-Degeneration des bildgebenden Sensors für jedwede Bestimmung oder Berechnung eines Steuersignals herangezogen wird, wobei das nicht ausschließt, dass auch noch andere Eingangsgrößen für diese Bestimmung des Steuersignals herangezogen werden. Dies gilt entsprechend für die Bereitstellung eines Warnsignals. Ebenso gilt dies entsprechend für das Ansteuern des Aktuators.
-
Mit einem solchen Verfahren zur Bereitstellung eines Steuersignals kann abhängig von der Abbildungs-Degeneration eines bildgebenden Sensors unterschiedlich auf diese Abbildungs-Degeneration reagiert werden. So kann mit dem Verfahren bei der Verwendung mit hochautomatisierten Systemen ein Übergang in einen sicheren Zustand eingeleitet werden. Beispielsweise kann dies bei einem zumindest teilautomatisierten Fahrzeug zu einem langsamen Anhalten auf dem Seitenstreifen führen. Die Bereitstellung eines Steuersignals zum Ansteuern eines Aktuators kann beispielsweise bei Vorhandensein von Freihalte- oder Waschfunktionen, z.B. mit Aktuatoren wie Spritzdüsen und Scheibenwischern für eine Sensoroberfläche, eine Reinigung mit unterschiedlicher Intensität aktivieren.
-
Gemäß einem Aspekt wird eine Kontroll-Vorrichtung angegeben, die ein oben beschriebenes neuronales Netz aufweist, welches entsprechend einem der oben beschriebenen Verfahren trainiert wurde. Mit einer solchen Vorrichtung kann das entsprechende Verfahren leicht in unterschiedliche Systeme integriert werden.
-
Es wird vorgeschlagen eines der oben beschriebenen Verfahren zur Bestimmung einer Abbildungs-Degradation eines bildgebenden Sensors zu verwenden, um eine Abbildungs-Degradation eines bildgebenden Sensors zu bestimmen.
-
Gemäß einem Aspekt wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.
-
Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist. Mittels eines solchen maschinenlesbaren Speichermediums ist das oben beschriebene Computerprogramm transportabel.
-
Figurenliste
-
Ausführungsbeispiele der Erfindung werden mit Bezug auf die 1 bis 3 dargestellt und im Folgenden näher erläutert. Es zeigen:
- 1 degradierte und nicht degradierte Teilbilder;
- 2 ein Faltungsnetzwerk; und
- 3 ein Bild einer Umgebung unterteilt in eine Mehrzahl von Teilbildern, wobei einige der Teilbilder degradiert sind.
-
Die 1 skizziert schematisch die Teilbilder 110, 120, 130, 140 zum Trainieren eines neuronalen Faltungsnetzwerks, von denen die Teilbilder 110 und 130 degradiert sind.
-
Die 2 zeigt schematisch einen Aufbau eines neuronalen Faltungsnetzwerks 200 mit einem Bild einer Umgebung 210, Faltungsschichten 220, 230, 240, 250 und Max-Pooling-Schichten 235, 245, 255 und einer Output-Schicht 260 mit einer, mit dem trainierten neuronalen Faltungsnetzwerk bestimmten,
-
Degradation der jeweiligen Teilbilder.
-
Exemplarisch kann dem neuronalen Faltungsnetzwerk, das mit Teilbildern der Größe [320x320] Pixeln trainiert wurde, ein Eingangs-Bild mit der Größe von [1920x640x3] Pixeln bereitgestellt werden. Durch mehrere Faltungs- und Pooling-Schichten kann das Bild bis auf eine Größe von [1x1x Anzahl_Features] runter gebrochen werden. Durch die Wahl von 2 Klassen (degradiert und nicht-degradiert) entsteht nun am Ausgang des Netzwerkes ein [6x2] großer Ausgangs Vektor mit der korrespondierenden Teilbild Klassifizierung in Bezug auf die Degradation. Der Ausgang entspricht der Abbildungsdegradation.
-
Die 3 skizziert ein Bild einer Umgebung, das eine Mehrzahl von Teilbildern 310 bis 312 aufweist und bei dem die Teilbilder 309 bis 312 als degradiert bestimmt wurden. Bei diesen vier Bildern kann die Degradation auf ein Verdecken des Bildfeldes der betroffenen Teilbilder 309 bis 312 des Bildes der Umgebung durch einen Scheibenwischer zurückgeführt werden.
