DE102022207416B3 - Computerimplementiertes Verfahren zum Erkennen von Verdeckungen eines Bildgebungssensors - Google Patents

Abstract

Computerimplementiertes Verfahren zum Erkennen von Verdeckungen (1) eines Bildgebungssensors (2), wobei ein künstliches neuronales Netzwerk (ANN) eingesetzt wird, das auf Bildern des Bildgebungssensors (2) und/oder simulierten Bildern für Klassifizierung, Lokalisierung und/oder Verfolgung von Objekten und/oder Bildsegmentierung trainiert, validiert und/oder getestet wurde (V1); in der Einsatzphase ein Bild (Eingangsbild1) des Bildgebungssensors (2) erhalten wird (V2); das Bild (Eingangsbild1) mehrmals durch das künstliche neuronale Netzwerk (ANN) vorwärtsgespeist wird (V3); in jeweiligen Vorwärtspfaden (FWP1-FWP3) Sub-Modelle des künstlichen neuronalen Netzwerks (ANN) modelliert werden und Vorhersage-Wahrscheinlichkeiten (Vorhersage 1-Vorhersage 3) hinsichtlich Klassifizierung, Lokalisierung und/oder Verfolgung von Objekten und/oder Bildsegmentierung der Sub-Modelle erhalten werden (V4); durch Vergleich der Vorhersage-Wahrscheinlichkeiten (Vorhersage 1-Vorhersage 3) eine Modellunsicherheit bestimmt wird (V5); aus Abweichungen (Diff) der Vorhersage-Wahrscheinlichkeiten (Vorhersage 1-Vorhersage 3) die Verdeckungen (1) des Bildgebungssensors (2) erhalten werden (V6).

Description

• Die Erfindung betrifft ein computerimplementiertes Verfahren zum Erkennen von Verdeckungen eines Bildgebungssensors.
• Folgende Definitionen, Beschreibungen und Ausführungen behalten ihre jeweilige Bedeutung für und finden Anwendung auf den gesamten offenbarten Erfindungsgegenstand.
• Üblicherweise wird ein Maschinenlernmodell, zum Beispiel ein künstliches neuronales Netzwerk, beispielsweise ein Faltungsnetzwerk, mit Trainingsdaten geschult, wobei während diesem Trainingsprozess, Gewichte von Verbindungen von Neuronen eingestellt werden, beispielsweise mittels Gradient Descent Verfahren, um eine Verlustfunktion des Maschinenlernmodells zu minimieren. Damit werden Vorhersagen auf den Trainingsdaten aus den Trainingsdaten gelernt. Nach dem Training wird das Maschinenlernmodell mit Validierungsdaten validiert, das heißt Vorhersagefehler des Maschinenlernmodells werden minimiert. Zum Beispiel kann ein Datensatz aufgeteilt werden in Trainingsdaten und Validierungsdaten, wobei das Verhältnis beispielsweise 70:30, 80:20 oder 90:10 betragen kann. Nach dem Validierungsprozess wird das Maschinenlernmodell mit Testdaten auf Generalisierung getestet, um eine Überanpassung, auch overfitting, an die Trainingsdaten zu vermeiden.
• Nach dem Trainingsprozess werden die Gewichte, gegebenenfalls auch weitere Parameter, des Maschinenlernmodells eingefroren für einen Einsatz des Maschinenlernmodell, das heißt zur Bereitstellung in einem Produkt oder System.
• In realen Anwendungen, beispielsweise dem autonomen Fahren, sind jedoch zu einem bestimmten Zeitpunkt mit Verdeckungen, Blockierungen, Okklusionen von Umfelderfassungssensoren zu rechnen. Die Begriffe Verdeckung, Blockierung und Okklusion werden synonym verwendet.
• Die Qualität der Ausgabe eines künstlichen neuronalen Netzwerks, das auf neuen Daten eingesetzt wird, die nicht zum Zeitpunkt des Trainings verwendet wurden, wird durch die Architektur und die für das Training verwendeten Daten begrenzt. Weichen die zur Inferenzzeit verwendeten Daten stark von den Trainingsdaten ab, gibt das künstliche neuronale Netzwerk keine sinnvollen Vorhersagen aus.
• Dies wird zu einem Problem für Sensor basierte, beispielsweise Kamera basierte, Erkennung und Segmentierung relevant, wenn der Sensor oder ein Teil des Sensors verdeckt ist, beispielsweise durch Beschädigung. Dies kann zu einem verzerrten Bild führen, da die Okklusionserkennung nicht Bestandteil des Trainings war. Somit gibt das künstliche neuronale Netzwerk für die betreffenden Pixel, in denen es nichts sehen kann, falsche Klassen aus. Dies kann zu schweren Sicherheitsgefahren führen. Dies ist besonders kritisch, da das künstliche neuronale Netzwerk sich der Okklusion und der Unsicherheit in seiner eigenen Vorhersage nicht bewusst ist.
• Die US 2020/0133281 A1 offenbart ein Sicherheitssystem für ein Fahrzeug, wobei Unsicherheitsdaten ermittelt werden, die auf Unsicherheit in einer oder mehreren Vorhersagen eines Fahrmodells während des Betriebs eines Fahrzeugs hinweisen.
• Die US 9 406 017 B2 offenbart ein System zum Trainieren eines künstlichen neuronalen Netzwerks. Ein Schalter ist mit Gewichten in mindestens einigen Schichten des Netzwerks verbunden. In jeder Trainingsepoche schaltet der Schalter wahlweise jedes der Gewichte entsprechend einer vorkonfigurierten Wahrscheinlichkeit aus. Dieses Verfahren ist als Dropout bekannt.
• Die DE 10 2021 103 200 B3 offenbart ein Verfahren zum Bestimmen eines Degradationsgrads eines mittels einer Kamera (4) eines Assistenzsystems (2) eines Kraftfahrzeugs aufgenommenen Bilds.
• Weiterer Stand der Technik offenbart beispielsweise URICAR, Michal, et al.Soilingnet: Soiling detection on automotive surround-view cameras. In: 2019 IEEE Intelligent Transportation Systems Conference (ITSC). IEEE, 2019. S. 67-72.
• Aufgabe der Erfindung war es, wie in der Einsatzphase eines künstlichen neuronalen Netzwerks Verdeckungen eines Bildgebungssensors zur Laufzeit erkannt werden können.
• Der Gegenstand des Anspruchs 1 löst diese Aufgabe. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Definitionen, den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.
• Nach einem Aspekt stellt die Erfindung ein computerimplementiertes Verfahren zum Erkennen von Verdeckungen eines Bildgebungssensors. Ein künstliches neuronales Netzwerk wird eingesetzt. Das künstliche neuronale Netzwerk wurde auf Bildern des Bildgebungssensors und/oder simulierten Bildern für Klassifizierung, Lokalisierung und/oder Verfolgung von Objekten und/oder Bildsegmentierung trainiert, validiert und/oder getestet. In der Einsatzphase wird ein Bild des Bildgebungssensors erhalten. Das Bild wird mehrmals durch das künstliche neuronale Netzwerk vorwärtsgespeist. In jeweiligen Vorwärtspfaden werden Sub-Modelle des künstlichen neuronalen Netzwerks modelliert und Vorhersage-Wahrscheinlichkeiten hinsichtlich Klassifizierung, Lokalisierung und/oder Verfolgung von Objekten und/oder Bildsegmentierung der Sub-Modelle erhalten werden. Durch Vergleich der Vorhersage-Wahrscheinlichkeiten wird eine Modellunsicherheit bestimmt. Aus Abweichungen der Vorhersage-Wahrscheinlichkeiten werden die Verdeckungen des Bildgebungssensors erhalten.
• Damit wird ein Verfahren vorgeschlagen, das die Vorhersagen eines Maschinenlernmodells verwendet, um Verdeckungen eines Bildgebungssensors in mit dem Bildgebungssensor erhaltenen Bildern mit Methoden zur Unsicherheitsschätzung zu erkennen. Die Unsicherheitsschätzung stellt eine spezifische technische Umsetzung der Erkennung von Verdeckungen in Bildern des Bildgebungssensors dar, an die das künstliche neuronale Netzwerk durch Bestimmung der Modellunsicherheit angepasst wird.
• Lokalisieren von Objekten kann eine Abstandsbestimmung umfassen. Verfolgung von Objekten bedeutet, Objekte über die Zeit zu verfolgen, auch tracking genannt.
• Der Begriff Modellunsicherheit, auch epistemische Unsicherheit bezeichnet, wird so verstanden, dass er sich auf Unsicherheit bezieht, die von mangelndem Wissen bei der Darstellung von Modellparametern stammt, insbesondere in dem Szenario beschränkter Daten. Im Gegensatz dazu wird der Begriff aleatorische Unsicherheit, auch als Eingabeunsicherheit bezeichnet, so verstanden, dass er sich auf Unsicherheit bezieht, die von zu der Beobachtung gehörendem Rauschen stammt. Die Ursache für diesen Typ von Unsicherheit kann Rauschen von einem oder mehreren Sensoren sein.
• Nach einem weiteren Aspekt stellt die Erfindung ein Computerprogramm bereit. Das Computerprogramm umfasst Befehle, die einen Computer veranlassen, das erfindungsgemäße Verfahren auszuführen, wenn der Computer das Computerprogramm ausführt.
• Die Befehle des erfindungsgemäßen Computerprogramms umfassen Maschinenbefehle, Quelltext oder Objektcode geschrieben in Assemblersprache, einer objektorientierten Programmiersprache, beispielsweise C++, oder in einer prozeduralen Programmiersprache, beispielsweise C. Das Computerprogramm ist nach einem Aspekt der Erfindung eine Hardware unabhängiges Anwendungsprogramm, das beispielsweise über einen Datenträger oder das Datenträgersignal, nach einem Aspekt mittels Software Over The Air Technologie, für eine beliebige Hardware bereitgestellt wird. Der Datenträger umfasst flüchtige Speicher, beispielsweise RAM, DRAM, SRAM, und nichtflüchtige Speicher, beispielsweise ROM, Flash-EEPROM. Die Datenträger sind beispielsweise Flash-Speicherkarten, USB-Sticks. Nach einem weiteren Aspekt ist das Computerprogramm eine Hardware abhängiges Programm, beispielsweise eine Firmware der Auswerteeinheit des Transportsystems.
• Vorstellbar ist auch ein automatisiertes Transportsystem zum Transportieren von Personen und/oder Gegenständen bereit. Das Transportsystem umfasst wenigstens einen Umfelderfassungssensor und eine Auswerteeinheit. Während eines Betriebs des Transportsystems führt die Auswerteeinrichtung ein künstliches neuronales Netzwerk aus. Das künstliche neuronale Netzwerk wurde auf Bildern des Umfelderfassungssensors und/oder simulierten Bildern für Klassifizierung, Lokalisierung und/oder Verfolgung von Objekten und/oder Bildsegmentierung trainiert, validiert und/oder getestet. Das künstliche neuronale Netzwerk inferiert auf Bildern des Umfelderfassungssensors zur Klassifizierung, Lokalisierung und/oder Verfolgung von Objekten und/oder Bildsegmentierung. Die Auswerteinrichtung erkennt Verdeckungen des Bildgebungssensors durch Ausführen der Schritte gemäß dem erfindungsgemäßen Verfahren.
• Automatisierte Transportsystem dienen dem Transport von Gegenständen, Gütern, Frachten und/oder Personen. Automatisierte Transportsysteme umfassen innerbetriebliche Transportsysteme, beispielsweise fahrerlose Transportfahrzeuge, beispielsweise Kleinteileladungsträger. Automatisierte Transportsysteme umfassen ferner arealgebundene Transportsysteme, beispielsweise Terminal-Zugmaschinen für den Einsatz in Häfen oder Portalhubwägen. Automatisierte Transportsysteme umfassen des Weiteren private Transportsysteme, beispielsweise Personenkraftwagen oder Nutzfahrzeuge. Automatisierte Transportsysteme umfassen auch Transportsysteme des öffentlichen Nah- und/oder Fernverkehrs, beispielsweise Züge, Busse oder Shuttles. Automatisiert bedeutet, dass das Transportsystem ausgeführt ist, eine Fahraufgabe automatisiert durchzuführen. Automatisiert umfasst teilweise automatisiertes Durchführen der Fahraufgabe mit Mitverantwortung eines menschlichen Fahrers bis hin zu autonomen, das heißt fahrerlosem, Durchführen der Fahraufgabe. Beispielsweise umspannt der Begriff automatisiert alle Stufen der Norm SAE J3016. System bezeichnet die Komponenten und Funktionalitäten auf Systemebene als auch das automatisierte Transportsystem, beispielsweise ein automatisiertes Fahrzeug, als solches.
• Der Umfelderfassungssensor des automatisierten Transportsystems ist beispielsweise eine Kamera, ein Radar, Lidar-, Infrarot-, Ultraschallsensor. Bei einem Infrarotsensor werden Wärmebilder erhalten. Nach einem Aspekt umfasst das automatisierte Transportsystem mehrere der voran genannten Umfelderfassungssensoren, einzelnd und/oder in einer Kombination.
• Die Auswerteeinheit des automatisierten Transportsystems kann ein Computer oder ein Computermodul sein umfassend beispielsweise anwendungsspezifische integrierte Schaltkreise, abgekürzt ASICs, integrierte Schaltkreise mit ladbaren logischen Schaltungen, abgekürzt FPGAs, Zentralcomputer, abgekürzt CPUs, Hardwarebeschleuniger, beispielsweise Graphikprozessoren, abgekürzt GPUs, Tensor-Prozessier-Einheiten, abgekürzt TCUs. Die Auswerteeinheit ist nach einem Aspekt ein System on Chip, abgekürzt SoC. Das SoC ist beispielsweise in ein Bordnetzwerk des automatisierten Transportsystems eingebettet.
• Nach einem weiteren Aspekt werden die Sub-Modelle mittels Monte Carlo Dropout Vorwärtsspeisungen modelliert werden. Dabei werden mehrere Vorwärtspfade des künstlichen neuronalen Netzwerks pro Einzelbild x jeweils mit unterschiedlichen, auf Monte Carlo Simulation basierenden, Dropout-Masken fⁱ(x)∈(f⁰(x),f¹(x),...,f^T(x)} prozessiert. Jeder dieser Vorwärtspfade stell ein Sub-Modell des künstlichen neuronalen Netzwerks dar. Der prädiktive posteriorer Mittelwert p, auch predictive posterior mean genannt, ist dann gegeben als $p=\frac{1}{T}{\displaystyle \sum {}_{i=0}^T{ƒ}^i\left(x\right).}$

  

  Die Unsicherheit c ist gegeben als $c=\frac{1}{T}{\displaystyle \sum {}_{i=0}^T{\left[{ƒ}^i\left(x\right)-p\right]}^2.}$

  

  Beispielsweise kann in Keras, einer in Python geschriebenen Open Source Deep-Learning-Bibliothek mit einer anwendungsspezifischen Programmierschnittstelle unter anderem für TensorFlow, Monte Carlo Dropout implementiert werden.
• Nach einem weiteren Aspekt werden die Modellunsicherheiten mit Bayesischen künstlichen neuronalen Netzwerken oder Input Sampel Noise Verfahren bestimmt.
• Erfindungsgemäß können beliebige Verfahren zur Bestimmung der Modellunsicherheiten angewendet werden.
• Nach einem weiteren Aspekt werden bei Bildsegmentierung die Abweichungen semantischer Vorhersage-Wahrscheinlichkeiten pixelweise bestimmt werden und die Abweichungen in einer Bilddarstellung ausgegeben werden. Damit kann die Verdeckung des Bildgebungssensors vorteilhafterweise bildlich dargestellt werden.
• Ein Unsicherheitswert u_dis hinsichtlich der Vorhersagen kann beispielsweise mit folgender Metrik bestimmt werden: Für jede vorhergesagte Klasse wird die Anzahl n_i bestimmt, beispielsweise durch Zählen, wie oft diese Klasse in den Vorwärtspfaden insgesamt vorhergesagt wurde. Anschließend wird ein Verteilungswert m_dis gemäß der Formel $$m_{dis}=\sqrt{\frac{{\displaystyle \sum {}_{i=0}^{n_{HitClasses}}{\left(n_i-1\right)}^2}}{n_{ƒwp}}}$$

  

  mit Anzahl n_HitClasses der vorhergesagten Klassen und Anzahl n_fwp der Vorwärtspfade bestimmt. Ferner wird ein maximaler Verteilungswert $m_{dis}^{max}$

  

  gemäß der Formel $$m_{dis}^{max}=\sqrt{\frac{{\left(n_{ƒwp}-1\right)}^2}{n_{ƒwp}}}$$

  

  bestimmt. Der Unsicherheitswert u_dis wird dann gemäß der Formel $$u_{dis}=1-\frac{m_{dis}}{m_{dis}^{max}}$$

  

  bestimmt. Dies ist eine beispielhafte Möglichkeit, die epistemische Unsicherheit des künstlichen neuronalen Netzwerks zu bestimmen.
• Wenn in jedem Vorwärtspfad dieselbe Klasse erkannt wird, entspricht die Anzahl der Treffer auf diese Klasse der Anzahl der Vorwärtspfade. Je mehr unterschiedliche Klassen vorhergesagt werden, desto größer ist der Unsicherheitswert. u_dis = 1 bedeutet maximale Unsicherheit. u_dis = 0 bedeutet minimale Unsicherheit.
• Nach einem weiteren Aspekt werden zeitlich aufeinanderfolgende Bilder jeweils einmal durch das künstliche neuronale Netzwerk vorwärtsgespeist. Die erhaltenen Vorhersage-Wahrscheinlichkeiten des künstlichen neuronalen Netzwerks auf den jeweiligen Bildern werden miteinander verglichen. Aus Abweichungen der Vorhersage-Wahrscheinlichkeiten auf den Bildern werden die Verdeckungen des Bildgebungssensors erhalten. Dies ist eine Alternative zu den voran beschriebenen mehreren Vorhersagen auf demselben Bild, wobei das Bild mehrfach als Eingang für das künstliche neuronale Netzwerk verwendet wird. Bei der Betrachtung von aufeinanderfolgenden Bildern, auch Frames genannt, können Verdeckungen und/oder Unsicherheiten in einem sogenannten rolling manner erkannt oder bestimmt werden. Damit kann abhängig von der Bildrate Rechenzeit eingespart werden.
• Nach einem weiteren Aspekt wird das künstliche neuronale Netzwerk für Vorhersagen beim automatisierten Fahren eingesetzt und Verdeckungen von bildgebenden Umfelderfassungssensoren automatisierter Fahrsysteme erkannt. Nach einem weiteren Aspekt wird das künstliche neuronale Netzwerk für Vorhersagen bei bildgebender Diagnostik eingesetzt und Verdeckungen von medizinischen bildgebenden Sensoren erkannt werden. Automatisiertes Fahren ist ein Technologiefeld, auf das das künstliche neuronale Netzwerk gemäß dem erfindungsgemäßen Verfahren angewendet wird. Die konkrete Anwendung in diesem Technologiefeld erfolgt in dem automatisierten Transportsystem. Die vorgeschlagene Lösung kann auf jedes Modell angewendet werden, das unabhängig von seiner funktionalen Anwendung eine Schätzung der Modellunsicherheit ermöglicht. Beispiele funktionaler Anwendungen sind neben automatisiertes Fahren die voran beschriebene medizinische Anwendung. Mit bildgebender Diagnostik können Krankheiten diagnostiziert werden, beispielsweise basierend auf Röntgenaufnahmen. Der Bildgebungssensor kann in diesem Beispiel ein Röntgengerät umfassen. Die Erfindung kann allgemein bei Sensorverdeckungen grundsätzlich angewendet werden.
• Nach einem weiteren Aspekt wird bei erkannten Verdeckungen des Bildgebungssensors ein Nutzer des Bildgebungssensors über die Verdeckungen mittels einer Informationsvorrichtung informiert. Zusätzlich oder alternativ wird der Nutzer mittels der Informationsvorrichtung angewiesen, das künstliche neuronale Netzwerk wieder zu trainieren, mehr Bilder aufzunehmen oder die Einsatzphase zu beenden. Der Nutzer kann ein Bediener, Fahrer oder ein Betreiber eines automatisierten Fahrzeuges oder eine medizin-technische Assistenz sein. Die Informationsvorrichtung übernimmt nach einem Aspekt eine Online-Funktion zur Überwachung der Modellvertraulichkeit. Beispielsweise kann die Informationsvorrichtung die Abweichungen in der Bilddarstellung und/oder den Unsicherheitswert wiedergeben.
• Das automatisierte Transportsystem kann ein autonomes Shuttle sein, das Personen und/oder Güter im urbanen Umfeld transportiert.
• Die epistemischen Unsicherheiten können im Livebetrieb, das heißt online, beispielsweise während Einsatzfahrten des automatisierten Transportsystems, bestimmt werden. Die epistemischen Unsicherheiten können auch offline bestimmt werden, insbesondere wenn das Maschinenlernmodell und die Daten offline zugänglich sind. Dies kann erforderlich sein, wenn das System beispielsweise über wenig Rechenleistung verfügt.
• Im Livebetrieb kann das vorgeschlagene Verfahren nach einem Aspekt als interner Auslösemechanismus verwendet werden, der das automatisierte Transportsystem in einen sicheren Zustand bringt, sobald die geschätzte Unsicherheit die Schwelle überschritten hat, in der sich das System erwartungsgemäß verhalten wird.
• Das automatisierte Transportsystem kann informieren, dass beispielsweise ein Kamerareinigungssystem zum Entfernen von Verdeckungen einer Kamera des automatisierten Transportsystems eingesetzt werden muss. Die Information kann beispielsweise über die Informationsvorrichtung erfolgen.
• Wird das Maschinenlernmodell beispielsweise in automatisierten Transportsystemen für Perzeption, das heißt Umfeldwahrnehmung, eingesetzt, ermöglicht die Erfindung ein sogenanntes Defensive Driving Systemverhalten in Bereichen, in denen die Perzeption bisher unbemerkte, reduzierte Leistungsfähigkeit aufgrund Verdeckungen von Umfelderfassungssensoren aufweist. Die Erfindung ermöglicht es, die bisher unbemerkte, reduzierte Leistungsfähigkeit bei Einsatzverlagerung zu detektieren und bei entsprechender Detektion das System durch Rückmeldungen und/oder Sicherheitsanweisungen zu beeinflussen. Beispielsweise kann ein Nutzer des automatisierten Transportsystems oder das automatisierte Transportsystem die Sicherheitsanweisung erhalten, langsamer zu fahren oder in einen sicheren Zustand, beispielsweise in Form von fail operational, zu wechseln.
• Damit stellt die Erfindung zusätzlich einen sogenannten safety envelope für die Perzeption basierend auf Bestimmung von epistemischen Unsicherheiten in einem Einsatz bereit. Die unterschiedlichen Vorhersagen auf einem Bild oder zwischen mehreren aufeinanderfolgenden Bildern werden bei einer Einsatzverlagerung des künstlichen neuronalen Netzwerks existenter. Bei einer Einsatzverlagerung inferiert das künstliche neuronale Netzwerk in einer zweiten Domäne, die zu einer ersten Domäne, in der das künstliche neuronale Netzwerk trainiert, validiert und/oder getestet wurde, eine Domänenverschiebung aufweist. Eine Verdeckung eines Bildgebungssensors führt zu einer Domänenverschiebung, da eine Verdeckung in den Trainingsdaten in der Regel nicht vorhanden ist.
• Der Umfelderfassungssensor kann ein Kamera-, Lidar-, Radar-, Ultraschall- oder Infrarotsensor sein.
• Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen:
• 1 eine schematische Darstellung des erfindungsgemäßen Verfahrens mit mehreren Vorwärtsspeisungen eines Bildes,
• 2 eine schematische Darstellung des erfindungsgemäßen Verfahrens mit aufeinanderfolgenden Bildern,
• 3a ein Bild, aufgenommen von einer Frontkamera eines automatisierten Fahrsystems, mit einer hinzugefügten künstlichen Verdeckung,
• 3b eine semantische Bildsegmentierung des Bildes aus 3a mittels eines in dem erfindungsgemäßen Verfahren eingesetzten künstlichen neuronalen Netzwerks,
• 3c ein Ausführungsbeispiel einer Bilddarstellung von Abweichungen bei semantischen Vorhersagen basierend auf Abweichungen erhalten aus mehrmaligen Vorwärtsspeisungen des Bildes aus 3a durch das künstliche neuronale Netzwerk,
• 4a ein Bild, aufgenommen von einer Frontkamera eines automatisierten Fahrsystems, mit Verdeckungen der Frontkamera in Form von Regentropfen,
• 4b eine semantische Bildsegmentierung des Bildes aus 4a mittels des eingesetzten künstlichen neuronalen Netzwerks,
• 4c ein Ausführungsbeispiel einer Bilddarstellung von Abweichungen bei semantischen Vorhersagen basierend auf Abweichungen erhalten aus mehrmaligen Vorwärtsspeisungen des Bildes aus 4a durch das künstliche neuronale Netzwerk,
• 5a ein Bild, aufgenommen von einer Frontkamera eines automatisierten Fahrsystems, ohne Verdeckungen,
• 5b eine semantische Bildsegmentierung des Bildes aus 5a mittels des eingesetzten künstlichen neuronalen Netzwerks,
• 5c ein Ausführungsbeispiel einer Bilddarstellung von Abweichungen bei semantischen Vorhersagen basierend auf Abweichungen erhalten aus mehrmaligen Vorwärtsspeisungen des Bildes aus 5a durch das künstliche neuronale Netzwerk und
• 6 ein Flussdiagramm des erfindungsgemäßen Verfahrens.
• In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils relevanten Bezugsteile hervorgehoben.
• Eine funktionale Anwendung des erfindungsgemäßen Verfahrens ist beispielsweise das automatisierte Fahren. Beispielsweise kann die Verwendung bei einem automatisierten Transportsystem, beispielsweise einem autonomen Shuttle, angewendet werden. Zunächst wurden Daten gesammelt, gekennzeichnet und das künstliche neuronale Netzwerk ANN auf diesen Daten trainiert. Das künstliche neuronale Netzwerk wurde getestet und ist einsatzbereit. Während des Einsatzes hat die Kamera des Shuttles als Beispiel eines Bildgebungssensors 2 oder Umfelderfassungssensors das Risiko, aufgrund natürlicher Ursachen, z. B. Schmutz, Regen, menschlicher Ursachen, z. B. Aufkleber auf Objektiv, Gegenstand vor Kamera montiert, technischer Mängel, z.B. beschädigte Sensorausgänge, fehlerhafte Daten, Kameraglas gerissen, lose Verkabelung, oder anderen verdeckt zu sein. Die vorgeschlagene technische Lösung verwendet eine Unsicherheitsmethode, z.B. Monte Carlo Dropout, um unterschiedliche Vorhersage-Wahrscheinlichkeiten Vorhersage 1, Vorhersage 2, Vorhersage 3, ..., Vorhersage n_fwp zu erhalten und die Unterschiede Diff, u_dis zwischen diesen Vorhersage-Wahrscheinlichkeiten Vorhersage 1, Vorhersage 2, Vorhersage 3, ..., Vorhersage n_fwp zu berechnen.
• Ein Beispiel, wie dies umgesetzt werden könnte, zeigt 1. Durch die Verwendung einer Unsicherheitsmethode ändert sich der Ausgang des künstlichen neuronalen Netzwerks ANN bei jeder Vorwärtsspeisung. Das Bild Eingangsbild 1 wird mehrmals durch das künstliche neuronale Netzwerk ANN vorwärtsgespeist, beispielsweise in den Vorwärtspfaden FWP1, FWP2, FWP3, ...n_fwp. Bei Monte Carlo Dropout werden in den einzelnen Vorwärtsspeisungen unterschiedliche Ergebnisse erhalten, aus denen die Abweichungen Diff und Unsicherheitswerte u_dis berechnet werden. Die verschiedenen Vorhersage-Wahrscheinlichkeiten Vorhersage 1, Vorhersage 2, Vorhersage 3, ..., Vorhersage n_fwp können entweder auf demselben Bild Eingangsbild 1 oder „rollend“ für kontinuierliche Bildsequenzen Eingangsbild 1, Eingangsbild 2, Eingangsbild 3, ..., Eingangsbild n erfolgen, bei denen aufeinanderfolgende Frames berücksichtigt werden, siehe 2.
• Während des Einsatzes wird das künstliche neuronale Netzwerk ANN auf denselben oder aufeinanderfolgenden Bildern mehrere Vorhersagen treffen, und beim Vergleich der Ausgänge des künstlichen neuronalen Netzwerks kann ein Bereich, in dem das Modell keine eindeutige Vorhersage hat, wahrgenommen werden, da das Modell in der Regel nie an Verdeckungen trainiert wurde und es somit eine hohe Unsicherheit innerhalb der verdeckten Bereiche aufweist.
• 3a-3c stellen die erfindungsgemäße Lösung beispielhaft dar. 3a zeigt ein mit dem Bildgebungssensor 2 erhaltenes Bild. Diesem Bild wurde eine künstliche Verdeckung 2 in Form eines schwarzen Kreises hinzugefügt. 3b zeigt die semantischen Vorhersagen des künstlichen neuronalen Netzwerks ANN. Das künstliche neuronale Netzwerk ANN versucht, die verschiedenen Klassen innerhalb des Bildes vorherzusagen. Die Grünflächen in der Vorhersage deuten darauf hin, dass das künstliche neuronale Netzwerk ANN Vegetation vorhersagt, was die richtige Vorhersage für den Baum ganz links ist, nicht aber für den schwarzen Fleck auf dem Eingabebild. Aus dieser einzelnen Vorhersage allein lässt sich nicht sagen, wie das künstliche neuronale Netzwerk ANN in den verschiedenen Regionen funktioniert. 3c stellt die Unsicherheit dar, die aus den Abweichungen zwischen den verschiedenen Vorwärtspfaden berechnet wurde. Je höher der Unsicherheitswert u_dis ist, desto wei-ßer ist das Bild in dieser Region. 3c ist ein Beispiel für eine Bilddarstellung 3 der Abweichungen von semantischen Vorhersagen. Im Bereich der Verdeckung, das heißt des schwarzen Flecks, ist die Unsicherheit besonders groß. Dank der erfindungsgemäßen Lösung ist sich das künstliche neuronale Netzwerk ANN des „toten Winkels“ bewusst und berichtet, dass es eine Verdeckung gibt.
• Der Unsicherheitswert u_dis kann wie folgt berechnet werden: $$u_{dis}=1-\frac{m_{dis}}{m_{dis}^{max}}$$

  
• Dabei ist $$m_{dis}=\sqrt{\frac{{\displaystyle \sum {}_{i=0}^{m_{HitCLasses}{\left(n_i-1\right)}^2}}}{n_{ƒwp}}}$$

  

  der Verteilungswert, n_HitClasses die Anzahl der vorhergesagten Klassen und n_fwp die Anzahl der Vorwärtspfade. Wird bei semantischer Bildsegmentierung beispielsweise die Klasse grün vorhergesagt, ist n_Hitclasses = 1. Wird das Bild beispielsweise dreimal durch das künstliche neuronale Netzwerk ANN vorwärtsgespeist, ist n_fwp = 3. Wird in Vorwärtspfad 1, Vorwärtspfad 2 und Vorwärtspfad 3 die Klasse grün jeweils einmal erkannt, ist n_i = 1 + 1 + 1 = 3. Dann gilt: $m_{dis}=\sqrt{\frac{{\left(3-1\right)}^2}{3}.}$

  
• Weiter ist $$m_{dis}^{max}=\sqrt{\frac{{\left(n_{ƒwp}-1\right)}^2}{3}.}$$

  

  der maximale Verteilungswert. In dem obigen Beispiel gilt: $m_{dis}^{max}=m_{dis}.$

  

  Damit gilt: u_dis = 0, das heißt minimale Unsicherheit, da nur eine Klasse vorhergesagt wurde und in jedem Vorwärtspfad diese Klasse erkannt wurde.
• 4a-4c stellen ein weiteres Beispiel der erfindungsgemäßen Lösung dar. Wenn das Eingabebild von Regentropfen verdeckt wird, siehe 4a, verschlechtert sich die Vorhersage, siehe 4b, analog zu 3b. Dies kann nicht automatisch allein aus der Vorhersage ausgelesen werden. Bei mehreren Vorwärtsgängen mit einer Dropout-Schicht, in der die Vorhersagen verglichen werden, kann eine Unsicherheitslandkarte, siehe 4c, berechnet werden, analog zu 3c. 4c ist ein Beispiel für eine Bilddarstellung 3 der Abweichungen von semantischen Vorhersagen.
• 5a-5c zeigen ein Beispiel ohne Verdeckung. Wenn das Eingabebild, siehe 5a, frei von Verdeckung 1 ist, wird nach Vergleich der unterschiedlichen Vorwärtsspeisungen eine relativ gute Vorhersage erhalten, siehe 5b, die allerdings nicht allein aus der Vorhersage automatisch ausgelesen werden. Wenn mehrere Vorwärtsgänge mit einer Dropout-Schicht durchgeführt werden und die Vorhersagen verglichen werden, kann die Unsicherheitslandkarte, siehe 5c, berechnet werden. Das Eingabebild der 5a stammt aus der gleichen Reihenfolge wie 4a kurz nachdem der Scheibenwischer die Windschutzscheibe von Regentropfen befreit hat.
• Die einzelnen Verfahrensschritte eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens, in dem ein Bild Eingabebild 1 durch mehrere Vorwärtspfade gespeist wird, sind in 6 dargestellt. In einem Verfahrensschritt V1 wird das künstliche neuronale Netzwerk ANN eingesetzt wird, das auf Bildern des Bildgebungssensors 2 und/oder simulierten Bildern für Klassifizierung, Lokalisierung und/oder Verfolgung von Objekten und/oder Bildsegmentierung trainiert, validiert und/oder getestet wurde. In einem Verfahrensschritt V2 wird in der Einsatzphase das Bild Eingangsbild1 des Bildgebungssensors 2 erhalten. In einem Verfahrensschritt V3 wird das Bild Eingangsbild1 mehrmals durch das künstliche neuronale Netzwerk ANN vorwärtsgespeist. In einem Verfahrensschritt V4 werden in jeweiligen Vorwärtspfaden FWP1-FWP3 Sub-Modelle des künstlichen neuronalen Netzwerks ANN modelliert und Vorhersage-Wahrscheinlichkeiten (Vorhersage 1-Vorhersage 3) hinsichtlich Klassifizierung, Lokalisierung und/oder Verfolgung und/oder Bildsegmentierung der Sub-Modelle erhalten. Durch Vergleich der Vorhersage-Wahrscheinlichkeiten Vorhersage 1-Vorhersage 3 wird in einem Verfahrensschritt V5 eine Modellunsicherheit bestimmt. Aus Abweichungen Diff der Vorhersage-Wahrscheinlichkeiten Vorhersage 1-Vorhersage 3 werden in einem Verfahrensschritt V6 die Verdeckungen 1 des Bildgebungssensors 2 erhalten.

Claims (7)

1. Computerimplementiertes Verfahren zum Erkennen von Verdeckungen (1) eines Bildgebungssensors (2), wobei ein künstliches neuronales Netzwerk (ANN) eingesetzt wird, das auf Bildern des Bildgebungssensors (2) und/oder simulierten Bildern für Klassifizierung, Lokalisierung und/oder Verfolgung von Objekten und/oder Bildsegmentierung trainiert, validiert und/oder getestet wurde (V1); in der Einsatzphase ein Bild (Eingangsbild1) des Bildgebungssensors (2) erhalten wird (V2); das Bild (Eingangsbild1) mehrmals durch das künstliche neuronale Netzwerk (ANN) vorwärtsgespeist wird (V3); in jeweiligen Vorwärtspfaden (FWP1-FWP3) Sub-Modelle des künstlichen neuronalen Netzwerks (ANN) modelliert werden und Vorhersage-Wahrscheinlichkeiten (Vorhersage 1-Vorhersage 3) hinsichtlich Klassifizierung, Lokalisierung und/oder Verfolgung von Objekten und/oder Bildsegmentierung der Sub-Modelle erhalten werden (V4); durch Vergleich der Vorhersage-Wahrscheinlichkeiten (Vorhersage 1-Vorhersage 3) eine Modellunsicherheit bestimmt wird (V5); aus Abweichungen (Diff) der Vorhersage-Wahrscheinlichkeiten (Vorhersage 1-Vorhersage 3) die Verdeckungen (1) des Bildgebungssensors (2) erhalten werden (V6).
2. Verfahren nach Anspruch 1, wobei die Sub-Modelle mittels Monte Carlo Dropout Vorwärtsspeisungen modelliert werden.
3. Verfahren nach einem der vorangehenden Ansprüche, wobei bei Bildsegmentierung die Abweichungen (Diff) semantischer Vorhersage-Wahrscheinlichkeiten (Vorhersage 1-Vorhersage 3) pixelweise bestimmt werden und die Abweichungen (Diff) in einer Bilddarstellung (3) ausgegeben werden.
4. Verfahren nach einem der vorangehenden Ansprüche, wobei zeitlich aufeinanderfolgende Bilder (Eingangsbild1-Eingangsbild3) jeweils einmal durch das künstliche neuronale Netzwerk (ANN) vorwärtsgespeist werden, die erhaltenen Vorhersage-Wahrscheinlichkeiten (Vorhersage 1-Vorhersage 3) des künstlichen neuronalen Netzwerks (ANN) auf den jeweiligen Bildern (Eingangsbild1-Eingangsbild3) miteinander verglichen werden und aus Abweichungen (Diff) der Vorhersage-Wahrscheinlichkeiten (Vorhersage 1-Vorhersage 3) auf den Bildern (Eingangsbild1-Eingangsbild3) die Verdeckungen (1) des Bildgebungssensors (2) erhalten werden.
5. Verfahren nach einem der voran gehenden Ansprüche, wobei das künstliche neuronale Netzwerk (ANN) für Vorhersagen beim automatisierten Fahren eingesetzt wird und Verdeckungen (1) von bildgebenden Umfelderfassungssensoren automatisierter Fahrsysteme erkannt werden oder das künstliche neuronale Netzwerk (ANN) für Vorhersagen bei bildgebender Diagnostik eingesetzt wird und Verdeckungen (1) von medizinischen bildgebenden Sensoren erkannt werden.
6. Verfahren nach einem der voran gehenden Ansprüche, wobei bei erkannten Verdeckungen (1) des Bildgebungssensors (2) ein Nutzer des Bildgebungssensors über die Verdeckungen (1) mittels einer Informationsvorrichtung informiert wird und/oder der Nutzer mittels der Informationsvorrichtung angewiesen wird, das künstliche neuronale Netzwerk (ANN) wieder zu trainieren, mehr Bilder aufzunehmen oder die Einsatzphase zu beenden.
7. Computerprogramm umfassend Befehle, die einen Computer veranlassen, das Verfahren nach einem der vorangehenden Schritte auszuführen, wenn der Computer das Computerprogramm ausführt.

Images