DE102019209462A1

DE102019209462A1 - Verfahren zur Bestimmung eines Vertrauens-Wertes eines detektierten Objektes

Info

Publication number: DE102019209462A1
Application number: DE102019209462.7A
Authority: DE
Inventors: Oliver Willers; Sebastian Sudholt; Stephanie Abrecht; Shervin Raafatnia
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-06-27
Filing date: 2019-06-28
Publication date: 2020-12-31
Also published as: CN112149491A; US20200410297A1

Abstract

Es wird ein Verfahren zur Bestimmung eines Vertrauens-Wertes eines, mittels eines trainierten neuronalen Netzes, in einem Eingabebild detektierten Objektes einer Klasse angegeben, mit den Schritten:Erstellen einer Aktivierungs-Signatur (S1) mittels einer Mehrzahl von Ausgabebildern einer Schicht des neuronalen Netzes für die Klasse des detektierten Objekts, wobei das Eingabebild dem Eingang des neuronalen Netzes bereitgestellt wird;Skalieren der Aktivierungs-Signatur (S2) auf die Größe des Eingabebildes;Vergleichen eines Objekt-Teils der skalierten Aktivierungs-Signatur (S3) mit einer Aktivierungs-Signatur-Verteilung aller Objekte der gleichen Klasse eines Trainings-Daten-Satzes des neuronalen Netzes, zur Bestimmung des Vertrauens-Wertes.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung eines Vertrauens-Wertes eines, mittels eines neuronalen Netzes, detektierten Objektes einer Klasse in einem Eingabebild.
Stand der Technik
Für die Steuerung zumindest teilweise automatisierter Systeme, wie z.B. selbstfahrenden Fahrzeugen oder Robotern als Beispiele für mobile Plattformen, werden Deep-Learning-Methoden getestet und weiterentwickelt. Ein wesentlicher Bestandteil solcher, zumindest teilweise automatisierter Systeme ist ihre Fähigkeit, komplexe Situationen in Bezug auf ihre Umgebung wahrzunehmen. Voraussetzung für den sicheren und effektiven Betrieb eines solchen, zumindest teilweise automatisierten Systems ist die Interpretation der Umgebung und die Abschätzung des Zustands dieser Umgebung für z. B. Entscheidungsprozesse wie Trajektorienplanung und -steuerung, wobei Deep-Learning-Methoden, also die Verwendung tiefer neuronaler Netze, die spezifisch trainiert werden, ein großes Potenzial für die Lösung solcher Aufgaben versprechen.
Offenbarung der Erfindung
Ein grundlegendes Problem in Bezug auf die Sicherheit solcher zumindest teilweise automatisierter Systeme, die beispielsweise tiefe neuronale Netze verwenden, ist, dass die Fähigkeit des neuronalen Netzwerks, die spezifische Aufgabe nach dem Training zu lösen, nur dann eingeschätzt werden könnte, wenn die Eingangsdaten im Anwendungsfall aus der gleichen Verteilung stammen würden, wie der Trainings-Datensatz, mit dem das Netzwerk getestet und trainiert wurde. Infolgedessen können DNNs (engl.: deep neural network), die in Objekterkennungsaufgaben verwendet werden, nur sagen was sie gesehen haben, aber nicht wie sicher sie sich darüber sind.
Beispielsweise für die Objekterkennung ist aber eine Kenntnis über die Zuverlässigkeit eines Objekterkennungsmodells für ein sicheres zumindest teilautomatisiertes Fahren von größter Bedeutung.
Aktuell beschränken sich im Rahmen des zumindest teilautomatisierten Fahrens moderne Plausibilitätsprüfungen in der Regel auf den Vergleich mehrerer Sensorsysteme oder die Analyse der Eingangsdaten auf Basis von Expertenwissen, beispielsweise zur Erkennung schwieriger Umgebungsbedingungen, wie Nebel für optische Sensoren oder verminderter Datenqualität, wie eine Bewegungsunschärfe in einem Einzelbild oder einer Bilderfolge.
Es sollen also beispielsweise Anomalien in der Bestimmung einer Repräsentation einer Umgebung und der darin detektierter Objekte mittels eines Datensets im Anwendungsfall erkannt werden, wenn die Repräsentation der Umgebung mittels eines tiefen neuronalen Netzes erfolgt.
Gemäß eines Aspektes der Erfindung wird ein Verfahren zur Bestimmung eines Vertrauens-Wertes, eine Vorrichtung sowie ein Computerprogrammprodukt und ein computerlesbares Speichermedium gemäß den Merkmalen der unabhängigen Ansprüche angegeben, welches zumindest zum Teil die genannten Wirkungen aufweisen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.
Die Erfindung beruht auf der Erkenntnis, dass Abweichungen in der Detektion von Objekten, die einer Klasse zugeordnet sind, im Anwendungsfall dadurch identifiziert werden können, dass die bei der Detektion auftretenden Erkennungsmuster mit einem gemittelten Erkennungsmuster, das mit einer Vielzahl von Trainingsdaten des tiefen neuronalen Netzes ermittelt wurde, verglichen werden. Etwaige Abweichungen können quantifiziert werden, um einen Vertrauenswert für die Detektion eines Objektes im Anwendungsfall zu erhalten.
Gemäß einem Aspekt wird ein Verfahren zur Bestimmung eines Vertrauens-Wertes eines mittels eines trainierten neuronalen Netzes in einem Eingabebild detektierten Objekt einer Klasse vorgeschlagen.
Dabei wird in einem Schritt des Verfahrens eine Aktivierungs-Signatur mittels einer Mehrzahl von Ausgabebildern einer verborgenen Schicht des neuronalen Netzes für die Klasse des detektierten Objekts erstellt, wobei das Eingabebild einem Eingang des neuronalen Netzes bereitgestellt wird.
In einem weiteren Schritt wird die Aktivierungs-Signatur auf eine Größe des Eingabebildes skaliert. In einem weiteren Schritt wird ein Objekt-Teil der skalierten Aktivierungs-Signatur mit einer Aktivierungs-Signatur-Verteilung aller Objekte der gleichen Klasse eines Trainings-Datensets des neuronalen Netzes verglichen, um den Vertrauens-Wert zu bestimmen.
Eine Plausibilität der Vorhersagen eines trainierten tiefen neuronalen Netzes (DNN: engl. deep neural network) in Objekterkennungsaufgaben kann somit überprüft werden, indem die Aktivierungs-Signatur aus den Eingabebildern des Anwendungsfalls mit einer gemittelten Aktivierungs-Signatur-Verteilung aus Trainingsdaten für die gleiche Objekt-Klasse verglichen wird. Dadurch werden Abweichungen zwischen den Trainingsdaten und den Eingangsdaten während des Anwendungsfalls erkannt.
Dabei kann der Vertrauens-Wert eine Maßzahl angeben, die Anomalien bei der Detektion und/oder Klassifikation von Objekten quantifiziert und somit die Objekterkennung mittels eines neuronalen Netzes unterstützt, indem eine zusätzliche Information neben der Detektion und/oder Klassifikation eines Objektes über eine Vertrauenswürdigkeit der Objekterkennung angegeben wird. Selbst wenn ein Objekt korrekt detektiert und auch korrekt klassifiziert wurde, kann ein solcher Vertrauens-Wert die Zuverlässigkeit des verwendeten Verfahrens angeben.
Dabei ist mit einem trainierten neuronalen Netz ein neuronales Netz beschrieben, das geeignet trainiert wurde, um eine vorgesehene Aufgabe mit neuen Eingangsdaten zu lösen. Ein neuronales Netzwerk stellt einen Rahmen für viele verschiedene Algorithmen beispielsweise zum maschinellen Lernen, zum Zusammenarbeiten und für die Verarbeitung komplexer Dateneingaben zur Verfügung. Solche neuronalen Netzwerke lernen, Aufgaben anhand von Beispielen auszuführen, ohne typischerweise mit aufgabenspezifischen Regeln programmiert worden zu sein.
Ein solches neuronales Netz basiert auf einer Sammlung verbundener Einheiten oder Knoten, die als künstliche Neurone bezeichnet werden. Jede Verbindung kann ein Signal von einem künstlichen Neuron zu einem anderen übertragen. Ein künstliches Neuron, das ein Signal empfängt, kann es verarbeiten und dann weitere damit verbundene künstliche Neuronen aktivieren.
Bei herkömmlichen Implementierungen von neuronalen Netzen ist das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass ein Signal nur dann ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet. Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht, möglicherweise nach mehrmaligem Durchlaufen der Schichten.
Ergänzend zu den Ausführungen eines neuronalen Netzes besteht der Aufbau eines künstlichen Neuronalen-Faltungs-Netz (Convolutional Neural Network) aus einer oder mehreren Faltungs-Schichten (convolutional layer), gegebenenfalls gefolgt von einem Pooling Layer. Die Abfolge von Schichten können mit oder ohne Normalisierungs-Schichten (z.B. Batch-Normalisierung), Zero-Padding-Schichten, Dropout-Schichten und Aktivierungs-Funktionen, wie z.B. Rectified Linear Unit ReLU, sigmoid-Funktion, tanh-Funktion oder softmax-Funktion, verwendet werden.
Diese Einheiten können sich prinzipiell beliebig oft wiederholen, bei ausreichend Wiederholungen spricht man dann von Deep Convolutional Neural Networks. Ein solches neuronales Faltungsnetz kann eine Abfolge von Schichten aufweisen, die die Eingangsgitter auf eine niedrigere Auflösung herunter abtasten, um die gewünschten Informationen zu erhalten und die redundanten Informationen zu speichern.
Wenn man die Daten eines solchen neuronalen Netzes mit Koordinaten-Daten und Merkmals-Daten beschreibt, wobei den Koordinaten-Daten die Merkmals-Daten zugeordnet sind, werden typischerweise bei Faltungs-Operationen die Anzahl der Koordinaten-Daten kleiner und die Anzahl der Merkmals-Daten, die den Koordinaten-Daten zugeordnet sind, nehmen zu. Dabei werden typischerweise die Merkmals-Daten in sogenannte Feature-Maps oder Merkmalskarten innerhalb der Schichten des neuronalen Netzes zusammengefasst.
Die letzte Faltungsschicht extrahiert die komplexesten Merkmale, die in mehreren Merkmalskarten (Feature-Maps A^k _ij) angeordnet sind und Ausgabebilder generieren wenn Eingabebilder am Eingang des neuronalen Netzes anliegen. Darüber hinaus behält die letzte Faltungsschicht räumliche Informationen, die in ggf. folgenden vollständig verbundenen Ebenen verloren gehen, wobei die vollständig verbundenen Ebenen für die Klassifikation verwendet werden.
Wenn am Eingang eines solchen neuronalen Netzes ein Eingabebild anliegt, resultieren in den unterschiedlichen verborgenen Schichten und den entsprechenden Feature-Maps Ausgabebilder der Feature-Maps, die jeweils gewisse Merkmale des aktuellen Eingangsbildes charakterisieren können. Bei neuronalen Faltungs-Netzen ist die Anzahl der Feature-Maps bzw. Merkmalskarten in der letzten Faltungsschicht, bevor beispielsweise für die Klassifizierung mit den fully-connected-layern die Koordinaten-Dimension eindimensional wird, am größten, sodass vorzugsweise die letzte Faltungsschicht des neuronalen Netzes für das Erstellen der Aktivierung-Signatur ausgewählt werden kann. Insbesondere ist die Wahl der Schicht frei und kann besonderen Gegebenheiten angepasst oder optimiert werden.
Bei aufeinanderfolgenden Faltungsschichten wird die Merkmalskarte in Bezug auf die Größe der Karte im Sinne der Anzahl von Pixeln zunehmend kleiner. Für einen Vergleich einer Aktivierungs-Signatur, die auf der Basis einer solchen kleineren Merkmalskarte einer Faltungsschicht erstellt wird, mit einem Eingabebild und dem dort detektierten Objekt einer Klasse, wird die Aktivierung-Signatur auf die Größe des Eingabebildes skaliert. Aus einer solchen skalierten Aktivierungs-Signatur einer Mehrzahl von Ausgabebildern (Ausgabe-Daten der Feature-Maps) wird ein Objekt-Teil, in dem das klassifizierte Objekt detektiert wurde, mit einer Aktivierung-Signatur-Verteilung aller Objekte der gleichen Klasse eines Trainings-Datensets verglichen, um einen Vertrauens-Wert zu bestimmen. Für diesen Vergleich kann insbesondere eine weitere Skalierung des Objekt-Teils durchgeführt werden, da die detektierten Objekte unterschiedliche Größe in dem Eingabebild aufweisen können.
Die beschriebenen Skalierungen können sich auch jeweils auf eine definierte Größe beziehen oder auf den Begrenzungsrahmen (bounding box) beziehen.
Diese Skalierung ist notwendig, da die Größen der vorhergesagten Objekte in der Regel variieren und normiert werden müssen, bevor die Methode angewendet werden kann.
Dabei kann die Skalierung des Objekt-Teils in Bezug auf den Begrenzungsrahmen des vorhergesagten Objekts erfolgen.
Dieses Verfahren kann auf jedem vortrainierten neuronalen Faltungsnetzwerk verwendet werden, ohne es zu verändern oder umzuschulen.
Gemäß einem Aspekt wird vorgeschlagen, dass der Objekt-Teil der skalierten Aktivierungs-Signatur einen Teil des Eingabebildes umfasst, in dem zumindest Teile des Objektes derselben Klasse detektiert wurden.
Insbesondere kann der Objekt-Teil das gesamte detektierte Objekt umfassen.
Gemäß einem Aspekt wird vorgeschlagen, dass der Objekt-Teil der skalierten Ausgabebilder einen rechteckigen Teil der skalierten Ausgabebilder umfasst, der um das detektierte Objekt einer Klasse herum konstruiert wird.
Mit einem solchen rechteckigen Teil (engl.: bounding box) sind weitere Bild- oder Datenbearbeitungsschritte leichter möglich.
Gemäß einem Aspekt wird vorgeschlagen, dass die Aktivierungs-Signatur des detektierten Objektes einer Klasse mit den folgenden Schritten bestimmt wird.
In einem Schritt des Verfahrens wird eine Bedeutung jedes einzelnen Ausgabebildes, der Mehrzahl der Ausgabebilder der Schicht des neuronalen Netzes, für eine Klassifizierung des detektierten Objektes mittels eines Gradientenverfahrens berechnet.
In einem weiteren Schritt wird jedes der Ausgabebilder mit seiner jeweiligen Bedeutung gewichtet.
In einem weiteren Schritt wird die Mehrzahl der gewichteten Ausgabebilder kombiniert.
In einem weiteren Schritt wird eine Aktivierungsfunktion auf die kombinierte Mehrzahl der gewichteten Ausgabebilder angewendet, um die Merkmale zu verstärken, die einen positiven Einfluss auf die Klassifizierung haben, um die Aktivierungs-Signatur zu bestimmen.
Durch die Ermittlung der Bedeutung jedes einzelnen Ausgabebildes wird erreicht, dass bei der späteren Gewichtung die Ausgabebilder einer Schicht in der Kombination der Mehrzahl der gewichteten Ausgabebilder hervorgehoben werden, die den stärksten Einfluss auf die Kategorisierung dieses detektierten Objektes haben. Somit kann abgebildet werden welche Bereiche innerhalb des Objekt-Teils zu der entsprechenden Kategorisierung geführt haben. Wenn hierbei Bereiche außerhalb des Objekt-Teils für die Kategorisierung herangezogen wurden, stellt das eine Anomalie dar.
Das Kombinieren der Mehrzahl der gewichteten Ausgabebilder kann beispielsweise durch einen pixelweises addieren von Pixeln, deren Position korrespondieren, ausgeführt werden.
Insbesondere kann die Bedeutung eines einzelnen Ausgabebildes für die Klassifizierung des detektierten Objektes mit einem einzigen Wert beschrieben werden, in dem die mit dem Gradientenverfahren bestimmte Bedeutung über alle Pixel des Ausgabebildes gemittelt wird.
Gemäß einem weiteren Aspekt wird vorgeschlagen, dass die Aktivierungs-Signatur des detektierten Objektes einer Klasse mit folgenden Schritten bestimmt wird.
In einem Schritt wird die Bedeutung jedes einzelnen Ausgabebildes, der Mehrzahl der Ausgabebilder einer Schicht des neuronalen Netzes, für eine Klassifizierung des detektierten Objektes berechnet, indem ein Gradient eines Klassenausgabe-Wertes des neuronalen Netzes bestimmt wird, der auf die Ausgabebilder der Mehrzahl der Ausgabebilder bezogen ist.
In einem weiteren Schritt wird der Gradient des Klassenausgabe-Wertes über alle Pixel des jeweiligen Ausgabebildes, zur Bestimmung einer Bedeutung jedes einzelnen Ausgabebildes, der Mehrzahl der Ausgabebilder der Schicht des neuronalen Netzes gemittelt.
In einem weiteren Schritt wird jedes der Ausgabebilder mit ihrer jeweiligen Bedeutung gewichtet. In einem weiteren Schritt werden alle Pixel-Werte der gewichteten Ausgabebilder, die in den gewichteten Ausgabebilder an sich entsprechenden Positionen angeordnet sind aufsummiert; und in einem weiteren Schritt werden die aufsummierten Pixel-Werte, die einen positiven Einfluss auf die Klassifizierung haben, durch Nullsetzen aller negativen Werte der aufsummierten Pixel-Werte verstärkt, um eine Aktivierungs-Signatur zu bestimmen.
Die Bedeutung eines einzelnen Ausgabebildes einer Schicht durch ein Gradientenverfahren zu bestimmen, entspricht weitestgehend dem gradientengewichteten Class Activation Mapping (Grad-CAM). Und kann auch mit dem Grad-Cam-Verfahren durchgeführt werden. Dabei ist Grad-CAM eine Technik zur Lokalisierung und Visualisierung von klassenunterscheidenden Merkmalen in einem Eingangsbild, die Vorhersagen über jedes konvolutionäre neuronale Netzwerk transparenter macht.
Die Bestimmung der Bedeutung $α_{k}^{c}$
jedes einzelnen Ausgabebildes der Mehrzahl k der Ausgabebilder der Schicht des neuronalen Netzes kann mit der Formel 1 berechnet werden: $α_{k}^{c} = \frac{1}{z} Σ_{i} Σ_{j} \frac{\partial y^{c}}{\partial A_{i j}^{k}}; Formel 1$
Dabei steht der Index c für die Klasse des detektierten Objektes; i und j sind die Indizes der Pixel des Ausgabebildes über die mit der Doppelsumme und dem Normierungsfaktor Z gemittelt wird; und aufsummiert wird die partielle Ableitung des Klassenausgabe-Wertes y^cnach den Ausgabebildern A_ij ^k.
Mit anderen Worten werden bei einem Eingabebild und seinem Klassenausgabe-Wert y^c für die Klasse c die Gradienten des Klassenausgabe-Wertes (Scores) in Bezug auf die Ausgaben der Merkmalskarten (Feature Maps) berechnet, wobei die Scores für alle anderen Klassen auf null gesetzt werden, und über die Pixel auf den jeweiligen Feature-Maps global gemittelt, um die Bedeutung α_k ^c jeder Feature Map für die Objekt-Klasse zu erhalten.
Die Aktivierungs-Signatur kann durch die folgende Formel 2 beschrieben werden, $L_{i, j}^{c} = R e L U (Σ_{k} A_{i, j}^{k} α_{k}^{c}); Formel 2$
wobei L_i,j ^cdie Aktivierung-Signatur für die Klasse c mit den Pixel-Indices i,j ist. Dabei wird über eine Mehrzahl k der Ausgabebilder A_i,j ^k mit ihren Pixel-Indices i, j multipliziert mit der Bedeutung $α_{k}^{c}$
summiert.

Mit anderen Worten werden die Ausgabebilder (die Ausgabe der Feature Maps) mit ihrer jeweiligen Bedeutung gewichtet, kombiniert und gefolgt von einer rectified Lineareinheit (ReLU) zur Intensivierung von Features mit einem positiven Einfluss auf die Klassenbestimmung. Das Ergebnis ist eine grobe Aktivierungs-Signatur (Heatmap), die mit dem Eingangsbild überlagert werden kann, um wichtige Bildteile hervorzuheben.
Gemäß einem Aspekt wird ein Verfahren zur Bestimmung der Aktivierungs-Signatur-Verteilung für eine Klasse von detektierten Objekten in einer Vielzahl von Eingabebildern eines Trainings-Daten-Satzes mit zugehörigen Klassen der Objekte in den jeweiligen Eingabebildern vorgeschlagen, das die folgenden Schritte aufweist.
In einem Schritt wird eine Vielzahl von Aktivierungs-Signaturen, wie oben erläutert, für alle detektierten Objekte einer Klasse in der Vielzahl von Eingabebildern berechnet.
In einem weiteren Schritt wird jeder der Aktivierungs-Signaturen auf die Größe des Eingabebildes skaliert.
In einem weiteren Schritt wird jeder Objekt-Teil, des in der skalierten Aktivierungs-Signatur detektierten Objektes, auf eine einheitliche Größe skaliert. In einem weiteren Schritt wird eine Wahrscheinlichkeitsverteilung für jeden Pixel des skalierten Objekt-Teils der skalierten Aktivierungs-Signaturen mittels aller detektierten Objekte derselben Klasse des Trainings-Daten-Satzes berechnet, wobei für jeden Pixel der skalierten Aktivierungs-Signaturen ein Mittelwert und eine Varianz, zur Bestimmung der Aktivierungs-Signatur-Verteilung, bestimmt wird.
Gemäß eines Aspektes wird vorgeschlagen, dass jeder Pixel des Objekt-Teils der skalierten Aktivierungs-Signatur mit jedem entsprechenden Pixel der Aktivierungs-Signatur-Verteilung verglichen wird, um eine Wahrscheinlichkeit zu bestimmen, dass ein Pixel des Objekt-Teils aus der Verteilung desselben Pixel der Aktivierungs-Signatur-Verteilung stammt und Berechnen eines Durchschnittswertes dieser Wahrscheinlichkeiten für alle Pixel des Objekt-Teils, zur Bestimmung des Vertrauens-Wertes.
Mit diesem einfachen Verfahren kann der Vertrauens-Wert bestimmt werden.
Gemäß eines Aspektes wird vorgeschlagen, dass der Vergleich zur Bestimmung des Vertrauenswertes mittels einer log-likelihood-Funktion des Objekt-Teils der skalierten Aktivierungs-Signatur im Vergleich mit der Aktivierungs-Signatur-Verteilung der Klasse des detektierten Objektes bestimmt wird.
Mittels dieser Berechnung mit der log-likelihood-Funktion kann eine andere, weitere Bestimmung des Vertrauens-Wertes durchgeführt werden.
Gemäß eines Aspektes wird vorgeschlagen, dass der Vergleich der skalierten Aktivierungs-Signatur des klassifizierten Objektes mit der Aktivierungs-Signatur-Verteilung, zur Bestimmung des Vertrauens-Wertes, mittels des folgenden Zusammenhangs , der durch die Formel 3 beschrieben werden kann, durchgeführt wird: $In p (x | μ,Σ) = - \frac{1}{2} [In (| Σ |) + {(x- μ)}^{T} Σ^{- 1} (x - μ) + k In (2 π)];$
Die Formel 3 berechnet die log-likelihood-Funktion, wobei x eine Vektor-Darstellung des Objektteils der skalierten Aktivierungs-Signatur ist und k viele Pixel Elemente des Objektteils der skalierten Aktivierungs-Signatur aufweist; µ ist die Vektor-Darstellung der Mittelwerte der Pixel der Aktivierungs-Signatur-Verteilung mit k vielen Elementen; und Σ ist die k x k große Kovarianzmatrix der Aktivierungs-Signatur-Verteilung. Das bedeutet, dass µ und Σ mit dem Trainings-Daten-Satz berechnet werden.
Dabei ist k die Anzahl der Pixel insgesamt, also n mal m für eine x und eine y Richtung der räumlichen Anteile beispielsweise einer Merkmalskarte.
Gemäß einem Aspekt wird vorgeschlagen, dass ein Signal generiert wird, wenn der Vertrauenswert kleiner ist als ein Schwellwert für den Vertrauens-Wert, wobei der Schwellwert mittels Trainingsdaten oder Testdaten ermittelt wurde.
Mittels eines solchen Schwellwertes kann erreicht werden, dass beispielsweise ein Alarm-Signal abhängig von der aktuellen Situation und dem aktuellen Vertrauens-Wert erfolgt.
Basierend auf den Vertrauens-Werten, die bei Trainings- und Testdatensätzen ermittelt wurden, kann eine Schwelle festgelegt werden.
Wenn für neue Beobachtungen der Vertrauenswert, der beispielsweise mit In p bestimmt werden kann, unter einem Schwellwert liegt, kann das auf eine Anomalie hindeuten. Ein niedriger Vertrauens-Wert zeigt an, dass das System in eine Situation gerät, für die es nicht trainiert wurde.
Darüber hinaus kann das beschriebene Verfahren auch als Entwicklungswerkzeug genutzt werden, um beispielsweise schon beim Training eines neuronalen Netzes nicht plausible Ergebnisse für weitere Analyse zu identifizieren.
Gemäß einem Aspekt wird vorgeschlagen, dass der Vertrauens-Wert als Gewichtungsfaktor für ein Situations-Analyse-Verfahren bereitgestellt wird. Somit steht dem Situations-Analyse-Verfahren mit dem Vertrauens-Wert ein Parameter zur Verfügung mit dem Ergebnisse der Detektion und/oder der Klassifikation von Objekten mittels des neuronalen Netzes bewertet werden können und mit anderen Informationen über die Umgebung mittels weiterer Sensoren verglichen werden können.
Dabei kann beispielsweise ein mittels des neuronalen Netzes detektierten Objektes bei dem die Bestimmung mit einem hohen Vertrauens-Wert verbunden ist gegenüber anderen Sensoren-Daten stärker gewichtet werden, als bei niedrigen Vertrauens-Werten.
Gemäß eines Aspektes wird vorgeschlagen, dass, abhängig von der Höhe des Vertrauens-Wertes, ein Ansteuerungssignal zur Ansteuerung eines wenigstens teilautomatisierten Fahrzeugs und/oder ein Warnsignal zur Warnung eines Fahrzeuginsassen ausgesendet werden.
Ein entsprechendes Beispiel bezüglich eines als Fußgänger korrekt klassifizierten Objektes, bei dem aber die Position des Fußgängers einen geringen Vertrauens-Wert hat, ist oben schon diskutiert worden.
Es wird eine Vorrichtung angegeben, die eingerichtet ist, ein Verfahren wie es oben beschrieben ist, durchzuführen. Mit einer solchen Vorrichtung kann das Verfahren leicht in unterschiedliche Systeme integriert werden.
Es wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.
Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist.
Ausführungsbeispiele
Ausführungsbeispiele der Erfindung sind in den 1 bis 3 dargestellt und werden im Folgenden näher erläutert. Es zeigt:

1 ein Flussdiagramm der Datenströme des Verfahrens;
2 ein System mit einer Vorrichtung die eingerichtet ist einen Vertrauens-Wert zu bestimmen; und
3 die Schritte des Verfahrens zur Bestimmung des Vertrauens-Wertes.

Die 1 skizziert einen Datenfluss zwischen Komponenten zur Bestimmung eines Vertrauens-Wertes.
Das neuronale Netz 140 liegt im oberen Zweig des Datenflussdiagramms 100, der den Anwendungsfall skizziert. Dabei werden Daten, beispielsweise von Sensoren, aus unterschiedlichen Quellen mittels eines Speichers 120 als Eingabebilder für das trainierte neuronale Netz 140 bereitgestellt, sodass das neuronale Netz 140 eine Mehrzahl von Ausgabebilder einer verborgenen Schicht für die Klasse des detektiert Objektes an eine Auswerteeinheit 160 für jedes der Eingabebilder übergeben kann. Die Auswerteeinheit 160 erstellt eine Aktivierungs-Signatur mittels der Mehrzahl der Ausgabebilder des neuronalen Netzes 140 und skaliert die Aktivierungs-Signatur auf die Größe des Eingabebildes. Die Auswerteeinheit 160 übergibt die skalierte Aktivierung-Signatur der Vergleichseinheit 180.
Im unteren Zweig des Datenflussdiagramms 100 werden mit dem trainierten neuronalen Netz 142 Aktivierung-Signaturen generiert. Dabei ist das neuronale Netz 140, 142 trainiert, Objekte zu detektieren und zu klassifizieren.
Mittels des Datenspeichers 122 wird dem trainierten neuronalen Netz 142 ein Trainings-Daten-Satz bereitgestellt, sodass das neuronale Netz eine Mehrzahl von Ausgabebildern einer Schicht des neuronalen Netzes für jedes Eingabebild einer Vielzahl von Eingabebildern generieren kann.
Die Verteilungs-Auswerteeinheit 170 bestimmt eine Aktivierung-Signatur für detektierte Objekte einer Klasse in der Vielzahl der Eingabebilder; skaliert jede der Aktivierung-Signaturen auf die Größe des Eingabebildes; skaliert jeden Objekt-Teil des in der skalierten Aktivierung-Signatur des detektierten Objektes auf eine einheitliche Größe; und berechnet eine Wahrscheinlichkeitsverteilung für jeden Pixel des skalierten Objekt-Teils der skalierten Aktivierung-Signaturen mittels aller detektierten Objekte derselben Klasse des Trainings-Daten-Satzes, zur Bestimmung der Aktivierungs-Signatur-Verteilung.
Die Vergleichseinheit 180 vergleicht ein Objekt-Teil der skalierten Aktivierung-Signatur mit der Aktivierung-Signatur-Verteilung aus dem Trainings-Daten-Satz, zur Bestimmung des Vertrauens-Wertes 190.
Die 2 skizziert ein System 200 mit einer Vorrichtung 210, die eingerichtet ist das Verfahren zur Bestimmung eines Vertrauens-Wertes, beispielsweise im Anwendungsfall, durchzuführen. Sensoren 230 stellen der Vorrichtung 210 Eingabebilder bereit und in einer Speichereinheit 240 ist eine Aktivierungs-Signatur-Verteilung gespeichert, so dass die Vorrichtung 210 mit dem oben beschriebenen Verfahren einen Vertrauens-Wert 220 bereitstellt.
Die 3 skizziert das Verfahren zur Bestimmung eines Vertrauens-Wertes, wobei in einem Schritt S1 eine Aktivierung-Signatur mittels einer Mehrzahl von Ausgabebildern einer verborgenen Schicht des neuronalen Netzes für die Klasse des detektierten Objektes bereitgestellt wird.
In einem weiteren Schritt S2 wird die Aktivierung-Signatur auf die Größe des Eingabebildes skaliert.
In einem weiteren Schritt S3 wird ein Objekt-Teil der skalierten Aktivierung-Signatur mit einer Aktivierung-Signatur-Verteilung aller Objekte der gleichen Klasse eines Trainings-Daten-Satzes des neuronalen Netzes verglichen, um den Vertrauens-Wert zu bestimmen.

Claims

Verfahren zur Bestimmung eines Vertrauens-Wertes eines mittels eines trainierten neuronalen Netzes in einem Eingabebild detektierten Objektes einer Klasse, mit den Schritten: Erstellen einer Aktivierungs-Signatur (S1) mittels einer Mehrzahl von Ausgabebildern einer Schicht des neuronalen Netzes für die Klasse des detektierten Objekts, wobei das Eingabebild einem Eingang des neuronalen Netzes bereitgestellt wird; Skalieren der Aktivierungs-Signatur (S2) auf eine Größe des Eingabebildes; Vergleichen eines Objekt-Teils der skalierten Aktivierungs-Signatur (S3) mit einer Aktivierungs-Signatur-Verteilung aller Objekte der gleichen Klasse eines Trainings-Daten-Satzes des neuronalen Netzes, zur Bestimmung des Vertrauens-Wertes.
Verfahren gemäß Anspruch 1, wobei der Objekt-Teil der skalierten Aktivierungs-Signatur einen Teil des Eingabebildes umfasst, in dem zumindest Teile des Objektes derselben Klasse detektiert wurden.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei der Objekt-Teil der skalierten Aktivierungs-Signatur einen rechteckigen Teil des Eingabebildes umfasst, der um das detektierte Objekt einer Klasse herum konstruiert wird.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei die Aktivierungs-Signatur des detektierten Objektes einer Klasse mit folgenden Schritten bestimmt wird: Berechnen einer Bedeutung jedes einzelnen Ausgabebildes, der Mehrzahl der Ausgabebilder der Schicht des neuronalen Netzes für eine Klassifizierung des detektierten Objektes mittels eines Gradientenverfahrens; Gewichten jedes der Ausgabebilder mit seiner jeweiligen Bedeutung; Kombinieren der Mehrzahl der gewichteten Ausgabebilder; Anwenden einer Aktivierungsfunktion auf die kombinierte Mehrzahl der gewichteten Ausgabebilder, zum Verstärken der Merkmale, die einen positiven Einfluss auf die Klassifizierung haben, zur Bestimmung der Aktivierungs-Signatur.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei die Aktivierungs-Signatur des detektierten Objektes einer Klasse mit folgenden Schritten bestimmt wird: Berechnen der Bedeutungjedes einzelnen Ausgabebildes, der Mehrzahl der Ausgabebilder einer Schicht des neuronalen Netzes, für eine Klassifizierung des detektierten Objektes, durch ein Bestimmen eines Gradienten eines Klassenausgabe-Wertes des neuronalen Netzes bezogen auf die Ausgabebilder der Mehrzahl der Ausgabebilder; Mitteln der Gradienten des Klassenausgabe-Wertes über alle Pixel des jeweiligen Ausgabebildes zur Bestimmung einer Bedeutung jedes einzelnen Ausgabebildes, der Mehrzahl der Ausgabebilder der Schicht des neuronalen Netzes; Gewichten jedes der Ausgabebilder mit ihrer jeweiligen Bedeutung; Aufsummieren aller Pixel-Werte der gewichteten Ausgabebilder, die in den gewichteten Ausgabebilder an sich entsprechenden Positionen angeordnet sind; und Verstärken der aufsummierten Pixel-Werte, die einen positiven Einfluss auf die Klassifizierung haben, durch Nullsetzen aller negativen Werte der aufsummierten Pixel-Werte, um eine Aktivierungs-Signatur zu bestimmen.
Verfahren zur Bestimmung der Aktivierungs-Signatur-Verteilung für eine Klasse von detektierten Objekten in einer Vielzahl von Eingabebildern eines Trainings-Daten-Satzes mit zugehörigen Klassen der Objekte in den jeweiligen Eingabebildern mit den Schritten: Berechnen einer Vielzahl von Aktivierungs-Signaturen, entsprechend Anspruch 4 oder 5, für alle detektierten Objekte einer Klasse in der Vielzahl von Eingabebildern; Skalieren jeder der Aktivierungs-Signaturen auf die Größe des Eingabebildes; Skalieren eines jeden Objekt-Teils, des in der skalierten Aktivierungs-Signatur detektierten Objektes, auf eine einheitliche Größe; Berechnen einer Wahrscheinlichkeitsverteilung für jeden Pixel des skalierten Objekt-Teils der skalierten Aktivierungs-Signaturen mittels aller detektierten Objekte derselben Klasse des Trainings-Daten-Satzes, wobei für jeden Pixel der skalierten Aktivierungs-Signaturen ein Mittelwert und eine Varianz, zur Bestimmung der Aktivierungs-Signatur-Verteilung, bestimmt werden.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei jeder Pixel des Objekt-Teils der skalierten Aktivierungs-Signatur mit jedem entsprechenden Pixel der Aktivierungs-Signatur-Verteilung verglichen wird, um eine Wahrscheinlichkeit zu bestimmen, dass ein Pixel des Objekt-Teils aus der Verteilung desselben Pixels der Aktivierungs-Signatur-Verteilung stammt; und Berechnen eines Durchschnittswertes dieser Wahrscheinlichkeiten für alle Pixel des Objekt-Teils, zur Bestimmung des Vertrauenswertes.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei der Vergleich zur Bestimmung des Vertrauens-Wertes mittels einer log-likelihood-Funktion des Objekt-Teils der skalierten Aktivierungs-Signatur im Vergleich mit der Aktivierungs-Signatur-Verteilung der Klasse des detektierten Objektes bestimmt wird.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei ein Signal generiert wird, wenn der Vertrauenswert kleiner ist als ein Schwellwert für den Vertrauens-Wert, wobei der Schwellwert mittels Trainingsdaten oder Testdaten ermittelt wurde.
Verfahren gemäß einem der vorangehenden Ansprüche, wobei der Vertrauens-Wert als Gewichtungsfaktor für ein Situations-Analyse-Verfahren bereitgestellt wird.
Verfahren nach einem der vorangehenden Ansprüche, wobei, abhängig von der Höhe des Vertrauenswertes, ein Ansteuerungssignal zur Ansteuerung eines wenigstens teilautomatisierten Fahrzeugs und/oder ein Warnsignal zur Warnung eines Fahrzeuginsassen ausgesendet werden.
Vorrichtung (210), die eingerichtet ist, ein Verfahren nach einem der Ansprüche 1 bis 11 durchzuführen.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 11 auszuführen.
Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 13 gespeichert ist.