DE102020203707A1

DE102020203707A1 - Plausibilisierung der Ausgabe neuronaler Klassifikatornetzwerke

Info

Publication number: DE102020203707A1
Application number: DE102020203707.8A
Authority: DE
Inventors: Konrad Groh
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-03-23
Filing date: 2020-03-23
Publication date: 2021-09-23
Also published as: CN113435239A; US20210295154A1

Abstract

Verfahren (100) zur Plausibilisierung der Ausgabe eines als Klassifikator genutzten künstlichen neuronalen Netzwerks, KNN (1), mit den Schritten:• eine Mehrzahl von Bildern (2), zu denen das KNN (1) eine Zuordnung (3) zu einer oder mehreren Klassen (3a-3c) einer vorgegebenen Klassifikation ermittelt hat, sowie die jeweils vom KNN (1) ermittelte Zuordnung (3) werden bereitgestellt (110);• zu jeder Kombination aus einem Bild (2) und einer Zuordnung (3) wird durch Anwendung einer Relevanzbewertungsfunktion (4) eine ortsaufgelöste Relevanzbewertung (2a) des Bildes (2) ermittelt (120), wobei diese Relevanzbewertung (2a) angibt, welche Teile des Bildes (2) in welchem Maße zu der Zuordnung (3) beigetragen haben;• ein weiterer Klassifikator (5) wird darauf trainiert (130), aus einem Bild (2) und einer für dieses Bild ermittelten Relevanzbewertung (2a) eine Rekonstruktion (3') derjenigen Zuordnung (3) zu ermitteln, auf die sich diese Relevanzbewertung (2a) bezieht;• anhand der Übereinstimmung zwischen den Rekonstruktionen (3') und den tatsächlichen Zuordnungen (3) wird ein Gütemaß (4a) für die Relevanzbewertungsfunktion (4) ermittelt (140).

Description

Die vorliegende Erfindung betrifft die Plausibilisierung der Ausgabe neuronaler Klassifikatornetzwerke, die beispielsweise für Erkennung von Objekten aus Bilddaten verwendet werden.
Stand der Technik
Etwa 90 % der Informationen, die ein menschlicher Fahrer zum Führen eines Fahrzeugs im Straßenverkehr benötigt, sind visuelle Informationen. Für das zumindest teilweise automatisierte Führen von Fahrzeugen ist es daher unabdingbar, Bilder gleich welcher Modalität, die bei der Überwachung des Fahrzeugumfelds aufgenommen werden, inhaltlich zutreffend auszuwerten. Von besonderer Bedeutung für die Fahraufgabe ist eine Klassifikation der Bilder dahingehend, welche verkehrsrelevanten Objekte in ihnen enthalten sind, wie beispielsweise andere Verkehrsteilnehmer, Fahrbahnmarkierungen, Hindernisse und Verkehrszeichen.
Zur Bewältigung dieser Komplexität werden künstliche neuronale Netzwerke eingesetzt. Derartige neuronale Netze können beispielsweise aus mehreren hintereinandergeschalteten Schichten bestehen, in denen die Dimensionalität der Aufgabe durch die Anwendung von Faltungskernen und durch Downsampling deutlich reduziert wird. Derartige neuronale Netze zeichnen sich weiterhin dadurch aus, dass die Daten massiv parallel verarbeitet werden. Die GB 2 454 857 B gibt ein Beispiel für ein Verfahren, bei dem ein Mikroskopbild mit Hilfe eines selbstlernenden neuronalen Netzes dahingehend klassifiziert wird, welche Objekte es enthält.
Da es sich hierbei um eine sicherheitsrelevante Funktionalität handelt, ist die Zuverlässigkeit der Objekterkennung für die Zulassung zum Straßenverkehr nachzuweisen und im laufenden Betrieb des Fahrzeugs zu überwachen.
Offenbarung der Erfindung
Im Rahmen der Erfindung wurde ein Verfahren zur Plausibilisierung der Ausgabe eines als Klassifikator genutzten künstlichen neuronalen Netzwerks, KNN, entwickelt.
Bei diesem Verfahren wird eine Mehrzahl von Bildern bereitgestellt, zu denen das KNN jeweils eine Zuordnung zu einer oder mehreren Klassen einer vorgegebenen Klassifikation ermittelt hat. Die Klassen können beispielsweise unterschiedliche Verkehrsteilnehmer, Verkehrszeichen, Fahrbahnbegrenzungen oder andere Objekte repräsentieren. Die jeweilige Zuordnung wird ebenfalls bereitgestellt. Es liegen also Paarungen aus Bildern einerseits und Zuordnungen zu einer oder mehreren Klassen andererseits vor. Die Zuordnung kann insbesondere beispielsweise ein Vektor sein, in dem jeweils eine Komponente für genau eine Klasse angibt, mit welcher Wahrscheinlichkeit und/oder Konfidenz das Bild dieser Klasse zuzuschreiben ist. Dabei kann der Vektor beispielsweise ein „one-hot“-Vektor sein, in dem nur eine Komponente gleich 1 ist, während alle anderen Komponenten gleich 0 sind. Der Vektor kann aber auch beispielsweise ein Softmax-Vektor sein und mehrere von Null verschiedene Komponenten umfassen, die sich zu 1 summieren.
Zu jeder Kombination aus einem Bild und einer Zuordnung wird durch Anwendung einer Relevanzbewertungsfunktion eine ortsaufgelöste Relevanzbewertung des Bildes ermittelt. Diese Relevanzbewertung („saliency map“) gibt an, welche Teile des Bildes in welchem Maße zu der Zuordnung beigetragen haben. Eine solche Relevanzbewertung kann in vielfältiger Weise genutzt werden, um die Ausgabe des KNN zu plausibilisieren.
So kann beispielsweise für bestimmte Kombinationen aus einem Bild und einer Zuordnung stichprobenartig visuell überprüft werden, ob zu der Entscheidung, ein Objekt beispielsweise der Klasse „PKW“ zuzuordnen, maßgeblich auf Grund von Bildbereichen getroffen worden ist, die tatsächlich einen PKW zeigen. Wenn ein Objekt als PKW klassifiziert worden ist, diese Entscheidung aber auf Grund von Bildbereichen getroffen worden ist, die etwa einen Baum zeigen, dann ist diese Zuordnung überhaupt nicht einsichtig. Selbst wenn das Bild an anderer Stelle tatsächlich einen PKW zeigt, ist die Quintessenz dennoch, dass Bildbereiche, die einen Baum zeigen, fälschlicherweise als PKW klassifiziert worden sind. Bei komplexen Szenerien mit einer Vielzahl von Objekten ist daher zu befürchten, dass die Menge der Objekte, die insgesamt in einem Bild der Szenerie erkannt wird, am Ende nicht deckungsgleich ist mit der Menge der Objekte, die tatsächlich in der Szenerie vorhanden sind.
Alternativ oder auch in Kombination hierzu kann die Relevanzbewertung auch mit beliebigen automatisierten Verfahren maschinell ausgewertet werden, was dann den Schritt von der stichprobenartigen Überprüfung zu einer 100-%-Kontrolle aller von dem KNN ermittelten Zuordnungen ermöglicht. Beispielhafte Ausgestaltungen für eine solche maschinelle Auswertung sind im Folgenden angegeben.
Unabhängig davon, ob die Relevanzbewertung visuell oder maschinell ausgewertet wird, hängt die Glaubwürdigkeit dieser Bewertung daran, dass die Relevanzbewertungsfunktion für die jeweilige Anwendung zutreffend ist. In der Literatur sind viele solche Relevanzbewertungsfunktionen bekannt, die jeweils für bestimmte Anwendungen entwickelt wurden. Eine mathematische Garantie dafür, dass eine konkrete Relevanzbewertungsfunktion für eine konkrete Anwendung zutreffend ist, gibt es a priori nicht.
Daher wird ein weiterer Klassifikator darauf trainiert, aus einem Bild und einer für dieses Bild ermittelten Relevanzbewertung eine Rekonstruktion derjenigen Zuordnung zu ermitteln, auf die sich diese Relevanzbewertung bezieht. Anhand der hierbei erzielten Übereinstimmung zwischen den Rekonstruktionen und den tatsächlichen Zuordnungen wird ein Gütemaß für die Relevanzbewertungsfunktion ermittelt. Die Übereinstimmung kann nach einer beliebigen Metrik, etwa durch quantitative Auswertung einer Verwechslungsmatrix, ermittelt werden. Beispielsweise kann die Übereinstimmung als Verhältnis der Zahl der korrekten Vorhersagen zur Gesamtzahl der Vorhersagen („Accuracy“) ermittelt werden.
Wenn beispielsweise eine Vielzahl von Bildern, die Fahrzeuge zeigen, der Klasse „Fahrzeug“ zugeordnet wurden und gemäß der Relevanzbewertung zu dieser Entscheidung jeweils Bildbereiche beigetragen haben, die tatsächlich ein Fahrzeug zeigen, dann wird der weitere Klassifikator in seinem fertig trainierten Zustand die Kombination aus einem Bild und einer Relevanzbewertung, die in dem Bild einen Bereich mit einem oder mehreren Fahrzeugen als besonders relevant bewertet, wiederum der Klasse „Fahrzeug“ zuordnen. Die von der Relevanzbewertungsfunktion ermittelte Relevanz von Bildteilen für die Einteilung in Klassen durch das KNN ist also konsistent mit der vom KNN gelieferten Einteilung in die Klassen. Daher wird die Relevanzbewertungsfunktion in diesem Fall mit einem guten Gütemaß bewertet.
Beruht hingegen die Entscheidung für die Klasse „Fahrzeug“ in einer Hälfte der Fälle auf Bildbereichen, die ein oder mehrere Fahrzeuge zeigen, und in der anderen Hälfte der Fälle auf Bildbereichen, die einen oder mehrere Bäume zeigen, so ändert dies nichts daran, dass der weitere Klassifikator Kombinationen aus einem Bild und einer Relevanzbewertung, die in diesem Bild einen oder mehrere Bäume als besonders relevant bewertet, primär der Klasse „Baum“ zuordnet. Die Rekonstruktion „Baum“ weicht also von der tatsächlichen Zuordnung „Fahrzeug“ ab, die das KNN getroffen hat. Die von der Relevanzbewertungsfunktion ermittelte Relevanz von Bildteilen für die Einteilung in Klassen durch das KNN steht also nicht im Einklang mit der vom KNN gelieferten Einteilung in die Klassen. Daher ist das Gütemaß für die Relevanzbewertungsfunktion in diesem Fall schlechter.
Der weitere Klassifikator kann insbesondere beispielsweise ein linearer Klassifikator sein. Er kann beispielsweise als KNN ausgebildet sein. Es kommt aber auch jede andere Art von Machine Learning-Modell mit idealerweise großer Kraft zur Verallgemeinerung in Betracht.
In einer besonders vorteilhaften Ausgestaltung wird die Menge der verfügbaren Kombinationen aus Bildern, Zuordnungen und Relevanzbewertungen in eine erste Teilmenge von Trainingsdaten für den weiteren Klassifikator und eine zweite Teilmenge von Testdaten für den weiteren Klassifikator aufgeteilt. Der weitere Klassifikator wird anhand der Trainingsdaten trainiert. Die Übereinstimmung zwischen den Rekonstruktionen und den tatsächlichen Zuordnungen wird anhand der Testdaten ermittelt. Auf diese Weise wird die „Overfitting“ genannte Tendenz des weiteren Klassifikators, das in den Trainingsdaten enthaltene Wissen mehr oder weniger „auswendig zu lernen“ statt es zu verallgemeinern, unterdrückt.
In einer besonders vorteilhaften Ausgestaltung wird das Gütemaß für eine Auswahl mehrerer Kandidaten-Relevanzbewertungsfunktionen ermittelt. Eine Kandidaten-Relevanzbewertungsfunktion mit dem besten Wert des Gütemaßes wird als Relevanzbewertungsfunktion ausgewählt. Es ist dann deutlich glaubhafter, dass gerade diese Relevanzbewertungsfunktion in der konkreten Anwendung die Relevanz von Bildbereichen für Entscheidungen des KNN korrekt misst.
In einer weiteren besonders vorteilhaften Ausgestaltung wird das Gütemaß zusätzlich für

• die identische Abbildung des Bildes, und/oder
• eine mit Zufallswerten ausgefüllte Fläche, und/oder
• eine mit einem konstanten Wert aufgefüllte Fläche, und/oder
• eine semantische Segmentierung des Bildes, und/oder
• eine Kantendetektion aus dem Bild

Jede Relevanzbewertungsfunktion, die durch Wissen über die Architektur des KNN und/oder über die konkrete Anwendung motiviert ist, sollte ein besseres Gütemaß erzielen als eine Relevanzbewertungsfunktion, die ganz ohne ein solches Wissen auskommt. Dies ist in etwa vergleichbar damit, dass von jedem Fondsmanager, der ein Aktiendepot für einen Investmentfonds pflegt, zumindest eine bessere Wertentwicklung des Depots erwartet wird als für ein durchschnittliches per Zufallsgenerator zusammengestelltes Depot im gleichen Zeitraum. Wenn der Fondsmanager dies nicht schafft, ist davon auszugehen, dass seine Arbeitsweise grundlegende Mängel aufweist.
Daher kann insbesondere beispielsweise eine Relevanzbewertungsfunktion oder Kandidaten-Relevanzbewertungsfunktion, deren Gütemaß schlechter ist als das Gütemaß der Vergleichs-Relevanzbewertungsfunktion, als unplausibel verworfen werden.
In einer weiteren besonders vorteilhaften Ausgestaltung kann für die Relevanzbewertungsfunktion ein parametrisierter Ansatz mit freien Parametern aufgestellt werden. Die Parameter dieses Ansatzes können dann optimiert werden mit dem Ziel, dass das Gütemaß der Relevanzbewertungsfunktion ein Extremum annimmt. Das Gütemaß ist also gewissermaßen eine Richtschnur für die Optimierung.
Die gesuchte Plausibilität der Ausgabe des KNN kann anhand der Relevanzbewertungsfunktion, und/oder anhand des Gütemaßes dieser Relevanzbewertungsfunktion, und/oder anhand einer mit dieser Relevanzbewertungsfunktion ermittelten Relevanzbewertung, ausgewertet werden. Unabhängig davon, auf welche Weise diese Auswertung erfolgt, ist sie auf eine quantitativ motivierte Grundlage gestellt.
Hierbei kann die Plausibilität beispielsweise explizit von dem Gütemaß abhängen. Es kann also beispielsweise die bloße Existenz irgendeiner Relevanzbewertungsfunktion, die ein besonders vorteilhaftes Gütemaß hat, schon darauf hindeuten, dass die Ausgabe des KNN insgesamt in sich schlüssig und plausibel ist: Was in sich widersprüchlich ist, das lässt sich nicht schlüssig mit einer Relevanzbewertungsfunktion erklären, egal wie diese ausgestaltet ist.
Das Gütemaß kann aber auch beispielsweise mittelbar in die Ermittlung der Plausibilität eingehen, indem durch Optimierung des Gütemaßes die am besten zu der jeweiligen Anwendung passende Relevanzbewertungsfunktion aufgefunden wird und diese Relevanzbewertungsfunktion dann wiederum herangezogen wird, um die Plausibilität der Ausgabe des KNN auszuwerten.
In einer weiteren besonders vorteilhaften Ausgestaltung wird die ermittelte Plausibilität über ein Display an einen Benutzer des KNN ausgegeben. Der Benutzer wird hierdurch in die Lage versetzt, Fehlfunktionen eines als Klassifikator genutzten KNN rechtzeitig zu erkennen und Gegenmaßnahmen einzuleiten. Dem KNN wird hierdurch der Charakter einer „black box“ genommen. Stattdessen wird sein Verhalten erklärbar. Hierdurch wiederum wird ein technisches System, das auf der Basis von mit dem Klassifikator ermittelten Zuordnungen zu Klassen Aktionen auslöst, sicherer bedienbar.
Wie zuvor erläutert, kann die Auswertung insbesondere maschinell erfolgen. Zu diesem Zweck stellt die Erfindung ein weiteres Verfahren zur Plausibilisierung der Ausgabe eines als Klassifikator genutzten KNN bereit.
Im Rahmen dieses Verfahrens wird mindestens ein Bild, zu dem das KNN eine Zuordnung zu einer oder mehreren Klassen einer vorgegebenen Klassifikation ermittelt hat, bereitgestellt. Weiterhin wird auch diese vom KNN ermittelte Zuordnung bereitgestellt.
Zu der Kombination aus dem Bild und der Zuordnung wird durch Anwendung einer Relevanzbewertungsfunktion eine ortsaufgelöste Relevanzbewertung des Bildes ermittelt, wobei diese Relevanzbewertung angibt, welche Teile des Bildes in welchem Maße zu der Zuordnung beigetragen haben. Diese Relevanzbewertungsfunktion kann beispielsweise im Zuge des zuvor erläuterten Verfahren ausgewählt und/oder gebildet worden sein, so dass sie in besonderem Maße quantitativ motiviert ist. Die Relevanzbewertungsfunktion kann jedoch auch aus einer beliebigen anderen Quelle stammen.
Es wird eine Korrelation zwischen der Relevanzbewertung einerseits und einer semantischen Segmentierung des Bildes, und/oder einer Kantendetektion aus dem Bild, andererseits ermittelt. Wenn die Relevanzbewertung, die semantische Segmentierung bzw. die Kantendetektion beispielsweise jeweils als zweidimensionale Bilder vorliegen, kann die Korrelation beispielsweise als zweidimensionale diskrete Kreuzkorrelation ermittelt werden. Die Korrelation wird als Maß für die Plausibilität der Ausgabe des KNN gewertet.
Dabei kann die semantische Segmentierung des Bildes Zuordnungen von Bildbereichen zu Klassen nutzen, die das untersuchte KNN, oder auch ein beliebiges anderes KNN, geliefert hat. Die semantische Segmentierung kann aber auch aus einer beliebigen anderen Quelle stammen. Ebenso kann die Kantendetektion mit oder ohne Verwendung eines KNN ermittelt werden.
Der Absolutwert der Korrelation wird davon abhängen, auf welche Weise die semantische Segmentierung, bzw. die Kantendetektion, ermittelt wird. Er sollte sich bei korrektem Funktionieren der Klassenzuordnung mit dem KNN jedoch im laufenden Betrieb des KNN nicht wesentlich oder nur in bestimmten Grenzen ändern. Somit lässt sich im laufenden Betrieb des KNN und der Bildaufnahme, die dieses KNN mit Bildern speist, überwachen, inwieweit die Klassenzuordnung noch zuverlässig funktioniert.
Beispielsweise kann während der Fahrt die von einem Kamerasystem gelieferte Bildqualität plötzlich deutlich schlechter werden, weil das Fahrzeug in eine Nebelbank hineinfährt oder weil die tiefstehende Sonne plötzlich voll auf den Kamerasensor auftrifft und diesen in die Sättigung treibt. Kanten sind dann wesentlich schlechter zu erkennen als bei guten Aufnahmebedingungen. Bei gleichbleibender ortsaufgelöster Relevanzbewertung nimmt also die Korrelation ab, so dass die Ausgabe des KNN als weniger plausibel bewertet wird.
Es kann aber auch beispielsweise ein vom Gesetzgeber neu eingeführtes Verkehrszeichen durch ein noch nicht auf dieses Verkehrszeichen trainiertes KNN falsch klassifiziert werden. So ist beispielsweise das Verkehrszeichen „Umweltzone“ weitestgehend dem Verkehrszeichen „Tempo 30-Zone“ nachempfunden; es wurde lediglich die Zahl „30“ gegen das Wort „Umwelt“ ausgetauscht. Ein KNN, das das Verkehrszeichen „Umweltzone“ noch nicht kennt, wird ein Bild dieses Verkehrszeichens daher wahrscheinlich der Klasse „Tempo 30-Zone“ zuordnen. Jedoch wird die ortsaufgelöste Relevanzbewertung für den Bereich des Bildes mit dem Wort „Umwelt“ geringer sein als für den Rest des Bildes, der sich nicht von einem Bild eines Verkehrszeichens „Tempo 30-Zone“ unterscheidet. Die ortsaufgelöste Relevanzbewertung korreliert also in dem Bereich mit dem Wort „Umwelt“ schlechter mit den im Bild sichtbaren Kanten als dies im Rest des Bildes der Fall ist. Daher wird die Ausgabe des KNN als weniger plausibel bewertet.
Weiterhin kann beispielsweise ein gezielter Versuch unternommen werden, durch Manipulation des Bildes in böswilliger Absicht eine Falschklassifikation durch das KNN zu provozieren. So kann beispielsweise ein Verkehrszeichen durch Anbringen von scheinbar unscheinbaren Aufklebern so verändert werden, dass es vom KNN als ein Verkehrszeichen mit komplett anderer Bedeutung erkannt wird (etwa „Tempo 70“ statt „Stopp“). Der Aufkleber wird in diesem Fall vom KNN für relevanter erachtet als beispielsweise die in der Kantendetektion eindeutig erkennbare achteckige Form des Stoppschildes. Die Korrelation der Relevanzbewertung mit der Kantendetektion ist also schlecht.
In einer besonders vorteilhaften Ausgestaltung wird in Antwort darauf, dass die Korrelation einen vorgegebenen Schwellwert unterschreitet, ein technisches System, das anhand der vom KNN ermittelten Zuordnung zumindest teilweise automatisiert agiert, dahingehend angesteuert, dass nachteilige Folgen einer falschen Zuordnung vermindert werden.
So kann beispielsweise ein zumindest teilweise automatisiertes Fahrzeug langsamer und/oder defensiver fahren, um Zusammenstöße mit einer höheren Wahrscheinlichkeit zu vermeiden oder zumindest ihre Folgen abzumildern. Ein Zutrittskontrollsystem, das ein vorgelegtes Zugangsmedium (wie etwa einen Ausweis oder ein biometrisches Merkmal) prüft, kann bei einer schlechten Korrelation den Zutritt verwehren oder eine zusätzliche Authentifikation (etwa eine PIN) anfordern. Ein Qualitätskontrollsystem für in Serie gefertigte Produkte kann Produkte einer zeitaufwändigeren, aber gründlicheren Überprüfungsmethode zuführen. Ein System für die Auswertung medizinischer Bilddaten kann Bilder oder Bildbereiche, in denen die Korrelation schlecht ist, für die Überprüfung durch einen Experten markieren.
In einer weiteren besonders vorteilhaften Ausgestaltung wird ein Bild gewählt, das durch die Beobachtung des Umfelds eines Roboters und/oder Fahrzeugs entstanden ist. Der Roboter, und/oder das Fahrzeug, kann insbesondere beispielsweise teilautonom sein. In Antwort darauf, dass die Korrelation einen vorgegebenen Schwellwert unterschreitet, wird der Roboter, und/oder das Fahrzeug, dahingehend angesteuert, dass

• mindestens ein zusätzlicher physikalischer Sensor für die Beobachtung des Umfelds des Roboters und/oder Fahrzeugs aktiviert wird; und/oder
• die Fahrgeschwindigkeit eines zumindest teilweise automatisiert fahrenden Roboters und/oder Fahrzeugs vermindert wird; und/oder
• ein Fahrassistenzsystem, und/oder ein System für das zumindest teilweise automatisierte Führen des Roboters und/oder Fahrzeugs, ganz oder teilweise deaktiviert wird, und/oder
• ein Roboter, bzw. ein zumindest teilweise automatisiert fahrendes Fahrzeug, auf einer vorgeplanten Notstopp-Trajektorie zum Stillstand gebracht wird.

So kann beispielsweise in Antwort darauf, dass die Korrelation zwischen der ortsaufgelösten Relevanzbewertung eines Kamerabildes und den in diesem Kamerabild sichtbaren Kanten sich verschlechtert, ein Radarsensor oder ein LIDAR-Sensor zugeschaltet werden, um Widersprüche und/oder Unklarheiten bei der Erkennung von Objekten aufzulösen. In dem genannten Beispiel, in dem die tiefstehende Sonne auf die Kamera scheint, lässt sich der Radarsensor hiervon nicht stören.
Insbesondere können beispielsweise verschiedene Schwellwerte für die Korrelation festgelegt werden, bei deren Unterschreiten unterschiedliche Aktionen ausgelöst werden. So kann das Fahrzeug beispielsweise sich bei Unterschreiten eines ersten Schwellwerts auf der Autobahn in den langsameren Verkehrsstrom auf dem rechten Fahrstreifen einreihen, um bei Unterschreiten eines zweiten Schwellwerts auf dem Standstreifen zu halten.
Das KNN kann insbesondere ein faltendes KNN sein. Die Relevanzbewertungsfunktion kann dann beispielsweise eine gewichtete Summe von Aktivierungskarten mehrerer Faltungskerne, die in einer Schicht des KNN auf das Bild oder auf ein Verarbeitungsprodukt des Bildes angewendet werden, beinhalten.
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Figurenliste
Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100, mit dem ein Gütemaß 4a für eine Relevanzbewertungsfunktion 4 ermittelt wird;
2 Ausführungsbeispiel des Verfahrens 200, mit dem anhand einer konkreten Relevanzbewertungsfunktion 4 die Plausibilität 6 der Ausgabe des KNN 1 bewertet wird;
3 Beispielhafte Erkennung eines Angriffs mit einem „adversarial example“ durch das Verfahren 200.

1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100. Mit diesem Verfahren wird primär ein Gütemaß 4a für eine Relevanzbewertungsfunktion 4 ermittelt. Dies ermöglicht es wiederum, eine Plausibilität 6 der Ausgabe des KNN 1 auszuwerten.
In Schritt 110 werden Bilder 2 sowie Zuordnungen 3 dieser Bilder 2 zu Klassen 3a-3c einer vorgegebenen Klassifikation bereitgestellt. In Schritt 120 werden Kombinationen aus jeweils einem Bild 2 und einer Zuordnung 3 mittels einer Relevanzbewertungsfunktion 4 zu einer Relevanzbewertung 2a des Bildes 2 verarbeitet. Diese Relevanzbewertung 2a gibt an, welche Teile des Bildes 2 in welchem Maße zu der Zuordnung 3 beigetragen haben.
In Schritt 130 wird ein weiterer Klassifikator 5 darauf trainiert, aus einem Bild 2 und einer für dieses Bild ermittelten Relevanzbewertung 2a eine Rekonstruktion 3' derjenigen Zuordnung 3 zu ermitteln, auf die sich diese Relevanzbewertung 2a bezieht. Bei einem solchen Training können beispielsweise Parameter, wie etwa Gewichte, des Klassifikators 5 dahingehend optimiert werden, dass für die beim Training verwendeten Bilder 2 die Rekonstruktion 3' möglichst gut der tatsächlich vom KNN 1 ermittelten Zuordnung 3 entspricht. Anhand der Übereinstimmung zwischen den Rekonstruktionen 3' und den tatsächlichen Zuordnungen 3, die sich durch dieses Training erzielen lässt, wird in Schritt 140 ein Gütemaß 4a für die Relevanzbewertungsfunktion 4 ermittelt.
Beispielsweise kann gemäß Block 131 die Menge der verfügbaren Kombinationen aus Bildern 2, Zuordnungen 3 und Relevanzbewertungen 2a in eine erste Teilmenge von Trainingsdaten für den weiteren Klassifikator 5 und eine zweite Teilmenge von Testdaten für den weiteren Klassifikator 5 aufgeteilt werden. Gemäß Block 132 kann dann der weitere Klassifikator 5 anhand der Trainingsdaten trainiert werden. Die Übereinstimmung zwischen den Rekonstruktionen 3' und den tatsächlichen Zuordnungen 3 kann dann anhand der Testdaten ermittelt werden. Wie zuvor erläutert, kann der weitere Klassifikator 5 dann nicht durch Overfitting an die Trainingsdaten einen Lernerfolg „vortäuschen“. Prinzipiell können jedoch auch alle Kombinationen aus Bildern 2, Zuordnungen 3 und Relevanzbewertungen 2a als Trainingsdaten verwendet werden, und es kann dann beispielsweise gemessen werden, wie gut die Übereinstimmung zwischen den Rekonstruktionen 3' und den tatsächlichen Zuordnungen 3 im Mittel ist.
Innerhalb des Kastens 140 sind verschiedene beispielhafte Ausgestaltungen dafür angegeben, wie mit Hilfe des Gütemaßes 4a zugleich auch eine für die jeweilige Anwendung besonders passende Relevanzbewertungsfunktion 4 aufgefunden werden kann.
Gemäß Block 141 kann das Gütemaß 4a für eine Auswahl mehrerer Kandidaten-Relevanzbewertungsfunktionen 4* ermittelt werden. Es kann dann gemäß Block 142 eine Kandidaten-Relevanzbewertungsfunktion 4* mit dem besten Wert des Gütemaßes als Relevanzbewertungsfunktion 4 ausgewählt werden.
Gemäß Block 143 kann das Gütemaß 4a zusätzlich für

• die identische Abbildung des Bildes 2, und/oder
• eine mit Zufallswerten ausgefüllte Fläche, und/oder
• eine mit einem konstanten Wert aufgefüllte Fläche, und/oder
• eine semantische Segmentierung 2b des Bildes 2, und/oder
• eine Kantendetektion 2c aus dem Bild 2

144

4

4a

Gemäß Block 145 kann für die Relevanzbewertungsfunktion 4 ein parametrisierter Ansatz 4' mit freien Parametern aufgestellt werden. Die Parameter dieses Ansatzes 4' können dann gemäß Block 146 optimiert werden mit dem Ziel, dass das Gütemaß 4a der Relevanzbewertungsfunktion 4 ein Extremum annimmt.
Die Relevanzbewertungsfunktion 4, und/oder das Gütemaß 4a dieser Relevanzbewertungsfunktion, und/oder eine mit dieser Relevanzbewertungsfunktion 4 ermittelte Relevanzbewertung 2a, können in Schritt 150 genutzt werden, um eine Plausibilität 6 der Ausgabe des KNN 1 auszuwerten. Dies ist jedoch optional. Das Verfahren 100 kann auch beispielsweise lediglich mit dem Ziel angewendet werden, eine optimale Relevanzbewertungsfunktion 4 aufzufinden.
2 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200. Dieses Verfahren 200 geht davon aus, dass schon eine passende Relevanzbewertungsfunktion 4 implementiert ist.
Analog zu Schritt 110 des Verfahrens 100 werden in Schritt 210 des Verfahrens 200 mindestens ein Bild 2, zu dem das KNN 1 eine Zuordnung 3 zu einer oder mehreren Klassen 3a-3c einer vorgegebenen Klassifikation ermittelt hat, sowie die vom KNN 1 ermittelte Zuordnung 3 bereitgestellt.
Analog zu Schritt 120 des Verfahrens 100 wird in Schritt 220 des Verfahrens 200 zu der Kombination aus dem Bild 2 und der Zuordnung 3 durch Anwendung der Relevanzbewertungsfunktion 4 eine ortsaufgelöste Relevanzbewertung 2a des Bildes 2 ermittelt. Diese Relevanzbewertung 2a gibt wieder an, welche Teile des Bildes 2 in welchem Maße zu der Zuordnung 3 beigetragen haben.
In Schritt 230 wird eine Korrelation 7 zwischen der Relevanzbewertung 2a einerseits und einer semantischen Segmentierung 2b des Bildes 2, und/oder einer Kantendetektion 2c aus dem Bild 2, andererseits ermittelt. Diese Korrelation 7 wird in Schritt 240 als Maß für die Plausibilität 6 der Ausgabe des KNN 1 gewertet werden.
Diese Plausibilität 6, oder auch unmittelbar die Korrelation 7, kann dann in Schritt 250 mit einem Schwellwert 7a verglichen werden, und es kann ein zumindest teilweise automatisiert agierendes System dahingehend angesteuert werden, dass nachteilige Folgen einer falschen Zuordnung vermindert werden.
Innerhalb des Kastens 250 sind verschiedene Beispiele angegeben, wie dieses Ansteuern speziell für Fahrzeuge ausgestaltet werden kann.
Gemäß Block 251 kann mindestens ein zusätzlicher physikalischer Sensor für die Beobachtung des Umfelds des Fahrzeugs aktiviert werden.
Gemäß Block 252 kann die Fahrgeschwindigkeit eines zumindest teilweise automatisiert fahrenden Fahrzeugs vermindert werden. Beispielsweise kann das Fahrzeug auf der Autobahn vorsorglich dazu angesteuert werden, sich in den langsameren Verkehr des rechten Fahrstreifens einzureihen.
Gemäß Block 253 kann ein Fahrassistenzsystem, und/oder ein System für das zumindest teilweise automatisierte Führen des Fahrzeugs, ganz oder teilweise deaktiviert werden.
Gemäß Block 253 kann ein zumindest teilweise automatisiert fahrendes Fahrzeug auf einer vorgeplanten Notstopp-Trajektorie zum Stillstand gebracht werden. Eine solche Notstopp-Trajektorie wird für den Fall eines Systemausfalls in jedem System für das zumindest teilweise automatisierte Fahren standardmäßig vorgehalten.
3 zeigt ein Beispiel dafür, wie ein Angriff auf ein als Klassifikator verwendetes KNN 1 mit einem „adversarial example“, also einem manipulierten Bild 2, durch das Verfahren 200 erkannt werden kann. In diesem Beispiel zeigt das Bild 2 ein Stoppschild 21, das in böswilliger Absicht mit einem Aufkleber 22 versehen wurde. Dieser Aufkleber 22 ist bewusst so gestaltet, dass das KNN 1 das Stoppschild 21 nicht als Stoppschild, sondern beispielsweise als Tempo 70-Schild klassifizieren soll.
Sollte es gelingen, das KNN 1 derart zu „täuschen“, impliziert dies, dass der Bereich mit dem Aufkleber 22 einen besonders starken Einfluss auf die vom KNN 1 ermittelte Zuordnung 3 hat. Das bedeutet, dass dieser Bereich in der ortsaufgelösten Relevanzbewertung 2a ein besonders hohes Gewicht hat im Vergleich zum Rest des Bildes 2. Dies ist in 3 dadurch veranschaulicht, dass nur der Bereich mit dem Aufkleber 22 markiert und mit dem Bezugszeichen 2a versehen ist.
Die Kantendetektion 2c aus dem Bild 2 hebt hingegen die Merkmale des Stoppschildes 21 besonders hervor, während der Aufkleber 22, wenn überhaupt, nur noch sehr schwach erkennbar ist. Aufkleber 22, die in böswilliger Absicht auf Schildern angebracht werden, sollen ja gerade optisch möglichst wenig auffallen, damit niemand sie entdeckt und entfernt.
Es kommen also gerade die Merkmale des Stoppschilds 21, die in der Kantendetektion 2c besonders hervorstechen, in der ortsaufgelösten Relevanzbewertung 2a praktisch gar nicht zur Geltung. Ebenso kommt der Aufkleber 22, der für die Relevanzbewertung 2a so wichtig ist, in der Kantendetektion 2c praktisch gar nicht zur Geltung. Die Korrelation 7 zwischen der Relevanzbewertung 2a und der Kantendetektion 2c ist also schlecht, was mit dem Verfahren 200 erkannt werden kann.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

GB 2454857 B [0003]

Claims

Verfahren (100) zur Plausibilisierung der Ausgabe eines als Klassifikator genutzten künstlichen neuronalen Netzwerks, KNN (1), mit den Schritten: • eine Mehrzahl von Bildern (2), zu denen das KNN (1) eine Zuordnung (3) zu einer oder mehreren Klassen (3a-3c) einer vorgegebenen Klassifikation ermittelt hat, sowie die jeweils vom KNN (1) ermittelte Zuordnung (3) werden bereitgestellt (110); • zu jeder Kombination aus einem Bild (2) und einer Zuordnung (3) wird durch Anwendung einer Relevanzbewertungsfunktion (4) eine ortsaufgelöste Relevanzbewertung (2a) des Bildes (2) ermittelt (120), wobei diese Relevanzbewertung (2a) angibt, welche Teile des Bildes (2) in welchem Maße zu der Zuordnung (3) beigetragen haben; • ein weiterer Klassifikator (5) wird darauf trainiert (130), aus einem Bild (2) und einer für dieses Bild ermittelten Relevanzbewertung (2a) eine Rekonstruktion (3') derjenigen Zuordnung (3) zu ermitteln, auf die sich diese Relevanzbewertung (2a) bezieht; • anhand der Übereinstimmung zwischen den Rekonstruktionen (3') und den tatsächlichen Zuordnungen (3) wird ein Gütemaß (4a) für die Relevanzbewertungsfunktion (4) ermittelt (140).
Verfahren (100) nach Anspruch 1, wobei • die Menge der verfügbaren Kombinationen aus Bildern (2), Zuordnungen (3) und Relevanzbewertungen (2a) in eine erste Teilmenge von Trainingsdaten für den weiteren Klassifikator (5) und eine zweite Teilmenge von Testdaten für den weiteren Klassifikator (5) aufgeteilt wird (131), • der weitere Klassifikator (5) anhand der Trainingsdaten trainiert wird (132), und • die Übereinstimmung zwischen den Rekonstruktionen (3') und den tatsächlichen Zuordnungen (3) anhand der Testdaten ermittelt wird (133).
Verfahren (100) nach einem der Ansprüche 1 bis 2, wobei das Gütemaß (4a) für eine Auswahl mehrerer Kandidaten-Relevanzbewertungsfunktionen (4*) ermittelt wird (141) und wobei eine Kandidaten-Relevanzbewertungsfunktion (4*) mit dem besten Wert des Gütemaßes (4a) als Relevanzbewertungsfunktion (4) ausgewählt wird (142).
Verfahren (100) nach einem der Ansprüche 1 bis 3, wobei das Gütemaß (4a) zusätzlich für • die identische Abbildung des Bildes (2), und/oder • eine mit Zufallswerten ausgefüllte Fläche, und/oder • eine mit einem konstanten Wert aufgefüllte Fläche, und/oder • eine semantische Segmentierung (2b) des Bildes (2), und/oder • eine Kantendetektion (2c) aus dem Bild (2) als ortsaufgelöste Vergleichs-Relevanzbewertung (2a*) ermittelt wird (143).
Verfahren (100) nach Anspruch 4, wobei eine Relevanzbewertungsfunktion (4) oder Kandidaten-Relevanzbewertungsfunktion (4*), deren Gütemaß (4a) schlechter ist als das für die Vergleichs-Relevanzbewertung (2a*) ermittelte Gütemaß (4a), als unplausibel verworfen wird (144).
Verfahren (100) nach einem der Ansprüche 1 bis 5, wobei für die Relevanzbewertungsfunktion (4) ein parametrisierter Ansatz (4') mit freien Parametern aufgestellt wird (145) und wobei die Parameter dieses Ansatzes (4') optimiert werden (146) mit dem Ziel, dass das Gütemaß (4a) der Relevanzbewertungsfunktion (4) ein Extremum annimmt.
Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei anhand der Relevanzbewertungsfunktion (4), und/oder anhand des Gütemaßes (4a) dieser Relevanzbewertungsfunktion (4), und/oder anhand einer mit dieser Relevanzbewertungsfunktion (4) ermittelten Relevanzbewertung (2a), eine Plausibilität (6) der Ausgabe des KNN (1) ausgewertet wird (150).
Verfahren nach Anspruch 7, wobei die Plausibilität (6) über ein Display an einen Benutzer des KNN (1) ausgegeben wird.
Verfahren (200) zur Plausibilisierung der Ausgabe eines als Klassifikator genutzten künstlichen neuronalen Netzwerks, KNN (1), mit den Schritten: • mindestens ein Bild (2), zu dem das KNN (1) eine Zuordnung (3) zu einer oder mehreren Klassen (3a-3c) einer vorgegebenen Klassifikation ermittelt hat, sowie die vom KNN (1) ermittelte Zuordnung (3) werden bereitgestellt (210); • zu der Kombination aus dem Bild (2) und der Zuordnung (3) wird durch Anwendung einer Relevanzbewertungsfunktion (4) eine ortsaufgelöste Relevanzbewertung (2a) des Bildes (2) ermittelt (220), wobei diese Relevanzbewertung (2a) angibt, welche Teile des Bildes (2) in welchem Maße zu der Zuordnung (3) beigetragen haben; • es wird eine Korrelation (7) zwischen der Relevanzbewertung (2a) einerseits und einer semantischen Segmentierung (2b) des Bildes (2), und/oder einer Kantendetektion (2c) aus dem Bild (2), andererseits ermittelt (230); • diese Korrelation (7) wird als Maß für die Plausibilität (6) der Ausgabe des KNN (1) gewertet (240).
Verfahren (200) nach Anspruch 9, wobei die Relevanzbewertungsfunktion (4) im Zuge des Verfahrens (100) nach einem der Ansprüche 3, 5 oder 6 ausgewählt und/oder gebildet wird.
Verfahren (200) nach einem der Ansprüche 9 bis 10, wobei in Antwort darauf, dass die Korrelation (7) einen vorgegebenen Schwellwert (7a) unterschreitet, ein technisches System, das anhand der vom KNN (1) ermittelten Zuordnung zumindest teilweise automatisiert agiert, dahingehend angesteuert wird (250), dass nachteilige Folgen einer falschen Zuordnung vermindert werden.
Verfahren (200) nach einem der Ansprüche 9 bis 11, wobei ein Bild (2) gewählt wird, das durch die Beobachtung des Umfelds eines Roboters und/oder Fahrzeugs entstanden ist, und wobei in Antwort darauf, dass die Korrelation einen vorgegebenen Schwellwert unterschreitet, der Roboter, und/oder das Fahrzeug, dahingehend angesteuert wird (250), dass • mindestens ein zusätzlicher physikalischer Sensor für die Beobachtung des Umfelds des Roboters und/oder Fahrzeugs aktiviert wird (251); und/oder • die Fahrgeschwindigkeit eines zumindest teilweise automatisiert fahrenden Roboters und/oder Fahrzeugs vermindert wird (252); und/oder • ein Fahrassistenzsystem, und/oder ein System für das zumindest teilweise automatisierte Führen des Roboters und/oder Fahrzeugs, ganz oder teilweise deaktiviert wird (253), und/oder • ein Roboter, bzw. ein zumindest teilweise automatisiert fahrendes Fahrzeug, auf einer vorgeplanten Notstopp-Trajektorie zum Stillstand gebracht wird (254).
Verfahren (100, 200) nach einem der Ansprüche 1 bis 12, wobei das KNN (1) ein faltendes KNN ist und wobei die Relevanzbewertungsfunktion (4) eine gewichtete Summation von Aktivierungskarten mehrerer Faltungskerne, die in einer Schicht des KNN (1) auf das Bild (2) oder auf ein Verarbeitungsprodukt des Bildes (2) angewendet werden, beinhaltet.
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, ein Verfahren (100, 200) nach einem der Ansprüche 1 bis 13 auszuführen.
Maschinenlesbarer Datenträger mit dem Computerprogramm nach Anspruch 14.
Computer, ausgerüstet mit dem Computerprogramm nach Anspruch 14, und/oder mit dem maschinenlesbaren Datenträger nach Anspruch 15.