DE102021200877A1

DE102021200877A1 - Quantitative Beurteilung von Relevanzbewertungsfunktionen für die Ausgabe eines Bildklassifikators

Info

Publication number: DE102021200877A1
Application number: DE102021200877.1A
Authority: DE
Inventors: Andres Mauricio Munoz Delgado
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2021-02-01
Filing date: 2021-02-01
Publication date: 2022-08-04

Abstract

Verfahren (100) zur Plausibilisierung der Ausgabe eines Bildklassifikators (1) mit den Schritten:• es wird eine Menge D von Test-Bildern (2) bereitgestellt (110), für die der Bildklassifikator (1) eine ursprüngliche Zuordnung (3) zu einer oder mehreren Klassen einer vorgegebenen Klassifikation ermittelt hat;• zur jeder Kombination aus einem Test-Bild (2) und einer Zuordnung (3) wird durch Anwendung einer Relevanzbewertungsfunktion (4) eine ortsaufgelöste Relevanzbewertung (2a) des Test-Bildes (2) ermittelt (120), wobei diese Relevanzbewertung (2a) angibt, welche Teile des Test-Bildes (2) in welchem Maße zu der Zuordnung (3) beigetragen haben;• zu jedem Test-Bild (2) wird eine Abwandlung (5) erstellt (130), die gegenüber dem Test-Bild (2) nach Maßgabe der ortsaufgelösten Relevanzbewertung (2a) verändert ist;• für jede Abwandlung (5) wird mit dem Bildklassifikator (1) eine neue Zuordnung (3') zu einer oder mehreren Klassen der Klassifikation ermittelt (140);• aus den Veränderungen der für die Abwandlungen (5) ermittelten neuen Zuordnungen (3') gegenüber den für die zugehörigen Test-Bilder (2) ermittelten ursprünglichen Zuordnungen (3) wird ein Gütemaß (6) für die Relevanzbewertungsfunktion (4) ermittelt (150).

Description

Die vorliegende Erfindung betrifft die Plausibilisierung der Ausgabe von Bildklassifikatoren, die beispielsweise für die Analyse von Verkehrssituationen oder für die optische Qualitätskontrolle verwendet werden.
Stand der Technik
Bei der Serienfertigung von Produkten ist es in der Regel erforderlich, die Qualität der Fertigung laufend zu überprüfen. Dabei wird angestrebt, Qualitätsprobleme möglichst schnell zu erkennen, um die Ursache baldmöglichst beheben zu können und nicht zu viele Einheiten des jeweiligen Produkts als Ausschuss zu verlieren.
Die optische Kontrolle der Geometrie und/oder Oberfläche eines Produkts ist schnell und zerstörungsfrei. Die WO 2018/197 074 A1 offenbart eine Prüfvorrichtung, in der ein Objekt einer Vielzahl von Beleuchtungssituationen ausgesetzt werden kann, wobei in jeder dieser Beleuchtungssituationen mit einer Kamera Bilder des Objekts aufgezeichnet werden. Aus diesen Bildern wird die Topographie des Objekts ausgewertet.
Bilder des Produkts können auch unmittelbar mit einem Bildklassifikator auf der Basis künstlicher neuronaler Netzwerke einer von mehreren Klassen einer vorgegebenen Klassifikation zugeordnet werden. Auf dieser Basis kann das Produkt einer von mehreren vorgegebenen Qualitätsklassen zugeordnet werden. Im einfachsten Fall ist diese Klassifikation binär („OK“/„nicht OK“).
Beim zumindest teilweise automatisierten Führen von Fahrzeugen werden ebenfalls trainierbare Bildklassifikatoren eingesetzt, um Verkehrssituationen zu bewerten oder zumindest auf ihren Gehalt an Objekten zu untersuchen.
Offenbarung der Erfindung
Im Rahmen der Erfindung wurde ein Verfahren zur Plausibilisierung der Ausgabe eines Bildklassifikators entwickelt.
Dieses Verfahren geht von einer Menge D von Test-Bildern aus, für die der Bildklassifikator eine Zuordnung zu einer oder mehreren Klassen einer vorgegebenen Klassifikation ermittelt hat. Als Test-Bilder können insbesondere beispielsweise Bilder von Verkehrssituationen, und/oder Bilder von in Serie gefertigten Produkten, gewählt werden. Bilder von Verkehrssituationen können beispielsweise danach klassifiziert werden, welche Arten von verkehrsrelevanten Objekten sie enthalten. Verkehrsrelevante Objekte können beispielsweise Verkehrszeichen, Fahrbahnbegrenzungen oder andere Verkehrsteilnehmer sein. Bilder von in Serie gefertigten Produkten können beispielsweise nach Qualitätsurteilen hinsichtlich des abgebildeten Produkts klassifiziert werden. Die einfachsten Qualitätsurteile sind binär, etwa „OK“ oder „nicht OK = NOK“. Weitere Klassen können zu Abstufungen zwischen den extremen Urteilen OK und NOK korrespondieren. Alternativ oder auch in Kombination hierzu können die Klassen beispielsweise konkrete Mängel oder Schäden repräsentieren, die am jeweiligen Produkt entdeckt werden.
Durch Anwendung einer vorgegebenen Relevanzbewertungsfunktion, deren Eignung für die konkrete Anwendung im Rahmen des Verfahrens zu untersuchen ist, wird zu jeder Kombination aus einem Test-Bild und einer Zuordnung zu einer oder mehreren Klassen eine ortsaufgelöste Relevanzbewertung des Test-Bildes ermittelt. Diese ortsaufgelöste Relevanzbewertung gibt an, welche Teile des Test-Bildes in welchem Maße zu der Zuordnung beigetragen haben. Im Beispiel der optischen Qualitätskontrolle wird beispielsweise erwartet, dass eine gute Relevanzbewertungsfunktion in einem Test-Bild, das als „nicht OK = NOK“ eingestuft wurde, konkrete Mängel oder Schäden des untersuchten Produkts markiert, auf die der Bildklassifikator seine Entscheidung gestützt hat.
Die Relevanzbewertungsfunktion wird im Rahmen des Verfahrens dahingehend geprüft, inwieweit sie tatsächlich diejenigen Anteile der Test-Bilder identifiziert, auf die der Bildklassifikator seine Entscheidung über die Zuordnung gestützt hat.
Zu diesem Zweck wird zu jedem Test-Bild eine Abwandlung erstellt, die gegenüber dem Test-Bild nach Maßgabe der von der Relevanzbewertungsfunktion erhaltenen ortsaufgelösten Relevanzbewertung verändert ist. In der Abwandlung kann insbesondere beispielsweise diejenige Information, die gemäß der ortsaufgelösten Relevanzbewertung angeblich für die Entscheidung des Bildklassifikators wichtig war, entfernt oder in beliebiger Weise unkenntlich gemacht werden.
Für jede Abwandlung wird mit dem Bildklassifikator eine neue Zuordnung zu einer oder mehreren Klassen der Klassifikation ermittelt. Aus den Veränderungen der für die Abwandlungen ermittelten neuen Zuordnungen gegenüber den für die zugehörigen Test-Bilder ermittelten ursprünglichen Zuordnungen wird ein Gütemaß für die Relevanzbewertungsfunktion ermittelt. Hierbei kann insbesondere beispielsweise für jedes Test-Bild und die zugehörige Abwandlung ein Einzelvergleich der jeweiligen Zuordnungen stattfinden, und die Ergebnisse dieser Einzelvergleiche können über alle Test-Bilder in der Menge D aggregiert werden.
Es wurde erkannt, dass die Relevanz von Anteilen eines Test-Bildes für die Entscheidung des Bildklassifikators immer auf den Kontext der konkret vorliegenden Anwendung bezogen ist. Somit ist eine Bewertung der Relevanzbewertungsfunktion umso aussagekräftiger, je besser sie auf die konkrete Anwendung zugeschnitten ist und je mehr Vorwissen in Bezug auf die Anwendung sie nutzen kann. Das vorliegende Verfahren ermöglicht es an zwei Stellen, besonders viel von diesem anwendungsspezifischen Vorwissen einzubringen.
Zum einen kann über die Zusammensetzung der Menge D von Test-Bildern gezielt eine „Test-Suite“ beispielhafter Fälle erstellt werden. In der Anwendung der Qualitätskontrolle können die Test-Bilder beispielsweise Bilder umfassen, auf denen bestimmte Mängel oder Schäden an Produkten erkennbar sind, aber auch Bilder, die intakte Produkte zeigen.
Zum anderen besteht Gestaltungsfreiheit bezüglich der funktionalen Abhängigkeit des Gütemaßes von den Veränderungen. Über diese funktionale Abhängigkeit kann insbesondere beispielsweise festgelegt werden, auf welche Eigenschaften es bei der Klassifikation ankommt. Bei der binären Zuordnung von Produkten zu Qualitätsklassen kann eine Relevanzbewertungsfunktion etwa daran gemessen werden, für wie viele der Test-Bilder ein Entfernen oder Unkenntlichmachen der Bildinformation in den als relevant identifizierten Bildbereichen zur Einstufung der hiermit erzeugten Abwandlung in eine andere Klasse führt (etwa „OK“ statt „NOK“). Wenn beispielsweise bei der Erkennung verkehrsrelevanter Objekte eine Vielzahl von Klassen im Spiel ist, kann zusätzlich noch relevant werden, in welche der vielen möglichen Klassen die Abwandlung durch das Entfernen oder Unkenntlichmachen von Bildinformation „verfrachtet“ wird. Wird etwa ein „Tempo 70“-Schild auf Grund der Veränderung als „Tempo 80“-Schild erkannt, ist das noch keine große Veränderung. Wenn aber das „Tempo 70“-Schild zum Stoppschild wird, ist dies als deutlich größere Veränderung anzusehen, da verkehrstechnisch etwas ganz Anderes passiert.
Somit kann mit dem Verfahren ermittelt werden, inwieweit eine Relevanzbewertungsfunktion speziell diejenigen Bereiche von Bildern, die in Bezug auf die ordnungsgemäße Funktion des Bildklassifikators für die konkret vorliegende Anwendung besonders wichtig sind, zuverlässig identifiziert. Eine hier gut bewertete Relevanzbewertungsfunktion kann im laufenden Wirkbetrieb des Bildklassifikators genutzt werden, um die Funktion des Bildklassifikators sowie der Verarbeitungskette für die Bildaufnahme zu überwachen.
So ist beispielsweise bei der Qualitätskontrolle immer gleicher Bauteile in der automatisierten Fertigung in der Regel vorab bekannt, welche Bereiche in einem Bild eines Produkts tatsächlich von dem Produkt ausgefüllt sind und welche Bereiche zum Hintergrund gehören. Wenn die ortsaufgelöste Relevanzbewertung nun etwa plötzlich nicht mehr die vom Produkt ausgefüllten Bereiche, sondern Teile des Hintergrunds für besonders relevant erachtet, deutet dies darauf hin, dass der Bildklassifikator, und/oder die ihm vorgeschaltete Verarbeitungskette für die Bildaufnahme, nicht ordnungsgemäß arbeitet oder aber die für das Training des Bildklassifikators verwendeten Trainingsdaten nicht oder nur eingeschränkt brauchbar sind. Hierauf kann in geeigneter Weise reagiert werden, etwa durch Ausgabe eines Alarms oder Aussondern des Produkts zur manuellen Nachkontrolle. Beispielsweise könnte eine Texturierung im Hintergrund die Aufmerksamkeit des Bildklassifikators ähnlich wie ein genau zu diesem Zweck mutwillig erstelltes „adversarial example“ auf sich ziehen. Es kann aber auch beispielsweise die Linse der Kamera verschmutzt oder eine Beleuchtung für das Produkt ausgefallen sein, so dass das Produkt im Bild nicht mehr richtig zu erkennen ist. Der Bildklassifikator muss seine Entscheidung aber auf irgendetwas stützen und könnte sich hierzu auf das Nächstbeste stürzen, das irgendwie erkennbar ist.
Auch bei der Auswertung von Verkehrssituationen können mit einer guten Relevanzbewertungsfunktion Widersprüche erkannt werden, die auf ein nicht ordnungsgemäßes Funktionieren des Bildklassifikators und/oder der ihm vorgeschalteten Verarbeitungskette hindeuten. Wenn beispielsweise ein Verkehrszeichen oder ein anderes verkehrsrelevantes Objekt erkannt wird, kann anhand der ortsaufgelösten Relevanzbewertung überprüft werden, welche Bildbereiche maßgeblich zu dieser Entscheidung beigetragen haben. Wenn es sich hierbei beispielsweise um Bildbereiche handelt, in denen sich das Objekt tatsächlich nicht befinden kann (etwa ein Fahrzeug oder ein Verkehrszeichen im Himmel) oder in denen es nicht verkehrsrelevant ist (etwa in einem Schaufenster am Straßenrand), liegt ein Fehler vor, auf den entsprechend reagiert werden kann. Beispielsweise kann ein Alarm ausgegeben, ein weiterer Sensor oder ein weiterer Bildklassifikator für die Beurteilung der Situation zugeschaltet werden oder der Fahrer eines automatisiert fahrenden Fahrzeugs, das den Bildklassifikator nutzt, aufgefordert werden, die Kontrolle zu übernehmen.
In einer besonders vorteilhaften Ausgestaltung beinhaltet das Erstellen der Abwandlung, diejenigen Anteile (beispielsweise Pixel) des Test-Bildes, bezüglich derer die ortsaufgelöste Relevanzbewertung ein vorgegebenes Kriterium erfüllt, durch hierzu korrespondierende Anteile eines Stör-Bildes zu ersetzen.
Beispielsweise kann entsprechend der Relevanzbewertung eine Maske erstellt werden, die angibt, wie die Pixelwerte der Abwandlung zwischen dem jeweiligen Pixelwert im ursprünglichen Test-Bild und dem jeweiligen Pixelwert im Stör-Bild interpoliert werden sollen. Wenn die Maske für ein Pixel der Abwandlung beispielsweise einen Wert von 0,9 angibt, kann dies bedeuten, dass zu diesem Pixelwert in der Abwandlung

• der korrespondierende Pixelwert im ursprünglichen Test-Bild mit 90 % Gewicht und der korrespondierende Pixelwert im Stör-Bild mit 10 % Gewicht, oder
• der korrespondierende Pixelwert im Stör-Bild mit 90 % Gewicht und der korrespondierende Pixelwert im ursprünglichen Test-Bild mit 10 % Gewicht,

Das vorgegebene Kriterium kann aber auch beispielsweise ein Schwellwert sein. Anhand eines solchen Schwellwerts kann beispielsweise eine binäre Maske erstellt werden, die angibt, ob ein Pixel der Abwandlung dem ursprünglichen Test-Bild oder aber dem Stör-Bild entnommen werden soll.
Das Stör-Bild kann beispielsweise gezielt danach ausgewählt werden, inwieweit es der Verteilung derjenigen Bilder angehört, auf der der Bildklassifikator trainiert wurde. Die in die Abwandlung eingebrachte Störung ist dann im Kontext der vorliegenden Anwendung besonders realistisch.
Es kann auch beispielsweise eine probabilistische Mischung des Test-Bildes mit einem Stör-Bild, in der Anteile mit einer von der ortsaufgelösten Relevanzbewertung für diese Anteile abhängigen Wahrscheinlichkeit aus dem Test-Bild bzw. dem Stör-Bild übernommen werden, als Abwandlung ermittelt werden. Dies kann Artefakte an Übergängen zwischen aus dem Test-Bild übernommenen Anteilen und aus dem Stör-Bild übernommenen Anteilen vermindern.
In einer besonders vorteilhaften Ausgestaltung wird ein Kandidaten-Bild,

• dessen Zuordnung zu einer oder mehreren Klassen durch den Bildklassifikator sich nach Maßgabe eines vorgegebenen Kriteriums von der für ein Test-Bild ermittelten Zuordnung unterscheidet und
• das zugleich nach Maßgabe eines vorgegebenen Ähnlichkeitskriteriums ähnlich zu diesem Test-Bild ist,

Das klassische Beispiel hierfür sind Verwechslungen von Speisepilzen (etwa Champignon) mit extrem giftigen Pilzen (etwa Grüner Knollenblätterpilz). Bei der optischen Qualitätskontrolle ist die Unterscheidung zwischen Produkten der Klasse „OK“ und Produkten der Klasse „NOK“ zuweilen noch schwieriger, denn die Massenfertigung ist ja gerade darauf angelegt, dass alle Produkte der Serie nominell identisch sind. Mängel oder Schäden, wie etwa Risse, können daher nur kleine und unscheinbare Veränderungen im Bild des Produkts bewirken. Sehr ähnliche Objekte, die aber ganz unterschiedlichen Klassen angehören, gibt es auch unter den Verkehrszeichen. So ist etwa das Schild „Umweltzone“, das für die Weiterfahrt eine per Plakette dokumentierte Schadstoffemissionsklasse des Fahrzeugs vorschreibt, zu dem Schild „Tempo 30-Zone“ sehr ähnlich. Tatsächlich wurde lediglich die 30 auf dem letzteren Schild gegen das Wort „Umwelt“ ausgetauscht. Was bei menschlichen Fahrern an einen gewissen Wiedererkennungswert anknüpft und somit die Befolgung fördert, kann einen Bildklassifikator zu einer Falschzuordnung verleiten.
In einer besonders vorteilhaften Ausgestaltung beinhaltet das Ähnlichkeitskriterium eine Ähnlichkeit eines ersten Zwischenprodukts, das während der Verarbeitung des Test-Bildes durch den Bildklassifikator entsteht, zu einem hierzu korrespondierenden zweiten Zwischenprodukt, das während der Verarbeitung des Kandidaten-Bildes durch den Bildklassifikator entsteht. Beispielsweise enthalten viele Bildklassifikatoren eine oder mehrere Faltungsschichten, in denen das eingegebene Bild durch sukzessive Anwendung von Filterkernen in ein Zwischenprodukt in einem „latenten Raum“ mit deutlich verminderter Dimensionalität überführt wird. Dieses Zwischenprodukt wird dann mit einer Klassifikatorschicht, etwa einer vollvernetzten Schicht, auf die Zuordnung zu einer oder mehreren Klassen abgebildet. Da das Zwischenprodukt somit unmittelbar über das Klassifikationsergebnis entscheidet, ist es vorteilhaft, Ähnlichkeiten im Raum der Zwischenprodukte statt im Raum der Bilder zu messen. Beispielsweise kann die Ähnlichkeit zwischen zwei Bildern A und B mit der Kosinusähnlichkeit zwischen den Zwischenprodukten f_L(A) und f_L(B) gemessen werden. Wenn diese Zwischenprodukte beispielsweise Vektoren, Matrizen oder Tensoren mit i Komponenten sind, lässt sich die Knsiniisähnlirhkeit S beispielsweise bestimmen als $S = \frac{\sum_{i} ƒ_{L} (A) i \cdot \sum_{i} ƒ_{L} {(B)}_{i}}{\sqrt{\sum_{i} ƒ_{L} {(A)}_{i}^{2}} \cdot \sqrt{\sum_{i} ƒ_{L} {(B)}_{i}^{2}}}$
Ein weiterer Vorteil der Messung im Raum der Zwischenprodukte ist, dass diese Messung implizit translationsinvariant ist. Wenn Pixelwerte direkt verglichen werden, verschlechtert bereits eine kleine Verschiebung eines Objekts im Bild B gegenüber dem Bild A den Score für die Ähnlichkeit erheblich, obwohl beide Bilder das gleiche Objekt enthalten und somit als ähnlich erkannt werden sollten. Zwischenprodukte im „latenten Raum“ sind hingegen jeweils aus der Bildinformation in einem „rezeptiven Feld“ erzeugt, das viele Bildpixel umfasst.
In einer weiteren vorteilhaften Ausgestaltung kann das Kandidaten-Bild zusätzlich dahingehend ausgewählt werden, dass die bei Nutzung dieses Kandidaten-Bildes in der Abwandlung durch den Bildklassifikator ermittelte neue Zuordnung mit einer möglichst geringen Unsicherheit behaftet ist. Diese Unsicherheit lässt sich mit einer beliebigen, im Kontext der jeweiligen Anwendung geeigneten Methode messen. Beispielsweise kann die sogenannte epistemische Unsicherheit gewählt werden, die über eine Monte-Carlo-Integration aus den Parametern ermittelt werden kann, die im aktuellen Trainingszustand das Verhalten des Bildklassifikators charakterisieren. Dieser Ansatz lässt sich noch dahingehend verallgemeinern, dass beispielsweise eine vorgegebene Anzahl Kandidaten-Bilder (etwa Top-10, Top-20 oder Top-50), die zu Zuordnungen mit den geringsten Unsicherheiten führen, ausgewählt und gemittelt werden, um so ein neues Kandidaten-Bild zu erhalten. Hiermit wird die Empfindlichkeit gegenüber Ausreißern vermindert.
Das Gütemaß kann beispielsweise eine Summe der betragsmäßigen Differenzen zwischen einer ursprünglichen vektoriellen Zuordnung und einer neuen vektoriellen Zuordnung beinhalten. Wenn f die Zuordnung für das ursprüngliche Test-Bild I und f* die Zuordnung für die ausdiesem Test-Bild I erzeugteForm $\sum_{I \in D} | ƒ (I) - ƒ * (I) |$
beinhalten. Dies entspricht in einem Diagramm, in dem f(I) und f*(I) jeweils in Abhängigkeit des Test-Bildes I aufgetragen werden, einer Fläche zwischen den Kurven f(I) und f*(I). Mit diesem Beitrag zum Gütemaß wird gemessen, ob diejenigen Merkmale, die ausweislich der von der Relevanzbewertungsfunktion gelieferten ortsaufgelösten Relevanzbewertung entscheidungsrelevant sind, auch unterscheidungskräftig in Bezug auf die verfügbaren Klassen sind.
Alternativ oder auch in Kombination hierzu kann das Gütemaß beispielsweise auch einen zahlenmäßigen Anteil derjenigen Test-Bilder aus der Menge D, deren jeweilige Abwandlung durch den Bildklassifikator mindestens einer anderen Klasse zugeordnet wurde als das ursprüngliche Test-Bild, beinhalten. Ob eine Zuordnung zu einer anderen Klasse erfolgt ist, kann beispielsweise daran festgemacht werden, ob für die Abwandlung ein Klassifikations-Score f* bezüglich der sτ Klasse des ursprünglichen Test-Bildesunter einen Schwellwert T $\sum_{I \in D} \frac{1 (ƒ * (I) < T)}{| D |}$
beinhalten, der einer Konversionsrate entspricht. Der Schwellwert T kann beispielsweise aus einer Grenzwertoptimierungskurve (receiver operating curve, ROC) ermittelt werden.
Wie zuvor erläutert, kann schließlich anhand der Relevanzbewertungsfunktion, und/oder anhand des Gütemaßes dieser Relevanzbewertungsfunktion, und/oder anhand einer mit dieser Relevanzbewertungsfunktion ermittelten ortsaufgelösten Relevanzbewertung, eine Plausibilität der Ausgabe des Bildklassifikators ausgewertet werden.
Das zuvor beschriebene Verfahren eignet sich insbesondere zur vergleichenden Bewertung von Relevanzbewertungsfunktionen. Wie zuvor erläutert, gibt es prinzipiell eine Vielzahl von Relevanzbewertungsfunktionen. Die Möglichkeit, ein quantitatives und durch die jeweilige Anwendung motiviertes Gütemaß für Relevanzbewertungsfunktionen bestimmen zu können, erlaubt es wiederum, eine optimale Relevanzbewertungsfunktion für die konkrete Anwendung auszuwählen.
Daher bezieht sich die Erfindung auch auf ein Verfahren zur vergleichenden Bewertung mindestens zweier Relevanzbewertungsfunktionen. Diese Relevanzbewertungsfunktionen ermitteln jeweils aus einer Kombination aus einem Bild und einer für dieses Bild durch einen Bildklassifikator ermittelten Zuordnung zu einer oder mehreren Klassen eine ortsaufgelöste Relevanzbewertung (2a) des Bildes. Die ortsaufgelöste Relevanzbewertung wiederum gibt an, welche Teile des Bildes in welchem Maße zu der Zuordnung beigetragen haben.
Im Rahmen des Verfahrens wird eine Menge D von Test-Bildern bereitgestellt, für die der Bildklassifikator eine ursprüngliche Zuordnung zu einer oder mehreren Klassen einer vorgegebenen Klassifikation ermittelt hat. Für die Relevanzbewertungsfunktionen wird anhand der gleichen Menge D von Test-Bildern jeweils mit dem zuvor beschriebenen Verfahren ein Gütemaß ermittelt. Aus dem Vergleich der Gütemaße wird die gesuchte Bewertung ermittelt.
Die Gütemaße müssen jeweils nicht notwendigerweise skalar sein, sondern können beispielsweise auch vektoriell sein mit Komponenten, die sich auf verschiedene Kriterien beziehen. Der Vergleich der Gütemaße kann dann beispielsweise die Anzahl der Kriterien beinhalten, bezüglich derer das eine Gütemaß besser ist als das andere, und/oder es können Aggregationen dieser Kriterien (beispielsweise Beträge vektorieller Gütemaße) miteinander verglichen werden. Auf der Basis der ermittelten Bewertung kann dann ein Gütemaß für die jeweilige Anwendung ausgewählt werden.
Die zuvor genannten konkreten Beispiele für Beiträge zum Gütemaß könnten beim Vergleich mehrerer Relevanzbewertungsfunktionen durch deren unterschiedliche Architekturen beeinflusst werden. Diese Einflüsse werden vorteilhaft nivelliert bzw. korrigiert, um den Vergleich aussagekräftiger zu machen.
Beispielsweise können Klassenzuordnungen und/oder ortsaufgelöste Relevanzbewertungen über zwei oder mehr Kanäle von Test-Bildern aggregiert werden, etwa indem Minima, Maxima oder Summen gebildet werden. Hiermit können insbesondere die Dimensionalitäten der Ausgaben der verglichenen Relevanzbewertungsfunktionen aneinander angeglichen werden. Eine Relevanzbewertungsfunktion kann sich also nicht einfach gegen die andere „durchsetzen“, indem sie viel mehr oder viel weniger Zahlenwerte ausgibt.
Wie zuvor erläutert, kann zum Erstellen von Abwandlungen insbesondere beispielsweise eine binäre Maske verwendet werden. Diese binäre Maske bewirkt dort, wo die jeweilige ortsaufgelöste Relevanzbewertung einen Schwellwert überschreitet, den Austausch von Bildanteilen des Test-Bildes gegen korrespondierende Bildanteile des Stör-Bildes. Wenn nun zwei ortsaufgelöste Relevanzbewertungen nach verschiedenen Methoden ermittelt werden, sind die jeweils gelieferten Zahlenwerte, und damit auch die Schwellwerte für binarisierte Masken, nicht direkt miteinander vergleichbar.
Daher können vorteilhaft die Relevanzbewertungsfunktionen, und/oder Kriterien für das Erstellen von Abwandlungen, so angepasst werden, dass die aus einem Test-Bild in Bezug auf die Relevanzbewertungsfunktionen erzeugten Abwandlungen in summarisch gleich großen Bereichen gegenüber dem Test-Bild verändert sind. Die Relevanzbewertungsfunktionen haben also die gleiche Chance, Anteile der Test-Bilder als relevant zu bewerten. Dies ist ein Stück weit vergleichbar damit, dass in einer kontroversen Debatte alle Akteure gleiche Redezeiten eingeräumt bekommen.
Eine ähnliche Wirkung wird erzielt, wenn die Relevanzbewertungsfunktionen, und/oder Kriterien für das Erstellen von Abwandlungen, so angepasst werden, dass die aus einem Test-Bild in Bezug auf die Relevanzbewertungsfunktionen erzeugten Abwandlungen in Bereichen gegenüber dem Test-Bild verändert sind, die gleiche Anzahlen verbundener Komponenten aufweisen.
Wie zuvor speziell an den Beispielen der Qualitätskontrolle und der Auswertung erläutert, wird mit Relevanzbewertungsfunktionen letztendlich das Ziel verfolgt, die ordnungsgemäße Funktion von Bildklassifikatoren und der jeweils vorgeschalteten Verarbeitungskette für die Bildaufnahme sicherzustellen.
Daher bezieht sich die Erfindung auch auf ein weiteres Verfahren.
Dieses Verfahren beginnt damit, dass mindestens ein Bildklassifikator bereitgestellt wird. Weiterhin werden mindestens zwei Relevanzbewertungsfunktionen bereitgestellt. Aus diesen Relevanzbewertungsfunktionen wird eine Relevanzbewertungsfunktion anhand der mit dem zuvor beschriebenen Verfahren ermittelten vergleichenden Bewertung ausgewählt.
Mit mindestens einem Sensor aufgenommene Bilder von Verkehrssituationen oder in Serie gefertigten Produkten werden durch den Bildklassifikator auf Zuordnungen zu einer oder mehreren Klassen abgebildet. Aus den Bildern und den Zuordnungen werden mit der ausgewählten Relevanzbewertungsfunktion ortsaufgelöste Relevanzbewertungen der Bilder ermittelt. Aus diesen ortsaufgelösten Relevanzbewertungen wird ausgewertet, ob die Aufnahme der Bilder, und/oder der Bildklassifikator, ordnungsgemäß funktionieren.
Das Ergebnis dieser Auswertung wird mit den Zuordnungen zu einem Ansteuersignal zusammengeführt. Ein Fahrzeug oder ein System für die Qualitätskontrolle von Produkten wird mit diesem Ansteuersignal angesteuert.
Wie zuvor erläutert, kann hiermit insbesondere darauf reagiert werden, dass plötzlich ganz andere Bildbereiche für entscheidungsrelevant erachtet werden als dies eigentlich aus dem Kontext der jeweiligen Anwendung zu erwarten wäre.
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Figurenliste
Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100 zur Plausibilisierung der Ausgabe eines Bildklassifikators 1;
2 Ausführungsbeispiel des Verfahrens 200 zur vergleichenden Bewertung von Relevanzbewertungsfunktionen 4, 4a, 4b;
3 Ausführungsbeispiel des Verfahrens 300 mit vollständiger Wirkkette bis zur Ansteuerung technischer Systeme 50, 51.

1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zur Plausibilisierung der Ausgabe eines Bildklassifikators 1. In Schritt 110 wird die Menge D von Test-Bildern 2 bereitgestellt, für die der Bildklassifikator 1 eine ursprüngliche Zuordnung 3 zu einer oder mehreren Klassen einer vorgegebenen Klassifikation ermittelt hat. In Schritt 120 wird mit einer Relevanzbewertungsfunktion 4 zu jeder Kombination aus einem Test-Bild 2 und einer Zuordnung 3 eine ortsaufgelöste Relevanzbewertung 2a ermittelt.
In Schritt 130 wird zu jedem Test-Bild 2 eine Abwandlung 5 erstellt, die gegenüber dem Test-Bild 2 nach Maßgabe der ortsaufgelösten Relevanzbewertung 2a verändert ist. Diese Veränderung kann insbesondere beispielsweise darin bestehen, Anteile eines Stör-Bildes 7 in das Test-Bild 2 einzubringen.
So können gemäß Block 131 beispielsweise laut Relevanzbewertung 2a entscheidungsrelevante Anteile des Test-Bildes 2a durch hierzu korrespondierende Anteile des Stör-Bildes 7 ersetzt werden. Gemäß Block 132 kann eine probabilistische Mischung des Test-Bildes 2 mit dem Stör-Bild 7 erzeugt werden. Gemäß Block 133 kann insbesondere ein Stör-Bild 7 ausgewählt werden, das die für die Abwandlung 5 ermittelte Klassenzuordnung 3' gegenüber der Klassenzuordnung 3 des ursprünglichen Test-Bildes 2 maximal ändert und gleichzeitig maximal ähnlich zum ursprünglichen Test-Bild 2 ist.
Die Ähnlichkeit kann gemäß Block 133a beispielsweise über die Ähnlichkeit von Zwischenprodukten gemessen werden, die während der Verarbeitung der Bilder durch den Bildklassifikator 1 entstehen. Gemäß Block 133b kann weiterhin gefordert werden, dass die bei Nutzung des Stör-Bildes 7 in der Abwandlung 5 durch den Bildklassifikator 1 ermittelte neue Zuordnung 3' mit einer möglichst geringen Unsicherheit behaftet ist.
In Schritt 140 wird für jede Abwandlung 5 mit dem Bildklassifikator 1 eine neue Zuordnung 3' zu einer oder mehreren Klassen der Klassifikation ermittelt. In Schritt 150 wird aus den Veränderungen der für die Abwandlungen 5 ermittelten neuen Zuordnungen 3' gegenüber den für die zugehörigen Test-Bilder 2 ermittelten ursprünglichen Zuordnungen 3 ein Gütemaß 6 für die Relevanzbewertungsfunktion 4 ermittelt.
Das Gütemaß 6 kann gemäß Block 151 beispielsweise eine Summe der betragsmäßigen Differenzen zwischen einer ursprünglichen vektoriellen Zuordnung 3 und einer neuen vektoriellen Zuordnung 3' beinhalten. Gemäß Block 152 kann das Gütemaß 6 beispielsweise einen zahlenmäßigen Anteil derjenigen Test-Bilder 2 aus der Menge D, deren jeweilige Abwandlung 5 durch den Bildklassifikator 1 mindestens einer anderen Klasse zugeordnet wurde als das ursprüngliche Test-Bild 2, beinhalten.
In Schritt 160 kann anhand der Relevanzbewertungsfunktion 4, und/oder anhand des Gütemaßes 6 dieser Relevanzbewertungsfunktion 4, und/oder anhand einer mit dieser Relevanzbewertungsfunktion 4 ermittelten Relevanzbewertung 2a, eine Plausibilität 8 der Ausgabe des Bildklassifikators 1 ausgewertet werden.
2 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zur vergleichenden Bewertung von Relevanzbewertungsfunktionen 4, 4a, 4b.
In Schritt 210 wird analog zu Schritt 110 die Menge D von Test-Bildern 2 einschließlich Klassenzuordnungen 3 bereitgestellt.
In Schritt 220 wird für die zu vergleichenden Relevanzbewertungsfunktionen 4, 4a, 4b anhand der gleichen Menge D von Test-Bildern 2 jeweils mit dem Verfahren 100 nach einem der Ansprüche 1 bis 9 ein Gütemaß 6, 6a, 6b ermittelt. Aus dem Vergleich der Gütemaße 6, 6a, 6b wird in Schritt 230 die gesuchte Bewertung 9 ermittelt.
Um die quantitative Vergleichbarkeit der Gütemaße zu verbessern, können hierbei insbesondere beispielsweise

• gemäß Block 221 Klassenzuordnungen 3, 3' und/oder ortsaufgelöste Relevanzbewertungen 2a über zwei oder mehr Kanäle von Test-Bildern 2 aggregiert werden, und/oder
• gemäß Block 222 die Relevanzbewertungsfunktionen 4, 4a, 4b, und/oder Kriterien für das Erstellen von Abwandlungen 5, so angepasst werden, dass die aus einem Test-Bild 2 in Bezug auf die Relevanzbewertungsfunktionen 4, 4a, 4b erzeugten Abwandlungen 5 in summarisch gleich großen Bereichen gegenüber dem Test-Bild 2 verändert sind, und/oder
• gemäß Block 223 die Relevanzbewertungsfunktionen 4, 4a, 4b, und/oder Kriterien für das Erstellen von Abwandlungen 5, so angepasst werden, dass die aus einem Test-Bild 2 in Bezug auf die Relevanzbewertungsfunktionen 4, 4a, 4b erzeugten Abwandlungen 5 in Bereichen gegenüber dem Test-Bild 2 verändert sind, die gleiche Anzahlen verbundener Komponenten aufweisen.

3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 300 mit der vollständigen Wirkkette bis zur Ansteuerung technischer Systeme 50, 51.
In Schritt 310 wird ein Bildklassifikator 1 bereitgestellt. In Schritt 320 werden mindestens zwei Relevanzbewertungsfunktionen 4, 4a, 4b bereitgestellt. In Schritt 330 wird aus diesen Relevanzbewertungsfunktionen 4, 4a, 4b eine Relevanzbewertungsfunktion 4* anhand der mit dem zuvor beschriebenen Verfahren 200 erhaltenen Bewertung 9 ausgewählt.
In Schritt 340 werden mit mindestens einem Sensor 10 aufgenommene Bilder 2 von Verkehrssituationen oder in Serie gefertigten Produkten werden durch den Bildklassifikator 1 auf Zuordnungen 3 zu einer oder mehreren Klassen abgebildet. Aus den Bildern 2 und den Zuordnungen 3 werden in Schritt 350 mit der ausgewählten Relevanzbewertungsfunktion 4* ortsaufgelöste Relevanzbewertungen 2a der Bilder 2 ermittelt. Aus diesen ortsaufgelösten Relevanzbewertungen 2a wird in Schritt 360 ausgewertet, ob die Aufnahme der Bilder 2, und/oder der Bildklassifikator 1, ordnungsgemäß funktionieren.
Das Ergebnis 360a dieser Auswertung wird in Schritt 370 mit den Zuordnungen 3 zu einem Ansteuersignal 370a zusammengeführt. In Schritt 380 wird ein Fahrzeug 50 oder ein System 51 für die Qualitätskontrolle von Produkten mit diesem Ansteuersignal 370a angesteuert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2018/197074 A1 [0003]

Claims

Verfahren (100) zur Plausibilisierung der Ausgabe eines Bildklassifikators (1) mit den Schritten: • es wird eine Menge D von Test-Bildern (2) bereitgestellt (110), für die der Bildklassifikator (1) eine ursprüngliche Zuordnung (3) zu einer oder mehreren Klassen einer vorgegebenen Klassifikation ermittelt hat; • zur jeder Kombination aus einem Test-Bild (2) und einer Zuordnung (3) wird durch Anwendung einer Relevanzbewertungsfunktion (4) eine ortsaufgelöste Relevanzbewertung (2a) des Test-Bildes (2) ermittelt (120), wobei diese Relevanzbewertung (2a) angibt, welche Teile des Test-Bildes (2) in welchem Maße zu der Zuordnung (3) beigetragen haben; • zu jedem Test-Bild (2) wird eine Abwandlung (5) erstellt (130), die gegenüber dem Test-Bild (2) nach Maßgabe der ortsaufgelösten Relevanzbewertung (2a) verändert ist; • für jede Abwandlung (5) wird mit dem Bildklassifikator (1) eine neue Zuordnung (3') zu einer oder mehreren Klassen der Klassifikation ermittelt (140); • aus den Veränderungen der für die Abwandlungen (5) ermittelten neuen Zuordnungen (3') gegenüber den für die zugehörigen Test-Bilder (2) ermittelten ursprünglichen Zuordnungen (3) wird ein Gütemaß (6) für die Relevanzbewertungsfunktion (4) ermittelt (150).
Verfahren (100) nach Anspruch 1, wobei das Erstellen der Abwandlung (5) beinhaltet, diejenigen Anteile des Test-Bildes (2), bezüglich derer die ortsaufgelöste Relevanzbewertung (2a) ein vorgegebenes Kriterium erfüllt, durch hierzu korrespondierende Anteile eines Stör-Bildes (7) zu ersetzen (131).
Verfahren (100) nach einem der Ansprüche 1 bis 2, wobei eine probabilistische Mischung des Test-Bildes (2) mit einem Stör-Bild (7), in der Anteile mit einer von der ortsaufgelösten Relevanzbewertung (2a) für diese Anteile abhängigen Wahrscheinlichkeit aus dem Test-Bild (2) bzw. dem Stör-Bild (7) übernommen werden, als Abwandlung (5) ermittelt wird (132).
Verfahren (100) nach einem der Ansprüche 2 bis 3, wobei ein Kandidaten-Bild, • dessen Zuordnung (3') zu einer oder mehreren Klassen durch den Bildklassifikator (1) sich nach Maßgabe eines vorgegebenen Kriteriums von der für ein Test-Bild (2) ermittelten Zuordnung (3) unterscheidet und • das zugleich nach Maßgabe eines vorgegebenen Ähnlichkeitskriteriums ähnlich zu diesem Test-Bild (2) ist, als Stör-Bild (7) zu diesem Test-Bild ermittelt wird (133).
Verfahren (100) nach Anspruch 4, wobei das Ähnlichkeitskriterium eine Ähnlichkeit eines ersten Zwischenprodukts, das während der Verarbeitung des Test-Bildes (2) durch den Bildklassifikator (1) entsteht, zu einem hierzu korrespondierenden zweiten Zwischenprodukt, das während der Verarbeitung des Kandidaten-Bildes durch den Bildklassifikator (1) entsteht, beinhaltet (133a).
Verfahren (100) nach einem der Ansprüche 4 bis 5, wobei das Kandidaten-Bild zusätzlich dahingehend ausgewählt wird (133b), dass die bei Nutzung dieses Kandidaten-Bildes in der Abwandlung (5) durch den Bildklassifikator (1) ermittelte neue Zuordnung (3') mit einer möglichst geringen Unsicherheit behaftet ist.
Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei das Gütemaß (6) eine Summe der betragsmäßigen Differenzen zwischen einer ursprünglichen vektoriellen Zuordnung (3) und einer neuen vektoriellen Zuordnung (3') beinhaltet (151).
Verfahren (100) nach einem der Ansprüche 1 bis 7, wobei das Gütemaß (6) einen zahlenmäßigen Anteil derjenigen Test-Bilder (2) aus der Menge D, deren jeweilige Abwandlung (5) durch den Bildklassifikator (1) mindestens einer anderen Klasse zugeordnet wurde als das ursprüngliche Test-Bild (2), beinhaltet (152).
Verfahren (100 nach einem der Ansprüche 1 bis 8, wobei anhand der Relevanzbewertungsfunktion (4), und/oder anhand des Gütemaßes (6) dieser Relevanzbewertungsfunktion (4), und/oder anhand einer mit dieser Relevanzbewertungsfunktion (4) ermittelten Relevanzbewertung (2a), eine Plausibilität (8) der Ausgabe des Bildklassifikators (1) ausgewertet wird (160).
Verfahren (200) zur vergleichenden Bewertung (9) mindestens zweier Relevanzbewertungsfunktionen (4, 4a, 4b), die jeweils aus einer Kombination aus einem Bild (2) und einer für dieses Bild (2) durch einen Bildklassifikator (1) ermittelten Zuordnung zu einer oder mehreren Klassen eine ortsaufgelöste Relevanzbewertung (2a) des Bildes (2) ermitteln, wobei diese Relevanzbewertung (2a) angibt, welche Teile des Bildes (2) in welchem Maße zu der Zuordnung (3) beigetragen haben, mit den Schritten: • es wird eine Menge D von Test-Bildern (2) bereitgestellt (210), für die der Bildklassifikator (1) eine ursprüngliche Zuordnung (3) zu einer oder mehreren Klassen einer vorgegebenen Klassifikation ermittelt hat; • für die Relevanzbewertungsfunktionen (4, 4a, 4b) wird anhand der gleichen Menge D von Test-Bildern (2) jeweils mit dem Verfahren (100) nach einem der Ansprüche 1 bis 9 ein Gütemaß (6, 6a, 6b) ermittelt (220); • aus dem Vergleich der Gütemaße (6, 6a, 6b) wird die gesuchte Bewertung (9) ermittelt (230).
Verfahren (200) nach Anspruch 10, wobei die Gütemaße speziell mit dem Verfahren (100) nach 7 oder 8 sowie optional zusätzlich Anspruch 9 gebildet werden und wobei zusätzlich • Klassenzuordnungen (3, 3') und/oder ortsaufgelöste Relevanzbewertungen (2a) über zwei oder mehr Kanäle von Test-Bildern (2) aggregiert werden (221), und/oder • die Relevanzbewertungsfunktionen (4, 4a, 4b), und/oder Kriterien für das Erstellen von Abwandlungen (5), so angepasst werden, dass die aus einem Test-Bild (2) in Bezug auf die Relevanzbewertungsfunktionen (4, 4a, 4b) erzeugten Abwandlungen (5) in summarisch gleich großen Bereichen gegenüber dem Test-Bild (2) verändert sind (222), und/oder • die Relevanzbewertungsfunktionen (4, 4a, 4b), und/oder Kriterien für das Erstellen von Abwandlungen (5), so angepasst werden (223), dass die aus einem Test-Bild (2) in Bezug auf die Relevanzbewertungsfunktionen (4, 4a, 4b) erzeugten Abwandlungen (5) in Bereichen gegenüber dem Test-Bild (2) verändert sind, die gleiche Anzahlen verbundener Komponenten aufweisen.
Verfahren (300) mit den Schritten: • es wird ein Bildklassifikator (1) bereitgestellt (310); • es werden mindestens zwei Relevanzbewertungsfunktionen (4, 4a, 4b) bereitgestellt (320); • aus diesen Relevanzbewertungsfunktionen (4, 4a, 4b) wird eine Relevanzbewertungsfunktion (4*) anhand der mit dem Verfahren (200) nach einem der Ansprüche 10 bis 11 erhaltenen Bewertung (9) ausgewählt (330); • mit mindestens einem Sensor (10) aufgenommene Bilder (2) von Verkehrssituationen oder in Serie gefertigten Produkten werden durch den Bildklassifikator (1) auf Zuordnungen (3) zu einer oder mehreren Klassen abgebildet (340); • aus den Bildern (2) und den Zuordnungen (3) werden mit der ausgewählten Relevanzbewertungsfunktion (4*) ortsaufgelöste Relevanzbewertungen (2a) der Bilder (2) ermittelt (350); • aus den ortsaufgelösten Relevanzbewertungen (2a) wird ausgewertet (360), ob die Aufnahme der Bilder (2), und/oder der Bildklassifikator (1), ordnungsgemäß funktionieren; • das Ergebnis (360a) dieser Auswertung (360) wird mit den Zuordnungen (3) zu einem Ansteuersignal (370a) zusammengeführt (370); und • ein Fahrzeug (50) oder ein System (51) für die Qualitätskontrolle von Produkten wird mit dem Ansteuersignal (370a) angesteuert (380).
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, ein Verfahren (100, 200, 300) nach einem der Ansprüche 1 bis 12 auszuführen.
Maschinenlesbarer Datenträger mit dem Computerprogramm nach Anspruch 13.
Computer mit dem Computerprogramm nach Anspruch 13, und/oder mit dem maschinenlesbaren Datenträger nach Anspruch 14.