DE102020216054A1

DE102020216054A1 - Ermitteln der Wirkung des Eingabe-Bildes eines Bildklassifikators auf ein durch Faltungsschichten gebildetes Zwischenprodukt

Info

Publication number: DE102020216054A1
Application number: DE102020216054.6A
Authority: DE
Inventors: Andres Mauricio Munoz Delgado
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-12-16
Filing date: 2020-12-16
Publication date: 2022-06-23

Abstract

Verfahren (100) zum Ermitteln desjenigen Anteils I(u) des Eingabe-Bildes I eines Bildklassifikators (1), der auf Aktivierungen von Merkmalen u eines in diesem Bildklassifikator (1) unter Anwendung einer oder mehrerer Faltungsschichten gebildeten Zwischenprodukts wirkt, mit den Schritten:• es wird eine Menge U von Merkmalen u des Zwischenprodukts ausgewählt (110), auf deren Aktivierungen der gesuchte Anteil I(u) des Eingabe-Bildes I wirken soll;• es wird eine Menge D von Test-Bildern d bereitgestellt (120), die repräsentativ für eine Verteilung sind, der das Eingabe-Bild I angehört;• aus einem oder mehreren Test-Bildern d werden ein oder mehrere Beiträge b(d) des Eingabe-Bildes I ermittelt (130), die ausweislich dieses Test-Bildes, bzw. ausweislich dieser Test-Bilder, d auf die Aktivierung der Merkmale u ∈ U im Zwischenprodukt wirken;• ein oder mehrere derartige Beiträge b(d) werden zu dem gesuchten Anteil I(u) zusammengeführt (140).

Description

Die vorliegende Erfindung betrifft die Kontrolle des Verhaltens trainierbarer Bildklassifikatoren, die beispielsweise für die Qualitätskontrolle von in Serie gefertigten Produkten oder auch für das zumindest teilweise automatisierte Führen von Fahrzeugen genutzt werden können.
Stand der Technik
Bei der Serienfertigung von Produkten ist es in der Regel erforderlich, die Qualität der Fertigung laufend zu überprüfen. Dabei wird angestrebt, Qualitätsprobleme möglichst schnell zu erkennen, um die Ursache baldmöglichst beheben zu können und nicht zu viele Einheiten des jeweiligen Produkts als Ausschuss zu verlieren.
Die optische Kontrolle der Geometrie und/oder Oberfläche eines Produkts ist schnell und zerstörungsfrei. Die WO 2018/197 074 A1 offenbart eine Prüfvorrichtung, in der ein Objekt einer Vielzahl von Beleuchtungssituationen ausgesetzt werden kann, wobei in jeder dieser Beleuchtungssituationen mit einer Kamera Bilder des Objekts aufgezeichnet werden. Aus diesen Bildern wird die Topographie des Objekts ausgewertet.
Bilder des Produkts können auch unmittelbar mit einem Bildklassifikator auf der Basis künstlicher neuronaler Netzwerke einer von mehreren Klassen einer vorgegebenen Klassifikation zugeordnet werden. Auf dieser Basis kann das Produkt einer von mehreren vorgegebenen Qualitätsklassen zugeordnet werden. Im einfachsten Fall ist diese Klassifikation binär („OK“/„nicht OK“).
Beim zumindest teilweise automatisierten Führen von Fahrzeugen werden ebenfalls trainierbare Bildklassifikatoren eingesetzt, um Verkehrssituationen zu bewerten oder zumindest auf ihren Gehalt an Objekten zu untersuchen.
Offenbarung der Erfindung
Im Rahmen der Erfindung wurde ein Verfahren zum Ermitteln desjenigen Anteils I(u) des Eingabe-Bildes I eines Bildklassifikators, der auf Aktivierungen von Merkmalen u eines in diesem Bildklassifikator unter Anwendung einer oder mehrerer Faltungsschichten gebildeten Zwischenprodukts wirkt, entwickelt. Das Zwischenprodukt kann in dem Bildklassifikator unmittelbar einer Klassifikatorschicht zugeführt und von dieser Klassifikatorschicht auf Klassifikations-Scores bezüglich einer oder mehrerer Klassen abgebildet werden. Das Zwischenprodukt kann aber auch zunächst noch von weiteren Faltungsschichten verarbeitet werden, bevor es der Klassifikatorschicht zugeführt wird.
Im Rahmen dieses Verfahrens wird eine Menge U von Merkmalen u des Zwischenprodukts ausgewählt, auf deren Aktivierungen der gesuchte Anteil I(u) des Eingabe-Bildes I wirken soll. Beispielsweise können mit einem separaten Verfahren diejenigen Merkmale u des Zwischenprodukts, die für die Entscheidung der nachgeschalteten Klassifikatorschicht besonders relevant sind, ermittelt werden.
Es wird eine Menge D von Test-Bildern d bereitgestellt, die repräsentativ für eine Verteilung sind, der das Eingabe-Bild I angehört. Diese Menge D kann beispielsweise aus den Trainingsdaten entnommen werden, mit denen der Bildklassifikator trainiert wurde.
Aus einem oder mehreren Test-Bildern d werden ein oder mehrere Beiträge b(d) des Eingabe-Bildes I ermittelt, die ausweislich dieses Test-Bildes, bzw. ausweislich dieser Test-Bilder, d auf die Aktivierung der Merkmale u ∈ U im Zwischenprodukt wirken. Ein oder mehrere derartige Beiträge b(d) werden zu dem gesuchten Anteil I(u) zusammengeführt.
Es wurde erkannt, dass auf diese Weise sehr viel genauer als bisher ermittelt werden kann, welcher Anteil I(u) des Eingabe-Bildes I auf vorgegebene Merkmale u des Zwischenprodukts wirkt. Dies wiederum ermöglicht eine genauere Aussage dahingehend, welcher Anteil des Eingabe-Bildes für die letztendliche Entscheidung des Bildklassifikators besonders relevant ist.
Viele Verfahren zur Ermittlung dieses entscheidungsrelevanten Anteils liefern zunächst eine Aussage dahingehend, welche Merkmale u des Zwischenprodukts entscheidungsrelevant sind. Da das Zwischenprodukt gegenüber dem Eingabe-Bild I durch die Anwendung von Faltungsschichten in erheblichem Maße in seiner Pixelanzahl und damit in seiner Dimensionalität eingeschränkt ist, ist die Suche nach entscheidungsrelevanten Merkmalen u des Zwischenprodukts deutlich weniger aufwändig als die direkte Suche nach einem oder mehreren entscheidungsrelevanten Anteilen des Eingabe-Bildes I. Weiterhin sind Abwandlungen von Zwischenprodukten, die durch das Aktivieren oder Deaktivieren eines einzelnen Merkmals u erhalten wurden, im Kontext der jeweiligen Anwendung des Bildklassifikators tendenziell realistischer als Abwandlungen von Eingabe-Bildern I, die durch gezielte Veränderungen einzelner Pixel dieser Eingabe-Bilder I erhalten wurden.
Die Vorteile des Ansatzes, einen für die Entscheidung des Bildklassifikators relevanten Anteil im Raum der Zwischenprodukte zu suchen und nicht direkt im Raum der Eingabe-Bilder I, werden damit erkauft, dass aus dem entscheidungsrelevanten Anteil des Zwischenprodukts noch der gesuchte entscheidungsrelevante Anteil des Eingabe-Bildes I ermittelt werden muss. In erster Näherung gibt es hier auf Grund der Arbeitsweise der im Bildklassifikator verwendeten Faltungsschichten eine räumliche Korrespondenz dahingehend, dass beispielsweise die Merkmale u in einer linken oberen Ecke des Zwischenprodukts hauptsächlich von den Pixelwerten in der linken oberen Ecke des Eingabe-Bildes I abhängen. Daher ist es ein Ansatz, einen im Raum der Zwischenprodukte ermittelten entscheidungsrelevanten Anteil durch bilineare Interpolation oder eine andere Art von Upsampling in den Raum der Eingabe-Bilder I zu überführen. Jedoch gibt es keine mathematische Garantie dafür, dass die besagte räumliche Korrespondenz in allen Einzelheiten gültig ist.
Grundsätzlich lässt sich für jedes Merkmal u ein theoretisches rezeptives Feld RF(u) dahingehend angeben, welche Anteile des Eingabe-Bildes I überhaupt in die Berechnung einer Aktivierung dieses Merkmals u eingehen. Je mehr Faltungsschichten jedoch an der Berechnung dieser Aktivierung mitwirken, desto größer wird dieser Bereich im Eingabe-Bild I, bis schließlich jedes oder fast jedes Pixel des Eingabe-Bildes I mit irgendeinem möglicherweise praktisch nicht relevanten, aber dennoch von Null verschiedenen Beitrag in die Berechnung der Aktivierung eingeht. Somit ist das theoretische rezeptive Feld RF(u) meistens nicht geeignet, um die Genauigkeit des besagten Upsamplings zu verfeinern.
Das hier beschriebene Verfahren liefert hingegen ein „empirisches rezeptives Feld“ in Form desjenigen Anteils des Eingabe-Bildes I, der ausweislich der Test-Bilder d in einem im Kontext der vorliegenden Anwendung relevanten Umfang auf die Aktivierung des Merkmals u wirkt. Was in diesem Zusammenhang als relevante Wirkung gelten soll, wird über die Vorschrift eingestellt, nach der die Beiträge b(d) aus den Test-Bildern d ermittelt werden.
Wenn somit zunächst ermittelt wird, welche Merkmale u des Zwischenprodukts entscheidungsrelevant sind, und anschließend mit dem hier vorgestellten Verfahren der auf die Aktivierungen dieser Merkmale u wirkende Anteil I(u) des Eingabe-Bildes I ermittelt wird, kann insgesamt eine genauere Aussage über den entscheidungsrelevanten Anteil des Eingabe-Bildes ermittelt werden.
Dabei schneidet die Anpassung der Menge D von Test-Bildern d an die Verteilung, der das Eingabe-Bild I angehört, die Beurteilung des entscheidungsrelevanten Anteils auf die vorliegende Anwendung zu. Das Training des Bildklassifikators erfolgt gerade mit Trainingsbildern aus der Verteilung, der auch die späteren Eingabe-Bilder I angehören. Dadurch verändert sich das Verhalten des Bildklassifikators, und insbesondere auch das Verhalten der in ihm enthaltenen Faltungsschichten, speziell für Bilder aus dieser Verteilung.
In einer vorteilhaften Ausgestaltung werden die Beiträge b(d) beim Zusammenführen nur insoweit berücksichtigt, wie sie zum theoretischen rezeptiven Feld IRF der Merkmale u ∈ U im Eingabe-Bild I gehören. Hiermit kann berücksichtigt werden, dass das theoretische rezeptive Feld IRF eine obere Schranke für die Menge der Pixel des eingabe-Bildes I darstellt, die überhaupt zu einer Aktivierung der jeweiligen Merkmale u ∈ U beitragen können.
Das theoretische rezeptive Feld IRF für die Merkmale u ∈ U insgesamt lässt sich beispielsweise als Vereinigungsmenge der rezeptiven Felder RF(u) der einzelnen Merkmale u ∈ U bilden: $I_{R F} (U) = \underset{u \in U}{\cup} R F (u) .$
Um ein einzelnes theoretisches rezeptives Feld RF(u) für ein Merkmal u des Zwischenprodukts zu ermitteln, kann beispielsweise zunächst anhand der Konfiguration der Faltungsschichten des Bildklassifikators diejenige Funktion g_u(I) bestimmt werden, die die Abhängigkeit der Aktivierung u_a des Merkmals u vom Eingabe-Bild I beschreibt. Der Träger, also die Einhüllende der Nichtnullstellenmenge, dieser Funktion g_u(I) kann dann als theoretisches rezeptives Feld RF(u) des Merkmals u gewertet werden: $R F (u) = {u_{I} | u_{a} = g_{u} (I) \land u_{I} \in supp (g_{u})} .$
In einer besonders vorteilhaften Ausgestaltung wird zu allen Test-Bildern d ∈ D die Summe der Absolutbeträge | f_u(d) | der Aktivierungen f_u(d) von Merkmalen u ∈ U ermittelt, die durch das Vorlegen des jeweiligen Test-Bildes d als Eingabe-Bild I am Bildklassifikator bewirkt werden. Hiermit lassen sich aus der Menge D diejenigen Test-Bilder d extrahieren, die eine besonders hohe Aussagekraft in Bezug auf die Aktivierung von Merkmalen u ∈ U haben.
Hierzu werden für das Ermitteln der Beiträge b(d) solche Test-Bilder d ∈ D⁺, für die | f_u(d) | einen ersten vorgegebenen Schwellwert δ₁ überschreitet, ausgewählt. Das heißt, aus der ursprünglichen Menge D wird eine Teilmenge D⁺ ⊂ D von Test-Bildern d ausgewählt, für die | f_u(d) | oberhalb von δ₁ liegt: $D^{+} = {d | d \in D, \sum | f_{u} (d) | > δ_{1}} .$
Alternativ oder auch in Kombination hierzu werden für das Ermitteln der Beiträge b(d) solche Test-Bilder d ∈ D^-, für die | f_u(d) | einen zweiten vorgegebenen Schwellwert δ₂ unterschreitet, ausgewählt. Das heißt, aus der ursprünglichen Menge D wird eine Teilmenge D^- ⊂ D ausgewählt, für die | f_u(d) | unterhalb von δ₂ liegt: $D^{-} = {d | d \in D, \sum | f_{u} (d) | < δ_{2}} .$
Es hängt vom jeweiligen trainierten Modell des Bildklassifikators ab, ob sich bestimmte entscheidungsrelevante Merkmale des Eingabe-Bildes I in besonders hohen oder aber in besonders niedrigen Aktivierungen von Merkmalen u des Zwischenprodukts zeigen. Wenn das entscheidungsrelevante Merkmal des Eingabe-Bildes I beispielsweise ein Bereich mit lokal erhöhten Intensitätswerten ist und die Merkmale u des Zwischenprodukts helle Bereiche kodieren, korrespondiert eine hohe Aktivierung eines bestimmten Merkmals u zum Vorhandensein des entscheidungsrelevanten Merkmals im Eingabe-Bild I. Wenn das Training des Bildklassifikators hingegen dazu konvergiert ist, dass das Zwischenprodukt dunkle Bereiche kodiert, korrespondiert gerade eine niedrige Aktivierung eines bestimmten Merkmals zum Vorhandensein des besagten hellen entscheidungsrelevanten Merkmals.
Besonders vorteilhaft werden Bereiche, in denen die Test-Bilder d ∈ D⁺, bzw. die Test-Bilder d ∈ D^-, zueinander ähnlich sind, als gesammelter Beitrag b(D⁺) der Test-Bilder d ∈ D⁺, bzw. als gesammelter Beitrag b(D^-) der Test-Bilder d ∈ D^-, gewertet. Insbesondere bei der Anwendung von Bildklassifikatoren zur Qualitätskontrolle von in Serie gefertigten Produkten sind die weitaus meisten Eingabe-Bilder I in einem gewissen Umfang ähnlich zueinander, weil der geometrische Aufbau der Fertigungsstraße konstant ist. Somit können die entscheidungsrelevanten Merkmale der Eingabe-Bilder I im Wesentlichen an den immer gleichen Stellen erwartet werden. Im allgemeinen Fall hingegen hat ein Ähnlichkeitsvergleich von Eingabe-Bildern I nur eine beschränkte Aussagekraft, da je nach Modell ein interessierendes Objekt beispielsweise in weiten Grenzen durch das Bild bewegt werden kann, ohne dass sich die durch das Vorhandensein dieses Objekts bewirkte Aktivierung eines Merkmals u substanziell ändert. Die Aktivierung kann im schlimmsten Fall lediglich kodieren, ob das Objekt überhaupt irgendwo im Eingabe-Bild I vorhanden ist.
Verkehrssituationen sind hingegen ein weiteres Beispiel für einen Anwendungsfall von Bildklassifikatoren, in dem Aktivierungen von Merkmalen u mit dem Vorkommen entscheidungsrelevanter Merkmale speziell in bestimmten Bereichen des Eingabe-Bildes korreliert sind. Wenn der Bildklassifikator beispielsweise das Erkennen von Fußgängern in Verkehrssituationen lernt, beziehen sich Aktivierungen von Merkmalen u im Zwischenprodukt in der Regel nicht abstrakt auf die Erkennung eines Fußgängers schlechthin, sondern auf die Erkennung eines Fußgängers mit einer bestimmten Größe oder aus einem bestimmten Blickwinkel. Die Größe und der Blickwinkel sind dann wiederum damit korreliert, wo sich der Fußgänger im Bild befindet.
Die gesammelten Beiträge b(D⁺) und b(D^-) können insbesondere beispielsweise unter Schnittmengenbildung zu dem gesuchten Anteil I(u) zusammengeführt werden. Beispielsweise können hiermit diejenigen Bildbereiche, die sowohl in Test-Bildern d mit besonders hoher Aktivierungen eines Merkmals u als auch in Test-Bildern d mit besonders niedrigen Aktivierungen eines Merkmals u als entscheidungsrelevant zu Tage treten, im Endergebnis I(u) als entscheidungsrelevant gewertet werden. Dies ist in etwa gleichbedeutend damit, dass ein bestimmtes Objekt besonders dann als entscheidungsrelevant zu werten ist, wenn sowohl sein Hinzufügen zum Eingabe-Bild I als auch sein Entfernen aus dem Eingabe-Bild I jeweils die Entscheidung des Bildklassifikators ändert. Auch das theoretische rezeptive Feld IRF kann in diese Schnittmengenbildung mit einbezogen werden. Das Endergebnis kann dann also beispielsweise gebildet werden als $I (u \in U) = I_{R F} \cap b (D^{+}) \cap b (D^{-}) .$
Der gesammelte Beitrag b(D⁺), bzw. der gesammelte Beitrag b(D^-), kann insbesondere beispielsweise aus Pixeln gebildet werden, deren Pixelwerte über alle Test-Bilder d ∈ D⁺, bzw. über alle Test-Bilder d ∈ D^-, mit einer Varianz oder Standardabweichung streuen, die einen vorgegebenen Schwellwert unterschreitet. Ein solcher pixelweiser Vergleich ist besonders in dem genannten Anwendungsfall der Qualitätskontrolle bei der automatisierten Fertigung aussagekräftig, weil die entscheidungsrelevanten Bildmerkmale im Wesentlichen immer an den gleichen Stellen erwartet werden.
In einer weiteren vorteilhaften Ausgestaltung werden Bereiche von Test-Bildern d ∈ D, die auch zum theoretischen rezeptiven Feld IRF der Merkmale u ∈ U im Eingabe-Bild I gehören, als Beiträge b(d) ermittelt. Wie zuvor erläutert, liefert dies eine untere Abschätzung dafür, welche Bereiche der Test-Bilder d überhaupt zur Aktivierung eines Merkmals u im Zwischenprodukt beitragen können. Diese Aussage ist für ein einzelnes Test-Bild d noch nicht sehr aussagekräftig. Das geeignete Zusammenführen vieler solcher Beiträge, beispielsweise in Form der Gemeinsamkeiten, die diese Beiträge haben, kann jedoch auf eine recht genaue Bestimmung des gesuchten entscheidungsrelevanten Anteils I(u) des Eingabe-Bildes I führen. Für den Zweck des Zusammenführens können die Beiträge b(d) insbesondere beispielsweise als binäre Masken vorliegen, die für Pixel des Eingabe-Bildes I jeweils angeben, ob dieses Pixel zum theoretischen rezeptiven Feld I_RF der Merkmale u ∈ U im Eingabe-Bild I gehört.
Das Zusammenführen der Beiträge b(d) kann beispielsweise beinhalten, eine permutierte Reihe der Beiträge b(d) bereitzustellen. Individuelle Beiträge b(d) in dieser Reihe können dann beispielsweise jeweils so gegenüber ihrem Vorgänger b'(d) lateral verschoben werden, dass nach einem vorgegebenen Kriterium eine optimale Übereinstimmung dieses Beitrags b(d) zu seinem Vorgänger b'(d) erzielt wird. Hierzu kann beispielsweise eine zweidimensionale Korrelation des Beitrags b(d) zu seinem Vorgänger b'(d) ausgewertet werden.
Wenn die Reihe abgearbeitet ist, können die Beiträge unter Schnittmengenbildung zu dem gesuchten Anteil I(u) zusammengeführt werden. Der so ermittelte Anteil I(u) ist dann insbesondere unempfindlich gegen laterale Verschiebungen der Test-Bilder d untereinander, die beispielsweise durch Schwankungen oder Verschiebungen bei der physikalischen Aufnahme der Test-Bilder mit Sensoren entstehen können.
Um hieraus auch noch eine Abhängigkeit von der beispielsweise aus einer Zufallsverteilung gezogenen Permutation der Reihe herauszumitteln, werden vorteilhaft ausgehend von mehreren permutierten Reihen der gleichen Beiträge b(d) die Beiträge b(d) jeweils zu einem Kandidaten-Anteil I*(u) zusammengeführt. Die Kandidaten-Anteile I*(u) werden dann unter Schnittmengenbildung zu dem gesuchten Anteil I(u) zusammengeführt.
Wie zuvor erläutert, ist eine wichtige Anwendung des hier beschriebenen Verfahrens das Ermitteln desjenigen Anteils eines Eingabe-Bildes I, auf den ein Bildklassifikator seine Entscheidung über die Zuordnung eines Eingabe-Bildes zu einer oder mehreren Klassen einer vorgegebenen Klassifikation stützt. Daher bezieht sich die Erfindung auch auf ein diesbezügliches weiteres Verfahren.
Bei diesem Verfahren wird zunächst ermittelt, welche Merkmale u eines in dem Bildklassifikator unter Anwendung einer oder mehrerer Faltungsschichten gebildeten Zwischenprodukts nach Maßgabe eines vorgegebenen Kriteriums für die von einer den Faltungsschichten nachgeschalteten Klassifikationsschicht ermittelte Entscheidung des Bildklassifikators relevant sind. Hierfür kann jedes geeignete bereits vorhandene Verfahren verwendet werden. Beispielsweise können aus einer Zufallsverteilung Kandidaten-Mengen U relevanter Merkmale u gezogen werden, und diese Kandidaten-Mengen U können mit einer geeigneten Gütefunktion bewertet werden.
Wenn die relevanten Merkmale u des Zwischenprodukts ermittelt sind, wird mit dem zuvor beschriebenen Verfahren derjenige Anteil I(u) des Eingabe-Bildes I, der auf Aktivierungen dieser Merkmale u wirkt, als der gesuchte Anteil des Eingabe-Bildes I ermittelt.
Wie zuvor erläutert, können so die Vorteile, die eine Suche nach einem entscheidungsrelevanten Anteil speziell im Raum der Zwischenprodukte mit sich bringt, beibehalten werden, während zugleich die Genauigkeit und Aussagekraft des Endergebnisses im Raum der Eingabe-Bilder I erhöht wird.
In einer besonders vorteilhaften Ausgestaltung wird ein Bild eines in Serie gefertigten Produkts als Eingabe-Bild gewählt. Die Klassen der Klassifikation repräsentieren dann eine Qualitätsbewertung des Produkts, wie beispielsweise „OK“, „nicht OK = NOK“, „keine Entscheidung möglich“ oder auch beliebige Abstufungen dazwischen. In diesem Zusammenhang sind insbesondere Erklärungen dafür, warum der Bildklassifikator ein Eingabe-Bild der Klasse „NOK“ zuordnet, wichtig. Mit solchen Erklärungen lässt sich nicht nur der Bildklassifikator selbst verbessern, sondern es lassen sich auch Erkenntnisse über die mögliche Ursache des Qualitätsproblems gewinnen, die im Fertigungsprozess gesetzt wurde. Wenn beispielsweise eine Vielzahl kleiner lokalisierter Defekte am Produkt für die Einstufung als „NOK“ ausschlaggebend waren und diese Defekte wiederum mit bestimmten physikalischen Bedingungen während der Herstellung des Produkts korreliert sind (wie etwa hohe Temperatur oder hoher Druck), kann gezielt darauf hingewirkt werden, diese Bedingungen zu korrigieren, damit künftig ein größerer Anteil der hergestellten Produktexemplare als „OK“ eingestuft wird.
Der ermittelte Anteil des Eingabe-Bildes, auf die der Bildklassifikator seine Entscheidung stützt, kann insbesondere beispielsweise mit einem Anteil des Eingabe-Bildes verglichen werden, der anhand einer Beobachtung des gleichen Produkts mit einer anderen Abbildungsmodalität als relevant für die Qualitätsbewertung des Produkts ermittelt wurde. Aus dem Ergebnis dieses Vergleichs kann dann eine Qualitätsbewertung für den Bildklassifikator ermittelt werden. Beispielsweise können Hyperparameter des Bildklassifikators optimiert werden mit dem Ziel, diese Qualitätsbewertung zu optimieren.
In einer weiteren besonders vorteilhaften Ausgestaltung wird ein von einem Fahrzeug aus aufgenommenes Bild einer Verkehrssituation als Eingabe-Bild gewählt. Die Klassen der Klassifikation repräsentieren dann Bewertungen der Verkehrssituation, auf deren Basis das künftige Verhalten des Fahrzeugs geplant wird. Gerade in diesem Anwendungsfeld kann dem Bildklassifikator und einem nachgeschalteten Warnsystem, Fahrassistenzsystem oder System zum zumindest teilweise automatisierten Fahren häufig nur unter der Voraussetzung vertraut werden, dass die Entscheidungen des Bildklassifikators erklärbar sind. Das Verfahren kann genau diese Erklärungen liefern.
Der ermittelte Anteil des Eingabe-Bildes, auf die der Bildklassifikator seine Entscheidung stützt, kann insbesondere beispielsweise mit einem Anteil des Eingabe-Bildes verglichen werden, der als für die Beurteilung der Verkehrssituation relevant bekannt ist. Aus dem Ergebnis dieses Vergleichs kann dann eine Qualitätsbewertung für den Bildklassifikator ermittelt werden. Analog zum Anwendungsbeispiel der Qualitätskontrolle von in Serie gefertigten Produkten können dann beispielsweise Hyperparameter des Bildklassifikators optimiert werden mit dem Ziel, dass die Qualität des Bildklassifikators danach besser bewertet wird.
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Figurenliste
Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100 zum Ermitteln des auf die Aktivierungen von Merkmalen u wirksamen Bildanteils I(u);
2 Ausführungsbeispiel des Verfahrens 200 zum Ermitteln des Bildanteils I(u) als für einen Bildklassifikator 1 entscheidungsrelevanten Bildanteil.

1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zum Ermitteln des auf die Aktivierungen von Merkmalen u wirksamen Bildanteils I(u) eines Eingabe-Bildes I.
In Schritt 110 wird eine Menge U von Merkmalen u des Zwischenprodukts ausgewählt, auf deren Aktivierungen der gesuchte Anteil I(u) des Eingabe-Bildes I wirken soll. In Schritt 120 wird eine Menge D von Test-Bildern d bereitgestellt, die repräsentativ für eine Verteilung sind, der das Eingabe-Bild I angehört.
Aus einem oder mehreren Test-Bildern d werden in Schritt 130 ein oder mehrere Beiträge b(d) des Eingabe-Bildes I ermittelt, die ausweislich dieses Test-Bildes, bzw. ausweislich dieser Test-Bilder, d auf die Aktivierung der Merkmale u ∈ U im Zwischenprodukt wirken. In Schritt 140 werden ein oder mehrere derartige Beiträge b(d) zu dem gesuchten Anteil I(u) zusammengeführt.
Innerhalb des Kastens 130 sind zwei beispielhafte Möglichkeiten gezeichnet, wie aus Test-Bildern d Beiträge b(d) ermittelt werden können, die auf die Aktivierung konkreter Merkmale u des Zwischenprodukts wirken.
Gemäß Block 131 können zu allen Test-Bildern d ∈ D die Summe der Absolutbeträge | f_u(d) | der Aktivierungen f_u(d) von Merkmalen u ∈ U ermittelt werden, die durch das Vorlegen des jeweiligen Test-Bildes d als Eingabe-Bild I am Bildklassifikator 1 bewirkt werden. Gemäß Block 132 können dann

• solche Test-Bilder d ∈ D⁺, für die | f_u(d) | einen ersten vorgegebenen Schwellwert δ₁ überschreitet, und/oder
• solche Test-Bilder d ∈ D^-, für die | f_u(d) | einen zweiten vorgegebenen Schwellwert δ₂ unterschreitet,

⁺

^-

⁺

^-

Gemäß Block 133 können dann Bereiche, in denen die Test-Bilder d ∈ D⁺, bzw. die Test-Bilder d ∈ D^-, zueinander ähnlich sind, als gesammelter Beitrag b(D⁺) der Test-Bilder d ∈ D⁺, bzw. als gesammelter Beitrag b(D^-) der Test-Bilder d ∈ D^-, gewertet werden. Insbesondere kann gemäß Block 133a der gesammelte Beitrag b(D⁺), bzw. der gesammelte Beitrag b(D^-), aus Pixeln gebildet werden, deren Pixelwerte über alle Test-Bilder d ∈ D⁺, bzw. über alle Test-Bilder d ∈ D^-, mit einer Varianz oder Standardabweichung streuen, die einen vorgegebenen Schwellwert unterschreitet.
Die gesammelten Beiträge b(D⁺) und b(D^-) können beispielsweise gemäß Block 141 unter Schnittmengenbildung zu dem gesuchten Anteil I(u) zusammengeführt werden.
Gemäß Block 134 können Bereiche von Test-Bildern d ∈ D, die auch zum theoretischen rezeptiven Feld IRF der Merkmale u ∈ U im Eingabe-Bild I gehören, als Beiträge b(d) ermittelt werden. Wie zuvor erläutert, wird hierbei möglicherweise noch gar nicht so viel von jedem Test-Bild d ausgeschlossen. Vielmehr kann die Eingrenzung auf die relevanten Anteile hauptsächlich beim Zusammenführen vieler Beiträge b(d) erfolgen.
Hierzu kann beispielsweise gemäß Block 143 eine permutierte Reihe der Beiträge b(d) bereitgestellt werden. Gemäß Block 144 können dann individuelle Beiträge b(d) in dieser Reihe jeweils so gegenüber ihrem Vorgänger b'(d) lateral verschoben werden, dass nach einem vorgegebenen Kriterium eine optimale Übereinstimmung dieses Beitrags b(d) zu seinem Vorgänger b'(d) erzielt wird. Hierzu kann beispielsweise jeder geeignete Template-Matching-Algorithmus verwendet werden. Alternativ oder in Kombination hierzu kann auch beispielsweise die Korrelation des Beitrags b(d) zu seinem Vorgänger b'(d) maximiert werden. Gemäß Block 145 können die Beiträge b(d) unter Schnittmengenbildung zu dem gesuchten Anteil I(u) zusammengeführt werden.
Insbesondere kann beispielsweise gemäß Block 146 dieser Prozess ausgehend von mehreren verschiedenen permutierten Reihen jeweils wiederholt werden, wobei jeweils ein Kandidaten-Anteil I*(u) entsteht. All diese Kandidaten-Anteile I*(u) können dann gemäß Block 147 zu dem gesuchten Anteil I(u) zusammengeführt werden. Hierzu können beispielsweise die für die einzelnen permutierten Reihen jeweils erzielten Ergebnisse gemittelt werden.
2 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zum Ermitteln des Anteils eines Eingabe-Bildes I, auf den ein Bildklassifikator 1 seine Entscheidung über die Zuordnung eines Eingabe-Bildes I zu einer oder mehreren Klassen einer vorgegebenen Klassifikation stützt. Das Eingabe-Bild I kann aus einer beliebigen Quelle stammen. Beispielsweise kann gemäß Block 206 ein Bild eines in Serie gefertigten Produkts als Eingabe-Bild I gewählt werden. Die Klassen der Klassifikation repräsentieren dann eine Qualitätsbewertung des Produkts. Alternativ kann beispielsweise gemäß Block 207 ein von einem Fahrzeug aus aufgenommenes Bild einer Verkehrssituation als Eingabe-Bild I gewählt werden. Die Klassen der Klassifikation repräsentieren dann Bewertungen der Verkehrssituation, auf deren Basis das künftige Verhalten des Fahrzeugs geplant wird.
In Schritt 210 wird ermittelt, welche Merkmale u eines in dem Bildklassifikator 1 unter Anwendung einer oder mehrerer Faltungsschichten gebildeten Zwischenprodukts nach Maßgabe eines vorgegebenen Kriteriums für die von einer den Faltungsschichten nachgeschalteten Klassifikationsschicht ermittelte Entscheidung des Bildklassifikators 1 relevant sind. Wie zuvor erläutert, kann hier beispielsweise die Ausgabe der letzten Faltungsschicht, aber auch die Ausgabe einer in Verarbeitungsrichtung früheren Faltungsschicht als Zwischenprodukt gewählt werden. Zum Ermitteln der Merkmale u kann jedes geeignete Verfahren verwendet werden, wie beispielsweise das sukzessive Testen entsprechender binärer Masken von Merkmalen u mit einer Gütefunktion.
In Schritt 220 wird der auf Aktivierungen dieser Merkmale u des Zwischenprodukts wirkende Anteil I(u) des Eingabe-Bildes I mit dem zuvor beschriebenen Verfahren 100 als der gesuchte Anteil des Eingabe-Bildes I ermittelt.
Insoweit der entscheidungsrelevante Anteil I(u) gemäß Block 206 anhand eines Eingabe-Bildes I ermittelt wurde, das ein in Serie gefertigtes Produkt zeigt, kann dieser Anteile I(u) in Schritt 230 mit einem Anteil R des Eingabe-Bildes verglichen werden, der anhand einer Beobachtung des gleichen Produkts mit einer anderen Abbildungsmodalität als relevant für die Qualitätsbewertung des Produkts ermittelt wurde. Aus dem Ergebnis 230a dieses Vergleichs 230 kann dann in Schritt 240 eine Qualitätsbewertung 1a für den Bildklassifikator 1 ermittelt werden.
Insoweit der entscheidungsrelevante Anteile I(u) 2a gemäß Block 207 anhand eines Eingabe-Bildes I ermittelt wurde, das eine Verkehrssituation zeigt, können diese Anteile I(u) in Schritt 250 mit einem Anteil R des Eingabe-Bildes verglichen werden, der als für die Beurteilung der Verkehrssituation relevant bekannt ist. Aus dem Ergebnis 250a dieses Vergleichs 250 kann dann in Schritt 260 eine Qualitätsbewertung 1a für den Bildklassifikator 1 ermittelt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2018/197074 A1 [0003]

Claims

Verfahren (100) zum Ermitteln desjenigen Anteils I(u) des Eingabe-Bildes I eines Bildklassifikators (1), der auf Aktivierungen von Merkmalen u eines in diesem Bildklassifikator (1) unter Anwendung einer oder mehrerer Faltungsschichten gebildeten Zwischenprodukts wirkt, mit den Schritten: • es wird eine Menge U von Merkmalen u des Zwischenprodukts ausgewählt (110), auf deren Aktivierungen der gesuchte Anteil I(u) des Eingabe-Bildes I wirken soll; • es wird eine Menge D von Test-Bildern d bereitgestellt (120), die repräsentativ für eine Verteilung sind, der das Eingabe-Bild I angehört; • aus einem oder mehreren Test-Bildern d werden ein oder mehrere Beiträge b(d) des Eingabe-Bildes I ermittelt (130), die ausweislich dieses Test-Bildes, bzw. ausweislich dieser Test-Bilder, d auf die Aktivierung der Merkmale u ∈ U im Zwischenprodukt wirken; • ein oder mehrere derartige Beiträge b(d) werden zu dem gesuchten Anteil I(u) zusammengeführt (140).
Verfahren (100) nach Anspruch 1, wobei die Beiträge b(d) beim Zusammenführen nur insoweit berücksichtigt werden (142), wie sie zum theoretischen rezeptiven Feld IRF der Merkmale u ∈ U im Eingabe-Bild I gehören.
Verfahren (100) nach einem der Ansprüche 1 bis 2, wobei • zu allen Test-Bildern d ∈ D die Summe der Absolutbeträge | f_u(d) | der Aktivierungen f_u(d) von Merkmalen u ∈ U ermittelt wird (131), die durch das Vorlegen des jeweiligen Test-Bildes d als Eingabe-Bild I am Bildklassifikator (1) bewirkt werden; und für das Ermitteln der Beiträge b(d) • solche Test-Bilder d ∈ D⁺, für die | f_u(d) | einen ersten vorgegebenen Schwellwert δ₁ überschreitet, und/oder • solche Test-Bilder d ∈ D^-, für die | f_u(d) | einen zweiten vorgegebenen Schwellwert δ₂ unterschreitet, ausgewählt werden (132).
Verfahren (100) nach Anspruch 3, wobei Bereiche, in denen die Test-Bilder d ∈ D⁺, bzw. die Test-Bilder d ∈ D^-, zueinander ähnlich sind, als gesammelter Beitrag b(D⁺) der Test-Bilder d ∈ D⁺, bzw. als gesammelter Beitrag b(D^-) der Test-Bilder d ∈ D^-, gewertet werden (133).
Verfahren (100) nach Anspruch 4, wobei die gesammelten Beiträge b(D⁺) und b(D^-) unter Schnittmengenbildung zu dem gesuchten Anteil I(u) zusammengeführt werden (141).
Verfahren (100) nach einem der Ansprüche 4 bis 5, wobei der gesammelte Beitrag b(D⁺), bzw. der gesammelte Beitrag b(D^-), aus Pixeln gebildet wird (133a), deren Pixelwerte über alle Test-Bilder d ∈ D⁺, bzw. über alle Test-Bilder d ∈ D^-, mit einer Varianz oder Standardabweichung streuen, die einen vorgegebenen Schwellwert unterschreitet.
Verfahren (100) nach einem der Ansprüche 1 bis 6, wobei Bereiche von Test-Bildern d ∈ D, die auch zum theoretischen rezeptiven Feld IRF der Merkmale u ∈ U im Eingabe-Bild I gehören, als Beiträge b(d) ermittelt werden (134).
Verfahren (100) nach Anspruch 7, wobei das Zusammenführen der Beiträge b(d) beinhaltet, • eine permutierte Reihe der Beiträge b(d) bereitzustellen (143), • individuelle Beiträge b(d) in dieser Reihe jeweils so gegenüber ihrem Vorgänger b'(d) lateral zu verschieben (144), dass nach einem vorgegebenen Kriterium eine optimale Übereinstimmung dieses Beitrags b(d) zu seinem Vorgänger b'(d) erzielt wird, und, wenn die Reihe abgearbeitet ist, • die Beiträge b(d) unter Schnittmengenbildung zu dem gesuchten Anteil I(u) zusammengeführt werden (145).
Verfahren (100) nach Anspruch 8, wobei ausgehend von mehreren permutierten Reihen der gleichen Beiträge b(d) die Beiträge b(d) jeweils zu einem Kandidaten-Anteil I*(u) zusammengeführt werden (146) und wobei die Kandidaten-Anteile I*(u) unter Schnittmengenbildung zu dem gesuchten Anteil I(u) zusammengeführt werden (147).
Verfahren (200) zum Ermitteln des Anteils eines Eingabe-Bildes I, auf den ein Bildklassifikator (1) seine Entscheidung über die Zuordnung eines Eingabe-Bildes I zu einer oder mehreren Klassen einer vorgegebenen Klassifikation stützt, mit den Schritten: • es wird ermittelt (210), welche Merkmale u eines in dem Bildklassifikator (1) unter Anwendung einer oder mehrerer Faltungsschichten gebildeten Zwischenprodukts nach Maßgabe eines vorgegebenen Kriteriums für die von einer den Faltungsschichten nachgeschalteten Klassifikationsschicht ermittelte Entscheidung des Bildklassifikators (1) relevant sind; • der auf Aktivierungen dieser Merkmale u des Zwischenprodukts wirkende Anteil I(u) des Eingabe-Bildes I wird mit dem Verfahren (100) als der gesuchte Anteil des Eingabe-Bildes I ermittelt (220).
Verfahren (200) nach Anspruch 10, wobei ein Bild eines in Serie gefertigten Produkts als Eingabe-Bild I gewählt wird (206) und wobei die Klassen der Klassifikation eine Qualitätsbewertung des Produkts repräsentieren.
Verfahren (200) nach Anspruch 11, wobei der ermittelte Anteil I(u) des Eingabe-Bildes I, auf die der Bildklassifikator (1) seine Entscheidung stützt, mit einem Anteil (R) des Eingabe-Bildes I verglichen wird (230), der anhand einer Beobachtung des gleichen Produkts mit einer anderen Abbildungsmodalität als relevant für die Qualitätsbewertung des Produkts ermittelt wurde, und wobei aus dem Ergebnis (230a) dieses Vergleichs (230) eine Qualitätsbewertung (1a) für den Bildklassifikator (1) ermittelt wird (240).
Verfahren (200) nach Anspruch 10, wobei ein von einem Fahrzeug aus aufgenommenes Bild einer Verkehrssituation als Eingabe-Bild I gewählt wird (207) und wobei die Klassen der Klassifikation Bewertungen der Verkehrssituation repräsentieren, auf deren Basis das künftige Verhalten des Fahrzeugs geplant wird.
Verfahren (200) nach Anspruch 13, wobei der ermittelte Anteil I(u) des Eingabe-Bildes (2), auf die der Bildklassifikator (1) seine Entscheidung stützt, mit einem Anteil (R) des Eingabe-Bildes | verglichen wird (250), der als für die Beurteilung der Verkehrssituation relevant bekannt ist, und wobei aus dem Ergebnis (250a) dieses Vergleichs eine Qualitätsbewertung (1a) für den Bildklassifikator (1) ermittelt wird (260).
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, ein Verfahren (100, 200) nach einem der Ansprüche 1 bis 14 auszuführen.
Maschinenlesbarer Datenträger mit dem Computerprogramm nach Anspruch 15.
Computer mit dem Computerprogramm nach Anspruch 15, und/oder mit dem maschinenlesbaren Datenträger und/oder Downloadprodukt nach Anspruch 16.