-
Die vorliegende Erfindung betrifft die Kontrolle des Verhaltens trainierbarer Bildklassifikatoren, die beispielsweise für die Qualitätskontrolle von in Serie gefertigten Produkten oder auch für das zumindest teilweise automatisierte Führen von Fahrzeugen genutzt werden können.
-
Stand der Technik
-
Bei der Serienfertigung von Produkten ist es in der Regel erforderlich, die Qualität der Fertigung laufend zu überprüfen. Dabei wird angestrebt, Qualitätsprobleme möglichst schnell zu erkennen, um die Ursache baldmöglichst beheben zu können und nicht zu viele Einheiten des jeweiligen Produkts als Ausschuss zu verlieren.
-
Die optische Kontrolle der Geometrie und/oder Oberfläche eines Produkts ist schnell und zerstörungsfrei. Die
WO 2018/197 074 A1 offenbart eine Prüfvorrichtung, in der ein Objekt einer Vielzahl von Beleuchtungssituationen ausgesetzt werden kann, wobei in jeder dieser Beleuchtungssituationen mit einer Kamera Bilder des Objekts aufgezeichnet werden. Aus diesen Bildern wird die Topographie des Objekts ausgewertet.
-
Bilder des Produkts können auch unmittelbar mit einem Bildklassifikator auf der Basis künstlicher neuronaler Netzwerke einer von mehreren Klassen einer vorgegebenen Klassifikation zugeordnet werden. Auf dieser Basis kann das Produkt einer von mehreren vorgegebenen Qualitätsklassen zugeordnet werden. Im einfachsten Fall ist diese Klassifikation binär („OK“/ „nicht OK“).
-
Beim zumindest teilweise automatisierten Führen von Fahrzeugen werden ebenfalls trainierbare Bildklassifikatoren eingesetzt, um Verkehrssituationen zu bewerten oder zumindest auf ihren Gehalt an Objekten zu untersuchen.
-
Offenbarung der Erfindung
-
Im Rahmen der Erfindung wurde ein Verfahren zur Messung, auf welche Anteile eines Eingabe-Bildes ein Bildklassifikator seine Entscheidung über die Zuordnung dieses Eingabe-Bildes zu einer oder mehreren Klassen einer vorgegebenen Klassifikation stützt, entwickelt.
-
Das Verfahren beginnt damit, dass das Eingabe-Bild mit dem Bildklassifikator auf einen oder mehrere Klassifikations-Scores in Bezug auf eine oder mehrere Klassen abgebildet wird. Es wird eine Zielklasse ausgewählt, für die der Klassifikations-Score einen vorgegebenen Schwellwert überschreitet. Dies kann beispielsweise diejenige Klasse sein, für die der Klassifikations-Score maximal ist.
-
Das Eingabe-Bild wird als zu untersuchender Bereich festgelegt und in mehrere Teilbereiche aufgeteilt. Über die Anzahl dieser Teilbereiche ist ein Kompromiss zwischen dem Rechenzeitbedarf für die Messung einerseits und der Auflösung bei der Bestimmung der entscheidungsrelevanten Bildanteile andererseits einstellbar. Eine Aufteilung in vier Teilbereiche hat sich als ein besonders vorteilhafter Kompromiss erwiesen.
-
Die Teilbereiche werden sukzessive ausgewählt, d.h. die folgenden Untersuchungen werden wiederholt durchgeführt, während jeweils einer der Teilbereiche ausgewählt ist.
-
Für jeden ausgewählten Teilbereich wird der zu untersuchende Bereich mit Ausnahme dieses ausgewählten Teilbereichs mit einer vorgegebenen Störung beaufschlagt, so dass ein Abwandlungs-Bild resultiert. Diese Störung ist dazu gedacht, dort, wo sie angewendet wird, die Erkennbarkeit von Merkmalen des Eingabe-Bildes gezielt zu verschlechtern oder ganz zu unterbinden.
-
Die vorgegebene Störung kann beispielsweise beinhalten, alle Pixel im von der Störung betroffenen Bereich auf Null oder einen anderen einheitlichen Wert zu setzen. Die vorgegebene Störung kann alternativ oder auch in Kombination hierzu beispielsweise beinhalten, Pixelwerte im von der Störung betroffenen Bereich durch Pixelwerte einer weichgezeichneten Version des Eingabe-Bildes in diesem Bereich zu ersetzen.
-
Das Abwandlungs-Bild wird von dem Bildklassifikator auf einen Klassifikations-Score bezüglich der Zielklasse abgebildet. In Antwort darauf, dass der Klassifikations-Score für das Abwandlungs-Bild den vorgegebenen Schwellwert überschreitet, wird geprüft, ob ein vorgegebenes Rekursionsbudget bereits ausgeschöpft ist. Ist das Rekursionsbudget bereits ausgeschöpft, wird der aktuell ausgewählte Teilbereich als ein Anteil des Eingabe-Bildes gewertet, auf den der Bildklassifikator seine Entscheidung stützt.
-
Ist das vorgegebene Rekursionsbudget noch nicht ausgeschöpft, wird die Verarbeitung des Abwandlungs-Bildes rekursiv fortgesetzt. Hierzu wird der ausgewählte Teilbereich als neuer zu untersuchender Bereich festgelegt, und es wird zur Aufteilung dieses zu untersuchenden Bereichs in Teilbereiche zurückverzweigt. Dabei bleiben in dem Abwandlungs-Bild alle bereits mit der vorgegebenen Störung beaufschlagten Bildanteile unverändert.
-
Es wurde erkannt, dass auf diese Weise Bildanteile, die jeweils für sich genommen den Bildklassifikator zur Einstufung des Eingabe-Bildes in die Zielklasse veranlassen, nach Art einer Intervallschachtelung lokalisiert werden können. Hierbei muss nur eine vergleichsweise geringe Anzahl von Abwandlungs-Bildern dem Bildklassifikator zugeführt werden, um jeweils einen Klassifikations-Score zu ermitteln. Gerade die Anwendung des Bildklassifikators auf ein Abwandlungs-Bild kostet vergleichsweise viel Rechenzeit. Wenn der Bildklassifikator beispielsweise „as a service“ in einer Cloud bereitgestellt wird, kostet sogar möglicherweise jede Benutzung direkt Geld.
-
Wichtige Anwendungsfelder für Bildklassifikatoren, in denen die Messung der letztendlich entscheidungsrelevanten Bildanteile von großer Bedeutung ist, sind insbesondere die optische Qualitätskontrolle von Produkten sowie die Auswertung von Verkehrssituationen für das zumindest teilweise automatisierte Fahren.
-
Bei der Qualitätskontrolle sollte beispielsweise die Entscheidung, ein Exemplar des Produkts als „nicht OK“ = „NOK“ einzustufen und somit als Ausschuss zu verwerfen, idealerweise darauf gestützt sein, dass ein konkreter Mangel oder Schaden am Produkt erkennbar ist. Hingegen wäre es nicht nachvollziehbar, wenn das Produkt verworfen würde, ohne dass dies an irgendeinem konkreten Anlass festgemacht werden kann. Auch bei einem menschlichen Kontrolleur würde man das Urteil, dass das Produkt „irgendwie nicht ganz OK“ aussah, nicht einfach so akzeptieren, sondern genauer hinterfragen, warum der Kontrolleur zu diesem Urteil gekommen ist.
-
Bei der Auswertung von Verkehrssituationen kann es insbesondere beispielsweise wichtig sein, dass Objekte auch dann korrekt erkannt werden, wenn sie teilweise verdeckt sind. Besonders gefährliche Situationen treten etwa auf, wenn Fußgänger zwischen am Straßenrand geparkten Fahrzeugen auf die Fahrbahn treten. Der Fußgänger ist dann den größten Teil der Zeit verdeckt und erst im letzten Moment vollständig sichtbar. Ob das automatisierte Fahrzeug ihn noch rechtzeitig wahrnimmt und eine Vollbremsung oder ein Ausweichmanöver einleitet, kann dann davon abhängen, welche Information der Bildklassifikator genau braucht, um den Fußgänger als solchen zu klassifizieren. Idealerweise sollten hier bereits einzelne Körperteile wie etwa Kopf, Arme oder Beine, die eindeutig das Vorhandensein eines Menschen anzeigen, zur Erkennung des Fußgängers ausreichen.
-
Wenn es für einen hohen Klassifikations-Score nicht ausreicht, dass die Information in einem konkreten ausgewählten Teilbereich ungestört sichtbar ist, muss dies noch nicht heißen, dass die in diesem Teilbereich enthaltene Information völlig irrelevant ist. Die Beurteilung des Eingabe-Bildes durch den Klassifikator kann durchaus sinnvollerweise von mehreren Merkmalen in unterschiedlichen Bereichen des Bildes abhängen.
-
So ist es beispielsweise als gefährlich einzustufen, wenn an einer Kreuzung die Ampel für die eigene Fahrtrichtung Grün zeigt oder ein sonstiges für die eigene Fahrtrichtung Vorfahrt gewährendes Schild vorhanden ist und dennoch von rechts ein fremdes Fahrzeug in den Kreuzungsbereich einfährt. Hier besteht das Risiko, dass sich das automatisierte Fahrzeug auf die durch Ampel oder Schild gewährte Vorfahrt verlässt und darauf vertraut, dass das wartepflichtige fremde Fahrzeug tatsächlich wartet. Wenn in einem Eingabe-Bild einer solchen Situation entweder die Ampel bzw. das Schild oder das fremde Fahrzeug durch die Störung unkenntlich gemacht werden, wird die Gefahrensituation nicht mehr als solche erkannt. Das heißt aber nicht, dass die Ampel bzw. das Schild oder das fremde Fahrzeug jeweils nicht relevant für die Beurteilung der Situation sind.
-
Beispielsweise kann das Eingabe-Bild zunächst in vier Quadranten aufgeteilt werden. Es können dann zunächst vier Abwandlungs-Bilder erzeugt werden, in denen jeweils einer der Quadranten ungestört bleibt und alle anderen Quadranten mit der vorgegebenen Störung beaufschlagt sind. Wenn diese Abwandlungs-Bilder jeweils dem Bildklassifikator zugeführt werden, kann sich beispielsweise herausstellen, dass nur dasjenige Abwandlungs-Bild, in dem der rechte obere Quadrant ungestört ist, zu einem hohen Klassifikations-Score in Bezug auf die Zielklasse führt. Dies zeigt an, dass in diesem rechten oberen Quadranten Information vorhanden ist, die für sich genommen den Bildklassifikator zur Einstufung des Eingabe-Bildes in die Zielklasse veranlasst.
-
Daraufhin kann rekursiv genauer eingegrenzt werden, wo genau denn im rechten oberen Quadranten diese entscheidende Information sitzt. Hierzu kann der rechte obere Quadrant wiederum in vier Unterquadranten aufgeteilt werden, und während die Inhalte der drei anderen Quadranten weiterhin gestört bleiben, kann untersucht werden, welcher Unterquadrant des rechten oberen Quadranten unbedingt ungestört bleiben muss, damit der Klassifikations-Score hoch bleibt.
-
Die Rekursion kann wiederholt werden, bis das vorgegebene Rekursionsbudget ausgeschöpft ist. Dieses Rekursionsbudget kann beispielsweise als maximale Rekursionstiefe, als maximale Zahl zu erzeugender Abwandlungs-Bilder, und/oder als minimale Größe von Teilbereichen, vorgegeben sein. Wie zuvor erläutert, kann insbesondere die Zahl der Abwandlungs-Bilder, die dem Bildklassifikator zugeführt werden müssen, ein Kostentreiber sein.
-
Das Auffinden entscheidungsrelevanter Information in dieser Weise ist ein Stück weit vergleichbar mit dem Auffinden eines Spions im eigenen Land, der mit einem netzbetriebenen Funkgerät seine Erkenntnisse nach Hause morst. Man kann hier zunächst in einem Landesteil nach dem anderen kurzzeitig den Strom abschalten und beobachten, ob die Sendung kurz abreißt. Damit hat man den Aufenthaltsort des Spions schon einmal auf den Landesteil eingegrenzt. Das Gleiche kann man auf der Ebene von Regionen, Städten, Stadtteilen, Häuserblocks und schließlich Stockwerken wiederholen, bis man den Spion schließlich auf frischer Tat festnehmen kann, noch bevor er mit seiner Sendung fertig ist.
-
Sollte die vorherige Prüfung ergeben haben, dass der Inhalt eines ausgewählten Teilbereichs für sich genommen noch nicht entscheidungsrelevant ist, ist die Frage wichtig, ob die Beurteilung des Eingabe-Bildes durch den Klassifikator eventuell von mehreren Merkmalen in unterschiedlichen Bereichen des Bildes abhängt. Um diese Frage zu klären, wird in einer besonders vorteilhaften Ausgestaltung in Antwort darauf, dass der Klassifikations-Score für das Abwandlungs-Bild den vorgegebenen Schwellwert nicht überschreitet, ein neues Abwandlungs-Bild erzeugt, in dem der aktuell ausgewählte Teilbereich mit der vorgegebenen Störung beaufschlagt ist. Dieses neue Abwandlungs-Bild wird von dem Bildklassifikator auf einen weiteren Klassifikations-Score bezüglich der Zielklasse abgebildet.
-
Wenn dieser weitere Klassifikations-Score den vorgegebenen Schwellwert überschreitet, kann der ausgewählte Teilbereich als für die Entscheidung des Bildklassifikators nicht relevant verworfen werden. Er kann dann insbesondere in allen weiteren erzeugten Abwandlungs-Bildern mit der vorgegebenen Störung beaufschlagt werden.
-
In dem Beispiel der Verkehrssituation an der Kreuzung kann etwa zunächst ein Teilbereich ausgewählt worden sein, der nur die Gegenfahrbahn und die Rückseiten der für die Gegenfahrbahn gültigen Verkehrszeichen anzeigt. In dem ersten Abwandlungs-Bild, in dem nur dieser Teilbereich ungestört blieb, sind nun weder die Ampel bzw. das Schild noch das fremde Fahrzeug erkennbar. Daher wird die in diesem Abwandlungs-Bild erkennbare Situation vom Bildklassifikator richtigerweise nicht mehr als gefährlich eingestuft. Wenn nun umgekehrt der besagte Teilbereich gestört wird und der Rest des Eingabe-Bildes ungestört sichtbar ist, sind sowohl die Ampel bzw. das Schild als auch das fremde Fahrzeug wieder erkennbar. Die Situation wird daher wieder als gefährlich eingestuft. Offensichtlich ist hier der zunächst ausgewählte Teilbereich, der nur die Gegenfahrbahn und die Rückseiten von Verkehrszeichen zeigt, für die Entscheidung nicht relevant.
-
Die als nicht relevant verworfenen Teilbereiche können weiterhin genutzt werden, um die Ausführung des Verfahrens auf Plausibilität zu prüfen und bei unvorhergesehenen Fehlern abzubrechen. Zu diesem Zweck wird aus dem Eingabe-Bild ein Test-Bild erzeugt, in dem nur die als nicht relevant verworfenen Teilbereiche mit der vorgegebenen Störung beaufschlagt sind. In Antwort darauf, dass der Bildklassifikator für dieses Test-Bild einen Klassifikations-Score bezüglich der Zielklasse liefert, der den vorgegebenen Schwellwert nicht überschreitet, wird das Verfahren als fehlerhaft abgebrochen. Die als nicht relevant verworfenen Teilbereiche wurden ja gerade so konstruiert, dass sie sich nicht entscheidend auf den Klassifikations-Score auswirken.
-
Unvorhergesehene Fehler, die zu einem Ansprechen dieser Prüfung führen können, sind beispielsweise Integer-Überläufe oder auch Fehler im Kontrollfluss der Software, die dazu führen, dass Variablen nicht auf definierte Werte initialisiert werden, sondern mit irgendwelchen an der entsprechenden Position im Hauptspeicher stehenden Werten gefüllt sind. Diese und andere Fehler können zu völlig unsinnigen Berechnungsergebnissen führen.
-
In einer weiteren besonders vorteilhaften Ausgestaltung wird in Antwort darauf, dass der weitere Klassifikations-Score den vorgegebenen Schwellwert nicht überschreitet, geprüft, ob das vorgegebene Rekursionsbudget bereits ausgeschöpft ist. Wenn dies der Fall ist, wird der aktuell ausgewählte Teilbereich als ein Anteil des Eingabe-Bildes gewertet, auf den der Bildklassifikator seine Entscheidung stützt. Ist das vorgegebene Rekursionsbudget hingegen noch nicht ausgeschöpft, wird der ausgewählte Teilbereich als neuer zu untersuchender Bereich festgelegt und zur Aufteilung dieses zu untersuchenden Bereichs in Teilbereiche zurückverzweigt.
-
Auf diese Weise kann auch Information in einem ausgewählten Bereich als entscheidungsrelevant erkannt werden, die erst in Kombination mit Information in einem anderen Bildbereich für eine schlüssige Zuordnung zu der Zielklasse ausreicht.
-
Wenn etwa in dem vorgenannten Beispiel der Verkehrssituation an einer Kreuzung zunächst der Teilbereich ausgewählt war, der sowohl die grüne Ampel als auch einen Wegweiser enthält, so ist in dem ersten Abwandlungs-Bild das fremde Fahrzeug, das sich anderswo im Bild befindet, unkenntlich gemacht. Daher wird die Verkehrssituation nicht mehr als gefährlich eingestuft, denn eine Grün zeigende Ampel ist für sich genommen nicht gefährlich. Wenn nun umgekehrt dieser ausgewählte Teilbereich gestört und der Rest des Bildes nicht mehr gestört ist, wird das fremde Fahrzeug wieder sichtbar, jedoch wird zugleich die grüne Ampel unkenntlich. Das von rechts kommende fremde Fahrzeug ist aber auch wieder für sich genommen nicht gefährlich, denn dies entspricht der Standardsituation, in der ohne grüne Ampel bzw. Vorfahrt gewährendes Schild das eigene Fahrzeug wartepflichtig ist. Daher wird die solchermaßen geänderte Verkehrssituation in einem Abwandlungs-Bild vom Bildklassifikator wiederum nicht als gefährlich eingestuft.
-
Wie zuvor erläutert, wird hieraus der Schluss gezogen, dass der Teilbereich mit der grünen Ampel zwar für sich genommen noch nicht schlüssig über die Klassenzuordnung entscheidet, aber für diese Entscheidung doch noch relevant ist. Sofern noch Rekursions-Budget zur Verfügung steht, kann anschließend der ursprünglich ausgewählte Teilbereich mit der grünen Ampel wiederum in Teilbereiche aufgeteilt werden, um den relevanten Inhalt weiter einzugrenzen. Das Ergebnis kann in diesem Beispiel etwa sein, dass nur die grüne Ampel relevant ist, während der daneben angebrachte Wegweiser als nicht relevant verworfen werden kann.
-
In einer besonders vorteilhaften Ausgestaltung beinhaltet die vorgegebene Störung, Pixelwerte in Teilbereichen jeweils durch über diese Teilbereiche gebildete Mittelwerte von Pixelwerten zu ersetzen. Auf diese Weise ist die Menge an Information des Eingabe-Bildes, die durch das Anwenden dieser Störung entfernt wird, proportional zur Größe der Teilbereiche. Damit wird die Bestimmung der entscheidungsrelevanten Anteile des Eingabe-Bildes insbesondere bei einer größeren Rekursionstiefe genauer.
-
In einer weiteren vorteilhaften Ausgestaltung wird ein zu untersuchender Bereich mehrfach jeweils unterschiedlich in die gleiche Anzahl Teilbereiche aufgeteilt. Die mit diesen unterschiedlichen Aufteilungen jeweils ermittelten Anteile des Eingabe-Bildes, auf die der Bildklassifikator seine Entscheidung stützt, werden miteinander vereinigt. Auf diese Weise können entscheidungsrelevante Anteile des Eingabe-Bildes, die bei der ersten Aufteilung des Eingabe-Bildes in Teilbereiche genau auf der Grenze zwischen zwei Teilbereichen liegen, besser erkannt werden. Beispielsweise können Achsen, die den zu untersuchenden Bereich in Teilbereiche unterteilen, mehrfach jeweils um zufällig ausgewählte Beträge verschoben werden.
-
In einer weiteren besonders vorteilhaften Ausgestaltung wird ein Verarbeitungsprodukt, das ein faltendes neuronales Netzwerk mit einer Anordnung aus mehreren Faltungsschichten aus einem Bild hergestellt hat, als Eingabe-Bild gewählt. Der Klassifikations-Score wird mit einer Klassifikatorschicht des neuronalen Netzwerks aus dem Verarbeitungsprodukt, bzw. aus den hieraus erzeugten Abwandlungs-Bildern, gebildet. Auf diese Weise kann ein Bildklassifikator, der das neuronale Netzwerk beinhaltet, noch gezielter daraufhin untersucht werden, welche Bildanteile entscheidungsrelevant sind. Hierhinter steckt die Überlegung, dass die Faltungsschichten im Wesentlichen abstrakt und noch ohne Bezug zu konkreten Klassen Merkmale in Bildern erkennen. Erst in der Klassifikatorschicht, die beispielsweise eine vollvernetzte Schicht sein kann, werden aus diesen Merkmalen Zuordnungen zu Klassen. Welche Merkmale sich hierbei in Bezug auf welche Klassen als besonders relevant erweisen, ändert nichts an der abstrakten Erkennung dieser Merkmale in Bildern. Weiterhin hat das durch die Faltungsschichten gebildete Verarbeitungsprodukt in der Regel eine gegenüber dem ursprünglichen Bild deutlich verminderte Dimensionalität. Die Messung der entscheidungsrelevanten Anteile kann hierdurch deutlich beschleunigt werden, um den Preis, dass die Auflösung geringer wird. Wenn in dieser Weise die entscheidungsrelevanten Anteile im latenten Raum gemessen werden, können diese über die räumliche Korrespondenz zwischen diesem latenten Raum und dem ursprünglichen Bild in Anteile des ursprünglichen Bildes übersetzt werden.
-
In einer besonders vorteilhaften Ausgestaltung wird ein Bild eines in Serie gefertigten Produkts als Eingabe-Bild gewählt. Die Klassen der Klassifikation repräsentieren dann eine Qualitätsbewertung des Produkts, wie beispielsweise „OK“, „nicht OK = NOK“, „keine Entscheidung möglich“ oder auch beliebige Abstufungen dazwischen. In diesem Zusammenhang sind insbesondere Erklärungen dafür, warum der Bildklassifikator ein Eingabe-Bild der Klasse „NOK“ zuordnet, wichtig. Mit solchen Erklärungen lässt sich nicht nur der Bildklassifikator selbst verbessern, sondern es lassen sich auch Erkenntnisse über die mögliche Ursache des Qualitätsproblems gewinnen, die im Fertigungsprozess gesetzt wurde. Wenn beispielsweise eine Vielzahl kleiner lokalisierter Defekte am Produkt für die Einstufung als „NOK“ ausschlaggebend waren und diese Defekte wiederum mit bestimmten physikalischen Bedingungen während der Herstellung des Produkts korreliert sind (wie etwa hohe Temperatur oder hoher Druck), kann gezielt darauf hingewirkt werden, diese Bedingungen zu korrigieren, damit künftig ein größerer Anteil der hergestellten Produktexemplare als „OK“ eingestuft wird.
-
Die ermittelten Anteile des Eingabe-Bildes, auf die der Bildklassifikator seine Entscheidung stützt, können insbesondere beispielsweise mit einem Anteil des Eingabe-Bildes verglichen werden, der anhand einer Beobachtung des gleichen Produkts mit einer anderen Abbildungsmodalität als relevant für die Qualitätsbewertung des Produkts ermittelt wurde. Aus dem Ergebnis dieses Vergleichs kann dann eine Qualitätsbewertung für den Bildklassifikator ermittelt werden. Beispielsweise können Hyperparameter des Bildklassifikators optimiert werden mit dem Ziel, diese Qualitätsbewertung zu optimieren.
-
In einer weiteren besonders vorteilhaften Ausgestaltung wird ein von einem Fahrzeug aus aufgenommenes Bild einer Verkehrssituation als Eingabe-Bild gewählt. Die Klassen der Klassifikation repräsentieren dann Bewertungen der Verkehrssituation, auf deren Basis das künftige Verhalten des Fahrzeugs geplant wird. Gerade in diesem Anwendungsfeld kann dem Bildklassifikator und einem nachgeschalteten Warnsystem, Fahrassistenzsystem oder System zum zumindest teilweise automatisierten Fahren häufig nur unter der Voraussetzung vertraut werden, dass die Entscheidungen des Bildklassifikators erklärbar sind. Das Verfahren kann genau diese Erklärungen liefern.
-
Die ermittelten Anteile des Eingabe-Bildes, auf die der Bildklassifikator seine Entscheidung stützt, können insbesondere beispielsweise mit einem Anteil des Eingabe-Bildes verglichen werden, der als für die Beurteilung der Verkehrssituation relevant bekannt ist. Aus dem Ergebnis dieses Vergleichs kann dann eine Qualitätsbewertung für den Bildklassifikator ermittelt werden. Analog zum Anwendungsbeispiel der Qualitätskontrolle von in Serie gefertigten Produkten können dann beispielsweise Hyperparameter des Bildklassifikators optimiert werden mit dem Ziel, dass die Qualität des Bildklassifikators danach besser bewertet wird.
-
Die vorgegebene Störung sollte vorteilhaft so gewählt sein, dass sie, soweit möglich, lediglich im ursprünglichen Eingabe-Bild vorhandene Information entfernt. Hingegen sollte der Bildklassifikator möglichst keine völlig neue Information in die Störung hineininterpretieren. Zu diesem Zweck kann ausgehend von einem vorgegebenen, fertig trainierten Bildklassifikator die Störung entsprechend angepasst werden. Es kann jedoch auch umgekehrt ein Bildklassifikator gezielt darauf trainiert werden, keine zusätzliche Information in eine bestimmte vorgegebene Störung hineinzuinterpretieren.
-
Zu diesem Zweck stellt die Erfindung ein weiteres Verfahren bereit. Bei diesem Verfahren wird zunächst ein Bildklassifikator bereitgestellt. Weiterhin wird eine vorgegebene Störung für die Messung, auf welche Anteile eines Eingabe-Bildes dieser Bildklassifikator seine Entscheidung stützt, bereitgestellt.
-
Anschließend wird der Bildklassifikator trainiert. Bei diesem Training werden dem Bildklassifikator typischerweise Lern-Bilder zugeführt, die der Bildklassifikator mit zunehmendem Fortschritt des Trainings immer besser auf zugehörige Lern-Klassifikations-Scores abbildet. Das Training ist nun zusätzlich darauf gerichtet, dass der Bildklassifikator die vorgegebene Störung einer eigenen Klasse zuordnet. Das heißt, dass diese Klasse als einziges Lern-Bild die Störung hat. Nach Abschluss dieses Trainings wird unter Nutzung der vorgegebenen Störung mit dem zuvor beschriebenen Verfahren gemessen, auf welche Anteile eines Eingabe-Bildes der Bildklassifikator seine Entscheidung stützt.
-
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
-
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
-
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
-
Ausführungsbeispiele
-
Es zeigt:
- 1 Ausführungsbeispiel des Verfahrens 100 zur Messung der für einen Bildklassifikator 1 entscheidungsrelevanten Anteile 2a eines Eingabe-Bildes 2, einschließlich beispielhafter weiterer Auswertung der Anteile 2a;
- 2 Ausführungsbeispiel des Verfahrens 400 mit Training des Bildklassifikators 1;
- 3 Beispielhafte Verkehrssituation 50 zur Veranschaulichung des Verfahrens 100.
-
1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zur Messung der für einen Bildklassifikator 1 entscheidungsrelevanten Anteile 2a eines Eingabe-Bildes 2. Das Eingabe-Bild 2 kann insbesondere beispielsweise gemäß Block 105 ein Verarbeitungsprodukt sein, das ein faltendes neuronales Netzwerk mit einer Anordnung aus mehreren Faltungsschichten aus einem Bild hergestellt hat. Das Eingabe-Bild 2 kann gemäß Block 106 ein Bild eines in Serie gefertigten Produkts sein. Alternativ kann das Eingabe-Bild 2 ein von einem Fahrzeug aus aufgenommenes Bild einer Verkehrssituation 50 sein.
-
In Schritt 110 wird das Eingabe-Bild 2 wird mit dem Bildklassifikator 1 auf einen oder mehrere Klassifikations-Scores 3 in Bezug auf eine oder mehrere Klassen abgebildet. In Schritt 120 wird eine Zielklasse 3* ausgewählt, für die der Klassifikations-Score 3 einen vorgegebenen Schwellwert 7 überschreitet. Das Eingabe-Bild 2 wird in Schritt 130 als zu untersuchender Bereich 4 festgelegt und in Schritt 135 in mehrere Teilbereiche 4a-4d aufgeteilt.
-
In Schritt 140 werden die Teilbereiche 4a-4d sukzessive ausgewählt. Das bedeutet, dass die folgenden Schritte jeweils ausgehend von jedem der Teilbereiche 4a-4d begonnen werden.
-
In Schritt 150 wird für jeden ausgewählten Teilbereich 4a-4d der zu untersuchende Bereich 4 mit Ausnahme dieses ausgewählten Teilbereichs 4a-4d mit einer vorgegebenen Störung 5 beaufschlagt, so dass ein Abwandlungs-Bild 6 resultiert. Das Abwandlungs-Bild 6 wird in Schritt 160 von dem Bildklassifikator 1 auf einen Klassifikations-Score 3' bezüglich der Zielklasse 3* abgebildet.
-
In Schritt 170 wird geprüft, ob der Klassifikations-Score 3' für das Abwandlungs-Bild 6 den vorgegebenen Schwellwert 7 überschreitet. Ist dies der Fall (Wahrheitswert 1), bedeutet dies, dass die im aktuell ausgewählten Teilbereich 4a-4d enthaltene Information für sich genommen bereits ausreicht, um die richtige Entscheidung des Bildklassifikators herbeizuführen. Es wird dann in Schritt 180 geprüft, ob ein vorgegebenes Rekursionsbudget 8 bereits ausgeschöpft ist. Ist dies der Fall (Wahrheitswert 1), wird der aktuell ausgewählte Teilbereich 4a-4d in Schritt 190 als ein Anteil (2a) des Eingabe-Bildes 2 gewertet, auf den der Bildklassifikator 1 seine Entscheidung stützt. Steht hingegen noch Rekursions-Budget zur Verfügung (Wahrheitswert 0), wird in Schritt 185 der aktuell ausgewählte Teilbereich 4a-4d als neuer zu untersuchender Bereich 4 festgelegt. Anschließend wird zur Aufteilung dieses neuen zu untersuchenden Bereichs 4 in Teilbereiche 4a-4d zurückverzweigt. Hiermit wird letztlich genauer eingegrenzt, wo denn im aktuell ausgewählten Teilbereich 4a-4d die entscheidungsrelevante Information konkret sitzt.
-
Wenn der Klassifikations-Score 3' für das Abwandlungs-Bild 6 den vorgegebenen Schwellwert 7 nicht überschreitet (Wahrheitswert 0), ist zu prüfen, ob die Information im aktuell ausgewählten Teilbereich 4a überhaupt nicht entscheidungsrelevant ist oder nur in Verbindung mit weiterer Information anderswo im Eingabe-Bild 2 entscheidungsrelevant ist.
-
Zu diesem Zweck wird in Schritt 200 ein neues Abwandlungs-Bild 6' erzeugt, in dem der aktuell ausgewählte Teilbereich 4a-4d mit der vorgegebenen Störung 5 beaufschlagt ist. In Schritt 210 wird dieses neue Abwandlungs-Bild 6' von dem Bildklassifikator 1 auf einen weiteren Klassifikations-Score 3" bezüglich der Zielklasse 3* abgebildet.
-
In Schritt 220 wird geprüft, ob der weitere Klassifikations-Score 3" den vorgegebenen Schwellwert 7 überschreitet. Ist dies nicht der Fall (Wahrheitswert 0), bedeutet dies, dass der nach Abzug des aktuell ausgewählten Teilbereichs 4a-4d verbleibende restliche zu untersuchende Bereich für sich genommen die richtige Entscheidung des Bildklassifikators noch nicht herbeizuführen vermag. Das bedeutet im Umkehrschluss, dass der aktuell ausgewählte Teilbereich 4a-4d noch Information enthält, die zumindest in Kombination mit weiterer Information im Rest des zu untersuchenden Bereichs 4 relevant für die Entscheidung des Bildklassifikators 1 ist.
-
Daher wird in diesem Fall in Schritt 270 geprüft, ob das vorgegebene Rekursionsbudget 8 bereits ausgeschöpft ist. Ist dies der Fall (Wahrheitswert 1), wird der aktuell ausgewählte Teilbereich 4a-4d in Schritt 280 als ein Anteil 2a des Eingabe-Bildes gewertet, auf den der Bildklassifikator 1 seine Entscheidung stützt. Ist das vorgegebene Rekursionsbudget hingegen noch nicht ausgeschöpft (Wahrheitswert 0 bei Schritt 270), wird die Verarbeitung des Abwandlungs-Bildes 6 rekursiv fortgesetzt. Hierzu wird der ausgewählte Teilbereich 4a-4d als neuer zu untersuchender Bereich 4 festgelegt. Anschließend wird zur Aufteilung 135 dieses zu untersuchenden Bereichs 4 in Teilbereiche 4a-4d zurückverzweigt.
-
Wenn der für das neue Abwandlungs-Bild 6' ermittelte weitere Klassifikations-Score 3" den vorgegebenen Schwellwert 7 überschreitet (Wahrheitswert 1 in Schritt 220), bedeutet dies, dass der nach Abzug des aktuell ausgewählten Teilbereichs 4a-4d verbleibende restliche zu untersuchende Bereich 4 für sich genommen genug Information beinhaltet, um die richtige Entscheidung des Bildklassifikators 1 herbeizuführen. Das bedeutet, dass der aktuell ausgewählte Teilbereich 4a-4d, der ja bereits zuvor als für sich genommen nicht entscheidungswesentlich identifiziert worden ist, überhaupt nicht mehr relevant ist. Daher wird dieser aktuell ausgewählte Teilbereich 4a in Schritt 230a als für die Entscheidung des Bildklassifikators 1 nicht relevant verworfen. Somit wird dieser Teilbereich 4a-4b Schritt 230b in allen weiteren erzeugten Abwandlungs-Bildern 6, 6' mit der vorgegebenen Störung 5 beaufschlagt.
-
Dies kann genutzt werden, um die Durchführung des Verfahrens 100 zu plausibilisieren und überraschende Fehler zu erkennen. In Schritt 240 wird zu diesem Zweck aus dem Eingabe-Bild 2 ein Test-Bild 2* erzeugt, in dem nur die als nicht relevant verworfenen Teilbereiche 4a-4d mit der vorgegebenen Störung 5 beaufschlagt sind. In Schritt 250 wird geprüft, ob der Bildklassifikator 1 für dieses Test-Bild 2* einen Klassifikations-Score 3 bezüglich der Zielklasse 3* liefert, der den vorgegebenen Schwellwert 7 überschreitet. Ist dies nicht der Fall (Wahrheitswert 0), was nach der Definition der verworfenen Teilbereiche 4a-4d nicht sein darf, wird das Verfahren in Schritt 260 als fehlerhaft abgebrochen.
-
In 1 ist an zwei Beispielen die mögliche weitere Nutzung der als entscheidungsrelevant ermittelten Anteile 2a des Eingabe-Bildes 2 gezeigt.
-
Insoweit die entscheidungsrelevanten Anteile 2a gemäß Block 106 anhand eines Eingabe-Bildes 2 ermittelt wurden, das ein in Serie gefertigtes Produkt zeigt, können diese Anteile 2a in Schritt 300 mit einem Anteil 2b des Eingabe-Bildes verglichen werden, der anhand einer Beobachtung des gleichen Produkts mit einer anderen Abbildungsmodalität als relevant für die Qualitätsbewertung des Produkts ermittelt wurde. Aus dem Ergebnis 300a dieses Vergleichs 300 kann dann in Schritt 310 eine Qualitätsbewertung 1a für den Bildklassifikator 1 ermittelt werden.
-
Insoweit die entscheidungsrelevanten Anteile 2a gemäß Block 107 anhand eines Eingabe-Bildes 2 ermittelt wurden, das eine Verkehrssituation 50 zeigt, können diese Anteile 2a in Schritt 320 mit einem Anteil 2b des Eingabe-Bildes verglichen werden, der als für die Beurteilung der Verkehrssituation 50 relevant bekannt ist. Aus dem Ergebnis 320a dieses Vergleichs 320 kann dann in Schritt 330 eine Qualitätsbewertung 1a für den Bildklassifikator 1 ermittelt werden.
-
2 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 400, im Rahmen dessen der Bildklassifikator 1 speziell auf die spätere Messung entscheidungsrelevanter Anteile 2a des Eingabe-Bildes 2 mit dem zuvor beschriebenen Verfahren 100 vorbereitet wird.
-
In Schritt 410 wird ein Bildklassifikator 1 bereitgestellt. In Schritt 420 wird eine vorgegebene Störung 5 für die Messung, auf welche Anteile 2a eines Eingabe-Bildes 2 dieser Bildklassifikator 1 seine Entscheidung stützt, bereitgestellt. In Schritt 430 wird der Bildklassifikator 1 trainiert, wobei dieses Training zusätzlich darauf gerichtet ist, dass der Bildklassifikator 1 die vorgegebene Störung 5 einer eigenen Klasse zuordnet. Der fertig trainierte Zustand des Bildklassifikators 1 ist mit dem Bezugszeichen 1* gekennzeichnet. Unter Nutzung dieser vorgegebenen Störung 5 wird mit dem Verfahren 100 gemessen, auf welche Anteile 2a eines Eingabe-Bildes 2 der trainierte Bildklassifikator 1* seine Entscheidung stützt.
-
3 zeigt eine beispielhafte Verkehrssituation 50, in der, wie zuvor erläutert, verschiedene Anteile des Bildes erst in Kombination entscheidungsrelevant sind. Die Verkehrssituation 50 umfasst eine Hauptstraße 51, in die eine Seitenstraße 52 einmündet. Das Verkehrszeichen 53 weist die Hauptstraße 51 als Vorfahrtstraße aus. Aus der Seitenstraße 52 biegt unter Missachtung eines „Vorfahrt gewähren“-Schildes 55 gerade ein fremdes Fahrzeug 54 auf die Hauptstraße ein.
-
Diese Verkehrssituation 50 ist für ein automatisiert fahrendes Fahrzeug prinzipiell gefährlich. Dieses Fahrzeug könnte sich auf Grund des Vorfahrt gebenden Verkehrszeichens 53 darauf verlassen, dass das fremde Fahrzeug 54 am „Vorfahrt gewähren“-Schild 55 wartet, und ungebremst weiterfahren.
-
Wie zuvor erläutert, kommt es hierbei auf die Kombination des Vorfahrt gebenden Verkehrszeichens 53 mit dem fremden Fahrzeug 54 an. Ist eines dieser Elemente, also einer der Teilbereiche 4b oder 4c des zu untersuchenden Bereiches 4, mit der vorgegebenen Störung 5 unkenntlich gemacht, zeigt das entsprechende Abwandlungs-Bild 6 aus Sicht des Bildklassifikators 1 keine gefährliche Situation mehr.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
