DE102018205561A1

DE102018205561A1 - Vorrichtung zur Klassifizierung von Signalen

Info

Publication number: DE102018205561A1
Application number: DE102018205561.0A
Authority: DE
Inventors: Muhammad Gondal; Jan Mathias Koehler
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2017-08-18
Filing date: 2018-04-12
Publication date: 2019-02-21
Also published as: CN109409188A

Abstract

Vorrichtung (1) zur Klassifizierung eines Gewebes, umfassend ein künstliches neuronales Netzwerk (3) mit mindestens einer Faltungsschicht (31a-31e), wobei die Faltungsschicht (31a-31e) eine Mehrzahl von trainierbaren Faltungskernen (32a-32c) enthält und zu jedem Faltungskern (32a-32c) eine Aktivierungskarte (33a-33c) liefert, und der mindestens einen Faltungsschicht (31a-31e) mindestens eine Klassifikatorschicht (35a-35b) nachgeschaltet ist. Ferner betrifft die Erfindung eine Vorrichtung, ein Verfahren (100) zum Trainieren und Verfahren (200) zum Betreiben der Vorrichtung und ein zugehöriges Computerprogramm.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zur Klassifizierung von Signalen, welches beispielsweise auf Bilddaten oder auf Audiodaten anwendbar ist, ein Verfahren zum Trainieren und ein Verfahren zum Betreiben.
Stand der Technik
Bei der Auswertung beispielsweise von Bilddaten oder Audiodaten stellt sich immer wieder die Aufgabe, bestimmte Objekte oder andere Features in den Daten zu erkennen. Eine derartige Aufgabe ist für einen Computer anspruchsvoll, da die Bilddaten bzw. Audiodaten dem Computer zunächst nur als Zahlenwerte ohne tiefere Bedeutung vorliegen und einen Problemraum von hoher Dimensionalität aufspannen. Beispielsweise gibt es in der Größenordnung 10¹² verschiedene Bilder in VGA-Auflösung (640x480 Pixel) mit 24 Bit Farbtiefe. Diese große Anzahl Bilder gilt es anhand des Gehalts an Objekten oder Features in größenordnungsmäßig 10-100 Klassen zu klassifizieren.
Zur Bewältigung dieser Komplexität werden künstliche neuronale Netze eingesetzt. Derartige neuronale Netze können beispielsweise aus mehreren hintereinandergeschalteten Schichten bestehen, in denen die Dimensionalität der Aufgabe durch die Anwendung von Faltungskernen und durch Downsampling deutlich reduziert wird. Derartige neuronale Netze zeichnen sich weiterhin dadurch aus, dass die Daten massiv parallel verarbeitet werden. Die GB 2 454 857 B gibt ein Beispiel für ein Verfahren, bei dem ein Mikroskopbild mit Hilfe eines selbstlernenden neuronalen Netzes dahingehend klassifiziert wird, welche Objekte es enthält.
Offenbarung der Erfindung
Im Rahmen der Erfindung wurde eine Vorrichtung zur Klassifizierung eines Eingangssignals entwickelt. Diese Vorrichtung umfasst ein künstliches neuronales Netz mit mindestens einer Faltungsschicht. Die mindestens eine Faltungsschicht enthält eine Mehrzahl von trainierbaren Faltungskernen. Durch sukzessive Anwendung des jeweiligen Faltungskerns an allen möglichen Positionen in dem Eingangssignal entsteht zu jedem Faltungskern eine Aktivierungskarte, die diskreten Positionen in der Eingabe der mindestens einen Faltungsschicht jeweils einen Ausgabewert zuordnet. Dieser Ausgabewert ist ein Maß für die lokale Übereinstimmung der Eingabe mit dem jeweiligen Faltungskern.
Dabei können durchaus mehrere Faltungsschichten in Reihe geschaltet sein. Beispielsweise kann eine erste Faltungsschicht, die Bilddaten als Eingangssignal erhält, eine Mehrzahl von Faltungskernen enthalten, die einfache geometrische Grundelemente von Objekten, wie beispielsweise Linien und Bögen, erkennen. Weitere Faltungsschichten können dann beispielsweise dazu ausgebildet sein, aus diesen Grundelementen zusammengesetzte einfache Objekte zu erkennen (etwa ein Haus, ein Verkehrszeichen oder ein Auto). Diese Information wiederum kann in weiteren Faltungsschichten genutzt werden, um beispielsweise komplexe Situationen zu erkennen, etwa eine aus mehreren Verkehrsteilnehmern, Verkehrszeichen und Gebäuden zusammengesetzte Verkehrssituation, in der beim zumindest teilautomatisierten Fahren die Vorfahrtlage zu ermitteln ist.
Wenn mehrere Faltungsschichten vorhanden sind, muss die Ausgabe einer Faltungsschicht nicht zwangsläufig nur an eine benachbarte Faltungsschicht weitergegeben werden, sondern kann auch direkt an nicht benachbarte Faltungsschichten weitergegeben werden.
Diese Verarbeitungskette ist nicht auf Bilddaten beschränkt, sondern kann genauso gut beispielsweise auch mit Audiodaten durchgeführt werden. Auch hier kann beispielsweise eine erste Faltungsschicht Faltungskerne zur Erkennung von Fahrgeräuschen anderer Verkehrsteilnehmer, Hupen und Martinshörnern beinhalten, und in einer späteren Faltungsschicht kann hieraus auf die Verkehrssituation als Ganzes geschlossen werden.
Der mindestens einen Faltungsschicht, beispielsweise der letzten Faltungsschicht, ist mindestens eine Klassifikatorschicht nachgeschaltet, die ihre Eingabe mittels trainierbarer Gewichte auf einen Satz Wahrscheinlichkeiten dafür abbildet, dass die Eingabe zu einer von mehreren Klassen zugehörig ist. Beispielsweise kann eine Verkehrssituation als Ganzes dahingehend klassifiziert werden, ob das eigene Fahrzeug weiterfahren darf oder wartepflichtig ist. Ein Bild von Gewebe kann in der Zusammenschau aller mit der letzten Faltungsschicht erkannten komplexen Merkmale dahingehend bewertet werden, ob das Gewebe gesund oder krankhaft verändert ist. Ebenso kann ein Bild eines Bauteils dahingehend bewertet werden, ob es beschädigt ist oder nicht.
Die Ausgabe der mindestens einen Faltungsschicht ist zusätzlich in mindestens eine Aggregationsschicht geführt, welche dazu ausgebildet ist, jeder von der mindestens einen Faltungsschicht erhaltenen Aktivierungskarte mindestens einen Aggregationswert zuzuordnen.
Wenn mehrere Faltungsschichten hintereinandergeschaltet sind, kann vorzugsweise die Ausgabe der letzten Faltungsschicht in die Aggregationsschicht geführt sein. Die Aggregationsschicht bewertet dann die gleiche Sachlage wie die Klassifikatorschicht, d.h., die Aktivierungskarten geben besonders genau an, welche Teilbereiche in dem Eingangssignal zu den von der Klassifikatorschicht ermittelten Wahrscheinlichkeiten beigetragen haben. Alternativ oder in Kombination kann jedoch auch die Ausgabe einer anderen Faltungsschicht in die Aggregationsschicht geführt sein.
Es wurde erkannt, dass die Aggregationswerte eine Aussage darüber enthalten, welche Teilbereiche in dem Eingangssignal für die Klassifizierung des Eingangssignals durch die Klassifikatorschicht relevant gewesen sind. Auf diese Weise kann beispielsweise die Klassifizierung plausibilisiert werden. Weiterhin können beispielsweise bei einer Klassifizierung eines Bauteils als schadhaft oder bei einer Klassifizierung eines Gewebes als krankhaft verändert diejenigen Schadstellen, die für diese Beurteilung maßgeblich gewesen sind, identifiziert werden. Bei der Beurteilung einer Fahrsituation dahingehend, dass das eigene Fahrzeug wartepflichtig ist, kann dasjenige Fahrzeug identifiziert werden, auf das gewartet werden muss.
Die Aggregation bewirkt eine deutliche Verdichtung der von der Faltungsschicht gelieferten Information. Dies hat jedoch keine Auswirkungen auf die Genauigkeit der Klassifizierung durch die Klassifikatorschicht, da die Klassifikatorschicht nach wie vor die volle Information erhält.
Die Aussagekraft der Aggregationswerte in Bezug auf die von der Klassifikatorschicht vorgenommene Klassifizierung ist am größten, wenn die Klassifikatorschicht ihre Eingabe von der gleichen Faltungsschicht bezieht wie die Aggregationsschicht. Dies ist jedoch nicht zwingend. Beispielsweise kann es gewünscht sein, die Relevanz von Teilen des Eingangssignals auf einer feineren Abstraktionsebene zu analysieren als der Abstraktionsebene, die der Klassifikatorschicht zugeführt wird.
In einer besonders vorteilhaften Ausgestaltung der Erfindung ist eine Auswerteeinheit vorgesehen, die dazu ausgebildet ist, durch gewichtete Summation der von der mindestens einen Faltungsschicht erhaltenen Aktivierungskarten mit in der Aggregationsschicht hinterlegten Gewichten eine Relevanzkarte der Ausgabe der mindestens einen Faltungsschicht zu ermitteln. Diese Relevanzkarte ist genau auf der von der mindestens einen Faltungsschicht zuletzt untersuchten Ebene abstrahiert. Die Auswerteeinheit kann beispielsweise in die Aggregationsschicht integriert sein oder zusammen mit der Aggregationsschicht eine Baugruppe bilden.
Die Relevanzkarte ist insbesondere dann besonders einsichtig, wenn es sich bei dem zu klassifizierenden Eingangssignal um Bilddaten handelt. Sie ist jedoch nicht auf diesen Anwendungsfall beschränkt. Beispielsweise lässt sich eine visuell einsichtige Relevanzkarte auch für Audiodaten als Eingangssignal erzeugen, indem die Audiodaten in eine für den jeweiligen Anwendungsfall visuell einsichtige Darstellung transformiert werden. So lässt sich etwa das Signal einer Hupe bzw. eines Martinshorns in einer bildlichen Darstellung des Audiosignals im Frequenzraum leicht ausmachen.
Da jede Faltungsschicht die Dimensionalität des Eingangssignals reduziert, wird die Relevanzkarte in der Regel von deutlich geringerer Dimensionalität sein als das Eingangssignal. Im Falle eines Bildes als Eingangssignal bedeutet dies beispielsweise, dass die Relevanzkarte von deutlich geringerer Pixelauflösung ist als das Originalbild. Die Relevanzkarte kann beispielsweise entsprechend hochskaliert werden, damit sie sich in einer für den Betrachter aussagekräftigen Weise über das Eingangssignal, also beispielsweise über das Originalbild, legen lässt. Das Hochskalieren kann beispielsweise durch bilineare Interpolation erfolgen.
In einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung erhält die Auswerteeinheit mindestens eine von der Klassifikatorschicht ermittelte Wahrscheinlichkeit als Eingabe und berücksichtigt abhängig von dieser Wahrscheinlichkeit unterschiedliche in der Aggregationsschicht hinterlegte Gewichte. Auf diese Weise kann in der Relevanzkarte die aus den Aggregationswerten und Aktivierungskarten erhaltene Information mit der von der Klassifikatorschicht erhaltenen Klassifizierung dahingehend zusammengeführt werden, dass die für die Entscheidung relevanten Teile des Eingangssignals noch genauer umrissen werden.
In einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung ist die Aggregationsschicht auch als eine Klassifikatorschicht ausgebildet, die die Wahrscheinlichkeiten für die Zugehörigkeiten zu Klassen durch Gewichtung der Aggregationswerte mit trainierbaren Gewichten ermittelt. Auf diese Weise ist es zum einen möglich, diese Gewichte separat von der Klassifizierung durch die primär vorgesehene Klassifikatorschicht zu trainieren, damit sie anschließend für die Ermittlung der Relevanzkarte genutzt werden können. Die Erkennung relevanter Bereiche in dem Eingangssignal kann dann also von den gleichen Lerndaten profitieren, die auch beim Training der primär vorgesehenen Klassifikatorschicht zum Einsatz kommen. Zum anderen ist die Zusatzfunktion der Aggregationsschicht als Klassifikatorschicht nicht auf die Lernphase begrenzt. Vielmehr kann die auf diese Weise von der Aggregationsschicht erhaltene Klassifizierung genutzt werden, um die von der primär vorgesehenen Klassifikatorschicht erhaltene Klassifizierung zu plausibilisieren und eventuelle Fehlfunktionen zu erkennen. Dies ist beispielsweise wichtig in sicherheitskritischen Anwendungen, wie etwa der zumindest teilweise automatisierten Steuerung von Fahrzeugen im Straßenverkehr.
Im Vergleich mit Lösungen, bei denen die Aggregationsschicht als einziger Klassifikator genutzt wird, liegt ein wichtiger Unterschied darin, dass die primär vorgesehene Klassifikatorschicht nach wie vor auf die volle von der Faltungsschicht gelieferte Information zurückgreift. Ist hingegen die Aggregationsschicht der einzige Klassifikator, so kann die Klassifikation nur noch mit der durch die Aggregation drastisch reduzierten Datenmenge arbeiten und wird deutlich weniger genau.
Die Aggregationsschicht kann beispielsweise dazu ausgebildet sein, mindestens einen Aggregationswert durch Summation und/oder durch Mittelwertbildung und/oder Maximalwertbildung und/oder Minimalwertbildung und/oder Varianzbildung und/oder Medianbildung und/oder Perzentilbildung über die in der Aktivierungskarte enthaltenen Werte zu ermitteln. Beispielsweise kann „global average pooling“, GAP, zum Einsatz kommen. Handelt es sich bei dem Eingangssignal beispielsweise um Bilddaten und ist der Faltungskern der Faltungsschicht zur Erkennung eines bestimmten Objekts ausgebildet, so ist das Ergebnis der Summation bzw. Mittelwertbildung unter anderem ein Maß dafür, wie viele Objekte dieser Art im Bildbereich insgesamt enthalten sind. Wird beispielsweise die Klassifizierung, dass ein Bild ein oder mehrere Objekte einer bestimmten Art enthält, nur auf ein einziges Vorkommen eines solchen Objekts gestützt, so ist diese Aussage weniger belastbar als wenn viele derartige Vorkommen zu dieser Entscheidung beigetragen haben. Dass viele Erkennungen allesamt fehlerhaft sind, ist unwahrscheinlicher als dass eine einzelne Erkennung fehlerhaft ist.
Die Klassifikatorschicht kann beispielsweise mindestens eine vollvernetzte Schicht des künstlichen neuronalen Netzes umfassen. Eine solche vollvernetzte Schicht bestimmt mit Hilfe lernfähiger Gewichte, welche von der Faltungsschicht erkannten Merkmale besonders gut mit den bestimmten Klassen korrelieren. So kann beispielweise ein Vorfahrtsschild relevant zur Beurteilung der Frage sein, ob das eigene Fahrzeug in einer Verkehrssituation weiterfahren darf oder wartepflichtig ist, während eine Leuchtreklame hierfür irrelevant ist. Die Gewichte einer oder mehrerer vollvernetzter Schichten lassen sich in besonders einsichtiger Weise mit Lern-Daten trainieren.
In einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung ist mindestens eine Anzeigeeinrichtung vorgesehen, die mindestens eine von der Klassifikatorschicht ermittelte Wahrscheinlichkeit, und/oder mindestens eine Relevanzkarte, als Eingabe erhält und an einen Benutzer der Vorrichtung ausgibt. Auf diese Weise kann beispielsweise studiert werden, wie sich eine Vorverarbeitung des Eingangssignals, eine Änderung der Beleuchtungsverhältnisse oder eine Änderung sonstiger Aufnahmebedingungen auswirken.
In einer weiteren besonders vorteilhaften Ausgestaltung der Erfindung weist mindestens eine Einrichtung zur physikalischen Erfassung des Eingangssignals mindestens einen Parameter auf, der sich auf den Prozess der Erfassung auswirkt. Es ist eine Feedback-Einrichtung vorgesehen, die dazu ausgebildet ist, aus der Relevanzkarte mindestens eine Stellgröße für den Parameter zu ermitteln.
Ist das Eingangssignal beispielsweise ein Bildsignal, das über eine Kamera physikalisch erfasst wird, so hat beispielsweise die Belichtungseinstellung der Kamera einen Einfluss darauf, welche Merkmale des untersuchten Objekts in den Dynamikbereich des erhaltenen Bildsignals fallen. Über die Feedback-Einrichtung kann diese Belichtungseinstellung, oder auch ein beliebiger anderer Parameter der physikalischen Erfassung, dahingehend optimiert werden, dass von vornherein ein Hinblick auf die jeweilige Anwendung aussagekräftiges Eingangssignal aufgenommen wird. Beispielsweise kann ein Bild eines Bauteils mit einer Belichtungseinstellung aufgenommen werden, die den größten Teil des Bildes in die Sättigung zieht und dafür den Bereich einer vermuteten Schadstelle besonders kontrastreich herausarbeitet.
Die Erfindung bezieht sich auch auf ein Verfahren zum Trainieren der Vorrichtung. Bei diesem Verfahren wird zunächst eine Mehrzahl von Lern-Eingangssignalen in das künstliche neuronale Netzwerk eingegeben. Die zu jedem Lern-Eingangssignal von der Klassifikatorschicht ermittelten Wahrscheinlichkeiten werden mit der bekannten Zugehörigkeit der Lern-Eingangssignale zu den Klassen verglichen. Mindestens ein trainierbarer Faltungskern in mindestens einer Faltungsschicht wird dahingehend angepasst, dass eine in dem Vergleich ermittelte Abweichung vermindert wird.
Weiterhin wird ein Satz Gewichte in der Aggregationsschicht hinterlegt, und es wird die Wirkung der Aggregationsschicht mit diesen Gewichten auf jedes Lern-Eingangssignal mit einem Gütemaß bewertet. Anschließend wird mindestens ein Gewicht in der Aggregationsschicht dahingehend angepasst, dass der Wert des Güßemaßes verbessert wird.
Das Gütemaß kann insbesondere darauf ausgerichtet sein, dass die gewichtete Summation der Aktivierungskarten aus der Faltungsschicht mit den Gewichten der Aggregationsschicht zu einer Relevanzkarte möglichst aussagekräftig wird. Ist beispielsweise die Aggregationsschicht auch als Klassifikatorschicht ausgebildet, so kann das Gütemaß etwa die Genauigkeit beinhalten, mit der unter Nutzung der Gewichte in der Aggregationsschicht das Lern-Eingangssignal korrekt klassifiziert wird. Es kann also beispielsweise analog zu der Klassifizierung mit der primär vorgesehenen Klassifikatorschicht eine Abweichung von der bekannten Zugehörigkeit der Lern-Eingangssignale zu den Klassen minimiert werden.
Es wurde erkannt, dass auf diese Weise die Klassifizierung in der Klassifikatorschicht einerseits und die Erzeugung einer Relevanzkarte mit der Aggregationsschicht andererseits mit den gleichen Lerndaten, jedoch voneinander unabhängig, trainiert werden können.
Insbesondere können in der Aggregationsschicht unterschiedliche Sätze von Gewichten für Lern-Eingangssignale, die zu unterschiedlichen Klassen gehören, trainiert werden.
Die Erfindung bezieht sich auch auf ein Verfahren zum Betreiben der Vorrichtung. Bei diesem Verfahren wird ein Eingangssignal in das künstliche neuronale Netzwerk eingegeben, das zuvor insbesondere mit dem von der Erfindung bereitgestellten Verfahren trainiert worden sein kann. Die Klasse, zu der die Klassifikatoreinheit die größte Wahrscheinlichkeit ermittelt, wird als die Ergebnisklasse gewertet, zu der das Eingangssignal gehört.
Es können nun anhand der Ergebnisklasse Gewichte aus der Aggregationsschicht abgerufen werden, oder es können alternativ feste Gewichte verwendet werden. Aus den Gewichten und den Aktivierungskarten der Faltungsschicht wird die Relevanzkarte ermittelt.
Die Gewichte, die aus der Aggregationsschicht abgerufen werden, enthalten bereits die von der Klassifikatorschicht gelieferte Information über die Ergebnisklasse. Hierin liegt ein wichtiger Unterschied zu Verfahren, bei denen die Aggregationsschicht als einziger Klassifikator genutzt wird. Ist die Aggregationsschicht der einzige Klassifikator, ist die Klassifikation ungenauer.
Das neuronale Netz kann in beliebiger Weise und in beliebigem Mischungsverhältnis zwischen Hardware und Software implementiert werden. Mit speziell für den Betrieb künstlicher neuronaler Netze ausgelegter Hardware oder aber hierfür besonders geeigneter Hardware, wie etwa Grafikprozessoren (GPUs), lässt sich die Verarbeitungsgeschwindigkeit steigern. Das neuronale Netz kann jedoch auch als reine Softwarelösung auf einer herkömmlichen CPU implementiert werden. Weiterhin kann insbesondere auch das Training der Vorrichtung oder auch ihre Ansteuerung im laufenden Betrieb ganz oder teilweise in Software implementiert sein. Eine derartige Software ist ein eigenständig verkaufbares Produkt, das auch als Add-On oder Update zu bestehenden Vorrichtungen vertrieben werden kann. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem Computer ausgeführt werden, den Computer zu einer von der Erfindung bereitgestellten Vorrichtung aufwerten, und/oder dazu veranlassen, ein von der Erfindung bereitgestelltes Verfahren auszuführen. Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger oder ein Downloadprodukt mit dem Computerprogramm.
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
Figurenliste
Es zeigt:

1 Ausführungsbeispiel der Vorrichtung 1;
2 Ausführungsbeispiel des Verfahrens 100 zum Trainieren;
3 Ausführungsbeispiel des Verfahrens 200 zum Betreiben;
4 Wirkung der Vorrichtung 1 bei der Analyse medizinischer Bilder.

1 zeigt ein Ausführungsbeispiel der Vorrichtung 1. Eine Kamera 6 nimmt Bilder eines Bauteils 8 mit einem Riss 8a als Eingabesignal 2 auf, wobei die Belichtungseinstellung über den Parameter 61 gesteuert wird. Selbstverständlich können auch andere Einstellungen, etwa der Blickwinkel, die Verwendung von Filtern (wie optische Filter, Infrarot- oder UV-Sperrfilter) oder die Art der Aufnahme (wie Farbe, Rotfrei, Autofluoreszenz oder Blau) über den Parameter 61 gesteuert werden.
Das Eingabesignal 2 wird dem künstlichen neuronalen Netz 3 zugeführt. Das künstliche neuronale Netz 3 liefert als Endergebnis eine erste Wahrscheinlichkeit 36a dafür, dass das Eingabesignal 2 ein ordnungsgemäßes Bauteil 8 zeigt, sowie eine Wahrscheinlichkeit 36b dafür, dass das Eingabesignal 2 ein schadhaftes Bauteil 8 zeigt.
Die Wirkungsweise der Erfindung ist jedoch nicht darauf beschränkt, dass genau zwei Wahrscheinlichkeiten berechnet werden, d.h., dass eine Zugehörigkeit zu genau zwei Klassen untersucht wird. Beispielsweise können beliebige Zwischenstufen zwischen den Zuständen „völlig ordnungsgemäß“ und „völlig schadhaft“ weitere Klassen definieren.
Intern besteht das neuronale Netz 3 aus fünf Faltungsschichten 31a-31e, zwei optionalen Pooling-Schichten 34a und 34b zur Reduzierung der Dimensionalität sowie Klassifikatorschichten 35a und 35b. Von den in den Faltungsschichten 31a-31e jeweils enthaltenen Faltungskernen sind in 1 der Übersichtlichkeit halber nur drei in der letzten Faltungsschicht 31e eingezeichnet und mit den Bezugszeichen 32a-32c bezeichnet. Die Faltungsschicht 31e ermittelt zu jedem Faltungskern 32a-32c die zugehörige Aktivierungskarte 33a-33c. Die Klassifikatorschichten 35a und 35b sind vollvernetzte Schichten (fully connected layers) in dem neuronalen Netzwerk 3.
Es ist rein zufällig, dass in dem in 1 gezeigten Beispiel genauso viele (zwei) Klassifikatorschichten 35a und 35b vorhanden sind wie Wahrscheinlichkeiten 36a und 36b berechnet werden. Es kann auch beispielsweise eine einzelne Klassifikatorschicht 35a oder 35b über die Zugehörigkeit zu sehr viel mehr, beispielsweise hunderten, Klassen urteilen. Beispielsweise definiert bei der automatischen Erkennung von Objekten, wie etwa Verkehrszeichen, jedes zu erkennende Objekt seine eigene Klasse.
Die Aggregatorschicht 37 ermittelt zu jeder Aktivierungskarte 33a-33c einen Aggregationswert 37a-37c und verrechnet die Aggregationswerte 37a-37c zusätzlich mit trainierbaren Gewichten 38a-38c zu einer Wahrscheinlichkeit 39a dafür, dass das Eingabesignal 2 ein ordnungsgemäßes Bauteil 8 zeigt, sowie zu einer Wahrscheinlichkeit 39b dafür, dass das Eingabesignal 2 ein schadhaftes Bauteil 8 zeigt. Die Ermittlung der Wahrscheinlichkeiten 39a und 39b kann beispielsweise für das Training der Gewichte 38a-38c genutzt werden, aber auch zur Plausibilisierung der von den Klassifikatorschichten 35a und 35b ermittelten Wahrscheinlichkeiten 36a und 36b.
Die Gewichte 38a-38c werden von der Auswerteeinheit 4 in Kombination mit den Aktivierungskarten 33a-33c genutzt, um die Relevanzkarte 41 zu ermitteln. Dabei entscheiden die Wahrscheinlichkeiten 36a und 36b darüber, welcher Satz von Gewichten 38a-38c verwendet wird. Die Relevanzkarte 41 gibt an, inwieweit Bereiche des Eingabesignals 2 für die Entscheidung des neuronalen Netzes 3 bezüglich der Wahrscheinlichkeiten 36a und 36b relevant gewesen sind.
Die Wahrscheinlichkeiten 36a und 36b werden gemeinsam mit der Relevanzkarte 41 über die Ausgabeeinrichtung 5 ausgegeben. Zusätzlich wird die Relevanzkarte 41 einer Feedback-Einrichtung 7 zugeführt, die eine Stellgröße 42 für den Belichtungsparameter 61 der Kamera 6 ermittelt. Auf diese Weise wird sichergestellt, dass die Kamera 6 stets in einem optimalen Arbeitsbereich betrieben wird, um mögliche Risse 8a in dem untersuchten Bauteil 8 zu erkennen.
2 zeigt ein Ausführungsbeispiel des Verfahrens 100 zum Trainieren der in 1 gezeigten Vorrichtung 1. Zum Training werden Lern-Eingangssignale 2 verwendet, deren Zugehörigkeiten 21 zu den Klassen, auf die die Wahrscheinlichkeiten 36a, 36b, 39a und 39b sich beziehen, vorab bekannt sind.
In Schritt 110 werden die Lern-Eingangssignale in das neuronale Netzwerk 3 eingegeben, das unter anderem Faltungsschichten 31a-31e enthält. Als Endergebnis liefert das neuronale Netzwerk die Wahrscheinlichkeiten 36a und 36b für die Zugehörigkeit zu Klassen.
In Schritt 120 werden die Wahrscheinlichkeiten 36a und 36b mit der bekannten Zugehörigkeit 21 der Lern-Eingangssignale 2 zu den Klassen verglichen. Der Vergleich liefert eine Abweichung D.
In Schritt 130 wird mindestens ein trainierbarer Faltungskern 32a-32c in mindestens einer Faltungsschicht 31a-31e dahingehend angepasst, dass nach einem erneuten Durchlaufen von Schritt 120 die Abweichung D vermindert wird.
Parallel werden die Aktivierungskarten 33a-33c von der Faltungsschicht 31a-31e der Aggregationsschicht 37 zugeführt und dort zu Aggregationswerten 37a-37c verarbeitet. In Verbindung mit trainierbaren Gewichten 38a-38c werden von der Aggregationsschicht 37 Wahrscheinlichkeiten 39a und 39b für die Zugehörigkeit der Lern-Eingangssignale 2 zu Klassen ermittelt. Die Wahrscheinlichkeiten 39a und 39b stellen also in diesem Ausführungsbeispiel die Wirkung W der Gewichte 38a-38c dar.
In Schritt 140 wird diese Wirkung W in Verbindung mit der bekannten Zugehörigkeit 21 der Lern-Eingangssignale 2 zu Klassen bewertet und ein entsprechendes Gütemaß M ausgegeben. Je besser die wahre Zugehörigkeit 21 im Einklang mit den Wahrscheinlichkeiten 39a und 39b steht, desto besser ist das Gütemaß M.
In Schritt 150 werden die Gewichte in der Aggregationsschicht 37 dahingehend angepasst, dass bei einem erneuten Durchlauf von Schritt 140 das Gütemaß M verbessert wird.
Die auf diese Weise gewonnenen Gewichte 38a-38c können gemäß 1 zur Erstellung von Relevanzkarten 41 genutzt werden.
3 zeigt ein Ausführungsbeispiel des Verfahrens 200 zum Betreiben der Vorrichtung 1. In Schritt 210 wird ein Eingangssignal 2 in das künstliche neuronale Netzwerk 3 eingegeben. Diejenige Klasse, zu der die Klassifikatorschicht 35a-35b, und damit das neuronale Netzwerk 3 als Ganzes, die größte Wahrscheinlichkeit 36a bzw. 36b ermittelt, wird in Schritt 220 als die Ergebnisklasse 22 gewertet, zu der das Eingangssignal 2 gehört.
In Schritt 230 werden anhand der Ergebnisklasse 22 Gewichte 38a-38c aus der Aggregationsschicht 37 abgerufen. Diese Gewichte werden in Schritt 240 zusammen mit den Aktivierungskarten 33a-33c der Faltungsschicht 31a-31e des neuronalen Netzwerks 3 zur Relevanzkarte 41 verarbeitet.
4 zeigt ein Anwendungsbeispiel der Vorrichtung 1 im medizinischen Bereich. Teilbilder a und c zeigen jeweils Kamerabilder 2 einer Netzhaut. Die Aufgabe ist, die Bilder dahingehend zu klassifizieren, ob eine krankhafte Veränderung (hier: diabetische Retinopathie) vorliegt.
Teilbild b ist eine Überlagerung 2+41 des Kamerabildes 2 aus Teilbild a mit der hieraus gewonnenen Relevanzkarte 41. Ebenso ist Teilbild d eine Überlagerung 2+41 des Kamerabildes 2 aus Teilbild c mit der hieraus gewonnenen Relevanzkarte 41.
Sowohl Teilbild a als auch Teilbild c zeigen jeweils eine krankhaft veränderte Netzhaut, was durch einen Arzt festgestellt wurde. Dies wurde auch vom neuronalen Netzwerk 3 so erkannt. Der Arzt hat in den Teilbildern b und d jeweils diejenigen Bereiche, auf die er seine Diagnose gestützt hat und von denen jeweils zwei mit dem Bezugszeichen 9 bezeichnet sind, markiert. Der Vergleich mit der Relevanzkarte 41 zeigt, dass in vielen dieser Bereiche 9 auch Gebiete 41a liegen, die gemäß der Relevanzkarte 41 besonders wichtig sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

GB 2454857 B [0003]

Claims

Vorrichtung (1) zur Klassifizierung eines Gewebes, insbesondere einer Netzhaut, umfassend ein künstliches neuronales Netzwerk (3) mit mindestens einer Faltungsschicht (31a-31e), wobei die Faltungsschicht (31a-31e) eine Mehrzahl von trainierbaren Faltungskernen (32a-32c) enthält und zu jedem Faltungskern (32a-32c) eine Aktivierungskarte (33a-33c) liefert, die diskreten Positionen in der Eingabe der mindestens einen Faltungsschicht (31a-31e) jeweils einen Ausgabewert zuordnet, welcher ein Maß für die lokale Übereinstimmung der Eingabe mit dem jeweiligen Faltungskern (32a-32c) ist, wobei der mindestens einen Faltungsschicht (31a-31e) mindestens eine Klassifikatorschicht (35a-35b) nachgeschaltet ist, die ihre Eingabe mittels trainierbarer Gewichte auf einen Satz Wahrscheinlichkeiten (36a-36b) dafür abbildet, dass diese Eingabe zu einer von mehreren vorgegebenen Klassen, insbesondere ob das Gewebe gesund oder krankhaft verändert ist, zugehörig ist, wobei eine Auswerteeinheit (4) vorgesehen ist, welche dazu ausgebildet ist, durch gewichtete Summation der von der mindestens einen Faltungsschicht (31a-31e) erhaltenen Aktivierungskarten (33a-33c) mit in einer Aggregationsschicht (37) hinterlegten Gewichten (38a-38c) eine Relevanzkarte (41) der Ausgabe (33a-33c) der mindestens einen Faltungsschicht (31a-31e) zu ermitteln, wobei die Relevanzkarte (41) diejenigen Stellen des Gewebes, die für die Beurteilung maßgeblich gewesen sind, aufzeigt.
Vorrichtung (1) nach Anspruch 1, wobei die Auswerteeinheit (4) mindestens eine von der Klassifikatorschicht (35a-35b) ermittelte Wahrscheinlichkeit (36a-36b) als Eingabe erhält und abhängig von dieser Wahrscheinlichkeit (36a-36b) unterschiedliche in der Aggregationsschicht (37) hinterlegte Gewichte (38a-38c) berücksichtigt.
Vorrichtung (1) nach einem der Ansprüche 1 oder 2, wobei die Aktivierungskarte (33a-33c) der mindestens einen Faltungsschicht (31a-31e) zusätzlich der Aggregationsschicht (37) geführt ist, welche des Weiteren dazu ausgebildet ist, jeder von der mindestens einen Faltungsschicht (31a-31e) erhaltenen Aktivierungskarte (33a-33c) mindestens einen Aggregationswert (37a-37c) zuzuordnen, wobei die Aggregationsschicht (37) auch als eine Klassifikatorschicht ausgebildet ist, die die Wahrscheinlichkeiten (39a-39b) für die Zugehörigkeiten zu Klassen durch Gewichtung der Aggregationswerte (37a-37c) mit trainierbaren Gewichten (38a-38c) ermittelt.
Vorrichtung (1) nach Anspruch 3, wobei die Aggregationsschicht (37) dazu ausgebildet ist, mindestens einen Aggregationswert (37a-37c) durch Summation und/oder durch Mittelwertbildung und/oder Maximalwertbildung und/oder Minimalwertbildung und/oder Varianzbildung und/oder Medianbildung und/oder Perzentilbildung über die in der Aktivierungskarte (33a-33c) enthaltenen Werte zu ermitteln.
Vorrichtung (1) nach einem der vorherigen Ansprüche, wobei die Klassifikatorschicht (35a-35b) mindestens eine vollvernetzte Schicht des künstlichen neuronalen Netzwerks (3) umfasst.
Vorrichtung (1) nach einem der vorherigen Ansprüche, wobei mindestens eine Anzeigeeinrichtung (5) vorgesehen ist, die mindestens eine von der Klassifikatorschicht (35a-35b) ermittelte Wahrscheinlichkeit (36a-36b), und/oder mindestens eine Relevanzkarte (41), als Eingabe erhält und an einen Benutzer der Vorrichtung (1) ausgibt.
Vorrichtung (1) nach einem der vorherigen Ansprüche, wobei mindestens eine Einrichtung (6) zur physikalischen Erfassung des Eingangssignals (2) mindestens einen Parameter (61) aufweist, der sich auf den Prozess der Erfassung auswirkt, und dass eine Feedback-Einrichtung (7) vorgesehen ist, die dazu ausgebildet ist, aus der Relevanzkarte (41) mindestens eine Stellgröße (42) für den Parameter (61) zu ermitteln.
Verfahren (100) zum Trainieren einer Vorrichtung (1) nach einem der vorherigen Ansprüche mit den Schritten: • eine Mehrzahl von Lern-Eingangssignalen (2) wird in das künstliche neuronale Netzwerk (3) eingegeben (110); • die zu jedem Lern-Eingangssignal (2) von der Klassifikatorschicht (35a-35b) ermittelten Wahrscheinlichkeiten (36a-36b) werden mit der bekannten Zugehörigkeit (21) der Lern-Eingangssignale (2) zu den Klassen verglichen (120); • mindestens ein trainierbarer Faltungskern (32a-32c) in mindestens einer Faltungsschicht (31a-31e) wird dahingehend angepasst (130), dass eine in dem Vergleich (120) ermittelte Abweichung (D) vermindert wird; • in der Aggregationsschicht (37) wird ein Satz Gewichte (38a-38c) hinterlegt, und die Wirkung (W) der Aggregationsschicht (37) mit diesen Gewichten (38a-38c) auf jedes Lern-Eingangssignal (2) wird mit einem Gütemaß (M) bewertet (140); • mindestens ein Gewicht (38a-38c) in der Aggregationsschicht (37) wird dahingehend angepasst (150), dass der Wert des Güßemaßes verbessert wird.
Verfahren (200) zum Betreiben einer Vorrichtung (1) nach einem der vorherigen Ansprüche mit den Schritten: • ein Eingangssignal (2) wird in das künstliche neuronale Netzwerk (3) eingegeben (210); • die Klasse, zu der die Klassifikatorschicht (35a-35b) die größte Wahrscheinlichkeit (36a-36b) ermittelt, wird als die Ergebnisklasse (22) gewertet (220), zu der das Eingangssignal (2) gehört; • anhand der Ergebnisklasse (22) werden Gewichte (38a-38c) aus der Aggregationsschicht (37) abgerufen (230), oder es werden feste Gewichte (38a-38c) verwendet; • aus den Gewichten (38a-38c) und den Aktivierungskarten (33a-33c) der Faltungsschicht (31a-31e) wird die Relevanzkarte (41) ermittelt (240).
Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem Computer ausgeführt werden, den Computer zu einer Vorrichtung (1) nach einem der Ansprüche 1 bis 7 aufwerten, und/oder dazu veranlassen, ein Verfahren (100, 200) nach einem der Ansprüche 8 oder 9 auszuführen.