-
Die vorliegende Erfindung betrifft das Training neuronaler Netzwerke, die beispielsweise für die Klassifikation von Bildern oder anderen Messdaten im Hinblick auf das Vorhandensein bestimmter Typen von Objekten genutzt werden können.
-
Stand der Technik
-
Neuronale Netzwerke, die beispielsweise Bilder oder andere Messdaten im Hinblick auf das Vorhandensein bestimmter Objekte klassifizieren, werden typischerweise überwacht auf einer großen Menge von Trainings-Beispielen trainiert, die mit Soll-Ausgaben gelabelt sind. Nach Abschluss des Trainings wird erwartet, dass das neuronale Netzwerk auch für im Training ungesehenen Bildern bzw. Messdaten die im Hinblick auf die konkrete gestellte Aufgabe richtige Ausgabe liefert.
-
Dies ist typischerweise zumindest insoweit gewährleistet, wie die im späteren Wirkbetrieb in das neuronale Netzwerk eingegebenen Messdaten zumindest der gleichen Verteilung oder Domäne angehören wie die Trainings-Beispiele. (S. Monka et al., „Learning Visual Models using a Knowledge Graph as a Trainer“, arXiv: 2102.08747v2 (2021)) offenbart ein Trainingsverfahren, bei dem zumindest ein Merkmalsextraktor des neuronalen Netzwerks auch mit Hilfe einer Repräsentation generischen Wissens aus einem Wissensgraph trainiert wird. Hierdurch generalisiert das Training besser auf Messdaten, die nicht mehr vollständig in der Verteilung bzw. Domäne der Trainings-Beispiele liegen.
-
Offenbarung der Erfindung
-
Die Erfindung stellt ein Verfahren zum Trainieren eines neuronalen Netzwerks für die Auswertung von Messdaten bereit. Dieses neuronale Netzwerk weist einen Merkmalsextraktor zur Erzeugung von Merkmalskarten aus den Messdaten auf. Messdaten, die in das neuronale Netzwerk eingegeben werden, durchlaufen somit zunächst den Merkmalsextraktor und werden zu einer Merkmalskarte verarbeitet, bevor dann im nächsten Schritt aus dieser Merkmalskarte eine Ausgabe im Hinblick auf eine vorgegebene Aufgabe (Task) ermittelt wird.
-
Der Merkmalsextraktor kann beispielsweise eine Stapelung von Faltungsschichten umfassen. In jeder dieser Faltungsschichten wird durch Anwenden eines oder mehrerer Filterkerne in einem festgelegten Raster aus der Eingabe der Faltungsschicht mindestens eine Merkmalskarte erzeugt, die in ihrer Dimensionalität gegenüber der Eingabe der Faltungsschicht reduziert ist.
-
Im Rahmen des Verfahrens werden Trainings-Beispiele bereitgestellt, die mit Soll-Ausgaben in Bezug auf eine vorgegebene Aufgabe gelabelt sind. Weiterhin wird ein generischer Wissensgraph bereitgestellt, dessen Knoten Entitäten repräsentieren und dessen Kanten Beziehungen zwischen diesen Entitäten repräsentieren. In einem gerichteten Wissensgraph kann auf diese Weise etwa kodiert sein, dass ein durch einen Knoten repräsentiertes Objekt oder eine andere Entität
- • eine bestimmte Eigenschaft hat, indem ein weiterer Knoten mit der konkreten Eigenschaft angelegt wird und von dem ursprünglichen Knoten mit einer Kante „hat Eigenschaft“ referenziert wird;
- • eine Subklasse hat, indem ein weiterer Knoten mit der konkreten Subklasse angelegt wird und mit einer Kante „ist Subklasse von“ auf den ursprünglichen Knoten verweist; und/oder
- • zu einer übergeordneten Klasse gehört, indem ein weiterer Knoten mit der konkreten übergeordneten Klasse angelegt wird und von dem ursprünglichen Knoten mit einer Kante „ist Subklasse von“ referenziert wird.
-
Beispielsweise kann ein Verkehrszeichen eine Form, eine Farbe und ein Symbol haben und in einem bestimmten Land gültig sein. Die Klasse „Verkehrszeichen“ kann beispielsweise Unterklassen für Hinweiszeichen, Gefahrzeichen, Gebotszeichen, Verbotszeichen und Vorfahrtzeichen umfassen. Umgekehrt kann die Klasse „Verkehrszeichen“ eine Unterklasse von „verkehrsrelevante Objekte“ sein.
-
Aus dem generischen Wissensgraphen wird ein Teilgraph ausgewählt, der sich auf einen Kontext für die Lösung der vorgegebenen Aufgabe bezieht. Hierbei kann der Kontext vorgegeben sein. Wie später erläutert wird, kann die Auswahl des Teilgraphen aber auch im Rahmen einer Optimierung ganz oder teilweise automatisch ablaufen.
-
Für jedes Trainings-Beispiel wird nun mit dem Merkmalsextraktor des neuronalen Netzwerks eine Merkmalskarte ermittelt. Weiterhin wird aus dem jeweiligen Trainings-Beispiel in Verbindung mit der jeweiligen Soll-Ausgabe eine Repräsentation des Teilgraphen im Raum der Merkmalskarten ermittelt. Hierbei bedeutet „im Raum der Merkmalskarten“ insbesondere, dass ein Vergleich und/oder ein Ähnlichkeits- bzw. Distanzmaß zwischen einer Repräsentation einerseits und einer Merkmalskarte andererseits erklärt ist.
-
Die Repräsentation kann insbesondere beispielsweise mit einer beliebigen „Knowledge Graph Embedding“-Methode ermittelt werden, die den Teilgraphen in eine Repräsentation überführt, die Unterschiede zwischen Entitäten in Form von Distanzen erkennen lässt. Beispielsweise kann hierfür ein „Graph Neural Network“, GNN, verwendet werden, das den Teilgraphen als Eingabe erhält. Ein solches GNN kann insbesondere beispielsweise für jeden Knoten des Teilgraphen eine Repräsentation ermitteln.
-
Aus der Merkmalskarte wird eine Ausgabe im Hinblick auf die vorgegebene Aufgabe ausgewertet. Dies kann beispielsweise mit einem ebenfalls trainierbaren Task-Kopf erfolgen. Wie später noch erläutert wird, kann jedoch speziell für die Aufgabe der Klassifikation dieser Task-Kopf auch durch eine Modellierung der Auswertung als Gauß-Prozess ersetzt werden.
-
Es wird nun mit einer vorgegebenen Kostenfunktion bewertet, inwieweit die Merkmalskarte ähnlich zu der Repräsentation des Teilgraphen ist.
-
Parameter, die das Verhalten des neuronalen Netzwerks charakterisieren, werden optimiert mit dem Ziel, dass sich bei weiterer Verarbeitung von Trainings-Beispielen die Bewertung durch die Kostenfunktion voraussichtlich verbessert. Die Parameter können insbesondere beispielsweise Gewichte umfassen, mit denen Eingaben, die einem Neuron oder einer anderen Verarbeitungseinheit des neuronalen Netzwerks zugeführt werden, gewichtet summiert werden. Weiterhin wird die Auswertung der Merkmalskarten so angepasst, dass die Ausgabe für jedes Trainings-Beispiel möglichst gut der Soll-Ausgabe für das jeweilige Trainings-Beispiel entspricht.
-
Die Änderungen der Parameter für den jeweils nächsten Lernschritt können insbesondere beispielsweise in einem Gradientenabstiegsverfahren ermittelt werden, bei dem die Bewertung durch die Kostenfunktion durch das neuronale Netzwerk zurückpropagiert und in Gradienten umgesetzt wird, entlang derer die jeweiligen Parameter im nächsten Lernschritt zu ändern sind.
-
Es wurde erkannt, dass für die Lösung einer konkreten Task häufig nur ein kleiner Teil des insgesamt im Wissensgraphen abgelegten Wissens einschlägig ist. Die Wirkung dieses kleinen Teils kann durch sehr viel weiteres Wissen, das für die konkrete Task nicht relevant ist, ganz oder teilweise überdeckt bzw. neutralisiert werden. Diese Tendenz wird durch die Vorauswahl des Teilgraphen unterdrückt.
-
Weiterhin wird durch die Fokussierung auf einen bestimmten Kontext durch die Auswahl des Teilgraphen das Auftreten von Mehrdeutigkeiten unterdrückt. Diese Mehrdeutigkeiten lassen sich anhand der menschlichen Wahrnehmung sogenannter „Kippbilder“ veranschaulichen. „Kippbilder“ werden abhängig von dem Kontext, den eine Person mit ihnen assoziiert, subjektiv mit einer von mehreren möglichen semantischen Bedeutungen wahrgenommen. Wer beispielsweise auf das Bild der Rubinschen Vase schaut und dabei an Gegenstände denkt, erkennt in dem Bild auch eine Vase. Wer das Bild hingegen mit Personen assoziiert, erkennt in dem Bild zwei sich gegenüber liegende Gesichter. Wenn nun ein sehr umfangreicher Wissensgraph in eine Repräsentation im Raum der Merkmalskarten umgewandelt wird, können hierin mehrere mögliche semantische Bedeutungen, also etwa „Vase“ und „Gesichter“, überlagert sein, was den mit der Nutzung des Wissensgraphen bezweckten Effekt verschlechtern oder gar aufheben könnte. Mit der hier vorgeschlagenen Auswahl eines Kontexts wird in derartigen Fällen genau eine semantische Bedeutung ausgewählt.
-
In einer besonders vorteilhaften Ausgestaltung umfasst das neuronale Netzwerk zusätzlich einen Task-Kopf für die Auswertung dieser Merkmalskarten im Hinblick auf die vorgegebene Aufgabe. Dieser Task-Kopf ist ebenfalls trainierbar. Das Anpassen der Auswertung der Merkmalskarten beinhaltet dann,
- • mit einer Kostenfunktion zu bewerten, wie gut die Ausgabe des Task-Kopfes für jedes Trainings-Beispiel der Soll-Ausgabe für das jeweilige Trainings-Beispiel entspricht, und
- • auch die Parameter des Task-Kopfes im Hinblick auf die Bewertung durch die Kostenfunktion zu optimieren.
-
Beispielsweise kann eine Kostenfunktion mit zwei Beiträgen verwendet werden. Ein erster Beitrag bezieht sich auf die Ähnlichkeit zwischen der Merkmalskarte und der Repräsentation des Teilgraphen, und ein zweiter Beitrag bezieht sich auf die Übereinstimmung der Ausgabe mit der Soll-Ausgabe. Beim Optimieren der Parameter, beispielsweise über Gradientenabstieg, wird dann der erste Beitrag nur auf die Parameter des Merkmalsextraktors wirken, da diese Ähnlichkeit nicht vom Verhalten des Task-Kopfes abhängt. Hingegen kann der zweite Beitrag sehr wohl sowohl auf Parameter des Task-Kopfes als auch auf Parameter des Merkmalsextraktors wirken, da die Merkmalskarte die Grundlage für die Arbeit des Task-Kopfes bildet.
-
Der Task-Kopf kann aber auch beispielsweise nach der Optimierung im Hinblick auf die Ähnlichkeit zwischen der Merkmalskarte und der Repräsentation des Teilgraphen separat mit einer eigenen Kostenfunktion trainiert werden, während die Parameter, die das Verhalten des Merkmalsextraktors charakterisieren, eingefroren sind.
-
Der Task-Kopf kann insbesondere beispielsweise eine vollvernetzte Schicht umfassen, die Zugriff auf die komplette zuletzt berechnete Merkmalskarte hat und diese Merkmalskarte zu der gesuchten Ausgabe verdichtet.
-
In einer besonders vorteilhaften Ausgestaltung wird die Ähnlichkeit der Merkmalskarte zu der Repräsentation des Teilgraphen ins Verhältnis gesetzt zur Ähnlichkeit der Repräsentation des Teilgraphen zu Merkmalskarten, die für andere Trainings-Beispiele mit anderen Soll-Ausgaben ermittelt wurden. Die Bewertung durch die Kostenfunktion ist also umso besser,
- • je ähnlicher die aus dem jeweiligen Trainings-Beispiel ermittelte Merkmalskarte zu der auf der Basis dieses Trainings-Beispiels ermittelten Repräsentation des Teilgraphen ist („positive Beispiele“) und
- • je unähnlicher die Repräsentation des Teilgraphen zu den Merkmalskarten ist, die für andere Trainings-Beispiele mit anderen Soll-Ausgaben ermittelt wurden („negative Beispiele“).
-
Der Beitrag zur Kostenfunktion (auch Loss-Funktion genannt), der sich auf die Ähnlichkeit zur Repräsentation des Teilgraphen bezieht, wird damit also zu einem „kontrastiven Loss“, der im weitesten Sinne mit einem Signal-Rausch-Abstand in der Nachrichtentechnik vergleichbar ist. Die Ähnlichkeiten bzw. Unähnlichkeiten können mit jedem geeigneten Ähnlichkeitsmaß, wie beispielsweise mit der Kosinus-Ähnlichkeit, gemessen werden.
-
Die Soll-Ausgaben können insbesondere beispielsweise Klassifikations-Scores in Bezug auf eine oder mehrere Klassen einer vorgegebenen Klassifikation der Messdaten umfassen. Das neuronale Netzwerk kann also als Klassifikator für die Messdaten ausgebildet sein. Hierbei können Klassen insbesondere beispielsweise Typen von Objekten repräsentieren, deren Vorhandensein in einem bei der Aufnahme der Messdaten überwachten Bereich die Messdaten anzeigen. Gerade in derartigen Anwendung ist das Auflösen von Mehrdeutigkeiten besonders vorteilhaft.
-
Hierbei können insbesondere beispielsweise Fahrzeuge, Verkehrszeichen, Fahrbahnmarkierungen, Verkehrshindernisse und/oder andere verkehrsrelevante Objekte im Umfeld eines Fahrzeugs als Typen von Objekten gewählt werden.
-
Gerade bei diesen Typen von Objekten ist die durch die Nutzung des Wissensgraphen beabsichtigte Generalisierung auf eine Verteilung bzw. Domäne, die von der Verteilung bzw. Domäne der Trainings-Beispiele abweicht, besonders wichtig. So sehen beispielsweise Verkehrszeichen mit der gleichen semantischen Bedeutung in anderen Ländern etwas anders aus. So bestehen beispielsweise Gefahrzeichen in den meisten Ländern in Europas aus einem roten Dreieck, das eine weiße Fläche einschließt, auf der sich ein Symbol befindet. Verschiedene Länder setzen unterschiedliche Rottöne für das Dreieck ein oder zeichnen das Symbol leicht anders. Finnland und Griechenland verwenden darüber hinaus eine gelbe Fläche statt einer weißen Fläche innerhalb des roten Dreiecks.
-
Zugleich ist gerade bei Verkehrszeichen und anderen verkehrsrelevanten Objekten die Eindeutigkeit der Erkennung wichtig, die durch die Fokussierung auf einen bestimmten Kontext verbessert wird.
-
In einer weiteren vorteilhaften Ausgestaltung beinhaltet das Auswerten der Merkmalskarten beinhaltet, die Merkmalskarten mit einem Gaußschen Prozess Klassen zuzuordnen. Das Anpassen dieser Auswertung beinhaltet dann,
- • Merkmalskarten für alle Trainings-Beispiele zu ermitteln und
- • anhand der jeweiligen Soll-Ausgaben Entscheidungsgrenzen zwischen Klassen im Raum der Merkmalskarten festzulegen.
-
Insbesondere können aus der Gesamtheit aller Merkmalskarten für jede einzelne Klasse jeweils Mittelwert- und Kovarianzmatrizen ermittelt werden. Hieraus können dann die Entscheidungsgrenzen zwischen Klassen festgelegt werden.
-
Wenn dem trainierten neuronalen Netzwerk im späteren Wirkbetrieb Messdaten zugeführt werden, werden diese Messdaten zunächst mit dem Merkmalsextraktor zu einer Merkmalskarte verarbeitet. Dieser Merkmalskarte weist der Gaußsche Prozess dann für jede Klasse eine Wahrscheinlichkeiten zu, dass die Merkmalskarte zu dieser Klasse gehört. Die Klasse mit der maximalen Wahrscheinlichkeit kann dann als finale Entscheidung des Klassifikators gewertet werden.
-
Die Verwendung eines Gaußschen Prozesses an Stelle eines Task-Kopfes für die Zuordnung der Merkmalskarte zu einer Klasse hat den Vorteil, dass Wechselwirkungen zwischen dem Training des Merkmalsextraktors einerseits und dem Training des Task-Kopfes andererseits vermieden werden. Derartige Wechselwirkungen könnten das Training des Merkmalsextraktors mit Hilfe des Teilgraphen stören, da das Training des Task-Kopfes nicht von der Nutzung des Teilgraphen profitieren kann.
-
Als Messdaten können insbesondere beispielsweise Bilder, Audiosignale, Zeitreihen von Messwerten, Radar-Daten und/oder Lidar-Daten gewählt werden. Gerade diese Datenarten sind sehr vielschichtig in dem Sinne, dass sie Aussagen in Bezug auf viele Aspekte enthalten können. Durch die Wahl des Teilgraphen kann der zu untersuchende Aspekt ausgewählt werden. Der Teilgraph kann sich insbesondere beispielsweise auf einen visuellen, taxonomischen oder funktionalen Kontext der Messdaten beziehen.
-
Der visuelle Kontext beschreibt abstrakte visuelle Eigenschaften von Objekten, wie beispielsweise Farbe, Form oder Textur. Diese Eigenschaften können in einem vorgegebenen Satz von Trainings-Beispielen vorhanden sein oder nicht. Durch die Nutzung des Teilgraphen kann insoweit das in den Trainings-Beispielen vorteilhaft erweitert werden. Wenn beispielsweise der Datensatz von Trainings-Beispielen lediglich Bilder enthält, in denen eventuell vorhandene Pferde weiß sind, kann über den Teilgraphen dem Merkmalsextraktor die zusätzliche Information vermittelt werden, dass Pferde auch andere Farben haben können.
-
Der taxonomische Kontext beschreibt Beziehungen zwischen Klassen auf der Basis von Hierarchien. Mit einer Taxonomie kann insbesondere beispielsweise externes Vorwissen berücksichtigt werden. So gibt es beispielsweise eine Taxonomie der Verkehrszeichen dahingehend, dass das Verkehrszeichen eine Information, eine Warnung, eine Vorschrift, ein Gebot oder ein Verbot anzeigen kann. In dieser Taxonomie steckt somit ein wichtiger Anteil der semantischen Bedeutung des Verkehrszeichens, die beispielsweise für das automatisierte Führen von Fahrzeugen benötigt wird.
-
Der funktionale Kontext enthält Eigenschaften, die die Funktion eines Objekts beschreiben. So können beispielsweise Werkzeuge danach kategorisiert werden, ob man mit ihnen schrauben, sägen oder bohren kann.
-
In einer weiteren besonders vorteilhaften Ausgestaltung wird auch die Auswahl des Teilgraphen in die Optimierung in Bezug auf die Bewertung durch die Kostenfunktion einbezogen. Es kann also beispielsweise derjenige Teilgraph ermittelt werden, für den sich die beste Übereinstimmung der Repräsentation dieses Teilgraphen mit aus Trainings-Beispielen erzeugten Merkmalskarten erzielen lässt. Beispielsweise kann eine Vielzahl von Kandidaten-Teilgraphen aufgestellt werden, und für jeden dieser Kandidaten-Teilgraphen kann das Training des neuronalen Netzwerks durchgeführt werden. Es kann dann beispielsweise derjenige Kandidaten-Teilgraph final ausgewählt werden, für den sich der beste Wert der Kostenfunktion erzielen lässt. Das Aufstellen der Kandidaten-Teilgraphen kann insbesondere beispielsweise beinhalten, einen Suchraum von Teilgraphen systematisch zu durchsuchen, und/oder Kandidaten-Teilgraphen anhand einer Heuristik zu ermitteln. Insbesondere kann unter Berücksichtigung von Vorwissen über den Inhalt des Wissensgraphen der Suchraum eingegrenzt werden, und/oder dieses Vorwissen kann in die Heuristik eingehen.
-
In einer weiteren vorteilhaften Ausgestaltung die Repräsentation des Teilgraphen im Raum der Merkmalskarten anhand des Trainings-Beispiels und der Soll-Ausgabe aus einer vorab berechneten Lookup-Tabelle abgerufen. Der Aufwand für die Berechnung der Repräsentation des Teilgraphen kann also vorverlagert werden.
-
In einer weiteren vorteilhaften Ausgestaltung wird ein weiteres Machine Learning-Modell zur Erzeugung der Repräsentation des Teilgraphen im Raum der Merkmalskarten gemeinsam mit dem neuronalen Netzwerk trainiert. Beispielsweise kann hierfür ein Graph Neural Network, GNN, genutzt werden, das den Teilgraphen, oder auch schon den generischen Wissensgraphen, als Eingabe erhält. Der Merkmalsextraktor einerseits und die Erzeugung der Repräsentation des Teilgraphen andererseits können dann gleichermaßen dazu beitragen, die Ähnlichkeit der Merkmalskarte mit der Repräsentation des Teilgraphen zu maximieren.
-
In einer weiteren vorteilhaften Ausgestaltung werden dem trainierten neuronalen Netzwerk Messdaten zugeführt. Aus den Ausgaben des neuronalen Netzwerks wird ein Ansteuersignal gebildet. Ein Fahrzeug, ein Fahrassistenzsystem, ein System zur Qualitätskontrolle, ein System zur Überwachung von Bereichen, und/oder ein System zur medizinischen Bildgebung, wird mit diesem Ansteuersignal angesteuert. Auf Grund der besseren Fähigkeit des neuronalen Netzwerks, über die beim Training verwendeten Trainings-Beispiele hinaus zu generalisieren, ist dann die Wahrscheinlichkeit erhöht, dass die Reaktion des jeweils angesteuerten Systems der mit den Messdaten erfassten Situation angemessen ist.
-
Das Verfahren kann insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern und/oder Compute-Instanzen ausgeführt werden, den oder die Computer und/oder Compute-Instanzen dazu veranlassen, das beschriebene Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen. Beispiele für Compute-Instanzen sind virtuelle Maschinen, Container oder serverlose Ausführungsumgebungen für die Ausführung maschinenlesbarer Anweisungen in einer Cloud.
-
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
-
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
-
Ausführungsbeispiele
-
Es zeigt:
- 1 Ausführungsbeispiel des Verfahrens 100 zum Trainieren eines neuronalen Netzwerks 1;
- 2 Veranschaulichung der Berücksichtigung verschiedener Kontexte über Teilgraphen 43 eines generischen Wissensgraphen 4.
-
1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens zum Trainieren eines neuronalen Netzwerks 1. Dieses neuronale Netzwerk 1 weist einen Merkmalsextraktor 11 zur Erzeugung von Merkmalskarten 2a aus den Messdaten 2 auf.
-
In Schritt 110 werden Trainings-Beispiele 2a bereitgestellt. Diese Trainings-Beispiele 2a sind mit Soll-Ausgaben 3a in Bezug auf eine vorgegebene Aufgabe gelabelt.
-
In Schritt 120 wird ein generischer Wissensgraph 4 bereitgestellt, dessen Knoten 41 Entitäten repräsentieren und dessen Kanten 42 Beziehungen zwischen diesen Entitäten repräsentieren. Beispielsweise kann ein Objekt als erste Entität 41 über eine Beziehung „hat/ist“ als Kante 42 mit einer Eigenschaft als zweite Entität 41 verbunden sein.
-
In Schritt 130 wird aus dem generischen Wissensgraphen 4 ein Teilgraph 43 ausgewählt, der sich auf einen Kontext für die Lösung der vorgegebenen Aufgabe bezieht.
-
In Schritt 140 wird für jedes Trainings-Beispiel 2a mit dem Merkmalsextraktor 11 des neuronalen Netzwerks eine Merkmalskarte 2b ermittelt.
-
In Schritt 150 wird aus dem jeweiligen Trainings-Beispiel 2a in Verbindung mit der jeweiligen Soll-Ausgabe 3a eine Repräsentation 43a des Teilgraphen 43 im Raum der Merkmalskarten 2b ermittelt.
-
Gemäß Block 151 kann die Repräsentation 43a des Teilgraphen 43 im Raum der Merkmalskarten 2b anhand des Trainings-Beispiels 2a und der Soll-Ausgabe 3a aus einer vorab berechneten Lookup-Tabelle abgerufen werden.
-
Gemäß Block 152 kann ein weiteres Machine Learning-Modell zur Erzeugung der Repräsentation 43a des Teilgraphen 43 im Raum der Merkmalskarten 2b gemeinsam mit dem neuronalen Netzwerk 1 trainiert werden.
-
In Schritt 160 wird aus der Merkmalskarte 2b eine Ausgabe 3 im Hinblick auf die vorgegebene Aufgabe ausgewertet.
-
Gemäß Block 161 kann die Ausgabe 3 mit einem zusätzlichen Task-Kopf 12 des neuronalen Netzwerks 1 aus der Merkmalskarte 2b ausgewertet werden.
-
Gemäß Block 162 kann das Auswerten der Merkmalskarten 2b beinhalten, die Merkmalskarten 2b mit einem Gaußschen Prozess Klassen als Ausgabe 3 zuzuordnen.
-
In Schritt 170 wird mit einer vorgegebenen Kostenfunktion 5 bewertet, inwieweit die Merkmalskarte 2b ähnlich zu der Repräsentation 43a des Teilgraphen 43 ist. Die Kostenfunktion 5 gibt eine Bewertung 5a ab.
-
Gemäß Block 171 kann die Ähnlichkeit der Merkmalskarte 2b zu der Repräsentation 43a des Teilgraphen 43 ins Verhältnis gesetzt werden zur Ähnlichkeit der Repräsentation 43a des Teilgraphen 43 zu Merkmalskarten 2b' die für andere Trainings-Beispiele 2a' mit anderen Soll-Ausgaben 3a' ermittelt wurden.
-
In Schritt 180 werden Parameter 1a, 11a, die das Verhalten des neuronalen Netzwerks 1 (und hier insbesondere des Merkmalsextraktors 11 charakterisieren, optimiert mit dem Ziel, dass sich bei weiterer Verarbeitung von Trainings-Beispielen 2a die Bewertung 5a durch die Kostenfunktion 5 voraussichtlich verbessert. Der fertig trainierte Zustand der Parameter 1a, 11a ist mit dem Bezugszeichen 1a*, 11a* bezeichnet.
-
Gemäß Block 181 kann auch die Auswahl des Teilgraphen 43 in die Optimierung in Bezug auf die Bewertung 5a durch die Kostenfunktion 5 einbezogen werden.
-
In Schritt 190 wird die Auswertung der Merkmalskarten 2b so angepasst, dass die Ausgabe 3 für jedes Trainings-Beispiel 2a möglichst gut der Soll-Ausgabe 3a für das jeweilige Trainings-Beispiel 2a entspricht.
-
Wenn die Merkmalskarten 2b gemäß Block 161 mit einem Task-Kopf 12 ausgewertet werden, kann gemäß Block 191 mit einer Kostenfunktion 5, 5' bewertet werden, wie gut die Ausgabe 3 des Task-Kopfes 12 für jedes Trainings-Beispiel der Soll-Ausgabe 3a für das jeweilige Trainings-Beispiel 2a entspricht. Es können dann gemäß Block 192 die Parameter 1a, 12a des Task-Kopfes 12 im Hinblick auf die Bewertung 5a, 5a' durch die Kostenfunktion 5, 5' optimiert werden. Dieses Training kann gleichzeitig mit dem Training des Merkmalsextraktors 11 erfolgen oder auch erst nach Abschluss des Trainings des Merkmalsextraktors 11.
-
Wenn die Merkmalskarten 2b gemäß Block 162 mit einem Gaußschen Prozess ausgewertet werden, können gemäß Block 193 Merkmalskarten 2b für alle Trainings-Beispiele 2a ermittelt werden. Gemäß Block 194 können dann anhand der jeweiligen Soll-Ausgaben 3a Entscheidungsgrenzen zwischen Klassen im Raum der Merkmalskarten 2b festgelegt werden.
-
In dem in 1 gezeigten Beispiel werden in Schritt 200 dem trainierten neuronalen Netzwerk 1 Messdaten 2 zugeführt, so dass das trainierte neuronale Netzwerk 1 Ausgaben 3 erzeugt.
-
In Schritt 210 wird aus den Ausgaben 3 des neuronalen Netzwerks 1 ein Ansteuersignal 210a gebildet.
-
In Schritt 220 wird ein Fahrzeug 50, ein Fahrassistenzsystem 60, ein System 70 zur Qualitätskontrolle, ein System 80 zur Überwachung von Bereichen, und/oder ein System 90 zur medizinischen Bildgebung, mit dem Ansteuersignal 210a angesteuert.
-
2 veranschaulicht, wie für das Training des neuronalen Netzwerks 1 verschiedene Kontexte über Teilgraphen 43 eines generischen Wissensgraphen 4 berücksichtigt werden können.
-
Der erste Teilgraph 43 repräsentiert einen visuellen Kontext und hat eine beispielhafte Repräsentation 43a im Raum der Merkmalskarten 2b. Der zweite Teilgraph 43' repräsentiert einen taxonomischen Kontext und hat eine beispielhafte Repräsentation 43a' im Raum der Merkmalskarten 2b. Der dritte Teilgraph 43" repräsentiert einen taxonomischen Kontext und hat eine beispielhafte Repräsentation 43a'' im Raum der Merkmalskarten 2b.
-
Je nachdem, welcher Kontext gewählt wird, wird zu einem gegebenen Trainings-Beispiel 2a mit Soll-Ausgabe 3a die Repräsentation 43a, 43a' bzw. 43a'' des jeweiligen Teilgraphen 43, 43' bzw. 43" mit der Merkmalskarte 2b des Trainings-Beispiels 2a verglichen und die Ähnlichkeit bewertet.
