-
Die vorliegende Erfindung betrifft ein Verfahren und ein System zur Bereitstellung von wenigstens einer Diagnoseinformation bei einer Anwendung eines künstlichen neuronalen Netzes bei einem Fahrzeug.
-
Künstliche neuronale Netze können einen wichtigen Beitrag für die Funktionen von autonomen Fahrzeugen leisten. Insbesondere für Funktionen wie Erkennungs- und Entscheidungsaufgaben (z.B. Fußgängererkennung, Fahrbahnzustandserkennung, Bahnplanung) sind viele sinnvolle Anwendungen denkbar. Hierfür werden neuronale Netze mit Lerndaten trainiert und können das Gelernte in der Anwendung dann auf neue Eingaben übertragen.
-
Für die Anwendung in sicherheitsrelevanten Systemen, wie sie für das autonome Fahren notwendig sind, ist allerdings oft noch das Ergebnis wie die Klassifikation nicht ausreichend nachvollziehbar. Wie angelernte Neuronale Netze zu ihrem Klassifikationsergebnis kommen, welche Lerndaten dafür relevant waren und wie das Training dafür ablief, kann rückblickend häufig nicht beantwortet werden.
-
Herkömmliche Verfahren und ggf. Möglichkeiten zur Rückverfolgung eines Pfads durch ein neuronales Netz sind aus den Schriften
EP 3 474 192 A1 ,
US 2019/0164057 A1 und
WO 2016/150472 A1 bekannt.
-
Es ist eine Aufgabe der vorliegenden Erfindung, die voranstehend beschriebenen Nachteile zumindest teilweise zu beheben. Insbesondere ist es eine Aufgabe, eine verbesserte Lösung zur Nachvollziehbarkeit der Klassifikation und/oder des Trainings von neuronalen Netzen vorzuschlagen.
-
Die voranstehende Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1 und durch ein System mit den Merkmalen des Anspruchs 9. Weitere Merkmale und Details der Erfindung ergeben sich aus den jeweiligen Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit dem erfindungsgemäßen System, und jeweils umgekehrt, so dass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird bzw. werden kann.
-
Die Aufgabe wird insbesondere gelöst durch ein (insbesondere computerimplementiertes) Verfahren zur Bereitstellung von wenigstens einer (insbesondere nicht-flüchtigen bzw. nichttransienten) Diagnoseinformation bei einer Anwendung eines künstlichen neuronalen Netzes (kurz auch als KNN oder Netz bezeichnet), insbesondere bei einem Fahrzeug, vorzugsweise in einem Fahrzeug, bevorzugt zur Steuerung des Fahrzeuges. Hierbei ist vorteilhafterweise vorgesehen, dass das Netz für die Anwendung mehrere Verbindungen von Neuronen umfasst, wobei die Verbindung jeweils ein Gewicht aufweisen können. Die Funktion des KNN kann durch diese Gewichte und/oder Aktivierungsfunktionen der Neuronen bereitgestellt sein. Die Neuronen können in verschiedene Schichten untergegliedert sein, bspw. eine Ein- und Ausgabeschicht. Die Neuronen und Verbindungen können dazu ausgeführt sein, bei der Anwendung anhand einer Eingabe des Netzes eine Ausgabe zu erzeugen, wobei vorzugsweise die Eingabe an die Eingabeschicht übergeben werden kann, und die Ausgabe von der Ausgabeschicht erhalten wird.
-
Das Fahrzeug kann als ein Kraftfahrzeug, insbesondere Personenkraftfahrzeug oder Lastkraftfahrzeug, und/oder als ein autonomes Fahrzeug ausgebildet sein. Das Fahrzeug bzw. autonome Fahrzeug kann wenigstens eine Fahrzeugfunktion aufweisen, um ein zumindest teilweise autonomes Fahren zu ermöglichen.
-
Es ist denkbar, dass die nachfolgenden Schritte durchgeführt werden, vorzugsweise nacheinander oder in beliebiger Reihenfolge, wobei die Schritte zumindest teilweise, insbesondere die Durchführung der Überwachung und die Durchführung der Zuordnung, für verschiedene Anwendungen des KNN wiederholt werden können:
- - Bereitstellen wenigstens einer (insbesondere digitalen) Verknüpfungsinformation über eine Verknüpfung der jeweiligen Verbindungen mit Trainingsdaten des Netzes,
- - Durchführen einer Überwachung des Netzes, insbesondere der Anwendung des Netzes und/oder einer Ausgabe von Aktivierungsfunktionen des Netzes, um wenigstens eine (oder sämtliche) bei der Anwendung aktivierte Verbindung(en) der Verbindungen des Netzes zu ermitteln,
- - Durchführen einer Zuordnung der wenigstens einen aktivierten Verbindung zu den Trainingsdaten anhand der Verknüpfungsinformation, insbesondere mittels der Verknüpfungen, um die Diagnoseinformation zu erhalten, bevorzugt um anhand der Diagnoseinformation die Anwendung des Netzes zu diagnostizieren und/oder nachvollziehbar zu machen, sodass die Diagnoseinformation spezifisch für die Anwendung und insbesondere die Steuerung des Fahrzeuges sein kann.
-
In anderen Worten kann eine Verknüpfung der Verbindungen des Netzes mit Trainingsdaten bereitgestellt sein, wobei die Trainingsdaten zuvor zum Training (auch als „Anlernen“ bezeichnet) des neuronalen Netzes verwendet wurden. Hierzu kann bei der Überwachung eine Auswertung erfolgen, welche Verbindungen bzw. Gewichte bei der Anwendung aktiviert werden. Die aktivierten Verbindungen wurden beim Training durch bestimmte Trainingsdaten vorrangig beeinflusst. Daher wird durch die Verknüpfungsinformation eine Information angegeben, welche Trainingsdaten die entsprechenden Verbindungen geprägt haben. Dies ermöglicht, nicht nur die aktivierten Verbindungen festzustellen, sondern auch die dafür relevanten Trainingsdaten in der Diagnoseinformation zu protokollieren. Anhand der Diagnoseinformation kann auf diese Weise bspw. auch eine Information über einen Fehler bei der Anwendung und insbesondere bei der daraus resultierenden Steuerung des Fahrzeuges gespeichert sein.
-
Das erfindungsgemäße Verfahren kann den Vorteil erzielen, dass zu einem Ergebnis der Anwendung des Netzes, also bspw. zu jeder Entscheidung bzw. Klassifikation, die das Netz aufgrund einer Eingabe durchführt, zusätzliche Diagnoseinformationen (Diagnosedaten) bereitgestellt werden können. Die wenigstens eine Diagnoseinformation kann z. B. einen Pfad durch die Neuronen (bzw. Verbindungen) des Netzes umfassen, welcher am meisten dazu beigetragen hat, dass das Ergebnis (z. B. die Klassifikation), so wie das Geschehen, erfolgt ist. Alternativ oder zusätzlich kann die wenigstens eine Diagnoseinformation die Menge der Trainingsdaten (auch als Lerndaten bezeichnet) umfassen, die dafür verantwortlich waren, dass genau dieser Pfad durch die Neuronen eingeschlagen wurde. Dafür ist es nicht notwendig, dass die Diagnoseinformation die Trainingsdaten selbst (inhaltlich) umfasst - es genügt, wenn die Diagnoseinformationen einen Verweis auf diese Trainingsdaten aufweist. Dieser Verweis ist bspw. eine Kennung, durch welche die Trainingsdaten identifizierbar sind. Die Trainingsdaten selbst können z. B. auf einer zentralen Datenverarbeitungsanalage, d. h. auch außerhalb des Systems, welches das erfindungsgemäße Verfahren ausführt, gespeichert sein.
-
Die Erfindung kann insbesondere die Klassifikation durch das KNN und/oder das Training transparenter und nachvollziehbarer machen. Damit kann die Erfindung dazu beitragen, dass belegt werden kann, dass das System korrekt entwickelt wurde, korrekt und zuverlässig arbeitet und somit einsatztauglich ist. Insbesondere kann sich aus dem Einsatz des Verfahrens ergeben, dass nachweisbar ist, wie das angelernte KNN zu einem Klassifikationsergebnis gekommen ist und welche Lerndaten dafür relevant waren. Auch wenn grundsätzlich der Einsatz von bspw. Heatmaps bekannt ist, kann durch die Erfindung in neuartiger Weise eine Rückführung der getroffenen Entscheidungen des KNN auf Lerndaten und/oder den Trainingsprozess bereitgestellt werden.
-
Zudem ist im Rahmen der Erfindung denkbar, dass bei dem Durchführen der Überwachung ein Pfad der aktivierten Verbindungen des Netzes ermittelt wird, welcher für ein Ergebnis der Anwendung des Netzes spezifisch ist. Der Pfad ist insbesondere dadurch für das Ergebnis spezifisch, da die Aktivierung der Verbindungen zu genau diesem Ergebnis geführt hat. Der Pfad kann bspw. ein Pfad durch die aktivierten Neuronen sein. Zur Ermittlung des Pfades werden bspw. die aktivierten Verbindungen (rückwärts, also von der Ausgabe bis zur Eingabe des Netzes) zurückverfolgt, sodass der Pfad nur durch aktivierte Verbindungen bzw. Neuronen führt.
-
Über den ermittelten Pfad durch die Neuronen kann vorteilhafterweise eine Menge der aktivierten Verbindungen zwischen den Neuronen ermittelt werden, welche für das Ergebnis der Anwendung spezifisch sind. Damit können die Pfade die einzelne Anwendung charakterisieren, welche zu einem konkreten Ergebnis geführt hat. Hierzu können bspw. Heatmaps verwendet werden, um die aktivierten Verbindungen zu zeigen. Zu diesem Zweck können auch bekannte Methoden eingesetzt werden, wie eine „Layerwise Relevance Propagation“ oder eine „Backpropagation“. Eine einfach umzusetzende Methode kann grundsätzlich auch das Protokollieren der Ausgaben der Aktivierungsfunktionen des Netzes bei einer konkreten Anwendung sein.
-
Es kann von Vorteil sein, wenn im Rahmen der Erfindung die wenigstens eine Verknüpfungsinformation dadurch für die Verknüpfung mit den Trainingsdaten spezifisch ist, dass den (insbesondere sämtlichen) Verbindungen des Netzes jeweils wenigstens ein Verweis auf einzelne Trainingsdaten zugeordnet ist. Jede Verbindung kann somit einen oder mehrere verschiedene Verweis(e) zu denjenigen Trainingsdaten aufweisen, durch welche die Verbindung geprägt wurde, d. h. insbesondere das Gewicht der Verbindung beeinflusst wurde. Für diese Aussage, welcher Grad der Gewichtung als Beeinflussung gewertet wird, kann bspw. ein Vergleich der Gewichtung mit einem Schwellenwert beim Training erfolgen, und die entsprechenden Trainingsdaten protokolliert werden, die zu dieser Gewichtung über dem Schwellenwert geführt haben. Alternativ kann die Vorgabe der prägenden Trainingsdaten zu den Verbindungen und damit die Erstellung der Verknüpfungsinformation auch manuell erfolgen, z. B. anhand einer visuellen Untersuchung einer Heatmap.
-
Des Weiteren ist es denkbar, dass bei dem Durchführen der Zuordnung die Diagnoseinformation dadurch erhalten wird, dass wenigstens ein Pfad der aktivierten Verbindungen und/oder wenigstens ein den aktivierten Verbindungen des Pfades gemeinsam zugeordneter Verweis in der Diagnoseinformation hinterlegt wird, z. B. nicht-flüchtig gespeichert wird. Unter „gemeinsam zugeordnet“ wird insbesondere verstanden, dass jede der aktivierten Verbindungen des Pfades diesen Verweis aufweist, also eine Schnittmenge der den aktivierten Verbindungen des Pfades zugeordneten Verweise. Es handelt sich z. B. bei dem jeweiligen Verweis um einen Verweis auf einen konkreten (für die Verbindungen prägenden) Trainingsdatensatz. Wenn durch die bereitgestellte Verknüpfungsinformation für jede der aktivierten Verbindungen des Pfades die Menge der prägenden Lerndaten zur Verfügung steht, kann in anderen Worten über die Schnittmenge aller einzelnen Lerndatenmengen diejenige Lerndatenmenge ermittelt werden, welche für das aktuelle Ergebnis der Anwendung, also bspw. die aktuelle Klassifikation relevant war.
-
Beispielsweise erfolgt die Anwendung des Netzes dadurch, dass eine Eingabe wie ein Bild an eine Eingabeschicht des Netzes übergeben wird, dann von einem Netzwerk von Neuronen ausgewertet wird (z. B. über jeweilige Gewichtungen der Verbindungen der Neuronen und den jeweiligen Aktivierungsfunktionen wie einer Sigmoid-Funktion), und anschließend als die Ausgabe eine Klassifikation ausgegeben wird. Jeder diese Anwendung kann durch die Menge der aktivierten Verbindungen charakterisiert werden. Ferner kann anhand der aktivierten Verbindungen auch ein Pfad durch die Neuronen nachvollzogen werden, welcher durch zusammenhängende aktivierte Verbindungen gebildet wird. Jeder der Verbindungen kann Teilmengen von Trainingsdaten zugeordnet sein. Es kann zur Bestimmung der Diagnoseinformation eine Schnittmenge der den aktivierten Verbindungen des Pfades zugeordneten Trainingsdaten bzw. derer Zuordnung oder Verweise gebildet werden. Konkret können darunter die nicht Trainingsdaten selbst verstanden werden, sondern nur Zuordnungen bzw. Verweise zu den tatsächlichen Trainingsdaten wie Kennungen.
-
In einer weiteren Möglichkeit kann vorgesehen sein, dass bei dem Durchführen der Überwachung ein Pfad der aktivierten Verbindungen dadurch ermittelt wird, dass ausgehend von einem Ergebnis der Anwendung des Netzes (wie einer Klassifikation eines Bildes) der Pfad durch ein aktives Neuron einer Ausgabeschicht des Netzes über weitere (insbesondere die am meisten aktiven) Neurone des Netzes bis zu einer Eingabeschicht des Netzes zurückverfolgt wird, wobei vorzugsweise die am meisten aktiven Neuronen durch einen Vergleich der Anzahl der Aktivierungen mit einem vordefinierten Schwellenwert bestimmt werden.
-
Zur Ausführung des erfindungsgemäßen Verfahrens kann das neuronale Netz mit einem Analyseprogramm ausgeführt sein, welches die Schritte der Überwachung und/oder der Zuordnung und/oder des Bereitstellens durchführt. Das Analyseprogramm kann z. B. in der Form eines Computerprogramms vorliegen und/oder von der letztendlich erfolgten Klassifikation durch das aktive Neuron der Ausgabeschicht über die am meisten aktiven Neuronen den Pfad bis zur Eingabeschicht zurückverfolgen und diesen Pfad speichern. Das Analyseprogramm dient dann konkret zur Rückverfolgung des relevanten Pfads über die Neuronen durch die verschiedenen Schichten des Netzes.
-
Vorteilhafterweise kann im Rahmen der Erfindung vorgesehen sein, dass das Bereitstellen der wenigstens einen Verknüpfungsinformation dadurch erfolgt, dass eine, insbesondere elektronische und/oder digitale, Datenbank bereitgestellt wird, welche für die Verbindungen jeweils (zur Verknüpfung) zumindest einen Verweis auf solche der Trainingsdaten umfasst, welche bei einem Training des Netzes die Ausprägung dieser Verbindung, insbesondere des Gewichtes der Verbindung, beeinflusst hat. Solche Trainingsdaten werden nachfolgend auch als „prägend“ für die Verbindung bezeichnet. Um eine derartige Beeinflussung beim Training festzustellen, können während des Trainings den Verbindungen (insbesondere auch durch einen Vergleich derer Gewichtung mit einer Schwelle) die Trainingsdaten zugewiesen werden, wenn diese zur Aktivierung der Verbindungen zwischen Neuronen führen. Beispielsweise werden die Trainingsdaten dann als prägend aufgefasst, wenn die Gewichtung einen Schwellenwert überschreitet. Auf diese Weise kann beim Training des Netzes für jede Verbindung zwischen zwei Neuronen gespeichert werden, welche Lerndaten auf die Ausprägung, insbesondere die Gewichte der Verbindungen zwischen den Neuronen, Einfluss gehabt haben.
-
Ein weiterer Vorteil kann im Rahmen der Erfindung erzielt werden, wenn die Diagnoseinformation als eine Dokumentation über die Anwendung des Netzes nicht-flüchtig gespeichert wird, insbesondere in einem Datenspeicher des Fahrzeuges. Dies ermöglicht es, die Funktion des neuronalen Netzes „offline“ auszuwerten. Insbesondere die Ermittlung eines Pfads der aktivierten Verbindungen, d. h. durch die aktiven Neuronen, ermöglicht ein Füllen der zusätzlichen (ggf. durch das neuronale Netz selbst auszugebenden) Diagnoseinformationen. Über eine genaue Dokumentation des Trainings in Zusammenhang mit den ermittelten relevanten Lerndaten kann schließlich offline, also außerhalb der Anwendung des neuronalen Netzes oder sogar außerhalb des Fahrzeuges, eine genaue Aussage getroffen werden, wie das Training mit welchen Lerndaten zu den Ergebnissen führt. Darüber können beim Test und im Betrieb des Netzes der Nachweis und die Dokumentation erbracht werden, dass das Netz wie spezifiziert und erwartet funktioniert. Ein Einsatz in sicherheitsrelevanten Anwendungen ist denkbar.
-
Von weiterem Vorteil kann vorgesehen sein, dass die Diagnoseinformation über ein Netzwerk an eine zentrale Datenverarbeitungsanlage außerhalb des Fahrzeuges übertragen wird. Dabei kann die Diagnoseinformation auch zur Fehlerauswertung und/oder als Nachweis für die ordnungsgemäße Funktion des Netzes und/oder zum Online Monitoring (also einem Übersenden der zugewiesenen Diagnoseinformation zur Überwachung an eine zentrale Stelle, insbesondere in Echtzeit) genutzt werden.
-
In einer weiteren Möglichkeit kann vorgesehen sein, dass ein Ergebnis der Anwendung des Netzes für eine Klassifikation zur Bereitstellung einer Fahrzeugfunktion des Fahrzeuges erfolgt. Das erfindungsgemäße Verfahren kann hierbei eine Nachvollziehbarkeit der Funktion und/oder Anwendung des Netzes bewirken. Nachvollziehbare Neuronale Netze sind besonders sinnvoll in autonom fahrenden Fahrzeugen anwendbar, insbesondere in den sicherheitsrelevanten Entscheidungs- und Erkennungsmodulen wie z. B. Kamera, Radar, Lidar, Bahnplaner oder Bewegungsmanager. Die Fahrzeugfunktion kann daher z. B. ein Fahrerassistenzsystem oder eine autonome Fahrfunktion sein, um das Fahrzeug automatisiert (ohne manuelle Steuerung durch einen Fahrer) zu steuern.
-
Ebenfalls Gegenstand der Erfindung ist ein System zur Bereitstellung von wenigstens einer Diagnoseinformation bei einer Anwendung eines künstlichen neuronalen Netzes, insbesondere bei einem Fahrzeug. Hierbei ist vorgesehen, dass das Netz für die Anwendung mehrere Verbindungen (insbesondere Gewichte) von Neuronen umfasst. Das erfindungsgemäße System kann die folgenden Komponenten umfassen:
- - eine (insbesondere elektronische) Bereitstellungskomponente für ein Bereitstellen wenigstens einer Verknüpfungsinformation über eine Verknüpfung der jeweiligen Verbindungen mit Trainingsdaten des Netzes,
- - eine (insbesondere elektronische) Überwachungskomponente für ein Durchführen einer Überwachung des Netzes, um wenigstens eine bei der Anwendung aktivierte Verbindung der Verbindungen des Netzes zu ermitteln,
- - eine (insbesondere elektronische) Zuordnungskomponente für ein Durchführen einer Zuordnung der wenigstens einen aktivierten Verbindung zu den Trainingsdaten anhand der Verknüpfungsinformation, um die Diagnoseinformation zu erhalten.
-
Damit bringt das erfindungsgemäße System die gleichen Vorteile mit sich, wie sie ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren beschrieben worden sind. Zudem kann das System geeignet sein, die Schritte eines erfindungsgemäßen Verfahrens auszuführen. Die voranstehend beschriebene Komponenten können als elektronische Komponenten, wie integrierte Schaltkreise, aber auch als Mittel eines Computerprogramms und/oder einer Datenverarbeitungsvorrichtung wie eines Computers ausgeführt sein. Weiter können auch die Verfahrensschritte des erfindungsgemäßen Verfahrens und/oder das neuronale Netz computerimplementiert sein, z. B. in einem elektronischen Steuergerät für ein Fahrzeug.
-
Ebenfalls unter Schutz gestellt sein kann ein neuronales Netz, welches insbesondere beim Training für jede Verbindung die prägenden Lerndaten (d. h. die Trainingsdaten) speichert. Auch kann eine Auswertungseinheit, insbesondere Analyseprogramm, unter Schutz gestellt sein, welche bei durchgeführter Klassifikation eines neuronalen Netzes aus dem ermittelten Pfad und den gespeicherten Lerndaten die für die Klassifikation relevanten Lerndaten ermittelt.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Es zeigen:
- 1 eine schematische Darstellung zur Visualisierung eines erfindungsgemäßen Verfahrens,
- 2 eine schematische Darstellung eines erfindungsgemäßen Systems,
- 3 eine schematische Darstellung eines neuronalen Netzes.
-
In den nachfolgenden Figuren werden für die gleichen technischen Merkmale auch von unterschiedlichen Ausführungsbeispielen die identischen Bezugszeichen verwendet.
-
In 1 ist ein erfindungsgemäßes Verfahren zur Bereitstellung von wenigstens einer Diagnoseinformation 302 bei einer Anwendung eines künstlichen neuronalen Netzes 1 - insbesondere bei einem Fahrzeug 30 - gezeigt. Wie anhand 3 gezeigt ist, kann das Netz 1 für die Anwendung mehrere Verbindungen 201, 202 von Neuronen 50 umfassen.
-
In 1 sind die Schritte des Verfahrens visualisiert. Gemäß einem ersten Schritt kann ein Bereitstellen wenigstens einer Verknüpfungsinformation 301 über eine Verknüpfung der jeweiligen Verbindungen 201, 202 mit Trainingsdaten L1-L6 des Netzes 1 erfolgen. Dies kann z. B. dadurch erfolgen, dass eine vordefinierte Datenbank mit den Verknüpfungen beim Fahrzeug 30 vorgesehen ist und durch das neuronale Netz 1 ausgelesen werden kann. Das Bereitstellen kann daher initial einmalig für mehrere Anwendungen des neuronalen Netzes 1 durchgeführt werden. Anschließend können die Schritte einer Überwachung 305 und Zuordnung 306 für jede der Anwendungen durchgeführt werden. Das Durchführen der Überwachung 305 des Netzes 1 kann dazu dienen, wenigstens eine bei der Anwendung aktivierte Verbindung 201 der Verbindungen 201, 202 (und in der Praxis wahrscheinlicher mehrere oder eine Vielzahl aktivierte Verbindungen 201) des Netzes 1 zu ermitteln. Das Durchführen der Zuordnung 306 kann die Zuordnung 306 der wenigstens einen ermittelten aktivierten Verbindung 201 zu den Trainingsdaten L1-L6 anhand der Verknüpfungsinformation 301 bewirken, um die Diagnoseinformation 302 zu erhalten. Damit ist es möglich, für jede der Anwendungen die Trainingsdaten L1-L6 zu hinterlegen, welche für das Ergebnis der jeweiligen Anwendung verantwortlich sind, d. h. für die Aktivierung der Verbindungen 201, 202.
-
In 2 ist schematisch ein erfindungsgemäßes System gezeigt, bei welchem - insbesondere in einem Fahrzeug - eine Bereitstellungskomponente 31 für das Bereitstellen, eine Überwachungskomponente 32 für das Durchführen der Überwachung 305 und eine Zuordnungskomponente 33 für das Durchführen der Zuordnung 306 vorgesehen sind. Separat vom Fahrzeug 30 kann eine Datenverarbeitungsanlage 20 vorgesehen sein, an welche die Diagnoseinformation 302 z. B. über Funk und/oder das Internet übertragen wird. Es kann möglich sein, dass die Datenverarbeitungsanlage 20 auch die Diagnoseinformation 302 von weiteren Fahrzeugen 30 bzw. Netzen 1 empfängt und somit zur zentralen Auswertung der Diagnoseinformation 302 dient.
-
In 3 ist das Netz 1 mit weiteren Einzelheiten dargestellt. Es sind die Neuronen 50 gezeigt, welche bei der Anwendung des Netzes 1 (z. B. primär mittels Gewichtungen und Aktivierungsfunktion) anhand der Eingabe 101 eine Ausgabe 102 als Ergebnis der Anwendung bestimmen. Die Eingabe 101 umfasst z. B. eine Bildinformation (beispielhaft dargestellt als ein Stern), und die Ausgabe 102 kann die Klassifizierung der Bildinformation umfassen (beispielhaft dargestellt als vier mögliche Klassen, von denen eine ausgewählt ist). Die Eingabe 101 führt im vorliegenden Beispiel zur Aktivierung einer Reihe von Verbindungen 201 des Netzes 1, wobei die Aktivierung bspw. durch die Aktivierungsfunktion der Neuronen 50 bestimmt wird. Es ist leicht erkennbar, dass die aktivierten Verbindungen 201 einen Pfad durch die aktiven Neuronen 50 bilden. Diese Pfade sind kausal für das Ergebnis der Anwendung, also die Ausgabe 102, und somit für das Ergebnis 102 der Anwendung des Netzes 1 spezifisch. Bei der Überwachung 305 kann der Pfad der aktivierten Verbindungen 201 z. B. durch eine Überwachung der Aktivierungsfunktionen ermittelt werden.
-
Welche Pfade bei welcher Eingabe 101 aktiviert werden, wird im Training des Netzes 1 anhand der Trainingsdaten L1-L6 definiert. Um die spätere Anwendung daher nachvollziehbar zu machen, ist es sinnvoll, diese Pfade bei jeder Anwendung zu protokollieren. Erfindungsgemäß können zusätzlich noch die zugehörigen Verweise auf diejenigen Trainingsdaten L1-L6 in der Diagnoseinformation 302 hinterlegt werden, welche für die Aktivierung der Verbindungen 201 verantwortlich sind. Damit wird nicht durch der Pfad protokolliert, sondern auch, welche Trainingsdaten L1-L6 zur Aktivierung des Pfades beim Training verantwortlich waren, also die entsprechend dafür verantwortlichen Gewichte geprägt haben. Hierzu wird die Verknüpfungsinformation 301 verwendet, welche eine Zuordnung 306 der Verbindungen 201, 202 zu den prägenden Trainingsdaten L1-L6 bereitstellt.
-
Es ist möglich, dass die wenigstens eine Verknüpfungsinformation 301 dadurch für die Verknüpfung mit den Trainingsdaten L1-L6 spezifisch ist, dass (durch die Verknüpfungsinformation 301) den Verbindungen 201, 202 jeweils wenigstens ein Verweis auf einzelne Trainingsdaten L1-L6 zugeordnet ist. Beispielhaft ist dies in 3 anhand dreier Verbindungen „A1B5“, „B5C2“ und „C2D2“ mit den zugehörigen Verweisen auf Lernsets L1-L6 dargestellt. Die Verbindung „A1B5“ bildet z. B. über ein Gewicht eine Verbindung zwischen dem Neuron A1 und B5 und wird in Abhängigkeit von einer Aktivierungsfunktion des Neurons A1 aktiviert. Dabei wird der Verbindung „A1B5“ durch die Verknüpfungsinformation 301 das Lernset L1, L2, L3 zugeordnet, also drei Verweise auf die Trainingsdaten L1, L2 und L3. Der Verbindung „B5C2“ werden durch die Verknüpfungsinformation 301 Verweise auf die Trainingsdaten L4, L5, L3 und L6 zugeordnet. Der Verbindung „C2D2“ werden Verweise auf die Trainingsdaten L3 und L5 zugeordnet. Im gezeigten Beispiel ist für den genannten Pfad der Verbindungen „A1B5“, „B5C2“ und „C2D2“ somit die Schnittmenge dieser Trainingsdaten L1-L6 prägend, also vorliegend nur L3. Somit kann für diese konkrete Anwendung des Netzes 1 der Verweis auf L3 in der Diagnoseinformation 302, ggf. zugeordnet zu diesem Pfad, hinterlegt werden. Somit ist es möglich, dass bei dem Durchführen der Zuordnung 306 die Diagnoseinformation 302 dadurch erhalten wird, dass wenigstens ein Pfad der aktivierten Verbindungen 201 und/oder der wenigstens eine den aktivierten Verbindungen 201 des Pfades gemeinsam zugeordnete Verweis in der Diagnoseinformation 302 hinterlegt wird.
-
Weiter kann bei dem Durchführen der Überwachung 305 der Pfad der aktivierten Verbindungen 201 dadurch ermittelt wird, dass ausgehend von dem Ergebnis 102 der Anwendung des Netzes 1 der Pfad durch das aktive Neuron 50 einer Ausgabeschicht des Netzes 1 über die am meisten aktiven Neurone 50 des Netzes 1 bis zu einer Eingabeschicht des Netzes 1 zurückverfolgt wird, wobei die am meisten aktiven Neuronen 50 durch einen Vergleich der Anzahl der Aktivierungen mit einem vordefinierten Schwellenwert bestimmt werden können.
-
Das Bereitstellen der wenigstens einen Verknüpfungsinformation 301 kann z. B. dadurch erfolgen, dass eine Datenbank bereitgestellt wird, welche für die Verbindungen 201, 202 jeweils zur Verknüpfung zumindest einen Verweis auf solche der Trainingsdaten L1-L6 umfasst, welche bei einem Training des Netzes 1 die Ausprägung dieser Verbindung 201, 202, insbesondere Gewichtes der Verbindung 201, 202, beeinflusst hat.
-
Für eine Erstellung der Verknüpfungsinformation 301 im Rahmen des Trainings des Netzes 1 ist ein ähnliches Vorgehen denkbar, wie es zuvor für die Überwachung 305 und Zuordnung 306 beschrieben wurde. Wenn die Eingabe 101 im vorliegenden Beispiel einem Trainingsdatensatz entspricht, dann kann zur Erstellung der Verknüpfungsinformation 301 dieser Trainingsdatensatz den aktivierten Verbindungen 201 (des aktiven Pfads) zugeordnet werden, z. B. durch die Speicherung eines Verweises auf den Trainingsdatensatz für die aktivierten Verbindungen 201. Es entsteht somit eine Zuordnung zwischen „Trainingsdatensatz“ und „Verbindung“, wobei eine Verbindung 201, 202 entsprechend dem vorgenannten Beispiel auch mehrere Verweise auf Trainingsdatensätze haben kann.
-
Die voranstehende Erläuterung der Ausführungsformen beschreibt die vorliegende Erfindung ausschließlich im Rahmen von Beispielen. Selbstverständlich können einzelne Merkmale der Ausführungsformen, sofern technisch sinnvoll, frei miteinander kombiniert werden, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Bezugszeichenliste
-
- 1
- Netz
- 20
- Datenverarbeitungsanlage
- 30
- Fahrzeug
- 31
- Bereitstellungskomponente
- 32
- Überwachungskomponente
- 33
- Zuordnungskomponente
- 50
- Neuron
- 101
- Eingabe
- 102
- Ergebnis, Ausgabe, Klassifikation
- 201
- aktiver Pfad, aktivierte Verbindung
- 202
- nicht-aktiver Pfad
- 301
- Verknüpfungsinformation
- 302
- Diagnoseinformation
- 305
- Überwachung
- 306
- Zuordnung
- L1-L6
- Lernsets, Trainingsdaten
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 3474192 A1 [0004]
- US 2019/0164057 A1 [0004]
- WO 2016/150472 A1 [0004]
