-
GEBIET DER ERFINDUNG
-
Die vorliegende Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzwerks.
-
TECHNISCHER HINTERGRUND
-
Künstliche neuronale Netzwerke, die Sensordaten auswerten, sind bekannt. Ergeben sich Änderungen einer Sensortechnologie muss das auswertende künstliche neuronale Netzwerk häufig verändert, also neu trainiert, werden.
-
ZUSAMMENFASSUNG DER ERFINDUNG
-
Vor diesem Hintergrund liegt der Erfindung die Aufgabe zugrunde, ein Training eines künstlichen neuronalen Netzwerks, welches aufgrund von Änderungen einer Sensortechnologie erforderlich ist, zu vereinfachen.
-
Diese Aufgabe wird erfindungsgemäß mit den Merkmalen des Patentanspruchs 1 gelöst.
-
Demgemäß ist vorgesehen:
- - ein Trainingsverfahren für ein künstliches neuronales Netzwerk, welches darauf trainiert ist, Sensordaten eines ersten Sensors zu verarbeiten, mit den folgenden Schritten: Bereitstellen von ersten Sensordaten des ersten Sensors und von zweiten Sensordaten eines zweiten Sensors, wobei die ersten Sensordaten Strukturen zur verbesserten Maschineninterpretierbarkeit der ersten Sensordaten aufweisen, wobei die Strukturen der ersten Sensordaten auf die zweiten Sensordaten projizierbar sind; Projizieren der Strukturen der ersten Sensordaten auf die zweiten Sensordaten zu projizierten zweiten Sensordaten; Trainieren des künstlichen neuronalen Netzwerks mit den projizierten zweiten Sensordaten.
-
Fahrzeuge sind Land-, Wasser-, oder Luftfahrzeuge mit oder ohne Antrieb.
-
Ein Sensor, auch als Detektor, (Messgrößen- oder Mess-)Aufnehmer oder (Mess-)Fühler bezeichnet, ist ein technisches Bauteil, das bestimmte physikalische, chemische Eigenschaften oder Zustände, z. B. Temperatur, Feuchtigkeit, Druck, Geschwindigkeit, Helligkeit, Beschleunigung, pH-Wert, Ionenstärke, elektrochemisches Potential und/oder die stoffliche Beschaffenheit seiner Umgebung qualitativ oder als Messgröße quantitativ erfassen kann. Diese Größen werden mittels physikalischer oder chemischer Effekte erfasst und als Sensordaten in ein weiterverarbeitbares elektrisches Signal umgeformt. Fahrzeugsensoren sind an einem Fahrzeug montiert, um eine Fahrzeugumgebung zu erfassen. Sensordaten, die von Fahrzeugsensoren erfasst werden, sind fahrzeugumgebungsbezogene Sensordaten.
-
TOF-Sensoren sind 3D-Kamerasysteme, die mit dem Laufzeitverfahren (englisch: time of flight, TOF, auch ToF) Distanzen messen. Dazu wird die Szene mittels eines Lichtpulses ausgeleuchtet, und die Kamera misst für jeden Bildpunkt die Zeit, die das Licht bis zum Objekt und wieder zurück braucht. Die benötigte Zeit ist direkt proportional zur Distanz. Die Kamera liefert somit für jeden Bildpunkt die Entfernung des darauf abgebildeten Objektes. Das Prinzip ähnelt dem Laserscanning mit dem Vorteil, dass eine ganze Szene auf einmal aufgenommen wird und nicht abgetastet werden muss.
-
Radar (engl. für „radio detection and ranging) ist die Bezeichnung für verschiedene Erkennungs- und Ortungsverfahren und -geräte auf der Basis elektromagnetischer Wellen im Radiofrequenzbereich (Funkwellen). Ein Radargerät ist ein Gerät, das elektromagnetische Wellen gebündelt aussendet, die von Objekten reflektierten Echos empfängt und auswertet. So können Informationen über die Objekte, dem Radarziel, gewonnen werden. Meist handelt es sich um eine Ortung (Bestimmung von Entfernung und Winkel). Aus den empfangenen, vom Objekt reflektierten Wellen können u. a. folgende Informationen gewonnen werden: der Winkel und die Entfernung zum Objekt, die Relativbewegung zwischen Sender und Objekt, die Wegstrecke und die Absolutgeschwindigkeit des Objektes, Konturen oder Bilder des Objektes.
-
Lidar (engl. light detection and ranging), auch Ladar (laser detection and ranging), ist eine dem Radar verwandte Methode zur optischen Abstands- und Geschwindigkeitsmessung sowie zur Fernmessung atmosphärischer Parameter. Statt der Radiowellen wie beim Radar werden Laserstrahlen verwendet. Dabei werden Laser-strahlen emittiert, die von einem Objekt, dem Lidarziel reflektiert werden.
-
Die Interpretierbarkeit von Daten beschreibt die Möglichkeit Schlussfolgerungen aus den Daten zu ziehen. Maschineninterpretierbar bedeutet, dass die Schlussfolgerungen softwaregestützt getroffen werden können.
-
Datenbeschreibungen verbessern die Maschineninterpretierbarkeit von Daten.
-
Datenbeschreibungen oder im Fachjargon auch mit Labels bezeichnet, sind eine Beschreibung von Trainingsdaten zu in den Trainingsdaten enthaltenen Merkmalen. Beispielsweise kann bestimmten Anteilen eines Geräuschs oder Anteilen einer Aufnahme in einem Label eine Ursache zugeordnet werden.
-
Gelabelte Daten oder Daten, die mit Informationen versehen sind, sind Datensätze, die mit einer oder mehreren Informationen versehen wurden. Dabei wird normalerweise ein Satz nicht gelabelter Daten verwendet, der mit aussagekräftigen Informationen ergänzt wird. Zum Beispiel können Labels angeben, ob ein Foto ein Pferd oder eine Kuh enthält, welche Wörter in einer Audioaufzeichnung gesprochen wurden, welche Art von Aktion in einem Video ausgeführt wird, welches Thema ein Nachrichtenartikel hat und wie die allgemeine Stimmung ist, etc.
-
Labels werden oft durch Menschen generiert, z.B. indem Menschen über ein bestimmtes Stück unbeschrifteter Daten urteilen (z. B. „Enthält dieses Foto ein Pferd oder eine Kuh?“). Folglich sind gelabelte Daten erheblich teurer als unbeschriftete Rohdaten.
-
Hüllkörper verbessern ebenfalls die Maschineninterpretierbarkeit von Daten. Hüllkörper sind besonders für optische Sensordaten hilfreich, um Objekte in den Sensordaten zu erkennen. Ein Hüllkörper (englisch bounding volume oder bounding box) ist in der algorithmischen Geometrie ein einfacher geometrischer Körper, der ein komplexes Objekt oder einen komplexen Körper umschließt.
-
Hüllkörper können auch bei akustischen Sensordaten zum Einsatz kommen, indem Geräusche oder Frequenzanteile, die einer gemeinsamen Schallquelle zuzuordnen sind, geclustert werden.
-
Das Projizieren von Strukturen, die die Maschineninterpretierbarkeit von Daten verbessern, ist eine Form des Übertragens der Strukturen von den ersten Sensordaten auf die zweiten Sensordaten. Dies setzt voraus, dass Bestandteile der Sensordaten, auf die sich die Strukturen beziehen, identische Eigenschaften aufweisen. Auf optische Daten bezogen, kann dies bedeuten, dass ein Hüllkörper eines Fußgängers in den ersten Sensordaten in die zweiten Sensordaten projiziert wird, wenn die Sensordaten auf eine identische Sensorumgebung bezogen sind, der Fußgänger in den ersten und zweiten Sensordaten gleich groß dargestellt ist und an einer identischen Position ist. Andere sensorspezifische Eigenschaften der Darstellung des Fußgängers in den Sensordaten, wie beispielsweise dessen Auflösung oder Belichtung können voneinander abweichen.
-
Es versteht sich, dass Strukturen auch zwischen akustischen Sensordaten projizierbar sind, wenngleich die Voraussetzungen hierfür andere sind als bei optischen Sensordaten.
-
Ein Mikrofon oder Mikrophon ist ein Schallwandler, der Luftschall als Schallwechseldruckschwingungen in entsprechende elektrische Spannungsänderungen als Mikrofonsignal umwandelt. Mikrofone dienen dem Erfassen akustischer Sensordaten.
-
„Echtzeit“ bedeutet, dass das Verfahren simultan zur Realität abläuft.
-
Ein künstliches neuronales Netzwerk (KNN, englisch artificial neural network - ANN) ist insbesondere ein in einem Rechenprogramm nachgebildetes Netzwerk aus vernetzten künstlichen Neuronen. Die künstlichen Neuronen sind dabei typischerweise auf verschiedenen Schichten (layers) angeordnet. Üblicherweise umfasst das künstliche neuronale Netzwerk eine Eingangsschicht und eine Ausgabeschicht (output layer), deren Neuronenausgabe als einzige des künstlichen neuronalen Netzwerks sichtbar wird. Zwischen der Eingangsschicht und der Ausgabeschicht liegende Schichten werden typischerweise als verdeckte Schichten (hidden layer) bezeichnet. Typischerweise wird zunächst eine Architektur bzw. Topologie eines künstlichen neuronalen Netzwerks initiiert und dann in einer Trainingsphase für eine spezielle Aufgabe oder für mehrere Aufgaben in einer Trainingsphase trainiert.
-
Der Begriff „Topologie eines KNN“ umfasst sämtliche Aspekte bezüglich des Aufbaus eines KNN. Hierunter fallen beispielsweise die Anzahl der Neuronen des KNN, die Aufteilung der Neuronen auf die einzelnen Schichten des KNN, die Anzahl der Schichten eines KNN, die Vernetzung der Neuronen und die Gewichtung der Vernetzung.
-
Das Training des künstlichen neuronalen Netzwerks umfasst dabei typischerweise eine Veränderung eines Gewichts einer Verbindung zwischen zwei künstlichen Neuronen des künstlichen neuronalen Netzwerks. Das Gewicht enthält Information zur Stärke der Berücksichtigung eines Eingangs eines Neurons. Das Training des künstlichen neuronalen Netzwerks kann auch eine Entwicklung von neuen Verbindungen zwischen künstlichen Neuronen, ein Löschen von bestehenden Verbindungen zwischen künstlichen Neuronen, ein Anpassen von Schwellwerten der künstlichen Neuronen und/oder ein Hinzufügen oder ein Löschen von künstlichen Neuronen umfassen.
-
Ein Beispiel für ein künstliches neuronales Netzwerk ist ein flaches künstliches neuronales Netzwerkwerk (shallow neural network), welches oft nur eine einzelne verdeckte Schicht zwischen der Eingabeschicht und der Ausgabeschicht enthält und damit relativ einfach zu trainieren ist. Ein weiteres Beispiel ist ein tiefes künstliches neuronales Netzwerkwerk (deep neural network), welches zwischen der Eingangsschicht und der Ausgabeschicht mehrere verschachtelte verdeckte Schichten von künstlichen Neuronen enthält. Das tiefe künstliche neuronale Netzwerk ermöglicht dabei eine verbesserte Erkennung von Mustern und komplexen Zusammenhängen Beispielsweise kann das künstliche neuronale Netzwerk ein ein- bzw. mehrschichtiges feedforward-Netzwerk oder eine rekurrentes Netzwerk sein. Feedforward-Netzwerke weisen Neuronen auf, die ausschließlich vorwärtsgespeist werden, d.h. ein Neuron wird ausschließlich von höher liegenden Schichten gespeist.
-
Ein rekurrentes Netzwerk weist bidirektional verbundene Neuronen auf, d.h. ein Neuron wird zudem von tiefer liegenden Schichten gespeist. Somit lässt sich bei einem späteren Durchlauf des KNN Information aus einem früheren Durchlauf berücksichtigen, wodurch ein Erinnerungsvermögen geschaffen wird.
-
Ein Trainingssystem ist eine Recheneinheit, auf welcher ein KNN trainiert wird.
-
Trainingsdaten sind in dieser Anmeldung Datenpaare aus Eingangsdaten (Sensordaten), die von dem KNN zu verarbeiten sind, sowie Soll-Ergebnisdaten, die von dem KNN zu ermitteln sind. Während des Trainings wird das KNN aufgrund eines Vergleichs von Soll-Ergebnisdaten mit dem von dem KNN ermittelten Ist-Ergebnisdaten angepasst, wodurch sich ein Trainingseffekt einstellt. Ein Trainingsdatensatz kann mehrere Datenpaare aus Eingangs- und Ausgangsdaten enthalten.
-
Die Wartung von Sensorsystemen umfasst das Austauschen der Sensoren, beispielsweise aufgrund eines Defekts oder weil sich Vorteile durch den Sensortausch ergeben.
-
Die grundlegende Idee der Erfindung ist es, Trainingsdaten aufgrund erster Sensordaten und aufgrund zweiter Sensordaten zu generieren. Dabei beziehen sich die ersten und zweiten Sensordaten auf eine identische Sensorumgebung. Derartige erste und zweite Sensordaten lassen sich beispielsweise bereitstellen, indem ein erster Sensor und ein zweiter Sensor an möglichst identischen Positionen eines Fahrzeugs oder eines anderen Gegenstands angebracht wird und folglich erste und zweite Sensordaten bezüglich einer identischen Sensorumgebung erfasst werden.
-
Es ist denkbar, den zweiten Sensor an der Position des ersten Sensors zu montieren, nachdem der erste Sensor entfernt wurde bzw. nachdem die ersten Sensordaten generiert wurden, wenn die Sensorumgebung vorhersehbar ist, d. h. wenn sich eine Sensorumgebung über einen längeren Zeitraum nicht ändert, derart dass der erste und der zweite Sensor, die Sensordaten bezüglich der identischen Sensorumgebung nacheinander erfassen.
-
Alternativ ist es denkbar, die Sensoren möglichst nah aneinander an einem Fahrzeug bzw. an einem anderen Gegenstand zu montieren und den ersten und zweiten Sensor derart zu kalibrieren, dass diese einen möglichst identischen Erfassungsbereich aufweisen, wenn die Sensorumgebung nicht vorhersehbar bzw. nicht über einen längeren Zeitraum konstant ist.
-
Das künstliche neuronale Netzwerk, welches auf eine Auswertung der ersten Sensordaten trainiert ist, ist im Rahmen der Sensordatenauswertung häufig auch darauf trainiert, Strukturen zur verbesserten Maschineninterpretierbarkeit der ersten Sensordaten in die ersten Sensordaten einzufügen. Alternativ können Strukturen zur verbesserten Maschineninterpretierbarkeit der ersten Sensordaten auch manuell zu den ersten Sensordaten hinzugefügt werden.
-
Um auch die Maschineninterpretierbarkeit der zweiten Sensordaten zu verbessern, werden die Strukturen der ersten Sensordaten auf die zweiten Sensordaten projiziert. Im Folgenden wird das künstliche neuronale Netzwerk mit den projizierten zweiten Sensordaten trainiert.
-
Somit lässt sich der Trainingsaufwand für ein künstliches neuronales Netzwerk, der aufgrund von Änderungen einer Sensortechnologie anfällt, deutlich verringern.
-
Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den weiteren Unteransprüchen sowie aus der Beschreibung unter Bezugnahme auf die Figuren der Zeichnung.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung weisen die Strukturen Hüllkörper und/oder Datenbeschreibungen auf.
-
Hüllkörper lassen sich typischerweise softwaregestützt bzw. ausschließlich softwaregestützt in Sensordaten einfügen. Datenbeschreibungen zu Sensordaten werden häufig manuell gesetzt, wenngleich auch Verfahren zum automatisierten Setzen von Datenbeschreibungen bekannt sind.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung ist das künstliche neuronale Netzwerk eingerichtet, fahrzeugumgebungsbezogene Sensordaten zu verarbeiten. Hierfür kommt auch ein Echtzeitbetrieb in Betracht, das bedeutet, dass Sensordaten zu einer Sensorumgebung erfasst werden und dass das künstliche neuronale Netzwerk aufgrund der Sensordaten über entsprechende Steuerbefehle an ein Fahrzeug entscheidet.
-
Gemäß einer bevorzugten Weiterbildung der Erfindung sind die ersten und zweiten Sensordaten als optische Sensordaten, insbesondere Tof-Daten, Kameradaten, Radardaten, Lidardaten und/oder dergleichen ausgebildet. Alternativ oder zusätzlich kann vorgesehen sein, dass die ersten und zweiten Sensordaten als akustische Sensordaten ausgebildet sind.
-
Es versteht sich, dass auch ein Wartungsverfahren für ein Sensorsystem eines Fahrzeugs mit einem ersten Sensor und einem künstlichen neuronalen Netzwerk, welches eingerichtet ist, erste Sensordaten des ersten Sensors zu verarbeiten, vorteilhaft ist, wobei der erste Sensor während des Wartungsverfahrens durch einen zweiten Sensor ersetzt wird und das künstliche neuronale Netzwerk mittels eines Trainingsverfahrens wie es vorstehend beschrieben wurde trainiert wird, oder eine Topologie des künstlichen neuronalen Netzwerks angepasst wird, wobei die angepasste Topologie aufgrund eines Trainingsverfahrens nach einem der vorstehenden Ansprüche ermittelt wurde.
-
Dementsprechend ist es denkbar, ein künstliches neuronales Netzwerk entsprechend eines Verfahrens wie es vorstehend beschrieben wurde, zu trainieren und die Topologie des künstlichen neuronalen Netzwerks, welches mit dem beschriebenen Trainingsverfahren trainiert wurde, zu speichern. Im Folgenden lässt sich die Topologie auf weitere künstliche neuronale Netzwerke übertragen, indem die Topologie des weiteren künstlichen neuronalen Netzwerks mittels einer Softwareroutine angepasst wird, ohne dass es hierfür erforderlich ist, dass gesamte Trainingsverfahren erneut zu durchlaufen.
-
Dementsprechend versteht es sich, dass das Anpassen einer Topologie eines künstlichen neuronalen Netzwerks, wobei die angepasste Topologie mittels eines Trainingsverfahrens wie es vorstehend beschrieben wurde, ermittelt wurde, auch unter den Schutzbereich dieser Patentanmeldung fällt.
-
Figurenliste
-
Die vorliegende Erfindung wird nachfolgend anhand der in den schematischen Figuren der Zeichnungen angegebenen Ausführungsbeispiele näher erläutert. Es zeigen dabei:
- 1 ein schematisches Blockdiagramm einer Ausführungsform der Erfindung.
-
Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der Erfindung vermitteln. Sie veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Prinzipien und Konzepten der Erfindung. Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Zeichnungen. Die Elemente der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.
-
In den Figuren der Zeichnungen sind gleiche, funktionsgleiche und gleichwirkende Elemente, Merkmale und Komponenten - sofern nicht anders ausgeführt ist - jeweils mit denselben Bezugszeichen versehen.
-
BESCHREIBUNG VON AUSFÜHRUNGSBEISPIELEN
-
1 zeigt ein schematisches Blockdiagramm eines Trainingsverfahrens für ein künstliches neuronales Netzwerk, welches darauf trainiert ist, Sensordaten eines ersten Sensors zu verarbeiten. In dem Schritt S1 werden erste Sensordaten des ersten Sensors und zweite Sensordaten eines zweiten Sensors bereitgestellt, wobei die ersten Sensordaten Strukturen zur verbesserten Maschineninterpretierbarkeit der ersten Sensordaten aufweisen, und wobei die Strukturen der ersten Sensordaten auf die zweiten Sensordaten projizierbar sind. In dem Schritt S2 werden die Strukturen der ersten Sensordaten auf die zweiten Sensordaten zu projizierten zweiten Sensordaten projiziert. In dem Schritt S3 wird das künstliche neuronale Netzwerk mit den projizierten zweiten Sensordaten trainiert
-
Bezugszeichenliste
-
- S1-S3
- Verfahrensschritte
