-
Die Erfindung betrifft ein Verfahren zum Erzeugen von Trainingsdaten für ein Neuronales Netz, ein Computerprogrammprodukt, eine Rechenvorrichtung und ein Neuronales Netz.
-
Die
US2018293706 offenbart ein Verfahren zum Erzeugen von Trainingsdaten für ein neuronales Netz. Die Trainingsdaten werden durch Heruntertaktung von vorhandenen Trainingsdaten erzeugt. Beim Heruntertakten wird die Anzahl der vorhandenen Stützstellen in den Trainingsdaten reduziert.
-
Der erfindungsgemäße Verfahren zum Erzeugen von Trainingsdaten für ein neuronales Netz umfasst den Schritt:
- a) Verändern von vorhandenen Trainingsdaten für ein neuronales Netz zu veränderten Trainingsdaten für das neuronale Netz mittels eines Algorithmus.
-
Durch das Verändern der vorhandenen Trainingsdaten wird es ermöglicht, eine Datenmenge an Trainingsdaten zu vervielfachen, ohne gänzlich neue Trainingsdaten zu erzeugen. Das Erzeugen gänzlich neuer Trainingsdaten ist oft mit großen, zum Teil auch manuellen Aufwand verbunden. Demnach ermöglicht das Verändern von vorhandenen Trainingsdaten eine Kostenreduktion für das Erzeugen von Trainingsdaten.
-
Das Verfahren eignet sich daher insbesondere für neuronale Netze, die eine große Datenmenge an Trainingsdaten benötigen. Bevorzugt wird das neuronale Netz trainiert, um zur Objekterkennung für ein ADAS System im Fahrzeugbereich eingesetzt zu werden.
-
Vorhandene Trainingsdaten umfassen Daten, welche zum Training eines neuronalen Netzwerkes geeignet sind. Für den Fall, dass das neuronale Netz für eine Objekterkennung in Bildern trainiert wird, bieten sich Bilddateien als Trainingsdaten an, welche ein Objekt zeigen, dessen Erkennung trainiert werden soll.
-
Das neuronale Netz wird bevorzugt mit vorhandenen Trainingsdaten und veränderten Trainingsdaten trainiert. Durch das Training verändert sich das neuronale Netz zu einem trainierten neuronalen Netz. Die Änderungen sind für die meisten neuronalen Netze softwareseitig.
-
Bevorzugt umfasst das Verfahren den Schritt:
- b) Variieren des Algorithmus und erneutes Durchführen von Schritt a) zum Erzeugen zusätzlicher veränderter Trainingsdaten für das neuronale Netz.
-
Die Variation des Algorithmus sowie das zeitlich spätere, erneute Durchführen von Schritt a) ermöglichen die Erzeugung von veränderten Trainingsdaten mit einer Datenmenge, welche die Datenmenge der vorhandenen Trainingsdaten um ein vielfaches übersteigt. Dabei ergibt sich mit jeder erneuten Durchführung eine zusätzliche Datenmenge für die veränderten Trainingsdaten, welche in etwa der Datenmenge der vorhandenen Trainingsdaten entspricht. Demnach wird eine Vervielfachung der Datenmenge an veränderten Trainingsdaten durch vielfache erneut Durchführung von Schritt b) ermöglicht.
-
Bevorzugt ist der Algorithmus dergestalt, dass Trainingsdaten komprimiert werden.
-
Die Verwendung einer Datenkompression ermöglicht eine technisch etablierte und dadurch schnelle und einfache Veränderung der vorhandenen Trainingsdaten. Zudem wird durch Datenkompression sichergestellt, dass die Daten nicht derartig verändert werden, dass sie für eine Verwendung als Trainingsdaten für ein neuronales Netz unbrauchbar werden.
-
Bevorzugt ist die Datenkompression eine verlusthafte Kompression.
-
Für eine Datenkompression wird in Daten nach redundanten Dateneinheiten gesucht, welche dann entfernt werden. Dadurch wird die Größe der Daten reduziert. Bei einer verlusthaften Datenkompression werden auch Dateneinheiten entfernt, welche nicht vollständig redundant sind. Dabei werden bevorzugt solche nicht redundanten Daten entfernt, welche für einen Anwendungsfall nur eine geringe Relevanz aufweisen. Dies führt dazu, dass nach einer Dekompression die ursprünglichen Daten nicht vollständig wiederhergestellt werden können. Die Daten werden also durch eine Kompression verändert.
-
Veränderte Trainingsdaten umfassen Daten, welche ähnlich sind zu den vorhandenen Trainingsdaten. Für den Fall, dass die vorhandenen Trainingsdaten Bilddaten umfassen, welche ein Objekt zeigen, umfassen auch die veränderten Trainingsdaten, Bilddaten welche dasselbe Objekt zeigen. Durch die Datenkompression der Bilddaten sind die veränderten Trainingsdaten Bilddaten für einen menschlichen Betrachter kaum von den Bilddaten aus den vorhandenen Trainingsdaten zu unterscheiden. Die veränderten Trainingsdaten unterscheiden sich jedoch für das neuronale Netz derart von den vorhandenen Trainingsdaten, dass sie als zusätzliche Trainingsdaten zu den vorhandenen Trainingsdaten verwendet werden können.
-
Durch die Datenkompression wird es ermöglicht, dass unkomprimierte Trainingsdaten nicht gespeichert werden müssen, so dass der benötigte Speicherplatz für die Trainingsdaten vorteilhaft reduziert wird. Weiterhin ermöglicht dies, dass Hardwaresysteme zum Erzeugen der vorhandenen Trainingsdaten kostengünstig ausgestaltet werden können.
-
Ein weiterer Vorteil von der Verwendung einer Datenkompression ist der, dass das neuronale Netz bei einem Einsatz für die Objekterkennung auch komprimierte Trainingsdaten verwenden kann. Dies ermöglicht ein weites Einsatzgebiet des neuronales Netzes. Zudem kann eine Hardwareumgebung für das neuronale Netz kostengünstiger ausgestaltet werden kann.
-
Bevorzugt ist der Algorithmus dergestalt, dass Trainingsdaten dekomprimiert werden.
-
Die Trainingsdaten sind erst nach einer Dekompression wieder zum Training des neuronalen Netzes verwendbar. Eine Dekompression ist für gängige Kompressionsverfahren schnell und einfach auf einer Vielzahl von Geräten durchführbar. Dies ermöglicht eine technisch etablierte Möglichkeit zur Verwendung der veränderten Trainingsdaten zum Training des neuronalen Netzes.
-
Ein erfindungsgemäßes Computerprogrammprodukt umfasst ein Programm das, wenn es von einem Computer ausgeführt wird, den Computer veranlasst, ein erfindungsgemäßes Verfahren durchzuführen.
-
Eine erfindungsgemäße Rechenvorrichtung zum Erzeugen von Trainingsdaten für ein Neuronales Netz ist ausgebildet und eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen
-
Ein erfindungsgemäßes neuronales Netz ist trainiert mit Trainingsdaten, welche erzeugt wurden mit einem erfindungsgemäßen Verfahren.
-
Die Vorteile des erfindungsgemäßen Verfahrens zum Erzeugen von Trainingsdaten für ein neuronales Netz ergeben sich in gleich Weise für ein erfindungsgemäßes Computerprogrammprodukt, eine erfindungsgemäße Rechenvorrichtung und ein erfindungsgemäßes neuronales Netz.
-
Die abhängigen Ansprüche beschreiben vorteilhafte Ausführungsformen der Erfindung.
-
Ein bevorzugtes Ausführungsbeispiel wird anhand der folgenden Figur näher erläutert.
-
1 zeigt schematisch ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum Erzeugen von Trainingsdaten 1, 2 für ein neuronales Netz 4. Das Verfahren umfasst den Schritt:
- a) Verändern von vorhandenen Trainingsdaten 1 für ein neuronales Netz 5 zu veränderten Trainingsdaten 2 für das neuronale Netz 5 mittels eines Algorithmus 3.
-
Die Trainingsdaten 1, 2 werden von einer Rechenvorrichtung 4 verwendet, um Parameter für das neuronale Netz 5 zu ermitteln. Durch Anwendung der Parameter für das neuronale Netz 5 ist es mit den Trainingsdaten 1, 2 trainiert.
-
Das Verfahren umfasst den Schritt:
- b) Variieren des Algorithmus 3 und erneutes Durchführen von Schritt a) zum Erzeugen zusätzlicher veränderter Trainingsdaten 2 für das neuronale Netz 4, 5.
-
Die Schritte a) und b) werden in diesem Ausführungsbeispiel 10.000 Mal durchgeführt. Die Datenmenge der veränderten Trainingsdaten 2 ist damit etwa um einen Faktor 10.000 größer als die Datenmenge der vorhandenen Trainingsdaten 1.
-
Der Algorithmus 3 ist dergestalt, dass Trainingsdaten 1, 2 komprimiert werden.
-
In diesem Ausführungsbeispiel werden die vorhandenen Trainingsdaten 1, 2 verlusthaft komprimiert. Dies ermöglicht eine Veränderung der vorhandenen Trainingsdaten 1 zu veränderten Trainingsdaten 2.
-
Der Algorithmus 3 ist dergestalt, dass Trainingsdaten 1, 2 dekomprimiert werden.
-
Die vorhandenen Trainingsdaten 1 umfassen Bilddaten, wobei der Algorithmus 3 eine Bildkompression umfasst.
-
Das neuronale Netz 5 wird trainiert, um eine Objekterkennung auf Basis der Trainingsdaten 1, 2 durchzuführen. Die vorhandenen Trainingsdaten 1 umfassen Bilddaten, insbesondere Bilder 7. Die Bilder 7 umfassen Bilder, welche Objekte zeigen, die für die Objekterkennung relevant sind.
-
Die Bilder 7 werden komprimiert zu komprimierten Bildern 8. Nach der Dekompression ergeben sich veränderte Bilder 9, 9a, 9b, 9c, 9d. Die Bilder 9, 9a, 9b, 9c, 9d sind dabei verändert im Vergleich zu den vorhandenen Bildern 7. Die veränderten Trainingsdaten 1 umfassen ebenfalls Bilddaten und insbesondere Bilder 9, 9a, 9b, 9c, 9d welche Objekte zeigen, die für die Objekterkennung relevant sind.
-
Dies ermöglicht ein Training der Objekterkennung des neuronalen Netzes 5 mit einer großen Anzahl an Bildern 9, 9a, 9b, 9c, 9d. Dies ermöglicht eine bessere Objekterkennung durch das neuronale Netz 5.
-
Der Algorithmus 3 umfasst eine Bildkompression der JPEG Norm. Alternativ umfasst der Algorithmus 3 Bildkompressionen der GIF oder PNG Norm.
-
Durch die JPEG Norm wird eine verlusthafte Kompression derart ermöglicht, dass sich die vorhandenen Trainingsdaten 1 von den veränderten Trainingsdaten 2 unterscheiden. Zusätzlich ist es eine der am weitesten verbreiteten Kompressionsverfahren für Bilder, wodurch es von einer Vielzahl von Geräten unterstützt wird.
-
Das Variieren des Algorithmus 3 erfolgt automatisiert.
-
In diesem Ausführungsbeispiel erfolgt eine Variation des Algorithmus 3 über ein Anpassen der JPEG Qualitätsstufe. Dies ist einfach automatisiert durchführbar und ermöglicht eine schnelle Erzeugung einer Vielzahl an veränderten Trainingsdaten 2 ohne, dass manuelles Eingreifen nötig ist.
-
Eine zusätzliche Variation erfolgt über das Wechseln zwischen 8 Bit und 12 Bit Kodierung und/oder über einen Wechsel zwischen Sequenzieller und/oder Progressiver Codierung.
-
Dies ermöglicht eine Vervielfältigung der vorhandenen Trainingsdaten 1 und damit eine Erhöhung der Datenmenge für die veränderten Trainingsdaten 2.
-
Die vorhandenen Trainingsdaten 1 umfassen alternativ Videodaten und/oder Audiodaten, wobei der Algorithmus 3 eine Videokompression und/oder eine Audiokompression umfasst.
-
Der Algorithmus 3 umfasst in dieser alternativen Ausgestaltung eine Videokompression der MPEG Norm für Videodaten. Dazu alternativ sind auch Kompressionen der VP Norm oder der MJPEG Norm denkbar.
-
Der Algorithmus 3 umfasst in der alternativen Ausgestaltung eine Audiokompression der der MP3 Norm. Dazu alternativ sind auch Kompressionen der AC Norm, MP2 Norm, WMA Norm, LPEC Norm und/oder OPUS Norm denkbar.
-
Ein Ausführungsbeispiel eines erfindungsgemäßen Computerprogrammprodukts umfasst ein Programm das, wenn es von einem Computer ausgeführt wird, den Computer veranlasst, ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens durchzuführen.
-
Ein Ausführungsbeispiel einer erfindungsgemäßen Rechenvorrichtung 6 zum Erzeugen von Trainingsdaten 2 für ein Neuronales Netz 5 ist ausgebildet und eingerichtet, ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens durchzuführen.
-
Ein Ausführungsbeispiel eines erfindungsgemäßen neuronales Netzes 5 ist trainiert mit Trainingsdaten 2, welche erzeugt wurden mit einem Ausführungsbeispiel eines erfindungsgemäßen Verfahrens.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
