DE102020002511A1 - Method for generating training data for a neural network - Google Patents
Method for generating training data for a neural network Download PDFInfo
- Publication number
- DE102020002511A1 DE102020002511A1 DE102020002511.0A DE102020002511A DE102020002511A1 DE 102020002511 A1 DE102020002511 A1 DE 102020002511A1 DE 102020002511 A DE102020002511 A DE 102020002511A DE 102020002511 A1 DE102020002511 A1 DE 102020002511A1
- Authority
- DE
- Germany
- Prior art keywords
- training data
- neural network
- data
- algorithm
- changed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zum Erzeugen von Trainingsdaten (1, 2) für ein neuronales Netz (4), umfassend den Schritt:a) Verändern von vorhandenen Trainingsdaten (1) für ein neuronales Netz (5) zu veränderten Trainingsdaten (2) für das neuronale Netz (5) mittels eines Algorithmus (3).The invention relates to a method for generating training data (1, 2) for a neural network (4), comprising the step: a) changing existing training data (1) for a neural network (5) to changed training data (2) for the neural network (5) using an algorithm (3).
Description
Die Erfindung betrifft ein Verfahren zum Erzeugen von Trainingsdaten für ein Neuronales Netz, ein Computerprogrammprodukt, eine Rechenvorrichtung und ein Neuronales Netz.The invention relates to a method for generating training data for a neural network, a computer program product, a computing device and a neural network.
Die
Der erfindungsgemäße Verfahren zum Erzeugen von Trainingsdaten für ein neuronales Netz umfasst den Schritt:
- a) Verändern von vorhandenen Trainingsdaten für ein neuronales Netz zu veränderten Trainingsdaten für das neuronale Netz mittels eines Algorithmus.
- a) changing existing training data for a neural network to changed training data for the neural network using an algorithm.
Durch das Verändern der vorhandenen Trainingsdaten wird es ermöglicht, eine Datenmenge an Trainingsdaten zu vervielfachen, ohne gänzlich neue Trainingsdaten zu erzeugen. Das Erzeugen gänzlich neuer Trainingsdaten ist oft mit großen, zum Teil auch manuellen Aufwand verbunden. Demnach ermöglicht das Verändern von vorhandenen Trainingsdaten eine Kostenreduktion für das Erzeugen von Trainingsdaten.By changing the existing training data, it is possible to multiply a data amount of training data without generating entirely new training data. The creation of completely new training data is often associated with great, sometimes manual, effort. Accordingly, changing existing training data enables a cost reduction for generating training data.
Das Verfahren eignet sich daher insbesondere für neuronale Netze, die eine große Datenmenge an Trainingsdaten benötigen. Bevorzugt wird das neuronale Netz trainiert, um zur Objekterkennung für ein ADAS System im Fahrzeugbereich eingesetzt zu werden.The method is therefore particularly suitable for neural networks that require a large amount of training data. The neural network is preferably trained in order to be used for object recognition for an ADAS system in the vehicle area.
Vorhandene Trainingsdaten umfassen Daten, welche zum Training eines neuronalen Netzwerkes geeignet sind. Für den Fall, dass das neuronale Netz für eine Objekterkennung in Bildern trainiert wird, bieten sich Bilddateien als Trainingsdaten an, welche ein Objekt zeigen, dessen Erkennung trainiert werden soll.Existing training data include data that are suitable for training a neural network. In the event that the neural network is trained for object recognition in images, image files offer themselves as training data which show an object whose recognition is to be trained.
Das neuronale Netz wird bevorzugt mit vorhandenen Trainingsdaten und veränderten Trainingsdaten trainiert. Durch das Training verändert sich das neuronale Netz zu einem trainierten neuronalen Netz. Die Änderungen sind für die meisten neuronalen Netze softwareseitig.The neural network is preferably trained with existing training data and changed training data. The training changes the neural network to a trained neural network. The changes are software-side for most neural networks.
Bevorzugt umfasst das Verfahren den Schritt:
- b) Variieren des Algorithmus und erneutes Durchführen von Schritt a) zum Erzeugen zusätzlicher veränderter Trainingsdaten für das neuronale Netz.
- b) Varying the algorithm and performing step a) again to generate additional modified training data for the neural network.
Die Variation des Algorithmus sowie das zeitlich spätere, erneute Durchführen von Schritt a) ermöglichen die Erzeugung von veränderten Trainingsdaten mit einer Datenmenge, welche die Datenmenge der vorhandenen Trainingsdaten um ein vielfaches übersteigt. Dabei ergibt sich mit jeder erneuten Durchführung eine zusätzliche Datenmenge für die veränderten Trainingsdaten, welche in etwa der Datenmenge der vorhandenen Trainingsdaten entspricht. Demnach wird eine Vervielfachung der Datenmenge an veränderten Trainingsdaten durch vielfache erneut Durchführung von Schritt b) ermöglicht.The variation of the algorithm and the later execution of step a) later enable the generation of changed training data with a data volume that exceeds the data volume of the existing training data many times over. With each new execution there is an additional amount of data for the changed training data, which corresponds approximately to the amount of data of the existing training data. Accordingly, the data quantity of changed training data can be multiplied by performing step b) again many times.
Bevorzugt ist der Algorithmus dergestalt, dass Trainingsdaten komprimiert werden.The algorithm is preferably such that training data is compressed.
Die Verwendung einer Datenkompression ermöglicht eine technisch etablierte und dadurch schnelle und einfache Veränderung der vorhandenen Trainingsdaten. Zudem wird durch Datenkompression sichergestellt, dass die Daten nicht derartig verändert werden, dass sie für eine Verwendung als Trainingsdaten für ein neuronales Netz unbrauchbar werden.The use of data compression enables a technically established and therefore quick and easy change of the existing training data. In addition, data compression ensures that the data are not changed in such a way that they become unusable for use as training data for a neural network.
Bevorzugt ist die Datenkompression eine verlusthafte Kompression.The data compression is preferably a lossy compression.
Für eine Datenkompression wird in Daten nach redundanten Dateneinheiten gesucht, welche dann entfernt werden. Dadurch wird die Größe der Daten reduziert. Bei einer verlusthaften Datenkompression werden auch Dateneinheiten entfernt, welche nicht vollständig redundant sind. Dabei werden bevorzugt solche nicht redundanten Daten entfernt, welche für einen Anwendungsfall nur eine geringe Relevanz aufweisen. Dies führt dazu, dass nach einer Dekompression die ursprünglichen Daten nicht vollständig wiederhergestellt werden können. Die Daten werden also durch eine Kompression verändert.For data compression, data is searched for redundant data units, which are then removed. This reduces the size of the data. In the event of lossy data compression, data units which are not completely redundant are also removed. It is preferred to remove non-redundant data that is of little relevance for an application. This means that the original data cannot be completely restored after decompression. The data is therefore changed by compression.
Veränderte Trainingsdaten umfassen Daten, welche ähnlich sind zu den vorhandenen Trainingsdaten. Für den Fall, dass die vorhandenen Trainingsdaten Bilddaten umfassen, welche ein Objekt zeigen, umfassen auch die veränderten Trainingsdaten, Bilddaten welche dasselbe Objekt zeigen. Durch die Datenkompression der Bilddaten sind die veränderten Trainingsdaten Bilddaten für einen menschlichen Betrachter kaum von den Bilddaten aus den vorhandenen Trainingsdaten zu unterscheiden. Die veränderten Trainingsdaten unterscheiden sich jedoch für das neuronale Netz derart von den vorhandenen Trainingsdaten, dass sie als zusätzliche Trainingsdaten zu den vorhandenen Trainingsdaten verwendet werden können.Modified training data include data that are similar to the existing training data. In the event that the existing training data include image data that show an object, the changed training data also include image data that show the same object. Due to the data compression of the image data, the changed training data image data for a human viewer can hardly be distinguished from the image data from the existing training data. However, the changed training data differ from the existing training data for the neural network in such a way that they can be used as additional training data in addition to the existing training data.
Durch die Datenkompression wird es ermöglicht, dass unkomprimierte Trainingsdaten nicht gespeichert werden müssen, so dass der benötigte Speicherplatz für die Trainingsdaten vorteilhaft reduziert wird. Weiterhin ermöglicht dies, dass Hardwaresysteme zum Erzeugen der vorhandenen Trainingsdaten kostengünstig ausgestaltet werden können.The data compression makes it possible that uncompressed training data does not have to be saved, so that the required one Storage space for the training data is advantageously reduced. Furthermore, this enables hardware systems to generate the existing training data at low cost.
Ein weiterer Vorteil von der Verwendung einer Datenkompression ist der, dass das neuronale Netz bei einem Einsatz für die Objekterkennung auch komprimierte Trainingsdaten verwenden kann. Dies ermöglicht ein weites Einsatzgebiet des neuronales Netzes. Zudem kann eine Hardwareumgebung für das neuronale Netz kostengünstiger ausgestaltet werden kann.Another advantage of using data compression is that the neural network can also use compressed training data when used for object recognition. This enables a wide range of applications for the neural network. In addition, a hardware environment for the neural network can be designed more cost-effectively.
Bevorzugt ist der Algorithmus dergestalt, dass Trainingsdaten dekomprimiert werden.The algorithm is preferably such that training data is decompressed.
Die Trainingsdaten sind erst nach einer Dekompression wieder zum Training des neuronalen Netzes verwendbar. Eine Dekompression ist für gängige Kompressionsverfahren schnell und einfach auf einer Vielzahl von Geräten durchführbar. Dies ermöglicht eine technisch etablierte Möglichkeit zur Verwendung der veränderten Trainingsdaten zum Training des neuronalen Netzes.The training data can only be used for training the neural network after decompression. Decompression can be carried out quickly and easily on a variety of devices for common compression methods. This enables a technically established possibility to use the changed training data for training the neural network.
Ein erfindungsgemäßes Computerprogrammprodukt umfasst ein Programm das, wenn es von einem Computer ausgeführt wird, den Computer veranlasst, ein erfindungsgemäßes Verfahren durchzuführen.A computer program product according to the invention comprises a program which, when executed by a computer, causes the computer to carry out a method according to the invention.
Eine erfindungsgemäße Rechenvorrichtung zum Erzeugen von Trainingsdaten für ein Neuronales Netz ist ausgebildet und eingerichtet, ein erfindungsgemäßes Verfahren durchzuführenA computing device according to the invention for generating training data for a neural network is designed and set up to carry out a method according to the invention
Ein erfindungsgemäßes neuronales Netz ist trainiert mit Trainingsdaten, welche erzeugt wurden mit einem erfindungsgemäßen Verfahren.A neural network according to the invention is trained with training data which were generated using a method according to the invention.
Die Vorteile des erfindungsgemäßen Verfahrens zum Erzeugen von Trainingsdaten für ein neuronales Netz ergeben sich in gleich Weise für ein erfindungsgemäßes Computerprogrammprodukt, eine erfindungsgemäße Rechenvorrichtung und ein erfindungsgemäßes neuronales Netz.The advantages of the method according to the invention for generating training data for a neural network result in the same way for a computer program product according to the invention, a computing device according to the invention and a neural network according to the invention.
Die abhängigen Ansprüche beschreiben vorteilhafte Ausführungsformen der Erfindung.The dependent claims describe advantageous embodiments of the invention.
Ein bevorzugtes Ausführungsbeispiel wird anhand der folgenden Figur näher erläutert.
-
1 zeigt schematisch ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zum Erzeugen vonTrainingsdaten 1 ,2 für einneuronales Netz 4 . Das Verfahren umfasst den Schritt:- a) Verändern von
vorhandenen Trainingsdaten 1 für einneuronales Netz 5 zuveränderten Trainingsdaten 2 für dasneuronale Netz 5 mittels einesAlgorithmus 3 .
- a) Verändern von
-
1 shows schematically an embodiment of a method according to the invention for generatingtraining data 1 ,2nd for a neural network4th . The process includes the step:- a) Change existing
training data 1 for aneural network 5 to changed training data2nd for theneural network 5 using an algorithm3rd .
- a) Change existing
Die Trainingsdaten
Das Verfahren umfasst den Schritt:
- b) Variieren des
Algorithmus 3 und erneutes Durchführen von Schritt a) zum Erzeugen zusätzlicherveränderter Trainingsdaten 2 für dasneuronale Netz 4 ,5 .
- b) Varying the algorithm
3rd and performing step a) again to generate additional changed training data2nd for the neural network4th ,5 .
Die Schritte a) und b) werden in diesem Ausführungsbeispiel 10.000 Mal durchgeführt. Die Datenmenge der veränderten Trainingsdaten
Der Algorithmus
In diesem Ausführungsbeispiel werden die vorhandenen Trainingsdaten
Der Algorithmus
Die vorhandenen Trainingsdaten
Das neuronale Netz
Die Bilder
Dies ermöglicht ein Training der Objekterkennung des neuronalen Netzes
Der Algorithmus
Durch die JPEG Norm wird eine verlusthafte Kompression derart ermöglicht, dass sich die vorhandenen Trainingsdaten
Das Variieren des Algorithmus
In diesem Ausführungsbeispiel erfolgt eine Variation des Algorithmus
Eine zusätzliche Variation erfolgt über das Wechseln zwischen 8 Bit und 12 Bit Kodierung und/oder über einen Wechsel zwischen Sequenzieller und/oder Progressiver Codierung.An additional variation takes place by changing between 8 bit and 12 bit coding and / or by changing between sequential and / or progressive coding.
Dies ermöglicht eine Vervielfältigung der vorhandenen Trainingsdaten
Die vorhandenen Trainingsdaten
Der Algorithmus
Der Algorithmus
Ein Ausführungsbeispiel eines erfindungsgemäßen Computerprogrammprodukts umfasst ein Programm das, wenn es von einem Computer ausgeführt wird, den Computer veranlasst, ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens durchzuführen.An embodiment of a computer program product according to the invention comprises a program which, when executed by a computer, causes the computer to carry out an embodiment of a method according to the invention.
Ein Ausführungsbeispiel einer erfindungsgemäßen Rechenvorrichtung
Ein Ausführungsbeispiel eines erfindungsgemäßen neuronales Netzes
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
- US 2018293706 [0002]US 2018293706 [0002]
Claims (10)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019113851.5 | 2019-05-23 | ||
DE102019113851.5A DE102019113851A1 (en) | 2019-05-23 | 2019-05-23 | Method for generating training data for a neural network |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102020002511A1 true DE102020002511A1 (en) | 2020-06-18 |
Family
ID=67224038
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102019113851.5A Withdrawn DE102019113851A1 (en) | 2019-05-23 | 2019-05-23 | Method for generating training data for a neural network |
DE102020002511.0A Pending DE102020002511A1 (en) | 2019-05-23 | 2020-04-25 | Method for generating training data for a neural network |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102019113851.5A Withdrawn DE102019113851A1 (en) | 2019-05-23 | 2019-05-23 | Method for generating training data for a neural network |
Country Status (1)
Country | Link |
---|---|
DE (2) | DE102019113851A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020203514A1 (en) | 2020-03-19 | 2021-09-23 | Zf Friedrichshafen Ag | Method for generating training data, vehicle and training system |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180293706A1 (en) | 2017-04-05 | 2018-10-11 | Here Global B.V. | Deep convolutional image up-sampling |
-
2019
- 2019-05-23 DE DE102019113851.5A patent/DE102019113851A1/en not_active Withdrawn
-
2020
- 2020-04-25 DE DE102020002511.0A patent/DE102020002511A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180293706A1 (en) | 2017-04-05 | 2018-10-11 | Here Global B.V. | Deep convolutional image up-sampling |
Also Published As
Publication number | Publication date |
---|---|
DE102019113851A1 (en) | 2019-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102016125918A1 (en) | Compressed recurrent neural network models | |
DE102020002511A1 (en) | Method for generating training data for a neural network | |
EP1606794A1 (en) | Speaker-dependent voice recognition method and voice recognition system | |
DE102021204550A1 (en) | Method for generating at least one data set for training a machine learning algorithm | |
DE112018007277T5 (en) | DEVICE AND METHOD FOR AUTOMATIC ERROR THRESHOLD DETECTION FOR IMAGES | |
EP3719651A1 (en) | Method for characterizing the operating state of a computer system | |
DE102009031872A1 (en) | Method and device for automatically searching for documents in a data memory | |
DE102007012634A1 (en) | Automatically creating a mesh of a component model | |
DE102021208759A1 (en) | Method of training a machine learning algorithm to generate test specifications for testing a software-based system | |
EP2137649B1 (en) | Automatic mesh generation method for a component model | |
DE102019119568A1 (en) | Method for identifying a conspicuous traffic situation | |
EP2812788A1 (en) | Method for deleting information, use of a method, computer program product and computer system | |
DE102020106953A1 (en) | Control validation procedure | |
DE102021213425A1 (en) | Method for generating an output based on an input | |
WO2023175376A1 (en) | Generating and assigning metadata | |
DE102019203010A1 (en) | Method for providing current data in a motor vehicle and data provision system | |
EP3494507B1 (en) | Method for checking the availability and integrity of a data object stored in a distributed manner | |
DE102020115192A1 (en) | Computer-implemented method for simulating an accident in a motor vehicle using a neural network | |
DE102004051771A1 (en) | Apparatus and methods for testing and determining test values | |
DE102021001518A1 (en) | Method for data-based communication between a first person and a second person by means of a communication system | |
WO2016146169A1 (en) | Determining behavior-similar components for a system | |
DE112019003220T5 (en) | Information processing apparatus, information processing system, program and information processing method | |
DE10147558A1 (en) | Process for developing a complex vehicle | |
DE102020207324A1 (en) | Plausibility check of the output of an image classifier with a generator for modified images | |
DE102017222549A1 (en) | Control procedure and speech dialogue system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R084 | Declaration of willingness to licence | ||
R230 | Request for early publication |