DE202021102086U1

DE202021102086U1 - Device for determining network configurations of a neural network while fulfilling a number of secondary conditions

Info

Publication number: DE202021102086U1
Application number: DE202021102086.5U
Authority: DE
Original assignee: Robert Bosch GmbH; Leibniz Universitaet Hannover; Albert Ludwigs Universitaet Freiburg
Current assignee: Robert Bosch GmbH; Leibniz Universitaet Hannover; Albert Ludwigs Universitaet Freiburg
Priority date: 2021-04-19
Filing date: 2021-04-19
Publication date: 2021-05-05
Anticipated expiration: 2031-04-20

Abstract

Vorrichtung zum Ermitteln einer Pareto Menge von Netzkonfigurationen, wobei die Netzkonfigurationen für ein neuronales Netz für eine vorgegebene Anwendung ermittelt werden und die vorgegebene Anwendung in Form von bereitgestellten Trainingsdaten bestimmt ist, wobei die Vorrichtung ein maschinenlesbares Speichermedium umfasst, auf dem Befehle gespeichert sind, die beim Ausführen durch einen Computer bewirkten, dass der Computer ein Verfahren mit folgenden Schritte ausführt:
a) Bereitstellen (S1) einer Mehrzahl von zufällig ausgewählten Netzkonfigurationen (a);
b) Trainieren (S2) von neuronalen Netzen konfiguriert mit den Netzkonfigurationen (α) auf den bereitgestellten Trainingdsdaten;
c) Ermitteln (S3) für jedes der trainierten neuronalen Netze eine Performance (accurancy);
d) Auswerten (S3) jeder der trainierten neuronalen Netze hinsichtlich zumindest eines vorgegebenen Optimierungsziels (n_pars);
e) Hinzufügen (S4) eines Tupels umfassend Netzkonfigurationen (α) und Performance (accurancy) und dem ausgewerteten Optimierungsziels (n_pars) zu einem weiteren Trainingsdatensatz,
f) Anpassen (S5) eines Vorhersagemodells abhängig von dem weiteren Trainingsdatensatz derart, dass das Vorhersagemodell gegeben einer der Netzkonfigurationen (α) aus dem weiteren Trainingsdatensatz zumindest deren jeweils zugeordneten Performance aus dem weiteren Trainingsdatensatz ausgibt;
g) Auswählen (S6) einer Vielzahl von Netzkonfigurationen unter Verwendung des Vorhersagemodells, sodass die ausgewählten Netzkonfigurationen ein vorgebbares Kriterium erfüllen;
h) Wiederhohlen der Schritte b) bis g) mit der Vielzahl der ausgewählten Netzkonfigurationen bis ein Abbruchkriterium erfüllt ist; und
i) Auswählen (S7) der Netzkonfigurationen (α) aus dem weiteren Trainingsdatensatz, welche eine Pareto-Menge hinsichtlich der Performance und des Optimierungsziels entspricht.

Device for determining a Pareto set of network configurations, the network configurations for a neural network being determined for a given application and the given application being determined in the form of provided training data, the device comprising a machine-readable storage medium on which commands are stored that were used in Running from a computer caused the computer to perform a procedure that included:
a) providing (S1) a plurality of randomly selected network configurations (a);
b) training (S2) of neural networks configured with the network configurations (α) on the provided training data;
c) determining (S3) a performance (accurancy) for each of the trained neural networks;
d) evaluating (S3) each of the trained neural networks with regard to at least one predetermined optimization target (n_pars);
e) adding (S4) a tuple comprising network configurations (α) and performance (accurancy) and the evaluated optimization target (n_pars) to a further training data set,
f) adapting (S5) a prediction model as a function of the further training data set in such a way that the prediction model, given one of the network configurations (α) from the further training data set, outputs at least its respectively assigned performance from the further training data set;
g) selecting (S6) a plurality of network configurations using the prediction model, so that the selected network configurations meet a predeterminable criterion;
h) repeating steps b) to g) with the plurality of selected network configurations until an abort criterion is met; and
i) Selecting (S7) the network configurations (α) from the further training data set, which correspond to a Pareto set in terms of performance and the optimization goal.

Description

Die Erfindung betrifft eine Vorrichtung zum Ermitteln einer Mehrzahl von Netzkonfigurationen eines neuronalen Netzes für einen gegebenen Trainingsdatensatz, sodass die Konfigurationen eine Mehrzahl von Nebenbedingungen hinsichtlich Optimierungszielen erfüllen, eine Trainingsvorrichtung, ein Computerprogramm und ein maschinenlesbares Speichermedium.The invention relates to a device for determining a plurality of network configurations of a neural network for a given training data set so that the configurations meet a plurality of secondary conditions with regard to optimization goals, a training device, a computer program and a machine-readable storage medium.

Stand der TechnikState of the art

Die Eigenschaften von neuronalen Netzen werden maßgeblich durch ihre Architektur bestimmt. Die Architektur eines neuronalen Netzes ist beispielsweise durch dessen Netzkonfiguration definiert, die u.a. durch die Anzahl der Neuronenschichten, die Art der Neuronenschichten (lineare Transformationen, nichtlineare Transformationen, Normalisierung, Verknüpfung mit weiteren Neuronenschichten usw.), die Anzahl der Gewichte und dergleichen gegeben ist. Insbesondere bei zunehmender Komplexität der Anwendungen bzw. der zu lösenden Aufgaben ist das zufällige Auffinden von geeigneten Netzkonfigurationen aufwändig, da jeder Kandidat einer Netzkonfiguration zunächst trainiert werden muss, um dessen Leistungsfähigkeit evaluieren zu können.The properties of neural networks are largely determined by their architecture. The architecture of a neural network is defined, for example, by its network configuration, which is given, among other things, by the number of neuron layers, the type of neuron layers (linear transformations, non-linear transformations, normalization, linking with other neuron layers, etc.), the number of weights and the like. In particular with increasing complexity of the applications or the tasks to be solved, the random finding of suitable network configurations is time-consuming, since each candidate of a network configuration must first be trained in order to be able to evaluate its performance.

Aus dem Stand der Technik sind diverse Ansätze zur Architektursuche von neuronalen Netzen, um eine hinsichtlich eines Vorhersagefehlers und hinsichtlich eines oder mehrerer Optimierungsziele optimierte Konfiguration eines neuronalen Netzes für eine bestimmte Anwendung aufzufinden, bekannt. Various approaches are known from the prior art for the architecture search of neural networks in order to find a configuration of a neural network for a specific application that is optimized with regard to a prediction error and with regard to one or more optimization goals.

Beispielsweise offenbart EP 19719232 ein Verfahren zum Ermitteln einer geeigneten Netzkonfiguration für ein neuronales Netz für eine vorgegebene Anwendung aus einer Menge von optimalen Netzkonfigurationen.For example disclosed EP 19719232 a method for determining a suitable network configuration for a neural network for a given application from a set of optimal network configurations.

Die Autoren Kaifeng Yang and Michael Emmerich and Andre Deutz and Thomas Bäck offenbaren in ihrer Veröffentlichung „Efficient Computation of Expected Hypervolume Improvement Using Box Decomposition Algorithms“, online abrufbar: https://arxiv.org/abs/1904.12672 ein effizientes Verfahren, um eine erwartete Hypervolumenverbesserung (engl. Expected Hypervolume Improvement, EHVI) abzuschätzen.The authors Kaifeng Yang and Michael Emmerich and Andre Deutz and Thomas Bäck disclose in their publication “Efficient Computation of Expected Hypervolume Improvement Using Box Decomposition Algorithms”, available online: https://arxiv.org/abs/1904.12672, an efficient method for a Estimate expected hypervolume improvement (EHVI).

Die Autoren Colin White, Willie Neiswanger und Yash Savani offenbaren in ihrer Veröffentlichung „BANANAS: Bayesian Optimization with Neural Architectures for Neural Architecture Search“, online abrufbar: https://arxiv.org/abs/1904.12672 offenbaren ein Ensemble von neuronalen Netzen für eine Bayes'sches Optimierungsframework.The authors Colin White, Willie Neiswanger and Yash Savani reveal in their publication "BANANAS: Bayesian Optimization with Neural Architectures for Neural Architecture Search", available online: https://arxiv.org/abs/1904.12672 reveal an ensemble of neural networks for one Bayesian optimization framework.

Vorteile der ErfindungAdvantages of the invention

Eine Aufgabe der Erfindung ist es, ein Verfahren bereitzustellen, welches ermöglicht, mit geringem Rechenaufwand eine Menge von optimalen Netzkonfigurationen, die jeweils hinsichtlich einer Mehrzahl von Nebenbedingungen optimal sind (also auf einer Pareto-Front liegen), aufzufinden. Die Menge der optimalen Netzkonfigurationen wird im Folgenden auch Pareto-Menge genannt.One object of the invention is to provide a method which enables a set of optimal network configurations to be found with little computational effort, each of which is optimal with regard to a plurality of secondary conditions (that is, on a Pareto front). The set of optimal network configurations is also called the Pareto set in the following.

Ein Vorteil der Erfindung ist es, dass mit dem beanspruchten Verfahren die Pareto-Front weiter in eine positive Richtung verschoben wird, also gegenüber bekannten Verfahren eine überlegenere Pareto-Front aufgefunden werden kann.One advantage of the invention is that with the claimed method the Pareto front is shifted further in a positive direction, that is to say a superior Pareto front can be found compared to known methods.

Ein weiterer Vorteil ist ferner, dass anhand der Pareto-Front diejenige Netzkonfiguration ausgewählt werden kann, die für eine gegebene Hardware mit begrenzten Ressourcen optimal ist. So kann bspw. anhand der Pareto-Front diejenigen Netzkonfigurationen ausgewählt werden, die optimal eine Hardwarebeschränkung (z.B. Speicherplatz, Rechenleistung, Energiebudget, Bandbreite, o.ä.) ausnutzt und unter dieser Einschränkung die höchste Leistungsfähigkeit erzielt. Dies ist ein bedeutender Vorteil, da in vielen praktischen Anwendungen unterschiedlich ausgelegte Hardwarebauteile zur Lösung der gleichen Aufgabe für Kunden bereitgestellt werden und anhand der Pareto-Front effizient die geeigneten Netzkonfigurationen für die unterschiedlich ausgelegten Hardwarebauteile direkt appliziert werden können.Another advantage is that the network configuration that is optimal for a given hardware with limited resources can be selected on the basis of the Pareto front. For example, the Pareto front can be used to select those network configurations that optimally utilize a hardware limitation (e.g. storage space, computing power, energy budget, bandwidth, etc.) and achieve the highest performance under this limitation. This is a significant advantage, since in many practical applications differently designed hardware components are provided for the solution of the same task for customers and the suitable network configurations for the differently designed hardware components can be applied efficiently using the Pareto front.

Offenbarung der ErfindungDisclosure of the invention

In einem ersten Aspekt betrifft die Erfindung ein computerimplementiertes Verfahren zum Ermitteln einer Pareto Menge von Netzkonfigurationen. Unter einer Pareto Menge kann eine Mehrzahl von Netzkonfigurationen verstanden werden, bei welchen es nicht möglich ist, eine (Ziel-) Eigenschaft, insbesondere ein Optimierungsziel, zu verbessern, ohne zugleich eine andere verschlechtern zu müssen. Unter einer Netzkonfiguration kann eine Architektur des neuronalen Netzes verstanden werden, d.h. ein Aufbau, wie beispielsweise durch folgende Merkmale charakterisiert: Anzahl der Schichten, Anzahl der Filter, Größe der Filter, Dropout-Rate, Anzahl der Neuronen pro Schicht, Skip-Connection, Batch-Normalisierungsschichten, Poolingschichten, o.ä.In a first aspect, the invention relates to a computer-implemented method for determining a Pareto set of network configurations. A Pareto set can be understood to mean a plurality of network configurations in which it is not possible to improve one (target) property, in particular an optimization target, without having to worsen another at the same time. A network configuration can be understood to mean an architecture of the neural network, ie a structure as characterized, for example, by the following features: number of layers, number of filters, size of filters, dropout rate, number of neurons per layer, skip connection, batch -Normalization layers, pooling layers, etc.

Die Netzkonfigurationen für ein neuronales Netz werden vorzugsweise für eine vorgegebene Anwendung ermittelt und die vorgegebene Anwendung ist in Form von bereitgestellten Trainingsdaten bestimmt.The network configurations for a neural network are preferably determined for a given application and the given application is determined in the form of provided training data.

Das Verfahren beginnt mit einem Bereitstellen einer Mehrzahl von zufällig ausgewählten Netzkonfigurationen (α).The method begins with providing a plurality of randomly selected network configurations (α).

Daraufhin folgt ein Trainieren von neuronalen Netzen konfiguriert mit den Netzkonfigurationen (α) auf den bereitgestellten Trainingdsdaten. Vorzugsweise umfassen die Netzkonfigurationen auch Hyperparameter (λ), wie z.B. eine Lernrate, Regularisierungen, ein Lernalgorithums zum Trainieren des neuronalen Netzes (z.B. Ada, SGD, etc.), usw. sein.This is followed by training of neural networks configured with the network configurations (α) on the provided training data. The network configurations preferably also include hyperparameters (λ), such as a learning rate, regularizations, a learning algorithm for training the neural network (e.g. Ada, SGD, etc.), etc.

Daraufhin folgt ein Ermitteln für jedes der trainierten neuronalen Netze eine Performance (accurancy), wobei die Performance ein Optimierungsziel ist.This is followed by a determination of a performance (accurancy) for each of the trained neural networks, the performance being an optimization goal.

Daraufhin folgt ein Auswerten jeder der trainierten neuronalen Netze hinsichtlich zumindest eines vorgegebenen Optimierungsziels (n_pars). Vorzugsweise gibt es eine Mehrzahl von weiteren Optimierungszielen und zumindest ein Optimierungsziel charakterisiert eine beschränkte Ressource einer Hardware. Besonders bevorzugt ist ein Optimierungsziel eine Anzahl von Parametern des neuronalen Netzes (n_pars).This is followed by an evaluation of each of the trained neural networks with regard to at least one predetermined optimization target (n_pars). There are preferably a plurality of further optimization goals and at least one optimization goal characterizes a limited hardware resource. An optimization goal is particularly preferably a number of parameters of the neural network (n_pars).

Daraufhin folgt ein Hinzufügen eines Tupels umfassend Netzkonfigurationen (α) und Performance (accurancy) und dem ausgewerteten Optimierungsziels (n_pars) zu einem weiteren Trainingsdatensatz.This is followed by adding a tuple comprising network configurations (α) and performance (accurancy) and the evaluated optimization target (n_pars) to a further training data set.

Daraufhin folgt ein Anpassen eines Vorhersagemodells abhängig von dem weiteren Trainingsdatensatz derart, dass das Vorhersagemodell gegeben einer der Netzkonfigurationen (α) aus dem weiteren Trainingsdatensatz zumindest deren jeweils zugeordneten Performance aus dem weiteren Trainingsdatensatz ausgibt.This is followed by an adaptation of a prediction model depending on the further training data set in such a way that the prediction model, given one of the network configurations (α) from the further training data set, outputs at least its respectively assigned performance from the further training data set.

Daraufhin folgt ein Auswählen einer Vielzahl von Netzkonfigurationen unter Verwendung des Vorhersagemodells.This is followed by selecting a plurality of network configurations using the predictive model.

Daraufhin folgt ein Wiederhohlen der eben genannten Schritte des Trainierens der Netze mit den ausgewählten Netzkonfigurationen bis zum erneuten Auswählen einer Vielzahl von Netzkonfigurationen, bis ein Abbruchkriterium erfüllt ist.This is followed by repeating the steps just mentioned of training the networks with the selected network configurations until a large number of network configurations are selected again until a termination criterion is met.

Daraufhin folgt ein Auswählen der Netzkonfigurationen (α) aus dem weiteren Trainingsdatensatz, welche eine Pareto-Menge hinsichtlich der Performance und des Optimierungsziels entspricht.This is followed by selection of the network configurations (α) from the further training data set, which correspond to a Pareto set with regard to performance and the optimization goal.

Das Abbruchkriterium kann das Eintreten mindestens eines der folgenden Ereignisse definieren: eine vorbestimmte Anzahl von Wiederholungen wurde erreicht, oder ein vorbestimmter Wert für die Performance wurde durch mindestens eine der Netzkonfiguration erreicht, oder ein vorgegebenes Budget von Zeit, Rechenleistung oder ähnliches wurde aufgebraucht.The termination criterion can define the occurrence of at least one of the following events: a predetermined number of repetitions has been achieved, or a predetermined value for the performance has been achieved by at least one of the network configuration, or a predetermined budget of time, computing power or the like has been used up.

Vorzugsweise wird die Pareto-Menge hinsichtlich der Performance der eines Vorhersagefehlers und mindestens eines weiteren Optimierungsziels, wie eine Anzahl der Parameter des neuronalen Netzes ermittelt.The Pareto set is preferably determined with regard to the performance of a prediction error and at least one further optimization goal, such as a number of the parameters of the neural network.

Optional kann nach dem das Verfahren zum Ermitteln der Pareto-Front abgeschlossen wurde, ein Auswählen der geeigneten Netzkonfiguration aus der aktuellen Netzkonfigurationsmenge erfolgen. Hierbei kann aus der Menge der optimalen Netzkonfiguration abhängig von einem vorgegebenen Optimierungsziel, diejenige Netzkonfiguration aus der Pareto-Front entnommen werden, die dieses Optimierungsziel erfüllt. Z.B. kann die geeignete Netzkonfiguration aus der aktuellen Netzkonfigurationsmenge basierend auf einer Gesamtkostenfunktion ausgewählt werden, die von dem Vorhersagefehler und Ressourcenkosten hinsichtlich des mindestens eines Optimierungsziels abhängt.Optionally, after the method for determining the Pareto front has been completed, the suitable network configuration can be selected from the current network configuration set. From the set of the optimal network configuration, depending on a given optimization target, that network configuration can be taken from the Pareto front that fulfills this optimization target. For example, the appropriate network configuration can be selected from the current network configuration set based on an overall cost function that depends on the prediction error and resource costs with regard to the at least one optimization goal.

Es wird vorgeschlagen, dass das Vorhersagemodell ein Gaussprozess umfasst, wobei das Auswählen einer Vielzahl von Netzkonfigurationen (α) derart erfolgt, dass die ausgewählten Netzkonfigurationen einen erwartete Hypervolumenverbesserung (engl. Expected Hypervolume Improvement, ehvi) maximieren, wobei die erwartete Hypervolumenverbesserung (ehvi) abhängig von dem weiteren Trainingsdatensatz, dem Gaussprozess und ein deterministisches Modell, welches das Optimierungsziel (n_pars) abhängig von einer vorgebbaren Netzkonfiguration ermittelt, ermittelt werden.It is proposed that the prediction model includes a Gaussian process, the selection of a large number of network configurations (α) taking place in such a way that the selected network configurations maximize an expected hypervolume improvement (ehvi), the expected hypervolume improvement (ehvi) being dependent from the further training data set, the Gaussian process and a deterministic model which determines the optimization target (n_pars) as a function of a specifiable network configuration.

Es sei angemerkt, dass das Trainieren des Gaussprozesses auf dem weiteren Trainingsdatensatz zur Vorhersage der Performance dient, wobei insbesondere der Gaussprozess eingerichtet ist, dass dieser abhängig von einer Netzkonfiguration deren Performance abschätzt.It should be noted that the training of the Gaussian process on the further training data set serves to predict the performance, the Gaussian process in particular being set up so that it estimates its performance as a function of a network configuration.

Vorteilhaft hierbei ist, dass kein Blackbox Modell für das Optimierungsziel benötigt wird, da hier das deterministische Modell verwendet wird. Dies führt dazu, dass das Verfahren schneller zu Beginn in eine Konvergenz eintritt sowie auch zeitlich schneller zum Optimum konvergiert ist.The advantage here is that no black box model is required for the optimization goal, since the deterministic model is used here. This leads to the fact that the method enters a convergence more quickly at the beginning and has also converged to the optimum more quickly in time.

Die Hypervolumenverbesserung ehvi kann wie folgt bestimmt werden: Zum Beispiel gemäß der Veröffentlichung von M. T. M. Emmerich, K. C. Giannakoglou and B. Naujoks, „Single- and multiobjective evolutionary optimization assisted by Gaussian random field metamodels,“ in IEEE Transactions on Evolutionary Computation, vol. 10, no. 4, pp. 421-439, Aug. 2006, doi: 10.1109/TEVC.2005.859463. oder gemäß einer der nachfolgenden Arbeiten, siehe Übersicht in der Introduction der oben genannten Veröffentlichung von Yang et al.The hypervolume improvement ehvi can be determined as follows: For example, according to the publication by MTM Emmerich, KC Giannakoglou and B. Naujoks, “Single- and multiobjective evolutionary optimization assisted by Gaussian random field metamodels,” in IEEE Transactions on Evolutionary Computation, vol. 10, no. 4, pp. 421-439, Aug. 2006, doi: 10.1109 / TEVC.2005.859463. or according to one of the following work, see overview in the Introduction of the above-mentioned publication by Yang et al.

Weiterhin wird vorgeschlagen, dass das Vorhersagemodell eine Mehrzahl von neuronalen Netzten umfasst. Diese Mehrzahl der neuronalen Netze kann auch als Ensemble bezeichnet werden. Diese neuronalen Netze werden auf dem weiteren Trainingsdatensatz derart angelernt werden, dass diese jeweils für eine vorgegebene Netzkonfiguration die Performance und eine Zuverlässigkeit (engl. confidence) der vorhergesagten Performance vorhersagen. Beim Schritt des Auswählens einer Vielzahl von neuen Netzkonfigurationen wird dann unter Verwendung des Vorhersagemodells zuerst die Netzkonfigurationen aus dem weiteren Trainingsdatensatz nach einer vorgebbaren Reihenfolge sortiert, wobei aus der sortierten Reihenfolge der Netzkonfiguration zufällig eine vorgegebene Anzahl der besten Netzkonfigurationen gemäß der vorgegebenen Reihenfolge gezogen werden. Die gezogenen Netzkonfigurationen werden zufällig mutiert, wobei beim Auswerten der mutierten Netzkonfigurationen die Auswertung anhand des Vorhersagesmodells erfolgt.It is also proposed that the prediction model include a plurality of neural networks. This majority of neural networks can also be referred to as an ensemble. These neural networks are trained on the further training data set in such a way that they predict the performance and confidence of the predicted performance for a given network configuration. In the step of selecting a large number of new network configurations, using the prediction model, the network configurations from the further training data set are first sorted according to a predeterminable order, with a predefined number of the best network configurations being randomly drawn from the sorted order of the network configuration in accordance with the predefined order. The network configurations drawn are mutated at random, with the evaluation of the mutated network configurations being carried out using the prediction model.

Vorzugsweise erfolgt die Mutation durch eine Gaussmutation durch zufälliges Hinzufügen von Schichten oder Kombinieren von zumindest zwei zufällig gezogenen Netzkonfigurationen erfolgt.The mutation is preferably carried out by a Gaussian mutation by the random addition of layers or the combination of at least two randomly drawn network configurations.

Vorzugsweise werden hierfür zusätzliche faltende Schichten oder vollvermaschte Schichten an einer zufälligen Position hinzugefügt. D.h. die Netzkonfiguration wird derart verändert, dass diese einen Aufbau des neuronalen Netzes charakterisiert, welches sich gegenüber dem ursprünglichen neuronalen Netz mit der ursprünglichen Netzkonfiguration darin unterscheidet, dass an einer zufälligen Position innerhalb des neuronalen Netzes eine Schicht hinzugefügt wurde.For this purpose, additional folding layers or fully meshed layers are preferably added at a random position. This means that the network configuration is changed in such a way that it characterizes a structure of the neural network which differs from the original neural network with the original network configuration in that a layer was added at a random position within the neural network.

Denkbar ist auch, dass die Mutation durch Netzwerkmorphismen entsprechen vorbestimmten Regeln ausgeführt wird, die mithilfe eines Operators bestimmt sein können. Allgemein ist ein Netzwerkmorphismus ein Operator T, der ein neuronales Netz N auf ein Netz TN abbildet, wobei gilt: $N^{w} (x) = {(T N)}^{\tilde{w}} (x) f \ddot{u} r x \in X$

dabei sind w die Netzparameter (Gewichtungen) des neuronalen Netzes N und w̃ die Netzparameter des variierten neuronalen Netzes TN. X entspricht dem Raum, auf dem das neuronale Netz angewendet wirdIt is also conceivable that the mutation is carried out by network morphisms in accordance with predetermined rules that can be determined with the aid of an operator. In general, a network morphism is an operator T that maps a neural network N onto a network TN, where:

N^{w} (x) = {(T N)}^{\tilde{w}} (x) f \ddot{u} r x \in X

where w are the network parameters (weightings) of the neural network N and w̃ the network parameters of the varied neural network TN. X corresponds to the space in which the neural network is applied

Weiterhin wird vorgeschlagen, dass zumindest eines der Optimierungsziele eine physikalische Eigenschaft einer Hardwarekomponente charakterisiert, wobei ein neuronales Netz konfiguriert mit einer der Netzkonfigurationen auf der Hardwarekomponente ausgeführt wird.It is further proposed that at least one of the optimization goals characterize a physical property of a hardware component, a neural network configured with one of the network configurations being executed on the hardware component.

Weiterhin kann eine geeignete Netzkonfiguration aus der Pareto Menge basierend auf einer Gesamtkostenfunktion ausgewählt werden, die von der Performance, insbesondere dem Vorhersagefehler, und Ressourcenkosten hinsichtlich des mindestens eines Optimierungsziels abhängt.Furthermore, a suitable network configuration can be selected from the Pareto set based on an overall cost function that depends on the performance, in particular the prediction error, and resource costs with regard to the at least one optimization goal.

Weiterhin wird vorgeschlagen, dass das beim Optimieren der Netzkonfigurationen diese derart eingerichtet werden, dass diese für computerbasiertes Sehen (engl. computer vision), insbesondere für Bildklassifikationen, verwendet werden können.It is also proposed that when the network configurations are optimized, they are set up in such a way that they can be used for computer-based vision, in particular for image classifications.

Weiterhin wird vorgeschlagen, dass die Netzkonfigurationen für ein neuronales Netz zur Verwendung als Bildklassifikator optimiert werden. Der Bildklassifikator ordnet ein Eingabebild einer oder mehreren Klassen einer vorgegebenen Klassifikation zu. Als Eingabebilder können beispielsweise Bilder von in Serie gefertigten, nominell identischen Produkten verwendet werden. Der Bildklassifikator kann beispielsweise darauf trainiert sein, die Eingabebilder einer oder mehreren von mindestens zwei möglichen Klassen zuzuordnen, die eine Qualitätsbeurteilung des jeweiligen Produkts repräsentieren.It is also proposed that the network configurations for a neural network be optimized for use as an image classifier. The image classifier assigns an input image to one or more classes of a predetermined classification. For example, images of serially manufactured, nominally identical products can be used as input images. The image classifier can, for example, be trained to assign the input images to one or more of at least two possible classes that represent a quality assessment of the respective product.

Der Begriff des Bildes umfasst grundsätzlich jede in einem zwei- oder mehrdimensionalen Raster angeordnete Verteilung von Informationen. Diese Informationen können beispielsweise Intensitätswerte von Bildpixeln sein, die mit einer beliebigen Abbildungsmodalität, wie etwa mit einer optischen Kamera, mit einer Wärmebildkamera oder mit Ultraschall, aufgenommen wurden. Es können jedoch auch beliebige andere Daten, wie beispielsweise Audiodaten, Radardaten oder LIDAR-Daten, in Bilder übersetzt und dann gleichermaßen klassifiziert werden.The concept of the image basically encompasses any distribution of information arranged in a two- or multi-dimensional grid. This information can be, for example, intensity values of image pixels that were recorded with any imaging modality, such as with an optical camera, with a thermal imaging camera or with ultrasound. However, any other data, such as audio data, radar data or LIDAR data, can also be translated into images and then classified in the same way.

Gemäß einem zweiten Aspekt ist eine Verwendung eines neuronalen Netzes mit einer Netzkonfiguration, die mit dem obigen Verfahren für die vorgegebene Anwendung erstellt worden ist, für die vorgegebene Anwendung, wobei das neuronale Netz insbesondere zur Realisierung von Funktionen eines technischen Systems, insbesondere eines Roboters, eines Fahrzeugs, eines Werkzeugs oder einer Werkmaschine ausgelegt ist. Hier kann z.B. das neuronale Netz konfiguriert mit einer der Netzkonfigurationen, abhängig von einer erfassten Sensorgröße eines Sensors eine Ausgangsgröße ermittelt, abhängig von welcher daraufhin eine Steuergröße mittels z.B. einer Steuereinheit, insbesondere des technischen Systems, ermittelt werden kann.According to a second aspect is a use of a neural Network with a network configuration that has been created with the above method for the specified application, for the specified application, the neural network being designed in particular to implement functions of a technical system, in particular a robot, a vehicle, a tool or a machine tool . Here, for example, the neural network configured with one of the network configurations can determine an output variable depending on a detected sensor variable of a sensor, from which a control variable can then be determined by means of a control unit, in particular the technical system, for example.

In einem dritten Aspekt betrifft die Erfindung ein Verfahren zum Bereitstellen eines neuronalen Netzes mit einer Netzkonfiguration, die mit einem Verfahren nach dem ersten Aspekt erstellt worden ist, wobei das neuronale Netz insbesondere zur Realisierung von Funktionen eines technischen Systems, insbesondere eines Roboters, eines Fahrzeugs, eines Werkzeugs oder einer Werkmaschine ausgelegt ist.In a third aspect, the invention relates to a method for providing a neural network with a network configuration that has been created using a method according to the first aspect, the neural network in particular for realizing functions of a technical system, in particular a robot, a vehicle, of a tool or a machine tool.

Gemäß einem weiteren Aspekt ist ein Steuergerät, insbesondere zum Steuern von Funktionen eines technischen Systems, insbesondere eines Roboters, eines Fahrzeugs, eines Werkzeugs oder einer Werkmaschine, mit einem neuronalen Netz vorgesehen, das mithilfe des obigen Verfahrens konfiguriert wird.According to a further aspect, a control device, in particular for controlling functions of a technical system, in particular a robot, a vehicle, a tool or a machine tool, is provided with a neural network that is configured using the above method.

In weiteren Aspekten betrifft die Erfindung eine Vorrichtung sowie ein Computerprogramm, die jeweils eingerichtet sind, die obigen Verfahren auszuführen und ein maschinenlesbares Speichermedium, auf dem dieses Computerprogramm gespeichert ist.In further aspects, the invention relates to a device and a computer program, each of which is set up to carry out the above methods, and a machine-readable storage medium on which this computer program is stored.

Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen:

1 eine schematische Darstellung eines beispielhaften neuronalen Netzes;
2 eine mögliche Netzkonfiguration eines neuronalen Netzes;
3 ein Flussdiagramm zur Darstellung eines Verfahrens zum Ermitteln einer pareto-optimalen Menge von Netzkonfigurationen für das Ermitteln eines geeigneten Netzkonfigurationskandidaten für eine vorgegebene Anwendung;
4 eine schematische Darstellung einer Pareto-Front von Netzkonfigurationen abhängig von dem Vorhersagefehler und einem weiteren Optimierungsparameter, insbesondere einem Ressourcen-Nutzungsparameter; und
5 einen möglichen Aufbau einer Vorrichtung zum Ausführen des Verfahrens;

Embodiments of the invention are explained in more detail below with reference to the accompanying drawings. In the drawings show:

1 a schematic representation of an exemplary neural network;
2 a possible network configuration of a neural network;
3 a flowchart to illustrate a method for determining a Pareto-optimal set of network configurations for determining a suitable network configuration candidate for a given application;
4th a schematic representation of a Pareto front of network configurations depending on the prediction error and a further optimization parameter, in particular a resource usage parameter; and
5 a possible structure of a device for carrying out the method;

1 zeigt exemplarisch einen Aufbau eines neuronalen Netzes 1, das in der Regel aus mehreren kaskadierten Neuronenschichten 2 von jeweils mehreren Neuronen 3 aufweist. Die Neuronenschichten 2 weisen eine Eingangsschicht 2E zum Anlegen von Eingangsdaten, mehrere Zwischenschichten 2Z und eine Ausgangsschicht 2A zum Ausgeben von Berechnungsergebnissen auf. 1 shows an example of the structure of a neural network 1 , which usually consists of several cascaded layers of neurons 2 of several neurons each 3 having. The layers of neurons 2 have an entrance layer 2E for creating input data, several intermediate layers 2Z and an output layer 2A to output calculation results.

Die Neuronen 3 der Neuronenschichten 2 können dabei einer herkömmlichen Neuronen-Funktion $O_{j} = φ (\sum_{i = 1}^{M} (x_{i} w_{i, j}) - θ_{j})$

entsprechen, wobei O_j dem Neuronenausgang des Neurons, φ der Aktivierungsfunktion, x_i dem jeweiligen Eingangswert des Neurons, w_i,j einem Gewichtungsparameter für den i-ten Neuroneneingang in der j-ten Neuronenschicht und θ_j einer Aktivierungsschwelle entsprechen. Die Gewichtungsparameter, die Aktivierungsschwelle und die Wahl der Aktivierungsfunktion können als Neuronenparameter in Registern des Neurons gespeichert sein.The neurons 3 the layers of neurons 2 can do a conventional neuron function

O_{j} = φ (\sum_{i = 1}^{M.} (x_{i} w_{i, j}) - θ_{j})

_{O j} correspond to the neuron output of the neuron, φ the activation function, x _i the respective input value of the neuron, w _{i, j} a weighting parameter for the i-th neuron _{input in the j-th neuron layer and θ j} an activation threshold. The weighting parameters, the activation threshold and the selection of the activation function can be stored as neuron parameters in registers of the neuron.

Die Neuronenausgänge eines Neurons 3 können jeweils als Neuroneneingänge an Neuronen 3 der übrigen Neuronenschichten, d. h. einer der nachfolgenden oder einer der vorangehenden Neuronenschichten 2, weitergegeben oder, wenn es sich um ein Neuron 3 der Ausgangsschicht 2A handelt, als ein Berechnungsergebnis ausgegeben werden.The neuron outputs of a neuron 3 can each be used as neuron inputs to neurons 3 of the remaining neuron layers, ie one of the subsequent or one of the preceding neuron layers 2 , passed or if it is a neuron 3 the output layer 2A is output as a calculation result.

So gebildete neuronale Netze 1 können als Software oder mithilfe einer Berechnungshardware realisiert sein, die einen Teil oder das gesamte neuronale Netz als elektronische (integrierte) Schaltung abbildet. Eine solche Berechnungshardware wird üblicherweise dann zum Aufbau eines neuronalen Netzes gewählt, wenn die Berechnung sehr schnell erfolgen soll, was mit Umsetzung in Software nicht zu erreichen wäre.Neural networks formed in this way 1 can be implemented as software or with the help of calculation hardware that maps part or the entire neural network as an electronic (integrated) circuit. Such computation hardware is usually chosen to build a neural network when the computation is to be carried out very quickly, which could not be achieved with implementation in software.

Die Struktur der entsprechenden Software oder Hardware wird durch die Netzkonfiguration vorgegeben, die durch eine Vielzahl von Konfigurationsparametern bestimmt ist. Die Netzkonfiguration bestimmt die Berechnungsvorschriften des neuronalen Netzes. Die Konfigurationsparameter umfassen bei einer herkömmlichen Netzkonfiguration, wie sie beispielsweise in 1 schematisch gezeigt ist, die Anzahl der Neuronenschichten, die jeweilige Anzahl von Neuronen in jeder Neuronenschicht, die Netzparameter, die durch die Gewichtungen, die Aktivierungsschwelle sowie eine Aktivierungsfunktion gegeben sind, Angaben zur Kopplung eines Neurons mit Eingangs- und Ausgangsneuronen und dergleichen.The structure of the corresponding software or hardware is specified by the network configuration, which is determined by a large number of configuration parameters. The network configuration determines the calculation rules of the neural network. The configuration parameters include in a conventional network configuration, as for example in 1 is shown schematically, the number of neuron layers, the respective number of neurons in each neuron layer, the network parameters given by the weightings, the activation threshold and an activation function, information on the coupling of a neuron with input and output neurons and the like.

Abgesehen von der oben beschriebenen Netzkonfiguration sind weitere Konfigurationen von neuronalen Netzen möglich, bei der Neuronen vorgesehen sind, die eingangsseitig mit Neuronen aus verschiedenen Neuronenschichten und ausgangsseitig mit Neuronen verschiedener Neuronenschichten gekoppelt sind. Weiterhin können diesbezüglich insbesondere auch Neuronenschichten vorgesehen sein, die eine Rückkopplung vorsehen, d. h. die eingangsseitig mit Neuronenschichten, die bezüglich des Datenflusses ausgangsseitig der betreffenden Neuronenschicht vorgesehen sind. Diesbezüglich zeigt 2 schematisch eine mögliche Konfiguration eines neuronalen Netzes mit mehreren Schichten L1 bis L6, die zunächst in an sich bekannter Weise, wie in 1 schematisch dargestellt, miteinander gekoppelt sind, d.h. Neuroneneingänge sind mit Neuronenausgängen der vorangehenden Neuronenschicht verbunden. Ferner weist die Neuronenschicht L3 einen Bereich auf, der eingangsseitig mit Neuronenausgängen der Neuronenschicht L5 gekoppelt ist. Auch kann die Neuronenschicht L4 vorsehen, eingangsseitig mit Ausgängen der Neuronenschicht L2 verbunden zu sein.Apart from the network configuration described above, further configurations of neural networks are possible in which neurons are provided which are coupled on the input side to neurons from different neuron layers and on the output side to neurons from different neuron layers. Furthermore, neuron layers can also be provided in this regard which provide feedback, ie the input side with neuron layers which are provided on the output side of the relevant neuron layer with regard to the data flow. In this regard shows 2 schematically a possible configuration of a neural network with several layers L1 to L6 which are initially carried out in a manner known per se, as in 1 shown schematically, are coupled to one another, ie neuron inputs are with Neuron outputs of the preceding neuron layer connected. Furthermore, the neuron layer L3 an area on the input side with neuron outputs of the neuron layer L5 is coupled. The neuron layer can also L4 provide, on the input side with outputs of the neuron layer L2 to be connected.

Im Folgenden soll ein Verfahren zum Bestimmen einer optimierten Netzkonfiguration für ein neuronales Netz basierend auf einer vorbestimmten Anwendung durchgeführt werden. Die Anwendung bestimmt sich im Wesentlichen durch die Größe von Eingangsgrößenvektoren und der diesen zugeordneten Ausgangsgrößenvektoren, die die Trainingsdaten darstellen, die ein gewünschtes Netzwerkverhalten bzw. eine bestimmte Aufgabenstellung definieren.A method for determining an optimized network configuration for a neural network based on a predetermined application is to be carried out below. The application is essentially determined by the size of input variable vectors and the output variable vectors assigned to them, which represent the training data that define a desired network behavior or a specific task.

In 3 ist ein Verfahren zum Ermitteln einer Menge von geeigneten Netzkonfigurationen für ein neuronales Netz bezogen auf eine gewünschte Anwendung beschrieben. Die so erhaltene Menge soll dazu dienen, die Auswahl einer Netzkonfiguration für die gewünschte Anwendung zu erleichtern. Die Netzkonfiguration soll daher ein neuronales Netz angeben, das für eine bestimmte Anwendung einsetzbar und geeignet ist und hinsichtlich eines Vorhersagefehlers und zusätzlich hinsichtlich mindestens eines weiteren Optimierungsziels optimiert ist. Insbesondere soll die Menge an Netzkonfigurationen einer Pareto-Front bzw. einer Pareto-Menge von Netzkonfigurationen entsprechen, die hinsichtlich einer Mehrzahl von Optimierungszielen optimiert sind. Die Optimierungsziele können bspw. sein: Performance, benötigten Ressourcen des neuronalen Netzes 1 in Form von Kosten der jeweiligen Ressource (wie z.B. Anzahl der Parameter), usw. Die Performance kann eine Klassifikationsgenauigkeit oder Vorhersagefehler, z.B. auf Validierungsdaten sein. Weitere Optimierungsziele können Eigenschaften der Ressource zur Berechnungshardware u. a. betreffen, wie z.B.: eine Speichergröße, eine Auswertungsgeschwindigkeit, eine Kompatibilität bezüglich spezieller Hardware, einem Auswertungsenergieverbrauch und dergleichen.In 3 describes a method for determining a set of suitable network configurations for a neural network based on a desired application. The amount obtained in this way is intended to facilitate the selection of a network configuration for the desired application. The network configuration should therefore specify a neural network that can be used and is suitable for a specific application and that is optimized with regard to a prediction error and additionally with regard to at least one further optimization goal. In particular, the set of network configurations should correspond to a Pareto front or a Pareto set of network configurations that are optimized with regard to a plurality of optimization goals. The optimization goals can be, for example: performance, required resources of the neural network 1 in the form of the costs of the respective resource (such as the number of parameters), etc. The performance can be a classification accuracy or prediction errors, for example on validation data. Further optimization goals can relate to properties of the resource for the calculation hardware, among other things, such as, for example: a memory size, an evaluation speed, compatibility with regard to special hardware, evaluation energy consumption and the like.

Das Flussdiagramm, welches in 3 abgebildet ist, beschreibt eine Ausführungsform des erfindungsgemäßen Verfahrens, um Netzkonfigurationen auf der Pareto-Front zu ermitteln.The flowchart included in 3 is shown describes an embodiment of the method according to the invention to determine network configurations on the Pareto front.

In Schritt S1 wird ein Bereitstellen (S1) einer Mehrzahl von zufällig ausgewählten Netzkonfigurationen (α) ausgeführt.In step S1 a providing ( S1 ) a plurality of randomly selected network configurations (α) carried out.

Daraufhin folgt Schritt S2. Hierin wird ein Trainieren von neuronalen Netzen konfiguriert mit den Netzkonfigurationen (α) auf den bereitgestellten Trainingsdaten durchgeführt.This is followed by step S2 . Here, training of neural networks configured with the network configurations (α) is carried out on the training data provided.

Daraufhin folgt ein Ermitteln (S3) für jedes der trainierten neuronalen Netze eine Performance (accurancy) sowie ein Auswerten (S3) jeder der trainierten neuronalen Netze hinsichtlich zumindest eines vorgegebenen Optimierungsziels (n_pars).This is followed by a determination ( S3 ) for each of the trained neural networks a performance (accurancy) and an evaluation ( S3 ) each of the trained neural networks with regard to at least one predetermined optimization goal (n_pars).

Anschließend folgt ein Hinzufügen (S4) eines Tupels umfassend Netzkonfigurationen (α) und Performance (accurancy) und dem ausgewerteten Optimierungsziels (n_pars) zu einem weiteren Trainingsdatensatz.This is followed by an addition ( S4 ) a tuple comprising network configurations (α) and performance (accurancy) and the evaluated optimization target (n_pars) for a further training data set.

Anschließend folgt ein Anpassen (S5) eines Vorhersagemodells abhängig von dem weiteren Trainingsdatensatz derart, dass das Vorhersagemodell gegeben einer der Netzkonfigurationen (α) aus dem weiteren Trainingsdatensatz zumindest deren jeweils zugeordneten Performance aus dem weiteren Trainingsdatensatz ausgibt.This is followed by an adjustment ( S5 ) a prediction model depending on the further training data set in such a way that the prediction model, given one of the network configurations (α) from the further training data set, outputs at least their respectively assigned performance from the further training data set.

Nach Schritt S5 folgt Schritt S6. Hierin wird ein Auswählen (S6) einer Vielzahl von Netzkonfigurationen unter Verwendung des Vorhersagemodells durchgeführt.After step S5 follows step S6 . Here is a selection ( S6 ) performed a variety of network configurations using the predictive model.

Danach folgt eine oder mehrere Wiederholungen der Schritte S2 bis S6 mit der Vielzahl der ausgewählten Netzkonfigurationen bis ein Abbruchkriterium erfüllt ist.This is followed by one or more repetitions of the steps S2 to S6 with the large number of selected network configurations until a termination criterion is met.

Abschließend kann Schritt S7 ausgeführt werden. Hierin wird ein Auswählen (S7) der Netzkonfigurationen (α) aus dem weiteren Trainingsdatensatz, welche eine Pareto-Menge hinsichtlich der Performance und des Optimierungsziels entspricht, ausgeführt.In conclusion, can step S7 are executed. Here is a selection ( S7 ) the network configurations (α) from the further training data set, which correspond to a Pareto set in terms of performance and the optimization goal, are executed.

In 4 ist beispielsweise der Verlauf einer Pareto-Front (40) einer Menge von Netzkonfigurationen (41) hinsichtlich einer Klassifikationsgenauigkeit (acc) und den Ressourcenkosten als weiteres Optimierungsziels dargestellt. In 4 ist das weitere Optimierungsziel die Anzahl der Parameter n_pars des Netzes. Dargestellt durch 4 wird ein finaler Zustand, in welchem das Verfahren nach 3 nahezu konvergiert ist, d.h. die Pareto-Front sich nicht mehr weiter verschiebt. Die linke zeigt ein Verfahren gemäß dem Stand der Technik unter Verwendung einer zufälligen Suche (eng. random search). Die rechte zeigt das Ergebnis des Verfahrens nach 3.In 4th is, for example, the course of a Pareto front ( 40 ) a set of network configurations ( 41 ) with regard to a classification accuracy (acc) and the resource costs as a further optimization goal. In 4th the further optimization goal is the number of parameters n_pars of the network. Represented by 4th becomes a final state in which the procedure is after 3 has almost converged, ie the Pareto front no longer shifts. The left shows a method according to the prior art using a random search (eng. random search). The right shows the result of the procedure 3 .

Die nach dem letzten Iterationszyklus (mehrmals ausgeführte Abfolge der Schritt S2 bis S6) ermittelten Netzkonfigurationen der aktuellen Netzkonfigurationsmenge stellen nun eine Grundlage dar, eine geeignete Netzkonfiguration für die durch die Trainingsdaten bestimmte Anwendung auszuwählen. Dies kann beispielsweise durch Vorgeben einer Gesamtkostenfunktion, die den Vorhersagefehler und die Ressourcenkosten berücksichtigt, erfolgen. In der Praxis würde man auf Basis der betreffenden Anwendung entscheiden, welche Netzkonfiguration der aktuellen Netzkonfigurationsmenge (aktuelle Pareto-Front) am besten für die gewählte Anwendung geeignet ist. Dies kann anhand einer Beschränkungsvorgabe erfolgen. Als Beispielszenario kann aus der Pareto-Front eine Netzkonfiguration ausgewählt werden, die eine Netzwerkgröße von z.B. 1GB Speicher nicht übersteigt.The sequence of steps executed several times after the last iteration cycle ( S2 to S6 ) determined network configurations of the current network configuration set now represent a basis for selecting a suitable network configuration for the application determined by the training data. This can be done, for example, by specifying a total cost function that includes the prediction error and the resource costs are taken into account. In practice, one would decide on the basis of the application in question which network configuration of the current network configuration set (current Pareto front) is best suited for the selected application. This can be done using a restriction specification. As an example scenario, a network configuration can be selected from the Pareto front that does not exceed a network size of, for example, 1GB memory.

Das obige Verfahren ermöglicht in verbesserter Weise die Architektursuche von Netzkonfigurationen zu beschleunigen, da die Evaluierung der Leistungsfähigkeit/ Vorhersagefehler der Varianten von Netzkonfigurationen erheblich schneller vorgenommen werden kann.The above method enables the architecture search for network configurations to be accelerated in an improved manner, since the evaluation of the performance / prediction errors of the variants of network configurations can be carried out considerably more quickly.

Die so ermittelten Netzkonfigurationen können für die Auswahl einer geeigneten Konfiguration eines neuronalen Netzes für eine vorgegebene Aufgabe verwendet werden. Die Optimierung der Netzkonfiguration steht in engem Zusammenhang zu der gestellten Aufgabe. Die Aufgabe ergibt sich durch die Vorgabe von Trainingsdaten, so dass vor dem eigentlichen Training zunächst die Trainingsdaten definiert werden müssen, aus denen die optimierte/geeignete Netzkonfiguration für die gestellte Aufgabe ermittelt wird. Beispielsweise können Bilderkennungs- bzw. -klassifkationsverfahren durch Trainingsdaten definiert werden, die Eingangsbilder, Objektzuordnungen, Objektklassifikationen beinhalten. Netzkonfigurationen können auf diese Weise grundsätzlich für alle durch Trainingsdaten definierten Aufgaben bestimmt werden.The network configurations determined in this way can be used to select a suitable configuration of a neural network for a given task. The optimization of the network configuration is closely related to the task at hand. The task results from the specification of training data, so that the training data must first be defined before the actual training, from which the optimized / suitable network configuration for the task at hand is determined. For example, image recognition or classification methods can be defined by training data that contain input images, object assignments, and object classifications. In this way, network configurations can basically be determined for all tasks defined by training data.

So kann ein derart konfiguriertes neuronales Netz in einem Steuergerät eines technischen Systems, insbesondere in einem Roboter, einem Fahrzeug, einem Werkzeug oder einer Werkmaschine eingesetzt werden, um abhängig von Eingangsgrößen Ausgangsgrößen zu bestimmen. Als Eingangsgrößen des neuronalen Netzes kommen insbesondere Sensordaten oder abhängig von Sensordaten ermittelte Größen in Frage. Die Sensordaten können von Sensoren des technischen Systems stammen oder von dem technischen System von extern empfangen werden. Abhängig von den Ausgangsgrößen des neuronalen Netzes wird durch eine Recheneinheit des Steuergeräts des technischen Systems mindestens ein Aktor des technischen Systems mit einem Ansteuersignal angesteuert. Beispielsweise so kann eine Bewegung eines Roboters oder Fahrzeugs gesteuert werden oder eine Steuerung einer Antriebseinheit oder eines Fahrerassistenzsystems eines Fahrzeugs erfolgen. Thus, a neural network configured in this way can be used in a control device of a technical system, in particular in a robot, a vehicle, a tool or a machine tool, in order to determine output variables as a function of input variables. In particular, sensor data or variables determined as a function of sensor data come into question as input variables of the neural network. The sensor data can originate from sensors of the technical system or can be received from the technical system externally. Depending on the output variables of the neural network, at least one actuator of the technical system is controlled with a control signal by a computing unit of the control device of the technical system. For example, a movement of a robot or vehicle can be controlled or a drive unit or a driver assistance system of a vehicle can be controlled.

5 zeigt schematisch eine Trainingsvorrichtung 500 umfassend einen Bereitsteller 51, der aus einem Trainingsdatensatz Eingangsbilder bereitstellt. Eingangsbilder werden der zu trainierenden neuronalen Netze 52 zugeführt, die hieraus Ausgangsgrößen ermittelten. Ausgangsgrößen und Eingangsbilder werden einem Beurteiler 53 zugeführt, der hieraus aktualisierte Hyper-/Parameter ermittelt, die dem Parameterspeicher P übermittelt werden und dort die gegenwärtigen Parameter ersetzen. 5 shows schematically a training device 500 comprising a provider 51 that provides input images from a training data set. Input images are the neural networks to be trained 52 supplied, the output variables determined from this. Output variables and input images become an assessor 53 supplied, which determines updated hyper- / parameters from this, which are transmitted to the parameter memory P and replace the current parameters there.

Die vom Trainingsvorrichtung 500 ausgeführten Verfahren können als Computerprogramm implementiert auf einem maschinenlesbaren Speichermedium 54 hinterlegt sein und von einem Prozessor 55 ausgeführt werden.The one from the training device 500 The methods carried out can be implemented as a computer program on a machine-readable storage medium 54 be stored and by a processor 55 are executed.

Der Begriff „Computer“ umfasst beliebige Geräte zur Abarbeitung vorgebbarer Rechenvorschriften. Diese Rechenvorschriften können in Form von Software vorliegen, oder in Form von Hardware, oder auch in einer Mischform aus Software und Hardware.The term “computer” encompasses any device for processing specifiable arithmetic rules. These calculation rules can be in the form of software, or in the form of hardware, or also in a mixed form of software and hardware.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

EP 19719232 [0004]

Claims

Device for determining a Pareto set of network configurations, the network configurations for a neural network being determined for a given application and the given application being determined in the form of provided training data, the device comprising a machine-readable storage medium on which commands are stored that were used in Running from a computer caused the computer to perform a procedure that included: a) providing (S1) a plurality of randomly selected network configurations (a); b) training (S2) of neural networks configured with the network configurations (α) on the provided training data; c) determining (S3) a performance (accurancy) for each of the trained neural networks; d) evaluating (S3) each of the trained neural networks with regard to at least one predetermined optimization target (n_pars); e) adding (S4) a tuple comprising network configurations (α) and performance (accurancy) and the evaluated optimization target (n_pars) to a further training data set, f) adapting (S5) a prediction model as a function of the further training data set in such a way that the prediction model, given one of the network configurations (α) from the further training data set, outputs at least its respectively assigned performance from the further training data set; g) selecting (S6) a plurality of network configurations using the prediction model, so that the selected network configurations meet a prescribable criterion; h) repeating steps b) to g) with the plurality of selected network configurations until an abort criterion is met; and i) Selecting (S7) the network configurations (α) from the further training data set, which correspond to a Pareto set in terms of performance and the optimization goal.

Device according to Claim 1 , the stored commands being designed in such a way that the method which the computer executes when these commands are executed on the computer runs in such a way that the prediction model comprises a Gaussian process, wherein the selection (S6) of a plurality of network configurations (α) takes place in such a way that the selected network configurations maximize an expected hypervolume improvement (ehvi), the expected hypervolume improvement (ehvi) depending on the further training data set, the Gaussian process and a deterministic model, which the optimization target (n_pars) depends on a predeterminable network configuration determined.

Device according to Claim 2 , the stored commands being designed in such a way that the method that the computer executes when these commands are executed on the computer runs in such a way that when at least two predefinable optimization goals are given, then the deterministic model is set up as a function of to evaluate at least one optimization goal of the network configuration, the optimization goals that are not evaluated by a deterministic model being evaluated by the Gaussian process.

Device according to Claim 1 , the stored commands being designed such that the method that the computer executes when these commands are executed on the computer runs in such a way that the prediction model comprises a plurality of neural networks, the neural networks being trained in this way on the further training data set that these predict the performance and a reliability (English Sorted order, with a predetermined number of the best network configurations randomly drawn from the sorted order of the network configuration according to the predetermined order, the drawn network configurations being mutated randomly, with the mutated ones being evaluated Network configurations the evaluation takes place on the basis of the forecast model.

Device according to Claim 4 , the stored commands being designed in such a way that the method that the computer executes when these commands are executed on the computer runs in such a way that the mutation takes place by a Gaussian mutation.

Device according to Claim 4 or 5 ; wherein the stored commands are designed such that the method that the computer executes when these commands are executed on the computer runs in such a way that the network configurations are mutated by randomly adding layers or by combining at least two randomly drawn network configurations.

Device according to one of the Claims 4 to 6th , the stored commands being designed in such a way that the method that the computer executes when these commands are executed on the computer runs in such a way that the predeterminable order for sorting depends on dominated sorting) and depends on a crowding distance.

Device according to one of the Claims 1 to 7th , wherein the stored commands are designed such that the method that the computer executes when these commands are executed on the computer runs in such a way that at least one optimization target characterizes a physical property of a hardware component, a neural network configured with one of the network configurations running on the hardware component.

Control device for training a neural network, the control device comprising a machine-readable storage medium on which commands are stored which, when executed by the control device, caused the control device to perform the method according to one of the Claims 1 to 8th executes.

System for classifying image data, the system having at least one optical sensor which is designed to provide image data, and a control device according to Claim 9 having, wherein the control device is designed to classify image data provided by the at least one optical sensor.