DE102020214100A1

DE102020214100A1 - More flexible iterative operation of neural networks on hardware

Info

Publication number: DE102020214100A1
Application number: DE102020214100.2A
Authority: DE
Inventors: Thomas Pfeil
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2020-11-10
Filing date: 2020-11-10
Publication date: 2022-05-12

Abstract

Verfahren (100) zum Betreiben eines künstlichen neuronalen Netzwerks, KNN (1), welches Eingaben (11) in einer Abfolge von Schichten (12a-12c, 13a-13b) zu Ausgaben (14) verarbeitet, mit den Schritten:• innerhalb des KNN (1) wird mindestens ein iterativer Block (15) aus einer oder mehreren Schichten (12a-12c) festgelegt (110), der mehrfach auszuführen ist;• es wird eine Anzahl J von Iterationen festgelegt (120), für die dieser iterative Block (15) höchstens ausgeführt werden soll;• eine Eingabe (15a) des iterativen Blocks (15) wird von dem iterativen Block (15) auf eine Ausgabe (15b) abgebildet (130);• diese Ausgabe (15b) wird dem iterativen Block (15) erneut als Eingabe (15a) zugeführt (150) und vom dem iterativen Block (15) wiederum auf eine neue Ausgabe (15b) abgebildet;• nachdem der iterative Block (15) ab Vorlage der ursprünglichen Eingabe J-mal ausgeführt wurde (160), wird die vom iterativen Block (15) gelieferte Ausgabe (15b) der auf den iterativen Block (15) folgenden Schicht (13b) des KNN (1) als Eingabe zugeführt (170) oder als Ausgabe (14) des KNN (1) bereitgestellt,• wobei ein Teil (15c') der Parameter (15c), die das Verhalten der Schichten (12a-12c) in dem iterativen Block (15) charakterisieren, beim Wechsel zwischen den Iterationen, für die der iterative Block (15) ausgeführt wird, verändert wird (140).;• wobei der Teil der Parameter, welche verändert werden, abhängig von einer Anzahl von abgeschlossenen Iterationen mittels einer Funktion ermittelt werden.Method (100) for operating an artificial neural network, ANN (1), which processes inputs (11) in a sequence of layers (12a-12c, 13a-13b) into outputs (14), with the steps:• within the ANN (1) at least one iterative block (15) from one or more layers (12a-12c) is specified (110) which is to be executed multiple times;• a number J of iterations is specified (120) for which this iterative block ( 15) is to be executed at most;• an input (15a) of the iterative block (15) is mapped (130) by the iterative block (15) to an output (15b);• this output (15b) is assigned to the iterative block (15 ) supplied again (150) as input (15a) and again mapped by the iterative block (15) to a new output (15b);• after the iterative block (15) has been executed J times (160) from the submission of the original input , the output (15b) provided by the iterative block (15) of the layer (13 b) supplied to the ANN (1) as an input (170) or provided as an output (14) of the ANN (1),• wherein a part (15c') of the parameters (15c) that determine the behavior of the layers (12a-12c) in the iterative block (15), is changed (140) when changing between the iterations for which the iterative block (15) is executed.;• wherein the part of the parameters which are changed, depending on a number of completed Iterations can be determined using a function.

Description

Die vorliegende Erfindung betrifft den Betrieb neuronaler Netzwerke, insbesondere unter der Randbedingung begrenzter Hardware- und Energieressourcen von mobilen Geräten.The present invention relates to the operation of neural networks, particularly under the constraint of limited hardware and power resources of mobile devices.

Stand der TechnikState of the art

Aus der nicht-vorveröffentlichten DE 10 2020 210 700 ist ein Verfahren bekannt, bei welchem zumindest eine Schicht eines neuronalen Netzes beim Propagieren einer Eingangsgröße durch das neuronale Netz wiederholt mit veränderten Parametern ausgeführt wird.From the non-prepublished DE 10 2020 210 700 a method is known in which at least one layer of a neural network is repeatedly executed with changed parameters when an input variable is propagated through the neural network.

Vorteile der ErfindungAdvantages of the Invention

Die gegenwärtige Erfindung hat den Vorteil, dass diese durch eine Vorhersage der Parameterwerte, die bisher aus dem Speicher geladen werden müssen, nun keine zeitaufwändigen Speicherzugriffe benötigt.The present invention has the advantage that it no longer requires time-consuming memory accesses by predicting the parameter values that previously had to be loaded from memory.

Um einen guten Kompromiss zwischen Genauigkeit und benötigten Rechenressourcen zu erreichen, wird ein Teil der Parameter des Netzwerkblocks, insbesondere einer Schicht des neuronalen Netzes, von Iteration zu Iteration verändert bzw. neu programmiert. Die Werte der veränderten Parameter sollen erfindungsgemäß durch eine Funktion ermittelt werden.In order to achieve a good compromise between accuracy and required computing resources, some of the parameters of the network block, in particular a layer of the neural network, are changed or reprogrammed from iteration to iteration. According to the invention, the values of the changed parameters are to be determined by a function.

Damit sind keine zeitaufwändigen Speicherzugriffe notwendig, da die Parameter nahe des Speichers oder im Speicher der Recheneinheit generiert werden können.This means that no time-consuming memory accesses are necessary, since the parameters can be generated near the memory or in the memory of the arithmetic logic unit.

Folglich ermöglicht die Erfindung ein neuronales Netz energieeffizient auf einer kompakten Hardware auszuführen.Consequently, the invention enables a neural network to be implemented in an energy-efficient manner on compact hardware.

Offenbarung der ErfindungDisclosure of Invention

Im Rahmen der Erfindung wurde ein Verfahren zum Betreiben eines künstlichen neuronalen Netzwerks, KNN, entwickelt. Das KNN verarbeitet Eingaben in einer Abfolge von Schichten zu Ausgaben. Diese Schichten können beispielsweise Faltungsschichten, Pooling-Schichten oder vollvernetzte Schichten umfassen.A method for operating an artificial neural network, ANN, was developed as part of the invention. The ANN processes inputs into outputs in a sequence of layers. These layers can include, for example, convolution layers, pooling layers, or fully meshed layers.

Die Eingaben des KNN können insbesondere beispielsweise Messdaten umfassen, die mit einem oder mehreren Sensoren aufgenommen wurden. Die Ausgaben des KNN können beispielsweise einen oder mehrere Klassifikations-Scores umfassen, mit denen die Zuordnung der Messdaten zu einer oder mehreren Klassen einer vorgegebenen Klassifikation ausgedrückt wird.The inputs of the ANN can in particular include, for example, measurement data that were recorded with one or more sensors. The outputs of the ANN can include, for example, one or more classification scores with which the assignment of the measurement data to one or more classes of a specified classification is expressed.

Innerhalb des KNN wird mindestens ein iterativer Block aus einer oder mehreren Schichten festgelegt. Im Zuge der Verarbeitung von einem konkreten Satz Eingaben zu einem konkreten Satz Ausgaben ist dieser iterative Block mehrfach auszuführen.At least one iterative block of one or more layers is defined within the ANN. In the course of processing a specific set of inputs into a specific set of outputs, this iterative block must be executed several times.

Zu diesem Zweck wird eine Anzahl J von Iterationen festgelegt, für die der iterative Block höchstens ausgeführt werden soll. Es wird nun eine Eingabe des iterativen Blocks von dem iterativen Block auf eine Ausgabe abgebildet. Diese Ausgabe wird dem iterativen Block erneut als Eingabe zugeführt und vom dem iterativen Block wiederum auf eine neue Ausgabe abgebildet. Nachdem die Iterationen des iterativen Blocks abgeschlossen sind, wird die vom iterativen Block gelieferte Ausgabe der auf den iterativen Block folgenden Schicht des KNN als Eingabe zugeführt. Wenn auf den iterativen Block keine Schicht des KNN mehr folgt, wird diese Ausgabe hingegen als Ausgabe des KNN bereitgestellt.For this purpose, a number J of iterations is specified for which the iterative block is to be executed at most. An input of the iterative block is now mapped from the iterative block to an output. This output is fed back as input to the iterative block and in turn mapped to a new output by the iterative block. After the iterations of the iterative block are completed, the output provided by the iterative block is provided as input to the layer of the ANN following the iterative block. On the other hand, if the iterative block is not followed by a layer of the ANN, this output is provided as an output of the ANN.

Die Anzahl J der höchstens auszuführenden Iterationen kann beispielsweise anhand der verfügbaren Hardwareressourcen und/oder Rechenzeit festgelegt werden. Das Iterieren kann aber auch vorzeitig beendet werden, wenn ein vorgegebenes Abbruchkriterium erfüllt ist. Beispielsweise kann das Iterieren beendet werden, wenn die Ausgabe des iterativen Blocks hinreichend gut gegen ein Endergebnis konvergiert ist.The number J of the maximum number of iterations to be executed can be established, for example, on the basis of the available hardware resources and/or computing time. However, the iteration can also be terminated prematurely if a predetermined termination criterion is met. For example, iterating may stop when the output of the iterative block has converged sufficiently well to a final result.

Indem der iterative Block mehrfach ausgeführt wird, wird im Zuge der Verarbeitung einer konkreten Eingabe des KNN zu einer konkreten Ausgabe des KNN die Hardware, auf der der iterative Block implementiert ist, mehrfach durchlaufen. Daher kann eine vorgegebene Verarbeitungsaufgabe mit weniger Hardwareressourcen ausgeführt werden als wenn die Hardware nur ein einziges Mal in einer Richtung von den Daten durchlaufen würde. Die Hardware kann also insgesamt kleiner gebaut sein, was speziell bei Steuergeräten für Fahrzeuge und mobilen Endgeräten von Vorteil ist.Since the iterative block is executed multiple times, the hardware on which the iterative block is implemented is run through multiple times in the course of processing a specific input of the ANN to form a specific output of the ANN. Therefore, a given processing task can be performed with fewer hardware resources than if the hardware were traversed only once in one direction by the data. The hardware can therefore be built smaller overall, which is particularly advantageous for control units for vehicles and mobile end devices.

Ein oder mehrere Parameter, die das Verhalten der Schichten in dem iterativen Block charakterisieren, werden beim Wechsel zwischen den Iterationen, für die der iterative Block ausgeführt wird, verändert.One or more parameters characterizing the behavior of the layers in the iterative block are changed when switching between the iterations for which the iterative block is executed.

Es wird vorgeschlagen, die ein oder mehrere Parameter, die verändert werden, abhängig von der Anzahl der Iteration mittels einer Funktion zu ermitteln.It is proposed to use a function to determine the one or more parameters that are changed depending on the number of iterations.

Dadurch kann ein besonderes schnelles KNN bereitgestellt werden, welches ein geringen Energieverbrauch aufweist, da keine Speicherzugriffe benötigt werden. Denn die Parameter werden dann direkt z.B. in der Recheneinheit generiert und müssen nicht aufwändig aus einem externen Speicher geladen werden.As a result, a particularly fast ANN can be provided which has low energy consumption since no memory accesses are required. Because the parameters are then generated directly, for example, in the computing unit and do not have to be laboriously loaded from an external memory.

Denkbar ist, dass ein vorgegebener zweiter Teil der mehreren Parameter, die verändert werden, zusätzlich aus einem Speicher ausgelesen werden. Dies kann z.B. die Parameter betreffen, die sich nicht besonders zuverlässig mit der Funktion ermitteln lassen, da diese eine große Schwankung ihrer Werte aufweisen.It is conceivable that a predetermined second part of the multiple parameters that are changed are also read out from a memory. This can, for example, affect the parameters that cannot be determined particularly reliably with the function, since their values fluctuate greatly.

Die Funktion ist derart eingerichtet, dass diese abhängig von der Iteration die Parameterwerte ausgibt. Alternativ oder zusätzlich kann die Funktion abhängig von ihrem unmittelbar vorherigen ermittelten Parameterwert den gegenwärtig benötigten Parameterwert ermitteln. Die Funktion selbst kann parametrisiert sein. Die Funktion kann dann durch ein fitten ihrer Parameterwerte über die Iterationen erstellt werden. Wenn die Funktion parametrisierbar ist, dann werden die Funktionsparameter abhängig von den Parametern der Blöcke derart eingestellt, dass die Funktion die Parameter abhängig von der gegenwärtigen Anzahl von bereits ausgeführten Iteration ermittelt. Es sei angemerkt, dass die gegenwärtige Anzahl von bereits ausgeführten Iteration einer Position der Schicht innerhalb des KNN entspricht, die dem jeweiligen auszuführenden Block zugeordnet ist. Es kann also auch gesagt werden, dass die Funktion die Parameter abhängig von der Position des Blockes, insbesondere zugeordneten Schicht, innerhalb des KNN ermittelt.The function is set up in such a way that it outputs the parameter values depending on the iteration. As an alternative or in addition, the function can determine the currently required parameter value as a function of the parameter value determined immediately beforehand. The function itself can be parameterized. The function can then be constructed by fitting its parameter values over the iterations. If the function can be parameterized, then the function parameters are adjusted depending on the parameters of the blocks in such a way that the function determines the parameters depending on the current number of iterations already executed. It should be noted that the current number of iterations already executed corresponds to a position of the layer within the ANN associated with the particular block to be executed. It can also be said that the function determines the parameters depending on the position of the block, in particular the assigned layer, within the ANN.

Falls die Funktion nicht parametrisierbar ist, dann kann diese z.B. aus einer Vielzahl von unterschiedlichen Funktionen ausgewählt werden, die die Parameter abhängig von der Iteration am genauestens, also mit dem kleinesten Fehler, ermittelt. Die unterschiedlichen Funktionen können z.B. eine Mehrzahl von unterschiedlichen nicht-linearen Funktionen sein, wie z.B. mehre unterschiedliche Polynomfunktionen, oder Vorzeichenwechselfunktionen.If the function cannot be parameterized, then it can, for example, be selected from a large number of different functions that determine the parameters most precisely, i.e. with the smallest error, depending on the iteration. For example, the different functions can be a plurality of different non-linear functions, such as a plurality of different polynomial functions, or sign change functions.

Idealerweise wird eine Funktion verwendet, welche sich effizient auf Hardware umsetzen lässt. Hardwareeffiziente Funktionen sind z.B.: Linear ansteigende oder abfallende Funktionen; Periodische Abfolge einer Reihe von wenigen vorgegebenen Werten.Ideally, a function is used that can be efficiently implemented on hardware. Examples of hardware-efficient functions are: linearly increasing or decreasing functions; Periodic sequence of a series of a few specified values.

Ein Beispiel wäre eine Funktion, die in jeder n-ten Iteration das Vorzeichen des Parameters verändert, wobei man für die n-te Iteration die Gruppe an Parametern frei wählen kann.An example would be a function that changes the sign of the parameter in every nth iteration, whereby one can freely choose the group of parameters for the nth iteration.

In einer bevorzugten Ausführungsform wird die Funktion beim Trainieren des KNN mitoptimiert. Dies hat den Vorteil, dass ein KNN bereitgestellt wird, welches bessere und zuverlässigere Ergebnisse liefert. Denn beim Trainieren der Parameter des KNN und gleichzeitigen Optimieren der Parameter der Funktion lernt das KNN mit der Einschränkung durch die Funktion umzugehen. Folglich werden die Parameter des KNN beim Training auf die Funktion angepasst, wodurch Performanceverluste durch die Funktion kompensiert werden können.In a preferred embodiment, the function is also optimized when the ANN is trained. This has the advantage that an ANN is provided which delivers better and more reliable results. Because when the parameters of the ANN are trained and the parameters of the function are optimized at the same time, the ANN learns to deal with the limitations imposed by the function. Consequently, the parameters of the ANN are adapted to the function during training, which means that performance losses can be compensated for by the function.

Es wird vorgeschlagen, die Parameter der Funktion, insbesondere des Polynoms im Back-Propagation Schritt mit zu optimieren. D.h. die Parameter der Funktion werden beim Training des KNN abhängig von ermittelten Gradienten des Trainierens des KNN angepasst.It is proposed to optimize the parameters of the function, especially the polynomial, in the back-propagation step. I.e. the parameters of the function are adjusted during the training of the ANN depending on the determined gradients of the training of the ANN.

Denkbar ist aber auch, dass die Parameter der Funktion mittels Wahrscheinlichkeitsverteilungen charakterisiert werden. Beim Training des KNN werden dann diese Wahrscheinlichkeitsverteilungen anhand eines Mittelwertes und einer Streuung angepasst. Vorzugsweise wird für diese Anpassung Auto-Encoding Variational Bayes, siehe hierzu https://arxiv.org/abs/1312.6114, verwendet.However, it is also conceivable that the parameters of the function are characterized by means of probability distributions. When training the ANN, these probability distributions are then adjusted using a mean value and a scatter. Auto-Encoding Variational Bayes is preferably used for this adaptation, see https://arxiv.org/abs/1312.6114.

Alternativ können beim Training des KNN eine Mehrzahl von Funktionen bereitgestellt werden, welche dann über eine kategorische Variable (engl. categorical variable) optimiert werden. Vorzugsweise wird hierfür eine Gumble-Softmax Verteilung, siehe hierzu https://arxiv.org/abs/1611.01144, verwendet. Nach dem Training kann dann eine Funktion abhängig von der kategorischen Variable ausgewählt werden.Alternatively, when training the ANN, a plurality of functions can be provided, which are then optimized via a categorical variable. A Gumble-Softmax distribution is preferably used for this, see https://arxiv.org/abs/1611.01144. After training, a function can then be selected depending on the categorical variable.

Es wurde erkannt, dass es beim Ausführen eines iterativen Blocks in einem KNN je nach verwendeter Hardwareplattform einen Zielkonflikt zwischen der Qualität der vom KNN letztendlich erhaltenen Ausgabe einerseits und dem Energiebedarf andererseits geben kann. Beim iterativen Ausführen eines iterativen Blocks werden Parameter, die das Verhalten der Schichten in dem iterativen Block charakterisieren, üblicherweise während aller Iterationen festgehalten. Der Grund hierfür ist, dass viele Hardwareplattformen, die das hocheffiziente Ausführen eines iterativen Blocks ermöglichen, im Gegenzug Änderungen der besagten Parameter mit einem erhöhten Energiebedarf und/oder mit Geschwindigkeitseinbußen „bestrafen“. So kann beispielsweise eine hohe Effizienz der Hardwareplattform bei gleichzeitig kleiner Baugröße damit einhergehen, dass weniger Bandbreite für Änderungen der Parameter zur Verfügung steht. Auch können gerade auf solchen Hardwareplattformen Speicherelemente zum Einsatz kommen, die sehr schnell auslesbar, aber dafür deutlich langsamer beschreibbar sind und für das Beschreiben überproportional viel Energie benötigen.It has been recognized that when executing an iterative block in an ANN, depending on the hardware platform used, there can be a trade-off between the quality of the output ultimately obtained from the ANN on the one hand and the power requirements on the other. When executing an iterative block iteratively, parameters characterizing the behavior of the layers in the iterative block are typically retained throughout all iterations. The reason for this is that many hardware platforms that allow an iterative block to be executed in a highly efficient manner in turn "penalize" changes in said parameters with increased power consumption and/or a loss of speed. For example, a high efficiency of the hardware platform combined with a small size can mean that less bandwidth is available for changing the parameters. It is precisely on such hardware platforms that memory elements can be used that can be read out very quickly, but can be written to much more slowly and require a disproportionately large amount of energy for writing.

Wenn also zwischen zwei Iterationen die Hardwareplattform immer komplett neu mit Parametern für die nächste Iteration bestückt würde, wäre die Kombination aus iterativer Ausführung und der speziellen Hardwareplattform vergleichsweise langsam und würde mehr Energie verbrauchen. Auf der anderen Seite raubt das Wiederverwenden der Parameter für alle Iterationen dem KNN sehr viel Flexibilität. Das KNN muss insgesamt größer sein, so dass sein Verhalten insgesamt durch deutlich mehr Parameter charakterisiert ist. Zugleich erreichen beispielsweise KNNs, die als Klassifikatoren verwendet werden, im Endzustand ihres Trainings eine insgesamt schlechtere Klassifikationsgenauigkeit, wenn die Parameter des iterativen Blocks für alle Iterationen festgehalten werden.So if, between two iterations, the hardware platform was always completely re-equipped with parameters for the next iteration, the combination of iterative execution and the special hardware platform would be comparatively slow and would consume more energy. On the other hand, reusing the parameters for all iterations robs the ANN of a lot of flexibility. The ANN must be larger overall, so that its behavior is characterized by significantly more parameters overall. At the same time, for example, ANNs that are used as classifiers achieve an overall poorer classification accuracy in the final state of their training if the parameters of the iterative block are recorded for all iterations.

Daher wird ein Teil der Parameter, die das Verhalten der Schichten in dem iterativen Block charakterisieren, beim Wechsel zwischen den Iterationen, für die der iterative Block ausgeführt wird, verändert. Weder werden alle Parameter verändert, noch werden alle Parameter festgehalten.Therefore, part of the parameters characterizing the behavior of the layers in the iterative block are changed when switching between the iterations for which the iterative block is executed. All parameters are not changed, nor are all parameters retained.

Es wurde erkannt, dass ausgehend von dem Zustand, in dem alle Parameter festgehalten werden, das Verändern einiger weniger Parameter einen Gewinn an Flexibilität bringt, der die notwendige Größe des KNN deutlich verkleinert und zugleich etwa bei Klassifikatoren die Klassifikationsgenauigkeit deutlich verbessert. Demgegenüber fällt ein Mehrbedarf an Energie und/oder Zeit für das Verändern dieser wenigen Parameter zwischen den Iterationen noch nicht ins Gewicht. In erster Näherung bewirkt der Zugewinn an Flexibilität also pro zusätzlich verändertem Parameter ein gewisses Quantum an vorteilhaftem Effekt, das für die ersten veränderten Parameter besonders groß ist und dann relativ schnell abfällt, bis es in eine Sättigung geht. Der Preis in Energie und/oder Geschwindigkeit, der pro zusätzlich verändertem Parameter zu zahlen ist, ist hingegen in erster Näherung konstant. Daher ist bei einer bestimmten Anzahl veränderter Parameter ein „Break-Even“ erreicht, ab dem das Verändern von noch mehr Parametern eher nachteilig als vorteilhaft ist.It was recognized that starting from the state in which all parameters are recorded, changing a few parameters brings a gain in flexibility, which significantly reduces the necessary size of the ANN and at the same time significantly improves the classification accuracy, for example in the case of classifiers. In contrast, an additional requirement for energy and/or time for changing these few parameters between the iterations is not yet significant. In a first approximation, the gain in flexibility thus causes a certain quantity of advantageous effect for each additionally changed parameter, which is particularly large for the first changed parameters and then falls off relatively quickly until it reaches saturation. In contrast, the price in energy and/or speed that has to be paid for each additionally changed parameter is constant in a first approximation. Therefore, with a certain number of changed parameters, a "break-even point" is reached, from which point changing even more parameters is more disadvantageous than advantageous.

Daher werden in einer besonders vorteilhaften Ausgestaltung ausgehend von mindestens einer Iteration ein Anteil von zwischen 1 % und 20 %, bevorzugt zwischen 1 % und 15 %, der Parameter, die das Verhalten der Schichten in dem iterativen Block charakterisieren, beim Wechsel zur nächsten Iteration verändert.Therefore, in a particularly advantageous embodiment, starting from at least one iteration, a proportion of between 1% and 20%, preferably between 1% and 15%, of the parameters that characterize the behavior of the layers in the iterative block are changed when changing to the next iteration .

In einer weiteren vorteilhaften Ausgestaltung wird bei einem ersten Wechsel zwischen Iterationen ein erster Teil der Parameter und bei einem zweiten Wechsel zwischen Iterationen ein zweiter Teil der Parameter verändert. Dabei ist der zweite Teil nicht deckungsgleich mit dem ersten Teil. Die beiden Teile können aber jeweils die gleiche Anzahl Parameter umfassen. Auf diese Weise kann der iterativ ausgeführte Block noch mehr Flexibilität hinzugewinnen, ohne dass dies mit noch mehr Aufwand an Zeit oder Energie erkauft werden müsste.In a further advantageous embodiment, a first part of the parameters is changed during a first change between iterations and a second part of the parameters is changed during a second change between iterations. The second part is not congruent with the first part. However, the two parts can each include the same number of parameters. In this way, the iteratively executed block can gain even more flexibility without having to buy it with more time or energy.

In einer weiteren vorteilhaften Ausgestaltung werden die Parameter, die das Verhalten des iterativen Blocks charakterisieren, in einem Speicher abgelegt, in dem jede Schreiboperation physikalisch auf die Speicherorte mehrerer Parameter wirkt. Ausgehend von mindestens einer Iteration werden beim Wechsel zur nächsten Iteration alle Parameter, auf deren Speicherorte mindestens eine Schreiboperation wirkt, verändert.In a further advantageous refinement, the parameters which characterize the behavior of the iterative block are stored in a memory in which each write operation physically affects the memory locations of a number of parameters. Starting from at least one iteration, all parameters whose storage locations are affected by at least one write operation are changed when changing to the next iteration.

Beispielsweise kann der Speicher so beschaffen sein, dass jede Schreiboperation immer auf eine ganze Zeile oder Spalte in einem Array, und/oder auf einen zusammenhängenden Block in dem Speicher, wirkt. Wenn nun schon der Aufwand an Zeit und/oder Energie für das Schreiben der Zeile, der Spalte, des Blocks oder des sonstigen von der Schreiboperation betroffenen Bereichs eingeplant werden muss, um einen oder mehrere der Parameter in diesem Bereich zu ändern, dann steigt dieser Aufwand nicht noch weiter, wenn alle Parameter in diesem Bereich geändert werden. Stattdessen kann hierdurch ein weiterer Zugewinn an Flexibilität „kostenlos mitgenommen“ werden.For example, memory may be arranged such that each write operation always affects an entire row or column in an array, and/or a contiguous block in memory. Now, if the expense of time and/or energy for writing the row, column, block, or other area affected by the write operation must be budgeted for in order to change one or more of the parameters in that area, then that expense increases no further if all parameters in this area are changed. Instead, a further increase in flexibility can be "taken with you free of charge".

In einer besonders vorteilhaften Ausgestaltung werden die Parameter in elektrischen Widerstandswerten von Memristoren oder sonstigen Speicherelementen, deren elektrische Widerstandswerte mit einer Programmierspannung oder einem Programmierstrom in nichtflüchtiger Weise änderbar sind, kodiert. Dies sind Speicherelemente, die sich durch Bestimmung des elektrischen Widerstandswerts sehr schnell auslesen lassen, aber dafür im Vergleich hierzu langsam und mit erhöhtem Energieaufwand beschreibbar sind. Die Speicherdichte in Bits pro Fläche oder pro Volumen ist deutlich größer als beispielswiese bei DRAM-Speicher auf Halbleiterbasis. Weiterhin können derartige Speicherelemente auch eine begrenzte Lebensdauer an Schreibzyklen haben, so dass das Verändern lediglich eines Teils der Parameter die Lebensdauer des Speicherelements erhöht.In a particularly advantageous embodiment, the parameters are encoded in electrical resistance values of memristors or other memory elements whose electrical resistance values can be changed in a non-volatile manner using a programming voltage or a programming current. These are memory elements that can be read out very quickly by determining the electrical resistance value, but can be written to slowly and with increased energy consumption in comparison. The storage density in bits per area or per volume is significantly greater than, for example, with semiconductor-based DRAM memories. Furthermore, memory elements of this type can also have a limited service life in terms of write cycles, so that changing only some of the parameters increases the service life of the memory element.

In einer weiteren besonders vorteilhaften Ausgestaltung wird ein KNN gewählt, das Eingaben zunächst mit mehreren Faltungsschichten verarbeitet und aus dem hierbei erhaltenen Ergebnis mit mindestens einer weiteren Schicht mindestens einen Klassifikations-Score in Bezug auf eine vorgegebene Klassifikation ermittelt. Der iterative Block wird dann so festgelegt, dass er mindestens einen Teil der Faltungsschichten umfasst. Hiermit kann im Vergleich zur Realisierung eines KNN, das lediglich einmal und nur in einer Richtung durchlaufen wird, besonders viel Hardware eingespart werden. Dabei ist es besonders vorteilhaft, wenn die erste Faltungsschicht, der die Eingaben des KNN zugeführt werden, noch nicht Teil des iterativen Blocks ist. In dieser Faltungsschicht besteht dann noch die maximale Flexibilität, um die Dimensionalität der Eingabe in sinnvoller Weise zu reduzieren. Die hierfür erforderliche Zahl von Rechenoperationen ist dann noch nicht durch die iterative Ausführung erhöht. In den weiteren, iterativ ausgeführten Faltungsschichten können anschließend sukzessive Merkmale aus den Eingaben extrahiert werden, bevor aus diesen Merkmalen dann, beispielsweise mit einer vollvernetzten Schicht, der Klassifikationsscore ermittelt wird.In a further particularly advantageous embodiment, an ANN is selected which first processes inputs with a plurality of convolution layers and uses at least one further layer to determine at least one classification score in relation to a predefined classification from the result obtained in this way. The iterative block is then determined to include at least a portion of the convolutional layers. This can be compared to implement an ANN that is run through only once and only in one direction, a particularly large amount of hardware can be saved. In this case, it is particularly advantageous if the first convolution layer, to which the inputs of the ANN are fed, is not yet part of the iterative block. In this convolution layer there is still the maximum flexibility to reduce the dimensionality of the input in a meaningful way. The number of arithmetic operations required for this is then not yet increased by the iterative execution. In the further, iteratively executed convolution layers, successive features can then be extracted from the inputs before the classification score is then determined from these features, for example with a fully networked layer.

Die Eingaben können insbesondere beispielsweise Bilddaten und/oder Zeitreihendaten sein. Gerade diese Datentypen sind besonders hochdimensional, so dass die Verarbeitung mit iterativ ausgeführten Faltungsschichten besonders vorteilhaft ist.The inputs can in particular be image data and/or time series data, for example. It is precisely these data types that are particularly high-dimensional, so that processing with iteratively executed convolution layers is particularly advantageous.

In einer weiteren besonders vorteilhaften Ausgestaltung beinhaltet das Abbilden einer Eingabe des iterativen Blocks auf eine Ausgabe dieses Blocks, Eingaben, die Neuronen und/oder andere Verarbeitungseinheiten in dem iterativen Block zugeführt werden, mittels Analogelektronik gewichtet zu summieren. Der größte Anteil des Aufwands für die Berechnung der Ausgabe des iterativen Blocks steckt in diesen gewichteten Summationen, auch „Multiply-and-Accumulate“ (MAC) genannt. Mittels Analogelektronik lassen sich diese Berechnungen besonders schnell und energieeffizient durchführen. In diesem Zusammenhang sind auch die besagten Speicher auf der Basis elektrischer Widerstandswerte vorteilhaft. Mit den elektrischen Widerstandswerten kann direkt weitergerechnet werden, ohne sie zuerst nach digital und dann wieder nach analog wandeln zu müssen.In a further particularly advantageous embodiment, the mapping of an input of the iterative block to an output of this block includes summing inputs, which are supplied to neurons and/or other processing units in the iterative block, in a weighted manner by means of analog electronics. Most of the effort involved in computing the iterative block's output is in these weighted summations, also known as multiply-and-accumulate (MAC). These calculations can be carried out particularly quickly and energy-efficiently using analog electronics. In this context, said memories based on electrical resistance values are also advantageous. The electrical resistance values can be used for further calculations without first having to convert them to digital and then back to analog.

Ein bestehendes, fertig trainiertes KNN kann ohne neues Training „lift-and-shift“ so implementiert werden, dass es mit dem hier beschriebenen Verfahren betrieben werden kann. Noch bessere Ergebnisse liefert das KNN jedoch, wenn es sich bereits beim Training darauf einstellen kann, dass es mit diesem Verfahren betrieben werden wird. Die Erfindung bezieht sich daher auch auf ein Verfahren zum Trainieren eines KNN für den Betrieb nach dem zuvor beschriebenen Verfahren.An existing, fully trained ANN can be implemented without new training "lift-and-shift" in such a way that it can be operated with the method described here. However, the ANN delivers even better results if it can prepare itself during training for the fact that it will be operated with this method. The invention therefore also relates to a method for training an ANN for operation according to the method described above.

Bei diesem Verfahren werden Lern-Eingaben sowie zugehörige Lern-Ausgaben, auf die das KNN die Lern-Eingaben jeweils abbilden soll, bereitgestellt. die Lern-Eingaben werden von dem KNN auf Ausgaben abgebildet. Die Abweichung der Ausgaben von den Lern-Ausgaben wird mit einer vorgegebenen Kostenfunktion bewertet.In this method, learning inputs and associated learning outputs, to which the ANN is intended to map the learning inputs, are provided. the learning inputs are mapped by the ANN to outputs. The deviation of the expenditure from the learning expenditure is evaluated with a given cost function.

Die Parameter, die das Verhalten der Schichten im iterativen Block charakterisieren, werden einschließlich ihrer Änderungen beim Wechsel zwischen den Iterationen dahingehend optimiert, dass sich bei weiterer Verarbeitung von Lern-Eingaben durch das KNN die Bewertung durch die Kostenfunktion voraussichtlich verbessert.The parameters that characterize the behavior of the layers in the iterative block, including their changes when switching between the iterations, are optimized in such a way that the evaluation by the cost function is likely to improve as the ANN continues to process learning inputs.

Auf diese Weise kann insbesondere beispielsweise eine vorgegebene Zahl von Parametern, die beim Wechsel zwischen den Iterationen geändert werden soll, so ausgenutzt werden, dass mit der hierdurch gewonnenen Flexibilität eine möglichst gute Leistung des KNN im Hinblick auf die trainierte Aufgabe erzielt wird.In this way, for example, a predetermined number of parameters that are to be changed when changing between the iterations can be used in such a way that the best possible performance of the ANN with regard to the trained task is achieved with the flexibility gained as a result.

Es kann aber auch beispielsweise ein zusätzlicher Gegenstand der Optimierung sein, welche und/oder wie viele Parameter, die das Verhalten der Schichten im iterativen Block charakterisieren, überhaupt beim Wechsel zwischen Iterationen verändert werden sollen. Zu diesem Zweck kann beispielsweise die Kostenfunktion einen Beitrag enthalten, der von der Anzahl der beim Wechsel zwischen Iterationen geänderten Parameter, von der Änderungsrate dieser geänderten Parameter, und/oder von der absoluten oder relativen Änderung über alle Parameter, abhängt. Auf diese Weise kann beispielsweise der Vorteil, den der Flexibilitätsgewinn durch das zusätzliche Verändern eines Parameters bringt, gegen den Energie- und Zeitaufwand für dieses Ändern abgewogen werden.However, it can also be an additional object of the optimization, for example, which and/or how many parameters that characterize the behavior of the layers in the iterative block are to be changed at all when changing between iterations. For this purpose, for example, the cost function can contain a contribution that depends on the number of parameters changed when switching between iterations, on the rate of change of these changed parameters, and/or on the absolute or relative change over all parameters. In this way, for example, the advantage of gaining flexibility by additionally changing a parameter can be weighed against the energy and time required for this change.

Dieser Beitrag kann beispielsweise die Form $L = \sum_{j}^{J - 1} \sum_{i}^{I} ‖ w_{i}^{j}, w_{i}^{j + 1} ‖$

haben. Hierin sind

w_{i}^{j}

die Parameter, die das Verhalten der Schichten im iterativen Block charakterisieren. Das Subskript i bezeichnet die einzelnen Parameter, das Superskript j bezeichnet die Iterationen. I bezeichnet die Gesamtzahl der vorhandenen Parameter, und J bezeichnet die Gesamtzahl der Iterationen. L misst also die absolute oder relative Änderung über alle Parameter nach einer beliebigen Norm, etwa einer L₀-Norm, einer L₁-Norm, einer L₂-Norm oder einer L_∞-Norm. Eine L₀-Norm misst die Anzahl der Parameter, die sich ändern.For example, this post can take the form

L = \sum_{j}^{J - 1} \sum_{i}^{I} ‖ w_{i}^{j}, w_{i}^{j + 1} ‖

to have. Herein are

w_{i}^{j}

the parameters that characterize the behavior of the layers in the iterative block. The subscript i designates the individual parameters, the superscript j designates the iterations. I denotes the total number of parameters present and J denotes the total number of iterations. L thus measures the absolute or relative change over all parameters according to an arbitrary norm, such as an L ₀ norm, an L ₁ norm, an L ₂ norm or an L _∞ norm. An L ₀ norm measures the number of parameters that change.

In einer weiteren vorteilhaften Ausgestaltung können gleichzeitig und/oder im Wechsel mit den Parametern, die das Verhalten der Schichten im iterativen Block charakterisieren, auch weitere Parameter, die das Verhalten weiterer Neuronen und/oder anderer Verarbeitungseinheiten des KNN außerhalb des iterativen Blocks charakterisieren, auf eine voraussichtlich bessere Bewertung durch die Kostenfunktion optimiert werden. Dann können beispielsweise die nicht iterativ ausgeführten Teile des KNN Einbußen bei der Genauigkeit, die das im iterativen Block des KNN gebrachte Opfer an Flexibilität mit sich bringt, zumindest teilweise ausgleichen.In a further advantageous refinement, other parameters which characterize the behavior of further neurons and/or other processing units of the ANN outside of the iterative block can be optimized for a probably better evaluation by the cost function. Then, for example, the parts of the ANN that are not executed iteratively can at least partially compensate for losses in accuracy that come with the sacrifice of flexibility made in the iterative block of the ANN.

Vorzugsweise wird nachdem das Training beendet wurde, die Funktion erstellt, die dann die Parameter abhängig von der Iteration vorhersagt. Zusätzlich kann das Finden (einer hardwareverträglichen Form) der Funktion Bestandteil des Trainings sein. Besonders bevorzugt wird die Funktion end-to-end mit den Parametern des KNN gelernt bzw. optimiert.Preferably, after the training has finished, the function is created, which then predicts the parameters depending on the iteration. In addition, finding (a hardware-compatible form) the function can be part of the training. The function is particularly preferably learned or optimized end-to-end with the parameters of the ANN.

Wie zuvor erläutert, ist die iterative Ausführung von Teilen eines KNN besonders an Bord von Fahrzeugen vorteilhaft, wo sowohl zusätzlicher Platz für Hardware als auch Energie aus dem Bordnetz des Fahrzeugs begrenzte Ressourcen sind.As discussed previously, iterative execution of portions of an ANN is particularly advantageous onboard vehicles, where both additional hardware space and power from the vehicle's electrical system are limited resources.

Daher bezieht sich die Erfindung auch auf ein Steuergerät für ein Fahrzeug. Dieses Steuergerät umfasst eine Eingabeschnittstelle, die mit einem oder mehreren Sensoren des Fahrzeugs verbindbar ist, sowie eine Ausgabeschnittstelle, die mit einem oder mehreren Aktoren des Fahrzeugs verbindbar ist. Das Steuergerät umfasst weiterhin ein KNN. Dieses KNN ist an der Verarbeitung von über die Eingabeschnittstelle bezogenen Messdaten von dem oder den Sensoren zu einem Ansteuersignal für die Ausgabeschnittstelle beteiligt. Weiterhin ist dieses KNN für die Durchführung des eingangs beschriebenen Verfahrens hergerichtet. In diesem Umfeld ist die zuvor diskutierte Einsparung sowohl von Hardwareressourcen als auch von Energie besonders vorteilhaft.The invention therefore also relates to a control device for a vehicle. This control device includes an input interface that can be connected to one or more sensors in the vehicle, and an output interface that can be connected to one or more actuators in the vehicle. The control unit also includes an ANN. This ANN is involved in the processing of measurement data from the sensor or sensors obtained via the input interface into a control signal for the output interface. Furthermore, this ANN is set up to carry out the method described at the outset. In this environment, the previously discussed saving of both hardware resources and energy is particularly advantageous.

Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.In particular, the methods can be fully or partially computer-implemented. The invention therefore also relates to a computer program with machine-readable instructions which, when executed on one or more computers, cause the computer or computers to carry out one of the methods described. In this sense, control devices for vehicles and embedded systems for technical devices that are also able to execute machine-readable instructions are also to be regarded as computers.

Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.The invention also relates to a machine-readable data carrier and/or a download product with the computer program. A downloadable product is a digital product that can be transmitted over a data network, i.e. can be downloaded by a user of the data network and that can be offered for sale in an online shop for immediate download, for example.

Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.Furthermore, a computer can be equipped with the computer program, with the machine-readable data carrier or with the downloadable product.

Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.Further measures improving the invention are presented in more detail below together with the description of the preferred exemplary embodiments of the invention with the aid of figures.

Ausführungsbeispieleexemplary embodiments

Es zeigt:

1 Ausführungsbeispiel des Verfahrens 100 zum Betreiben des KNN 1;
2 Beispielhafte Realisierung des Verfahrens 100 an einem Klassifikatornetzwerk;
3 Ausführungsbeispiel des Verfahrens 200 zum Trainieren des KNN 1;
4 Ausführungsbeispiel des Steuergeräts 51 für ein Fahrzeug 50;
5 Veranschaulichung des Vorteils, lediglich einige Parameter des iterativen Blocks zu ändern.

It shows:

1 Embodiment of the method 100 for operating the ANN 1;
2 Exemplary implementation of the method 100 on a classifier network;
3 Embodiment of the method 200 for training the ANN 1;
4 Embodiment of the control unit 51 for a vehicle 50;
5 Illustrating the benefit of changing just a few parameters of the iterative block.

1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 100 zum Betreiben des KNN 1. Das KNN 1 umfasst eine Abfolge von Schichten 12a-12c, 13a-13b, mit denen es Eingaben 11 zu Ausgaben 14 verarbeitet. Diese Schichten sind in 2 näher erläutert. 1 is a schematic flow chart of an embodiment of the method 100 for operating the ANN 1. The ANN 1 comprises a sequence of layers 12a-12c, 13a-13b, with which it processes inputs 11 into outputs 14. These layers are in 2 explained in more detail.

In Schritt 110 wird innerhalb des KNN 1 mindestens ein iterativer Block 15 aus einer oder mehreren Schichten 12a-12c festgelegt, der mehrfach auszuführen ist. In Schritt 120 wird eine Anzahl J von Iterationen festgelegt, für die dieser iterative Block 15 ausgeführt werden soll.In step 110, at least one iterative block 15 made up of one or more layers 12a-12c is defined within the ANN 1, which block is to be executed multiple times. In step 120 a number J of iterations is determined for which this iterative block 15 is to be executed.

Entsprechend der Architektur des KNN 1 erhält der iterative Block 15 eine bestimmte Eingabe 15a. Diese Eingabe 15a wird in Schritt 130 von dem iterativen Block 15 auf eine Ausgabe 15b abgebildet. Dabei ist das Verhalten des iterativen Blocks 15 durch Parameter 15c charakterisiert. Diese Parameter 15c können beispielsweise Gewichte sein, mit denen Eingaben, die einem Neuron oder einer anderen Verarbeitungseinheit des KNN 1 zugeführt werden, zu einer Aktivierung dieses Neurons, bzw. dieser anderen Verarbeitungseinheit, verrechnet werden.According to the architecture of the ANN 1, the iterative block 15 receives a specific input 15a. This input 15a is mapped in step 130 by the iterative block 15 to an output 15b. The behavior of the iterative block 15 is characterized by parameters 15c. These parameters 15c can be weights, for example, with which inputs that are supplied to a neuron or another processing unit of the ANN 1 are calculated to activate this neuron or this other processing unit.

In Schritt 140 wird ein Teil 15c' dieser Parameter 15c verändert, bevor der iterative Block 15 in der nächsten Iteration ausgeführt wird. Es bleiben also weder alle Parameter 15c unverändert, noch werden alle Parameter 15c geändert. Hierfür werden mittels einer Funktion die Werte der veränderten Parameter oder Veränderungen der Parameter berechnet und als neue Parameterwerte gesetzt.In step 140, a part 15c' of these parameters 15c is changed before the iterative block 15 in the next iteration is executed. Thus, neither all parameters 15c remain unchanged, nor are all parameters 15c changed. For this purpose, the values of the changed parameters or changes in the parameters are calculated using a function and set as new parameter values.

Um die nächste Iteration auszuführen, wird in Schritt 150 die zuvor vom iterativen Block 15 erzeugte Ausgabe 15b dem iterativen Block 15 erneut als Eingabe 15a zugeführt.In order to carry out the next iteration, in step 150 the output 15b previously produced by the iterative block 15 is again supplied to iterative block 15 as input 15a.

In Schritt 160 wird geprüft, ob die Iterationen des iterativen Blocks 15 abgeschlossen wurden. Die Iterationen sind abgeschlossen, wenn bereits J Iterationen durchlaufen wurden oder wenn ein anderes vorgegebenes Abbruchkriterium erfüllt ist, je nachdem, was zuerst eintritt. Wenn die Iterationen noch nicht abgeschlossen sind (Wahrheitswert 0), wird zum Ändern eines Teils 15c' der Parameter in Schritt 140 und anschließenden Durchlaufen einer weiteren Iteration in Schritt 150 zurückverzweigt. Wenn die Iterationen hingegen abgeschlossen sind (Wahrheitswert 1), wird in Schritt 170 die Ausgabe 15b des iterativen Blocks 15 der auf den iterativen Block 15 folgenden Schicht 13b des KNN 1 als Eingabe zugeführt. Wenn es keine solche folgende Schicht 13b mehr gibt, wird die Ausgabe 15b des iterativen Blocks 15 hingegen als Ausgabe 14 des KNN 1 bereitgestellt.In step 160 it is checked whether the iterations of the iterative block 15 have been completed. The iterations are complete when J iterations have already been run or when some other predetermined termination criterion is met, whichever comes first. If the iterations are not yet completed (truth value 0), a branch is made back to step 140 to change a part 15c' of the parameters and then run through another iteration in step 150 . On the other hand, if the iterations are completed (truth value 1), in step 170 the output 15b of the iterative block 15 is supplied as input to the layer 13b of the ANN 1 following the iterative block 15 . On the other hand, if there is no such following layer 13b, the output 15b of the iterative block 15 is provided as the output 14 of the ANN 1 .

Optional kann in Schritt 105 ein KNN 1 gewählt werden, das Eingaben 11 zunächst mit mehreren Faltungsschichten 13a, 12a-12c verarbeitet und aus dem hierbei erhaltenen Ergebnis mit mindestens einer weiteren Schicht 13b mindestens einen Klassifikations-Score 2a in Bezug auf eine vorgegebene Klassifikation 2 als Ausgabe 15 ermittelt. Gemäß Block 111 kann dann der iterative Block 15 so festgelegt werden, dass er mindestens einen Teil 12a-12c der Faltungsschichten 13a, 12a-12c umfasst. Dies ist in 2 näher dargestellt.Optionally, an ANN 1 can be selected in step 105, which first processes inputs 11 with several convolution layers 13a, 12a-12c and from the result obtained here with at least one further layer 13b at least one classification score 2a in relation to a given classification 2 as Issue 15 determined. According to block 111, the iterative block 15 can then be defined such that it comprises at least part 12a-12c of the convolutional layers 13a, 12a-12c. this is in 2 shown in more detail.

Es können insbesondere beispielsweise gemäß Block 105a Bilddaten und/oder Zeitreihendaten als Eingaben 11 des KNN 1 gewählt werden.In particular, according to block 105a, for example, image data and/or time series data can be selected as inputs 11 of the ANN 1.

Das Abbilden einer Eingabe 15a des iterativen Blocks 15 auf eine Ausgabe 15b kann gemäß Block 131 insbesondere beispielsweise beinhalten, Eingaben, die Neuronen und/oder andere Verarbeitungseinheiten in dem iterativen Block zugeführt werden, mittels Analogelektronik gewichtet zu summieren (Multiply and Accumulate, MAC).The mapping of an input 15a of the iterative block 15 to an output 15b according to block 131 can in particular include, for example, adding inputs that are supplied to neurons and/or other processing units in the iterative block in a weighted manner using analog electronics (Multiply and Accumulate, MAC).

Gemäß Block 141 kann insbesondere beispielsweise ein Anteil 15c' von zwischen 1 % und 20 %, bevorzugt zwischen 1 % und 15 %, der Parameter 15c, die das Verhalten der Schichten 12a-12c in dem iterativen Block 15 charakterisieren, beim Wechsel zur nächsten Iteration verändert werden.According to block 141, for example, a proportion 15c' of between 1% and 20%, preferably between 1% and 15%, of the parameters 15c that characterize the behavior of the layers 12a-12c in the iterative block 15 when changing to the next iteration to be changed.

Gemäß Block 142 kann bei einem ersten Wechsel zwischen Iterationen ein erster Teil 15c' der Parameter 15c und bei einem zweiten Wechsel zwischen Iterationen ein zweiter Teil 15c' der Parameter 15c verändert werden. Dabei ist der zweite Teil 15c'' nicht deckungsgleich mit dem ersten Teil 15c'.According to block 142, a first part 15c' of the parameters 15c can be changed during a first change between iterations and a second part 15c' of the parameters 15c can be changed during a second change between iterations. The second part 15c'' is not congruent with the first part 15c'.

Gemäß Block 143 können die Parameter 15c in einem Speicher abgelegt werden, in dem jede Schreiboperation physikalisch auf die Speicherorte mehrerer Parameter 15c wirkt. Gemäß Block 144 können dann ausgehend von mindestens einer Iteration beim Wechsel zur nächsten Iteration alle Parameter 15c, auf deren Speicherorte mindestens eine Schreiboperation wirkt, verändert werden.According to block 143, the parameters 15c can be stored in a memory in which each write operation physically affects the memory locations of several parameters 15c. According to block 144, starting from at least one iteration, all parameters 15c whose storage locations are affected by at least one write operation can then be changed when changing to the next iteration.

Gemäß Block 145 können die Parameter 15c in elektrischen Widerstandswerten von Memristoren oder sonstigen Speicherelementen, deren elektrische Widerstandswerte mit einer Programmierspannung oder einem Programmierstrom in nichtflüchtiger Weise änderbar sind, kodiert werden.According to block 145, the parameters 15c can be encoded in electrical resistance values of memristors or other memory elements whose electrical resistance values can be changed in a non-volatile manner with a programming voltage or a programming current.

2 zeigt eine beispielhafte Realisierung des Verfahrens an einem Klassifikatornetzwerk als KNN 1. Das KNN 1 nimmt Messdaten als Eingaben 11 entgegen und gibt Klassifikations-Scores 2a für diese Messdaten in Bezug auf eine vorgegebene Klassifikation 2 als Ausgaben 14 aus. 2 shows an exemplary implementation of the method in a classifier network as ANN 1. The ANN 1 accepts measurement data as inputs 11 and outputs classification scores 2a for this measurement data in relation to a predetermined classification 2 as outputs 14.

Zu diesem Zweck wird in einer ersten Faltungsschicht 13a die Dimensionalität der Messdaten reduziert, bevor in weiteren Faltungsschichten 12a-12c sukzessive Merkmale in den Messdaten erkannt werden. Dieses weitere Erkennen von Merkmalen kann beispielsweise gleichzeitig oder nacheinander auf verschiedenen Größenskalen erfolgen.For this purpose, the dimensionality of the measurement data is reduced in a first convolution layer 13a before successive features in the measurement data are recognized in further convolution layers 12a-12c. This further recognition of features can, for example, take place simultaneously or one after the other on different size scales.

Die weiteren Faltungsschichten 12a-12c werden zum iterativen Block 15 zusammengefasst, der seine Eingabe aus der ersten Faltungsschicht 13a erhält und mehrfach ausgeführt wird. Dabei wird die Ausgabe 15b einer Iteration jeweils als Eingabe 15a der nächsten Iteration verwendet.The further convolution layers 12a-12c are combined to form the iterative block 15, which receives its input from the first convolution layer 13a and is executed multiple times. The output 15b of one iteration is used as the input 15a of the next iteration.

Wenn die Iterationen des iterativen Blocks 15 abgeschlossen sind, wird die Ausgabe 15b des iterativen Blocks 15 an die vollvernetzte Schicht 13b weitergegeben, wo die Klassifikations-Scores 2a gebildet werden. Alternativ kann bei jeder Iteration auch ein Klassifikations-Score 2a berechnet werden.When the iterations of the iterative block 15 are completed, the output 15b of the iterative block 15 is forwarded to the fully meshed layer 13b where the classification scores 2a are formed. Alternatively, a classification score 2a can also be calculated for each iteration.

3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zum Trainieren des KNN 1. 3 is a schematic flowchart of an embodiment of the method 200 for training the ANN 1.

In Schritt 210 werden Lern-Eingaben 11a sowie zugehörige Lern-Ausgaben 14a, auf die das KNN 1 die Lern-Eingaben 11a jeweils abbilden soll, bereitgestellt. Diese Lern-Eingaben 11a werden in Schritt 220 von dem KNN 1 auf Ausgaben 14 abgebildet. Die Abweichung der Ausgaben 14 von den Lern-Ausgaben 14a wird in Schritt 230 mit einer vorgegebenen Kostenfunktion 16 bewertet.In step 210, learning inputs 11a and associated learning outputs 14a, onto which the ANN 1 is to map the learning inputs 11a, are provided. In step 220, these learning inputs 11a are mapped by the ANN 1 to outputs 14. The deviation of the outputs 14 from the learning outputs 14a is evaluated in step 230 using a predefined cost function 16 .

In Schritt 240 werden die Parameter 15c, die das Verhalten der Schichten 12a-12c, 13a im iterativen Block 15 charakterisieren, einschließlich ihrer Änderungen beim Wechsel zwischen den Iterationen dahingehend optimiert, dass sich bei weiterer Verarbeitung von Lern-Eingaben 11a durch das KNN 1 die Bewertung 16a durch die Kostenfunktion 16 voraussichtlich verbessert.In step 240, the parameters 15c, which characterize the behavior of the layers 12a-12c, 13a in the iterative block 15, including their changes when changing between the iterations, are optimized in such a way that further processing of learning inputs 11a by the ANN 1 Score 16a by cost function 16 expected to improve.

In Schritt 250 werden gleichzeitig oder im Wechsel hierzu weitere Parameter 1c, die das Verhalten weiterer Neuronen und/oder anderer Verarbeitungseinheiten des KNN 1 außerhalb des iterativen Blocks 15 charakterisieren, auf eine voraussichtlich bessere Bewertung 16a durch die Kostenfunktion 16 optimiert.In step 250, further parameters 1c, which characterize the behavior of further neurons and/or other processing units of the ANN 1 outside of the iterative block 15, are optimized by the cost function 16 for a presumably better evaluation 16a at the same time or in alternation.

Der fertig trainierte Zustand der Parameter 15c ist mit dem Bezugszeichen 15c* bezeichnet. Der fertig trainierte Zustand der Parameter 1c ist mit dem Bezugszeichen 1c* bezeichnet.The fully trained state of the parameters 15c is denoted by the reference symbol 15c*. The fully trained state of the parameters 1c is denoted by the reference symbol 1c*.

4 zeigt ein Ausführungsbeispiel des Steuergeräts 51 für ein Fahrzeug 50. Das Steuergerät 51 weist eine Eingabeschnittstelle 51a auf, die hier mit einem Sensor 52 des Fahrzeugs 50 verbunden ist und Messdaten 52a von diesem Sensor 52 entgegennimmt. Die Messdaten 52a werden unter Mitwirkung eines KNN 1 zu einem Ansteuersignal 53a verarbeitet, das für einen Aktor 53 des Fahrzeugs 50 bestimmt ist. Das Ansteuersignal 53a wird über eine Ausgabeschnittstelle 51b des Steuergeräts 51, mit der der Aktor 53 verbunden ist, an den Aktor 53 weitergeleitet. 4 shows an exemplary embodiment of the control unit 51 for a vehicle 50. The control unit 51 has an input interface 51a, which is connected here to a sensor 52 of the vehicle 50 and receives measurement data 52a from this sensor 52. The measurement data 52a are processed with the assistance of an ANN 1 to form a control signal 53a which is intended for an actuator 53 of the vehicle 50 . Control signal 53a is forwarded to actuator 53 via an output interface 51b of control unit 51, to which actuator 53 is connected.

5 verdeutlich schematisch den Vorteil, den es bringt, beim Wechsel zwischen Iterationen lediglich einen Teil 15c' der Parameter 15c zu ändern, die das Verhalten des iterativen Blocks 15 charakterisieren. Über dem Quotienten 15c'/15c aus der Anzahl der geänderten Parameter 15c' und der Anzahl der insgesamt vorhandenen Parameter 15c sind sowohl die Klassifikationsgenauigkeit A eines als Klassifikatornetzwerk verwendeten KNN 1 als auch die Energiekosten C für den Betrieb dieses KNN 1 aufgetragen. 5 15 schematically illustrates the advantage of changing only part 15c' of the parameters 15c, which characterize the behavior of the iterative block 15, when changing between iterations. Both the classification accuracy A of an ANN 1 used as a classifier network and the energy costs C for the operation of this ANN 1 are plotted against the quotient 15c'/15c from the number of changed parameters 15c' and the total number of parameters 15c present.

Gewisse Energiekosten C fallen auch dann an, wenn keine Parameter 15c geändert werden. Ausgehend von diesem Sockelbetrag steigen die Energiekosten C linear mit der Anzahl der geänderten Parameter 15c'. Die Klassifikationsgenauigkeit A steigt jedoch nichtlinear. Sie nimmt bereits stark zu, wenn nur einige wenige Parameter 15c' geändert werden. Dieses Wachstum schwächt sich mit zunehmender Anzahl geänderter Parameter 15c' ab und geht irgendwann in eine Sättigung. Es ist somit vorteilhaft, für einen geringen Preis an zusätzlichen Energiekosten C den anfänglichen großen Anstieg der Klassifikationsgenauigkeit A auszunutzen.Certain energy costs C are incurred even if no parameters 15c are changed. Starting from this base amount, the energy costs C increase linearly with the number of changed parameters 15c'. However, the classification accuracy A increases non-linearly. It already increases greatly if only a few parameters 15c' are changed. This growth weakens with an increasing number of changed parameters 15c' and eventually reaches saturation. It is thus advantageous to exploit the initial large increase in classification accuracy A for a small price in additional energy costs C.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102020210700 [0002]

Claims

Method (100) for operating an artificial neural network, ANN (1), which processes inputs (11) in a sequence of layers (12a-12c, 13a-13b) to outputs (14), with the steps: • within the ANN (1) at least one iterative block (15) of one or more layers (12a-12c) is specified (110) to be executed multiple times; • a number J of iterations is defined (120) for which this iterative block (15) is to be executed at most; • an input (15a) of the iterative block (15) is mapped (130) by the iterative block (15) to an output (15b); • this output (15b) is supplied to the iterative block (15) again as an input (15a) (150) and is again mapped onto a new output (15b) by the iterative block (15); • after the iterations of the iterative block (15) are completed (160), the output (15b) provided by the iterative block (15) is supplied as input to the layer (13b) of the ANN (1) following the iterative block (15). (170) or provided as an output (14) of the ANN (1), • wherein a part (15c') of the parameters (15c) characterizing the behavior of the layers (12a-12c) in the iterative block (15) at alternation between the iterations for which the iterative block (15) is being executed is changed (140); characterized in that the part (15c') of the parameters (15c) which is changed is determined by means of a function depending on a number of completed iterations.

Method (1) according to claim 1 , characterized in that the function was created in such a way that the function determines the part (15c') of the parameters (15c) as a function of the number of completed iterations.

Method (100) according to any one of Claims 1 or 2 , characterized in that the function is an exponential function or a sign function which changes a sign of the parameters depending on the number of iterations completed.

Method (100) according to one of the preceding claims, characterized in that the function is parameterized using function parameters.

Method (100) according to claim 4 , characterized in that the function parameters are determined by their optimization as a function of the values of the parameters to be changed over the iterations, the optimization being carried out depending on the training of the artificial neural network or after the training of the artificial neural network.

Method (100) according to one of the preceding claims, characterized in that the function is implemented purely in hardware.

Method (100) according to one of the preceding claims, wherein the parameters (15c) are encoded (145) in electrical resistance values of memristors or other memory elements whose electrical resistance values can be changed in a non-volatile manner with a programming voltage or a programming current.

Computer program containing machine-readable instructions which, when executed on one or more computers, cause the computer or computers to carry out a method (100, 200) according to one of Claims 1 until 7 to execute.

Machine-readable data carrier on which the computer program claim 8 is deposited.

Device, which is set up, the method according to one of Claims 1 until 7 to execute.