DE102012011194A1 - Method for training an artificial neural network - Google Patents
Method for training an artificial neural network Download PDFInfo
- Publication number
- DE102012011194A1 DE102012011194A1 DE102012011194A DE102012011194A DE102012011194A1 DE 102012011194 A1 DE102012011194 A1 DE 102012011194A1 DE 102012011194 A DE102012011194 A DE 102012011194A DE 102012011194 A DE102012011194 A DE 102012011194A DE 102012011194 A1 DE102012011194 A1 DE 102012011194A1
- Authority
- DE
- Germany
- Prior art keywords
- output
- neurons
- values
- training
- output neurons
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
Verfahren zum Trainieren eines künstlichen neuronalen Netzes, das mindestens eine Schicht mit Zubringerneuronen und eine Ausgabeschicht mit Ausgabeneuronen aufweist, wobei nur die Ausgabeneuronen adaptiert werden.A method of training an artificial neural network having at least one tributary neuron layer and output neuron output layer, wherein only the output neurons are adapted.
Description
Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes und Computerprogrammprodukte.The invention relates to a method for training an artificial neural network and computer program products.
Insbesondere betrifft das Verfahren das Trainieren eines künstlichen neuronalen Netzes, das mindestens eine verdeckte Schicht mit Zubringerneuronen und eine Ausgabeschicht mit Ausgabeneuronen aufweist.In particular, the method relates to training an artificial neural network having at least one hidden layer with tributary neurons and an output layer with output neurons.
Künstliche neuronale Netze sind in der Lage, komplizierte nichtlineare Funktionen über einen Lernalgorithmus, der durch iterative oder rekursive Vorgehensweise aus vorhandenen Eingangs- und gewünschten Ausgangswerten alle Parameter der Funktion zu bestimmen versucht, zu erlernen.Artificial neural networks are capable of learning complicated nonlinear functions through a learning algorithm that attempts to determine all parameters of the function by iterative or recursive action from existing input and desired output values.
Die verwendeten Netze sind massiv parallele Strukturen zur Modellierung beliebiger funktionaler Zusammenhänge. Hierzu werden ihnen Trainingsdaten angeboten, die die zu modellierenden Zusammenhänge anhand von Beispielen repräsentieren. Während des Trainings werden die inneren Parameter der neuronalen Netze, wie beispielsweise ihre synaptischen Gewichte, durch Trainingsprozesse so angepasst, dass der gewünschte Response auf die Eingangsdaten erzeugt wird. Dieses Training wird supervised learning genannt.The networks used are massively parallel structures for modeling arbitrary functional relationships. For this they are offered training data that represent the relationships to be modeled using examples. During training, the internal parameters of the neural networks, such as their synaptic weights, are adjusted by training processes to produce the desired response to the input data. This training is called supervised learning.
Bisherige Trainingsprozesse laufen so ab, dass in Epochen, das sind Zyklen, in denen dem Netz die Daten angeboten werden, der Response-Fehler am Ausgang des Netzes iterativ verringert wird.Previous training processes run in such a way that in epochs, ie cycles in which the data is offered to the network, the response error at the output of the network is iteratively reduced.
Dazu werden die Fehler der Ausgabeneuronen rückwärts in das Netz propagiert (backpropagation). Mithilfe verschiedener Prozesse (Gradientenabstieg, heuristische Verfahren wie z. B. particle swarm optimization oder Evolutionsverfahren) werden dann die synaptischen Gewichte aller Neuronen des Netzes so verändert, dass das neuronale Netz die gewünschte Funktionalität beliebig genau approximiert.For this, the errors of the output neurons are propagated backwards into the network (backpropagation). Using various processes (gradient descent, heuristic methods such as particle swarm optimization or evolution methods), the synaptic weights of all neurons in the network are then changed so that the neural network approximates the desired functionality as accurately as possible.
In künstlichen neuronalen Netzen bezeichnet die Topologie die Struktur des Netzes. Dabei können Neuronen in hintereinander liegenden Schichten angeordnet werden. Man spricht zum Beispiel bei einem Netz mit einer einzigen trainierbaren Neuronenschicht von einem einschichtigen Netz. Die hinterste Schicht des Netzes, deren Neuronenausgaben meist als einzige außerhalb des Netzes sichtbar sind, wird Ausgabeschicht genannt. Davor liegende Schichten werden dementsprechend als verdeckte Schichten bezeichnet. Das erfindungsgemäße Verfahren ist für neuronale feed forward Netze beliebiger Topologie geeignet, die mindestens eine Schicht mit Zubringerneuronen und eine Ausgabeschicht mit Ausgabeneuronen aufweisen.In artificial neural networks, the topology designates the structure of the network. In this case, neurons can be arranged in successive layers. For example, in a network with a single trainable neuron layer, one speaks of a single-layer network. The last layer of the network, whose neuron output is usually the only one visible outside the network, is called the output layer. Layers in front of it are accordingly called hidden layers. The inventive method is suitable for neural feed forward networks of any topology having at least one layer with feeder neurons and an output layer with output neurons.
Die beschriebenen Lernverfahren dienen dazu, ein neuronales Netz dazu zu bringen, für bestimmte Eingangsmuster zugehörige Ausgabemuster zu erzeugen. Hierzu wird das Netz trainiert oder adaptiert. Das Trainieren von künstlichen neuronalen Netzen, das heißt das Schätzen der im Modell enthaltenen Parameter, führt in der Regel zu hochdimensionalen nichtlinearen Optimierungsproblemen. Die prinzipielle Schwierigkeit bei der Lösung dieser Probleme besteht in der Praxis häufig darin, dass man nicht sicher sein kann, ob man das globale Optimum gefunden hat oder nur ein lokales. Eine Annäherung an die globale Lösung benötigt in der Regel eine zeitaufwendige vielfache Wiederholung der Optimierung mit immer neuen Startwerten für die inneren Parameter und den vorgegebenen Eingangs- und Ausgangswerten.The teaching methods described serve to cause a neural network to generate associated output patterns for particular input patterns. For this purpose, the network is trained or adapted. The training of artificial neural networks, that is estimating the parameters contained in the model, usually leads to high-dimensional nonlinear optimization problems. The principal difficulty in solving these problems in practice is often that one can not be sure whether one has found the global optimum or only a local one. An approach to the global solution usually requires a time-consuming multiple repetition of the optimization with always new starting values for the inner parameters and the given input and output values.
Die bisherigen Trainingsverfahren sind sehr rechenintensiv und erfordern daher lange Rechenzeiten, die sehr stark mit der Anzahl verbundener Neuronen und Schichten ansteigen. Daher sind sehr komplexe neuronale Netze, die zur Approximation komplizierter funktionaler Zusammenhänge nötig sind, nur sehr langsam so zu trainieren, dass ein akzeptabler Restfehler erreicht wird.The previous training methods are very compute-intensive and therefore require long computing times, which increase very strongly with the number of connected neurons and layers. Therefore, very complex neural networks, which are necessary for the approximation of complex functional relationships, are only to be trained very slowly in such a way that an acceptable residual error is achieved.
Außerdem leiden solchermaßen trainierte Netze an dem Risiko, suboptimal trainiert zu sein, da die angewandten Trainingsmethoden meistens nur lokale Informationen über die Fehlerpropagation ausnutzen und deshalb fast immer in lokalen Fehlerminima hängen bleiben.In addition, networks trained in such a way suffer from the risk of being suboptimal trained, since the training methods used mostly exploit only local information about the error propagation and therefore almost always remain stuck in local error terms.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes derart weiterzuentwickeln, dass zu vorgegebenen Eingangswerten in möglichst kurzer Zeit Responsewerte mit minimaler Abweichung zu den gewünschten Ausgangswerten bereitgestellt werden.The invention is based on the object of further developing a method for training an artificial neural network in such a way that response values with minimal deviation from the desired output values are provided at predefined input values in the shortest possible time.
Diese Aufgabe wird mit einem gattungsgemäßen Verfahren gelöst, bei dem nur die Ausgabeneuronen adaptiert werden.This object is achieved by a generic method in which only the output neurons are adapted.
Mit anderen Worten werden für eine zu trainierende Funktionalität und ein vorgegebenes Netz Eingangswerte und Ausgangswerte vorgegeben und nur die Ausgabeneuronen werden so adaptiert, dass der Ausgabefehler minimiert wird.In other words, for a functionality to be trained and a given network, input values and output values are given, and only the output neurons are adapted to minimize the output error.
Dabei können verschiedene zufällig generierte Zubringer-Teilnetze alternativ mit derselben Ausgabeschicht verbunden werden.Different randomly generated feeder subnets can alternatively be connected to the same output layer.
Mit Ausnahme der Neuronen, die Ergebnisse repräsentieren (Ausgabeneuronen), erzeugen die vorgelagerten Neuronen (Zubringerneuronen) mehrstufig nichtlineare Verrechnungen der Eingangswerte und der Zwischenwerte anderer Neuronen.With the exception of the neurons, which represent results (output neurons), the upstream neurons (feeder neurons) generate multilevel nonlinear computations of the input values and the intermediate values of other neurons.
Aufgabe der Zubringerneuronen ist es, eine geeignete interne Repräsentation der zu lernenden Funktionalität in einem hochdimensionalen Raum zu erzeugen. Aufgabe der Ausgabeneuronen ist es, das Angebot der Zubringerneuronen zu untersuchen und die am besten geeignete Auswahl an nichtlinearen Verrechnungsergebnissen zu bestimmen. The task of the tributary neurons is to create a suitable internal representation of the functionality to be learned in a high-dimensional space. The task of the output neurons is to examine the offer of the feeder neuron and to determine the most suitable selection of non-linear allocation results.
Daher können diese beiden Neuronenklassen unterschiedlich adaptiert werden und es hat sich überraschenderweise herausgestellt, dass die Zeit, die für das Trainieren eines künstlichen neuronalen Netzes benötigt wird, deutlich verringert werden kann, wenn nur die Ausgabeneuronen adaptiert werden.Therefore, these two neuron classes can be adapted differently, and it has surprisingly been found that the time required for training an artificial neural network can be significantly reduced if only the output neurons are adapted.
Das Verfahren beruht auf einer Neuinterpretation der Wirkungsweise von feed forward Netzen und ihm liegen im Wesentlichen zwei Verfahrensschritte zugrunde:
- a) Erzeuge geeignete interne Repräsentationen der zu trainierenden Funktionalität.
- b) Wähle eine optimale Auswahl aus dem Angebot vorverrechneter Outputs der Zubringerneuronen.
- a) Create suitable internal representations of the functionality to be trained.
- b) Choose an optimal selection from the offer of pre-calculated outputs of the feeder neurons.
Die hier vorgestellte Erfindung beruht somit auf einem gänzlich anderen Paradigma zur Beschreibung der Funktion neuronaler feed forward Netze.The invention presented here thus relies on an entirely different paradigm for describing the function of neural feed-forward networks.
Ein feed forward Netz wird als eine Hintereinanderschaltung zweier Teilnetze interpretiert.A feed-forward network is interpreted as a series connection of two subnetworks.
Der erste Teil enthält alle Neuronen außer den Ausgabeneuronen. Diese Neuronen sind mit zufälligen synaptischen Gewichten, zufälligen Transferfunktionen und zufälliger Netztopologie initialisiert und werden in keiner Phase der Adaption verändert. Daher erzeugen sie auch nur zufällige nichtlineare Verrechnungen der angebotenen Eingangsinformationen.The first part contains all neurons except the output neurons. These neurons are initialized with random synaptic weights, random transfer functions, and random network topology, and are not altered at any stage of the adaptation. Therefore, they also generate only random nonlinear billing of the offered input information.
Der zweite Teil enthält nur die Ausgabeneuronen. Diese sind gemäß der vorgegebenen Netztopologie mit dem ersten Teil des Netzes über synaptische Gewichte verbunden.The second part contains only the output neurons. These are connected according to the predetermined network topology with the first part of the network synaptic weights.
Nur diese Gewichte werden erfindungsgemäß an die Aufgabenstellung angepasst.Only these weights are adjusted according to the invention to the task.
Dies geschieht vorzugsweise mit einer tichonov-regularisierten Regression zwischen den zufälligen Verrechnungen (das Zwischenergebnis-Angebot des ersten Teilnetzes) und der notwendigen Aktivierung der Ausgabeneuronen. Die synaptischen Gewichte der Ausgabeneuronen wählen daher erfindungsgemäß aus dem zufälligen Angebot des ersten Teilnetzes vorzugsweise in nur einem Rechenschritt, also nicht iterativ und nicht mit Methoden des Gradientenabstiegs, die optimalen synaptischen Gewichte der Ausgabeschicht aus.This is preferably done with a tichonov-regularized regression between the random allocations (the intermediate result offer of the first subnet) and the necessary activation of the output neurons. The synaptic weights of the output neurons therefore select, according to the invention, from the random offer of the first subnetwork preferably in only one computation step, ie not iteratively and not with methods of gradient descent, the optimal synaptic weights of the output layer.
Bei genügend großer Anzahl der Neuronen in dem ersten Teilnetz ergeben sich immer ausreichend viele nichtlineare Verrechnungsergebnisse, so dass sich die nachfolgende Ausgabeschicht sehr gut an die Aufgabe anpassen kann.Given a sufficiently large number of neurons in the first subnet, there are always sufficient nonlinear computation results, so that the subsequent output layer can adapt very well to the task.
Aus dem Zufall erwachsen also gleichsam die Vorverrechnungen zur Lösung des Approximationsproblems. Dies wird als zufallsinduzierte Emergenz bezeichnet.By chance, therefore, the pre-computations arise for the solution of the approximation problem. This is called random induced emergence.
Die Erfindung bietet daher folgende Vorteile:
Es ist nur ein Rechenschritt zur vollständigen Adaption des Netzes an die gestellte Aufgabe nötig.The invention therefore offers the following advantages:
There is only one calculation step for the complete adaptation of the network to the task required.
Daher ist die Adaption sehr schnell, da übliche Regressionsmethoden verwendet werden können (z. B. Cholesky-Faktorisierung, Singulärwertzerlegung, LU-Zerlegung etc.).Therefore, the adaptation is very fast because common regression methods can be used (eg Cholesky factorization, singular value decomposition, LU decomposition, etc.).
Es ist kein Hängenbleiben in einem lokalen Optimum möglich, da kein Gradientenabstieg und keine Fehler-Backpropagation durchgeführt werden.It is not possible to get stuck in a local optimum, since no gradient descent and no error backpropagation are performed.
Wegen der starken Tichonov-Regularisierung ist ein Auswendiglernen (Übertrainieren) ausgeschlossen.Due to the strong Tichonov regularization, memorization (overtraining) is excluded.
Die Benutzung sehr großer neuronaler Netze ist einfach möglich. Dies ist sogar vorteilhaft, da durch Vergrößerung des nichtlinearen Zufallsangebots die Chance einer verbesserten Approximationsgüte gesteigert wird.The use of very large neural networks is easily possible. This is even advantageous because increasing the non-linear randomization increases the chance of improved approximation quality.
Theoretisch kann ein Netz durch folgende Methoden lernen: Entwicklung neuer Verbindungen, Löschen bestehender Verbindungen, Ändern der Gewichtung, Anpassen der Schwellenwerte der Neuronen, Hinzufügen oder Löschen von Neuronen. Außerdem verändert sich das Lernverhalten bei Veränderung der Aktivierungsfunktion der Neuronen oder der Lernrate des Netzes.Theoretically, a network can learn by: developing new connections, deleting existing connections, changing the weight, adjusting the thresholds of the neurons, adding or deleting neurons. In addition, the learning behavior changes as the activation function of the neurons changes or the learning rate of the network changes.
Da ein künstliches neuronales Netz hauptsächlich durch Modifikation der Gewichte der Neuronen lernt, wird vorgeschlagen, dass zum Adaptieren der Ausgabeneuronen die synaptischen Gewichte der Ausgabeneuronen bestimmt werden. Eine üblicherweise durchgeführte Adaption der Zubringerneuronen, vorzugsweise durch Anpassung ihrer synaptischen Gewichte, ist erfindungsgemäß nicht notwendig.Since an artificial neural network learns mainly by modifying the weights of the neurons, it is proposed that the synaptic weights of the output neurons be determined to adapt the output neurons. A commonly performed adaptation of the feeder neurons, preferably by adaptation of their synaptic weights, is not necessary according to the invention.
Dabei ist vorgesehen, dass die synaptischen Gewichte der Ausgabeneuronen auf der Basis der Werte derjenigen Zubringerneuronen, die direkt mit den Ausgabeneuronen verbunden sind, und der vorgegebenen Ausgangswerte bestimmt werden.It is contemplated that the synaptic weights of the output neurons are determined based on the values of those tributary neurons that are directly connected to the output neurons and the default output values.
Ein vorteilhaftes Verfahren sieht vor, dass die Ausgabeneuronen mit weniger als fünf Adaptionsschritten, vorzugsweise nur einem Schritt, adaptiert werden. An advantageous method provides that the output neurons are adapted with less than five adaptation steps, preferably only one step.
Bei der Adaption bzw. dem Training ist es vorteilhaft, wenn vorgegebene Ausgangswerte mit den inversen Transferfunktionen zurückgerechnet werden.In adaptation or training, it is advantageous if predefined initial values are back-calculated with the inverse transfer functions.
Ein Computerprogrammprodukt mit Computerprogrammcodemitteln zur Durchführung des beschriebenen Verfahrens ermöglicht es, das Verfahren als Programm auf einem Computer auszuführen.A computer program product with computer program code means for carrying out the method described makes it possible to execute the method as a program on a computer.
Ein derartiges Computerprogrammprodukt kann auch auf einem computerlesbaren Datenspeicher gespeichert sein.Such a computer program product can also be stored on a computer-readable data memory.
Ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens wird anhand der
Es zeigt:It shows:
Das in
Das in
Da die Gewichtung (
Im Ausführungsbeispiel werden in einem ersten Schritt des Trainingsprozesses alle Gewichte (
Die gewünschten vorgegebenen Ausgangswerte (
Die synaptischen Gewichte aller Ausgabeneuronen werden durch einen tichonov-regularisierten Regressionsprozess zwischen invertierten vorgegebenen Ausgangswerten (
Ist das gewünschte Approximationsziel erreicht, ist also der Ausgabefehler kleiner als eine gesetzte Obergrenze, endet das Verfahren hier.If the desired approximation target is reached, ie if the output error is smaller than a set upper limit, the method ends here.
Ansonsten wiederholt man das Verfahren mit einer anderen zufälligen Initialisierung der Gewichte oder einer größeren Anzahl der Zubringerneuronen.Otherwise, repeat the procedure with another random initialization of the weights or a larger number of tributary neurons.
Dies ermöglicht es beispielsweise, als Eingangswerte (
Während für derartige Berechnungen mit einem herkömmlichen Trainingsprozess im praktischen Einsatz viele Stunden zum Trainieren des neuronalen Netzwerks notwendig waren, erlaubt das erfindungsgemäße Verfahren ein Trainieren innerhalb weniger Sekunden oder Minuten.While many hours to train the neural network were necessary for such calculations with a conventional training process in practice, the method according to the invention allows training within a few seconds or minutes.
Das beschriebene Verfahren ermöglicht somit eine starke Reduktion der benötigten Zeit bei einem vorgegebenen künstlichen neuronalen Netz. Damit kann auch das Netz groß genug gewählt werden, um die gewünschte Qualität der Ergebnisse zu erreichen. Die kurze Trainingszeit eröffnet die Verwendung künstlicher neuronaler Netze in leistungsschwächeren Computern wie insbesondere auch Smartphones.The method described thus makes it possible to greatly reduce the time required for a given artificial neural network. Thus, the network can be chosen large enough to achieve the desired quality of the results. The short training period opens up the use of artificial neural networks in less powerful computers, especially smartphones.
Smartphones können somit während ihrer Verwendung kontinuierlich trainiert werden, um nach einer Trainingsphase dem Nutzer von sich aus Informationen zur Verfügung zu stellen, die er regelmäßig abruft. Wenn der Nutzer beispielsweise täglich über eine Applikation sich spezielle Börsendaten anzeigen lässt, können diese Börsendaten dem Nutzer bei einer beliebigen Verwendung des Smartphones automatisch angezeigt werden, ohne dass der Nutzer zunächst die Applikation aktiviert und seine Daten abruft.Smartphones can thus be continuously trained during their use, after a training phase to provide the user information itself, which he retrieves regularly. If, for example, the user can display special stock market data daily via an application, these stock market data can be automatically displayed to the user during any use of the smartphone without the user first activating the application and retrieving his data.
Claims (10)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012011194A DE102012011194A1 (en) | 2012-06-06 | 2012-06-06 | Method for training an artificial neural network |
PCT/DE2013/000205 WO2013182176A1 (en) | 2012-06-06 | 2013-04-18 | Method for training an artificial neural network, and computer program products |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012011194A DE102012011194A1 (en) | 2012-06-06 | 2012-06-06 | Method for training an artificial neural network |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102012011194A1 true DE102012011194A1 (en) | 2013-12-12 |
Family
ID=49625670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102012011194A Withdrawn DE102012011194A1 (en) | 2012-06-06 | 2012-06-06 | Method for training an artificial neural network |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102012011194A1 (en) |
WO (1) | WO2013182176A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017126846A1 (en) * | 2017-11-15 | 2019-05-16 | Gottfried Wilhelm Leibniz Universität Hannover | Artificial neural network and method for this |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101807046B (en) * | 2010-03-08 | 2011-08-17 | 清华大学 | Online modeling method based on extreme learning machine with adjustable structure |
-
2012
- 2012-06-06 DE DE102012011194A patent/DE102012011194A1/en not_active Withdrawn
-
2013
- 2013-04-18 WO PCT/DE2013/000205 patent/WO2013182176A1/en active Application Filing
Non-Patent Citations (2)
Title |
---|
BGH: Webseitenanzeige, X ZR 121/09. 24.02.2011 * |
SHARAWI, M. [u.a.]: Optimizing Neural Network Architecture Using Tikhonov Regularization Parameter for Intrusion Detection Systems and Classification of Attacks. Proceedings of the 2008 International Conference on Information & Knowledge Engineering, IKE 2008, July 14-17, 2008. Las Vegas, Nevada, USA : CSREA Press, 2008. S. 291-296. - ISBN 1-60132-075-2. http://nguyendangbinh.org/Proceedings/IPCV08/Papers/IKE3865.pdf [abgerufen am 30.08.2012] * |
Also Published As
Publication number | Publication date |
---|---|
WO2013182176A1 (en) | 2013-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102012009502A1 (en) | Method for training an artificial neural network | |
DE202017007641U1 (en) | Training machine learning models on multiple machine learning tasks | |
DE112018004223T5 (en) | Training artificial neural networks | |
WO2014121863A1 (en) | Method and device for controlling an energy-generating system which can be operated with a renewable energy source | |
DE112016003245T5 (en) | Resistive processing unit | |
DE112011101370T5 (en) | Neural network with canonical pulsed neurons for a spatiotemporal associative memory | |
DE102019210270A1 (en) | Method for training a Generative Adversarial Network (GAN), Generative Adversarial Network, computer program, machine-readable storage medium and device | |
DE112019000226T5 (en) | NEUROMORPHER CHIP FOR UPDATING PRECISE SYNAPTICAL WEIGHT VALUES | |
DE112020002186T5 (en) | DNN TRAINING WITH ASYMMETRIC RPU UNITS | |
DE112019005119T5 (en) | ALIGNMENT TECHNIQUES FOR ADJUSTING THE SYMMETRY POINT AS A ZERO WEIGHTING POINT IN ANALOGUE CROSSING POINT ARRANGEMENTS | |
DE112019000676T5 (en) | CENTRAL SCHEDULER AND INSTRUCTION ASSIGNMENT FOR A NEURAL INFERENCE PROCESSOR | |
DE112020001369T5 (en) | PULSED SYNAPTIC ELEMENTS FOR PULSED NEURAL NETWORKS | |
WO2020187591A1 (en) | Method and device for controlling a robot | |
DE60125536T2 (en) | ARRANGEMENT FOR GENERATING ELEMENT SEQUENCES | |
DE102021109382A1 (en) | SYSTEM AND PROCEDURE OF A MONOTON NEURAL OPERATOR NETWORK TECHNICAL FIELD | |
EP4000010A1 (en) | Device and computer-implemented method for the processing of digital sensor data and training method for same | |
DE112020005613T5 (en) | Neuromorphic unit with crossbar array structure | |
EP3931760A1 (en) | Training neural networks for efficient implementation on hardware | |
DE102012011194A1 (en) | Method for training an artificial neural network | |
EP3736749A1 (en) | Method and device for controlling a device using a dataset | |
DE112021005218T5 (en) | Multi-terminal neuromorphic unit | |
DE102013225768A1 (en) | Method and apparatus for determining a LOLIMOT model | |
DE102021115425A1 (en) | Method for transferring a network behavior of a trained start network to a target network without using an original data set | |
DE102021207275A1 (en) | Method for creating an artificial neural network | |
DE202021103700U1 (en) | Device for generating an artificial neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R163 | Identified publications notified | ||
R118 | Application deemed withdrawn due to claim for domestic priority | ||
R118 | Application deemed withdrawn due to claim for domestic priority |
Effective date: 20141208 |