DE19653554A1 - Neural network training method - Google Patents
Neural network training methodInfo
- Publication number
- DE19653554A1 DE19653554A1 DE19653554A DE19653554A DE19653554A1 DE 19653554 A1 DE19653554 A1 DE 19653554A1 DE 19653554 A DE19653554 A DE 19653554A DE 19653554 A DE19653554 A DE 19653554A DE 19653554 A1 DE19653554 A1 DE 19653554A1
- Authority
- DE
- Germany
- Prior art keywords
- neurons
- layer
- input layer
- training
- neuron
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
Description
Aus dem Dokument [1] ist sowohl eine übliche Anordnung eines künstlichen neuronalen Netzes als auch eine Übersicht über verschiedene Trainingsverfahren zum Training eines neuronalen Netzes bekannt.From document [1] there is both a common arrangement of a artificial neural network as well as an overview of different training methods for training a neural Known network.
Die aus [1] bekannte Anordnung eines künstlichen neuronalen Netzes NN weist eine Eingangsschicht ES, eine beliebige An zahl verdeckter Schichten VS und eine Ausgangsschicht AS auf (vgl. Fig. 2). Jede Schicht ES, VS, AS enthält allgemein ei ne beliebige Anzahl von Neuronen NE. Üblicherweise sind die Neuronen NVS der verdeckten Schicht VS, für den Fall daß nur eine verdeckte Schicht existiert, mit Ausgängen ANES der Neu ronen NES der Eingangsschicht ES gekoppelt. Neuronen NAS der Ausgangsschicht AS sind üblicherweise mit Ausgängen ANVS der Neuronen der verdeckten Schicht VS gekoppelt.The arrangement of an artificial neural network NN known from [1] has an input layer ES, any number of hidden layers VS and an output layer AS (cf. FIG. 2). Each layer ES, VS, AS generally contains any number of neurons NE. Usually, the neurons NVS of the hidden layer VS, in the event that only one hidden layer exists, are coupled to outputs ANES of the neurons NES of the input layer ES. Neurons NAS of the output layer AS are usually coupled to outputs ANVS of the neurons of the hidden layer VS.
Zum Trainieren des neuronalen Netzes NN ist es bekannt, Trai ningsdaten dem neuronalen Netz NN zuzuführen. Ein Trainings datum enthält üblicherweise eine beliebige Anzahl Eingangs werte EWi (i = 1 . . . n) und einen dem jeweiligen Trainingsdatum zugeordneten Zielwert ZW. In der Trainingsphase wird unter Verwendung bekannter Trainingsverfahren, beispielsweise dem sog. Gradientenabstiegsverfahren die durch die Trainingsdaten implizit gegebene Funktion durch das neuronale Netz NN approximiert.It is known to train the neural network NN, Trai ning data to the neural network NN. A training date usually contains any number of input values EWi (i = 1... n) and the respective training date assigned target value ZW. In the training phase is under Use of known training methods, such as the So-called gradient descent method through the training data function given implicitly by the neural network NN approximated.
Bei dem bekannten Verfahren ist es nachteilig, daß während des Trainings Trainingsdaten, die weit außerhalb des üblichen Wertebereichs der Trainingsdaten liegen, vollständig im Rah men des Trainings berücksichtigt werden. Dies führt zu Verän derungen der Gewichte, die einzelnen Kopplungen zwischen Neu ronen des neuronalen Netzes NN zugeordnet sind, die uner wünscht sind. Dieses Problem wird als Ausreißerproblematik bezeichnet.In the known method, it is disadvantageous that during of training data that is far outside the usual The range of values of the training data is completely within the range of the training. This leads to changes changes in the weights, the individual couplings between new Rons of the neural network NN are assigned to the un are desired. This problem is called an outlier problem designated.
Eine Übersicht über verschiedene Anwendungsbereiche neurona ler Netze NN ist in dem Dokument [2] zu finden.An overview of different areas of application neurona Networks NN can be found in document [2].
Der Erfindung liegt das Problem zugrunde, ein Verfahren zum Trainieren des neuronalen Netzes sowie eine Anordnung eines künstlichen neuronalen Netzes anzugeben, mit dem bzw. mit der die Ausreißerproblematik im Rahmen des Trainings verglichen mit bekannten Verfahren reduziert wird.The invention is based on the problem of a method for Training the neural network as well as an arrangement of a to specify the artificial neural network with which compared the outlier problem in the course of the training is reduced with known methods.
Das Problem wird durch das Verfahren gemäß Patentanspruch 1 sowie die Anordnung gemäß Patentanspruch 9 gelöst.The problem is solved by the method according to claim 1 and the arrangement according to claim 9 solved.
Bei dem Verfahren wird mindestens ein Eingangswert mindestens einem Neuron der Eingangsschicht zugeführt und jedes Ein gangssignal wird über das Neuron der Eingangsschicht genau einem Neuron einer Zwischeneingangsschicht zugeführt. Sowohl die Neuronen der neuen Zwischeneingangsschicht als auch die Gewichte der Kopplungen zwischen jeweils genau einem Neuron der Eingangsschicht und genau einem Neuron der Zwischenein gangsschicht werden im Rahmen des Trainings berücksichtigt.In the process, at least one input value is at least fed to a neuron of the input layer and every on output signal is accurate via the input layer neuron fed to a neuron of an intermediate input layer. Either the neurons of the new intermediate input layer as well Weights of the couplings between exactly one neuron the input layer and exactly one neuron in between Gang shift are taken into account in the training.
Diese zusätzliche Schicht mit Neuronen, die genau jeweils ein Neuron für jedes Neuron der Eingangsschicht aufweist und bei der jeweils genau ein Neuron der Zwischeneingangsschicht mit genau einem Neuron der Eingangsschicht gekoppelt ist, vermin dert erheblich die Ausreißerproblematik und wirkt als Fokus auf einen wichtigen Wertebereich der Indikatordatenreihe, d. h. der Trainingsdaten. This additional layer with neurons, exactly one each Has neuron for each neuron of the input layer and at each with exactly one neuron in the intermediate input layer exactly one neuron of the input layer is coupled, min changes the outlier problem considerably and acts as a focus on an important range of values of the indicator data series, d. H. the training data.
Die Anordnung gemäß Patentanspruch 9 weist eine Zwischenein gangsschicht zusätzlich zu der Eingangsschicht, den verdeck ten Schichten sowie der Ausgangsschicht auf. Die Zwischenein gangsschicht weist genauso viele Neuronen auf wie die Ein gangsschicht. Genau ein Neuron der Zwischeneingangsschicht ist hierbei mit genau einem Neuron der Eingangsschicht gekop pelt. Die Vorteile, die oben im Zusammenhang mit dem Verfah ren erläutert wurden, sind ebenso für die Anordnung gegeben.The arrangement according to claim 9 has an intermediate corridor in addition to the entrance layer, the roof layers and the starting layer. The in-between gangsschicht has as many neurons as the Ein gang shift. Exactly one neuron of the intermediate input layer is coupled with exactly one neuron of the input layer pelt. The advantages related to the procedure above ren explained are also given for the arrangement.
Allgemein ist die Struktur des neuronalen Netzes NN völlig beliebig. Zwischen den Neuronen jeweils zweier Schichten sind beliebig viele Kopplungen vorgesehen, denen jeweils ein Ge wicht zugeordnet ist. Mit dem Gewicht werden jeweils Aus gangssignale eines Neurons gewichtet, d. h. multipliziert, und dann dem Neuron der nächstfolgenden Schicht, mit dem jeweils der Ausgang des vorangegangenen Neurons gekoppelt ist, zuge führt.In general, the structure of the neural network NN is complete any. There are two layers between the neurons any number of couplings provided, each of which a Ge weight is assigned. With the weight are off weighted output signals of a neuron, d. H. multiplied, and then the neuron of the next layer, with the respective one the output of the previous neuron is coupled, zuge leads.
Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.Advantageous developments of the invention result from the dependent claims.
Es ist bei dem Verfahren in einer Weiterbildung vorteilhaft, einen in den Trainingsdaten jeweils enthaltenen Zwischenziel wert, aus dem der Zielwert gebildet wird, im Training zu be rücksichtigen.In the method in a further development, it is advantageous an intermediate goal contained in the training data value from which the target value is formed in training take into account.
Unter einem Zwischenzielwert sind in der Trainingsphase ent haltene zusätzliche Informationen, d. h. Sollwerte zu verste hen, die im Rahmen des üblichen Trainings bisher noch nicht berücksichtigt wurden.Below an intermediate target value are in the training phase additional information held, d. H. To understand setpoints hen that has not yet been part of the usual training were taken into account.
Aus dem mindestens einen Zwischenzielwert wird der Zielwert gebildet.The at least one intermediate target value becomes the target value educated.
Durch diese Weiterbildung wird in der Trainingsphase das neu ronale Netz an zusätzliche, zwar zuvor bekannte, aber noch nicht im Trainingsverfahren berücksichtigte Zusammenhänge in den Daten approximiert. Durch die Berücksichtigung der Zwi schenzielwerte werden somit zusätzliche Informationen zur Steuerung der Gewichtsanpassung zur Verfügung gestellt. An stelle von wenigen Ausgangsneuronen, die Fehlersignale zur Anpassung oftmals mehrerer 1000 Gewichte produzieren, steht durch diese Weiterbildung nunmehr ein Vielfaches an differen zierter Information über das Verhalten der eigentlichen Ziel werte zur Verfügung. Durch diese Weiterbildung wird die Approximation des neuronalen Netzes an die Trainingsdaten er heblich verbessert.This training will be new in the training phase ronal network of additional, previously known, but still Connections not considered in the training process in approximates the data. By taking the Zwi Target values are thus additional information on the Control of weight adjustment provided. On provide the error signals from a few output neurons Adjustment often produces several 1000 weights thanks to this further training, a multiple of differen adorned information about the behavior of the actual target values available. Through this training the Approximation of the neural network to the training data significantly improved.
Diese Weiterbildung ist ebenso für die Anordnung des künstli chen neuronalen Netzes vorgesehen, bei der eine Zwischenaus gangsschicht vorgesehen ist. Die Eingänge der Neuronen der Zwischenausgangsschicht sind mit Ausgängen der Neuronen der "letzten" verdeckten Schicht des neuronalen Netzes gekoppelt. Durch die Neuronen der Zwischenausgangsschicht werden die Zwischenzielwerte gebildet, die der Ausgangsschicht, d. h. den Neuronen der Ausgangsschicht zugeführt werden. In der Aus gangsschicht werden schließlich die Zielwerte bzw. der Ziel wert gebildet.This training is also for the arrangement of the artificial Chen neural network provided in which an intermediate transition layer is provided. The inputs of the neurons of the Intermediate output layer are the outputs of the neurons coupled "last" hidden layer of the neural network. Through the neurons of the intermediate output layer, the Intermediate target values formed that the starting layer, i. H. the Neurons are fed to the output layer. In the out Finally, the target values or the target become the transition layer worth educated.
Sowohl das Verfahren als auch die Anordnung können in Soft ware als auch in Hardware realisiert werden.Both the method and the arrangement can be done in soft goods as well as in hardware.
Sowohl das Verfahren als auch die Anordnung können in ver schiedensten Gebieten vorteilhaft Anwendung finden.Both the method and the arrangement can be found in ver in a wide variety of areas.
Beispiele möglicher Anwendungen sind zum einen die Analyse des Verhalten, z. B. das Kaufverhalten, potentieller oder tat sächlicher Kunden eines gewerblichen Betriebes, die Analyse eines technischen Sensors oder auch die Analyse der Bonität von Kreditnehmern.On the one hand, examples of possible applications are analysis of behavior, e.g. B. buying behavior, potential or did neuter customer of a commercial enterprise, the analysis of a technical sensor or the analysis of creditworthiness of borrowers.
Bei der Analyse des Kaufverhaltens wird beispielsweise mit dem Zielwert die Kaufwahrscheinlichkeit eines potentiellen Kunden angegeben. Mögliche Zwischenzielwerte sind beispiels weise in diesem Fall Wahrscheinlichkeiten dafür, daß ein männlicher Käufer tatsächlich einen Kauf tätigt bzw. daß ein weiblicher Käufer die Ware kauft. Die Zielgröße ergibt sich somit aus der Summe der Wahrscheinlichkeiten, daß männliche Kunden, bzw. weibliche Kunden einen Kauf tätigen.When analyzing buying behavior, for example, the target value the likelihood of purchase of a potential Customer specified. Possible intermediate target values are examples in this case show probabilities that a male buyer actually makes a purchase or that a female buyer buys the goods. The target size results hence from the sum of the probabilities that male Customers or female customers make a purchase.
Eine andere Möglichkeit wäre, daß als Zwischenzielwert die Wahrscheinlichkeit dafür, daß eine junge Käufergruppe einen Kauf tätigt verwendet wird und als eine zweite Zwischenziel größe die Wahrscheinlichkeit dafür, daß ein älterer Kunden kreis einen Kauf tätigt. Wiederum ergibt sich die Zielgröße der Kaufwahrscheinlichkeit aus der Summe der einzelnen, oben beschriebenen Wahrscheinlichkeiten.Another possibility would be that the Probability of a young group of buyers getting one Buying is used and as a second stopover size the likelihood that an older customer circle makes a purchase. Again, the target size results the purchase probability from the sum of the individual, above described probabilities.
Allgemein kann eine beliebige Kombination von Zwischenziel werten verwendet werden. Die einzelnen Wahrscheinlichkeiten der Zwischenzielwerte sind im Rahmen der Trainingsdaten be kannt, beispielsweise implizit aus Meßdaten oder auch aus Um frageergebnissen, d. h. gespeicherten statistischen Informa tionen über verschiedenste Arten von Daten.Generally, any combination of stopover can be used values can be used. The individual probabilities the intermediate target values are within the framework of the training data knows, for example implicitly from measurement data or from Um question results, d. H. stored statistical information tion on various types of data.
Ein weiteres Anwendungsgebiet ist in dem Bereich Versicherun gen zu sehen, bei der beispielsweise die Stornowahrschein lichkeit, d. h. die Wahrscheinlichkeit dafür, ob ein Kunde seine Versicherung kündigt, bestimmt wird.Another area of application is in the area of insurance see the cancellation voucher ease, d. H. the likelihood of whether a customer his insurance terminates, is determined.
Eine weitere Anwendung ist im Bereich von Banken oder auch im Versandhandel zu sehen, bei der sich die Frage stellt, ob ein Kunde seinen Kredit zurückzahlen kann oder nicht. Die Antwor ten auf die jeweiligen oben beschriebenen Fragen stellen in diesem Fall jeweils den Zielwert dar.Another application is in the area of banks or in Mail order to see where the question arises whether a Customer may or may not pay back his loan. The answer ask the respective questions described above in in this case represents the target value.
Bei der Analyse technischer Sensoren können beispielsweise die Signale eines Brandmelders oder auch Signale einer Alarm anlage oder eines Staumelders, etc. sein, mit dem neuronalen Netz beispielsweise daraufhin untersucht werden, ob es brennt, ob ein Alarm vorliegt, ob ein Stau vorliegt, etc.When analyzing technical sensors, for example the signals of a fire detector or signals of an alarm system or a traffic jam detector, etc. with the neural Network, for example, to check whether it burns whether there is an alarm, whether there is a jam, etc.
In den Figuren ist ein Ausführungsbeispiel der Erfindung dar gestellt, welches im weiteren näher erläutert wird.An embodiment of the invention is shown in the figures provided, which is explained in more detail below.
Es zeigenShow it
Fig. 1 eine Skizze, in der ein neuronales Netz mit einer zusätlichen Eingangsschicht, der Zwischeneingangs schicht, dargestellt ist; Figure 1 is a sketch showing a neural network with an additional input layer, the intermediate input layer.
Fig. 2 ein neuronales Netz mit einer bisher bekannten Struktur; Fig. 2 is a neural network with a previously known structure;
Fig. 3 eine Skizze, in der das neuronale Netz sowohl mit einer zusätzlichen Eingangsschicht als auch mit einer zusätzlichen Ausgangsschicht, der Zwischen ausgangsschicht, dargestellt ist; Fig. 3 is a diagram in which the neural network is both shown with an additional input layer and with an additional output layer, the intermediate output layer;
Fig. 4 eine Rechneranordnung, mit der das Trainingsver fahren für das neuronale Netz durchgeführt wird. Fig. 4 shows a computer arrangement with which the training process is carried out for the neural network.
Wie in Fig. 1 dargestellt ist, weist das neuronale Netz NN eine Zwischeneingangsschicht ZES auf. Die Zwischeneingangs schicht enthält so viele Neuronen NZES wie die Eingangsschicht ES. Jeweils ein Neuron NZES der Zwischeneingangsschicht ZES ist mit einem Neuron NES der Eingangsschicht ES gekoppelt.As shown in FIG. 1, the neural network NN has an intermediate input layer ZES. The intermediate input layer contains as many neurons NZES as the input layer ES. In each case one neuron NZES of the intermediate input layer ZES is coupled to one neuron NES of the input layer ES.
Ein Neuron weist üblicherweise eine sigmoide Aktivierungs funktion auf. Ein Neuron wird üblicherweise aktiviert, wenn die Summe der an dem jeweiligen Neuron anliegenden Eingangs signale größer ist als eine vorgebbare Schwelle, der sog. Bi as. Wird das jeweilige Neuron aktiviert, so wird das Aus gangssignal des jeweiligen Neurons üblicherweise auf einen logischen Wert 1 gesetzt. In nicht aktiviertem Zustand weist das Ausgangssignal einen logischen Wert 0 auf. A neuron usually has a sigmoid activation function on. A neuron is usually activated when the sum of the input connected to the respective neuron signals is greater than a predefinable threshold, the so-called bi as. If the respective neuron is activated, the off output signal of the respective neuron usually to one logical value 1 set. Indicates when not activated the output signal has a logic value of 0.
Die Neuronen NVS der mindestens einen verdeckten Schicht VS sind mit den Ausgängen ANZS der Neuronen NZS der Zwischenein gangsschicht ZES in der Weise verbunden, wie sie ohne Exi stenz der Zwischeneingangsschicht ZES mit den Ausgängen ANES der Neuronen NES der Eingangsschicht ES verbunden wären. Die restliche Struktur des neuronalen Netzes NN bleibt unverän dert.The neurons NVS of the at least one hidden layer VS are intermediate with the outputs ANZS of the neurons NZS transition layer ZES connected in the way they do without Exi the intermediate input layer ZES with the outputs ANES of the neurons NES of the input layer ES would be connected. The the remaining structure of the neural network NN remains unchanged different.
Es wird bei der Anordnung demnach anschaulich lediglich eine zusätzliche Schicht, die Zwischeneingangsschicht ZES einge fügt. Die Neuronen NZES der Zwischeneingangsschicht ZES sind über variabel ausgestaltete Gewichte, mit denen die Ausgangs signale der Neuronen NES der Eingangsschicht ES multipliziert werden und dann den Neuronen NZES der Zwischeneingangsschicht ZES zugeführt zu werden, mit jeweils genau einem Ausgang ANES eines Neurons NES der Eingangsschicht ES gekoppelt.It is therefore only one clearly in the arrangement additional layer, the intermediate entrance layer ZES turned on adds. The intermediate entry layer ZES neurons are NZES about variably designed weights with which the output signals of the neurons NES of the input layer ES multiplied and then the NZES neurons of the intermediate input layer To be fed to ZES, each with exactly one output ANES of a neuron NES coupled to the input layer ES.
Die Kopplungen zwischen den Neuronen weisen den üblichen Auf bau auf wie bei bekannten neuronalen Netzen.The couplings between the neurons have the usual build up as with known neural networks.
Bei dem Trainingsverfahren werden jeweils Trainingsdaten mit Eingangswerten EW1, EW2, EWi, . . . EWn mit dem dem jeweiligen Trainingsdatum zugeordneten mindestens einen Zielwert ZW trainiert. Als Trainingsverfahren kann beispielsweise das Gradientenabstiegsverfahren oder auch andere bekannte Verfah ren zum Trainieren neuronaler Netze NN eingesetzt werden.In the training procedure, training data are included Input values EW1, EW2, EWi, . . . EWn with the respective Training date assigned at least one target value ZW trained. As a training method, for example Gradient descent method or other known method be used to train neural networks NN.
Die Eingangswerte EWi werden den Neuronen NES der Eingangs schicht ES zugeführt. Die von den Neuronen NES der Eingangs schicht ES gebildeten Ausgangssignale werden jeweils genau einem Eingang ENZES eines Neurons NZES der Zwischeneingangs schicht ZES zugeführt, gewichtet mit dem der jeweiligen Kopp lung zugeordneten Gewicht.The input values EWi become the input neurons NES layer ES supplied. The input from the NES neurons layer ES formed output signals are each accurate an input ENZES of a neuron NZES the intermediate input layer ZES fed, weighted with that of the respective Kopp weight assigned.
Die von den Neuronen NZES der Zwischeneingangsschicht ZES ge bildeten Ausgangssignale werden, ggf. gewichtet, den Neuronen NVS der mindestens einen verdeckten Schicht VS zugeführt. Die Ausgangssignale der Neuronen NVS der verdeckten Schicht VS werden dem mindestens einen Neuron NAS der Ausgangsschicht AS zugeführt. In dem Neuron NAS der Ausgangsschicht AS wird der Zielwert ZW in der Anwendungsphase ermittelt.The ge from the neurons NZES of the intermediate input layer ZES The output signals formed are weighted, if necessary, to the neurons NVS supplied to the at least one hidden layer VS. The Output signals of the neurons NVS of the hidden layer VS the at least one neuron NAS of the output layer AS fed. In the neuron NAS of the output layer AS the Target value ZW determined in the application phase.
In der Trainingsphase wird der dem jeweiligen Trainingsdatum zugeordnete, bekannte Zielwert ZW eingesetzt, um beispiels weise das Gradientenabstiegsverfahren durchzuführen. Die Ge wichte der Kopplungen zwischen den Neuronen NES der Eingangs schicht ES und den Neuronen NZES der Zwischeneingangsschicht ZES werden im Rahmen des Trainingsverfahrens genauso behan delt wie alle andere Gewichte des neuronalen Netzes NN.In the training phase, the respective training date assigned, known target value ZW used, for example wise to carry out the gradient descent method. The Ge weights of the couplings between the neurons NES the input layer ES and the neurons NZES of the intermediate input layer ZES are treated in the same way as part of the training process delt like all other weights of the neural network NN.
Anschaulich bedeuten größere Gewichtswerte in den Kopplungen zwischen der Eingangschicht ES und der Zwischeneingangs schicht ZES, daß eine Konzentration auf die Werte im linearen Bereich der Aktivierungsfunktion, und somit auf einen kleinen Bereich der möglichen Eingangswerte EWi erfolgt. Andererseits bedeuten kleine Gewichtswerte der Kopplungen zwischen der Eingangsschicht ES und der Zwischeneingangsschicht ZES, daß der gesamte Wertebereich der Eingangswerte EWi auf den linea ren Bereich der Aktivierungsfunktion abgebildet wird.Clearly mean larger weight values in the couplings between the input layer ES and the intermediate input ZES layer that a concentration on the values in the linear Area of the activation function, and thus to a small one Range of possible input values EWi takes place. On the other hand mean small weight values of the couplings between the Input layer ES and the intermediate input layer ZES that the entire value range of the input values EWi on the linea area of the activation function is mapped.
Durch die zusätzliche Zwischeneingangsschicht ZES erfolgt verglichen mit den üblichen Anordnungen künstlicher neurona ler Netze eine starke Einschränkung der Freiheitsgrade zwi schen Neuronen NZES der Zwischeneingangsschicht ZES und Neu ronen NES der Eingangsschicht ES.Due to the additional intermediate entrance layer ZES compared to the usual arrangements of artificial neurona networks severely restrict the degrees of freedom between neurons NZES of the intermediate input layer ZES and Neu rons NES of the input layer ES.
Anschaulich bedeutet die Kopplung jeweils genau eines Neurons NZES der Zwischeneingangsschicht ZES mit genau einem Neuron NES der Eingangsschicht ES, daß jeder Eingangswert EWi in ei ner Art Vorverarbeitung für sich behandelt wird. Erst in der mindestens einen verdeckten Schicht VS werden Wechselwirkun gen zwischen den Eingangswerten EWi berücksichtigt. Auf diese Weise wird die Ausreißerproblematik im Training neuronaler Netze erheblich reduziert.The coupling clearly means exactly one neuron at a time NZES of the intermediate input layer ZES with exactly one neuron NES of the input layer ES that every input value EWi in egg ner kind of preprocessing is treated for itself. Only in the At least one hidden layer VS will interact between the input values EWi. To this The problem of outliers in training becomes more neuronal Networks significantly reduced.
In Fig. 3 ist das neuronale Netz NN mit einer zusätzlichen Ausgangsschicht, die im weiteren als Zwischenausgangsschicht ZAS bezeichnet wird, dargestellt.In Fig. 3, the neural network NN with an additional output layer, referred to as intermediate output layer ZAS represented.
Für den Fall, daß die Trainingsdaten zusätzliche Information enthalten, die im Rahmen üblicher Trainingsverfahren nicht zu berücksichtigen waren, weist diese Art der Anordnung eines künstlichen neuronalen Netzes NN erhebliche Vorteile auf.In the event that the training data additional information included, which are not part of normal training procedures were considered, this type of arrangement indicates a artificial neural network NN significant advantages.
Der Zielwert ZW ist beispielsweise eine Kaufwahrscheinlich
keit PK(x). Das neuronale Netz NN dient in diesem Fall dazu,
die Wahrscheinlichkeitsverteilung der Kaufwahrscheinlichkeit
PK(x), die implizit durch die Trainingsdaten gegeben ist, zu
approximieren. Ist beispielsweise in den Trainingsdaten je
weils angegeben, ob es sich für das jeweiligen Trainingsdatum
um einen männlichen oder um einen weiblichen Käufer handelt
bzw. um einen jungen oder alten Käufer, so ergibt sich bei
spielsweise die Kaufwahrscheinlichkeit PK(x) nach folgender
Vorschrift:
The target value ZW is, for example, a purchase probability P K (x). In this case, the neural network NN serves to approximate the probability distribution of the purchase probability P K (x), which is implicitly given by the training data. For example, if the training data indicates whether the training date is a male or a female buyer or a young or old buyer, the purchase probability P K (x) results, for example, according to the following rule:
PK(x) = PMK(x) + PWK(x) (1),
P K (x) = P MK (x) + P WK (x) (1),
bzw.PK(x) = PJK(x) + PAK(x) (2).or P K (x) = P JK (x) + P AK (x) (2).
Mit
With
- - PMK(x) wird eine Kaufwahrscheinlichkeit für einen männli chen Käufer bezeichnet,P MK (x) is a purchase probability for a male buyer,
- - PWK(x) wird eine Kaufwahrscheinlichkeit für einen weibli chen Käufer bezeichnet, - PJK(x) wird eine Kaufwahrscheinlichkeit für einen jungen Käufer bezeichnet, und - P WK (x) is a purchase probability for a female buyer, - P JK (x) is a purchase probability for a young buyer, and
- - PAK(x) wird eine Kaufwahrscheinlichkeit für einen alten Käufer bezeichnet.- P AK (x) is a purchase probability for an old buyer.
Die Kaufwahrscheinlichkeit PK(x) kann auch nach folgender
Vorschrift gebildet werden:
The purchase probability P K (x) can also be calculated according to the following rule:
PK(x) = 1 - PMNK(x) + PWNK(x) (3),
P K (x) = 1 - P MNK (x) + P WNK (x) (3),
bzw.PK(x) = 1 - PJNK(x) + PANK(x) (4).or P K (x) = 1 - P JNK (x) + P ANK (x) (4).
Mit
With
- - PMNK(x) wird eine Wahrscheinlichkeit bezeichnet dafür, daß ein männlicher Käufer nicht kauft,- P MNK (x) is a probability that a male buyer will not buy,
- - PWNK(x) wird eine Wahrscheinlichkeit bezeichnet dafür, daß ein weiblicher Käufer nicht kauft,- P WNK (x) is a probability that a female buyer will not buy,
- - PJNK(x) wird eine Wahrscheinlichkeit bezeichnet dafür, daß ein junger Käufer nicht kauft, und- P JNK (x) denotes a probability that a young buyer will not buy, and
- - PANK(x) wird eine Wahrscheinlichkeit bezeichnet dafür, daß ein alter Käufer nicht kauft.- P ANK (x) is a probability that an old buyer will not buy.
Die jeweiligen Zwischenzielwerte ZZW für das Trainingsdatum werden in der Trainingsphase jeweils einem Neuron NZAS der Zwischenausgangsschicht ZAS, welches für den entsprechenden Zwischenzielwert ZZW vorgesehen ist, zugeführt, das die je weilige Wahrscheinlichkeit (PMK(x), PWK(x), PJK(x), PAK(x), PMNK(x), PWNK(x), PJNK(x), PANK(x)) abbildet.The respective intermediate target values ZZW for the training date are each supplied to a neuron NZAS of the intermediate starting layer ZAS, which is provided for the corresponding intermediate target value ZZW, in the training phase, which the respective probability (P MK (x), P WK (x), P JK (x), P AK (x), P MNK (x), P WNK (x), P JNK (x), P ANK (x)).
Als Eingangswerte EWi können beispielsweise in diesem Zusam
menhang folgende Informationen verwendet werden:
The following information can be used as input values EWi in this connection, for example:
- - Geschlecht,- Gender,
- - Familienstand,- Marital status,
- - Information, ob es sich um einen neuen Kunden oder um einen "Altkunden" handelt,- Information whether it is a new customer or a customer "Old customers" acts,
- - Art der Kundenwerbung (z. B. geworben über Zeitungsanzeige, Empfehlung, Fernsehwerbung, Radiowerbung), - Type of customer advertising (e.g. advertised via newspaper advertisement, Recommendation, television advertising, radio advertising),
- - Information, ob der Kunde zuvor bereits das Produkt gekauft hat,- Information whether the customer has previously bought the product Has,
- - Schufa-Auskunft,- Schufa information,
- - Information, ob der Kunde eine Eigentumswohnung oder ein eigenes Haus besitzt,- Information whether the customer is a condominium or a own house,
- - Kfz-Typenklasse, etc.- vehicle type class, etc.
Die Art der Information, die als Eingangswerte EWi verwendet wird, ist stark abhängig von der jeweiligen Anwendung.The type of information that EWi uses as input values is strongly dependent on the respective application.
Anschaulich bedeutet diese Vorgehensweise, daß der hochdimen sionale Raum der Wahrscheinlichkeitsverteilung der Kaufwahr scheinlichkeit PK(x) um mindestens eine Dimension verringert wird, d. h. daß jeweils nur eine Schnittebene des jeweiligen Zwischenzielwerts ZZW im Rahmen des Trainings des neuronalen Netzes NN betrachtet wird.This approach clearly means that the highly dimensional space of the probability distribution of the purchase probability P K (x) is reduced by at least one dimension, ie that only one section plane of the respective intermediate target value ZZW is considered in the course of training the neural network NN.
Die Wahrscheinlichkeitsverteilung der Kaufwahrscheinlichkeit PK(x) ergibt sich jeweils entsprechend der Anwendung, in die sem Fall durch Summenbildung der einzelnen Wahrscheinlichkei ten, wie es in obigen Gleichungen dargestellt ist.The probability distribution of the purchase probability P K (x) results in each case according to the application, in this case by summing the individual probability, as shown in the equations above.
Mit dem Zielwert ZW wird allgemein somit eine Wahrscheinlich keit für das Auftreten eines vorgebbaren Ereignisses, jeweils abhängig von der speziellen Anwendung, beschrieben. Mit dem Zwischenzielwert ZZW wird beispielsweise jeweils eine Wahr scheinlichkeit für das Auftreten eines Teilereignisses des Ereignisses beschrieben.The target value ZW thus generally makes a probability speed for the occurrence of a predefinable event, in each case depending on the specific application. With the For example, the intermediate target value ZZW becomes true probability of occurrence of a partial event of the Event.
Die Ausgangssignale der Neuronen NZAS der Zwischenausgangs schicht ZAS werden, eventuell gewichtet, den Neuronen NAS der Ausgangsschicht AS zugeführt. In den Neuronen NAS der Aus gangsschicht AS werden die Zielwerte ZW bestimmt. Im Rahmen des Trainings des neuronalen Netzes NN wird der mindestens eine Zwischenzielwert ZZW berücksichtigt. The output signals of the NZAS neurons of the intermediate output layer, possibly weighted, the neurons NAS of the Output layer AS supplied. In the neurons NAS the Aus target layer AS, the target values ZW are determined. As part of of the training of the neural network NN is the minimum an intermediate target value ZZW is taken into account.
Im Rahmen dieses Verfahrens können beliebige Verfahren zur Merkmalsextraktion zur Ermittlung anwendungsspezifischer Ein gangswerte EWi verwendet werden.In the context of this method, any method for Feature extraction to determine application-specific A current values are used.
In Fig. 4 ist eine Rechneranordnung dargestellt, mit der das Trainingsverfahren üblicherweise durchgeführt wird. FIG. 4 shows a computer arrangement with which the training method is usually carried out.
Ein Rechner R ist mit einer Tastatur TA, einer Maus MA sowie einem Bildschirm BS gekoppelt. Der Rechner R weist einen Speicher SP auf, in dem die Trainingsdaten gespeichert sind. In einem Prozessor P, der über einen Bus BU mit dem Speicher SP gekoppelt ist, wird das Trainingsverfahren durchgeführt.A computer R is with a keyboard TA, a mouse MA as well coupled to a screen BS. The computer R has one Memory SP in which the training data are stored. In a processor P connected to the memory via a bus BU SP is coupled, the training process is carried out.
Das neuronale Netz NN kann auch direkt in Hardware realisiert werden, z. B. in Form einer elektrischen Schaltung. The neural network NN can also be implemented directly in hardware be, e.g. B. in the form of an electrical circuit.
In diesem Dokument wurden folgende Veröffentlichungen zi
tiert:
[1] A. Zell, Simulation neuronaler Netze, Addison Wesley
Deutschland GmbH, 1. Auflage, ISBN 3-89319-554-8,
S. 97-136, 1994
[2] M. Kerling und T. Poddig, Klassifikation von Unter
nehmen mittels KNN, in Rehkugler, Zimmermann: Neuro
nale Netze in der Ökonomie, München, Verlag Vahlen,
S. 64-75, 1994The following publications have been cited in this document:
[1] A. Zell, simulation of neural networks, Addison Wesley Deutschland GmbH, 1st edition, ISBN 3-89319-554-8, pp. 97-136, 1994
[2] M. Kerling and T. Poddig, classification of companies using KNN, in Rehkugler, Zimmermann: Neural Networks in Economics, Munich, Verlag Vahlen, pp. 64-75, 1994
Claims (9)
- - bei dem ein Trainingsdatum der Trainingsdaten mindestens einen Eingangswert (EWi, i = 1. .n) und mindestens einen dem Eingangswert (EWi) zugeordneten Zielwert (ZW) aufweist,
- - bei dem der Eingangswert (EWi) zum Training Neuronen (NES) einer Eingangsschicht (ES) des Neuronalen Netzes (NN) zuge führt wird,
- - bei dem ein gewichtetes Ergebnissignal jeweils eines Neu rons (NES) der Eingangsschicht (ES) genau einem Neuron (NZES) einer Zwischeneingangsschicht (ZES) zugeführt wird,
- - bei dem in dem Training die Neuronen (NZES) der Zwischen eingangsschicht (ZES) und Gewichte der Kopplungen zwischen jeweils einem Neuron (NES) der Eingangsschicht (ES) und einem Neuron (NZES) der Zwischeneingangsschicht (ZES) berücksich tigt werden.
- - in which a training date of the training data has at least one input value (EWi, i = 1. .n) and at least one target value (ZW) assigned to the input value (EWi),
- - in which the input value (EWi) for training neurons (NES) is fed to an input layer (ES) of the neural network (NN),
- - In which a weighted result signal of one neuron (NES) of the input layer (ES) is fed to exactly one neuron (NZES) of an intermediate input layer (ZES),
- - In the training, the neurons (NZES) of the intermediate input layer (ZES) and weights of the couplings between one neuron (NES) of the input layer (ES) and one neuron (NZES) of the intermediate input layer (ZES) are taken into account.
- - bei dem das Trainingsdatum mindestens einen Zwischenziel wert (ZZW) enthält, aus dem der Zielwert (ZW) gebildet wird, und
- - bei dem in dem Training der Zwischenzielwert (ZZW) berück sichtigt wird.
- - where the training date contains at least one intermediate target value (ZZW) from which the target value (ZW) is formed, and
- - in which the intermediate target value (ZZW) is taken into account in the training.
- - bei der eine Eingangsschicht (ES) mit einer vorgebbaren An zahl Neuronen (NES) vorgesehen ist,
- - bei der eine Zwischeneingangsschicht (ZES) mit Neuronen (NZES) vorgesehen ist,
- - bei der die Anzahl Neuronen (NZES) der Zwischeneingangs schicht (ZES) gleich ist der Anzahl Neuronen (NES) der Ein gangsschicht (ES),
- - bei der jeweils ein Neuron (NZES) der Zwischeneingangs schicht (ZES) mit einem Ausgang (ANES) genau eines Neurons (NES) der Eingangsschicht (ES) gekoppelt ist.
- - bei der mindestens eine versteckte Schicht (VS) mit einer beliebigen Anzahl Neuronen (NVS) vorgesehen ist,
- - bei der die Neuronen (NVS) der versteckten Schicht (VS) nur mit Ausgängen (ANZES) von Neuronen (NZES) der Zwischenein gangsschicht (ZES) gekoppelt sind,
- - bei der eine Ausgangsschicht (AS) mit einer beliebigen An zahl Neuronen (NAS) vorgesehen ist, und
- - bei der die Neuronen (NAS) der Ausgangsschicht (AS) mit Ausgängen (ANVS) von Neuronen (NVS) der versteckten Schicht (VS) gekoppelt sind.
- - in which an input layer (ES) with a predefinable number of neurons (NES) is provided,
- - where an intermediate input layer (ZES) with neurons (NZES) is provided,
- - in which the number of neurons (NZES) of the intermediate input layer (ZES) is equal to the number of neurons (NES) of the input layer (ES),
- - In each case one neuron (NZES) of the intermediate input layer (ZES) is coupled to one output (ANES) of exactly one neuron (NES) of the input layer (ES).
- at least one hidden layer (VS) with any number of neurons (NVS) is provided,
- - in which the neurons (NVS) of the hidden layer (VS) are only coupled to outputs (ANZES) of neurons (NZES) of the intermediate input layer (ZES),
- - In which an output layer (AS) with any number of neurons (NAS) is provided, and
- - In which the neurons (NAS) of the output layer (AS) are coupled to outputs (ANVS) of neurons (NVS) of the hidden layer (VS).
- - bei der eine Eingangsschicht (ES) mit einer vorgebbaren An zahl Neuronen (NES) vorgesehen ist,
- - bei der eine Zwischeneingangsschicht (ZES) mit Neuronen (NZES) vorgesehen ist,
- - bei der die Anzahl Neuronen (NZES) der Zwischeneingangs schicht (ZES) gleich ist der Anzahl Neuronen (NES) der Ein gangsschicht (ES),
- - bei der jeweils ein Neuron (NZES) der Zwischeneingangs schicht (ZES) mit einem Ausgang (ANES) genau eines Neuron (NES) der Eingangsschicht (ES) gekoppelt ist,
- - bei der mindestens eine versteckte Schicht (VS) mit einer beliebigen Anzahl Neuronen (NVS) vorgesehen ist,
- - bei der die Neuronen (NVS) der versteckten Schicht (VS) nur mit Ausgängen (ANZES) von Neuronen (NZES) der Zwischenein gangsschicht (ZES) gekoppelt sind,
- - bei der eine Zwischenausgangsschicht (ZAS) mit einer belie bigen Anzahl Neuronen (NZAS) zur Bildung mindestens eines Zwischenzielwerts (ZZW), der in einem Training des Neuronalen Netzes (NN) berücksichtigt wird, vorgesehen ist,
- - bei der die Neuronen (NZAS) der Zwischenausgangsschicht (ZAS) mit Ausgängen (ANVS) von Neuronen (NVS) der versteckten Schicht (VS) gekoppelt sind,
- - bei der eine Ausgangsschicht (AS) mit einer beliebigen An zahl Neuronen (NAS) vorgesehen ist, und
- - bei der die Neuronen (NAS) der Ausgangsschicht (AS) mit Ausgängen (ANZAS) von Neuronen (NZAS) der Zwischenausgangs schicht (ZAS) gekoppelt sind.
- - in which an input layer (ES) with a predefinable number of neurons (NES) is provided,
- - where an intermediate input layer (ZES) with neurons (NZES) is provided,
- - in which the number of neurons (NZES) of the intermediate input layer (ZES) is equal to the number of neurons (NES) of the input layer (ES),
- in which one neuron (NZES) of the intermediate input layer (ZES) is coupled to one output (ANES) of exactly one neuron (NES) of the input layer (ES),
- at least one hidden layer (VS) with any number of neurons (NVS) is provided,
- - in which the neurons (NVS) of the hidden layer (VS) are only coupled to outputs (ANZES) of neurons (NZES) of the intermediate input layer (ZES),
- - in which an intermediate output layer (ZAS) with any number of neurons (NZAS) is provided to form at least one intermediate target value (ZZW), which is taken into account in a training of the neural network (NN),
- in which the neurons (NZAS) of the intermediate output layer (ZAS) are coupled to outputs (ANVS) of neurons (NVS) of the hidden layer (VS),
- - In which an output layer (AS) with any number of neurons (NAS) is provided, and
- - In which the neurons (NAS) of the output layer (AS) are coupled to outputs (ANZAS) of neurons (NZAS) of the intermediate output layer (ZAS).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19653554A DE19653554A1 (en) | 1996-12-20 | 1996-12-20 | Neural network training method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19653554A DE19653554A1 (en) | 1996-12-20 | 1996-12-20 | Neural network training method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE19653554A1 true DE19653554A1 (en) | 1998-06-25 |
Family
ID=7815704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE19653554A Withdrawn DE19653554A1 (en) | 1996-12-20 | 1996-12-20 | Neural network training method |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE19653554A1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020126373A1 (en) * | 2018-12-19 | 2020-06-25 | Robert Bosch Gmbh | Method for training a neural network |
| WO2020126379A1 (en) * | 2018-12-19 | 2020-06-25 | Robert Bosch Gmbh | Method and apparatus for classifying sensor data and for ascertaining an actuation signal for actuating an actuator |
| EP3531386A4 (en) * | 2016-10-24 | 2020-09-30 | Hochiki Corporation | Fire monitoring system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1991002322A1 (en) * | 1989-08-11 | 1991-02-21 | Hughes Aircraft Company | Pattern propagation neural network |
| EP0420254A2 (en) * | 1989-09-28 | 1991-04-03 | Yozan Inc. | Data processing system |
| US5276771A (en) * | 1991-12-27 | 1994-01-04 | R & D Associates | Rapidly converging projective neural network |
-
1996
- 1996-12-20 DE DE19653554A patent/DE19653554A1/en not_active Withdrawn
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1991002322A1 (en) * | 1989-08-11 | 1991-02-21 | Hughes Aircraft Company | Pattern propagation neural network |
| EP0420254A2 (en) * | 1989-09-28 | 1991-04-03 | Yozan Inc. | Data processing system |
| US5276771A (en) * | 1991-12-27 | 1994-01-04 | R & D Associates | Rapidly converging projective neural network |
Non-Patent Citations (1)
| Title |
|---|
| GRAY, Donald L., MICHEL, Anthony N.: A Training Algorithm for Binary Feedformand Neural Networks, Vol. 3, No. 2, März 1992, S. 176-194 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3531386A4 (en) * | 2016-10-24 | 2020-09-30 | Hochiki Corporation | Fire monitoring system |
| WO2020126373A1 (en) * | 2018-12-19 | 2020-06-25 | Robert Bosch Gmbh | Method for training a neural network |
| WO2020126379A1 (en) * | 2018-12-19 | 2020-06-25 | Robert Bosch Gmbh | Method and apparatus for classifying sensor data and for ascertaining an actuation signal for actuating an actuator |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Stiny et al. | Design machines | |
| Udo | Neural network performance on the bankruptcy classification problem | |
| DE102020120479A1 (en) | Fusion of road maps | |
| Coyle | The technical elements of the system dynamics approach | |
| DE19530646C1 (en) | Learning method for recurrent neural network | |
| EP1252566B1 (en) | Configuration of interconnected arithmetic elements, and method for the computer-aided determination of a second state of a system in a first state space from a first state of the system in the first state space | |
| WO2000008599A2 (en) | Assembly of interconnected computing elements, method for computer-assisted determination of a dynamics which is the base of a dynamic process, and method for computer-assisted training of an assembly of interconnected elements | |
| Pettersson et al. | Education governance by numbers | |
| DE112021003761T5 (en) | PREDICTIVE MODELS WITH DECOMPOSABLE HIERARCHICAL LEVELS CONFIGURED TO PRODUCE INTERPRETABLE RESULTS | |
| DE19653554A1 (en) | Neural network training method | |
| EP1627263B1 (en) | Method, computer program with program code means, and computer program product for determining a future behavior of a dynamic system | |
| EP1327959A2 (en) | Neural network for modelling a physical system and method for building the neural network | |
| EP0890153B1 (en) | Method for determination of weights, suitable for elimination, of a neural network using a computer | |
| DE19653553C1 (en) | Neural network training method | |
| DE19703964C1 (en) | Process for transforming a fuzzy logic used to simulate a technical process into a neural network | |
| EP0978052B1 (en) | Computer-aided selection of training data for neural networks | |
| Kelemen | Model of Evaluation and Output Rating of Start-Up Projects Development Teams | |
| WO2003025851A2 (en) | Method and system for determining a current first state of a first temporal sequence of respective first states of a dynamically modifiable system | |
| DE10047172C1 (en) | Speech processing involves comparing output parameters generated and to be generated and deriving change instruction using reduced weight of input parameters with little influence | |
| DE102020215589A1 (en) | CONTROLLING A DEEP-SEQUENCE MODEL WITH PROTOTYPES | |
| EP1145190B1 (en) | Assembly of interconnected computing elements, method for computer-assisted determination of a dynamic which is the base of a dynamic process, and method for computer-assisted training of an assembly of interconnected elements | |
| DE102022201853A1 (en) | Detection of critical traffic situations with Petri nets | |
| Hao et al. | An example study of applications based on multiple machine learning algorithms | |
| DE102022107010A1 (en) | System and method for identifying objects | |
| Arziyev | Simulations of Implied Volatility and Option Pricing using Neural Networks and Finite Difference Methods for Heston Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| OP8 | Request for examination as to paragraph 44 patent law | ||
| 8127 | New person/name/address of the applicant |
Owner name: SIEMENS NIXDORF INFORMATIONSSYSTEME AG, 33106 PADE |
|
| 8139 | Disposal/non-payment of the annual fee |