EP1623371A2 - Verfahren zum trainieren von neuronalen netzen - Google Patents

Verfahren zum trainieren von neuronalen netzen

Info

Publication number
EP1623371A2
EP1623371A2 EP04723983A EP04723983A EP1623371A2 EP 1623371 A2 EP1623371 A2 EP 1623371A2 EP 04723983 A EP04723983 A EP 04723983A EP 04723983 A EP04723983 A EP 04723983A EP 1623371 A2 EP1623371 A2 EP 1623371A2
Authority
EP
European Patent Office
Prior art keywords
neural networks
training
forecast
training data
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP04723983A
Other languages
English (en)
French (fr)
Inventor
Thomas Mrziglod
Georg Mogk
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayer AG
Original Assignee
Bayer Technology Services GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayer Technology Services GmbH filed Critical Bayer Technology Services GmbH
Publication of EP1623371A2 publication Critical patent/EP1623371A2/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the invention relates to a method for training neural networks, a method for forecasting by means of neural networks and a system for determining a forecast value and its errors.
  • Neural networks are used for data-driven modeling, for example for physical, biological, chemical and technical processes and systems, cf. Babel W .: Possible uses of neural networks in industry: Pattern recognition based on supervised learning processes - with examples from traffic and medical technology, Expert Verlag, Renningen-Malmsheim, 1997. In particular, the fields of application of neural networks include process optimization, image processing, pattern recognition, robot control and medical technology.
  • a neural network Before a neural network can be used for forecasting or optimization purposes, it must be trained.
  • the weights of the neurons are usually adjusted using an iterative process based on training data, cf. Betzmann F .: Process modeling: Modeling of continuous systems with neural networks, website NN-Tool, www.baermann.de and Bärmann F .: Neural networks. Lecture notes. FH-Gelsenmaschinen, Department of Physical Technology, Department of Neuroinformatics, 1998.
  • DE 195 31 967 discloses a method for training a neural network with the non-deterministic behavior of a technical system.
  • the neural network is integrated into a control loop in such a way that the neural network outputs a manipulated variable to the technical system as an output variable and the technical system generates a controlled variable from the manipulated variable supplied by the neural network, which is supplied to the neural network as an input variable.
  • the manipulated variable is overlaid with a noise of known noise distribution before it is fed to the technical system.
  • a method for estimating the forecast error is known from EP 0 762 245 B1.
  • several neural networks with different training parameters are trained with the original data.
  • the forecast error results from a comparison of the deviations of the forecast quantities.
  • a disadvantage of this method is that information about the measurement accuracy of the measurement data used for training is not included in the estimation of the forecast error.
  • a method for estimating the trustworthiness of the prognosis given by a neural network Protzel P .: Kindermann L., Tagscherer M., Lewandowski A. "Assessing the trustworthiness of neural network prognoses in process optimization", VDI Reports No. 1526, 2000.
  • the invention is based on the object of creating an improved method for training neural networks, a method for forecasting by means of neural networks and a system for determining forecast values and their errors.
  • the invention makes it possible to take into account the fact that the training data for training a neural network are only affected with a finite accuracy. If, for example, the training data are determined using measurement technology, a measurement accuracy can be specified for each date. To take this limited measurement accuracy into account for training the neural network, further sets of training data sets are generated. Each individual set of training data is created from the original data sets by noise in the data within the scope of the measurement accuracy. A neural network is then trained for each training data record generated in this way.
  • each of these networks generates a forecast.
  • These forecasts can differ from one another due to the different training data that have been obtained through noise and have been used for training the neural networks.
  • An average is preferably formed from the various forecasts, which has a higher accuracy and trustworthiness than the individual forecasts.
  • a uniformly distributed random variable with an expected value of zero is added to the training data.
  • the random size is chosen so that the result of the addition of the starting date and the random size lies within the range given by the measurement accuracy.
  • a normally distributed random variable with an expected value of zero is added.
  • the variance of the random variable is chosen such that the result of the addition of the starting date and the random variable lies with a predetermined probability within the range predetermined by the measurement accuracy. This predetermined probability is, for example, 95% or more.
  • a trustworthiness of the forecast value is determined on the basis of the difference in the forecasts determined by the neural networks. If the individual forecasts of the neural networks differ greatly from one another, it can be concluded from this that the neural networks do not represent a reliable model in the area of the current input data. To assess trustworthiness, for example, the standard deviation of the individual forecasts is calculated. If r the standard deviation exceeds a permissible level, it is concluded that no reliable forecast is possible.
  • the present invention enables an estimation of the forecast error and thus an objective statement about the quality of the forecast.
  • the standard deviation is used to estimate the forecast error.
  • the standard deviation itself is used as a measure of the forecast error.
  • the forecast error is calculated from the standard deviation using a monotonous function, e.g. by multiplying the standard deviation by a problem-dependent constant factor.
  • a signal is emitted when the standard deviation of the forecasts is above a predetermined threshold.
  • This signal can, for example, lead to a visual and / or acoustic output for a user. This is particularly advantageous if the neural networks are used for a control process.
  • FIG. 1 shows a block diagram of a neural network
  • FIG. 2 shows a schematic representation of a training data record for the neural network of FIG. 1,
  • FIG. 3 shows a flowchart of an embodiment of the method for
  • FIG. 4 shows a block diagram of a system according to the invention for determining a
  • FIG. 1 shows a neural network 1 with inputs A, B and C and with output D.
  • the neural network 1 can have any number of inputs and Have outputs.
  • the neural network can also contain rigorous model components. In this case one speaks of a hybrid neural network.
  • a training data set 2 is used to train the neural network 1 (see FIG. 2).
  • the training data record 2 contains a series of measurement samples, each of which consists of measurement values for the measurement variables A, B, C and D. These measured variables are assigned to the corresponding inputs of the neural network.
  • the measured values are obtained, for example, from test series that are carried out for the determination of training data.
  • the measuring accuracies of the individual measured variables are given in Table 3.
  • the measured variable A is determined with a measuring accuracy of +/- w
  • the measured variable B with a measuring accuracy of +/- x
  • the measured variable C with a measuring accuracy of +/- y
  • the measured variable D with a measuring accuracy of +/- z.
  • FIG. 3 illustrates a preferred embodiment of the method according to the invention.
  • step 30 a number of n training data records are generated from the training data record 2 (cf. FIG. 2).
  • a further training data set i, where i is between 1 and n, is obtained based on the training data set 2 in that the individual measurement values of the measurement variables A, B, C and D are noisy for each measurement sample, taking into account the respective measurement accuracy of the measurement variable concerned.
  • This process that is to say the training data set 2 is noisy, is carried out n times in order to obtain the n training data sets.
  • the measured values of the training data set 2 are noisy by adding an evenly distributed random number.
  • the lower limit and the upper limit can depend on the original measured value x and the measurement accuracy. If, for example, the measuring accuracy was specified as a relative error to the measured value x, the following limits can be selected:
  • Upper limit relative measurement accuracy * x Normally, the lower limit is a value less than 0, while the upper limit is a value greater than 0. In this case, the noisy measurement value x 'lies within the range of the measurement inaccuracy. If, for example, a measured value for the measured variable A is to be noisy, a random variable is added to the actually determined measured value of the measured variable A.
  • This random variable is a random number from the interval [lower limit; Upper limit], whereby the lower limit and the upper limit can depend on the measured value x (see above) or the lower limit and upper limit are fixed values.
  • the random number can also be normally distributed.
  • the variance of the random number is chosen such that the noisy measured value x 'lies with a predetermined probability in the tolerance range predetermined by the measurement accuracy.
  • the predefined probability can be selected, for example,> 95%.
  • step 31 a number of n + 1 neural networks of the type of neural network 1 of FIG. 1 are trained with the training data set 2 and the n further training data sets obtained in this way. This results in n neural networks with the same input and output parameters that have been trained with noisy training data sets based on the same metrologically determined training data set.
  • an input data set of parameter values is input in inputs A, B and C of the neural networks trained in step 31 in step 32.
  • the neural networks each output a forecast value at their outputs; In the example considered, there are therefore n + 1 forecast values at the outputs D.
  • step 34 the mean value and the standard deviation of the forecast values output in step 33 are calculated.
  • step 35 it is checked whether the standard deviation is above a threshold value. If this is the case, a warning is output in step 36.
  • the output of a warning means that the forecast of the neural networks for the current input data record is not sufficiently trustworthy.
  • FIG. 4 shows a block diagram of an embodiment of the system according to the invention. Elements in FIG. 4 which correspond to elements in FIG. 1 are identified by the same reference numerals.
  • the system contains a number of n + 1 neural networks 1, which in principle are constructed identically, namely each have inputs A, B and C and output D.
  • the inputs A, B and C of the neural networks 1 are connected to an input module 4, via which an input parameter set, for which a forecast is to be carried out, is entered into the neural networks 1.
  • each of the neural networks 1 Based on this input data input, each of the neural networks 1 outputs a forecast for the measured variable D at its output. These forecasts are entered into the evaluation module 5.
  • the evaluation module 5 calculates the mean value of the various forecasts for the measurement variable D and the standard deviation of the forecasts.
  • the evaluation module 5 is connected to a display unit 6 and to a comparator 7.
  • the comparator 7 is connected to a threshold value memory 8.
  • the evaluation module 5 outputs the calculated mean value of the forecasts to the display unit 6, so that the forecast value is displayed there.
  • the evaluation module 5 also outputs the standard deviation of the forecasts to the comparator 7.
  • the comparator 7 compares the standard deviation with the threshold value stored in the threshold value memory 8. If the standard deviation is above the threshold value, the comparator 7 emits a signal which is displayed on the display unit 6 as a warning notice.
  • a forecast value is displayed on the display unit 6 together with a warning notice, this means that the scatter of the individual forecasts of the neural networks 1 is relatively large, so that the resulting forecast value is considered to be insufficiently trustworthy.
  • the display can also be used to output the standard deviation as a measure of the forecast error for a user. LIST OF REFERENCE NUMBERS

Abstract

Die Erfindung betrifft ein System und ein Verfahren zum Trainieren einer Anzahl von neuronalen Netzen mit folgenden Schritten: - Ermittlung eines ersten Trainingsdatensatzes, wobei die Trainingsdaten eine bestimmte Genauigkeit aufweisen, - Erzeugung einer Anzahl von zweiten Trainingsdatensätzen durch Verrauschen des ersten Trainingsdatensatzes mit einer Zufallsgröße, wobei die Zufallsgröße jeweils von der Genauigkeit abhängt, - Trainierung jedes der neuronalen Netze mit einem der Trainingsdatensätze. Mittels eines solchen Systems kann eine Prognose und eine Schätzung des Prognosefehlers durchgeführt werden.

Description

Verfahren zum Trainieren von neuronalen Netzen
Die Erfindung betrifft ein Verfahren zum Trainieren von neuronalen Netzen , ein Verfahren zur Prognose mittels neuronaler Netze und ein System zur Ermittlung eines Prognosewertes und dessen Fehler.
Eine Vielzahl von Anwendungsmöglichkeiten sind aus dem Stand der Technik für neuronale Netze bekannt. Neuronale Netze werden zur datengetriebenen Modellbildung zum Beispiel für physikalische, biologische, chemische und technische Vorgänge und Systeme eingesetzt, vgl. Babel W.: Einsatzmöglichkeiten neuronaler Netze in der Industrie: Mustererkennung anhand überwachter Lernverfahren - mit Beispielen aus der Verkehrs- und Medizintechnik, Expert Verlag, Renningen-Malmsheim, 1997. Insbesondere gehören zu den Einsatzgebieten neuronaler Netze die Prozessoptimierung, Bildverarbeitung, Mustererkennung, Robotersteuerung und die Medizintechnik.
Bevor ein neuronales Netz zu Prognose- oder Optimierungszwecken eingesetzt werden kann, muss es trainiert werden. Dabei werden üblicherweise die Gewichte der Neuronen durch ein iteratives Verfahren anhand von Trainingsdaten angepasst, vgl. Bärmann F.: Prozessmodellierung: Modellierung von Kontianlagen mit neuronalen Netzen, Internetseite NN-Tool, www.baermann.de und Bärmann F.: Neuronale Netze. Skriptum zur Vorlesung. FH-Gelsenkirchen, Fachbereich Physikalische Technik, Fachgebiet Neuroinformatik, 1998.
Aus der DE 195 31 967 ist ein Verfahren zum Training eines neuronalen Netzes mit dem nichtdeterministischen Verhalten eines technischen Systems bekannt. Das neuronale Netz wird dabei so in einen Regelkreis eingebunden, dass das neuronale Netz als Ausgangsgröße eine Stellgröße an das technische System abgibt und das technische System aus der von dem neuronalen Netz zugeführten Stellgröße eine Regelgröße erzeugt, die dem neuronalen Netz als Eingangsgröße zugeführt wird. Die Stellgröße wird mit einem Rauschen von bekannter Rauschverteilung überlagert, bevor sie dem technischen System zugeführt wird.
Weitere Verfahren zum Trainieren neuronaler Netze sind bekannt aus DE 692 28 412 T2 und DE 198 38 654 Cl .
Ein Verfahren zur Schätzung des Prognosefehlers ist bekannt aus EP 0 762 245 B 1. Hier werden mehrere Neuronale Netze mit unterschiedlichen Trainingsparametern (z.B. unterschiedlicher Initialisierung) mit den Originaldaten trainiert. Der Prognose-Fehler ergibt sich aus Vergleich der Abweichungen der prognostizierten Größen. Nachteilig bei diesem Verfahren ist, dass Informationen über die Messgenauigkeit der zum Training verwendeten Messdaten in die Schätzung des Prognosefehler nicht einfließen. Ferner ist aus dem Stand der Technik ein Verfahren zur Abschätzung der Vertrauenswürdigkeit der von einem neuronalen Netz abgegebenen Prognose bekannt: Protzel P.: Kindermann L., Tagscherer M., Lewandowski A. „Abschätzung der Vertrauenswürdigkeit von Neuronalen Netzprognosen bei der Prozessoptimierung", VDI Berichte NR. 1526, 2000.
Der Erfindung liegt die Aufgabe zu Grunde ein verbessertes Verfahren zum Trainieren von neuronalen Netzen, ein Verfahren zur Prognose mittels neuronaler Netze sowie ein System zur Ermittlung von Prognosewerten und deren Fehler zu schaffen.
Die der Erfindung zu Grunde liegende Aufgabe wird jeweils mit den Merkmalen der unabhängigen Patentansprüche gelöst. Bevorzugte Ausführungsformen der Erfindung sind in den abhängigen Patentansprüchen angegeben.
Die Erfindung ermöglicht es den Umstand zu berücksichtigen, dass die Trainingsdaten für das Training eines neuronalen Netzes nur mit einer endlichen Genauigkeit behaftet sind. Werden die Trainingsdaten zum Beispiel messtechnisch ermittelt, so lässt sich für jedes Datum eine Messgenauigkeit angeben. Zur Berücksichtigung dieser begrenzten Messgenauigkeit für das Training des neuronalen Netzes, werden weitere Sets vom Trainingsdatensätzen erzeugt. Jedes einzelne Set von Trainingsdaten entsteht aus den ursprünglichen Datensätzen durch Verrauschen der Daten im Rahmen der Messgenauigkeit. Zu jedem so erzeugten Trainingsdatensatz wird dann ein neuronales Netz trainiert.
Werden in die auf diese Art und Weise trainierten neuronale Netze Eingangsdaten eingegeben, so erzeugt jedes dieser Netze eine Prognose. Diese Prognosen können aufgrund der verschiedenen Trainingsdaten, die durch Verrauschen gewonnen worden und für das Training der neuronalen Netze verwendet worden sind, voneinander abweichen. Vorzugsweise wird aus den verschiedenen Prognosen ein Mittelwert gebildet, der eine höhere Genauigkeit und Vertrauenswürdigkeit als die Einzelprognosen aufweist.
Nach einer bevorzugten Ausführungsform der Erfindung wird den Trainingsdaten eine gleichverteilte Zufallsgröße mit Erwartungswert Null aufaddiert. Die Zufallsgröße ist dabei so gewählt, dass das Ergebnis der Addition des Ausgangsdatums und der Zufallsgröße innerhalb des durch die Messgenauigkeit gegebenen Bereichs liegt.
Nach einer weiteren bevorzugten Ausführungsform der Erfindung wird eine normalverteilte Zufallsgröße mit Erwartungswert Null aufaddiert. Die Varianz der Zufallsgröße ist so gewählt, dass das Ergebnis der Addition des Ausgangsdatums und der Zufallsgröße mit einer vorgegebenen Wahrscheinlichkeit innerhalb des durch die Messgenauigkeit vorgegebenen Bereichs liegt. Diese vorgegebene Wahrscheinlichkeit beträgt zum Beispiel 95 % oder darüber. Nach einer weiteren bevorzugten Ausführungsform der Erfindung wird aufgrund der Unterschiedlichkeit der von den neuronalen Netzen ermittelten Prognosen -eine Vertrauenswürdigkeit des Prognosewerts ermittelt. Sind die einzelnen Prognosen der neuronalen Netze stark voneinander abweichend, so kann hieraus geschlossen werden, dass die neuronalen Netze in dem Bereich der aktuellen Eingangsdaten kein zuverlässiges Modell darstellen. Zur Beurteilung der Vertrauenswürdigkeit wird beispielsweise die Standardabweichung der einzelnen Prognosen berechnet. Wenn rdie Standardabweichung ein zulässiges Maß überschreitet, wird daraus geschlussfolgert, dass keine zuverlässige Prognose möglich ist.
Von besonderem Vorteil ist, dass die vorliegende Erfindung eine Schätzung des Prognosefehlers und damit eine objektive Aussage über die Qualität der Prognose ermöglicht. Nach einer bevorzugten Ausfuhrungsform wird die Standardabweichung zur Schätzung des Prognosefehlers genutzt. Zum Beispiel wird die Standardabweichung selbst als Maß für den Prognosefehler genutzt. Alternativ wird der Prognosefehler mit Hilfe einer monotonen Funktion aus der Standardabweichung berechnet, z.B. durch Multiplikation der Standardabweichung mit einem problemabhängigen konstanten Faktor.
Nach einer weiteren bevorzugten Ausführungsform der Erfindung wird ein Signal abgegeben, wenn die Standardabweichung der Prognosen über einem vorgegebenen Schwellwert liegt. Dieses Signal kann zum Beispiel zu einer visuellen und / oder akustischen Ausgabe für einen Benutzer fuhren. Dies ist besonders vorteilhaft, wenn die neuronalen Netze für einen Regelungsprozess eingesetzt werden.
Im weiteren werden bevorzugte Ausführungsformen der Erfindung mit Bezugnahme auf die Zeichnungen näher erläutert. Es zeigen:
Figur 1 ein Blockdiagram eines neuronalen Netzes,
Figur 2 eine schematische Darstellung eines Trainingsdatensatzes für das neuronale Netz der Figur 1,
Figur 3 ein Flussdiagram einer Ausführungsform des erfindungsgemäßen Verfahrens zum
Training von neuronalen Netzen und zur Ermittlung eines Prognosewerts,
Figur 4 ein Blockdiagram eines erfindungsgemäßen Systems zur Ermittlung eines
Prognosewerts.
Die Figur 1 zeigt ein neuronales Netz 1 mit den Eingängen A, B und C und mit dem Ausgang D. Im allgemeinen Fall kann das neuronale Netz 1 eine beliebige Anzahl von Eingängen und Ausgängen aufweisen. Femer kann das neuronale Netz auch rigorose Modellanteile beinhalten. In diesem Fall spricht man von einem hybriden neuronalen Netz.
Zum Training des neuronalen Netzes 1 dient ein Trainingsdatensatz 2 (vgl. Figur 2). Der Trainingsdatensatz 2 beinhaltet eine Reihe von Messsamples, die jeweils aus Messwerten für die Messgrößen A, B, C und D bestehen. Diese Messgrößen sind den entsprechenden Eingängen des neuronalen Netzes zugeordnet.
Die Messwerte werden zum Beispiel aus Versuchsreihen gewonnen, die für die Ermittlung von Trainingsdaten durchgeführt werden. Die Messgenauigkeiten der einzelnen Messgrößen sind in einer Tabelle 3 angegeben. Die Messgröße A wird mit einer Messgenauigkeit von +/- w , die Messgröße B mit einer Messgenauigkeit von +/- x , die Messgröße C mit einer Messgenauigkeit von +/- y und die Messgröße D mit einer Messgenauigkeit von +/- z ermittelt.
Die Figur 3 veranschaulicht eine bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens. In dem Schritt 30 wird eine Anzahl von n Trainingsdatensätzen aus dem Trainingsdatensatz 2 (vgl. Figur 2) erzeugt.
Ein weiterer Trainingsdatensatz i, wobei i zwischen 1 und n liegt, wird basierend auf dem Trainingsdatensatz 2 gewonnen, indem die einzelnen Messwerte der Messgrößen A, B, C und D für jedes Messsample unter Berücksichtigung der jeweiligen Messgenauigkeit der betreffenden Messgröße verrauscht werden. Dieser Vorgang, das heißt das Verrauschen des Trainingsdatensatzes 2 erfolgt n-fach, um so die n Trainingsdatensätze zu gewinnen.
Beispielsweise erfolgt das Verrauschen der Messwerte des Trainingsdatensatzes 2 durch Addition einer gleichverteilten Zufallszahl. Ein verrauschter Messwert x' ergibt sich aus dem ursprünglich gemessenen Messwert x als :
x' = x + Zufallszahl ,
wobei die Zufallszahl in dem Intervall
[Untergrenze; Obergrenze]
liegt. Dabei können die Untergrenze und die Obergrenze von dem ursprünglichen Messwert x und der Messgenauigkeit abhängen. Wurde die Messgenauigkeit beispielsweise als relativer Fehler zum Messwert x angegeben, so können die folgenden Grenzen gewählt werden:
Untergrenze = - relative Messgenauigkeit * x
Obergrenze = relative Messgenauigkeit * x Im Normalfall ist die Untergrenze ein Wert kleiner als 0, während die Obergrenze ein Wert größer als 0 ist.. In diesem Fall liegt der verrauschte Messwert x' innerhalb des Bereichs der Messungenauigkeit. Soll zum Beispiel ein Messwert für die Messgröße A verrauscht werden, so wird zu dem tatsächlich ermittelten Messwert der Messgröße A eine Zufallsgröße aufaddiert.
Diese Zufallsgröße ist eine Zufallszahl aus dem Intervall [Untergrenze; Obergrenze], wobei die Untergrenze und die Obergrenze von dem Messwert x abhängen können (s.o.) oder Untergrenze und Obergrenze feste Größen sind.
Alternativ kann die Zufallszahl auch normalverteilt sein. In diesem Fall wird die Varianz der Zufallszahl so gewählt, dass der verrauschte Messwert x' mit einer vorgegebenen Wahrscheinlichkeit in dem durch die Messgenauigkeit vorgegebenen Toleranzbereich liegt. Die vorgegebene Wahrscheinlichkeit kann zum Beispiel > 95 %, gewählt werden.
In dem Schritt 31 wird eine Anzahl von n+1 neuronalen Netzen vom Typ des neuronalen Netzes 1 der Figur 1 mit dem Trainingsdatensatz 2 und den so gewonnenen n weiteren Trainingsdatensätzen trainiert. Dadurch erhält man n neuronale Netze mit denselben Eingangs- und Ausgangsparametern, die mit verrauschten Trainingsdatensätzen basierend auf demselben messtechnisch ermittelten Trainingsdatensatz trainiert worden sind.
Für die Ermittlung eines Prognosewerts wird in dem Schritt 32 ein Eingabedatensatz von Parameterwerten in die Eingänge A, B und C der in dem Schritt 31 trainierten neuronalen Netze eingegeben. In dem Schritt 33 geben die neuronalen Netze an deren Ausgängen jeweils einen Prognosewert aus; in dem betrachteten Beispielsfall liegen also n+1 Prognosewerte an den Ausgängen D vor.
In dem Schritt 34 werden der Mittelwert und die Standardabweichung der in dem Schritt 33 ausgegebenen Prognosewerte berechnet. In dem Schritt 35 wird geprüft, ob die Standardabweichung über einen Schwellwert liegt. Ist dies der Fall, wird in dem Schritt 36 eine Warnung ausgegeben. Die Ausgabe einer Warnung bedeutet, dass die Prognose der neuronalen Netze für den aktuellen Eingangsdatensatz nicht hinreichend vertrauenswürdig ist.
Liegt die Standardabweichung dagegen unterhalb des Schwellwerts, so wird eine solche Warnung nicht ausgegeben; in dem Schritt 37 erfolgt die Ausgabe des Mittelwerts der Prognosewerte als Ergebnis der Prognose. Zusätzlich oder alternativ wird die Standardabweichung als Maß für den Prognosefehler ausgegeben. Die Figur 4 zeigt ein Blockdiagram einer Ausführungsform des erfindungsgemäßen Systems. Elemente der Figur 4, die Elementen der Figur 1 entsprechen, sind mit denselben Bezugszeichen gekennzeichnet.
Das System beinhaltet eine Anzahl von n+1 neuronalen Netzen 1, die prinzipiell gleich aufgebaut sind, nämlich jeweils die Eingänge A, B und C und den Ausgang D aufweisen.
Die Eingänge A, B und C der neuronalen Netze 1 sind mit einem Eingabemodul 4 verbunden, über welches ein Eingabeparametersatz, für den eine Prognose durchgeführt werden soll, in die neuronalen Netze 1 eingegeben wird.
Aufgrund dieser Eingabe von Eingangsdaten gibt jedes der neuronalen Netze 1 an dessen Ausgang für die Messgröße D eine Prognose aus. Diese Prognosen werden in das Auswertungsmodul 5 eingegeben. Das Auswertungsmodul 5 berechnet den Mittelwert der verschiedenen Prognosen für die Messgröße D sowie die Standardabweichung der Prognosen.
Das Auswertungsmodul 5 ist mit einer Anzeigeeinheit 6 und mit einem Komparator 7 verbunden. Der Komparator 7 ist mit einem Schwellwertspeicher 8 verbunden.
Das Auswertungsmodul 5 gibt den berechneten Mittelwert der Prognosen an die Anzeigeeinheit 6 aus, so dass der Prognosewert dort angezeigt wird. Femer gibt das Auswertungsmodul 5 die Standardabweichung der Prognosen an den Komparator 7 aus. Der Komparator 7 vergleicht die Standardabweichung mit dem in dem Schwellwertspeicher 8 gespeicherten Schwellwert. Liegt die Standardabweichung über dem Schwellwert, so gibt der Komparator 7 ein Signal ab, welches auf der Anzeigeeinheit 6 als Wamhinweis angezeigt wird. Wenn also ein Prognosewert auf der Anzeigeeinheit 6 zusammen mit einem Wamhinweis angezeigt wird, so bedeutet dies, dass die Streuung der einzelnen Prognosen der neuronalen Netze 1 relativ groß ist, so dass der resultierende Prognosewert als nicht hinreichend vertrauenswürdig betrachtet wird.
Über die Anzeige 6 kann femer die Standardabweichung als Maß für den Prognosefehler für einen Benutzer ausgegeben werden. Bezugszeichenliste
neuronales Netz 1
Trainingsdatensatz 2
Tabelle 3
Eingabemodul 4
Auswertungsmodul 5
Anzeigeeinheit 6
Komparator 7
Schwellwertspeicher 8

Claims

Patentansprüche
1. Verfahren zum Trainieren einer Anzahl von neuronalen Netzen mit folgenden Schritten:
Ermittlung eines ersten Trainingsdatensatzes, wobei die Trainingsdaten eine bestimmte Genauigkeit aufweisen,
Erzeugung einer Anzahl von zweiten Trainingsdatensätzen durch Verrauschen des ersten Trainingsdatensatzes mit einer Zufallsgröße,
Trainieren jedes der neuronalen Netze mit einem der Trainingsdatensätze.
2. Verfahren nach Anspruch 1, wobei jedem Datum der Trainingsdaten eine Genauigkeit zugeordnet ist.
3. Verfahren nach Anspruch 1 oder 2, wobei die Trainingsdaten Messgrößen beinhalten und zu jeder Messgröße eine Messgenauigkeit angegeben wird.
4. Verfahren nach einem der vorhergehenden Ansprüche 1, 2 oder 3, wobei es sich bei der Zufallsgröße um eine gleichverteilte Zufallsgröße handelt.
5. Verfahren nach Anspruch 4, wobei die Zufallsgröße den Erwartungswert Null hat und das Ergebnis der Addition der Zufallsgröße zu dem Trainingsdatum innerhalb des Genauigkeitsbereichs des Trainingsdatums liegt.
6. Verfahren nach Anspruch 1, 2 oder 3, wobei es sich bei der Zufallsgröße um eine normalverteilte Zufallsgröße handelt.
7. Verfahren nach Anspruch 6, wobei die Zufallsgröße den Erwartungswert Null hat und das Ergebnis der Addition der Zufallsgröße zu dem jeweiligen Datum mit einer vorgegebenen Wahrscheinlichkeit innerhalb des Genauigkeitsbereichs des Trainingsdatums liegt.
8. Verfahren nach Anspruch 7, wobei die vorgegebene Wahrscheinlichkeit größer oder gleich 95%, vorzugsweise 99% beträgt.
9. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 8, wobei die Zufallsgröße aus einem fest vorgegebenen Intervall entnommen wird.
10. Verfahren nach einem der vorhergehenden Ansprüche 1 bis 8, wobei die Zufallsgröße aus einem von der Genauigkeit abhängigen Intervall entnommen wird.
11. Verfahren zur Prognose mittels neuronaler Netze mit folgenden Schritten: Trainieren der neuronalen Netze nach einem Verfahren nach einem der vorhergehenden Ansprüche 1 bis 8,
Ermittlung eines Prognosewerts basierend auf einer Auswertung der von den neuronalen Netzen abgegebenen Prognosen.
12. Verfahren nach Anspruch 11, wobei der Prognosewert durch Mittelung der von den neuronalen Netzen abgegebenen Prognosen berechnet wird.
13. Verfahren nach Anspruch 11 oder 12, wobei die Standardabweichung der von den neuronalen Netzen abgegebenen Prognosen als Maß für die Vertrauenswürdigkeit des Prognosewerts ermittelt wird.
14. Verfahren nach Anspruch 13, wobei der Prognosewert mit einem Schwellwert verglichen wird, und ein Signal abgegeben wird, wenn die Standardabweichung oberhalb des Schwellwerts liegt.
15. Verfahren nach einem der vorhergehenden Ansprüche 11 bis 14, wobei die Standardabweichung der von den neuronalen Netzen abgegebenen Prognosen als Maß für den Prognosefehler verwendet wird.
16. Computersystem zur Ermittlung von zumindest einem Prognosewert mit
einer Anzahl von neuronalen Netzen (1), von denen zumindest einige mittels verrauschten Trainingsdatensätzen trainiert worden sind,
Eingabemitteln (4) zur Eingabe von Eingabedaten in die neuronalen Netze,
Auswertemitteln (5) zur Auswertung der von den neuronalen Netzen ausgegebenen Prognosen zur Ermittlung eines Prognosewerts.
17. Computersystem nach Anspruch 16, bei dem die Auswertemittel zur Berechnung des Mittelwerts der Prognosen ausgebildet sind.
18. Computersystem nach Anspruch 16 oder 17, bei dem die Auswertemittel zur Berechnung der Standardabweichung der Prognosen als Maß für die Vertrauenswürdigkeit des Prognosewerts ausgebildet sind.
19. Computersystem nach Anspruch 18, mit Mitteln (7) zum Vergleich der Standardabweichung mit einem vorgegebenen Schwellwert und zur Abgabe eines Signals, wenn die Standardabweichung oberhalb des Schwellwerts liegt.
0. Computersystem nach einem der vorhergehenden Ansprüche 16 bis 19, mit Mitteln zur Ausgabe eines Prognosefehlers, wobei der Prognosefehler basierend auf der Standardabweichung ermittelt wird.
EP04723983A 2003-04-10 2004-03-29 Verfahren zum trainieren von neuronalen netzen Withdrawn EP1623371A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10316381A DE10316381A1 (de) 2003-04-10 2003-04-10 Verfahren zum Training von neuronalen Netzen
PCT/EP2004/003289 WO2004090807A2 (de) 2003-04-10 2004-03-29 Verfahren zum trainieren von neuronalen netzen

Publications (1)

Publication Number Publication Date
EP1623371A2 true EP1623371A2 (de) 2006-02-08

Family

ID=33038981

Family Applications (1)

Application Number Title Priority Date Filing Date
EP04723983A Withdrawn EP1623371A2 (de) 2003-04-10 2004-03-29 Verfahren zum trainieren von neuronalen netzen

Country Status (4)

Country Link
US (1) US7406451B2 (de)
EP (1) EP1623371A2 (de)
DE (1) DE10316381A1 (de)
WO (1) WO2004090807A2 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021210322A1 (de) 2021-09-17 2023-03-23 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erzeugen eines Datensatzes zum Trainieren und/oder Testen eines Algorithmus des maschinellen Lernens basierend auf einem Ensemble an Datenfiltern

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7409451B1 (en) * 2003-05-30 2008-08-05 Aol Llc, A Delaware Limited Liability Company Switching between connectivity types to maintain connectivity
US10089854B2 (en) * 2008-09-24 2018-10-02 Iintegrate Systems Pty Ltd Alert generation system and method
CN104598970B (zh) * 2015-01-09 2017-02-22 宁波大学 一种爬架组的工作状态检测方法
US11437032B2 (en) 2017-09-29 2022-09-06 Shanghai Cambricon Information Technology Co., Ltd Image processing apparatus and method
US11630666B2 (en) 2018-02-13 2023-04-18 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
KR102148110B1 (ko) 2018-02-13 2020-08-25 상하이 캠브리콘 인포메이션 테크놀로지 컴퍼니 리미티드 계산 장치 및 방법
US11709672B2 (en) 2018-02-13 2023-07-25 Shanghai Cambricon Information Technology Co., Ltd Computing device and method
CN110162162B (zh) 2018-02-14 2023-08-18 上海寒武纪信息科技有限公司 处理器的控制装置、方法及设备
EP3624020A4 (de) 2018-05-18 2021-05-05 Shanghai Cambricon Information Technology Co., Ltd Berechnungsverfahren und zugehöriges produkte
JP7053891B2 (ja) 2018-06-27 2022-04-12 シャンハイ カンブリコン インフォメーション テクノロジー カンパニー リミテッド オンチップコードのブレークポイントによるデバッグ方法、オンチッププロセッサ及びブレークポイントによるチップデバッグシステム
CA3106329C (en) * 2018-07-12 2023-06-13 Element Ai Inc. Automated generation of documents and labels for use with machine learning systems
WO2020062392A1 (zh) 2018-09-28 2020-04-02 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
CN111160518B (zh) * 2018-11-08 2023-08-15 中国石油化工股份有限公司 炼化污水cod的软测量方法和装置及机器可读存储介质
CN111383638A (zh) 2018-12-28 2020-07-07 上海寒武纪信息科技有限公司 信号处理装置、信号处理方法及相关产品
US11003947B2 (en) 2019-02-25 2021-05-11 Fair Isaac Corporation Density based confidence measures of neural networks for reliable predictions
CN111831543A (zh) 2019-04-18 2020-10-27 中科寒武纪科技股份有限公司 一种数据处理方法及相关产品
US11847554B2 (en) 2019-04-18 2023-12-19 Cambricon Technologies Corporation Limited Data processing method and related products
DE102019207575A1 (de) * 2019-05-23 2020-11-26 Volkswagen Aktiengesellschaft Verfahren zum Beurteilen einer funktionsspezifischen Robustheit eines Neuronalen Netzes
CN112085184B (zh) 2019-06-12 2024-03-29 上海寒武纪信息科技有限公司 量化参数调整方法、装置及相关产品
US11676028B2 (en) 2019-06-12 2023-06-13 Shanghai Cambricon Information Technology Co., Ltd Neural network quantization parameter determination method and related products
CN110322005A (zh) * 2019-06-25 2019-10-11 深圳爱莫科技有限公司 神经网络模型训练方法以及装置、人脸识别方法
CN112446460A (zh) * 2019-08-28 2021-03-05 上海寒武纪信息科技有限公司 用于处理数据的方法、装置以及相关产品
US11074163B2 (en) * 2019-11-05 2021-07-27 Jpmorgan Chase Bank, N.A. Method and system for generating unit tests using machine learning
DE102021202289A1 (de) 2021-03-09 2022-09-15 Robert Bosch Gesellschaft mit beschränkter Haftung Computerimplementiertes Verfahren und Vorrichtung zum Trainieren eines datenbasierten Zeitpunktbestimmungsmodells für die Bestimmung eines Öffnungs- oder Schließzeitpunkts eines Einspritzventils mithilfe maschineller Lernverfahren
DE102021202287B4 (de) 2021-03-09 2023-03-23 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben eines Kraftstoffeinspritzventils mithilfe maschineller Lernverfahren

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5212765A (en) * 1990-08-03 1993-05-18 E. I. Du Pont De Nemours & Co., Inc. On-line training neural network system for process control
DE4120828A1 (de) 1991-06-24 1993-01-07 Siemens Ag Verfahren zur verarbeitung von unsicherheiten von eingangsdaten in neuronalen netzwerken
EP0582885A3 (en) * 1992-08-05 1997-07-02 Siemens Ag Procedure to classify field patterns
US5704012A (en) * 1993-10-08 1997-12-30 International Business Machines Corporation Adaptive resource allocation using neural networks
US5699487A (en) * 1995-07-07 1997-12-16 Hewlett-Packard Company Artificial neural network read channel
IT1283483B1 (it) 1996-07-23 1998-04-21 Eurotecnica Contractors Engine Processo per la sintesi di urea da ammoniaca e anidride carbonica e apparecchiatura utile per la realizzazione del processo
DE19635758C1 (de) 1996-09-03 1997-11-20 Siemens Ag Verfahren und Vorrichtung zur rechnergestützten Generierung mindestens eines künstlichen Trainingsdatenvektors für ein neuronales Netz
WO1998034177A2 (de) 1997-01-31 1998-08-06 Siemens Aktiengesellschaft Verfahren zur kombination von ausgangssignalen mehrerer schätzer, insbesondere von mindestens einem neuronalen netz, zu einem gesamtschätzer ermittelten ergebnissignal
US6523016B1 (en) * 1999-04-12 2003-02-18 George Mason University Learnable non-darwinian evolution

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004090807A2 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021210322A1 (de) 2021-09-17 2023-03-23 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Erzeugen eines Datensatzes zum Trainieren und/oder Testen eines Algorithmus des maschinellen Lernens basierend auf einem Ensemble an Datenfiltern

Also Published As

Publication number Publication date
WO2004090807A2 (de) 2004-10-21
DE10316381A1 (de) 2004-10-28
US20040205037A1 (en) 2004-10-14
WO2004090807A3 (de) 2005-12-22
US7406451B2 (en) 2008-07-29

Similar Documents

Publication Publication Date Title
EP1623371A2 (de) Verfahren zum trainieren von neuronalen netzen
DE69332980T2 (de) Betreiben eines neuronalen netzwerks mit fehlenden und/oder inkompletten daten
DE102018128289A1 (de) Verfahren und vorrichtung für eine autonome systemleistung und zur einstufung
EP0934567A1 (de) Verfahren zur klassifikation der statistischen abhängigkeit einer messbaren zeitreihe
EP2402827A1 (de) Verfahren und Vorrichtung für eine Funktionsprüfung einer Objekt-Erkennungseinrichtung eines Kraftwagens
DE102019206720B4 (de) Überwachung eines KI-Moduls einer Fahrfunktion eines Fahrzeugs
DE102013206291A1 (de) Verfahren und Vorrichtung zum Erstellen eines nicht parametrischen, datenbasierten Funktionsmodells
EP0978052B1 (de) Rechnergestütztes verfahren zur auswahl von trainingsdaten für ein neuronales netz
DE102017219269A1 (de) Klassifizierung mit automatischer Auswahl aussichtsreicher Lerndaten
EP3959660A1 (de) Training trainierbarer module mit lern-daten, deren labels verrauscht sind
WO2020216622A1 (de) Erkennung und behebung von rauschen in labels von lern-daten für trainierbare module
DE4228934C2 (de) Vorrichtung zur Bestimmung des Vertrauensbereichs von Perzentil-Meßwerten kontinuierlicher stochastischer Schallsignale
DE102016113310A1 (de) Verfahren zur Bewertung von Aussagen einer Mehrzahl von Quellen zu einer Mehrzahl von Fakten
EP0941505A1 (de) Verfahren zur neuronalen modellierung der abhängigkeiten von einflussgrössen eines technischen systems
EP1114398B1 (de) Verfahren zum trainieren eines neuronalen netzes, verfahren zur klassifikation einer folge von eingangsgrössen unter verwendung eines neuronalen netzes, neuronales netz und anordnung zum trainieren eines neuronalen netzes
DE102013202255B4 (de) Verfahren und Vorrichtung zur Bestimmung von Verkehrsstärken
DE102020206261A1 (de) Verfahren zum Übertragen einer Sensorcharakteristik
DE102021205097A1 (de) Computerimplementiertes Verfahren und System zur Bestimmung einer Kostenfunktion
DE102022202218A1 (de) Verfahren und Vorrichtung zum Bestimmen einer Robustheit eines datenbasierten Sensormodells
DE102021200215A1 (de) Ermitteln einer Konfidenz eines künstlichen neuronalen Netzwerks
DE102020202282A1 (de) Verfahren und Vorrichtung zum automatisierten Entwickeln eines Daten getriebenen Modells
DE102022112445A1 (de) Verfahren und system zur bewertung von fahrgeräuschen im innenraum eines fahrzeugs
WO2023280531A1 (de) Computerimplementiertes verfahren, computerprogramm und vorrichtung zum erzeugen einer daten-basierten modellkopie in einem sensor
DE102021202335A1 (de) Verfahren und Vorrichtung zum Prüfen eines technischen Systems
WO2023237274A1 (de) Konzept zum auswählen von audioausschnitten von bremsquietschgeräuschen in einem fahrzeug

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

DAX Request for extension of the european patent (deleted)
17P Request for examination filed

Effective date: 20060622

RBV Designated contracting states (corrected)

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PL PT RO SE SI SK TR

17Q First examination report despatched

Effective date: 20110819

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20120301