EP1166227A1 - Procede d'initialisation d'un reseau de neurones - Google Patents

Procede d'initialisation d'un reseau de neurones

Info

Publication number
EP1166227A1
EP1166227A1 EP00910976A EP00910976A EP1166227A1 EP 1166227 A1 EP1166227 A1 EP 1166227A1 EP 00910976 A EP00910976 A EP 00910976A EP 00910976 A EP00910976 A EP 00910976A EP 1166227 A1 EP1166227 A1 EP 1166227A1
Authority
EP
European Patent Office
Prior art keywords
neural network
module
function
linear
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP00910976A
Other languages
German (de)
English (en)
Inventor
Charles Lehalle
Julien Piana
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SA filed Critical Renault SA
Publication of EP1166227A1 publication Critical patent/EP1166227A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Definitions

  • the invention relates to a method for initializing a neural network, more particularly called perceptron.
  • a neural network makes it possible to perform many tasks, such as identification, control, classification or filtering.
  • the object of the invention is therefore to construct a neural network which emulates a non-linear function known only by some of its operating points, then to initialize this neural network.
  • the object of the invention is a method for initializing a neural network intended to emulate a non-linear function, characterized in that it is carried out by an initialization box receiving as input the data available on the function, i.e. a sample of inputs and a sample of outputs, and performing the following steps: automatic selection of the number of linear zones necessary, taking into account the information available on the non-linear function, to linearly approximate said function; the automatic calculation of the characteristics of the linear forms on each area of the function, ie their slope; - the automated design of the neural network which associates the corresponding linear form with each zone of the function; the calculation of the initial values of the parameters of the neural network, ie the weights and the biases of the layer of hidden neurons and of the layer of output neurons.
  • FIG. 1 a functional diagram of a neural network
  • Figures 2 a and 2 ⁇ two examples of activation functions of a neural network
  • Figure 3 a symbolic representation of the transfer function of a neural network
  • FIG. 4 a functional diagram of a neural network initialized according to the method of the invention
  • - Figure 5 the initialization box of a neural network according to the invention
  • FIG. 6 an example of a non-linear function to be emulated and of a corresponding linear initialization by pieces
  • FIG. 7 the characteristics of a space band associated with a linear zone of a non-linear function
  • FIGS. 8 a and 8 b the learning mode and the use mode of a neural network.
  • a neural network 1 can be represented by a functional diagram like that of FIG. 1, which includes a module 2 constituting the transfer function of the neural network. For a given input E and a set of parameters ⁇ fixed in a module 3, it produces a given output S.
  • x (Xi) i the input vector with d inputs
  • W [W] i j : dxc real parameters
  • b 1 [b 1 ] j : c real parameters
  • w 2 [W21 J jk : cxa real parameters
  • b [ b 1 k : a real parameters
  • with c number of hidden neurons in the network.
  • Sub-module 4 of module 2 of the transfer function produces the output vector z whose expression Ex) from the activation function ⁇ of the network is as follows:
  • This activation function ⁇ can take several forms, two examples of which are shown in FIGS. 2 a and 2 ⁇ .
  • the functional diagram of the neural network also includes a module 5 intended for learning the network and which receives as input:
  • the learning module 5 delivers a correction C to be made to the parameters ⁇ of the network.
  • Sub-module 6 contains the transfer function which corresponds to the following equations (E 2 ):
  • each function R is an update method
  • ⁇ are the network parameters defined previously, y and y * the state of the network
  • ⁇ the error committed by the network
  • T the parameters of the learning method.
  • the error ⁇ committed by the network is treated according to the parameters T.
  • the calculation of the partial derivatives of the error as a function of the weights W 2 and of the biases b is carried out, and a correction ⁇ W and ⁇ b is applied as a function of the derivatives and of the parameters T. Then, the same operation is carried out for the weights W and the biases b 1 .
  • the invention consists in determining the size of the hidden layer of the neural network and the initial values of the parameters of the network. These two objectives are achieved by an initialization box I (FIG. 4) made up of several modules Ii to I 5 , the inputs E 'of which consist of a sample of inputs E, a sample of outputs S and a list of input ranges Z according to a variant.
  • This box I is intended to deliver the size c of the hidden layer of neurons and the initial parameters ⁇ Q of the neural network, usually chosen at random by the user. As shown in Figure 5, it includes:
  • a module I for implementing statistical methods making it possible to estimate the non-linearity of a database, for example by linear regressions by pieces, receiving as input the samples of inputs E and of outputs S; a module I for determining the number of hidden units by exploiting new theoretical results making it possible to relate the number c of hidden units to its non-linearity; - a module I 3 for calculating the minimum number of hidden units necessary for the emulation, by the neural network, of the Z zones supplied as an option;
  • the aim of the invention being to construct a neural network which emulates a non-linear function, known by some of its operating points, and of which an example f is represented in FIG. 6, we proceed by linear approximations by pieces of so that the initial shape of the neural network is characterized by a set of slopes and corresponding zones as shown by the curve f 2 in FIG. 6.
  • the method according to the invention is based on the following three points: the automatic choice of the number of zones required taking into account the information available on the non-linear function; the automatic calculation of the characteristics of the linear forms on each area of the function, ie their slope; the automated design of the neural network which associates the corresponding linear form with each area of the function.
  • the automatic choice of the number of zones Z ⁇ necessary to linearly approximate the nonlinear function to be emulated is carried out by the two modules I ⁇ and I 2 , the first I lr receiving as input the data available on the function to be emulated, ie a sample of entries
  • This module performs statistical tests to choose the necessary zones, that is to say, it performs; a random selection of zones Z ⁇ ; a statistical regression operation on each of. these zones selected to obtain a set of parameters Pi per zone Z; - Significance tests of the differences between said sets of parameters Pi to carry out, in the event of a non-significant difference between at least two zones, the merging of said corresponding zones.
  • each strip Ba is characterized by a standard vector ni which is orthogonal to it, a width l and a fulcrum Xi which makes it possible to place the line of direction orthogonal to the vector nor in the affine plane.
  • a first strip represents the speed N of a vehicle engine between 600 and 1200 revolutions / minute as a function of another band representing a fast CMI + couple between 20 and 140.
  • the module I 2 is intended to link the non-linearity of the function to be emulated to the number c of hidden units of the neural network to be constructed.
  • the module I 3 takes account of zones Z of the function which are already known to the user who supplies them as an option, in order to deliver the minimum number of hidden units necessary for the neural network. This number is zero when there is no previously known area.
  • An element 9 calculates the maximum between the number of hidden units delivered by the module I 2 and that delivered by the module I 3 , and sends it to the module I, intended to perform two operations.
  • the first operation is the automatic calculation of the characteristics of the linear forms on each zone Zi defined previously on the nonlinear function to be emulated, obtained by calculation of statistical regressions by the method of least squares.
  • the second operation is the automated design of the neural network corresponding to the non-linear function to be emulated.
  • a neural network is entirely characterized by the values of four sets of parameters which are on the one hand the weights W and the biases b 1 of its hidden layer of neurons, and on the other hand the weights W 2 and the biases b 2 of its output neuron layer.
  • the method according to the invention calculates the parameters of the hidden layer by associating a hidden neuron with each band of the set constituted by the pooling of the bands which characterize all the zones, so that, to this hidden neuron, corresponds a line w of weight W 1 and an element ⁇ of bias b, which are automatically fixed from the width li, the vector ni and the support point Xi defining the associated space band, according to equations (E 3 ) following:
  • the matrix and the vector b are then obtained by stacking the different values 2 i and bi calculated.
  • the module I 4 of the initialization box I calculated the weights and biases completely characterizing the structure and the number of hidden units of the neural network corresponding to the non-linear function.
  • This network is defined by its three vectors x, y and z:
  • the method according to the invention then consists in determining the initial values of the parameters ⁇ of the neuron network, whereas they are usually chosen randomly by the user. This calculation is performed by the module I 5 , which can be emulated by software for example and embedded with the neural network in the vehicle, or which can be executed offline and used with a neural network which accepts any parameters as input. .
  • These initial parameters are on the one hand the size c of the hidden layer of neurons and the initial values of the parameters:
  • the neural network 10 has a set of data composed of inputs IN and desired outputs OUT *. Each IN input corresponds to an OUT * output.
  • the network is initialized from the initial values [c, ⁇ Q ] defined according to the invention and it delivers OUT outputs from the IN inputs.
  • the user calculates an error ⁇ representative of the difference 11 between the values of outputs OUT of the network and those of the outputs OUT * expected, and sends it to an input of the neural network, as well as the learning parameters T.
  • the values of the network parameters are then automatically updated in order to minimize the error ⁇ .
  • IN inputs are supplied to the network 10 which outputs an OUT value using the values of its parameters.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)

Abstract

L'invention concerne un procédé d'initialisation d'un réseau de neurones destiné à émuler une fonction non linéaire, tel qu'il est réalisé par une boîte d'initialisation recevant en entrée les données disponibles sur la fonction, soit un échantillon d'entrées et un échantillon de sorties, et effectuant: la sélection automatique du nombre de zones linéaires nécessaires, compte-tenu des informations disponibles sur la fonction non-linéaire, pour approximer linéairement ladite fonction; le calcul automatique des caractéristiques des formes linéaires sur chaque zone de la fonction, soit leur pente; la conception automatisée du réseau de neurones qui associe à chaque zone de la fonction la forme linéaire correspondante; le calcul des valeurs initiales des paramètres du réseau neuronal, soit les poids et les biais de la couche de neurones cachées et de la couche de neurones de sortie.

Description

PROCEDE D'INITIALISATION D'UN RESEAU DE NEURONES
L'invention concerne un procédé d'initialisation d'un réseau de neurones, plus particulièrement appelé perceptron. Un tel réseau de neurones permet de réaliser de nombreuses tâches, comme l'identification, le contrôle, la classification ou le filtrage.
Leur utilisation suppose certains réglages, concernant d'une part la structure du réseau, soit son type et le nombre de neurones cachés, et d'autre part la méthode d'apprentissage du réseau constituée d'une part des valeurs initiales de ses paramètres et d'autre part de la mise à jour de ses paramètres.
Actuellement, la réalisation d'un réseau de neurones se fait par essais successifs et correction des erreurs correspondantes entre deux bornes très larges, et son initialisation est aléatoire de sorte qu'il est nécessaire d'effectuer plusieurs initialisations pour obtenir un résultat concluant.
Le but de 1 ' invention est donc de construire un réseau de neurones qui émule une fonction non linéaire connue seulement par certains de ses points de fonctionnement, puis d' initialiser ce réseau de neurones.
Pour cela l'objet de l'invention est un procédé d'initialisation d'un réseau de neurones destiné à émuler une fonction non linéaire, caractérisé en ce qu'il est réalisé par une boîte d'initialisation recevant en entrée les données disponibles sur la fonction, soit un échantillon d'entrées et un échantillon de sorties, et effectuant les étapes suivantes : la sélection automatique du nombre de zones linéaires nécessaires, compte-tenu des informations disponibles sur la fonction non-linéaire, pour approximer linéairement ladite fonction ; le calcul automatique des caractéristiques des formes linéaires sur chaque zone de la fonction, soit leur pente ; - la conception automatisée du réseau de neurones qui associe à chaque zone de la fonction la forme linéaire correspondante ; le calcul des valeurs initiales des paramètres du réseau neuronal, soit les poids et les biais de la couche de neurones cachés et de la couche de neurones de sortie.
D ' autres caractéristiques et avantages de 1 ' invention apparaîtront à la lecture de la description d'un réseau de neurones et de son initialisation, illustrée par les figures suivantes qui sont : la figure 1 : un schéma fonctionnel d'un réseau de neurones ; les figures 2a et 2^ : deux exemples de fonctions d'activation d'un réseau de neurones ; la figure 3 : une représentation symbolique de la fonction de transfert d'un réseau de neurones ; la figure 4 : un schéma fonctionnel d'un réseau de neurones initialisé selon le procédé de l'invention; - la figure 5 : la boîte d'initialisation d'un réseau de neurones selon 1 ' invention ; la figure 6 : un exemple de fonction non linéaire à émuler et d'une initialisation linéaire par morceaux correspondante ; la figure 7 : les caractéristiques d'une bande d'espace associée à une zone linéaire d'une fonction non linéaire ; les figures 8a et 8b : le mode apprentissage et le mode utilisation d'un réseau de neurones.
Un réseau de neurones 1 peut être représenté par un schéma fonctionnel comme celui de la figure 1, qui comprend un module 2 constituant la fonction de transfert du réseau neuronal. Pour une entrée E donnée et un jeu de paramètres θ fixé dans un module 3, elle produit une sortie S donnée. En notant x = (Xi)i le vecteur d'entrée à d entrées et z = (z^)i le vecteur de sortie à a sorties, avec θ = (W1, b1, 2, b2) les paramètres tels que :
W = [W ] ij : d x c paramètres réels, b1 = [b1]j : c paramètres réels, w 2 = [W21J jk : c x a paramètres réels, b = [b 1k : a paramètres réels, avec c : nombre de neurones cachés du réseau.
Le sous-module 4 du module 2 de la fonction de transfert produit le vecteur de sortie z dont l'expression Ex) à partir de la fonction d'activation Φ du réseau est la suivante :
(Ei) z = Φ[ 2*Φ( 1*x + b1) + b2].
Cette fonction d'activation Φ peut prendre plusieurs formes, dont deux exemples sont représentés sur les figures 2a et 2^ .
La figure 3 est une représentation symbolique du sous- module 4 constituant la fonction de transfert du réseau de neurones, avec : y = ( 1*x + b1) le vecteur de la couche cachée à c neurones , y« = 2*Φ(y) + b2, et z = Φ(y') .
Le schéma fonctionnel du réseau de neurones comprend aussi un module 5 destiné à l'apprentissage du réseau et qui reçoit en entrée :
- une erreur ε commise par le réseau et fournie par l'utilisateur, entrant dans un sous-module 6 ; une copie de l'état du réseau représenté par les vecteurs y et y', entrant dans un sous-module 7 ; les paramètres θ du réseau dans le sous-module 6 ; les paramètres d'apprentissage Pa entrant dans un troisième sous-module 8.
En sortie, le module d'apprentissage 5 délivre une correction C à apporter aux paramètres θ du réseau.
Le sous-module 6 contient la fonction de transfert qui correspond aux équations suivantes (E2) :
(E2) δW1 = Rwl r (θ, y, y', ε) δb1 = Rbl r(θ, y, y», ε) δW2 = Rw2 r(θ, y, y', ε) δb2 = Rbl r(θ, y, y', ε)
où chaque fonction R est une méthode de mise à jour, θ sont les paramètres du réseau définis précédemment, y et y* l'état du réseau, ε l'erreur commise par le réseau et T les paramètres de la méthode d ' apprentissage . L'erreur ε commise par le réseau est traitée selon les paramètres T. Le calcul des dérivées partielles de l'erreur en fonction des poids W2 et des biais b est effectué, et une correction δW et δb est appliquée en fonction des dérivées et des paramètres T. Ensuite, la même opération est effectuée pour les poids W et les biais b1.
Ainsi, les anciens paramètres sont remis à jour pour donner : 0 0 nouveau W = ancien - δW nouveau W = ancien - δ nouveau W 1 = anci•en W1 - o- 1 nouveau b = ancien b1 - δb1 .
L'invention consiste à déterminer la taille de la couche cachée du réseau neuronal et les valeurs initiales des paramètres du réseau. Ces deux objectifs sont réalisés par une boîte I d'initialisation (figure 4) constituée de plusieurs modules Ii à I5, dont les entrées E' se composent d'un échantillon d'entrées E, un échantillon de sorties S et d'une liste de plages d'entrées Z selon une variante. Cette boîte I est destinée à délivrer la taille c de la couche cachée de neurones et les paramètres initiaux ΘQ du réseau de neurones, habituellement choisis au hasard par l'utilisateur. Comme le montre la figure 5, elle comprend :
- un module I d* implémentation de méthodes statistiques permettant d'estimer la non linéarité d'une base de données, par exemple par régressions linéaires par morceaux, recevant en entrée les échantillons d'entrées E et de sorties S ; un module I de détermination du nombre d'unités cachées par l'exploitation de résultats théoriques nouveaux permettant de relier le nombre c d'unités cachées à sa non linéarité ; - un module I3 de calcul du nombre minimum d'unités cachées nécessaire à l'émulation, par le réseau neuronal, des zones Z fournies en option ;
- un module I de calcul des paramètres du réseau de neurones à partir de méthodes statistiques de régressions linéaires, en prenant en compte les zones Z fournies par l'utilisateur ou en les construisant statistiquement ; un module I5 de calcul des paramètres initiaux (c,θ0) optimaux du réseau neuronal, émulé par exemple par un logiciel et embarqué avec le réseau de neurones, ou bien exécuté hors ligne et utilisé avec un réseau qui accepte des paramètres quelconques en entrée.
Le but de 1 ' invention étant de construire un réseau de neurones qui émule une fonction non linéaire, connue par quelques uns de ses points de fonctionnement, et dont un exemple f est représenté sur la figure 6, on procède par approximations linéaires par morceaux de sorte que la forme initiale du réseau de neurones est caractérisé par un ensemble de pentes et de zones correspondantes comme le montre la courbe f2 de la figure 6.
Le procédé selon 1 ' invention repose sur les trois points suivants : le choix automatique du nombre de zones nécessaires compte-tenu des informations disponibles sur la fonction non-linéaire ; le calcul automatique des caractéristiques des formes linéaires sur chaque zone de la fonction, soit leur pente ; la conception automatisée du réseau de neurones qui associe à chaque zone de la fonction la forme linéaire correspondante.
Le choix automatique du nombre de zones Z± nécessaire pour approximer linéairement la fonction non linéaire à émuler est réalisé par les deux modules Iλ et I2 , le premier Il r recevant en entrée les données disponibles sur la fonction à émuler, soit un échantillon d'entrées
E et un échantillon de sorties S. Ce module l opère des tests statistiques permettant de choisir les zones nécessaires, c'est-à-dire qu'il réalise ; une sélection aléatoire de zones Z^; une opération de régressions statistiques sur chacune de . ces zones sélectionnées pour obtenir un jeu de paramètres Pi par zone Z ; - des tests de significativité des différences entre lesdits jeux de paramètres Pi pour réaliser, en cas de différence non significative entre au moins deux zones, la fusion desdites zones correspondantes.
II reste, après ces tests, un certain nombre de zones dont chacune est caractérisée par une intersection de bandes de l'espace de départ. Comme le représente la figure 7 , chaque bande Ba est caractérisée par un vecteur norme ni qui lui est orthogonal, une largeur l et un point d'appui Xi qui permet de placer la droite de direction orthogonale au vecteur ni dans le plan affine. Sur l'exemple de la figure 7, une première bande représente le régime N d'un moteur du véhicule entre 600 et 1200 tours/minute en fonction d'une autre bande représentant un couple rapide CMI+ entre 20 et 140.
Le module I2 est destiné à relier la non linéarité de la fonction à émuler au nombre c d'unités cachées du réseau de neurones à construire.
Le module I3 tient compte de zones Z de la fonction qui sont déjà connues de l'utilisateur qui les fournit en option, pour délivrer le nombre minimum d'unités cachées nécessaires au réseau de neurones. Ce nombre est nul quand il n'y a pas de zone préalablement connue.
Un élément 9 calcule le maximum entre le nombre d'unités cachées délivré par le module I2 et celui délivré par le module I3, et l'envoie sur le module I , destiné à effectuer deux opérations. La première opération est le calcul automatique des caractéristiques des formes linéaires sur chaque zone Zi définie auparavant sur la fonction non linéaire à émuler, obtenu par calcul de régressions statistiques par la méthode des moindres carrés.
La seconde opération est la conception automatisée du réseau de neurones correspondant à la fonction non linéaire à émuler. Un réseau neuronal est entièrement caractérisé par les valeurs de quatre jeux de paramètres qui sont d'une part les poids W et les biais b1 de sa couche cachée de neurones, et d'autre part les poids W2 et les biais b2 de sa couche de neurones de sortie.
Etant donné que chaque zone précédemment définie est caractérisée par un ensemble de bandes de l'espace, le procédé selon 1 ' invention calcule les paramètres de la couche cachée en associant un neurone caché à chaque bande de 1 ' ensemble constitué par la mise en commun des bandes qui caractérisent toutes les zones, de telle sorte que, à ce neurone caché, correspond une ligne w de poids W1 et un élément β de biais b , qui sont automatiquement fixés à partir de la largeur li, du vecteur ni et du point d'appui Xi définissant la bande d'espace associée, suivant les équations (E3) suivantes:
w = (2/li)*ni β = - 1 - <w,Xi>, avec <w,Xi> le produit scalaire de la ligne w par le point X ,
Lorsque toutes les lignes de poids W et tous les éléments de biais b1 de la couche de neurones cachés ont été ainsi fixés, le procédé détermine les poids W2 , soit 2i, et les biais b2 , soit b i, de la couche de neurones de sortie, à partir des lignes W i de poids W , des éléments b1i de biais b et de la forme linéaire y = Ai*x + Bi, rattachés à chaque zone Zi, par les équations (E4) suivantes :
(E4) Ai = W2i * W1 !
B; b2i + W2j * bJ
La matrice et le vecteur b sont ensuite obtenus par empilage des différentes valeurs 2i et b i calculées.
Ainsi, le module I4 de la boîte I d'initialisation a calculé les poids et biais caractérisant complètement la structure et le nombre d'unités cachées du réseau de neurones correspondant à la fonction non linéaire. Ce réseau est défini par ses trois vecteurs x, y et z :
x = (Xi)i y= ( 1*x + b1) z = φ[W2 * φ(y) + b2] = φ[ 2 * φ( 1*x + b1) + b2]
Le procédé selon l'invention consiste ensuite à déterminer les valeurs initiales des paramètres θ du réseau de neurone, alors qu'ils sont habituellement choisis aléatoirement par l'utilisateur. Ce calcul est effectué par le module I5, qui peut être émulé par logiciel par exemple et embarqué avec le réseau de neurones dans le véhicule, ou bien qui peut être exécuté hors ligne et utilisé avec un réseau neuronal qui accepte des paramètres quelconques en entrée. Ces paramètres initiaux sont d'une part la taille c de la couche cachée de neurones et les valeurs initiales des paramètres :
θπ = [w b o , 2 0, b2o]
L'utilisation d'un tel réseau de neurones ainsi conçu se fait selon deux modes, un premier mode dit d'apprentissage et un second dit d'utilisation comme cela est schématisé sur les figures 8a et 8b respectivement.
Le réseau neuronal 10 dispose d'un ensemble de données composé d'entrées IN et de sorties désirées OUT*. A chaque entrée IN correspond une sortie OUT* .
Le réseau est initialisé à partir des valeurs initiales [c, ΘQ] définies selon l'invention et il délivre des sorties OUT à partir des entrées IN. L'utilisateur calcule une erreur ε représentative de l'écart 11 entre les valeurs de sorties OUT du réseau et celles des sorties OUT* attendues, et l'envoie sur une entrée du réseau de neurones, ainsi que les paramètres T d'apprentissage. Les valeurs des paramètres du réseau sont alors automatiquement mises à jour afin de minimiser l'erreur ε.
En mode "utilisation" (figure 8b) , des entrées IN sont fournies au réseau 10 qui délivre en sortie une valeur OUT en utilisant les valeurs de ses paramètres.

Claims

R E V E N D I C A T I O N S
1. Dispositif d'initialisation d'un réseau de neurones destiné à émuler une fonction non linéaire, comprenant : un module (Iη) d'estimation de la non linéarité de la fonction à émuler par implémentation de méthodes statistiques, recevant en entrée les échantillons d'entrées (E) et de sorties (S) ; un module (I ) de détermination du nombre (C) d'unités cachées du réseau de neurone à partir de l'estimation de la non linéarité de la fonction à émuler; un module (I ) d'une part de calcul automatique des paramètres caractérisant complètement la structure et le nombre d'unités cachées du réseau de neurones à partir de méthodes statistiques de régressions linéaires, et d'autre part de conception automatisée du réseau de neurones correspondant à la fonction non linéaire à émuler ; un module (I5) de calcul des paramètres initiaux (c,θ0) optimaux du réseau neuronal, émulé par exemple par un logiciel et embarqué avec le réseau de neurones, ou bien exécuté hors ligne et utilisé avec un réseau qui accepte des paramètres quelconques en entrée, caractérisé en ce que le module (Iχ) d'estimation de la non linéarité de la fonction à émuler réalise les étapes suivantes : une sélection aléatoire de zones (Zi) pour approximer linéairement ladite fonction ; une opération de régressions statistiques sur chacune de ces zones sélectionnées pour obtenir un jeu de paramètres (Pi) par zone (Zi); des tests de significativité des différences entre lesdits jeux de paramètres (pi) pour réaliser, en cas de différence non significative entre au moins deux zones, la fusion desdites zones correspondantes .
2. Dispositif d'initialisation d'un réseau de neurones selon la revendication 1, caractérisé en ce que le module (I4) de calcul des paramètres du réseau neuronal associe tout d'abord, pour le calcul du nombre (c) de neurones de la couche cachée, un neurone caché à chaque bande de l'ensemble constitué par la mise en commun des bandes qui caractérisent toutes les zones, de telle façon qu'à ce neurone caché correspond une ligne (w) de poids (W1) et un élément (β) de biais (b ) , qui sont automatiquement fixés à partir de la largeur (li) , du vecteur (n ) et du point d'appui (Xi) définissant ladite bande selon les équations (E3) suivantes : β = -l-<w,X > avec <w,Xi> le produit scalaire de la ligne (w) par le point (Xi), et lorsque toutes les lignes de poids (W ) et tous les éléments de biais (b ) de la couche cachée ont été fixés, détermine ensuite pour la couche de neurones de sortie, les poids (W 2i) et les biais (b2i) de cette couche de sortie à partir des lignes ( 1 i) de poids
(W1) , des éléments (b i) de biais (b1) et de la forme linéaire y = Ai*x + Bi rattachés à chaque zone (Z ), par les équations (E4) : (E4) Ai = 2i * W2i
Bi = b2i + 2i * b1 i
la matrice (W ) et le vecteur (b ) étant ensuite obtenus par empilage des différentes valeurs (W2i) et (b2i) calculées.
3. Dispositif d'initialisation d'un réseau de neurones selon l'une des revendications 1 à 2, caractérisé en ce qu'il comprend de plus un module (I3) de calcul du nombre minimum d'unités cachées nécessaire à l'émulation, par le réseau neuronal, des zones (Z) fournies en option, et un élément (9) qui calcule le maximum entre le nombre d'unités cachées délivré par le module (I2) et celui délivré par le module (I3) , et l'envoie sur le module (I4) de calcul des paramètres du réseau de neurones, qui prend alors en compte les zones (Z) fournies par l'utilisateur ou en les construisant statistiquement.
4. Procédé d'initialisation d'un réseau de neurones selon la revendication 1, caractérisé en ce que le module (I}) de la boîte (1) d'initialisation estime la non linéarité de la fonction par régressions linéaires par morceaux.
5. Procédé d'initialisation d'un réseau de neurones destiné à émuler une fonction non linéaire, réalisé par un dispositif d'initialisation selon l'une des revendications 1 à 4, recevant en entrée les données disponibles sur la fonction, soit un échantillon d'entrées et un échantillon de sorties, caractérisé en ce qu'il effectue les étapes suivantes : la sélection automatique du nombre de zones linéaires nécessaires, compte-tenu des informations disponibles sur la fonction non-linéaire, pour approximer linéairement ladite fonction par le module (Iχ) d'estimation et le module (I2) de détermination ; le calcul automatique des caractéristiques des formes linéaires sur chaque zone de la fonction, soit leur pente, et la conception automatisée du réseau de neurones qui associe à chaque zone de la fonction la forme linéaire correspondante par le module (I4) de conception ; le calcul des valeurs initiales des paramètres du réseau neuronal, soit les poids et les biais de la couche de neurones cachés et de la couche de neurones de sortie par le module (I5) de calcul.
EP00910976A 1999-03-26 2000-03-17 Procede d'initialisation d'un reseau de neurones Withdrawn EP1166227A1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR9903830 1999-03-26
FR9903830A FR2791446B1 (fr) 1999-03-26 1999-03-26 Procede d'initialisation d'un reseau de neurones
PCT/FR2000/000653 WO2000058909A1 (fr) 1999-03-26 2000-03-17 Procede d'initialisation d'un reseau de neurones

Publications (1)

Publication Number Publication Date
EP1166227A1 true EP1166227A1 (fr) 2002-01-02

Family

ID=9543703

Family Applications (1)

Application Number Title Priority Date Filing Date
EP00910976A Withdrawn EP1166227A1 (fr) 1999-03-26 2000-03-17 Procede d'initialisation d'un reseau de neurones

Country Status (3)

Country Link
EP (1) EP1166227A1 (fr)
FR (1) FR2791446B1 (fr)
WO (1) WO2000058909A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112446098B (zh) * 2020-12-03 2023-08-25 武汉第二船舶设计研究所(中国船舶重工集团公司第七一九研究所) 海洋装备中推进器的极限性能模拟方法
CN117708592B (zh) * 2023-12-12 2024-05-07 清新文化艺术有限公司 基于文化创意的艺术科技融合数字平台

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274660A (ja) * 1993-03-18 1994-09-30 Hitachi Ltd 認識又は診断方法
US5596681A (en) * 1993-10-22 1997-01-21 Nippondenso Co., Ltd. Method of determining an optimal number of neurons contained in hidden layers of a neural network
DE19509186A1 (de) * 1995-03-14 1996-09-19 Siemens Ag Einrichtung zum Entwurf eines neuronalen Netzes sowie neuronales Netz

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO0058909A1 *

Also Published As

Publication number Publication date
FR2791446B1 (fr) 2001-09-21
WO2000058909A1 (fr) 2000-10-05
FR2791446A1 (fr) 2000-09-29

Similar Documents

Publication Publication Date Title
EP0546624B1 (fr) Système de traitement de données opérant avec une fonction non linéaire formée de morceaux
EP3877912B1 (fr) Procédé de construction de réseau de neurones
EP0521548B1 (fr) Procédé et dispositif avec un réseau neuronal pour classer des données
EP1470501B1 (fr) Procedes et systemes de recherche et d&#39;association de ressources d&#39;information telles que des pages web
Orwant Doppelgänger goes to school: Machine learning for user modeling
EP0322966A1 (fr) Circuit et structure de réseau de neurones
EP0372613B1 (fr) Procédé de rétropropagation d&#39;erreurs et structure de réseau de neurones
EP3953662B1 (fr) Procede de definition d&#39;un chemin
EP3736744A1 (fr) Procédé de classification sécurisée d&#39;une donnée d&#39;entrée au moyen d&#39;un réseau de neurones à convolution
EP0514986B1 (fr) Procédé d&#39;apprentissage d&#39;un réseau de neurones et dispositif de classification pour la mise en oeuvre de ce procédé
CN113362852B (zh) 一种用户属性识别方法和装置
EP0875032B1 (fr) Procede d&#39;apprentissage generant des reseaux de neurones de petites tailles pour la classification de donnees
EP4162409A1 (fr) Procédé de génération d&#39;un système d&#39;aide à la décision et systèmes associés
EP3633548B1 (fr) Procédé de classification sécurisée d&#39;une donnée d&#39;entrée au moyen d&#39;un réseau de neurones à convolution
FR3057378A1 (fr) Systeme de detection de fraude dans un flux de donnees
WO2000058909A1 (fr) Procede d&#39;initialisation d&#39;un reseau de neurones
EP0401927A1 (fr) Méthode d&#39;apprentissage, réseau de neurones et ordinateur pour simuler ledit réseau de neurones
EP3805947A1 (fr) Procédé de gestion d&#39;une base de données partagée par un groupe d&#39;applications, produit programme d&#39;ordinateur et système embarqué associés
US11675582B2 (en) Neural networks to identify source code
US11830064B2 (en) Method and system for credit risk identification
EP3955167A1 (fr) Architecture de calcul reconfigurable pour la mise en oeuvre de réseaux de neurones artificiels
EP0401926B1 (fr) Procédé de traitement, stucture de réseau de neurones mettant en oeuvre le procédé et ordinateur pour simuler ladite structure de réseau de neurones
US11971900B2 (en) Rule-based data transformation using edge computing architecture
EP0681246A1 (fr) Procédé et dispositif d&#39;extraction d&#39;un sous-ensemble d&#39;objets optimisant une mesure, en utilisant un réseau de neurones
EP0432008A1 (fr) Réseau neuronal électronique et procédé d&#39;apprentissage

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20010924

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

RTI1 Title (correction)

Free format text: METHOD AND APPARATUS FOR INITIALIZING A NEURAL NETWORK

17Q First examination report despatched

Effective date: 20020419

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: RENAULT S.A.S.

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN WITHDRAWN

18W Application withdrawn

Withdrawal date: 20021023