FR2865562A1 - Input variable`s significance measuring method for automatic learning model, involves determining average of random value from difference between obtained output of vector of considered input variables and interrupted input vector - Google Patents

Input variable`s significance measuring method for automatic learning model, involves determining average of random value from difference between obtained output of vector of considered input variables and interrupted input vector Download PDF

Info

Publication number
FR2865562A1
FR2865562A1 FR0400736A FR0400736A FR2865562A1 FR 2865562 A1 FR2865562 A1 FR 2865562A1 FR 0400736 A FR0400736 A FR 0400736A FR 0400736 A FR0400736 A FR 0400736A FR 2865562 A1 FR2865562 A1 FR 2865562A1
Authority
FR
France
Prior art keywords
input
vector
variable
variables
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
FR0400736A
Other languages
French (fr)
Inventor
Vincent Lemaire
Fabrice Clerot
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Priority to FR0400736A priority Critical patent/FR2865562A1/en
Priority to PCT/FR2005/000177 priority patent/WO2005083628A2/en
Publication of FR2865562A1 publication Critical patent/FR2865562A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Complex Calculations (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

The method involves determining an average of a random value from a difference between an obtained output of a vector of considered input variables and an obtained output of interrupted input vector. The average of the random value is calculated on a set of probability distribution of the input vectors and on the set of probability distribution of the values of the input variable. An independent claim is also included for a device for measuring significance of an input variable by operation of an automatic leaning model.

Description

L'invention concerne le domaine de l'apprentissage automatique etThe invention relates to the field of machine learning and

notamment un procédé permettant de mesurer l'importance de variables ayant servi à l'élaboration d'un modèle prédictif de classification ou de régression.  in particular, a method for measuring the importance of variables used in the development of a predictive model of classification or regression.

L'invention concerne donc, outre l'apprentissage automatique au sens strict, également la sélection de variables, l'exploitation de données et l'aide à la décision.  The invention thus relates, in addition to automatic learning in the strict sense, also the selection of variables, the exploitation of data and decision support.

Le domaine de l'apprentissage automatique regorge aujourd'hui de techniques capables de résoudre efficacement des problèmes de régression et/ou de classification.  The field of machine learning today is full of techniques that can effectively solve regression and / or classification problems.

Généralement ces techniques emploient la totalité des variables disponibles pour construire le modèle et sont incapables d'indiquer à posteriori quelles sont les variables qui ont effectivement contribué à la performance du modèle, ce qui résulte en des modèles à la fois surdimensionnés donc lents et ne permettant aucune interprétation des résultats.  In general, these techniques use all the variables available to build the model and are unable to indicate a posteriori which variables have actually contributed to the performance of the model, which results in models that are both oversized and therefore slow and no interpretation of the results.

Le problème de la sélection de variables est devenu le centre de beaucoup de recherches dans les secteurs applicatifs pour lesquels les bases de données disponibles comportent des dizaines voir des centaines de milliers de variables.  The problem of variable selection has become the focus of much research in application areas for which the available databases have tens or even hundreds of thousands of variables.

Ces secteurs incluent le traitement des données textuelles, des documents d'Internet, l'expression des gènes, la clasificatin de la fraude, 25 etc. L'objectif du choix des variables est triple: améliorer la performance des prédicteurs, fournir des prédicteurs plus rapides et plus rentables et permettre une meilleure compréhension du processus sous-jacent qui a produit les données.  These sectors include the processing of textual data, Internet documents, gene expression, the classification of fraud, etc. The purpose of variable selection is threefold: to improve predictor performance, provide faster and more cost-effective predictors, and to provide a better understanding of the underlying process that produced the data.

Parmi les techniques dédiées au choix des Variables, nous trouvons les méthodes qui sélectionnent les variables en les classant selon des coefficients de corrélation ( filtrer ) et les méthodes consistant à choisir un sous-ensemble optimal de variables ( wrapper ). Celles-ci incluent les méthodes qui évaluent les sous-ensembles de variables selon leur utilité à un modèle donné.  Among the techniques dedicated to the choice of variables, we find the methods that select the variables by classifying them according to correlation coefficients (filtering) and the methods of choosing an optimal subset of variables (wrapper). These include methods that evaluate subsets of variables according to their utility to a given model.

Les méthodes wrapper utilisent le modèle élaboré comme une boîte noire pour ordonner les sous-ensembles de variables selon leur utilité 5 à la tache de modélisation.  The wrapper methods use the elaborate model as a black box to order the subsets of variables according to their utility at the modeling task.

En pratique, on a besoin de définir: (i) comment rechercher dans l'espace possible des sous-ensembles de variables, (ii) comment évaluer la performance en termes de prédiction d'une machine à apprendre pour guider la recherche et interrompre la recherche, et (iii) quel prédicteur utiliser.  In practice, we need to define: (i) how to find subsets of variables in the possible space, (ii) how to evaluate the prediction performance of a learning machine to guide the search and to interrupt the research, and (iii) which predictor to use.

On considérera notamment les enseignements suivants: [1] Article: A methodology to explain neural network classification - Neural Networks 15 (2002) 237-246 [2] Article: "Explaining Results of Neural Networks by Conceptual 15 Importance and Utility" Proceedings of the AISV'96 conference, 1-2 April 1996. Brighton UK, 1996.  In particular, the following lessons will be considered: [1] Article: A Neural Network Classification - Neural Networks 15 (2002) 237-246 [2] Article: "Explaining Results of Neural Networks by Conceptual 15 Importance and Utility" Proceedings of the AISV'96 conference, 1-2 April 1996. Brighton UK, 1996.

Les principaux écueils des méthodes antérieures sont l'absence de prise en compte de la distribution de probabilité des variables dont on cherche l'importance et la non-applicabilité à la régression.  The main pitfalls of the previous methods are the absence of taking into account the probability distribution of the variables whose importance is sought and the non-applicability to the regression.

Le procédé proposé en [2] est insatisfaisant car il fait la supposition d'une variation strictement monotone croissante à la sortie d'un modèle lorsqu'on fait varier une variable de façon strictement monotone croissante.  The method proposed in [2] is unsatisfactory because it makes the assumption of a strictly monotonic variation increasing at the exit of a model when one varies a variable in a strictly monotonous increasing way.

Le procédé proposé dans le document [1], quant à lui, ne permet pas de résoudre les problèmes inhérents aux méthodes existantes alors, en prenant compte la distribution de probabilité des variables dont on cherche l'importance. De plus, il n'est pas applicable aux problèmes de régression.  The method proposed in the document [1], meanwhile, does not solve the problems inherent in existing methods then, taking into account the probability distribution of the variables whose importance is sought. Moreover, it is not applicable to regression problems.

Les auteurs de [1] proposent de mesurer l'importance des variables utilisées au cours de la phase de modélisation selon les termes suivants, nous les citons: Pour tenir compte des valeurs possibles de la variable d'entrée, nous utiisons:: S(xi f)--- f f, P(x;)P(a x;)(f (x; + a) f où P(a x;) est une antériorité sur les valeurs possibles de x; : x; qui peut être discrète, positive, liée, etc. La connaissance nécessaire pour definir l'antériorité dépend seulement du type de la variable d'entrée. Par exemple, pour une variable binaire, l'antériorité peut être: P(x;+a=l) = % et P(x;+a=0 = %) et 0 ailleurs".  The authors of [1] propose to measure the importance of the variables used during the modeling phase according to the following terms, we quote them: To take into account the possible values of the input variable, we use :: S ( xi f) --- ff, P (x;) P (ax;) (f (x; + a) f where P (ax;) is anterior to the possible values of x;: x; which can be discrete , positive, linked, etc. The knowledge necessary to define the anteriority depends only on the type of the input variable.For example, for a binary variable, the anteriority can be: P (x; + a = l) = % and P (x; + a = 0 =%) and 0 elsewhere ".

Or l'utilisation d'un prior ne permet pas de prendre en compte le vrai intervalle de variation d'une variable. On vise, par la présente invention, une mesure plus efficace de l'importance des variables ayant servi à l'élaboration d'une modélisation (classification ou régression).  But the use of a prior does not allow to take into account the true range of variation of a variable. The present invention aims to provide a more efficient measure of the importance of the variables used in the development of modeling (classification or regression).

L'invention vise ainsi à permettre d'exploiter des classifieurs/régresseurs, en menant une analyse à posteriori de l'importance des variables, et en mettant ensuite en oeuvre des classifieurs/régresseurs utilisant peu de variables mais ayant des performances similaires (voire meilleures) à ceux utilisant toutes les variables.  The invention thus aims to make it possible to exploit classifiers / regressors by conducting a posteriori analysis of the importance of the variables, and then implementing classifiers / regressors using few variables but having similar (or even better) performances. ) to those using all the variables.

En d'autres termes, en mesurant l'importance des variables, il est possible d'éliminer les variables ne participant pas (ou très peu) à l'élaboration du résultat (régression ou classification).  In other words, by measuring the importance of the variables, it is possible to eliminate the variables that do not participate (or very little) in the development of the result (regression or classification).

Les modèles que l'invention permet d'obtenir sont plus économes en 20 mémoire et en temps de calcul, ainsi que plus rapide.  The models that the invention provides are more economical in memory and computation time, as well as faster.

Le fait de connaître les variables importantes permet aussi de réduire la taille des bases de données.  Knowing important variables can also reduce the size of databases.

Cette efficacité est atteinte selon l'invention grâce à un procédé de mesure de l'importance d'une variable d'entrée sur le fonctionnement d'un modèle à apprentissage automatique; apte à élaborer des données de sortie à partir de données d'entrée par un traitement que ledit modèle est prévu pour apprendre lui-même, ledit procédé étant caractérisé en ce qu'il fait appel à l'élaboration d'une moyenne d'une valeur aléatoire, cette valeur aléatoire étant une différence entre d'une part une sortie obtenue pour un vecteur de variables d'entrée considéré et d'autre part une sortie obtenue pour un vecteur d'entrée perturbé, ce vecteur d'entrée perturbé étant défini comme étant ledit vecteur d'entrée considéré dans lequel la valeur de ladite variable d'entrée dont on souhaite mesurer l'importance est une valeur perturbée, la moyenne étant en outre calculée en appliquant à chaque dite valeur aléatoire considérée, à la fois la probabilité d'apparition du vecteur d'entrée considéré ainsi que la probabilité d'apparition de la valeur perturbée de la variable, la moyenne de la valeur aléatoire étant effectuée sur l'ensemble d'une distribution de probabilités des vecteurs d'entrée et sur l'ensemble d'une distribution de probabilités des valeurs de la variable d'entrée.  This efficiency is achieved according to the invention by a method of measuring the importance of an input variable on the operation of an automatic learning model; capable of producing output data from input data by a processing that said model is intended to teach itself, said method being characterized by using an average of one random value, this random value being a difference between, on the one hand, an output obtained for a vector of input variables considered and, on the other hand, an output obtained for a disturbed input vector, this perturbed input vector being defined as being said input vector considered in which the value of said input variable whose importance is to be measured is a disturbed value, the average being further calculated by applying to each said random value considered, both the probability of occurrence of the input vector considered as well as the probability of occurrence of the disturbed value of the variable, the average of the random value being carried out on the set of a probability distribution of the input vectors and over a set of probabilities of the values of the input variable.

D'autres caractéristiques, buts et avantages de l'invention 10 apparaîtront à la lecture de la description détaillée qui va suivre, faite en référence aux figures annexées sur lesquelles: - la figure 1 est un schéma fonctionnel illustratif du procédé selon l'invention; - la figure 2 est un organigramme illustratif d'un procédé de sélection 15 de variables mettant en oeuvre l'invention; - la figure 3 est un tracé représentant une erreur mesurée en relation avec le nombre de variables mises en oeuvre après sélection par le procédé de la figure 2.  Other characteristics, objects and advantages of the invention will appear on reading the detailed description which follows, with reference to the appended figures in which: FIG. 1 is an illustrative functional diagram of the method according to the invention; FIG. 2 is an illustrative flowchart of a variable selection method embodying the invention; FIG. 3 is a plot representing an error measured in relation to the number of variables implemented after selection by the method of FIG. 2.

Le procédé ci-après décrit permet de résoudre les problèmes inhérents aux méthodes existantes en prenant en compte la distribution de probabilité des variables dont on cherche l'importance et en étant applicable, de plus, aux problèmes de régression.  The method described below makes it possible to solve the problems inherent in existing methods by taking into account the probability distribution of the variables whose importance is sought and being applicable, moreover, to the regression problems.

Il permet d'ordonner les sous-ensembles de variables selon leur utilité à la tâche de modélisation en mesurant l'importance des variables ayant servi à l'élaboration d'un modèle prédictif de classification ou de régression.  It makes it possible to order the subsets of variables according to their utility to the modeling task by measuring the importance of the variables used in the development of a predictive model of classification or regression.

Pour cela, on met ici en oeuvre le fait que l'importance d'une variable s'avère être à la fois fonction de la distribution de probabilité des exemples (vecteur de variables d'entrées effectivement apparus, I; sur la figure 1) et à la fois fonction de la distribution de probabilité de la variable en question (Vi sur la figure 1).  For this purpose, it is implemented here that the importance of a variable proves to be both a function of the probability distribution of the examples (vector of input variables actually appeared, I, in FIG. and both a function of the probability distribution of the variable in question (Vi in Figure 1).

On définit l'importance d'une variable comme étant la moyenne des variations mesurées en sortie du modèle lorsqu'on perturbe les exemples effectivement apparus en fonction de la distribution de probabilité de cette variable Vi.  The importance of a variable is defined as the average of the variations measured at the output of the model when the actual examples that occur are disturbed as a function of the probability distribution of this variable Vi.

La sortie perturbée du modèle symbolisé par une fonction f, est définie pour un exemple I; comme étant la sortie du modèle pour cet exemple I; mais en ayant échangé la composante j de cet exemple par l'une des valeurs, Vk, de la variable Vj. Cette étape d'élaboration d'une entrée perturbée est illustrée à la figure 1 sous la référence 10.  The disturbed output of the model symbolized by a function f, is defined for an example I; as the output of the model for this example I; but having exchanged the component j of this example by one of the values, Vk, of the variable Vj. This step of producing a disturbed input is illustrated in FIG. 1 under the reference 10.

La variation mesurée, pour l'exemple fi est donc la différence entre la vraie sortie du modèle f(I;, Iii) pour l'exemple I; et la sortie perturbée du modèle, notée alors f(l;, Ikj) où Ikj est l'exemple (vecteur d'entrée perturbée). Cette différence est effectuée à l'étape 20 sur la figure 1, symbolisée par un soustracteur.  The variation measured for example fi is therefore the difference between the true output of the model f (I, Iii) for Example I; and the disturbed output of the model, then denoted f (l; Ikj) where Ikj is the example (disturbed input vector). This difference is made in step 20 in Figure 1, symbolized by a subtractor.

L'importance de la variable Vj est ensuite considérée comme étant la moyenne des différences données par f(Ij,Iij) f(Ii,Iki)I, où la moyenne est calculée sur la distribution de probabilité des exemples et sur la distribution de probabilité de la variable V. Cette moyenne est calculée à l'étape 30 sur la figure 1, ici symbolisé par un additionneur.  The importance of the variable Vj is then considered to be the average of the differences given by f (Ij, Iij) f (Ii, Iki) I, where the mean is calculated on the probability distribution of the examples and on the probability distribution of the variable V. This average is calculated in step 30 in Figure 1, here symbolized by an adder.

On décrira maintenant une telle approche en termes mathématiques. Les équations ci-après spécifiées font pour cela appel aux 20 paramètres suivants: - j est la variable dont on cherche l'importance; - Mi est une réalisation de la variable j; - I est un vecteur de dimension n, c'est à dire un exemple ayant servi à la construction du modèle; lmestunvecteurm; - im est la composante I du vecteur m - f est le modèle réalisé.  Such an approach will now be described in mathematical terms. The equations hereinafter specified make use of the following 20 parameters: - j is the variable whose importance is sought; - Mi is an achievement of the variable j; I is a vector of dimension n, that is to say an example used in the construction of the model; lmestunvecteurm; - im is the component I of the vector m - f is the realized model.

- Pv (u) est la distribution de probabilité de la variable Vj - P1(v) est la distribution de probabilité des vecteurs L 30 On pose en outre fj(a;b) = f;(a1, ..., an; b) = b, aj+i, ... an) ; ap étant la P1ème composante du vecteur a.  - Pv (u) is the probability distribution of the variable Vj - P1 (v) is the probability distribution of the vectors L We further pose fj (a; b) = f; (a1, ..., an; b) = b, aj + i, ... an); ap being the Pth component of vector a.

On définit ici l'importance de la variable Vi pour le modèle f comme étant: S(VJ If) = J f Pv_ (u)duP1 (I; ; Ikj) fi (I; ; )I Dans un mode de réalisation préférentiel car de mise en oeuvre particulièrement aisée, la façon de mesurer cette espérance S(Vj I f) est la suivante: on réalise simultanément des tirages de I et de Vi qui permettent d'observer des réalisations de am= I f(l, IO I. Dans ce cas, on applique des lois de distribution de probabilité sur le vecteur et la variable en réalisant simplement des tirages mettant en oeuvre directement cette probabilité.  We define here the importance of the variable Vi for the model f as being: S (VJ If) = J f Pv_ (u) of P1 (I;; Ikj) fi (I;; I) In a preferred embodiment because The method of measuring this expectation S (Vj I f) is particularly easy to implement: prints of I and Vi are simultaneously produced which make it possible to observe the embodiments of am = I f (I, IO I In this case, we apply probability distribution laws on the vector and the variable by simply producing prints directly implementing this probability.

La mesure de l'espérance de am est alors réalisé par filtrage. On utilise pour cela, par exemple, un filtre de Kalman jusqu'à convergence.  The measurement of the expectation of am is then carried out by filtering. For this purpose, for example, a Kalman filter is used up to convergence.

Un autre exemple de mise en oeuvre de la mesure de cette espérance est la suivante.  Another example of implementation of the measurement of this expectancy is as follows.

Si on approxime la distribution des exemples à l'aide de la base de données disponible (comportant M exemples) et qui a servi à construire le modèle. On peut réécrire S(VV 1 f) sous la forme: S(VVIf) =JPI(v)dv JPvj(u)duG fi(I;;Iki) (I;;)I j S(VV f) =M E(E{ If,(I;;Ik,) fi(I;}) Si on approxime la distribution de probabilités P,. (u) de la variable j à l'aide d'une statistique d'ordres (par exemple les centiles, P=100) on a alors: S(VVIf) 1 1 @f.(I;;Ik.) f.(I;;I; MP M P L'illustration de la figure 1, qui symbolise l'opération de calcul de la moyenne, sous la forme d'un additionneur 30, prend alors sa signification littérale.  If we approximate the distribution of the examples using the available database (including M examples) and which was used to build the model. We can rewrite S (VV 1 f) in the form: S (VVIf) = JPI (v) dv JPvj (u) duG fi (I ;; Iki) (I ;;) I j S (VV f) = ME ( E {If, (I ;; Ik,) fi (I;}) If we approximate the distribution of probabilities P, (u) of the variable j by means of an order statistic (for example the percentiles , P = 100) then: S (VVIf) 1 1 @f. (I ;; Ik.) F. (I;; I; MP MP The illustration of Figure 1, which symbolizes the calculation operation of the average, in the form of an adder 30, then takes on its literal meaning.

On reportera maintenant l'évaluation d'une telle mesure de l'importance des variables dans le cas où le modèle est élaboré, et mis en oeuvre, par un réseau de neurones de type perceptron à une couche cachée.  We will now postpone the evaluation of such a measure of the importance of the variables in the case where the model is developed, and implemented, by a network of perceptron neurons with a hidden layer.

Ce procédé y a été appliqué à la sélection de variables par une élimination de moindre importance , la mesure d'importance étant refaite 10 après chaque élimination de variable et réapprentissage.  This method was applied to the selection of variables by a less significant elimination, the importance measure being repeated after each variable elimination and relearning.

L'algorithme de backward-elimination est illustré par l'organigramme de la figure 2.  The backward-elimination algorithm is illustrated by the flowchart of Figure 2.

Le procédé de mesure de l'importance de variable y intervient dans la phase grisée.  The method of measuring the importance of variable is involved in the gray phase.

Sur cet organigramme, on réalise de manière itérative les étapes suivantes: a) mesure de l'importance de chaque variable d'entrée mise en oeuvre à l'itération précédente (étape 100 sur la figure 2) ; b) élimination d'une ou plusieurs valeurs d'entrée de moindre 20 importance (étape 200 sur la figure 2) ; c) mis en oeuvre d'un réapprentissage du modèle en fonction des variables restantes (étape 300 sur la figure 2).  In this flow chart, it is carried out iteratively the following steps: a) measuring the importance of each input variable implemented at the previous iteration (step 100 in Figure 2); b) removing one or more minor input values (step 200 in Fig. 2); c) implemented a relearning of the model according to the remaining variables (step 300 in Figure 2).

En outre, ces étapes sont répétées jusqu'à ce que l'ensemble des variables soit éliminé, et, pour chaque itération, on réalise une mesure de l'erreur des résultats obtenus par le module à nombre de variable réduit par rapport à des résultats considérés comme idéaux. L'arrêt de ces itérations est défini, au final, par le fait qu'il n'existe plus aucune variable en entrée.  In addition, these steps are repeated until the set of variables is eliminated, and, for each iteration, a measurement of the error of the results obtained by the reduced variable number module is performed with respect to the results. considered ideal. The stop of these iterations is defined, in the end, by the fact that there is no longer any input variable.

On obtient enfin un tracé de l'erreur constatée en fonction du nombre de variables mis en oeuvre, ce nombre de variables s'étalant du nombre maximal de variables disponibles (ici 280) jusqu'à un nombre de variables réduit à 0.  Finally, we obtain a plot of the error observed as a function of the number of variables implemented, this number of variables ranging from the maximum number of variables available (here 280) to a number of variables reduced to 0.

Ce tracé présentant l'influence du nombre de variables conservées est présenté à la figure 3. On voit alors apparaître, sur ce cas réel qu'il ne sert à rien d'utiliser toutes les variables disponibles. En effet, il est possible d'obtenir le même niveau d'erreur en utilisant seulement 55 variables (aux points A et A' du tracé) plutôt qu'en utilisant les variables de départ (aux points B et B' du tracé).  This plot showing the influence of the number of variables kept is shown in Figure 3. It appears then, on this real case that it is useless to use all available variables. Indeed, it is possible to obtain the same level of error by using only 55 variables (at points A and A 'of the plot) rather than using the starting variables (at points B and B' of the plot).

On obtient même une erreur inférieure à celle de départ pour un nombre de variables égal à 120 (points C et C' du tracé).  One even gets a lower error than the one of departure for a number of variables equal to 120 (points C and C 'of the plot).

Claims (9)

REVENDICATIONS 1. Procédé de mesure de l'importance d'une variable d'entrée sur le fonctionnement d'un modèle à apprentissage automatique, apte à élaborer des données de sortie à partir de données d'entrée par un traitement que ledit modèle est prévu pour apprendre lui-même, ledit procédé étant caractérisé en ce qu'il fait appel à l'élaboration d'une moyenne d'une valeur aléatoire (30), cette valeur aléatoire étant une différence (20) entre d'une part une sortie obtenue pour un vecteur de variables d'entrée considéré et d'autre part une sortie obtenue pour un vecteur d'entrée perturbé (10), ce vecteur d'entrée perturbé étant défini comme étant ledit vecteur d'entrée considéré dans lequel la valeur de ladite variable d'entrée dont on souhaite mesurer l'importance est une valeur perturbée, la moyenne étant en outre calculée en appliquant à chaque dite valeur aléatoire considérée, à la fois la probabilité d'apparition du vecteur d'entrée considéré ainsi que la probabilité d'apparition de la valeur perturbée de la variable, la moyenne de la valeur aléatoire étant effectuée sur l'ensemble d'une distribution de probabilités des vecteurs d'entrée et sur l'ensemble d'une distribution de probabilités des valeurs de la variable d'entrée.  A method of measuring the importance of an input variable on the operation of a self-learning model, able to develop output data from input data by a processing that said model is intended to to learn itself, said method being characterized in that it uses the development of an average of a random value (30), this random value being a difference (20) between on the one hand an output obtained for a vector of input variables considered and secondly an output obtained for a disturbed input vector (10), this perturbed input vector being defined as being said input vector in which the value of said input vector input variable whose importance is to be measured is a disturbed value, the average being further calculated by applying to each said random value considered, both the probability of occurrence of the input vector considered as well as that the probability of occurrence of the disturbed value of the variable, the average of the random value being performed on the whole of a distribution of probabilities of the input vectors and on the whole of a distribution of probabilities of the values of the input variable. 2. Procédé de mesure selon la revendication 1, caractérisé en ce que l'importance de la variable d'entrée est donnée par l'expression: S(VV If) = $ Pv, (u)duPI (v)dl fi (I; ; IkJ) fi (Ti; I;) IJ où f est une fonction représentant le modèle, Vj est la variable dont on souhaite mesurer l'importance, Pv (u) est la distribution de probabilité de la variable Vb Ii est un vecteur d'entrée du modèle, PI(v)est la distribution de probabilité des vecteurs I, Ik1 est le vecteur perturbé.  2. Measurement method according to claim 1, characterized in that the importance of the input variable is given by the expression: S (VV If) = $ Pv, (u) duPI (v) dl fi (I) Where f is a function representing the model, Vj is the variable whose magnitude is to be measured, Pv (u) is the probability distribution of the variable Vb Ii is a vector model input, PI (v) is the probability distribution of I vectors, Ik1 is the disturbed vector. 3. Procédé de mesure selon la revendication 1 ou la revendication 2, caractérisé en ce que lesdites probabilités sont appliquées en calculant la moyenne sur des tirages, pour chaque différence, des vecteurs d'entrée et/ou de la variable d'entrée utilisée pour perturber le vecteur d'entrée.  3. Measuring method according to claim 1 or claim 2, characterized in that said probabilities are applied by calculating the average on draws, for each difference, of the input vectors and / or of the input variable used for disrupt the input vector. 4. Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le modèle est mis en oeuvre par un réseau de neurones.  4. Method according to any one of the preceding claims, characterized in that the model is implemented by a neural network. 5. Procédé selon la revendication 4, caractérisé en ce que le réseau de neurones est un réseau de type perceptron à une couche cachée.  5. Method according to claim 4, characterized in that the neural network is a perceptron type network with a hidden layer. 6. Procédé de sélection de variables mises en oeuvre dans un modèle à apprentissage automatique, apte à élaborer des données de sortie à partir de données d'entrée par un traitement que ledit modèle est prévu pour apprendre lui-même, ledit procédé de sélection incluant le procédé de mesure selon la revendication 1, le procédé de sélection étant caractérisé en ce qu'il consiste à mettre en oeuvre, de manière répétitive la série d'étapes suivantes: a) mesure de l'importance des variables d'entrée mises en oeuvre à l'itération précédente, par la mise en oeuvre dudit procédé de mesure (100); b) élimination d'une ou plusieurs variables d'entrée de moindre importance (200) ; c) mise en oeuvre d'un réapprentissage du modèle en fonction des variables restantes (300).  6. A method for selecting variables implemented in an automatic learning model, able to produce output data from input data by a processing that said model is intended to learn itself, said selection method including the measuring method according to claim 1, the selection method being characterized in that it consists in repeatedly implementing the following series of steps: a) measuring the importance of the input variables implemented; performed at the previous iteration, by the implementation of said measuring method (100); b) eliminating one or more minor input variables (200); c) implementing a relearning of the model according to the remaining variables (300). 7. Procédé de sélection de variables selon la revendication 6, caractérisé en ce qu'il comprend en outre l'étape consistant à effectuer une évaluation de niveau d'erreur du modèle obtenu à chaque itération, et à comparer les niveaux d'erreurs (A, A', B, B', C, C'), pour ces différents modèles obtenus à chaque itération.  A method of selecting variables according to claim 6, characterized in that it further comprises the step of performing an error level evaluation of the model obtained at each iteration, and comparing the error levels ( A, A ', B, B', C, C '), for these different models obtained at each iteration. 8. Dispositif de mesure de l'importance d'une variable d'entrée sur le fonctionnement d'un modèle à apprentissage automatique apte à élaborer des données de sortie à partir de données d'entrée par un traitement que ledit modèle est prévu pour apprendre lui-même, ledit dispositif étant essentiellement constitué d'une mémoire et d'un processeur ainsi que d'un ensemble de moyens de commande de ce processeur et de cette mémoire, ledit dispositif de mesure étant caractérisé en ce qu'il comprend des moyens d'élaboration d'une moyenne d'une valeur aléatoire (30), cette valeur aléatoire étant une différence (20) entre d'une part une sortie obtenue pour un vecteur de variables d'entrée considéré et d'autre part une sortie obtenue pour un vecteur d'entrée perturbé (10), ce vecteur d'entrée perturbé étant défini comme étant ledit vecteur d'entrée considéré dans lequel la valeur de ladite variable d'entrée dont on souhaite mesurer l'importance est une valeur perturbée, ledit dispositif de mesure comprenant des moyens prévus pour calculer la moyenne en appliquant à chaque dite valeur aléatoire considérée, à la fois la probabilité d'apparition du vecteur d'entrée considéré ainsi que la probabilité d'apparition de la valeur perturbée de la variable, la moyenne de la valeur aléatoire étant effectuée sur l'ensemble d'une distribution de probabilités des vecteurs d'entrée et sur l'ensemble d'une distribution de probabilités des valeurs de la variable d'entrée.  8. A device for measuring the importance of an input variable on the operation of a self-learning model able to produce output data from input data by a processing that said model is intended to learn itself, said device essentially consisting of a memory and a processor as well as a set of control means of this processor and of this memory, said measuring device being characterized in that it comprises means for generating an average of a random value (30), this random value being a difference (20) between, on the one hand, an output obtained for a vector of input variables considered and, on the other hand, an output obtained for a disturbed input vector (10), this perturbed input vector being defined as being said considered input vector in which the value of said input variable whose importance is to be measured is a value p said turbot, said measuring device comprising means for calculating the average by applying to each said random value considered, both the probability of occurrence of the input vector considered as well as the probability of occurrence of the disturbed value of the variable, the average of the random value being performed on the set of a probability distribution of the input vectors and on the set of a probability distribution of the values of the input variable. 9. Dispositif selon la revendication 8, caractérisé en ce qu'il inclut également un moyen associé mettant en oeuvre ledit modèle, ce moyen associé étant constitué par un réseau de neurones.  9. Device according to claim 8, characterized in that it also includes an associated means implementing said model, the associated means being constituted by a neural network.
FR0400736A 2004-01-27 2004-01-27 Input variable`s significance measuring method for automatic learning model, involves determining average of random value from difference between obtained output of vector of considered input variables and interrupted input vector Pending FR2865562A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
FR0400736A FR2865562A1 (en) 2004-01-27 2004-01-27 Input variable`s significance measuring method for automatic learning model, involves determining average of random value from difference between obtained output of vector of considered input variables and interrupted input vector
PCT/FR2005/000177 WO2005083628A2 (en) 2004-01-27 2005-01-27 Measurement of magnitude of variables used for producing a modelling

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0400736A FR2865562A1 (en) 2004-01-27 2004-01-27 Input variable`s significance measuring method for automatic learning model, involves determining average of random value from difference between obtained output of vector of considered input variables and interrupted input vector

Publications (1)

Publication Number Publication Date
FR2865562A1 true FR2865562A1 (en) 2005-07-29

Family

ID=34717434

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0400736A Pending FR2865562A1 (en) 2004-01-27 2004-01-27 Input variable`s significance measuring method for automatic learning model, involves determining average of random value from difference between obtained output of vector of considered input variables and interrupted input vector

Country Status (2)

Country Link
FR (1) FR2865562A1 (en)
WO (1) WO2005083628A2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1715449A2 (en) * 2005-04-19 2006-10-25 Bernard Hendrickx Procedure for constructing electronic means of modelling global behaviour

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150450A (en) * 1990-10-01 1992-09-22 The United States Of America As Represented By The Secretary Of The Navy Method and circuits for neuron perturbation in artificial neural network memory modification
WO1997042581A1 (en) * 1996-05-08 1997-11-13 Fisher-Rosemount Systems, Inc. System and method for automatically determining a set of variables for use in creating a process model
DE19721067C1 (en) * 1997-05-20 1998-09-17 Siemens Nixdorf Advanced Techn Stochastic estimator
FR2765705A1 (en) * 1997-07-02 1999-01-08 Inf Cdc METHOD FOR CONSTRUCTING A NEURON NETWORK FOR MODELING A PHENOMENON

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150450A (en) * 1990-10-01 1992-09-22 The United States Of America As Represented By The Secretary Of The Navy Method and circuits for neuron perturbation in artificial neural network memory modification
WO1997042581A1 (en) * 1996-05-08 1997-11-13 Fisher-Rosemount Systems, Inc. System and method for automatically determining a set of variables for use in creating a process model
DE19721067C1 (en) * 1997-05-20 1998-09-17 Siemens Nixdorf Advanced Techn Stochastic estimator
FR2765705A1 (en) * 1997-07-02 1999-01-08 Inf Cdc METHOD FOR CONSTRUCTING A NEURON NETWORK FOR MODELING A PHENOMENON

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FERAUD R ET AL: "A methodology to explain neural network classification", NEURAL NETWORKS, ELSEVIER SCIENCE PUBLISHERS, BARKING, GB, vol. 15, no. 2, March 2002 (2002-03-01), pages 237 - 246, XP004344133, ISSN: 0893-6080 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1715449A2 (en) * 2005-04-19 2006-10-25 Bernard Hendrickx Procedure for constructing electronic means of modelling global behaviour
EP1715449A3 (en) * 2005-04-19 2008-02-06 Bernard Hendrickx Procedure for constructing electronic means of modelling global behaviour

Also Published As

Publication number Publication date
WO2005083628A3 (en) 2006-09-14
WO2005083628A2 (en) 2005-09-09

Similar Documents

Publication Publication Date Title
EP0514986B1 (en) Learning method for a neural network and classification device using this method
WO2020208153A1 (en) Method for defining a path
EP4443348A1 (en) Method for searching for optimal combination of hyperparameters for machine learning model
EP3877912A1 (en) Method of neural network construction for the simulation of physical systems
WO2020094995A1 (en) Method of neural network construction for the simulation of physical systems
EP0681270A1 (en) Object trajectory determination process and device for carrying out this process
EP3633545A1 (en) Methods for learning parameters of a convolutional neural network, for detecting visible elements of interest in an image and association of elements of interest visible in an image
FR2865562A1 (en) Input variable`s significance measuring method for automatic learning model, involves determining average of random value from difference between obtained output of vector of considered input variables and interrupted input vector
EP3224653B1 (en) Method and device for processing well data
FR3111216A1 (en) Method for generating a decision support system and associated systems
EP3660748A1 (en) Method for analyzing a set of parameters of a neural network in order to obtain a technical improvement, for example a memory gain
WO2023247127A1 (en) Method for validating the predictions of a supervised model for multivariate quantative analysis of spectral data
FR2767943A1 (en) CLASSIFICATION APPARATUS USING A COMBINATION OF STATISTICAL METHODS AND NEURAL NETWORKS, IN PARTICULAR FOR THE RECOGNITION OF ODORS
EP4202770A1 (en) Neural network with on-the-fly generation of network parameters
CN114492007A (en) Factor effect online identification method and device based on hierarchical error control
FR3039677A1 (en) METHOD FOR DESIGNING MECHANICAL PARTS, IN PARTICULAR TURBOMACHINE BLADES
FR3080932A1 (en) AUTOMATIC GENERATION METHOD OF ARTIFICIAL NEURON NETWORKS
Rio Deep learning methodologies for denoising periodic signals
FR3146536A1 (en) Distillation neural network system, improved training methods
Nayak et al. Replication/NeurIPS 2019 Reproducibility Challenge
EP4394658A1 (en) Improved quantization-aware learning method for a neural network
FR3120966A1 (en) Classification of unknown failures in an electronic communications system
EP4322061A1 (en) Electronic device and method for processing data comprising at least one self-adaptive artificial intelligence model with local learning, associated electronic system and computer program
CA3104759A1 (en) Method of modelling for checking the results provided by an artificial neural network and other associated methods
WO1999001825A1 (en) Method for constructing a neural network for modelling a phenomenon