EP1131750A1 - Modelling tool with controlled capacity - Google Patents

Modelling tool with controlled capacity

Info

Publication number
EP1131750A1
EP1131750A1 EP99972333A EP99972333A EP1131750A1 EP 1131750 A1 EP1131750 A1 EP 1131750A1 EP 99972333 A EP99972333 A EP 99972333A EP 99972333 A EP99972333 A EP 99972333A EP 1131750 A1 EP1131750 A1 EP 1131750A1
Authority
EP
European Patent Office
Prior art keywords
data
modeling method
data modeling
learning
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP99972333A
Other languages
German (de)
French (fr)
Inventor
Bernard Alhadef
Philippe Baratier
Marie-Annick Giraud
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sofresud SA
Original Assignee
Sofresud SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sofresud SA filed Critical Sofresud SA
Publication of EP1131750A1 publication Critical patent/EP1131750A1/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling

Definitions

  • the field of the present invention consists of learning and modeling methods.
  • the invention makes it possible to find a model for predicting the evolution of a phenomenon from a set of digital data of any size. It can be produced in the form of specially designed integrated circuits and is then in the form of a specific element operating independently. It can also be performed in software form and be integrated into a computer program. It can in particular be used for processing a digital signal in an electronic circuit. In a more general application, it allows the modeling of non-linear phenomena, the analysis of phenomena thanks to immediately usable formulas and the generation of robust models. The precision allowed by these new methods makes it possible to significantly increase learning speeds.
  • the invention can also be used in the field of risk analysis by insurance companies. These keep in a more or less structured form the characteristics of drivers, their vehicles and claims suffered or caused. From these available elements, we can find out which are the high risk elements.
  • the events analyzed generally correspond to the data collected by the various sensors in the measurement chain. We can, for example, determine which combinations of factors are the source of defective products, so anticipate problems and gain productivity.
  • the events will represent on the one hand the profile of the customers and on the other hand, a description of the operations.
  • the modeling will highlight, for example, the risk factors linked to individuals and operations.
  • the learning problem is to find dependencies using a limited number of observations. It is therefore a question of choosing, from a given set of functions f (x, ⁇ ), ⁇ eA, A being a set of parameters, the one which makes it possible to best approach the output.
  • a ⁇ is a well chosen constant which depends on the noise level existing on the data.
  • the main objective of theoretical analysis is to find the principles allowing to control the generalization capacity of learning systems and to build algorithms which implement these principles.
  • Vapnik's theory is the tool allowing to find necessary and sufficient conditions for a learning process based on the principle of minimization of the empirical error to be generalizable have been established, leading to a new inductive principle called the principle of minimization of structural risk.
  • the invention relates to a new modeling technology for very general use, the essential characteristics of which relate to the efficiency of the method, the simplicity of the models obtained, their robustness, that is to say their performance on n data. 'not used for learning.
  • the implementation of this technique in a computer, electronic or mechanical system equipped with sensors and model operating functions makes it possible to design a tool capable of adapting and controlling an environment in which complex and changing phenomena exist, and where the sensors only partially account for all of the phenomena involved.
  • the extreme simplicity of the models obtained provides the user of the tool with an intuitive understanding of the phenomena he seeks to control.
  • the invention uses both conventional techniques, such as the calculation of covariance matrices, and more recent theories, such as those of statistical regularization and the consistency of learning processes.
  • the invention consists in that the matrices of covariance are not used as such, but according to a new method which consists on the one hand of disturbing the covariance matrix in a certain way, and on the other hand of adjusting the level of noise added in another way. We describe here mathematically how to add and control noise to the data, but it is possible to perform these operations electronically or mechanically.
  • the matrix H can be such that H (p + l, p + l) is different from at least one of the terms H (i, i) for i between 1 and p.
  • the matrix H satisfies the following conditions: H (i, i) is close to 1 for i between 1 and p, H (p + l, p + l) is close to 0 and H (i, j) is neighbor of 0 for i different from j.
  • the matrix H satisfies the following additional conditions: a is close to 1-1 / p, b is close to 1, c is close to -1 / p, where p is the number of variables in the model.
  • an automatic module for adjusting the parameter ⁇ is added, which can be such that the module for adjusting the parameter ⁇ is produced by the integration of a module for separating the training data into two preferably separate subsets: l one serving as a learning base for the modeling process, the other serving to adjust the value of the parameter ⁇ according to a criterion of validity of the model obtained on data which did not participate in the learning.
  • the adjustment module can also be used to adjust the vector of parameters ⁇ . In both cases, this module can be automated, either by acting directly on the parameter (s), or through a coding function (exponential, logarithm or others).
  • the basic data separation module can be carried out by external software of spreadsheet or database type and can perform a purely random sorting in two subsets or a random sorting in two subsets, while respecting the representativeness of the input vectors in the two subsets.
  • the data are prepared by a statistical normalization of the columns of data, by a reconstruction of the missing data or by detection and possible correction of outliers.
  • This preparation can be carried out by a polynomial mono or multivariate development relating to all or part of the entries, by a trigonometric development of the entries or by an explanatory development of the date type entries.
  • a preferential variant consists in using a change of reference, resulting from an analysis in principal components with possible simplification or one or more forward or backward time offsets of all or part of the columns containing time variables.
  • a preparation explorer is added, which is based on a description of the preparations possible by the user and on an exploration strategy based either on a pure performance criterion in learning or in generalization, or on a compromise between these performance and capacity of the learning process obtained.
  • an operating module is added to the modeling process generating polynomial formulas mono or multivariate descriptive of the phenomenon, trigonometric formulas descriptive of the phenomenon, or formulas descriptive of the phenomenon containing expansions of dates into calendar indicators.
  • FIG. 1 The general block diagram of the invention is given in FIG. 1. It includes all or part of the following elements
  • the purpose of the data acquisition module (1) is to collect all the information necessary for developing the models.
  • the collection is done through acquisition configuration information, which is transmitted by an operator, either once and for all during the design of the system, or dynamically according to new needs identified during its operation.
  • Data can be collected either through to physical measurement sensors, either in databases through queries, or both.
  • this module produces a raw history of the phenomenon, characterized by a table comprising in columns the magnitudes characteristic of the phenomena (for example from sensors), and in rows the events each corresponding to an observation of the phenomenon.
  • This historical table can be supplemented by a description of the data including information which can be useful for modeling, then for the exploitation of the models.
  • the description typically contains the following information:
  • the data preparation module (2) also called the data processing module, makes it possible to refine the characteristics of the raw data resulting from the acquisition. From the historical table, and from the description of the data, this module creates a more complex table, where each column is obtained from a processing operating on one or more of the columns of the historical table.
  • the treatments on a column can be in particular: a transformation of the column by a conventional function (log, exp, sin, ...), each element of the column being replaced by its image by the chosen function,
  • the data preparation module can also act on several columns or several groups of columns. He can in particular carry out the following constructions:
  • the preparer can develop meteorological indicators (wind, precipitation, humidity, etc.) for the same day or for adjacent days. This operation is carried out from a meteorological database;
  • the preparer can create a new group of columns G3 comprising the products crossed between all the columns of the two groups;
  • the preparer can generate all the polynomial terms of degree less than or equal to K, therefore a group of columns each comprising a term of the type (x 1 ) ⁇ l (x 2 ) ⁇ 2 ... (x p ) Kp with (Kl + ... + Kp) ⁇ K, all Ki being between 0 and K.
  • the data preparation module can also perform operations on the lines, in particular: - centering, which subtracts from each element of a column the average obtained on its column;
  • the data preparation module can also carry out global operations so as in particular to reduce the dimension of the problem: - the elimination of a column if its standard deviation is zero; the elimination of a column whose correlation with a previous column is greater than a threshold; - the elimination of a column whose correlation with the output is less than a threshold;
  • the data preparation module also makes it possible to define the treatment of missing values. By default, a sample containing one or more missing values will be ignored. However, the user can replace the missing value according to several criteria:
  • Another way of dealing with missing values is to consider them as a particular state of the variable which one can for example take into account by creating an additional Boolean column indicating whether the value is present or not.
  • the data preparation module also makes it possible to detect and process suspicious values. Detection is based on the following criteria: given outside of a range defined by the operator; data outside a range calculated by the system (for example, range centered on the mean and wide value of K times the standard deviation, analysis of the extreme percentiles, ...); - for Boolean or enumerated data, values whose number of occurrences is less than a given threshold.
  • Samples containing one or more suspicious values can be treated according to the same methods as those proposed for the missing values.
  • the preparation module also makes it possible to automatically generate the columns corresponding to the variable X taken at different anterior or posterior instants.
  • the variable X (t) is replaced by a group of variables: ⁇ X (t-kdt), ..., X (t-dt), X (t), X (t + dt), .. ., X (t + ndt) ⁇
  • the data preparation module offers all these possibilities individually but also allows the user to combine these treatments thanks to a suitable command language. All of these data preparation possibilities are also accessible in the preparation exploration module.
  • the preparation process preferably ends with a statistical normalization operation.
  • the modeling module (3) constitutes the heart of the invention. With its new technology, it can process a large number of input columns while controlling the validity and robustness of the model. It is therefore perfectly suited to the data preparer described above, which is likely to generate a very large number of explanatory columns.
  • the modeling module uses a history of data after preparation. It can be used on all of these data, but gives its full performance when it is only used on part (of the lines) of this data, this part being defined by the optimization module.
  • the modeling module proceeds as follows: the table of input data after preparation constitutes a matrix called [X], the column vector of the outputs corresponding to these inputs constitutes a column vector [Y]; - we build a matrix [Z] from the matrix [X] by completing it on the right with a column of 1.
  • the model vector [w] is obtained by the following formula:
  • [w] ( fc [Z] [Zj '+ ⁇ fH]) - 1 [Z] [Y])
  • [H] is a particular matrix allowing fast calculations
  • ⁇ is a scalar.
  • the analysis module (4) assesses the performance of the model according to certain criteria, the performance being evaluated either on the learning history, that is to say on the data having been used for the calculation of the matrix [X], or on data which did not take part in learning (history known as "of generalization ").
  • the performances are evaluated by comparing on the designated history the vector [y], corresponding to the actual value of the output, to the vector [y *] corresponding to the value of the output obtained by application of the model. The comparison can be made with conventional statistical indicators of error with or without screening.
  • the analysis module also makes it possible to sort historical data either in rows or in columns.
  • the online sorting criterion relates to the modeling error. This criterion makes it possible to separate individuals conforming to the model from nonconforming individuals. Non-compliant individuals may be due to anomalies encountered with the sensors, but they may also reveal abnormal or original behavior, information which can prove to be very valuable depending on the context.
  • the sorting criterion in columns is carried out according to the model vector [w]. This makes it possible to order the factors influencing the phenomenon according to their positive or negative contribution to the phenomenon.
  • the object of the optimization module (5) is to adjust the parameter ⁇ . To do this, it separates the historical data into two parts, one serving as a learning base for the modeling module, and the other serving to analyze the performance of the model on unlearned data.
  • the optimization module automatically activates the modeling module by varying the parameter ⁇ so as to obtain optimum performance on unlearned data.
  • the very construction of the perturbation model and matrix [H] gives properties to the scalar ⁇ particular, and especially that of playing on the effective capacity of the learning structure.
  • the _ optimization criterion can be chosen by the operator from among all the possibilities offered by the analysis module.
  • Data separation can be done directly by the operator, but can also be supported by the system in different ways.
  • the module for exploring the preparations (6) constitutes the second level for adjusting the capacity of the learning structure.
  • This module links the models (with or without optimization of the scalar ⁇ ) by changing the data preparation at each step.
  • This module uses a description of the possible preparations provided by the user. This description defines in an orderly manner columns, groups of columns, and preparations operating on these columns or groups of columns. For example, the description of the possible preparations can define among the variables of the basic history:
  • This exploration is done through parameters left free by the description completed by the user.
  • the explorer can activate different methods to achieve this function. Among these methods, the simplest is the systematic exploration of all possible combinations, in the parameters left to the operator. However, this method can prove to be very costly in computation time, since the number of computations increases exponentially with the number of parameters.
  • Another method consists in making random draws in the possible parameters, then in sorting the results so as to approach the most interesting areas.
  • a third method consists in implementing a control of the capacity of the second level learning process.
  • the method starts from a minimum preparation (all parameters are at their minimum), then it considers all possible preparations by incrementing only one of the parameters.
  • the method launches a modeling and chooses from among all the models obtained, the one which has the best performance according to a certain criterion.
  • This criterion can be according to the objective aimed by the user:
  • this capacity can also be approached by known formulas
  • this capacity can also be approached by known formulas
  • the relationship between the increase in one of the previous criteria and the increase in the capacity of the learning structure an increasing function as a function of an error criterion as described above, and decreasing as a function of the capacity of the learning structure.
  • the operating module (7) allows the tool to transmit the results of the modeling to a user or to a host system. In a simple version, it can calculate the output of the model evaluated on unlearned data by giving indications as to the reliability of the estimate. In a more elaborate version, the operation can transmit the elaborate model, its preparation and its performance to a host system. In an even more elaborate version, the tool is fully controllable by the host system, like an industrial process control system for example, by giving it unprecedented possibilities in terms of adaptability to a complex and changing environment.
  • the basic data separation module performs a sequential sorting, for example: 70% in learning; 20% in general; 10% in test, or, in another variant, a first sequential sorting into two subsets (the first subset comprising the training and generalization data, the second subset comprising the test data).
  • the data separation module then performs a random sorting on the first subset to separate the learning and generalization subsets.
  • the basic data separation module can also perform a sort of choice type of one (or more) sample (s) according to a law programmed in advance (by example: all N samples) for the generation of learning, generalization and or test subsets.
  • each explanatory power is calculated for its explanatory power (or discriminating power) in relation to the phenomenon studied.
  • This process allows on the one hand to select from a list, the predominant variables and to eliminate the second order variables, and on the other hand to explain the phenomenon studied.
  • the preparation of the data can be carried out by segmentation algorithms which can, for example, be of the “decision tree” or “machine vector support” type.
  • each state of a “nominal” variable (for example the postal code or “APE” code) is associated with a table of values translating its meaning with respect to the phenomenon studied (for example: number of inhabitants of the ses, standard of living in the ses, average age of the inhabitants of the ses, ).
  • APE postal code
  • the learning, generalization and forecasting spaces may not be separated (for example: use of data belonging to the “learning” subset To generate the "generalization” or “forecast” subsets).
  • the prepared data can be shared between different uses of the data modeling method according to the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Complex Calculations (AREA)

Abstract

The invention concerns a method for modelling digital data from a data sample comprising means for acquiring input data, means for preparing the input data, means for constructing a learning model on the processed data, means for analysing the resulting model, means for operating the resulting model, characterised in that it consists in controlling by regression the consistency of the standard learning process by adding to the covariance matrix a disturbance in the form of the product of a scalar quantity μ by a matrix H during the model computation.

Description

OUTIL DE MODELISATION A CAPACITE CONTROLEE MODELING TOOL WITH CONTROLLED CAPACITY
Le domaine de la présente invention consiste en les méthodes d'apprentissage et de modélisation. L'invention permet de trouver un modèle de prédiction de l'évolution d'un phénomène à partir d'un ensemble de données numériques d'une taille quelconque. Elle peut être réalisée sous la forme de circuits intégrés conçus spécialement et se présente alors sous la forme d'un élément spécifique fonctionnant de manière indépendante. Elle peut aussi être réalisée sous forme logicielle et être intégrée dans un programme d'ordinateur. Elle peut en particulier être utilisée pour le traitement d'un signal numérique dans un circuit électronique. Dans une application plus générale, elle permet la modélisation des phénomènes non linéaires, l'analyse des phénomènes grâce à des formules immédiatement exploitables et la génération de modèles robustes. La précision permise par ces nouvelles méthodes permettent d'augmenter sensiblement les vitesses d'apprentissage. L'invention peut aussi être utilisée dans le domaine de 1 ' analyse du risque par les compagnies d'assurance. Celles-ci conservent sous une forme plus ou moins structurée les caractéristiques des conducteurs, de leurs véhicules et des sinistres subis ou provoqués. À partir de ces éléments disponibles, on peut chercher quels sont les éléments à haut risque.The field of the present invention consists of learning and modeling methods. The invention makes it possible to find a model for predicting the evolution of a phenomenon from a set of digital data of any size. It can be produced in the form of specially designed integrated circuits and is then in the form of a specific element operating independently. It can also be performed in software form and be integrated into a computer program. It can in particular be used for processing a digital signal in an electronic circuit. In a more general application, it allows the modeling of non-linear phenomena, the analysis of phenomena thanks to immediately usable formulas and the generation of robust models. The precision allowed by these new methods makes it possible to significantly increase learning speeds. The invention can also be used in the field of risk analysis by insurance companies. These keep in a more or less structured form the characteristics of drivers, their vehicles and claims suffered or caused. From these available elements, we can find out which are the high risk elements.
Dans la modélisation de phénomènes physiques, les événements analysés correspondent en général aux données recueillies par les divers capteurs de la chaîne de mesure. On peut, par exemple, déterminer quelles sont les combinaisons de facteurs qui sont la source de produits défectueux, donc anticiper les problèmes et gagner en productivité.In the modeling of physical phenomena, the events analyzed generally correspond to the data collected by the various sensors in the measurement chain. We can, for example, determine which combinations of factors are the source of defective products, so anticipate problems and gain productivity.
Dans le domaine de la gestion des flux, ces événements correspondront plutôt aux informations recueillies au cours du temps. On peut, par exemple, chercher les relations existant entre les flux considérés et les données calendaires, ou les variables plus spécifiques à l'application considérée comme les données météorologiques pour la consommation d'électricité ou les périodes de promotion pour l'analyse des ventes, ce qui permettra de mieux gérer les stocks et la charge des usines de fabrication.In the field of flow management, these events will rather correspond to the information collected over time. We can, for example, look for the relationships existing between the flows considered and calendar data, or the variables more specific to the application considered such as meteorological data for electricity consumption or promotion periods for sales analysis. , which will make it possible to better manage the stocks and the load of the manufacturing factories.
Dans le secteur bancaire, les événements représenteront d'une part le profil des clients et d'autre part, un descriptif des opérations. La modélisation mettra en évidence, par exemple, les facteurs de risque liés aux individus et aux opérations .In the banking sector, the events will represent on the one hand the profile of the customers and on the other hand, a description of the operations. The modeling will highlight, for example, the risk factors linked to individuals and operations.
Le problème de l'apprentissage est de trouver des dépendances en utilisant un nombre limité d'observations. Il s'agit donc de choisir, dans un ensemble de fonctions donné f(x,α), αeA, A étant un ensemble de paramètres, celle qui permet d'approcher au mieux la sortie.The learning problem is to find dependencies using a limited number of observations. It is therefore a question of choosing, from a given set of functions f (x, α), αeA, A being a set of parameters, the one which makes it possible to best approach the output.
Si L(y,f(x,α)) est une mesure de l'écart entre la sortie réelle y et la sortie prévue par le modèle f(x, α) , on doit donc minimiser le risque effectif : tout en sachant que la distribution de probabilité F (x, y) est inconnue et que l'unique information dont on dispose est contenue dans les k données (x, , y ...,If L (y, f (x, α)) is a measure of the difference between the actual output y and the output predicted by the model f (x, α), we must therefore minimize the effective risk: while knowing that the probability distribution F (x, y) is unknown and that the only information available is contained in the k data (x,, y ...,
(χ * y de l'ensemble des observations (données d'apprentissage) .( χ * y of all observations (training data).
Classiquement, on recherche la fonction qui minimise le risque empirique calculé sur la base des données d'apprentissage :Conventionally, we seek the function which minimizes the empirical risk calculated on the basis of the training data:
1 * Ren,P = - L(yi,f(xi, )) ( 2 ) k ;=ι Puis, on postule qu'elle sera la meilleure approximation de la fonction qui minimise le risque effectif donné par (1) . Le problème qui se pose est de savoir dans quelle mesure un système construit sur le principe de minimisâtion du risque empirique (2) est généralisable, c'est-à-dire permet de minimiser le risque effectif (1) incluant des données n'ayant pas été apprises.1 * Ren, P = - L (yi, f (xi,)) (2) k; = ι Then, we postulate that it will be the best approximation of the function which minimizes the effective risk given by (1). The problem is to know to what extent a system built on the principle of minimization of the empirical risk (2) is generalizable, that is to say allows to minimize the effective risk (1) including data having not been learned.
Mathématiquement, un problème est dit correctement posé dès lors qu'il admet une solution unique et que cette solution est stable, c'est-à-dire qu'une légère modification des conditions initiales ne peut modifier que de manière infinitésimale la forme des solutions. Les problèmes qui ne possèdent pas ces propriétés sont appelés problèmes mal posés .Mathematically, a problem is said to be correctly posed as soon as it admits a single solution and this solution is stable, that is to say that a slight modification of the initial conditions can modify only in an infinitesimal way the form of the solutions . Problems that do not have these properties are called ill-posed problems.
Il arrive fréquemment que le problème de recherche de f satisfaisant l'égalité A.f = U soit mal posée : même s'il existe une solution unique à cette équation, une petite variation du second membre peut entraîner de fortes variations dans la solution.It frequently happens that the problem of finding f satisfying the equality A.f = U is poorly posed: even if there is a unique solution to this equation, a small variation of the second member can cause large variations in the solution.
Dès lors que le second membre n'est pas exact (uε au lieu de u avec ||M —w ≤ε), les fonctions qui minimisent le risque empirique R(f) = \\Af — ne sont pas nécessairement de bonnes approximations de la solution cherchée, même lorsque ε tend vers 0.As soon as the second member is not exact (u ε instead of u with || M —w ≤ε), the functions which minimize the empirical risk R (f) = \\ Af - are not necessarily good approximations of the sought solution, even when ε tends to 0.
Une amélioration dans la recherche des solutions consiste à minimiser une autre fonctionnelle, dite régularisée, de la forme :An improvement in the search for solutions consists in minimizing another functional, called regularized, of the form:
R (f) = R(f) + λ(ε).Ω(f) ( 3 )R (f) = R (f) + λ (ε) .Ω (f) (3)
OÙ :OR :
- ="HJ ) est une fonctionnelle qui appartient à un type spécial d'opérateurs dits régularisants,- = "HJ) is a functional which belongs to a special type of operators called regularizers,
Aψ) est une constante bien choisie qui dépend du niveau de bruit existant sur les données .Aψ) is a well chosen constant which depends on the noise level existing on the data.
On obtient alors une suite de solutions qui converge vers la bonne solution lorsque ε tend vers 0. En minimisant le risque régularisé plutôt que le risque empirique, on obtient ainsi à partir d'un nombre limité d'observations une solution generalisable à l'ensemble des cas. L'introduction du terme régularisant permet de fournir à coup sûr une solution unique à un problème mal posé. Celle-ci peut être légèrement moins fidèle que la solution classique, mais elle possède la propriété fondamentale d'être stable, entraînant par là même une plus grande robustesse des résultats.We then obtain a series of solutions which converges towards the right solution when ε tends to 0. In minimizing the regularized risk rather than the empirical risk, one thus obtains from a limited number of observations a solution that can be generalized to all the cases. The introduction of the term regularizing certainly provides a unique solution to an ill-posed problem. This may be slightly less faithful than the conventional solution, but it has the fundamental property of being stable, thereby resulting in greater robustness of the results.
Les méthodes de résolution des problèmes mal posés montrent qu'il existe d'autres principes inductifs qui permettent d'obtenir une meilleure capacité de régularisation que le principe consistant à minimiser l'erreur faite sur l'ensemble d'apprentissage.The methods for solving ill-posed problems show that there are other inductive principles which make it possible to obtain a better capacity for regularization than the principle consisting in minimizing the error made on the learning set.
Dès lors, le principal objectif de l'analyse théorique est de trouver les principes permettant de contrôler la capacité de généralisation des systèmes d'apprentissage et de construire des algorithmes qui implémentent ces principes.Therefore, the main objective of theoretical analysis is to find the principles allowing to control the generalization capacity of learning systems and to build algorithms which implement these principles.
La théorie de Vapnik est l'outil permettant de trouver des conditions nécessaires et suffisantes pour qu'un processus d'apprentissage basé sur le principe de minimisation de l'erreur empirique soit generalisable ont été établies, conduisant à un nouveau principe inductif dit principe de minimisation du risque structurel .Vapnik's theory is the tool allowing to find necessary and sufficient conditions for a learning process based on the principle of minimization of the empirical error to be generalizable have been established, leading to a new inductive principle called the principle of minimization of structural risk.
On peut montrer que le risque effectif vérifie une inégalité de la forme :We can show that the effective risk verifies an inequality of the form:
R( ) < Re mp( ) + F(h,k) ( 4 ) OÙ :R () <R e mp () + F (h, k) (4) WHERE:
- h est la dimension de Vapnik-Chervonenkis de l'espace des fonctions f(x, α) parmi lesquelles on recherche la solution,- h is the Vapnik-Chervonenkis dimension of the space of functions f (x, α) among which the solution is sought,
- k est le nombre d'observations disponibles pour construire le modèle, F est une fonction croissante de h et décroissante de k.- k is the number of observations available to build the model, F is an increasing function of h and decreasing of k.
On voit immédiatement que, comme le nombre k des observations disponibles est fini, le fait de minimiser l'erreur empirique ne peut suffire à minimiser l'erreur effective. L'idée générale du principe de minimisation du risque structurel est de tenir compte des deux termes du second membre de (4) , plutôt que du seul risque empirique. Ceci implique de contraindre la structure de 1 ' ensemble des fonctions f(x, α) parmi lesquelles on recherche la solution pour limiter voire contrôler le paramètre h.We immediately see that, as the number k of the available observations is finite, the fact of minimizing the empirical error cannot be enough to minimize the effective error. The general idea of the principle of minimizing structural risk is to take into account the two terms of the second member of (4), rather than just the empirical risk. This implies constraining the structure of the set of functions f (x, α) among which the solution is sought to limit or even control the parameter h.
Suivant ce principe, le développement de nouveaux algorithmes permettant de contrôler la robustesse des systèmes d'apprentissage devient envisageable.Following this principle, the development of new algorithms to control the robustness of learning systems becomes possible.
L'invention porte sur une nouvelle technologie de modélisation à usage très général , dont les caractéristiques essentielles portent sur l'efficacité de la méthode, la simplicité des modèles obtenus, leur robustesse, c'est-à-dire leurs performances sur des données n'ayant pas servi à l'apprentissage. L'implantation de cette technique dans un système informatique, électronique ou mécanique doté de capteurs et de fonctions d'exploitation des modèles permet de concevoir un outil capable de s ' adapter et de contrôler un environnement dans lequel existent des phénomènes complexes et changeants, et où les capteurs ne rendent compte que partiellement de l'ensemble des phénomènes mis en jeu. Par ailleurs, l'extrême simplicité des modèles obtenus apporte à l'utilisateur de l'outil une compréhension intuitive des phénomènes qu'il cherche à contrôler.The invention relates to a new modeling technology for very general use, the essential characteristics of which relate to the efficiency of the method, the simplicity of the models obtained, their robustness, that is to say their performance on n data. 'not used for learning. The implementation of this technique in a computer, electronic or mechanical system equipped with sensors and model operating functions makes it possible to design a tool capable of adapting and controlling an environment in which complex and changing phenomena exist, and where the sensors only partially account for all of the phenomena involved. Furthermore, the extreme simplicity of the models obtained provides the user of the tool with an intuitive understanding of the phenomena he seeks to control.
L'invention utilise à la fois des techniques classiques, comme le calcul des matrices de covariance, et des théories plus récentes, comme celles de la régularisation statistique et de la consistance des procédés d'apprentissage. L'invention consiste en ce que les matrices de covariance ne sont pas utilisées telle quelle, mais selon un procédé nouveau qui consiste d'une part à perturber la matrice de covariance d'une certaine façon, et d'autre part à régler le niveau de bruit ajouté d'une autre façon. On décrit ici de façon mathématique la manière de rajouter et de contrôler le bruit aux données, mais il est possible de réaliser ces opérations de façon électronique ou mécanique.The invention uses both conventional techniques, such as the calculation of covariance matrices, and more recent theories, such as those of statistical regularization and the consistency of learning processes. The invention consists in that the matrices of covariance are not used as such, but according to a new method which consists on the one hand of disturbing the covariance matrix in a certain way, and on the other hand of adjusting the level of noise added in another way. We describe here mathematically how to add and control noise to the data, but it is possible to perform these operations electronically or mechanically.
L'invention consiste en un procédé de modélisation de données numériques à partir d'un échantillon de données comportant des moyens pour acquérir les données d'entrée, des moyens pour préparer les données d'entrée, des moyens pour construire un modèle par apprentissage sur les données traitées des moyens pour analyser les performances du modèle obtenu, des moyens pour exploiter le modèle obtenu caractérisé en ce que l'on contrôle la consistance du procédé d'apprentissage classique par régression par l'addition à la matrice de covariance d'une perturbation sous la forme d'une matrice H dépendant d'un vecteur de k paramètres Λ = (λ,,λ2,...λk) ou sous la forme du produit d'un scalaire λ par une matrice H pendant le calcul du modèle. La matrice H peut être telle que H(p+l,p+l) est différent d'au moins un des termes H(i,i) pour i compris entre 1 et p.The invention consists of a method of modeling digital data from a sample of data comprising means for acquiring the input data, means for preparing the input data, means for building a model by learning on the processed data means for analyzing the performance of the model obtained, means for exploiting the model obtained characterized in that the consistency of the conventional learning process is controlled by regression by the addition to the covariance matrix of a perturbation in the form of a matrix H depending on a vector of k parameters Λ = (λ ,, λ 2 , ... λ k ) or in the form of the product of a scalar λ by a matrix H during the calculation of the model. The matrix H can be such that H (p + l, p + l) is different from at least one of the terms H (i, i) for i between 1 and p.
Par la suite, on considère que deux nombres sont voisins lorsque leur écart relatif ne dépasse pas 10%. Avantageusement, la matrice H vérifie les conditions suivantes : H(i,i) est voisin de 1 pour i compris entre 1 et p, H(p+l,p+l) est voisin de 0 et H(i,j) est voisin de 0 pour i différent de j . Dans une variante, la matrice H vérifie les conditions suivantes : H(i,i) est voisin d'une variable a pour i compris entre 1 et p, H(p+l,p+l) est voisin d'une variable b, H(i,j) est voisin d'une variable c pour i différent de j avec a = b + cSubsequently, we consider that two numbers are neighbors when their relative deviation does not exceed 10%. Advantageously, the matrix H satisfies the following conditions: H (i, i) is close to 1 for i between 1 and p, H (p + l, p + l) is close to 0 and H (i, j) is neighbor of 0 for i different from j. In a variant, the matrix H satisfies the following conditions: H (i, i) is close to a variable a for i between 1 and p, H (p + l, p + l) is close to a variable b , H (i, j) is close to a variable c for i different from j with a = b + c
Dans une variante avantageuse, la matrice H vérifie les conditions supplémentaires suivantes : a est voisin de 1-1/p, b est voisin de 1, c est voisin de -1/p, où p est le nombre de variables du modèle.In an advantageous variant, the matrix H satisfies the following additional conditions: a is close to 1-1 / p, b is close to 1, c is close to -1 / p, where p is the number of variables in the model.
Préférentiellement, on ajoute un module de réglage automatique du paramètre λ qui peut être tel que le module de réglage du paramètre λ est réalisé par l'intégration d'un module de séparation des données d'apprentissage en deux sous-ensembles préférentiellement disjoints : l'un servant de base d'apprentissage au procédé de modélisation, l'autre servant à ajuster la valeur du paramètre λ selon un critère de validité du modèle obtenu sur des données n'ayant pas participé à l'apprentissage. Le module de réglage peut aussi servir à ajuster le vecteur de paramètres Λ. Dans les deux cas, ce module peut faire l'objet d'une automatisation, soit en agissant directement sur le ou les paramètres, soit au travers d'une fonction de codage (exponentielle, logarithme ou autres) .Preferably, an automatic module for adjusting the parameter λ is added, which can be such that the module for adjusting the parameter λ is produced by the integration of a module for separating the training data into two preferably separate subsets: l one serving as a learning base for the modeling process, the other serving to adjust the value of the parameter λ according to a criterion of validity of the model obtained on data which did not participate in the learning. The adjustment module can also be used to adjust the vector of parameters Λ. In both cases, this module can be automated, either by acting directly on the parameter (s), or through a coding function (exponential, logarithm or others).
Le module de séparation des données de base peut être réalisé par un logiciel externe de type tableur ou base de données et peut effectuer un tri purement aléatoire en deux sous-ensembles ou un tri aléatoire en deux sous- ensembles, tout en respectant la représentativité des vecteurs d'entrée dans les deux sous-ensembles.The basic data separation module can be carried out by external software of spreadsheet or database type and can perform a purely random sorting in two subsets or a random sorting in two subsets, while respecting the representativeness of the input vectors in the two subsets.
Avantageusement, les données sont préparées par une normalisation statistique des colonnes de données, par une reconstitution des données manquantes ou par détection et correction possible des valeurs aberrantes.Advantageously, the data are prepared by a statistical normalization of the columns of data, by a reconstruction of the missing data or by detection and possible correction of outliers.
Cette préparation peut s ' effectuer par un développement polynômial mono ou multi variables portant sur tout ou partie des entrées, par un développement trigonométrique des entrées ou par un développement explicatif des entrées de type date.This preparation can be carried out by a polynomial mono or multivariate development relating to all or part of the entries, by a trigonometric development of the entries or by an explanatory development of the date type entries.
Une variante préférentielle consiste à utiliser un changement de repère, issu d'une analyse en composantes principales avec simplification éventuelle ou un ou plusieurs décalages temporels avant ou arrière de tout ou partie des colonnes contenant des variables temporelles.A preferential variant consists in using a change of reference, resulting from an analysis in principal components with possible simplification or one or more forward or backward time offsets of all or part of the columns containing time variables.
Avantageusement, on ajoute un explorateur des préparations, qui s'appuie sur un descriptif des préparations possibles par l'utilisateur et sur une stratégie d'exploration basée soit sur un critère de performance pure en apprentissage ou en généralisation, soit sur un compromis entre ces performances et la capacité du procédé d'apprentissage obtenu. Dans une variante, on ajoute au procédé de modélisation un module d'exploitation générant des formules polynomiales mono ou multi variables descriptives du phénomène, des formules trigonométriques descriptives du phénomène, ou des formules descriptives du phénomène contenant des développements de dates en indicateurs calendaires .Advantageously, a preparation explorer is added, which is based on a description of the preparations possible by the user and on an exploration strategy based either on a pure performance criterion in learning or in generalization, or on a compromise between these performance and capacity of the learning process obtained. In a variant, an operating module is added to the modeling process generating polynomial formulas mono or multivariate descriptive of the phenomenon, trigonometric formulas descriptive of the phenomenon, or formulas descriptive of the phenomenon containing expansions of dates into calendar indicators.
Le synoptique général de l'invention est donné en figure 1. Il comprend tout ou partie des éléments suivantsThe general block diagram of the invention is given in FIG. 1. It includes all or part of the following elements
- un module d'acquisition des données (1) ;- a data acquisition module (1);
- un module de préparation des données (2) ;- a data preparation module (2);
- un module de modélisation (3) ;- a modeling module (3);
- un module d'analyse des performances (4) ;- a performance analysis module (4);
- un module d'optimisation (5) ; - un module d'exploration des préparations (6) ;- an optimization module (5); - a module for exploring the preparations (6);
- un module d'exploitation (7).- an operating module (7).
Le module d'acquisition des données (1) a pour objet de collecter l'ensemble des informations nécessaires à l'élaboration des modèles. La collecte se fait grâce à des informations de configuration de l'acquisition, qui sont transmises par un opérateur, soit une fois pour toutes lors de la conception du système, soit de manière dynamique en fonction des besoins nouveaux identifiés au cours de son exploitation. Les données peuvent être collectées soit grâce à des capteurs de mesure physiques, soit dans des bases de données grâce à des requêtes, soit les deux. En configurant l'acquisition, l'opérateur définit à l'outil un problème de modélisation à traiter. Sur demande, ce module produit un historique brut du phénomène, caractérisé par un tableau comprenant en colonnes les grandeurs caractéristiques des phénomènes (issues par exemple des capteurs) , et en lignes les événements correspondant chacun à une observation du phénomène . Ce tableau historique peut être complété par un descriptif des données comprenant des informations qui peuvent être utiles à la modélisation, puis à l'exploitation des modèles. Le descriptif contient typiquement les informations suivantes :The purpose of the data acquisition module (1) is to collect all the information necessary for developing the models. The collection is done through acquisition configuration information, which is transmitted by an operator, either once and for all during the design of the system, or dynamically according to new needs identified during its operation. Data can be collected either through to physical measurement sensors, either in databases through queries, or both. By configuring the acquisition, the operator defines a modeling problem to be treated with the tool. On request, this module produces a raw history of the phenomenon, characterized by a table comprising in columns the magnitudes characteristic of the phenomena (for example from sensors), and in rows the events each corresponding to an observation of the phenomenon. This historical table can be supplemented by a description of the data including information which can be useful for modeling, then for the exploitation of the models. The description typically contains the following information:
- nom de la colonne ; - référence du capteur associé ; nature de la donnée (indicateur booléen, entier, numérique, date, région,...).- column name; - reference of the associated sensor; nature of the data (boolean, integer, numeric indicator, date, region, ...).
Le module de préparation des données (2) , appelé également module de traitement des données permet d'affiner les caractéristiques des données brutes issues de l'acquisition. À partir du tableau historique, et du descriptif des données, ce module élabore un tableau plus complexe, où chaque colonne est obtenue à partir d'un traitement opérant sur une ou plusieurs des colonnes du tableau historique. Les traitements sur une colonne peuvent être notamment : une transformation de la colonne par une fonction classique (log, exp, sin,...), chaque élément de la colonne étant remplacé par son image par la fonction choisie,The data preparation module (2), also called the data processing module, makes it possible to refine the characteristics of the raw data resulting from the acquisition. From the historical table, and from the description of the data, this module creates a more complex table, where each column is obtained from a processing operating on one or more of the columns of the historical table. The treatments on a column can be in particular: a transformation of the column by a conventional function (log, exp, sin, ...), each element of the column being replaced by its image by the chosen function,
- un développement polynomial d'ordre K monovariable, générant K colonnes à partir d'une colonne d'entrée x, correspondant aux variables x,x2,...,xκ - a monovariable polynomial order K development, generating K columns from an input column x, corresponding to the variables x, x 2 , ..., x κ
- un développement spectral de période T et d'ordre N, générant 2K colonnes à partir d'une colonne d'entrée x, les K premières colonnes étant égales à cos(2πix/T) (i étant compris entre 1 et K) , et les K dernières étant égales à sin(2πix/T) (i étant compris entre 1 et K) . - un développement en indicateurs calendaires, générant pour une colonne d'entrée de type date, une liste d'indicateurs plus fins des événements associés à cette date (développements trigonométriques annuels, hebdomadaires, mensuels, indicateurs booléens de jour de semaine, de jour de congé, de jour de pont, de veille de pont, d'avant veille de pont, de lendemain de pont, de surlendemain de pont, indicateurs de congé, de début et de fin de congé spécifiques à chaque région,...)- a spectral development of period T and of order N, generating 2K columns from a column input x, the first K columns being equal to cos (2πix / T) (i being between 1 and K), and the last K being equal to sin (2πix / T) (i being between 1 and K) . - development in calendar indicators, generating for a date entry column, a list of finer indicators of events associated with this date (annual, weekly, monthly trigonometric developments, Boolean day of week, day of day indicators leave, bridge day, bridge watch, bridge watch day, bridge day after, bridge day after day, leave indicators, start and end of leave specific to each region, ...)
Le module de préparation des données peut aussi agir sur plusieurs colonnes ou plusieurs groupes de colonnes . Il peut notamment réaliser les constructions suivantes :The data preparation module can also act on several columns or several groups of columns. He can in particular carry out the following constructions:
- à partir d'une colonne date et d'une colonne région, le préparateur peut effectuer un développement en indicateurs de type météorologique (vent, précipitation, hygrométrie,...) du jour même ou des jours adjacents. Cette opération est réalisée à partir d'une base de données météorologiques ;- from a date column and a region column, the preparer can develop meteorological indicators (wind, precipitation, humidity, etc.) for the same day or for adjacent days. This operation is carried out from a meteorological database;
- à partir de deux groupes de colonnes Gl et G2, le préparateur peut créer un nouveau groupe de colonnes G3 comprenant les produits croisés entre toutes les colonnes des deux groupes ;- from two groups of columns G1 and G2, the preparer can create a new group of columns G3 comprising the products crossed between all the columns of the two groups;
- à partir d'un groupe de colonnes G, comprenant p variables xx, x2,...'Xp, le préparateur peut générer tous les termes polynomiaux de degré inférieur ou égal à K, donc un groupe de colonnes comprenant chacune un terme du type (x1)κl(x2)κ2...(xp)Kp avec (Kl + ... + Kp) < K , tous les Ki étant compris entre 0 et K.- from a group of columns G, comprising p variables x x , x 2 , ... ' X p , the preparer can generate all the polynomial terms of degree less than or equal to K, therefore a group of columns each comprising a term of the type (x 1 ) κl (x 2 ) κ2 ... (x p ) Kp with (Kl + ... + Kp) <K, all Ki being between 0 and K.
Le module de préparation des données peut aussi faire des opérations sur les lignes, notamment : - le centrage, qui retranche à chaque élément d'une colonne la moyenne obtenue sur sa colonne ;The data preparation module can also perform operations on the lines, in particular: - centering, which subtracts from each element of a column the average obtained on its column;
- la réduction, qui divise chaque élément d'une colonne par 1 ' écart type de sa colonne ; - la normalisation statistique qui enchaîne les deux opérations précédentes.- reduction, which divides each element of a column by the standard deviation of its column; - statistical normalization which links the two previous operations.
Le module de préparation des données peut aussi réaliser des opérations globales de façon notamment à réduire la dimension du problème : - l'élimination d'une colonne si son écart type est nul ; l'élimination d'une colonne dont la corrélation avec une colonne précédente est supérieure à un seuil ; - l'élimination d'une colonne dont la corrélation avec la sortie est inférieure à un seuil ;The data preparation module can also carry out global operations so as in particular to reduce the dimension of the problem: - the elimination of a column if its standard deviation is zero; the elimination of a column whose correlation with a previous column is greater than a threshold; - the elimination of a column whose correlation with the output is less than a threshold;
- la réalisation d'une analyse en composantes principales, qui conduit à un changement de repère en privilégiant les axes principaux de représentation du phénomène, et l'élimination éventuelle des colonnes non significatives .- carrying out an analysis in principal components, which leads to a change of reference by privileging the principal axes of representation of the phenomenon, and the possible elimination of the non-significant columns.
Le module de préparation des données permet aussi de définir le traitement des valeurs manquantes. Un échantillon contenant une ou plusieurs valeurs manquantes sera par défaut ignoré. Néanmoins, l'utilisateur peut remplacer la valeur manquante suivant plusieurs critères :The data preparation module also makes it possible to define the treatment of missing values. By default, a sample containing one or more missing values will be ignored. However, the user can replace the missing value according to several criteria:
- moyenne de la valeur sur la colonne ;- average of the value on the column;
- moyenne de la valeur sur un sous-ensemble de la colonne valeur la plus fréquente (booléen ou enumeres- average of the value over a subset of the most frequent value column (boolean or enumerated
- choix d'une valeur de remplacement fixe ;- choice of a fixed replacement value;
- estimation de cette valeur en s 'appuyant sur une modélisation en fonction des autres variables. Une autre manière de traiter les valeurs manquantes est de les considérer comme un état particulier de la variable que 1 ' on peut par exemple prendre en compte en créant une colonne supplémentaire booléenne indiquant si la valeur est présente ou pas.- estimation of this value based on modeling according to the other variables. Another way of dealing with missing values is to consider them as a particular state of the variable which one can for example take into account by creating an additional Boolean column indicating whether the value is present or not.
Le module de préparation des données permet aussi de détecter et traiter les valeurs suspectes. La détection se fonde sur les critères suivants : donnée hors d'une plage définie par l'opérateur ; donnée hors d'une plage calculée par le système (par exemple, plage centrée sur la valeur moyenne et large de K fois l'écart type, analyse des centiles extrêmes,...) ; - pour les données booléennes ou énu érées, valeurs dont le nombre d'occurrences est inférieur à un seuil donné.The data preparation module also makes it possible to detect and process suspicious values. Detection is based on the following criteria: given outside of a range defined by the operator; data outside a range calculated by the system (for example, range centered on the mean and wide value of K times the standard deviation, analysis of the extreme percentiles, ...); - for Boolean or enumerated data, values whose number of occurrences is less than a given threshold.
Les échantillons contenant une ou plusieurs valeurs suspectes peuvent être traités suivant les mêmes méthodes que celles proposées pour les valeurs manquantes.Samples containing one or more suspicious values can be treated according to the same methods as those proposed for the missing values.
Pour les variables temporelles de type X(t), le module de préparation permet aussi de générer automatiquement les colonnes correspondant à la variable X prise à des instants différents antérieurs ou postérieurs. Ainsi, la variable X(t) se trouve remplacée par un groupe de variables : {X (t-kdt) ,...,X(t-dt) ,X(t) ,X(t+dt) ,...,X( t+ndt) }For time variables of type X (t), the preparation module also makes it possible to automatically generate the columns corresponding to the variable X taken at different anterior or posterior instants. Thus, the variable X (t) is replaced by a group of variables: {X (t-kdt), ..., X (t-dt), X (t), X (t + dt), .. ., X (t + ndt)}
Le module de préparation des données offre toutes ces possibilités unitairement mais permet aussi à l'utilisateur de combiner ces traitements grâce à un langage de commande adapté. L'ensemble de ces possibilités de préparation des données est aussi accessible au module d'exploration des préparations. Le procédé de préparation se termine préférentiellement par une opération de normalisation statistique. Le module de modélisation (3) constitue le cœur de l'invention. Par sa technologie nouvelle, il permet de traiter un grand nombre de colonnes d'entrée tout en contrôlant la validité et la robustesse du modèle. Il est donc parfaitement adapté au préparateur de données décrit ci- dessus, qui est susceptible de générer un très grand nombre de colonnes explicatives .The data preparation module offers all these possibilities individually but also allows the user to combine these treatments thanks to a suitable command language. All of these data preparation possibilities are also accessible in the preparation exploration module. The preparation process preferably ends with a statistical normalization operation. The modeling module (3) constitutes the heart of the invention. With its new technology, it can process a large number of input columns while controlling the validity and robustness of the model. It is therefore perfectly suited to the data preparer described above, which is likely to generate a very large number of explanatory columns.
Le module de modélisation utilise un historique des données après préparation. Il peut être utilisé sur l'ensemble de ces données, mais donne toute sa performance quand il n'est utilisé que sur une partie (des lignes) de ces données, cette partie étant définie par le module d' optimisation.The modeling module uses a history of data after preparation. It can be used on all of these data, but gives its full performance when it is only used on part (of the lines) of this data, this part being defined by the optimization module.
Le module de modélisation procède de la manière suivante : le tableau des données d'entrée après préparation constitue une matrice appelée [X] , le vecteur colonne des sorties correspondant à ces entrées constitue un vecteur colonne [Y] ; - on construit une matrice [Z] à partir de la matrice [X] en la complétant à droite par une colonne de 1. le vecteur modèle [w] est obtenu par la formule suivante :The modeling module proceeds as follows: the table of input data after preparation constitutes a matrix called [X], the column vector of the outputs corresponding to these inputs constitutes a column vector [Y]; - we build a matrix [Z] from the matrix [X] by completing it on the right with a column of 1. the model vector [w] is obtained by the following formula:
[w] = (fc[Z] [Zj'+λfH])-1 [Z ] [Y]) où [H] est une matrice particulière permettant des calculs rapides, et où λ est un scalaire. la sortie y* du modèle pour un vecteur d'entrée [x] = (xl,..., xp) est obtenue en adjoignant une constante égale à 1 à la suite du vecteur [x] , pour obtenir ainsi le vecteur [z] = (xl, ...,xp, 1) , puis en effectuant le produit scalaire entre le vecteur [w] et le vecteur [z] , soit y* = wΛ + ... + wp p + p+1.[w] = ( fc [Z] [Zj '+ λfH]) - 1 [Z] [Y]) where [H] is a particular matrix allowing fast calculations, and where λ is a scalar. the output y * of the model for an input vector [x] = (xl, ..., xp) is obtained by adding a constant equal to 1 following the vector [x], to obtain the vector [z ] = (xl, ..., xp, 1), then by performing the dot product between the vector [w] and the vector [z], that is y * = w Λ + ... + w pp + p + 1 .
Le module d'analyse (4) évalue les performances du modèle en fonction de certains critères, les performances étant évaluées soit sur l'historique d'apprentissage, c'est- à-dire sur les données ayant servi au calcul de la matrice [X], soit sur des données n'ayant pas participé à l'apprentissage (historique dit " de généralisation "). Les performances sont évaluées en comparant sur l'historique désigné le vecteur [y] , correspondant à la valeur réelle de la sortie, au vecteur [y*] correspondant à la valeur de la sortie obtenue par application du modèle. La comparaison peut être effectuée avec les indicateurs statistiques classiques d'erreur avec ou sans criblage.The analysis module (4) assesses the performance of the model according to certain criteria, the performance being evaluated either on the learning history, that is to say on the data having been used for the calculation of the matrix [X], or on data which did not take part in learning (history known as "of generalization "). The performances are evaluated by comparing on the designated history the vector [y], corresponding to the actual value of the output, to the vector [y *] corresponding to the value of the output obtained by application of the model. The comparison can be made with conventional statistical indicators of error with or without screening.
Le module d'analyse permet aussi de trier les données d'un historique soit en lignes, soit en colonnes. Le critère de tri en ligne porte sur l'erreur de modélisation. Ce critère permet de séparer les individus conformes au modèle des individus non conformes . Les individus non conformes peuvent être dus à des anomalies rencontrées au niveau des capteurs, mais ils peuvent aussi révéler un comportement anormal ou original, information qui peut s'avérer très précieuse suivant le contexte. Le critère de tri en colonnes s'effectue en fonction du vecteur modèle [w] . Celui-ci permet d'ordonner les facteurs influant sur le phénomène en fonction de leur contribution positive ou négative sur le phénomène.The analysis module also makes it possible to sort historical data either in rows or in columns. The online sorting criterion relates to the modeling error. This criterion makes it possible to separate individuals conforming to the model from nonconforming individuals. Non-compliant individuals may be due to anomalies encountered with the sensors, but they may also reveal abnormal or original behavior, information which can prove to be very valuable depending on the context. The sorting criterion in columns is carried out according to the model vector [w]. This makes it possible to order the factors influencing the phenomenon according to their positive or negative contribution to the phenomenon.
Le module d'optimisation (5) a pour objet le réglage du paramètre λ. Pour cela, il sépare les données d'historique en deux parties, l'une servant de base d'apprentissage au module de modélisation, et l'autre servant à analyser les performances du modèle sur des données non apprises. Le module d'optimisation active automatiquement le module de modélisation en faisant varier le paramètre λ de façon à obtenir un optimum de performances sur les données non apprises . La construction même du modèle et de la matrice de perturbation [H] confère au scalaire λ des propriétés particulières, et notamment celle de jouer sur la capacité effective de la structure d'apprentissage.The object of the optimization module (5) is to adjust the parameter λ. To do this, it separates the historical data into two parts, one serving as a learning base for the modeling module, and the other serving to analyze the performance of the model on unlearned data. The optimization module automatically activates the modeling module by varying the parameter λ so as to obtain optimum performance on unlearned data. The very construction of the perturbation model and matrix [H] gives properties to the scalar λ particular, and especially that of playing on the effective capacity of the learning structure.
Le _ critère d'optimisation peut être choisi par l'opérateur parmi toutes les possibilités offertes par le module d'analyse.The _ optimization criterion can be chosen by the operator from among all the possibilities offered by the analysis module.
La séparation des données peut être réalisée directement par l'opérateur, mais aussi être prise en charge par le système de différentes façons.Data separation can be done directly by the operator, but can also be supported by the system in different ways.
Le module d'exploration des préparations (6) constitue le deuxième niveau de réglage de la capacité de la structure d'apprentissage. Ce module enchaîne les modélisations (avec ou sans optimisation du scalaire λ) en changeant la préparation des données à chaque pas . Ce module utilise un descriptif des préparations possibles fourni par l'utilisateur. Ce descriptif définit de façon ordonnée des colonnes, des groupes de colonnes, et des préparations opérant sur ces colonnes ou groupes de colonnes. Par exemple, le descriptif des préparations possibles peut définir parmi les variables de l'historique de base :The module for exploring the preparations (6) constitutes the second level for adjusting the capacity of the learning structure. This module links the models (with or without optimization of the scalar λ) by changing the data preparation at each step. This module uses a description of the possible preparations provided by the user. This description defines in an orderly manner columns, groups of columns, and preparations operating on these columns or groups of columns. For example, the description of the possible preparations can define among the variables of the basic history:
- un développement polynomial possible de la colonne 1 , de degré 1 au minimum à 5 au maximum ;- a possible polynomial development of column 1, from degree 1 at least to 5 at most;
- un développement trigonométrique possible de la colonne 2 de degré 1 au minimum à 7 au maximum ; - un développement polynomial multivariables possible sur les colonnes 4 à 8 de degré 1 au minimum et 3 au maximum ; tout ou partie des autres colonnes sans traitement spécifique. Ce descriptif permet de formaliser la connaissance de l'utilisateur par rapport au phénomène à modéliser. L'explorateur de préparations décharge alors l'utilisateur des tâches fastidieuses d'exploration des préparations possibles, en effectuant la préparation des données, la modélisation, l'analyse de performances, et l'enregistrement des références de l'essai et des résultats obtenus .- possible trigonometric development of column 2 from degree 1 at least to 7 at most; - multivariable polynomial development possible on columns 4 to 8 of degree 1 at least and 3 at most; all or part of the other columns without specific treatment. This description makes it possible to formalize the knowledge of the user in relation to the phenomenon to be modeled. The preparation explorer then relieves the user of the tedious tasks of exploring possible preparations, by performing data preparation, modeling, performance analysis, and recording the references of the test and the results obtained.
Cette exploration se fait au travers des paramètres laissés libres par le descriptif rempli par l'utilisateur. L'explorateur peut activer différentes méthodes pour réaliser cette fonction. Parmi ces méthodes, la plus simple est l'exploration systématique de toutes les combinaisons possibles, dans les paramètres laissés à l'opérateur. Toutefois, cette méthode peut s'avérer très coûteuse en temps de calcul, étant donné que le nombre de calculs croit de manière exponentielle avec le nombre de paramètres .This exploration is done through parameters left free by the description completed by the user. The explorer can activate different methods to achieve this function. Among these methods, the simplest is the systematic exploration of all possible combinations, in the parameters left to the operator. However, this method can prove to be very costly in computation time, since the number of computations increases exponentially with the number of parameters.
Une autre méthode consiste à faire des tirages aléatoires dans les paramètres possibles, puis à trier les résultats de façon à se rapprocher des zones les plus intéressantes .Another method consists in making random draws in the possible parameters, then in sorting the results so as to approach the most interesting areas.
Une troisième méthode consiste à mettre en œuvre un contrôle de la capacité du procédé d'apprentissage de deuxième niveau. On utilise pour cela le fait que pour chaque type de développement (polynomial, trigonométrique, ...) , la capacité du procédé d'apprentissage augmente avec le paramètre (degré du développement) . La méthode part d'une préparation minimale (tous les paramètres sont à leur minimum) , puis elle envisage toutes les préparations possibles en incrémentant un seul des paramètres. Sur chacune des préparations obtenues, la méthode lance une modélisation et choisit parmi l'ensemble des modèles obtenus, celui qui a la meilleure performance selon un certain critère.A third method consists in implementing a control of the capacity of the second level learning process. We use for this the fact that for each type of development (polynomial, trigonometric, ...), the capacity of the learning process increases with the parameter (degree of development). The method starts from a minimum preparation (all parameters are at their minimum), then it considers all possible preparations by incrementing only one of the parameters. On each of the preparations obtained, the method launches a modeling and chooses from among all the models obtained, the one which has the best performance according to a certain criterion.
Ce critère peut être selon l'objectif visé par l'utilisateur :This criterion can be according to the objective aimed by the user:
- un minimum d'erreur avec ou sans criblage, sur les données non apprises ;- a minimum of error with or without screening, on data not learned;
- le rapport entre un des critères précédents et la capacité de la structure d'apprentissage après préparation, (cette capacité pouvant aussi être approchée par les formules connues) ; le rapport entre l'accroissement d'un des critères précédents et l'accroissement de la capacité de la structure d'apprentissage ; une fonction croissante en fonction d'un critère d'erreur tel que décrit ci-dessus, et décroissante en fonction de la capacité de la structure d'apprentissage.- the relationship between one of the previous criteria and the capacity of the learning structure after preparation, (this capacity can also be approached by known formulas); the relationship between the increase in one of the previous criteria and the increase in the capacity of the learning structure; an increasing function as a function of an error criterion as described above, and decreasing as a function of the capacity of the learning structure.
Le module d'exploitation (7) permet à l'outil de transmettre les résultats de la modélisation à un utilisateur ou à un système hôte. Dans une version simple, il peut calculer la sortie du modèle évaluée sur des données non apprises en donnant des indications quant à la fiabilité de l'estimation. Dans une version plus élaborée, l'exploitation peut transmettre à un système hôte le modèle élaboré, sa préparation et ses performances . Dans une version encore plus élaborée, l'outil est entièrement contrôlable par le système hôte, comme un système de contrôle de procédé industriel par exemple, en lui conférant des possibilités inédites en terme d' adaptativité à un environnement complexe et changeant.The operating module (7) allows the tool to transmit the results of the modeling to a user or to a host system. In a simple version, it can calculate the output of the model evaluated on unlearned data by giving indications as to the reliability of the estimate. In a more elaborate version, the operation can transmit the elaborate model, its preparation and its performance to a host system. In an even more elaborate version, the tool is fully controllable by the host system, like an industrial process control system for example, by giving it unprecedented possibilities in terms of adaptability to a complex and changing environment.
Il est également possible que le module de séparation des données de base réalise un tri séquentiel, par exemple : 70% en apprentissage ; 20% en généralisation ; 10% en test, ou, dans une autre variante, un premier tri séquentiel en deux sous-ensembles (le premier sous-ensemble comprenant les données d'apprentissage et de généralisation, le deuxième sous-ensemble comprenant les données de test) . Le module de séparation des données réalise alors un tri aléatoire sur le premier sous-ensemble pour séparer les sous- ensembles d'apprentissage et de généralisation.It is also possible that the basic data separation module performs a sequential sorting, for example: 70% in learning; 20% in general; 10% in test, or, in another variant, a first sequential sorting into two subsets (the first subset comprising the training and generalization data, the second subset comprising the test data). The data separation module then performs a random sorting on the first subset to separate the learning and generalization subsets.
Le module de séparation des données de base peut aussi réaliser un tri de type choix d'un (ou plusieurs) échantillon (s) selon une loi programmée à l'avance (par exemple : tous les N échantillons) pour la génération des sous-ensembles d'apprentissage, de généralisation et ou de test .The basic data separation module can also perform a sort of choice type of one (or more) sample (s) according to a law programmed in advance (by example: all N samples) for the generation of learning, generalization and or test subsets.
On peut également préparer les données manquantes, aberrantes ou exceptionnelles en un ou plusieurs groupes de manière à les regrouper dans une même catégorie pour leur appliquer un traitement particulier (par exemple : une pondération, une catégorie « fausse, alarme », ...) .We can also prepare missing, aberrant or exceptional data in one or more groups so as to group them in the same category to apply a particular treatment to them (for example: a weighting, a “false, alarm” category, ...) .
Dans une variante on calcule pour chaque variable d'entrée son pouvoir explicatif (ou pouvoir discriminant) par rapport au phénomène étudié. Ce procédé permet d'une part de sélectionner dans une liste, les variables prépondérantes et d'éliminer les variables de second ordre, et d'autre part d'expliquer le phénomène étudié. La préparation des données peut être effectuée par des algorithmes de segmentation qui peuvent être par exemple de type « arbre de décision » ou « support vecteur machine ».In a variant, each explanatory power is calculated for its explanatory power (or discriminating power) in relation to the phenomenon studied. This process allows on the one hand to select from a list, the predominant variables and to eliminate the second order variables, and on the other hand to explain the phenomenon studied. The preparation of the data can be carried out by segmentation algorithms which can, for example, be of the “decision tree” or “machine vector support” type.
Préférentiellement, on associe à chaque état d'une variable « nominale » (par exemple le code postal ou code « APE ») un tableau de valeurs traduisant sa signification vis-à-vis du phénomène étudié (par exemple : nombre d'habitants de la commune, niveau de vie dans la commune, âge moyen des habitants de la commune, ...) . On peut alors coder les variables nominales sous forme de tableau de variables booléennes ou réelles .Preferably, each state of a “nominal” variable (for example the postal code or “APE” code) is associated with a table of values translating its meaning with respect to the phenomenon studied (for example: number of inhabitants of the commune, standard of living in the commune, average age of the inhabitants of the commune, ...). We can then code the nominal variables in the form of an array of Boolean or real variables.
Lors des applications de modélisation de flux, on transforme les données temporelles (date) en appliquant les règles de report issues de la connaissance des phénomènes étudiés. Par exemple, pour un flux financier, lorsqu'un jour est férié les montants associés sont reportés suivant une règle métier en partie sur les jours précédents et en partie sur les jours suivants avec des coefficients de pondération. On peut aussi traiter les flux (par exemple échanges financiers) en identifiant les échéances périodiques (par exemple échéances mensuelles) et en leur appliquant des règles de report propres à chaque échéance (par exemple : si le jour de l'échéance est férié, reporter les transactions sur le jour suivant, ...) .During flow modeling applications, we transform the temporal data (date) by applying the reporting rules resulting from the knowledge of the phenomena studied. For example, for a financial flow, when a holiday is the associated amounts are carried over according to a business rule partly on the preceding days and partly on the following days with weighting coefficients. We can also process the flows (for example financial exchanges) by identifying the periodic deadlines (for example monthly deadlines) and by applying to them rules of postponement specific to each deadline (for example: if the day of the deadline is a holiday, postpone transactions on the following day, ...).
Une fonction de post-traitement (qui peut être issue du coefficient λ) permettant de calculer la robustesseA post-processing function (which can be derived from the coefficient λ) allowing the robustness to be calculated
(ou précision) du modèle généré sur de nouvelles données non apprises peut être appliquée au résultat.(or precision) of the model generated on new unlearned data can be applied to the result.
Lorsque la base de données ne possède que peu d'éléments caractéristiques d'un phénomène à modéliser, les espaces d'apprentissage, de généralisation et de prévision peuvent ne pas être disjoints (par exemple : utilisation de données appartenant au sous-ensemble « apprentissage » pour générer les sous-ensembles de « généralisation » ou de « prévision ») .When the database has only a few characteristic elements of a phenomenon to be modeled, the learning, generalization and forecasting spaces may not be separated (for example: use of data belonging to the “learning” subset To generate the "generalization" or "forecast" subsets).
Les données préparées peuvent être partagées entre différentes utilisations du procédé de modélisation des données selon l'invention.The prepared data can be shared between different uses of the data modeling method according to the invention.
On gère 1 ' ensemble des données dans un environnement spécifique en garantissant la disponibilité de l'information en utilisant par exemple un système de fichier, une base de données ou un outil spécifique. On peut garantir l'accès simultané aux données à plusieurs utilisateurs. À cet effet, on définit une structure relationnelle s ' appuyant sur les variables, les phénomènes, et les modèles pour stocker et gérer l'ensemble des données de base, des formules descriptives du phénomène . One manages the whole of the data in a specific environment while guaranteeing the availability of information by using for example a file system, a database or a specific tool. Multiple users can be guaranteed simultaneous access to the data. To this end, we define a relational structure based on variables, phenomena, and models to store and manage all the basic data, descriptive formulas of the phenomenon.

Claims

REVENDICATIONS
1 - Procédé de modélisation de données numériques à partir d'un échantillon de données comportant une étape d'acquisition des données d'entrée (1), une étape de préparation des données d'entrée (2), une étape de construction d'un modèle par apprentissage sur les données traitées (3), une étape d'analyse des performances du modèle obtenu (4), une étape d'exploitation du modèle obtenu (7) caractérisé en ce que l'on contrôle la cohérence du procédé d'apprentissage classique par régression par l'addition à la matrice de covariance d'une perturbation sous la forme d'une matrice H dépendant d'un vecteur de k paramètres Λ = (λ1,λ2,...λk) ou sous la forme du produit d'un scalaire λ par une matrice H pendant le calcul du modèle.1 - Method for modeling digital data from a data sample comprising a step of acquiring the input data (1), a step of preparing the input data (2), a step of constructing a model by learning on the processed data (3), a step of analyzing the performance of the model obtained (4), a step of exploiting the model obtained (7) characterized in that the consistency of the process is checked classical learning by regression by adding to the covariance matrix a disturbance in the form of a matrix H depending on a vector of k parameters Λ = (λ 1 ,λ 2 ,...λ k ) or in the form of the product of a scalar λ by a matrix H during the calculation of the model.
2 - Procédé de modélisation des données selon la revendication principale caractérisé en ce que la matrice H vérifie les conditions suivantes : H(i,i) est voisin de 1 pour i compris entre 1 et p, H(p+l,p+l) est voisin de 0 et H(i,j) est voisin de 0 pour i différent de j.2 - Data modeling method according to the main claim characterized in that the matrix H satisfies the following conditions: H(i,i) is close to 1 for i between 1 and p, H(p+l,p+l ) is close to 0 and H(i,j) is close to 0 for i different from j.
3 - Procédé de modélisation des données selon la revendication principale caractérisé en ce que la matrice H vérifie les conditions suivantes : H(i,i) est voisin de a pour i compris entre 1 et p, H(p+l,p+l) est voisin de b, H(i,j) est voisin de c pour i différent de j et a = b + c.3 - Data modeling method according to the main claim characterized in that the matrix H satisfies the following conditions: H(i,i) is close to a for i between 1 and p, H(p+l,p+l ) is close to b, H(i,j) is close to c for i different from j and a = b + c.
4 - Procédé de modélisation des données selon la revendication 3 caractérisé en ce que la matrice H vérifie les conditions supplémentaires suivantes : a est voisin de 1- 1/p, b est voisin de 1, c est voisin de - 1/p, où p est le nombre de variables du modèle. 5 - Procédé de modélisation des données selon la revendication principale caractérisé en ce que la matrice H vérifie la condition suivante : H(p+l,p+l) est différent d'au moins un des termes H ( i , i ) pour i compris entre 1 et p .4 - Data modeling method according to claim 3 characterized in that the matrix H satisfies the following additional conditions: a is close to 1- 1/p, b is close to 1, c is close to - 1/p, where p is the number of variables in the model. 5 - Data modeling method according to the main claim characterized in that the matrix H satisfies the following condition: H(p+l,p+l) is different from at least one of the terms H (i, i) for i between 1 and p.
6 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on effectue une étape supplémentaire de réglage soit du scalaire λ, soit du vecteur de paramètres Λ(5) , cette étape pouvant faire l'objet d'une automatisation, soit en agissant directement sur le ou les paramètres, soit au travers d'une fonction de codage (exponentielle, logarithme ou autres) .6 - Data modeling method according to any one of the preceding claims characterized in that an additional step of adjusting either the scalar λ or the parameter vector Λ(5) is carried out, this step being able to be the subject of 'automation, either by acting directly on the parameter(s), or through a coding function (exponential, logarithmic or others).
7 - Procédé de modélisation des données selon la revendication 6 caractérisé en ce que 1 ' étape de réglage du scalaire λ ou du vecteur des paramètres Λ est réalisée par l'intégration d'un module de séparation des données d'apprentissage en deux sous-ensembles préférentiellement disjoints : l'un servant de base d'apprentissage au procédé de modélisation selon la revendication principale, l'autre servant à ajuster la valeur du paramètre λ ou du vecteur Λ selon un critère de validité du modèle obtenu sur des données n'ayant pas participé à l'apprentissage.7 - Data modeling method according to claim 6 characterized in that the step of adjusting the scalar λ or the vector of parameters Λ is carried out by the integration of a module for separating the learning data into two sub- preferentially disjoint sets: one serving as a learning basis for the modeling method according to the main claim, the other serving to adjust the value of the parameter λ or the vector Λ according to a criterion of validity of the model obtained on data n' not having participated in the learning.
8 - Procédé de modélisation des données selon la revendication 6 ou 7 caractérisé en ce que 1 ' étape de séparation des données de base est réalisée par un opérateur en utilisant par exemple un logiciel externe de type tableur ou base de données, ou des outils spécifiques.8 - Data modeling method according to claim 6 or 7 characterized in that the step of separating the basic data is carried out by an operator using for example external software of the spreadsheet or database type, or specific tools .
9 - Procédé de modélisation des données selon l'une quelconque des revendications 6 à 8 caractérisé en ce que 1 ' étape de séparation des données de base réalise un tri purement aléatoire en deux sous-ensembles. 10 - Procédé de modélisation des données selon l'une quelconque des revendications 6 à 8 caractérisé en ce que 1 ' étape de séparation des données de base réalise un tri aléatoire en deux sous-ensembles, tout en respectant la représentativité des vecteurs d'entrée dans les deux sous- ensembles .9 - Data modeling method according to any one of claims 6 to 8 characterized in that the step of separating the basic data performs a purely random sorting into two subsets. 10 - Data modeling method according to any one of claims 6 to 8 characterized in that the step of separating the basic data performs a random sorting into two subsets, while respecting the representativeness of the input vectors in both subsets.
11 - Procédé de modélisation des données selon l'une quelconque des revendications 6 à 8 caractérisé en ce que le module de séparation des données de base réalise un tri séquentiel.11 - Data modeling method according to any one of claims 6 to 8 characterized in that the basic data separation module carries out sequential sorting.
12 - Procédé de modélisation des données selon l'une quelconque des revendications 6 à 8 caractérisé en ce que le module de séparation des données de base réalise un premier tri en deux sous-ensembles, le premier sous-ensemble comprenant les données d'apprentissage et de généralisation, le deuxième sous-ensemble comprenant les données de test.12 - Data modeling method according to any one of claims 6 to 8 characterized in that the basic data separation module carries out a first sorting into two subsets, the first subset comprising the learning data and generalization, the second subset comprising the test data.
13 - Procédé de modélisation des données selon l'une quelconque des revendications 6 à 8 caractérisé en ce que le module de séparation des données de base réalise un tri de type choix d'au moins un échantillon selon une loi programmée à l'avance pour la génération des sous-ensembles d'apprentissage, de généralisation et ou de test.13 - Data modeling method according to any one of claims 6 to 8 characterized in that the basic data separation module carries out a choice type sorting of at least one sample according to a law programmed in advance for the generation of training, generalization and/or test subsets.
14 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on prépare les données par une normalisation statistique des colonnes de données.14 - Data modeling method according to any one of the preceding claims characterized in that the data is prepared by statistical normalization of the data columns.
15 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on prépare les données par une reconstitution des données manquantes. 16 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on prépare les données par détection et correction possible des valeurs aberrantes .15 - Data modeling method according to any one of the preceding claims characterized in that the data is prepared by reconstituting the missing data. 16 - Data modeling method according to any one of the preceding claims characterized in that the data is prepared by detection and possible correction of aberrant values.
17 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on prépare les données par un développement polynomial mono ou multi variables portant sur tout ou partie des entrées .17 - Data modeling method according to any one of the preceding claims characterized in that the data is prepared by a single or multi-variable polynomial expansion covering all or part of the inputs.
18 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on prépare les données par un développement périodique des entrées .18 - Data modeling method according to any one of the preceding claims characterized in that the data is prepared by periodic development of the inputs.
19 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on prépare les données par un développement explicatif des entrées de type date.19 - Data modeling method according to any one of the preceding claims characterized in that the data is prepared by an explanatory development of the date type entries.
20 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on prépare les données par un changement de repère, issu d'une analyse en composantes principales avec simplification éventuelle.20 - Data modeling method according to any one of the preceding claims characterized in that the data is prepared by a change of reference, resulting from a principal component analysis with possible simplification.
21 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on prépare les données par un ou plusieurs décalages temporels avant ou arrière de tout ou partie des colonnes contenant des variables temporelles . 22 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce que l'on ajoute un explorateur des préparations (6), qui s'appuie sur un descriptif des préparations possibles par l'utilisateur et sur une stratégie d'exploration basée soit sur un critère de performances pure en apprentissage ou en généralisation, soit sur un compromis entre ces performances et la capacité du procédé d'apprentissage obtenu.21 - Data modeling method according to any one of the preceding claims characterized in that the data is prepared by one or more forward or backward temporal shifts of all or part of the columns containing temporal variables. 22 - Data modeling method according to any one of the preceding claims characterized in that a preparation explorer (6) is added, which is based on a description of the preparations possible by the user and on a strategy of exploration based either on a criterion of pure performance in learning or in generalization, or on a compromise between this performance and the capacity of the learning process obtained.
23 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on ajoute au procédé de modélisation un module d'exploitation (7) générant des formules polynomiales mono ou multi variables descriptives du phénomène.23 - Data modeling method according to any one of the preceding claims characterized in that an operating module (7) is added to the modeling method generating single or multi-variable polynomial formulas descriptive of the phenomenon.
24 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on ajoute au procédé de modélisation un module d'exploitation (7) générant des formules périodiques descriptives du phénomène.24 - Data modeling method according to any one of the preceding claims characterized in that an operating module (7) generating periodic formulas descriptive of the phenomenon is added to the modeling method.
25 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on ajoute au procédé de modélisation un module d'exploitation (7) générant des formules descriptives du phénomène contenant des développements de dates en indicateurs calendaires .25 - Data modeling method according to any one of the preceding claims characterized in that an operating module (7) is added to the modeling method generating descriptive formulas of the phenomenon containing developments of dates in calendar indicators.
26 - Procédé de modélisation des données selon la revendication 18 caractérisé en ce que le développement périodique est un développement trigonométrique .26 - Data modeling method according to claim 18 characterized in that the periodic development is a trigonometric development.
27 - Procédé de modélisation des données selon la revendication 24 caractérisé les formules périodiques descriptives du phénomène sont à base trigonométrique. 28 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on prépare les données de type 'nominal' afin de réduire le nombre d'états distincts en opérant l'une ou plusieurs des actions suivantes :27 - Data modeling method according to claim 24 characterized the periodic formulas descriptive of the phenomenon are trigonometric based. 28 - Data modeling method according to any one of the preceding claims characterized in that the 'nominal' type data is prepared in order to reduce the number of distinct states by carrying out one or more of the following actions:
- calculer la quantité d'informations amenée par chaque état ;- calculate the quantity of information provided by each state;
- regrouper entre eux les états homogènes vis-à- vis du phénomène étudié ;- group together the homogeneous states with respect to the phenomenon studied;
- créer un état spécifique regroupant tous les états élémentaires n'apportant pas d'informations significatives sur le phénomène.- create a specific state bringing together all the elementary states that do not provide significant information on the phenomenon.
29 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on regroupe les données manquantes, aberrantes ou exceptionnelles en un ou plusieurs groupes pour leur appliquer des traitements spécifiques.29 - Data modeling method according to any one of the preceding claims characterized in that missing, aberrant or exceptional data is grouped into one or more groups to apply specific treatments to them.
30 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce que 1 ' on code les variables nominales sous forme de tableau de variables booléennes ou réelles .30 - Data modeling method according to any one of the preceding claims characterized in that 1 'the nominal variables are coded in the form of a table of Boolean or real variables.
31 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce que l'on calcule pour chaque variable d'entrée son pouvoir explicatif par rapport au phénomène étudié.31 - Data modeling method according to any one of the preceding claims characterized in that its explanatory power in relation to the phenomenon studied is calculated for each input variable.
32 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on prépare les données par des algorithmes de segmentation qui peuvent être par exemple de type 'arbre de décision' ou 'support vecteur machine' . 33 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce que l'on associe à chaque état d'une variable 'nominale' un tableau de valeurs traduisant sa signification vis-à-vis du phénomène étudié.32 - Data modeling method according to any one of the preceding claims characterized in that the data is prepared by segmentation algorithms which can for example be of the 'decision tree' or 'support vector machine' type. 33 - Data modeling method according to any one of the preceding claims characterized in that each state of a 'nominal' variable is associated with a table of values reflecting its meaning with regard to the phenomenon studied.
34 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce que l'on transforme les données en appliquant les règles de report issues de la connaissance des phénomènes étudiés .34 - Data modeling method according to any one of the preceding claims characterized in that the data is transformed by applying the reporting rules resulting from the knowledge of the phenomena studied.
35 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce que l'on traite les flux en identifiant les échéances périodiques et en leur appliquant des règles de report propres à chaque échéance .35 - Data modeling method according to any one of the preceding claims characterized in that the flows are processed by identifying the periodic deadlines and applying carryover rules specific to each deadline.
36 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce que les espaces d'apprentissage, de généralisation et de prévision peuvent ne pas être disjoints.36 - Data modeling method according to any one of the preceding claims characterized in that the learning, generalization and prediction spaces may not be disjoint.
37 - Procédé de modélisation des données selon l'une quelconque des revendications précédentes caractérisé en ce qu'on définit une structure relationnelle s 'appuyant sur les variables , les phénomènes , et les modèles pour stocker et gérer l'ensemble des données de base, des formules descriptives du phénomène.37 - Data modeling method according to any one of the preceding claims characterized in that a relational structure is defined based on the variables, phenomena, and models to store and manage all of the basic data, descriptive formulas of the phenomenon.
38 - Dispositif de modélisation de données numériques à partir d'un échantillon de données comportant des moyens pour acquérir les données d'entrée (1), des moyens pour préparer les données d'entrée (2), des moyens pour construire un modèle par apprentissage sur les données traitées (3) , des moyens pour analyser les performances du modèle obtenu (4) , des moyens pour exploiter le modèle obtenu38 - Device for modeling digital data from a data sample comprising means for acquiring the input data (1), means for preparing the input data (2), means for construct a model by learning on the processed data (3), means for analyzing the performance of the model obtained (4), means for exploiting the model obtained
(7) caractérisé en ce qu'il comporte des moyens de contrôle de la cohérence du procédé d'apprentissage classique par régression par l'addition à la matrice de covariance d'une perturbation sous la forme d'une matrice H dépendant d'un vecteur de k paramètres Λ = (λ^λ^.-.λj ou sous la forme du produit d'un scalaire λ par une matrice H pendant le calcul du modèle. (7) characterized in that it comprises means for controlling the consistency of the conventional learning method by regression by adding to the covariance matrix a disturbance in the form of a matrix H depending on a vector of k parameters Λ = (λ^λ^.-.λ j or in the form of the product of a scalar λ by a matrix H during the calculation of the model.
EP99972333A 1998-11-17 1999-11-16 Modelling tool with controlled capacity Ceased EP1131750A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR9814422 1998-11-17
FR9814422A FR2786002B1 (en) 1998-11-17 1998-11-17 MODELING TOOL WITH CONTROLLED CAPACITY
PCT/FR1999/002810 WO2000029992A1 (en) 1998-11-17 1999-11-16 Modelling tool with controlled capacity

Publications (1)

Publication Number Publication Date
EP1131750A1 true EP1131750A1 (en) 2001-09-12

Family

ID=9532820

Family Applications (1)

Application Number Title Priority Date Filing Date
EP99972333A Ceased EP1131750A1 (en) 1998-11-17 1999-11-16 Modelling tool with controlled capacity

Country Status (4)

Country Link
US (1) US20020156603A1 (en)
EP (1) EP1131750A1 (en)
FR (1) FR2786002B1 (en)
WO (1) WO2000029992A1 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6523015B1 (en) 1999-10-14 2003-02-18 Kxen Robust modeling
CN1636367A (en) * 2001-10-10 2005-07-06 伽滕那股份有限公司 System and method for assigning an engine measure metric to a computing system
US7200342B2 (en) * 2002-06-06 2007-04-03 The Aerospace Corporation Direct-sequence spread-spectrum optical-frequency-shift-keying code-division-multiple-access communication system
FR2852405B3 (en) * 2003-03-14 2005-06-03 DEVICE AND ASSOCIATED METHOD FOR DETERMINING THE DIRECTION OF A TARGET
JP2005175876A (en) * 2003-12-11 2005-06-30 Ricoh Co Ltd Color signal processing method and device, color profile preparation method, program and recording medium
US7593124B1 (en) * 2004-02-06 2009-09-22 Yazaki North America, Inc. System and method for managing devices
FR2910983B1 (en) * 2006-12-29 2009-02-20 Jorge Julio DEVICE FOR DYNAMICALLY TESTING DATA PROCESSING PROGRAMS
CN103150454B (en) * 2013-03-27 2015-06-17 山东大学 Dynamic machine learning modeling method based on sample recommending and labeling
CN107301283B (en) * 2017-06-12 2020-05-01 西北工业大学 Product scheme design stage risk assessment method based on design change matrix
CN111105068B (en) * 2019-11-01 2023-05-02 复旦大学 Numerical mode correction method based on sequential regression learning

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
THIRIA S. ET AL.: "Statistique et méthodes neuronales, 2e cycle", 1997, DUNOD, FRANCE, ISBN: 2-10-003544-4, article LEON BOTTOU: "La mise en ceuvre des idées de Vladimir N. Vapnik", pages: 262 - 274, XP003008158

Also Published As

Publication number Publication date
FR2786002A1 (en) 2000-05-19
US20020156603A1 (en) 2002-10-24
FR2786002B1 (en) 2001-02-09
WO2000029992A1 (en) 2000-05-25

Similar Documents

Publication Publication Date Title
US11605019B2 (en) Visually guided machine-learning language model
Tran et al. Hyper-parameter optimization in classification: To-do or not-to-do
US10915602B2 (en) Automatic detection of outliers in multivariate data
Gómez et al. Classifying image sequences of astronomical transients with deep neural networks
WO2000029992A1 (en) Modelling tool with controlled capacity
WO2020115440A1 (en) Computing environment system for monitoring aircraft engines
CN113554175A (en) Knowledge graph construction method and device, readable storage medium and terminal equipment
Qi et al. An efficient GAN-based predictive framework for multivariate time series anomaly prediction in cloud data centers
Khoshaba et al. Machine learning algorithms in Bigdata analysis and its applications: A Review
CN108763673B (en) Land use change driving force screening method and device based on LASSO regression
McCreadie et al. Next-generation personalized investment recommendations
Sobrecueva Automated Machine Learning with AutoKeras: Deep learning made accessible for everyone with just few lines of coding
EP3846047A1 (en) Method and system for identifying relevant variables
CN114916237A (en) Computer-implemented method for defect analysis, computer-implemented method for assessing likelihood of occurrence of defect, apparatus for defect analysis, computer program product and intelligent defect analysis system
Kapoor et al. Bell-Pepper Leaf Bacterial Spot Detection Using AlexNet and VGG-16
CN111882441A (en) User prediction interpretation Treeshap method based on financial product recommendation scene
US12002129B1 (en) Systems and methods of generating a display data structure from an input signal
US11978185B1 (en) System and methods for color gamut normalization for pathology slides
EP1688872A2 (en) Informatics tool for prediction
CN113779236B (en) Method and device for problem classification based on artificial intelligence
US11875138B2 (en) System and method for matching integration process management system users using deep learning and matrix factorization
Ranjan et al. Employing Image Processing and Deep Learning in Gradation and Classification of Paddy Grain
CN116108386B (en) Antique glass classification method and system under improved mixed sampling and noise reduction self-coding
US12021731B1 (en) System and method for evaluating compliance of transmitted object data via data efficiency mapping
US20240193462A1 (en) Category classification system for feature contribution scores

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20010518

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LI LU MC NL PT SE

TPAC Observations filed by third parties

Free format text: ORIGINAL CODE: EPIDOSNTIPA

17Q First examination report despatched

Effective date: 20060413

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20080622