EP1456698A1 - Procede d aide a la proposition d ameliorations d au moins une partie des parametres regissant un systeme a plusieurs parametres d entree - Google Patents

Procede d aide a la proposition d ameliorations d au moins une partie des parametres regissant un systeme a plusieurs parametres d entree

Info

Publication number
EP1456698A1
EP1456698A1 EP02801142A EP02801142A EP1456698A1 EP 1456698 A1 EP1456698 A1 EP 1456698A1 EP 02801142 A EP02801142 A EP 02801142A EP 02801142 A EP02801142 A EP 02801142A EP 1456698 A1 EP1456698 A1 EP 1456698A1
Authority
EP
European Patent Office
Prior art keywords
criteria
indicator
aggregation
coalition
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP02801142A
Other languages
German (de)
English (en)
Inventor
C. Thales Intellectual Property LABREUCHE
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thales SA
Original Assignee
Thales SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thales SA filed Critical Thales SA
Publication of EP1456698A1 publication Critical patent/EP1456698A1/fr
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances

Definitions

  • the present invention relates to a method of assistance in proposing improvements of at least part of the parameters governing a system with several input parameters.
  • An example of such a system can be a training simulator.
  • Such a system must include a teaching aid function.
  • An important aspect of the pedagogy thus provided is the "debriefing", that is to say the analysis of a student's results at the end of an exercise session on a training simulator. The problem is to expose to the pupils finishing a simulator exercise an analysis of their performance by showing them their weak points (which will allow them to progress) and strong points (which is a psychological stimulant). The underlying idea is to optimize the training curriculum in order to reduce the cost of training students.
  • Expert systems are developed to solve this type of problem.
  • the expert system compares the student's sequence of actions to what an expert would have done, and presents the errors to the student.
  • Expert systems are based on a sequential exercise analysis. This is not always desirable. The question of determining the rules of the expert system is problematic.
  • Fuzzy logic has been applied many times, especially in Japan. Obtaining fuzzy rules is far from easy, and many problems exist.
  • Decision trees are widely used, in classification in particular. They can become very complex and lose all readability. They therefore have the same drawbacks as neural networks.
  • the method of the invention consists in determining a model which contains the partial criteria for evaluating a student, and represents the degree of satisfaction, in aggregating these partial criteria so as to be able to express an overall degree of satisfaction, in evaluating the student and to highlight the weak points to be improved by action on at least some of the parameters.
  • FIG. 1 is a simplified diagram showing how to obtain, according to the invention, a global indicator
  • FIG. 2 is a simplified diagram of the scores obtained by a student
  • Figures 3 and 4 are diagrams of criteria relating to the student qualified in Figure 1, respectively in the case of an intolerant monitor and a tolerant monitor.
  • the present invention is described below with reference to a student who is following improvement sessions on a training simulator (driving simulator or airplane piloting, etc.), but it is understood that the invention is not limited to this single application, and that it can be implemented in many other fields, not only educational fields, but in all fields in which a system is governed by several criteria input which determine a result, this result being able to be improved or optimized after analysis of its rating, the improvement being able to be more or less important depending on whether one acts selectively on some of the parameters (or on all of these parameters ), the choice of parameters on which we can act being dictated, among other things, by efficiency on the degree of improvement.
  • An example of such areas may be a process of manufacturing products for which buyers show a degree of satisfaction which the manufacturer seeks to improve significantly with the minimum possible effort.
  • the invention consists in collecting the expertise necessary to respond to the problem. Instead of directly modeling the debriefing to be provided to the students, the invention models the preferences that the expert has on the alternatives (the students). This is done through the theory of multi-criteria decision. It is a question of modeling the noted preference relation that the experts (the instructors) can have on the alternatives. The multi-criteria aspect stems from the fact that the alternatives are described by different points of view to be taken into account.
  • the second step is to provide the student with the debriefing. By analyzing the expression of the “global cost” function U, we deduce what a student x should do to progress as best as possible.
  • U (x) H (u ⁇ x ⁇ ... sU n ⁇ x n ))
  • H the aggregation function
  • u the utility functions.
  • the number U, (XJ) corresponds to the degree of satisfaction that the expert gives to the alternative x concerning only the point of view X * .
  • the aggregation function H therefore aggregates the degrees of satisfaction of an alternative according to the different points of view, and returns the overall degree of satisfaction.
  • the problem of multi-criteria aggregation consists in synthesizing information reflecting different and sometimes conflicting aspects or points of view about a set of objects. It arises crucially in industrial systems, in particular in the form of multi-criteria decision problems. It is then characterized by the construction of a family of n criteria functions with real value (the utility functions Uj), making it possible to evaluate the performances (or degrees of satisfaction) of the different actions according to each point of view. The performance of an action according to the different criteria is then aggregated via H.
  • Phase 1 Prioritization of criteria. This involves determining the points of view to be taken into account and their hierarchy in the form of a tree. The methodologies for doing this are known and are based on the use of cognitive maps ⁇ C. Eden, "Cognitive mapping", Europ. J. of Operational Research, 36, pp. 1-13, 1988). Some software such as COPE aims to help the decision maker to bring out the relevant criteria.
  • Phase 2 Formalization of criteria. A certain number of software programs make it possible to determine the utility functions Uj (Expert Choice, Criterium Decision Plus, MACBETH weight).
  • the next step is an important step in the invention.
  • Knowledge of U (x) is not enough to solve the debriefing problem.
  • the goal is to modify it (change the value of the criteria) so that it improves the overall score of the action as effectively as possible.
  • We then seek to maximize the “benefit to cost ratio” (the ratio: expected benefit of suggestions for improvements / cost of efforts to produce to obtain these improvements): make the smallest effort possible which best improves the overall score.
  • We are trying to determine the student's weak points. What ultimately interests the instructor is to provide the weak points to improve, that is to say the criteria on which the student must progress as a priority to improve as effectively as possible.
  • the aggregation function H will then correspond to the maximum.
  • student x has an interest in improving as a priority according to the criterion for which has the highest score.
  • an aggregation function consider the case of a weighted sum. It is an extremely popular way of aggregating several criteria. For this aggregation function, each criterion is independent of the others, in the sense that the contribution of a criterion to the overall score does not depend on the scores according to the other criteria.
  • the advice to be given to the student is very simple to determine.
  • the previous examples correspond to typical, extreme, decision-making attitudes.
  • the decision-making strategies of a decision maker lie between these extreme attitudes. There is generally both tolerance and intolerance.
  • the criteria do not all have the same importance. Under these conditions, it is not at all simple to provide the weak points to be improved as a priority.
  • the method of the invention consists in building an index ⁇ A which indicates the interest which the pupil has to improve following a coalition A of criteria.
  • This notion of interest must reflect the fact that we want a certain efficiency in improvements.
  • the index ⁇ A depends, in addition to pupil x, on the evaluation function H.
  • ⁇ A ⁇ H, x the interest of student x to improve according to the coalition A of criteria, for the notation system H.
  • pupil x has the most interest in improving in priority according to all the criteria of the coalition A maximizing ⁇ A (H, x).
  • ⁇ A H, ⁇
  • H, ⁇ the simplified example of the evaluation of a car (see figure 1) broken down as follows: there is in a level N1 performance, cost and comfort criteria.
  • These “macro-criteria” include partial criteria (in a level N2), which are respectively, for the performance: the cubic capacity and the power, for the cost: the price of the car and its consumption and for comfort: the color , the aesthetics of the body and the quality of the suspension.
  • the minimum corresponds to a generalization of the logical binary operator AND. Note also that it is possible to normalize these three interests (before applying the minimum) to take into account the fact that they are based on different aggregation operators. This example illustrates the way in which the interests on several levels of aggregation are generally determined from the interests calculated on a single level of aggregation.
  • the invention proposes to build an index ⁇ A which indicates the interest that an alternative has to improve according to the coalition (set of criteria taken simultaneously) A of criteria.
  • This notion of interest must reflect the fact that we want a certain efficiency in the increases. These indications also depend on the individual, on the evaluation function H.
  • ⁇ A (H, ⁇ ) the interest that the action x has to improve according to the coalition A of criteria, for the notation system H.
  • an indicator n'est A is not easy.
  • the approach that comes to mind is to intuitively construct an expression of ⁇ A. We can then verify that this expression produces a good type of behavior on a certain number of examples of aggregation functions. But then, if we want to use ⁇ A on other examples of aggregation functions, how can we be sure that we will also have good behavior? It is to answer this question that, according to the invention, the indicator ⁇ A was constructed mathematically. The idea is then to determine the expression of ⁇ A (H, x) for any aggregation function H based on certain properties involving only a few very families. specific aggregation functions.
  • the invention starts from a so-called axiomatic approach, that is to say consisting in characterizing ⁇ A (H, ⁇ ) by a series of properties which a decision-maker would naturally attribute to the interest in improving. following the coalition A of criteria.
  • An approach of this type is widely used in decision theory, because it allows the decision maker to understand the properties characterizing the notion that one wants to define, without going through the mathematical expression of this notion.
  • each typical attitude corresponds to a certain percentage of the overall decision-making strategy.
  • the interest in improving according to the criteria of coalition A for H is also a linear combination (with the same weights) of the interests in improving according to the criteria of coalition A for H, ..
  • the indicator must satisfy the following linearity property (L):
  • H The way in which H is determined in practice is always approximate. Thus, several H functions can transcribe the same expertise. These functions are close to each other. It is therefore necessary to ensure that the interest in improving according to the criteria of coalition A gives approximately the same result for all these aggregation functions.
  • the indicator ⁇ A ⁇ H) ⁇ ) must satisfy the property of continuity (C) with respect to H:
  • the indicator does not attach particular importance to one criterion in relation to another criterion. It must analyze H without favoring a criterion a priori. We must therefore have anonymity between the criteria.
  • the indicator must therefore satisfy the following property of symmetry (S):
  • This property reflects the fact that an alternative, when it improves, has the same a priori probability of reaching any better ranked alternative.
  • ⁇ _ also satisfies the properties (L), (C), (S), (IN), (R) and (I).
  • H ⁇ - ⁇ ) u A + ⁇ , u N _ A ) -H ⁇ u) corresponds to the gain obtained on the overall score when the alternative goes from UA scores according to coalition A to ⁇ - ⁇ ) u A + ⁇ .
  • ⁇ A is the mean value on the diagonal of the gains obtained on the overall score. Achieving the mean value on the diagonal means that we want the student to improve uniformly according to all the criteria of coalition A.
  • ⁇ A corresponds to the case where the aggregator in property (D) is fixed to the minimum function:
  • the indicator ⁇ A is therefore the largest among all the admissible indicators (i.e. it satisfies the properties (L), (C), (S), (IN), (R), ( D) and (I)). It has been shown that all the admissible indicators are equal when A is a singleton. So, from the result R1 given above, the indicator ⁇ A therefore has the property of favoring coalitions of more than one element. It is this indicator which characterizes the invention.
  • the effort function can then be modeled in a similar way to the aggregation function H, that is to say by relying on phase 3 of the theory of multi-attribute utility described above.
  • the invention recommends the following choice for the effort function: E A ((1 - ⁇ ) u A + ⁇ , u) - ⁇ (l - M,). ⁇ A
  • the weak points to improve in priority are the criteria of the coalition A which maximizes ⁇ A.
  • A ⁇ is a coalition composed of a single criterion (criterion i in this case)
  • criterion i the interest in improving according to criterion i only.
  • the determination of the criterion i on which it is more efficient on average to improve corresponds to the index i maximizing ⁇ ,.
  • each criterion is independent of the others in the sense that the contribution of a criterion to the overall score does not depend on the scores of the other criteria.
  • the student has an interest in improving first of all on the criterion of greatest weight (that is to say the most important criterion), and this whatever their scores.
  • the indicator ⁇ therefore provides the expected results on these classical aggregation functions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

PROCEDE D'AIDE A LA PROPOSITION D'AMELIORATIONS D'AU
MOINS UNE PARTIE DES PARAMETRES REGISSANT UN SYSTEME A
PLUSIEURS PARAMETRES D'ENTREE
La présente invention se rapporte à un procédé d'aide à la proposition d'améliorations d'au moins une partie des paramètres régissant un système à plusieurs paramètres d'entrée.
Un exemple d'un tel système peut être un simulateur d'entraînement. Un tel système doit comporter une fonction d'aide pédagogique. Un aspect important de la pédagogie ainsi assurée est le «débriefing», c'est-à-dire l'analyse des résultats d'un élève à l'issue d'une séance d'exercice sur simulateur d'entraînement. Le problème est d'exposer aux élèves finissant un exercice sur simulateur une analyse de leur performances en leur montrant leur points faibles (ce qui leur permettra de progresser) et points forts (ce qui est un stimulant psychologique). L'idée sous-jacente est d'optimiser le cursus de formation afin de réduire le coût de formation des élèves.
Dans le cadre des applications précédemment mentionnées, on doit indiquer aux élèves leur points forts et points faibles à l'issue d'un exercice. Les indications fournies doivent leur permettre de progresser le plus efficacement possible. Le problème qui se pose est alors le suivant : comment intégrer l'expertise des instructeurs afin d'analyser un exercice et fournir ces informations aux élèves ? Un certain nombre de technologies du domaine de l'intelligence artificielle traitent de ce problème :
- Les systèmes experts. Des systèmes experts sont développés pour résoudre ce type de problème. Le système expert compare la séquence d'actions effectuées par l'élève à ce qu'un expert aurait fait, et présente les erreurs à l'élève. Les systèmes experts sont basés sur une analyse séquentielle de l'exercice. Ceci n'est pas toujours souhaitable. La question de la détermination des règles du système expert pose problème.
- La logique floue. La logique floue a été appliquée à maintes reprises, notamment au Japon. L'obtention des règles floues est loin d'être aisée, et de nombreux problèmes existent.
- Les arbres de décision. Les arbres de décision sont très utilisés, en classification notamment. Ils peuvent devenir très complexes et perdre toute lisibilité. Ils présentent donc les mêmes inconvénients que les réseaux de neurones.
Dans les technologies existantes, l'expertise est souvent modélisée sous forme de règles. L'exercice est alors souvent vu comme une séquence d'actions à réaliser. Avec ces technologies, un aspect essentiel n'est pas pris en compte : l'aspect multicritère du problème. En effet, plusieurs critères de décision doivent être pris en compte pour fournir un débriefing aux élèves. La difficulté est que ces critères interagissent de manière complexe les uns avec les autres. Certains critères sont antagonistes, d'autres sont complémentaires. Les technologies existantes ne permettent pas de modéliser ces phénomènes.
Les technologies existantes demandent en général de modéliser directement l'expertise concernant le débriefing à fournir aux élèves.
Le procédé de l'invention consiste à déterminer un modèle qui contient les critères partiels d'évaluation d'un élève, et représente le degré de satisfaction , à agréger ces critères partiels de façon à pouvoir exprimer un degré de satisfaction global, à évaluer l'élève et à mettre en évidence les points faibles à améliorer par action sur au moins une partie des paramètres.
La présente invention sera mieux comprise à la lecture de la description détaillée d'un mode de mise en oeuvre, pris à titre d'exemple non limitatif et illustré par le dessin annexé, sur lequel :
- la figure 1 est un diagramme simplifié montrant la façon d'obtenir, selon l'invention, un indicateur global,
- la figure 2 est un diagramme simplifié des scores obtenus par un élève, et
- les figures 3 et 4 sont des diagrammes de critères relatifs à l'élève qualifié dans la figure 1 , respectivement dans le cas d'un moniteur intolérant et d'un moniteur tolérant.
La présente invention est décrite ci-dessous en référence à un élève qui suit des séances de perfectionnement sur un simulateur d'entraînement (simulateur de conduite automobile ou de pilotage d'avion,...), mais il est bien entendu que l'invention n'est pas limitée à cette seule application, et qu'elle peut être mise en œuvre dans de nombreux autres domaines, non seulement des domaines pédagogiques, mais dans tous domaines dans lesquels un système est régi par plusieurs critères d'entrée qui déterminent un résultat, ce résultat pouvant être amélioré ou optimisé après analyse de sa notation, l'amélioration pouvant être plus ou moins importante selon que l'on agit sélectivement sur certains des paramètres (ou sur l'ensemble de ces paramètres), le choix des paramètres sur lesquels on peut agir étant dicté, entre autres, par l'efficacité sur le degré d'amélioration. Un exemple de tels domaines peut être un processus de fabrication de produits pour lesquels les acheteurs manifestent un degré de satisfaction que le fabricant cherche à améliorer sensiblement avec le minimum possible d'efforts. Dans le cas d'un système pédagogique, l'invention consiste à recueillir l'expertise nécessaire pour répondre au problème. Au lieu de modéliser directement le débriefing à fournir aux élèves, l'invention modélise les préférences que l'expert a sur les alternatives (les élèves). Ceci se fait au travers de la théorie de la décision multicritère. Il s'agit de modéliser la relation de préférence notée que les experts (les instructeurs) peuvent avoir sur les alternatives. L'aspect multicritère provient du fait que les alternatives sont décrites par différents points de vue à prendre en compte.
Plus précisément, l'invention propose d'utiliser la théorie de l'utilité multiattribut {R.L. Keeney and H. Raiffa, « Décision with Multiple Objectives », Wiley, New York, 1976). Il s'agit de modéliser la relation de préférence sur les résultats des élèves par une utilité globale (score global) : x≥y <=> U(x)≥ U( ) A chaque alternative x, est donc associée une utilité globale U(x) qui traduit le degré de préférence que l'expert accorde à x. La seconde étape consiste à fournir à l'élève le débriefing. En analysant l'expression de la fonction « coût global » U, on en déduit ce qu'un élève x devrait faire pour progresser le plus mieux possible.
Pour décrire la théorie de l'utilité multiattribut, supposons que l'on dispose de n points de vue X ,..., Xn décrivant les différents aspects à prendre en compte pour évaluer un élève. La fonction d'utilité globale U est prise sous la forme suivante :
U(x) = H(u {xχ...sUn{xn)) où H est la fonction d'agrégation et les u, sont les fonctions d'utilité. Les n points de vue étant donnés dans des unités de mesure différentes, les fonctions d'utilité servent à passer à une échelle unique C de commensurabilité. Les fonctions d'utilité servent donc à pouvoir comparer des valeurs données suivant différents points de vue. L'échelle C est un intervalle de l'ensemble des réels (typiquement C=[0,1]). Le nombre U,(XJ) correspond au degré de satisfaction que l'expert accorde à l'alternative x concernant uniquement le point de vue X*. La fonction d'agrégation H agrège donc les degrés de satisfaction d'une alternative suivant les différents points de vue, et retourne le degré de satisfaction global.
Le problème de l'agrégation multicritères consiste à synthétiser des informations traduisant des aspects ou points de vue différents et parfois conflictuels au sujet d'un ensemble d'objets. Il se pose de manière cruciale dans des systèmes industriels, notamment sous la forme de problèmes de décision multicritères. Il se caractérise alors par la construction d'une famille de n fonctions critères à valeur réelles (les fonctions d'utilité Uj), permettant d'évaluer les performances (ou degrés de satisfaction) des différentes actions selon chacun des points de vue. Les performances d'une action suivant les différents critères sont alors agrégées via H.
La description ci-dessus concerne le cas où tous les points de vue sont agrégés au même niveau. Néanmoins, lorsque le nombre de points de vue devient assez important, nous réalisons dans la pratique plusieurs niveaux d'agrégation en cascade.
Pour déterminer entièrement le modèle, l'invention met en oeuvre les trois phases suivantes :
Phase 1 : Hiérarchisation des critères. Il s'agit de la détermination des points de vue à prendre en compte et de leur hiérarchisation sous forme d'arbre. Les méthodologies permettant de faire ceci sont connues et sont basées sur l'utilisation de cartes cognitives {C. Eden, « Cognitive mapping », Europ. J. of Operational Research, 36, pp. 1-13, 1988). Certains logiciels tel que COPE ont pour objectif d'aider le décideur à faire émerger les critères pertinents. Phase 2 : Formalisation des critères. Un certain nombre de logiciels permettent de déterminer les fonctions d'utilité Uj (Expert Choice, Critérium Décision Plus, MACBETH poids).
Phase 3 : Détermination de la fonction d'agrégation : de nombreux logiciels et techniques mettent en œuvre la construction de la fonction d'agrégation H : Expert Choice, Critérium Décision Plus, MACBETH côtes, TOPSIS, DESCRIPTOR. Ces outils sont basés sur l'utilisation d'une somme pondérée. H s'écrit alors sous la forme H(u ...,un) = a]uχ 2u2 + --- + anun , où a ,---an sont les poids de pondération. Même si ce type de modèle est tout à fait envisageable dans la pratique, il ne permet pas de modéliser les stratégies un peu fines de décision.
Pour pallier cela, l'intégrale de Choquet {G. Choquet, « Theory of capacities », Annales de l'Institut Fourier, No 3, PP. 131-295, 1953) a été introduite comme fonction d'agrégation. Elle permet de modéliser l'importance des critères, l'interaction entre critères et les stratégies typiques de décision telles que le veto, la faveur, la tolérance et l'intolérance {M. Grabisch, « The application of fuzzy intégrais in multicriteria décision making », Europ. J. of Operationnal Research, No 89, PP. 445-456, 1996). Plusieurs méthodes permettent de déterminer les paramètres de l'intégrale de Choquet à partir de données d'apprentissage fournies par l'expert : on peut mentionner une méthode heuristique {M. Grabisch, « A new algorithm for identifying fuzzy measures and its application to pattern recignition », dans Int. Fuzzy Engeneering Symposium, PP 145-150, Yokohama, Japan, 1995), et une méthode linéaire {J.L Marichal, M. Roubens, « Dependence between criteria and multple c teria décision aid », dans -fd Int. Workshop on Préférences and Décisions, PP. 69-75, Trento, Italy, 1998).
L'étape suivante est une étape importante de l'invention. La connaissance de U(x) ne suffit pas pour résoudre le problème de débriefing. On dispose d'une action x que l'on veut modifier. Le but est de la modifier (modifier la valeur des critères) de sorte que cela améliore le plus efficacement possible le score global de l'action. On cherche alors à maximiser le « benefit to cost ratio » ( le rapport: bénéfice attendu des suggestions d'améliorations / coût des efforts à produire pour obtenir ces améliorations): faire le plus petit effort possible qui améliore au mieux le score global. On cherche à déterminer les points faibles de l'élève. Ce qui intéresse in fine l'instructeur, c'est de fournir les points faibles à améliorer, c'est à dire les critères sur lesquels l'élève doit progresser en priorité pour s'améliorer le plus efficacement possible. Lorsqu'il y a plusieurs niveaux d'agrégation, il faut passer par les différents niveaux d'agrégation pour arriver aux critères. Il faut d'abord réaliser l'analyse niveau d'agrégation par niveau d'agrégation, puis combiner ces analyses partielles pour en déduire les points faibles à améliorer.
On procède d'abord à la détermination des points faibles pour un seul niveau d'agrégation. La détermination des points faibles d'un élève est beaucoup plus complexe que de lister les critères sur lesquels l'élève a eu un mauvais score. En fait, elle dépend de la manière dont l'instructeur juge globalement les élèves. Pour s'en convaincre, donnons plusieurs exemples. Considérons tout d'abord l'exemple d'un instructeur qui est très intolérant dans le sens où il n'est satisfait que si l'élève a de bons scores suivant tous les critères. La fonction d'agrégation H correspondra alors au minimum: le score global est la plus petite note parmi tous les scores. Dans ce cas, il est clair que le seul critère sur lequel l'élève x a intérêt à s'améliorer est le critère pour lequel x a le plus petit score. Prenons maintenant un instructeur extrêmement tolérant dans le sens où il est satisfait dès que l'élève a réussi suivant un seul critère. La fonction d'agrégation H correspondra alors au maximum. Dans ce cas, l'élève x a intérêt à s'améliorer en priorité suivant le critère pour lequel a le plus grand score. Comme dernier exemple de fonction d'agrégation, prenons le cas d'une somme pondérée. C'est une manière extrêmement répandue d'agréger plusieurs critères. Pour cette fonction d'agrégation, chaque critère est indépendant des autres, dans le sens où la contribution d'un critère au score global ne dépend pas des scores selon les autres critères. Il est clair que pour une somme pondérée, les élèves ont intérêt à travailler en priorité suivant le critère le plus important (c'est- à- dire ayant le plus grand poids dans la somme pondérée). Nous venons donc de voir que le critère sur lequel x doit concentrer ses efforts dépend de la fonction d'agrégation H en plus de x lui-même.
Sur des exemples simples de fonctions d'agrégation, les conseils à donner à l'élève sont très simples à déterminer. Les exemples précédents correspondent à des attitudes typiques, extrêmes, de décision. Les stratégies de décision d'un décideur se situent entre ces attitudes extrêmes. On y trouve généralement à la fois de la tolérance et de l'intolérance. De plus, les critères n'ont pas tous la même importance. Dans ces conditions, il n'est pas simple du tout de fournir les points faibles à améliorer en priorité.
Pour résoudre cette difficulté, le procédé de l'invention consiste à construire un indice ωA qui indique l'intérêt que l'élève a de s'améliorer suivant une coalition A de critères. Cette notion d'intérêt doit traduire le fait que l'on désire une certaine efficacité dans les améliorations. Comme cela a été expliqué précédemment, l'indice ωA dépend, en plus de l'élève x , de la fonction d'évaluation H . On note ωA {H,x) l'intérêt de l'élève x à s'améliorer suivant la coalition A de critères, pour le système de notation H . Ainsi l'élève x a le plus intérêt à s'améliorer en priorité suivant tous les critères de la coalition A maximisant ωA {H,x) .
On décrit ci-dessous plusieurs expressions de ωA {H,χ) mettant en œuvre notamment la notion d'effort à fournir pour réaliser une amélioration. Pour expliquer la détermination des points faibles pour plusieurs niveaux d'agrégation, considérons, dans un autre domaine, l'exemple simplifié de l'évaluation d'une voiture (voir figure 1) décomposée de la façon suivante : il y a dans un niveau N1 les critères de performance, de coût et de confort. Ces « macro-critères » incluent des critères partiels (dans un niveau N2), qui sont respectivement, pour la performance : la cylindrée et la puissance, pour le coût : le prix de la voiture et sa consommation et pour le confort : la couleur, l'esthétique de la carrosserie et la qualité de la suspension. Si l'on veut connaître l'intérêt à améliorer la voiture suivant les critères puissance, couleur et suspension, il faut combiner l'intérêt pour l'évaluation globale à améliorer les macro-critères performance et confort, l'intérêt pour le macro-critère performance à améliorer le critère puissance, et l'intérêt pour le macro-critère confort à améliorer les critères couleur et suspension. Plus précisément, il n'est intéressant d'améliorer la voiture à la fois suivant les critères puissance, couleur et suspension que si les trois intérêts mentionnés précédemment sont importants. Cela amène à définir l'intérêt à améliorer la voiture suivant les critères puissance, couleur et suspension comme le minimum entre les trois intérêts mentionnés précédemment. L'utilisation du « minimum » traduit bien le fait que l'on souhaite que les trois intérêts soient grands en même temps. Dit de manière plus technique, le minimum correspond à une généralisation de l'opérateur binaire logique ET. Notons aussi qu'il est possible de normaliser ces trois intérêts (avant l'application du minimum) pour tenir compte du fait qu'ils se basent sur différents opérateurs d'agrégation. Cet exemple illustre la façon dont on détermine de manière générale les intérêts sur plusieurs niveaux d'agrégation à partir des intérêts calculés sur un seul niveau d'agrégation. Pour résoudre le problème posé, l'invention propose de construire un indice ωA qui indique l'intérêt qu'une alternative a de s'améliorer suivant la coalition (ensemble de critères pris simultanément) A de critères. Cette notion d'intérêt doit traduire le fait que l'on désire une certaine efficacité dans les accroissements. Ces indications dépendent en plus de l'individu , de la fonction d'évaluation H . On note ωA{H,χ) l'intérêt que l'action x a de s'améliorer suivant la coalition A de critères, pour le système de notation H .
On considère un ensemble de n critères. Les scores de l'action x suivant les n attributs seront notés x. ,---xn . Les degrés de satisfaction partiels suivant les n critères sont notés u. un. On a Pour une coalition A de critères, on note UA l'ensemble des scores de x obtenus sur les critères de la coalition A, et on note UN-A l'ensemble des scores de obtenus sur les critères autres que ceux de la coalition A. L'intérêt à s'améliorer ωA{H,x) se concentre sur l'influence de la fonction d'agrégation Η. Ceci est cohérent avec une approche multiniveau dans laquelle l'influence de chaque niveau d'agrégation est étudié séparément. A un certain niveau, on s'intéresse à l'influence d'une amélioration des macrocritères agrégés à ce niveau, sur le degré de satisfaction issu de l'agrégation de ce niveau. On ne se préoccupe pas ici des fonctions d'utilité sur les notes x, . On va d'abord examiner, pour simplifier les explications, la façon d'obtenir l'expression de l'indicateurωΛ sans effort. La notion d'intérêt à s'améliorer doit traduire le fait que l'on désire une certaine efficacité dans les accroissements que l'alternative pourra effectuer. Cela demande de tenir compte de l'effort que l'alternative devra fournir pour réaliser une certaine amélioration.
La construction d'un indicateur ωA n'est pas aisée. L'approche qui vient à l'esprit est de construire intuitivement une expression de ωA . On peut alors vérifier que cette expression produit un bon type de comportement sur un certain nombre d'exemples de fonctions d'agrégation. Mais alors, si l'on veut utiliser ωA sur d'autres exemples de fonctions d'agrégation, comment peut-on être sûr que l'on aura aussi un bon comportement ? C'est pour répondre à cette question que, selon l'invention, l'indicateur ωA a été construit mathématiquement. L'idée est alors de déterminer l'expression de ωA{H,x) pour une fonction d'agrégation H quelconque en se basant sur certaines propriétés ne faisant intervenir que quelques familles très spécifiques de fonction d'agrégation. Plus précisément, l'invention part d'une approche dite axiomatique, c'est-à-dire consistant à caractériser ωA{H,χ) par une série de propriétés qu'un décideur attribuerait naturellement à l'intérêt à s'améliorer suivant la coalition A de critères. Une approche de ce type est très utilisée en théorie de la décision, car elle permet au décideur de comprendre les propriétés caractérisant la notion que l'on veut définir, sans passer par l'expression mathématique de cette notion.
On va décrire maintenant les propriétés naturelles que ωA doit satisfaire. Parmi l'ensemble des attitudes de décision pouvant se présenter, certaines sont assez extrêmes. C'est ce que l'on appelle les stratégies typiques de décision. Comme exemple de stratégies typiques, on a les phénomènes de tolérance, d'intolérance, et de dictateur. La plupart des attitudes de décision se trouvent parmi les stratégies typiques typiques et se construisent à partir de ces stratégies typiques. Plus précisément, puisque l'on travaille sur les échelles numériques, les attitudes de décision H s'écrivent sous la forme de combinaisons linéaires de stratégies typiques H..
Il s'agit en fait de combinaisons convexes dans le sens où chaque attitude typique correspond à un certain pourcentage de la stratégie globale de prise de décision. Pour chaque attitude typique, on peut définir un intérêt à s'améliorer. On s'attend alors à ce que l'intérêt à s'améliorer suivant les critères de la coalition A pour H soit aussi une combinaison linéaire (avec les mêmes poids) des intérêts à s'améliorer suivant les critères de la coalition A pour les H,.. Autrement dit, l'indicateur doit satisfaire à la propriété de linéarité (L) suivante :
P - Si H s'écrit sous la forme H = _V_ i H. , alors ι=l
La manière dont H est déterminé en pratique est toujours approximative. Ainsi, plusieurs fonctions H peuvent transcrire la même expertise. Ces fonctions sont proches les unes des autres. Il convient dès lors de s'assurer que l'intérêt à s'améliorer suivant les critères de la coalition A donne approximativement le même résultat pour toutes ces fonctions d'agrégation. L'indicateur ωA{H){χ) doit satisfaire la propriété de continuité (C) par rapport à H :
-(C) : Si H, et H2 sont deux fonctions d'agrégation fournissant approximativement les mêmes valeurs, alors : ωA(H.,x) est proche de ωA{H2,x) .
L'indicateur n'accorde pas une importance particulière à un critère par rapport à un autre critère. Il doit analyser H sans favoriser a priori un critère. On doit donc avoir anonymat entre les critères.
L'indicateur doit donc satisfaire la propriété de symétrie (S) suivante :
-(S) : Si l'on permute l'ordre des critères dans A, H et x de la même manière, alors : ωA{H,x) ne doit pas changer.
Considérons le cas d'une fonction H(x) ne dépendant pas des valeurs de x suivant une coalition A de critères. Alors comme l'amélioration d'une alternative x suivant les critères A n'amène aucune amélioration suivant le score global, il est complètement inutile de s'améliorer suivant cette coalition de critères.
Ainsi l'intérêt ωA{H,x) doit être nul (propriété IN d'intérêt nul): -(IN) : Si la fonction H(x) ne dépend pas des valeurs de x suivant la coalition A de critères, alors : ωA{H,x) = .
Considérons le cas d'une fonction H ne dépendant pas d'un critère
/'. Dans ce cas, le gain sur le score global que l'on peut produire en s'améliorant suivant la coalition A de critères est le même que celui en s'améliorant en plus suivant le critère /'. Comme, dans dans le cas présent, on se place sous l'hypothèse que cela ne coûte pas plus d'effort de travailler en plus suivant le critère /, alors il est naturel que ωAlJ^(H,x) = ωA{H,χ) . La propriété de récursivité ( R) est alors : -(R): Soit A une coalition de critères et / un critère n'appartenant pas à A. Si la fonction H(x) ne dépend pas de x,-, alors : ωAu{i}{ ,x) = ωA{H,x) .
Intéressons-nous à une famille de fonctions d'évaluation qui sont très intuitives. Considérons le cas où le décideur est parfaitement satisfait si les scores d'une action se situent entre deux seuils multidimensionnels donnés et β , et trouve l'action inacceptable dans le cas contraire. Cette famille est donc composée de toutes les évaluations Ia β indexées para, β e [θ,l]" , avec
Jl, si pour tout j, Uj e [a,,/?,]
^ 1 0 sinon
L'optimisation de la fonction Ia<β correspond à un problème de satisfaction de contraintes dans lequel on a une contrainte dure ( M. e |αy-, 3 ) par critère. Définissons aussi, pour L,μ ε [θ,l] , la quantité Jλ'<μ {χ) de la manière suivante
Soit A une coalition de critères et x tel que M . e [α,, ? .J pour tout j en dehors de la coalition A. Alors, le score global Ia {χ) se décompose suivant chaque critère de A de la manière suivante : Ia (x) = J~| Ja l β. (x) . i_A
Chaque J_. {x) ne dépend que de u,. Dans cette décomposition, on a indépendance entre les différentes variables. Compte tenu de cela, il est naturel que l'intérêt ωA{Ia β,χ) se décompose suivant les intérêts ω^J^' β ,χ) pour tous les critères i dans la coalition A. L'indicateur doit donc satisfaire à la propriété de décomposition (D) suivante :
-(D) : Soit x tel que u . e pour tout j en dehors de la coalition A. Alors : ωA{Ia β,x) est une agrégation des ω,.(J^ β ,x) pour tous les critères /dans la coalition A.
La manière dont l'agrégation des intérêts est faite, n'est pas spécifiées dans la propriété de décomposition.
Pour le score global Jλ'Mη {χ) , il est intéressant d'améliorer le score xi et de le passer à y,- si w. & et v,. ε [λ,λ+77] {v,- étant le degré de satisfaction de y). Pour différentes valeurs de λ , une alternative x a toujours la même chance d'effectuer une amélioration qui sera bénéfique, puisque la probabilité ne dépend que de la taille η de l'intervalle [λ./L+η].
Ainsi , puisque nous supposons ici que cela ne demande pas d'effort de s'améliorer, o^J^^x) ne doit pas dépendre de λ . L'indicateur doit donc satisfaire la propriété d'invariance (I) suivante : -(I) : Pour tout λ,μ,η tels que λ,λ +η,μ,μ +η > w,. , alors
®i (Jλ' ,λ+η > χ) = ωi (jμi .lι+η > x') -
Cette propriété traduit le fait qu'une alternative, lorsqu'elle s'améliore, a la même probabilité a priori d'atteindre n'importe quelle alternative mieux classée.
On va exposer maintenant comment exprimer ωA . On a exposé ci-dessus quelques propriétés qu'il serait naturel que ωA{H,x) ait. Il en découle le résultat R1 suivant :
-Résultat R1 : Soit ωA un indicateur satisfaisant les propriétés (L), (C), (S), (IN), (R), (D) et (I). Alors ωA{H,x) < ωA A{H,x) , avec : ωA {H,x) = -τ)uA +τ,uN_A)- H{u)] dτ . De plus, ω_ satisfait aussi les propriétés (L), (C), (S), (IN), (R) et (I).
Donnons une interprétation de l'expression de ωA . Le terme
H{{\ -τ)uA +τ,uN_A)-H{u) correspond au gain obtenu sur le score global lorsque l'alternative passe des scores UA suivant la coalition A à {\ -τ)uA +τ .
Le point {\ -τ)uA +τ se situe sur la diagonale entre uA et l'alternative qui est parfaitement satisfaisante partout (score 1 sur tous les critères). Ainsi, ωA est la valeur moyenne sur la diagonale des gains obtenus sur le score global. Réaliser la valeur moyenne sur la diagonale signifie que l'on souhaite que l'élève s'améliore de manière uniforme suivant tous les critères de la coalition A.
Nous allons voir que ωA correspond au cas où l'agrégateur dans la propriété (D) est fixé à la fonction minimum :
-DECOMPOSITION* (D*) : Soit xtel que Uj e |α,,j8,J pour tout y en dehors de la coalition A. Alors ωA {Ia ){x) est le minimum des ω^J^' β. ,x) pour tous les critères /dans la coalition A. ωA est caractérisé de la manière suivante :
-Résultat R2 : Un indicateur ωA satisfait les propriétés (L), (C), (S), (IN), (R), (D*) et (I) si et seulement si ωA{H,x) = ω^{H,x) . L'indicateur ωA est donc le plus grand parmi tous les indicateurs admissibles (c'est-à-dire qu'il satisfait les propriétés (L), (C), (S), (IN), (R), (D) et (I)). Il a été montré que tous les indicateurs admissibles sont égaux lorsque A est un singleton. Alors, d'après le résultat R1 donné plus haut , l'indicateur ωA a donc la propriété de favoriser les coalitions de plus d'un élément. C'est cet indicateur qui caractérise l'invention.
Dans l'exposé ci-dessus, nous avons obtenu une expression de l'intérêt ωA lorsque la notion d'effort à produire pour s'améliorer n'existe pas. Or, il est clair que cela coûte quelque chose de s'améliorer. Il faut en tenir compte afin que l'estimation de l'effort ωA soit réaliste.
Pour exprimer l'indicateur ωA avec effort, on note EA {{ï -τ)xA +τ,x) l'effort à fournir pour passer de XA à {\ -τ)xA +τ suivant la coalition A, les scores suivant les autres critères restant à xι..A. La généralisation de ωA au cas où l'effort doit être pris en compte devient :
= H{{Xτ)uA X,uN_A)- H{u) dχ l EA{{l -τ)uA +τ,u)
La fonction d'effort peut alors être modélisée de manière similaire à la fonction d'agrégation H, c'est à dire en s'appuyant sur la phase 3 de la théorie de l'utilité multiattribut décrite plus haut. Néanmoins lorsque cet effort n'est pas facilement modelisable, l'invention préconise le choix suivant pour la fonction d'effort : EA ((1 - τ)uA + τ, u) - τ (l - M, ) . ι≡ A
Une fois que les indicateurs ωA sont calculés pour toute coalition
A de critères, l'instructeur en déduit imédiatement les points faibles de l'élève. Les points faibles à améliorer en priorité sont les critères de la coalition A qui maximise ωA . Pour montrer ceci de manière pratique, nous allons, dans un souci de clarté, ne nous intéresser qu'aux coalitions A qui correspondent à des singletons. Si A = {} est une coalition composée d'un seul critère (le critère i en l'occurrence), on note ω, l'intérêt à s'améliorer suivant le critère i seulement. La détermination du critère i sur lequel il est plus efficace en moyenne de s'améliorer correspond à l'indice i maximisant ω, . Pour montrer la mise en application de l'indicateur ωt , considérons le cas d'un élève évalué au travers de quatre critères. Intéressons nous à l'élève défini par les scores x1 à x4 (voir figure 2):
Les indications données par ω,(H,x) sur quelques exemples de fonctions d'agrégation typiques :
Lorsque la fonction d'agrégation H est le minimum (décideur intolérant), on obtient (voir figure 3) : ω, , α-s et ω nulles, tandis que 0D2 est maximale. Ce résultat est parfaitement logique, puisque le score global de x ne pourra croître que si le score selon le plus mauvais critère de x (dans le cas présent, il s'agit du second critère) augmente. Il est complètement inutile de travailler suivant les autres critères.
Lorsque la fonction d'agrégation H est le maximum (décideur tolérant), on obtient (voir figure 4) : C03 > ω, > ω4 > ωz . Il est clair qu'avec cette fonction d'agrégation, l'action a intérêt à s'améliorer en priorité suivant le critère 3 (c'est-à-dire sur son meilleur critère). Contrairement à la fonction d'agrégation "minimum", il y a quand même un intérêt à s'améliorer suivant les autres critères. La somme pondérée SA est très souvent utilisée comme moyen d'agrégation. Elle s'écrit sous la forme Sλ (x) = A,x. +λ2x2 + t3χ3 +λ4x4. Pour cette fonction d'agrégation, chaque critère est indépendant des autres dans le sens où la contribution d'un critère au score global ne dépend pas des scores des autres critères. En prenant comme expression de l'effort celle exposée ci-dessus (indicateur ωA avec effort), on obtient
Autrement dit, l'élève a intérêt à s'améliorer en priorité sur le critère de plus fort poids (c'est-à-dire le critère le plus important) , et ce quels que soient ses scores. L'indicateur ω; fournit donc les résultats attendus sur ces fonctions d'agrégation classiques.

Claims

REVENDICATIONS
1. Procédé d'aide à la proposition d'améliorations d'au moins une partie des paramètres régissant un système à plusieurs paramètres d'entrée et produisant un résultat, caractérisé en ce qu'il consiste à calculer un modèle qui contient les critères partiels d'évaluation d'un résultat, et représente le degré de satisfaction en hiérarchisant les critères sous forme d'arbre, en calculant une fonction d'utilité (UJ) et en calculant une fonction d'agrégation (H) pour agréger ces critères partiels de façon à pouvoir exprimer un degré de satisfaction global, à évaluer le résultat et à mettre en évidence les points faibles à améliorer par action sur au moins une partie des paramètres.
2. Procédé selon la revendication 1 , caractérisé en ce que le système est un simulateur d'entraînement et que le résultat est un cursus de formation que le procédé doit optimiser.
3. Procédé selon la revendication 2, caractérisé en ce que pour mettre en évidence les point faibles à améliorer, on utilise un indicateur {ωA ) dépendant des agrégations et du score de l'élève et indiquant l'intérêt à améliorer le résultat selon une coalition (A) de critères.
4. Procédé selon l'une des revendications 1 à 3, caractérisé en ce que les agrégations se font sur plusieurs niveaux (N1 , N2).
5. Procédé selon l'une des revendications 2 à 4, caractérisé en ce que les points faibles à travailler correspondent à la coalition (A) qui maximise l'indicateur (ω ).
6. Procédé selon l'une des revendications précédentes, caractérisé en ce que l'indicateur est un indicateur global qui est obtenu à partir des minima d'indicateurs partiels calculés à différents niveaux d'agrégation (N1. N2).
7. Procédé selon l'une des revendications 3 à 6, caractérisé en ce que l'indicateur doit satisfaire toutes les propriétés suivantes: linéarité (L), continuité (C), symétrie (S), intérêt nul (IN), récursivité (R), décomposition (D), invariance (I).
8. Procédé selon la revendication 37 caractérisé en ce que l'indicateur préféré {ωA A ) est le seul satisfaisant en plus à la propriété
Décomposition* (D*).
EP02801142A 2001-12-21 2002-12-17 Procede d aide a la proposition d ameliorations d au moins une partie des parametres regissant un systeme a plusieurs parametres d entree Ceased EP1456698A1 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0116698A FR2834098A1 (fr) 2001-12-21 2001-12-21 Procede d'aide a la proposition d'ameliorations d'au moins une partie des parametres regissant un systeme a plusieurs parametres d'entree
FR0116698 2001-12-21
PCT/FR2002/004401 WO2003054604A2 (fr) 2001-12-21 2002-12-17 Procede d'aide a la proposition d'ameliorations d'au moins une partie des parametres regissant un systeme a plusieurs parametres d'entree

Publications (1)

Publication Number Publication Date
EP1456698A1 true EP1456698A1 (fr) 2004-09-15

Family

ID=8870859

Family Applications (1)

Application Number Title Priority Date Filing Date
EP02801142A Ceased EP1456698A1 (fr) 2001-12-21 2002-12-17 Procede d aide a la proposition d ameliorations d au moins une partie des parametres regissant un systeme a plusieurs parametres d entree

Country Status (4)

Country Link
US (1) US20050119769A1 (fr)
EP (1) EP1456698A1 (fr)
FR (1) FR2834098A1 (fr)
WO (1) WO2003054604A2 (fr)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090150800A1 (en) * 2007-12-05 2009-06-11 Glenn Wood Apparatus, Method and Computer Program Product for Generating Debriefing Charts
IL240831A (en) 2015-08-25 2017-03-30 Elbit Systems Ltd Methods and systems for detecting a vehicle operator's deviation from the doctrine
US11335349B1 (en) * 2019-03-20 2022-05-17 Visionary Technologies LLC Machine-learning conversation listening, capturing, and analyzing system and process for determining classroom instructional effectiveness
CN112819346A (zh) * 2021-02-04 2021-05-18 上海安恪企业管理咨询有限公司 一种基于topsis算法排序的管理体系评审方法和系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0876680A (ja) * 1994-09-02 1996-03-22 Fujitsu Ltd 管理教育システム
US5727950A (en) * 1996-05-22 1998-03-17 Netsage Corporation Agent based instruction system and method
US6164975A (en) * 1998-12-11 2000-12-26 Marshall Weingarden Interactive instructional system using adaptive cognitive profiling

Also Published As

Publication number Publication date
WO2003054604A2 (fr) 2003-07-03
FR2834098A1 (fr) 2003-06-27
US20050119769A1 (en) 2005-06-02

Similar Documents

Publication Publication Date Title
Makri et al. Complementary technologies, knowledge relatedness, and invention outcomes in high technology mergers and acquisitions
US8751429B2 (en) Personal taste assessment method and system
Axsen et al. Interpersonal influence within car buyers' social networks: applying five perspectives to plug-in hybrid vehicle drivers
Capuano et al. A fuzzy group decision making model for ordinal peer assessment
Nelyub et al. Machine learning to identify key success indicators
Ali et al. A comparative evaluation use bagging and boosting ensemble classifiers
Fang et al. A generalized stereotypical trust model
CN115525810B (zh) 情境驱动的大规模在线学习动态分组方法
CN113689234A (zh) 一种基于深度学习的平台相关的广告点击率预测方法
Vallee-Tourangeau Insight: On the origins of new ideas
CN120372419A (zh) 个性化艺术学习路径生成系统及其实现方法
EP1456698A1 (fr) Procede d aide a la proposition d ameliorations d au moins une partie des parametres regissant un systeme a plusieurs parametres d entree
Chen et al. A new over-sampling method based on cluster ensembles
CN116304773A (zh) 基于图神经网络的社区发现方法
Saroha et al. Analysis and evaluation of learning management system using data mining techniques
Temiyasathit et al. Course periodic behavior modelling and its application in LMS activity prediction
Kemna et al. Adaptive sampling: Algorithmic vs. human waypoint selection
Gammage Development of a scenario-based approach for responding to change in fishery systems: a case study in the small-scale fisheries of South Africa's southern Cape
Cowen What a non-Paretian welfare economics would have to look like
CN116797062A (zh) 企业的诊断方法、装置及设备
Akram et al. Complex m-Polar Fuzzy N-Soft Model.
Cui et al. Inferring Private Valuations from Behavioral Data in Bilateral Sequential Bargaining.
Johnson et al. On the perceived usefulness of scaling techniques in market analysis
Mouriya et al. Optimizing Tag-Based Image Search: A Social Re-Ranking Strategy for Enhanced Relevance and Diversity
Nedelcu et al. UML Class Model Generation of Images Using Neural Networks

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20040621

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LI LU MC NL PT SE SI SK TR

17Q First examination report despatched

Effective date: 20070202

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20080627