FR2714748A1 - Apprentissage supervisé d'un réseau neuronique. - Google Patents

Apprentissage supervisé d'un réseau neuronique. Download PDF

Info

Publication number
FR2714748A1
FR2714748A1 FR9415524A FR9415524A FR2714748A1 FR 2714748 A1 FR2714748 A1 FR 2714748A1 FR 9415524 A FR9415524 A FR 9415524A FR 9415524 A FR9415524 A FR 9415524A FR 2714748 A1 FR2714748 A1 FR 2714748A1
Authority
FR
France
Prior art keywords
layer
network
weights
pattern
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
FR9415524A
Other languages
English (en)
Other versions
FR2714748B1 (fr
Inventor
Huang Hsin-Hao
Lin Shui-Shun
Gerald M Knapp
Wang Hsu-Pin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Caterpillar Inc
Original Assignee
Caterpillar Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Caterpillar Inc filed Critical Caterpillar Inc
Publication of FR2714748A1 publication Critical patent/FR2714748A1/fr
Application granted granted Critical
Publication of FR2714748B1 publication Critical patent/FR2714748B1/fr
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0409Adaptive resonance theory [ART] networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23211Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00Surgery
    • Y10S128/92Computer assisted medical diagnostics
    • Y10S128/925Neural network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

La présente invention prévoit un système et un procédé pour l'apprentissage supervisé d'un réseau neuronique. On décrit une architecture de réseau neuronique et un procédé d'apprentissage qui sont une modification d'une architecture ARTMAP (200). Le réseau ARTMAP modifié (200) est un paradigme efficace et robuste qui possède la propriété spécifique de pouvoir réaliser un apprentissage supervisé incrémentiel. De plus, le réseau ARTMAP modifié (200) est capable de retirer des connaissances indésirables préalablement apprises par le réseau.

Description

APPRENTISSAGE SUPERVISE D'UN RESEAU NEURONIQUE
La présente invention concerne de façon générale le domaine de l'apprentissage d'un réseau neuronique, et plus particulièrement, un système et un procédé de réalisation d'un environnement d'apprentissage supervisé
pour un réseau neuronique.
Un réseau neuronique artificiel est une simulation du réseau neuronique biologique du cerveau humain. Le réseau neuronique artificiel accepte plusieurs entrées, effectue une série d'opérations sur ces entrées et produit une ou plusieurs sorties. On l'a étudié dans l'espoir de parvenir à lui faire résoudre des problèmes dont les données d'entrée sont complexes, incomplètes ou apparemment sans rapport, qui ne peuvent être résolus par des techniques de programmation classiques. La force des réseaux neuroniques artificiels réside dans leur vitesse de calcul et leur capacité à faire preuve d'une robustesse et d'une tolérance aux défauts
élevées.
Un réseau neuronique artificiel typique consiste en un certain nombre de neurones ou noeuds de traitement connectés et en un algorithme d'apprentissage. Chaque neurone se compose de trois éléments: des connexions pondérées, une fonction d'intégration et une fonction d'activation. Par l'intermédiaire des connexions, le neurone reçoit des entrées en provenance des neurones d'une couche précédente qui lui sont connectés, et transmet des sorties à ceux qui lui sont connectés dans la couche de neurones suivante. La fonction d'intégration se borne à additionner les entrées reçues. La fonction d'activation, qui se trouve généralement sous la forme d'une fonction sigmoïde non
linéaire, convertit les entrées intégrées en sorties.
Mathématiquement, une fonction d'intégration se présente sous la forme suivante: il]= lori Wii i o Ipj est l'entrée intégrée du neurone j correspondant au motif d'entrée p. Opi est la sortie du neurone i, Wji est le poids de la connexion entre les neurones
i et j.
Une fonction d'activation prend généralement la forme suivante: O,= I ',h
o fi est l'erreur systématique du neurone j.
Il existe deux types essentiels de connexions:
les connexions inhibitrices et les connexions excitatrices.
Les connexions inhibitrices réduisent l'activation des élé-
ments de traitement auxquels elles sont reliées, tandis que
les connexions excitatrices accroissent cette activation.
Par conséquent, une partie des connexions vers un neurone particulier peut avoir des poids négatifs (inhibitrices)
tandis que les autres ont des poids positifs (excitatrices).
Comme la formation et le fonctionnement des réseaux neuroniques artificiels s'effectuent en parallèle, ces réseaux se sont montrés capables d'effectuer des calculs complexes, rapidement et simultanément. De plus, le fait qu'un réseau consiste en un certain nombre de neurones (éléments de traitement) lui permet de maintenir la régularité de son niveau de fonctionnement même si quelques neurones ou leurs interconnexions sont endommagés (cf., d'une façon générale, Hopfield, J.J., "Neural Networks and Physical Systems with Emergent Collective Computational Abilities", Proceedings of the National Academy of Sciences, Vol. 74, 1982, pp. 2554-2558, Hopfield, J.J.,"Neurons with Graded Responses Have Collective Computational Properties Like Those of Two-State Neurons", Proceedings of the National Academy of Sciences, Vol. 81, 1984, pp. 3088-3092, et Lippman, R.P., "An Introduction to Computing with Neural Nets", IEEE ASSP Magazine, avril 1987, pp. 4-22).
La propriété la plus importante des réseaux neu-
roniques est leur capacité d'apprentissage. On utilise un algorithme d'apprentissage pour faire apprendre au réseau un mappage (parfois arbitraire) entre l'espace d'entrée et
l'espace de sortie, en réglant les poids d'interconnexion.
On utilise généralement deux types d'algorithmes dans l'apprentissage du réseau: l'apprentissage supervisé et l'apprentissage non supervisé. L'apprentissage supervisé demande une réinjection externe des signaux d'erreur après chaque mappage. La rétropropagation (BP: back propagation) (cf. Rumelhart et McClelland, Parallel Distributed Processing, Vol. 1, MIT Press, Cambridge, Massachusetts, USA, 1986), l'ordinateur arithmétique de modèle cortical (CMAC: Cerebellar Model Arithmetic Computer) (cf. Miller et al.,"CMAC: an Associative Neural Network Alternative to Backpropagation", Proceedings of the IEEE, Vol. 78, N 10, octobre 1990, pp. 1561-1567) et l'"état de cerveau dans une boîte" (BSB: "Brain-State-in-a-Box") (cf. Anderson, J.A., "Neural Models with Cognitive Implications", Basic Processes in Reading Perception and Comprehension, édité par D. LaBerge et S.J. Samuels, Erlbaum, New Jersey, USA, 1977, pp. 27-90) en sont des exemples. L'apprentissage non supervisé ne demande pas de réinjection externe pendant le processus d'apprentissage. La théorie de la résonance adaptative (ART: Adaptive Resonance Theory) (cf. Carpenter, G.A. et Grossberg, S., "A Massively Parallel Architecture for a Self-Organizing Neural Pattern Recognition Machine", Computer Vision, Graphics, and Image Processing, Vol. 37, 1987, pp. 54-115 et Carpenter, G.A. et Grossberg, S., "ART 2: Self Organization of Stable Category Recognition Codes for Analog Input Patterns", Applied Optics, Vol. 26, N 23, 1987, pp. 4919- 4930) et le réseau de Hopfield (cf. Hopfield, J.J., "Neural Networks and Physical Systems with
Emergent Collective Computational Abilities", cité ci-
dessus) en sont des exemples.
L'identification d'un défaut de machine ou de pièce revient en fait à un problème de reconnaissance de formes. Par le passé, on a appliqué un certain nombre de
techniques de reconnaissance de formes, telles que la fonc-
tion de discrimination linéaire et les ensembles flous, pour résoudre ce type de problèmes. Normalement, ces techniques classent l'état de la machine ou de la pièce en deux états, normal ou anormal. On peut en trouver des exemples dans Li, P.G. et Wu, S.M., "Monitoring Drilling Wear States by a Fuzzy Pattern Recognition Technique", Journal of Engineering for Industry, Vol. 110, août 1988, pp. 297-300, et Emel, E. et Kannatey-Asibu, E., Jr., "Tool Failure Monitoring in Turning by Pattern Recognition Analysis of AE signals", Journal of Engineering for Industry, Vol. 110, mai 1988, pp. 137-145. A présent, les réseaux neuroniques artificiels constituent l'approche la plus populaire pour la résolution
de problèmes de reconnaissance de formes.
On trouve plusieurs types différents de réseaux neuroniques convenant à la classification de motifs. Parmi ceux-ci, les réseaux multicouches à action directe sont le paradigme le plus apprécié, dans la mesure o ils sont capables de résoudre des problèmes non-linéaires que ne peut résoudre un réseau linéaire monocouche, et sont connus sous le nom de perceptrons. Le réseau multicouche à action directe possède une couche ou plusieurs d'éléments de traitement entre les couches d'entrée et de sortie. Ces
couches sont appelées couches cachées.
On réalise l'apprentissage de l'un des réseaux multicouches à action directe les plus puissants et les plus appréciés par rétropropagation. Rumelhart et McClelland ont proposé la rétropropagation en tant qu'algorithme pour déterminer la répartition optimale des poids des connexions du réseau. Elle utilise un algorithme itératif de gradient descendant pour minimiser la mesure d'erreur entre la sortie
effective du réseau et la sortie désirée.
La figure 1 représente une architecture de réseau neuronique 100 appelée Théorie Prédictive de la Résonance
Adaptative (ART: Adaptive Resonance Theory) ou ARTMAP.
L'architecture ARTMAP 100 apprend de façon autonome à clas-
ser des vecteurs arbitrairement ordonnés en catégories de reconnaissance en se basant sur le succès prédictif. On pourra sur ce point se référer à Carpenter, G.A., Grossberg, S. et Reynolds, J., "ARTMAP: Supervised Real-time Learning
and Classification of Nonstationary Data by a Self-
Organizing Neural Network", Neural Networks, Vol. 4, 1991, pp. 569-588. Ce système d'apprentissage supervisé 100 est construit à partir de deux modules ART (ARTa 110 et ARTb ) capables d'auto-organiser des catégories de reconnaissance stables en réponse à une séquence arbitraire
de motifs d'entrée.
Carpenter et Grossberg ont élaboré deux classes de modules ART (Carpenter, B.A. et Grossberg, S., "A Massively Parallel Architecture for a Self-Organizing Neural Pattern Recognition Machine" et "ART 2: Self Organization of Stable Category Recognition Codes for Analog Input Patterns", tous deux ayant été cités ci-dessus). ART 1 est capable de traiter des séquences arbitraires de motifs d'entrée binaires, tandis que ART 2 est capable de manipuler des motifs binaires ou analogiques. Ces modules ART sont reliés par un champ de mappage 130 et un contrôleur interne (non représenté) qui assure le fonctionnement autonome du système en temps réel. Le champ de mappage 130 commande l'apprentissage d'une mappe associative des catégories de reconnaissance de ARTa aux catégories de reconnaissance de ARTb, de même que le dépistage de correspondance du paramètre de surveillance 140 (p') de ARTa. Le paramètre de surveillance 140 détermine la proximité entre la catégorie de reconnaissance de ARTa et la catégorie de reconnaissance
de ARTb.
L'architecture ARTMAP 100, cependant, applique un algorithme d'apprentissage non supervisé dans la phase d'apprentissage. Souvent, le motif à reconnaître est connu par avance et l'algorithme d'apprentissage non supervisé constitue un désavantage. Cela nous conduit à chercher une architecture de réseau neuronique qui présente les avantages de l'architecture ARTMAP, mais puisse subir un apprentissage
supervisé.
La présente invention prévoit un système et un
procédé pour l'apprentissage supervisé d'un réseau neuro-
nique. On décrit une architecture de réseau neuronique qui est une modification d'une architecture ARTMAP. Le réseau ARTMAP modifié constitue un paradigme efficace et robuste doué de la propriété spécifique de l'apprentissage incrémentiel. A la différence d'autres réseaux neuroniques courants, tels que la rétropropagation, le réseau modifié ARTMAP 200 n'a pas besoin d'apprendre tous les motifs,
anciens et nouveaux, à chaque découverte d'un nouveau motif.
Le réseau modifié ARTMAP comprend un module ART qui accepte un motif d'entrée. On se sert d'un réseau neuronique ART 2 en tant que module sous-jacent. Le module ART est connecté à un champ de mappage qui accepte un motif de sortie cible comme entrée. Le champ de mappage réalise un mappage entre une catégorie de reconnaissance fournie par le module ART et le motif de sortie cible. Le champ de mappage déclenche également un test de surveillance qui détermine la proximité entre la catégorie de reconnaissance et le motif de sortie cible. Pendant l'apprentissage du réseau ARTMAP modifié, le motif d'entrée et le motif de sortie souhaité sont tous deux présentés au réseau ARTMAP modifié. Pendant la phase d'essai du réseau, seul le motif d'entrée est
fourni.
Une autre caractéristique spécifique du réseau
modifié ARTMAP réside dans sa capacité de "désap-
prentissage". Contrastant avec la capacité d'apprentissage du réseau, la procédure de "désapprentissage" retire les connaissances "indésirables" qui ont été préalablement apprises par le réseau. Ceci est très utile quand un motif
préalablement appris s'avère être faux. Ainsi, l'appren-
tissage n'a pas besoin d'être recommencé à cause d'un cas
isolé de motif faux.
La description suivante et les figures qui
l'accompagnent vont permettre de mieux comprendre les avan-
tages ci-dessus et d'autres encore. Parmi les figures: La figure 1 illustre une architecture de réseau
neuronique appelée théorie prédictive de la résonance adap-
tative (ART) ou ARTMAP.
La figure 2 illustre un réseau ARTMAP modifié
adopté pour réaliser l'apprentissage supervisé.
La figure 3 illustre la structure en trois phases
de la présente invention.
La figure 4 est une illustration plus détaillée de
la couche FI du réseau ARTMAP modifié.
La figure 5 représente un réseau ART 2 avec un
exemple de vecteur d'entrée.
La figure 6 illustre une procédure de diagnostic
par le réseau.
Les figures 7a et 7b illustrent un organigramme de la procédure d'apprentissage utilisée dans l'apprentissage
du réseau ARTMAP modifié.
La figure 8 illustre un organigramme d'une procé-
dure de désapprentissage à utiliser dans l'apprentissage du
réseau ARTMAP modifié.
La figure 9 illustre deux montages expérimentaux
en laboratoire pour tester le réseau ARTMAP modifié.
La figure 10 représente le fichier de réseau d'un
réseau 3-5-5 avant et après le désapprentissage d'un para-
mètre ayant été préalablement appris.
A. Vue d'ensemble: La présente invention prévoit un système et un procédé pour l'apprentissage supervisé d'un réseau neuro- nique. On décrit une architecture de réseau neuronique qui est une modification d'une architecture ARTMAP. La figure 2 illustre un réseau modifié ARTMAP 200. Le réseau modifié ARTMAP 200 est un paradigme efficace et robuste doué de la propriété spécifique de l'apprentissage incrémentiel. A la différence d'autres réseaux neuroniques courants, tels que la rétropropagation, le réseau modifié ARTMAP 200 n'a pas besoin d'apprendre tous les motifs, anciens et nouveaux, à
chaque découverte d'un nouveau motif.
Le réseau modifié ARTMAP 200 comprend un module ART 225 qui accepte un motif d'entrée 210 (également nommé vecteur d'entrée 210). On se sert d'un réseau neuronique ART 2 en tant que module ART sous-jacent 225. Le module ART 225 est connecté à un champ de mappage 230 qui accepte un motif de sortie cible 220 (également nommé vecteur de sortie cible 220) comme entrée. Le champ de mappage 230 réalise un mappage entre une catégorie de reconnaissance fournie par le module ART 225 et le motif de sortie cible 220. Le champ de mappage 230 déclenche également un test de surveillance 240 qui détermine la proximité entre la catégorie de
reconnaissance et le motif de sortie cible 220.
Pendant l'apprentissage du réseau ARTMAP modifié , un motif d'entrée 210 et un motif de sortie souhaité 220 sont tous deux présentés au réseau 200. Dans un mode de réalisation particulier, un motif d'entrée 210 consiste en deux cent (200) points. Le motif de sortie souhaité 220 est un vecteur binaire, dont chacun des noeuds correspond à un état particulier de la machine. Pendant la phase d'essai du réseau, seul le motif d'entrée 210 est fourni au réseau
ARTMAP modifié 200.
La figure 3 représente la structure de la présente invention. Elle comprend trois modules: un modèle paramétrique 310, un processus de normalisation 320 et un réseau neuronique ART 2 225. Dans un mode de réalisation particulier, on utilise un modèle paramétrique autorégressif
(AR) en combinaison avec le réseau neuronique ART 2 225.
Mais on peut également se servir d'un modèle autorégressif à moyenne mobile (ARMA: autoregressive moving average). Les modèles AR et ARMA sont tous deux connus de l'homme de
l'art.
On utilise le modèle paramétrique 310 pour ajuster (c'est à dire décrire mathématiquement) un signal vibratoire brut en provenance d'une machine physique ou d'un processus faisant l'objet de l'étude. L'ajustement du modèle paramétrique 310 au signal vibratoire permet d'obtenir un ensemble de paramètres 315. A ce stade, cependant, on ne peut introduire sans prétraitement les paramètres 315 dans le réseau ART 2 225, car ils contiennent des valeurs
négatives significatives que le réseau ART 2 225 est inca-
pable de reconnaître. Par conséquent, il est nécessaire d'appliquer un processus de normalisation 320 afin d'assurer un fonctionnement correct du réseau ART 2 225 avec des
entrées pertinentes.
Le processus de normalisation 320 s'effectue en deux étapes. En premier lieu, chaque paramètre 315 est divisé en deux parties, l'une positive, l'autre négative. Si un paramètre 315 a une valeur positive, alors on attribue la valeur zéro à sa partie négative, et vice versa. En second lieu, on met les paramètres 315 à l'échelle en divisant chaque paramètre 315 par la valeur de paramètre maximum. La variance résiduelle ne contiendra que la partie positive, car sa valeur est toujours positive. Cependant, il faut diviser la variance par la variance résiduelle maximum. De la sorte, un modèle ARMA ou AR à n paramètres demandera 2n+1 noeuds d'entrée dans la couche d'entrée du réseau ART 2. Par exemple, un réseau ART 2 225 pour un modèle ARMA (3,2) (n=5) demandera 11 noeuds d'entrée. Le vecteur d'entrée du réseau ART 2 225 pour le modèle ARMA (3,2) avec les paramètres et
la variance résiduelle suivants est représenté en figure 5.
(l = 1,7592
(>2 =-1,7289
>3 = 0,8364
01 =-1,0300
02 =-0,7562
aE = 0,3838 Supposons que la valeur de paramètre maximum pour les parties positive et négative soit égale à 2 et que la variance résiduelle maximum soit égale à 1. Pour (D1, par exemple, la partie négative prend la valeur 0 car (l est positif. La partie positive est divisée par la valeur de
paramètre maximum, 2, ce qui donne une valeur de 0,8796.
Pour la variance résiduelle, la valeur demeure la même car
la variance résiduelle maximum vaut 1.
Pendant l'apprentissage du réseau, le réseau ART 2 225 se voit présenter un motif d'entrée, c'est-à-dire les
paramètres normalisés 325. En résultat, le réseau auto-
organise une classification des défauts jusqu'à épuisement des motifs d'entrée. Enfin, on garde en réserve les poids descendants (Tji) et ascendants (Bij) pour les utiliser ultérieurement en vue du diagnostic. Lors d'un diagnostic de défaut, chaque motif d'entrée est présenté au réseau ART 2 225. Chaque noeud de la couche F2 240 représente une classe de défauts particulière. Le noeud de la couche F2 240 qui passe le test de surveillance 250 avec succès représentera
la sortie 335 du réseau ART 2 225.
Comme on l'a mentionné ci-dessus, le motif d'entrée 210 et le motif de sortie souhaité 220 doivent tous deux être présentés au réseau ARTMAP modifié 200 lors de l'apprentissage du réseau ARTMAP modifié 200. On se sert indépendamment de chaque ensemble de motifs d'entrée 210 et de motifs de sortie souhaités 220 pour l'apprentissage du réseau ARTMAP modifié 200, ce qui signifie que le réseau
ARTMAP modifié 200 peut subir un apprentissage incrémentiel.
Dans un mode de réalisation particulier, un motif d'entrée 210 consiste en 200 points du spectre vibratoire. Le motif de sortie souhaité 220 est un vecteur binaire, dont chaque noeud correspond à un état particulier de la machine. B. Modèle autorégressif (AR): Une technique autorégressive (AR) est un procédé de transfert de signaux d'un domaine temporel, correspondant à la façon dont ils ont été obtenus par un ensemble de capteurs reliés à une machine physique ou à un processus, à
un domaine de fréquences. Traditionnellement, cette opéra-
tion est effectuée par des transformées de Fourier.
L'utilisation d'un modèle paramétrique plutôt que des transformées de Fourier pour le traitement du signal présente l'avantage de réduire de manière considérable la quantité de données tout en préservant les caractéristiques importantes du signal. Un résultat de la réduction des données est la réduction importante du temps de diagnostic et d'apprentissage d'un réseau neuronique. Étant donné que le temps d'apprentissage augmente d'environ 10 fois et le temps de diagnostic d'environ 6 fois quand le nombre de données d'entrée passe de 200 à 2400, la réduction des
données est critique, en particulier dans le cas de l'uti-
lisation de capteurs multiples dans un mode en temps réel,
car la quantité de données impliquées s'y trouve accrue.
Dans un mode de réalisation particulier, la présente inven-
tion réalise un modèle AR pour un traitement du signal en ligne. L'équation 1 présente la forme mathématique d'un modèle AR:
X,=,X-, +DI:X, 2±.+ODX,- +E, (1)
o Xt = série temporelle, (i = les paramètres AR, p =
l'ordre d'un modèle AR et Et = résidus à NID (0, JE2).
L'ordre du modèle AR est déterminé selon une approche décrite dans Lin, C.C., "Classification of Autoregressive Spectral Estimated Signal Patterns Using an Adaptive Resonance Theory (ART)", thèse de Mastère, Département d'ingénierie industrielle, Université de l'Iowa, Iowa City, Iowa, USA, 1992. On y sélectionne l'ordre associé à l'erreur de prédiction finale (FPE: final prediction error) et au critère d'information d'Akaike (AIC: Akaike information criterion) les plus élevés. Les équations de l'erreur de prédiction finale et du critère d'information d'Akaike sont les suivantes: FPE( p)= ô N+) (2) N (p+1 AIC(p) = NIn(ô)+ pin (N) (3) o N est le nombre d'échantillons de données, p est l'ordre d'autorégression et ô2p est la variance estimée de l'erreur de prédiction à l'ordre p. Une fois l'ordre d'autorégression déterminé, on le fixe et l'on peut alors ajuster le modèle
AR aux données sensorielles.
C. Réseau modifié ARTMAP Le réseau neuronique ARTMAP modifié 200 est une extension du réseau ART (théorie de la résonance adaptative) qui apprend de façon automatique à classer des vecteurs arbitrairement ordonnés en catégories de reconnaissance en
se basant sur le succès prédictif. Comme on l'a décrit ci-
dessus en s'appuyant sur la figure 1, le réseau neuronique ARTMAP 100 est un système d'apprentissage non supervisé construit à partir de deux modules ART 110, 120, dont chacun produit une catégorie de reconnaissance, et un champ de mappage 130 qui commande le mappage entre les deux
catégories de reconnaissance.
Dans un mode de réalisation particulier, le réseau neuronique ARTMAP n'utilise qu'un seul motif d'entrée (c'est-à-dire des paramètres AR). Dans ce cas, on effectue une modification du réseau neuronique ARTMAP représenté en figure 1 pour pouvoir effectuer un apprentissage supervisé. La figure 2 représente un réseau neuronique ARTMAP modifié , dans lequel le second module ART est remplacé par une sortie cible 220. La sortie cible 220 est fournie par un utilisateur. On choisit une architecture de réseau neuronique ART 2 225 en tant que module ART sous- jacent pour manipuler des motifs d'entrée analogiques (par exemple, des
paramètres AR).
Plus particulièrement, on utilise l'architecture de réseau neuronique ART 2 dans un mode de réalisation particulier, car des signaux vibratoires ou sonores y jouent le rôle d'entrée du réseau neuronique ARTMAP modifié 200 et le niveau d'énergie d'un signal vibratoire ou sonore est un signal analogique continu. Cependant, comme l'homme de l'art peut s'en rendre compte, on peut appliquer des signaux autres que des signaux sonores au réseau neuronique ARTMAP modifié 200. De plus, on peut également utiliser la présente invention avec une architecture de réseau neuronique ART 1 si l'on utilise des séquences arbitraires de motifs d'entrée binaires comme entrée du réseau neuronique ARTMAP modifié 200. Dans le réseau ARTMAP modifié 200, le réseau ART 2
possède deux couches: F1 230 et F2 240. Comme le repré-
sente la figure 4, la couche F1 230 du réseau ART 2 comprend trois niveaux de traitement et plusieurs systèmes de contrôle de gain qui permettent au système de séparer les signaux du bruit et d'accentuer le contraste des signaux d'activation. En général, chaque niveau effectue deux calculs: l'intégration des données internes aux champs (intra) et des données entre champs (inter) au niveau qui produit un signal d'activation intégré et la normalisation
du signal d'activation intégré. Les cercles pleins repré-
sentent les systèmes de contrôle de gain qui normalisent les
signaux d'activation intégrés.
L'apprentissage du réseau modifié est décrit ci-
dessous, en lien avec les figures 4 et 7. La figure 7 illustre un organigramme de la procédure d'apprentissage du
réseau ARTMAP modifié.
Comme le représente le bloc 705, les paramètres suivants sont initialisés avant de commencer l'apprentissage du réseau neuronique ARTMAP modifié 200: Tji = 0 (4) RB...,2. vN (5) -O,2*4qN 0 5 i s N-i, o N est la dimension du vecteur d'entrée 210; 0 5 j s M-1, o M est le nombre de noeuds F2; wi = xi = vi = ui = qi = Pi = 0; et
a, b, c, d, e, 0 et p sont fixés.
Comme le représente le bloc 710, on présente un
motif d'entrée à apprendre au réseau ARTMAP modifié 200.
Ensuite, les signaux d'activation entre les différents
noeuds de la couche F1 230 sont produits, comme le repré-
sente le bloc 715. Au niveau le plus bas de la couche F1 230, le vecteur wi est le produit de l'intégration d'un vecteur d'entrée intra Ii et du signal de réinjection inter aui, c'est-à-dire: wi = Ii + aui (6) o i est le i-ème noeud de la couche F1 230 et a est une
constante. Une fois le vecteur wi obtenu, on peut le norma-
liser pour donner xi par l'équation suivante: w xi - allé (7) e +IlwIl o e est une constante proche de zéro et IwII désigne la
norme L2 d'un vecteur w.
On peut calculer le reste des activités dans la couche F1 230 selon les équations suivantes: vi f(xi) + bf(qi) (8) u, '- (9 e + IMvl Pi qi Pi (10) e + IlpIl pi:u, + g(j)TTi (11) o b est une constante, g(j) est l'activation du j-ème noeud dans la couche F2 240 et Tji est le poids descendant entre le j- ème noeud de la couche F2 240 et le i-ème noeud de la
couche F1 230. La fonction de signal linéaire f de l'équa-
tion (8) est: Os x <O0 f(x) Osi0 x < 0 (12)
o 0 est une valeur seuil.
Comme le représente le bloc 720, une fois que les noeuds de la couche F2 240 reçoivent un signal d'entrée en provenance de la couche F1 230 (par l'intermédiaire du poids ascendant Bij), le résultat de correspondance pour les noeuds de la couche F2 240 est alors calculé, selon: ,uj = pi Bj (13)
o les Bij sont les poids ascendants.
Puis, comme le représente le bloc 730, le noeud de
la couche F2 240 ayant le plus fort résultat de corres-
pondance est activé. L'activation de la couche F2 240 est la suivante: d si le j-ème noeud de F2 est actif g(j)= (14) 0 sinon
o d est une constante comprise entre 0 et 1.
A ce stade, l'activation de la couche F2 240 se rétropropage vers la couche F1 230. Ensuite, comme le représente le bloc 735, le test de surveillance 250 est mis en oeuvre pour déterminer si le signal descendant correspond à le motif d'entrée 210. Le test de surveillance 250 est le suivant: u. + CPi re+= ||P (15) e+ MuI+IcpI
P >1? (16)
e + Irl o c est une constante et 0 < p < 1. Si la correspondance échoue au test de surveillance 250, alors un signal de remise à l'état initial 260 est envoyé à F2 240 et la contraint à désactiver le noeud sélectionné dans la couche F2 et rechercher la deuxième meilleure correspondance, comme le représente le bloc 745. Sinon, on adapte les poids ascendants (Bij) et descendants (Tji) à partir des équations suivantes: Bj.(t+ 1) =d[pl - Bi.(t)] (17) r _ o j* est le noeud sélectionné de la couche F2 240. L'étape de mise à jour de poids ascendants et descendants si le testde surveillance a été passé avec succès est représentée au bloc 750. Une fois qu'un vecteur d'entrée 210 est présenté au module ART 120, ce dernier choisit un noeud de la couche
F2 240 qui passe le test de surveillance 250 avec succès.
Ensuite, les activations de la couche F2 240 sont propagées vers le champ de mappage 130 par les connexions pondérées (Wjk) entre la couche F2 240 et le champ de mappage 130, comme le représente le bloc 755. Les signaux reçus en provenance de la couche F2 240 sont calculés par l'équation suivante: X = j. (19) Au niveau du champ de mappage 130, un second test de surveillance 140 est effectué pour déterminer le niveau de correspondance entre la sortie prédite de la couche F2
240 (X) et le motif de sortie cible 220 (Y), comme le repré-
sente le bloc 760. Une mauvaise correspondance entre X et Y déclenchera une remise aux valeurs initiales 270 du champ de mappage vers le module ART sous-jacent 120. Cela se produit à chaque fois que la condition suivante est vérifiée: lxi< ' (20) IIlYI
o p' désigne le paramètre de surveillance de mémoire asso-
ciative 240. Si la remise aux valeurs initiales 270 du champ de mappage se produit, la surveillance 250 du module ART sous-jacent 120 s'accroît pour empêcher le système 200 d'effectuer des erreurs répétées, comme le représente le bloc 770. A ce stade, un signal de remise aux valeurs initiales 260 est envoyé à la couche F2 240 et contraint cette couche F2 240 à trouver la deuxième meilleure correspondance, comme le représente le bloc 745. Ce processus se poursuivra jusqu'au succès du second test de surveillance 140. Une fois ce test passé avec succès, on adapte les poids descendants (Tji) et ascendants (Bij) entre les couches F1 230 et F2 240 selon les équations (17) et (18), et l'on met à jour les poids entre la couche F2 240 et le champ de mappage 130 par l'équation suivante: j"*k = Yk (21) L'étape de mise à jour des poids descendants (Tji) et
ascendants (Bij) est représentée par le bloc 780.
Pour les poids descendants et ascendants, le processus d'adaptation des poids est réalisé de façon itérative pour chaque motif d'apprentissage. En effet, le vecteur d'entrée normalisé 210, représenté par p, est
également mis à jour après chaque itération de mise à jour.
Ensuite, on utilise le nouveau vecteur p de la couche F1 230 pour l'itération de mise à jour des poids suivante (cf. les
équations (17) et (18)).
Pendant la phase d'apprentissage, le vecteur d'entrée 210 (paramètres autorégressifs) et le vecteur de
sortie cible 220 (classe de défauts) sont tous deux présen-
tés au réseau. Ensuite, le réseau commence à apprendre l'association entre le vecteur d'entrée 210 et le vecteur de
sortie cible 220 selon la procédure décrite ci-dessus.
Pendant la phase de diagnostic, seul un vecteur d'entrée 210 est fourni au réseau. Le noeud de la couche F2 240 qui passe le test de surveillance 250 de F1 avec succès représente la
sortie du réseau (la classe de défauts prédite).
Une autre fonction spécifique du réseau ARTMAP
modifié 200 est sa capacité de "désapprentissage".
Contrastant avec la capacité d'apprentissage du réseau, la procédure de "désapprentissage" retire les connaissances "indésirables" qui ont été préalablement apprises par le réseau. Ceci est très utile quand un motif préalablement appris s'avère être faux. Dans une telle situation, un moyen de corriger cette erreur consiste à reprendre
l'apprentissage de tous les motifs sauf le motif indési-
rable, ce qui est difficilement réalisable. Un moyen plus efficace pour désapprendre un motif consiste en une remise aux valeurs initiales des poids du réseau sans s'occuper du
motif incorrect.
En général, la procédure de "désapprentissage" est
semblable à la procédure d'apprentissage décrite ci-dessus.
Cette procédure de "désapprentissage" est illustrée par la figure 8. Une fois qu'un noeud F2 a passé avec succès les deux tests de surveillance 250 et 240, on adapte les poids du réseau selon les équations suivantes: B.'d)v (22)
T= 0 (23)
o N est le nombre de noeuds dans la couche F1 230 et d est
une constante entre 0 et 1.
Les poids du champ de mappage 230 sont mis à jour à partir de l'équation suivante: Wk =0 (24) D. Diagnostic du réseau: La procédure de diagnostic du réseau est illustrée par la figure 6. Le diagnostic a lieu après que l'apprentissage du réseau ARTMAP modifié 200 a été réalisé à
l'aide de la procédure décrite ci-dessus. Comme le repré-
sente le bloc 610, le réseau ARTMAP modifié 200 acquiert
initialement des données d'entrée fournies par un utili-
sateur ou en provenance directe d'une machine physique ou d'un processus. Après réception d'une entrée, le réseau ART 2 225 émet une hypothèse de diagnostic, comme le représente le bloc 620. Si le diagnostic dont l'hypothèse a été émise passe avec succès le premier test de surveillance 250, le résultat du diagnostic est communiqué à l'utilisateur, comme le représente le bloc 630. Au bloc 640, l'utilisateur se voit demander de confirmer le diagnostic du réseau. Si ce diagnostic est correct, l'utilisateur peut choisir de faire apprendre le motif d'entrée présenté au réseau, c'est-à-dire de demander au réseau d'adapter ses poids, ou de quitter le processus de diagnostic, comme le montrent les blocs 690 et 680, respectivement. Si le diagnostic se trouve être incorrect, deux options sont possibles: l'utilisateur peut spécifier, comme le représente le bloc 660, la classe de défauts correcte et soumettre le réseau à un apprentissage, si il/elle connaît la classe de défauts correcte, ou l'utilisateur peut demander au réseau d'émettre un autre
diagnostic (c'est-à-dire de retourner au bloc 620).
Afin de tester le système, on a utilisé et divisé en deux parties un total de 48 ensembles de données et trois états différents de machine (normal, défaillance de palier et défaut d'alignement). La répartition des données se réalise en 15 ensembles de données pour l'apprentissage et le reste pour les tests. On a également étudié les effets de la valeur de la surveillance et de la taille des ensembles d'apprentissage. Le comportement du réseau est resté le même pour une surveillance réglée à 0,3, 0,5, 0,7, 0,8 ou 0,9. En revanche, quand la taille des ensembles a été fixée à 3 (un pour chaque catégorie), le réseau atteint une précision de 97% environ. Quand on a augmenté la taille des ensembles d'apprentissage à 6 (deux pour chaque catégorie), le réseau s'est montré capable d'identifier correctement toutes les
données de test.
E. Analyse du comportement du réseau ARTMAP modifié: Le comportement du réseau ARTMAP modifié 200 décrit ci-dessus a été validé par l'emploi de trois types différents de données sensorielles: des signatures de paliers théoriques, des signatures de paliers de laboratoire et des signatures de paliers réels. Dans un mode de réalisation particulier, le réseau ARTMAP modifié 200 est destiné à fournir deux classes de défauts suggérées à l'utilisateur à chaque séance de diagnostic, la première
étant la cause la plus probable.
Les signatures vibratoires théoriques utilisées pour tester le réseau de diagnostic de défauts (FDN: fault diagnostics network) sont produites par des modèles physiques de paliers. On a utilisé un total de six défauts de paliers différents (jeu interne, jeu externe, patinage des rouleaux, défaut de cage, défaut d'alignement et déséquilibre). Pour chaque défaut de palier, cinq ensembles de données ont été produits pour l'apprentissage et les tests du réseau. On a eu recours à des amplitudes et niveaux de bruit divers pour simuler des données réelles. Une liste des équations théoriques pour le calcul des fréquences de vibration de ces défauts de paliers se trouve dans l'annexe A. Le premier ensemble de données de chaque défaut a été utilisé pour l'apprentissage du réseau tandis que le reste a
servi aux tests sur le comportement du réseau.
Comme le représente la figure 9, le réseau de
diagnostic de défauts a également été validé par l'utilisa-
tion de deux montages expérimentaux en laboratoire. Le premier montage consiste en un moteur 910, deux paliers (non représentés), deux supports 920, 925, une courroie d'entraînement 930 et un arbre 935. Le second montage consiste en un moteur 940, un arbre 950, deux paliers à coussinet-douille 960, 965, une courroie 970 et deux moyeux 980, 985. Un accéléromètre 990 est monté sur le bloc support de paliers de chaque montage. On a recueilli des signaux vibratoires par l'intermédiaire des accéléromètres 990 et ces signaux ont été amplifiés par un élément d'alimentation en puissance 915, comme le demande une carte d'acquisition
installée dans un microprocesseur 486, 905.
On a crée quatre états de palier dans le premier montage expérimental: les états normal, mal aligné, mal serré et contaminé. Huit ensembles de signaux vibratoires ont été recueillis pour chaque état. On a donc obtenu un total de 32 ensembles de données. Le réseau ARTMAP modifié a été soumis à un apprentissage avec le premier des huit ensembles de données pour chaque état, et testé avec les
sept autres ensembles de données.
L'utilisation du second montage expérimental avait pour premier objectif la création de conditions de
déséquilibre différentes. Il est bien connu que le déséqui-
libre est le défaut le plus courant des machines. On a crée cinq niveaux différents d'un état de moyeu déséquilibré en fixant une vis, un morceau d'argile ou les deux au moyeu 980, 985. On a recueilli 10 signaux dans chaque état. Le premier ensemble de données de chaque état a servi à l'apprentissage de l'état considéré par le réseau ARTMAP modifié 200. Les neuf autres ensembles de données ont servi
de motifs de test.
On a utilisé des données vibratoires recueillies en provenance d'une machine universelle d'usinage K&T à 7 axes pour l'apprentissage et les tests du réseau ARTMAP modifié 200. Trois états différents se sont présentés: un état normal, un état de déséquilibre et un état de défaut du stator du moteur électrique. On a recueilli deux signaux vibratoires dans chaque état. Le réseau ARTMAP modifié 200 a été soumis à un apprentissage pour les trois états, en utilisant un signal vibratoire pour chaque état. Les autres signaux ont servi au diagnostic. Les résultats indiquent que le réseau de diagnostic de défauts s'est montré capable
d'identifier correctement tous les états.
Comme on l'a décrit ci-dessus, la présente inven-
tion met également en oeuvre une procédure de désapprentis-
sage qui retire les connaissances "indésirables" du réseau de diagnostic de défauts. Cette procédure est d'une grande utilité quand un motif préalablement appris s'avère être un motif faux, car le réseau de diagnostic de défauts n'a pas besoin d'apprendre à nouveau tous les motifs corrects. Pour avoir une idée du fonctionnement de la procédure de désapprentissage, on a suscité une séance d'exemple de cette procédure. Lors de cette séance, trois ensembles simples de
données ont été utilisés pour l'apprentissage du réseau.
Chaque ensemble de données consistait en un vecteur de trois éléments de données, comme celui qui suit: al: 1 0 0 a2: 0 1 0 a3: 0 0 1 Les catégories de al, a2 et a3 ont été nommées
catl, cat2 et cat3, respectivement.
La figure 10O représente le fichier de réseau d'un
réseau 3-5-5 avant et après le désapprentissage du motif a2.
La première ligne du fichier de réseau contient des informations sur le réseau, telles que le nombre de noeuds d'entrée (3), le nombre de noeuds de F2 (5), le nombre de noeuds du champ de mappage (5), la valeur de la surveillance (0,9), le nombre de catégories attribuées (3) et l'indice du dernier noeud attribué (2). Les lignes 2 à 6 contiennent la catégorie des motifs appris. La partie restante du fichier contient la table des poids du réseau. Après le désapprentissage du motif a2, le nombre de catégories attribuées et l'indice du dernier noeud attribué ont été changés de 3 à 2 et de 2 à 1, respectivement. De plus, la catégorie "cat2" a été retirée du fichier de réseau et la
table des poids a été mise à jour.
Il est bien connu que l'utilisation de capteurs multiples peut améliorer la fiabilité de diagnostic. Par conséquent, la capacité du réseau ARTMAP modifié 200 a été
testée de nouveau, avec des entrées sensorielles multiples.
A partir du premier montage expérimental (illustré par la figure 9), on a recueilli deux signaux sensoriels, la vibration et le son. En plus d'un accéléromètre 990, on a monté un transducteur d'émission acoustique (non représenté) sur le logement des paliers pour recueillir les signaux sonores. Pendant le processus d'apprentissage et de test, des signaux vibratoires et sonores ont été présentés au réseau ARTMAP modifié. Dans cette étude, les deux signaux sensoriels ont été traités comme étant d'importance égale, ce qui signifie qu'on leur a attribué les mêmes poids dans le réseau. Si l'importance des deux capteurs est inégale, on pourra traduire cette différence en modifiant le réglage initial de leurs poids ascendants. Le réglage initial des poids ascendants pour deux entrées sensorielles différentes est donné par l'équation suivante: B - (1 + MI) si i < N, (1-d)N, + N2 (1 (25n, (1- d)47NI7 N<2 si Ni 5 i < N, 0 5 i < N1 + N2 o N1 est la dimension du vecteur d'entrée vibratoire; N2 est la dimension du vecteur d'entrée sonore; ml est le facteur de pondération du signal vibratoire;
m2 est le facteur de pondération du signal sonore.
Par exemple, si une importance de 70% est accordée au signal vibratoire et 30% au signal sonore, alors ml et m2 valent
0,7 et 0,3, respectivement.
Même si l'on a présenté et décrit la présente
invention en rapport avec des modes de réalisation particu-
liers, l'homme de l'art comprendra facilement que de nombreux changements de forme et de détail peuvent y être apportés sans sortir de l'esprit et du domaine de la
présente invention.

Claims (21)

REVENDICATIONS
1. Système de réalisation d'un environnement de supervision d'apprentissage pour un réseau neuronique, caractérisé en ce qu'il comprend: (a) un module de résonance adaptative (ART) (225) qui accepte un motif d'entrée (210), ce module ART (225) ayant une première couche (230) et une seconde couche (240), et étant configuré pour effectuer un premier test de
surveillance (240) et produire une catégorie de reconnais-
sance; et (b) un champ de mappage (230), connecté au module ART (225) et à un motif de sortie cible (220), qui réalise un mappage entre la catégorie de reconnaissance et le motif de sortie cible (220) et déclenche un second test de surveillance (250); dans lequel le second test de surveillance (250) détermine la proximité entre le motif de sortie cible (220)
et la catégorie de reconnaissance.
2. Système selon la revendication 1, dans lequel la première couche (230) comprend trois niveaux, dont chacun inclut: des moyens pour réaliser l'intégration des entrées internes aux champs et entre champs afin de produire un signal d'activation intégré; et des moyens pour réaliser la normalisation du
signal d'activation intégré.
3. Système selon la revendication 1, dans lequel le module ART (225) est un réseau ART 2 qui peut accepter
des motifs d'entrée (210) binaires ou analogiques.
4. Système selon la revendication 1, dans lequel le motif de sortie cible (220) est un vecteur binaire, dans lequel chaque noeud du vecteur binaire correspond à un état
particulier de machine ou de processus.
5. Système selon la revendication 1, comprenant de plus des moyens de paramétrisation pour ajuster un signal vibratoire brut recueilli en provenance d'une machine faisant l'objet d'un contrôle à un modèle paramétrique (310) prédéterminé, dans lequel les moyens de paramétrisation
produisent un paramètre (315).
6. Système selon la revendication 5, comprenant de plus un module de normalisation (320), connecté aux moyens de paramétrisation, qui retire les valeurs négatives
significatives du paramètre (315).
7. Système selon la revendication 6, dans lequel le module de normalisation (320) comprend: (1) des moyens pour diviser le paramètre (315) en une partie négative et une partie positive; (2) des moyens pour mettre la partie négative et la partie positive à l'échelle en divisant le paramètre
(315) par une valeur de paramètre maximum.
8. Système selon la revendication 1, dans lequel chaque noeud de la seconde couche (240) correspond à un état
de défaut particulier.
9. Procédé réalisé par ordinateur d'apprentissage et de test d'un réseau neuronique prédictif de résonance adaptative (ARTMAP) modifié (200), caractérisé en ce que le réseau neuronique ARTMAP modifié (200) possède un module ART (225) qui accepte un motif d'entrée (210), et un champ de mappage (230), connecté au module ART (225), qui accepte un motif de sortie cible (220), et en ce qu'il comprend les étapes suivantes: (1) fournir le motif d'entrée (210) et le motif de sortie cible (220) au réseau neuronique ARTMAP modifié
(200);
(2) mettre à jour un ensemble de poids ascendants
et descendants en se basant sur un premier test de surveil-
lance (240); (3) propager une sortie prédite du module ART (225) vers le champ de mappage (230); et (4) mettre à jour l'ensemble des poids ascendants
et descendants en se basant sur un second test de surveil-
lance (250) réalisé par le champ de mappage (230), le second test de surveillance (250) se basant sur une comparaison entre le motif de sortie cible (220) et la sortie prédite.
10. Procédé réalisé par ordinateur d'apprentissage et de test d'un réseau neuronique ARTMAP modifié (200), caractérisé en ce que le réseau neuronique ARTMAP modifié (200) possède un module ART (225) qui accepte un motif d'entrée (210) et possède une première couche (230) et une deuxième couche (240), et un champ de mappage (230), connecté au module ART (225), qui accepte un motif de sortie cible (220), et en ce qu'il comprend les étapes suivantes: (1) présenter un motif d'entrée (210) devant être appris au réseau neuronique ARTMAP modifié (200); (2) déterminer un ensemble d'activations pour la première couche (230); (3) déterminer un ensemble de résultats de correspondance pour la seconde couche (240);
(4) activer un noeud ayant le résultat de corres-
pondance le plus élevé de la seconde couche (240), le noeud activé représentant une sortie prédite; (5) mettre en oeuvre un premier test de surveillance (240) basé sur l'activation dudit noeud, et si le premier test de surveillance (240) échoue, alors désactiver le noeud activé et répéter les étapes (2) à (5), sinon mettre à jour les poids ascendants et descendants entre la première couche (230) et la seconde couche (240) et mettre à jour les poids entre la seconde couche (240) et le champ de mappage (230); (6) propager les résultats de correspondance de la seconde couche (240) au champ de mappage (230); et (7) mettre en oeuvre un second test de surveillance (250) pour déterminer le niveau de la correspondance entre la sortie prédite de la seconde couche (240) et le motif de sortie cible (220), et mettre à jour, si le second test de surveillance (250) est passé avec succès, les poids ascendants, les poids descendants et les poids entre la seconde couche (240) et le champ de mappage
(230);
par lequel le réseau neuronique ARTMAP modifié (200) suit un apprentissage par la mise à jour des poids
ascendants et descendants.
11. Procédé selon la revendication 10, dans lequel le motif d'entrée (210) est normalisé avant d'être présenté
au réseau neuronique ARTMAP modifié (200).
12. Procédé selon la revendication 10, dans lequel l'étape (7) comprend de plus les étapes suivantes: envoi d'un signal (270) de remise aux valeurs initiales au module ART (225) si le second test de surveillance (250) échoue, renforcement du premier test de surveillance (240) pour empêcher des erreurs supplémentaires de se produire, et
activation d'un autre noeud de la seconde couche (240).
13. Procédé selon la revendication 12, comprenant de plus les étapes de répétition des étapes (5) à (7) pour
l'autre noeud activé mentionné.
14. Procédé selon la revendication 13, comprenant de plus les étapes de répétition des étapes (1) à (7) pour
chaque motif d'entrée (210).
15. Procédé selon la revendication 14, comprenant de plus l'étape de mise en réserve des poids ascendants et des poids descendants pour les utiliser dans une étape de diagnostic.
16. Procédé selon la revendication 15, dans lequel l'étape de diagnostic comprend les étapes suivantes: (i) acquérir des données d'entrée fournies par un utilisateur; (ii) émettre une hypothèse de diagnostic basée sur les données d'entrée acquises; et (iii) vérifier si le diagnostic passe avec succès un premier test de surveillance (240), et si le diagnostic passe avec succès le premier test de surveillance (240) alors communiquer les résultats du diagnostic à l'utilisateur, l'utilisateur pouvant faire apprendre le motif d'entrée (210) présenté au réseau neuronique et, si le diagnostic échoue au premier test de surveillance (240), l'utilisateur peut soit faire apprendre une classification des défauts correcte connue au réseau neuronique ARTMAP
modifié (200), soit il peut demander un autre diagnostic.
17. Procédé selon la revendication 10, comprenant de plus l'étape de normalisation du motif d'entrée (210) avant la présentation de ce motif d'entrée (210) au réseau
neuronique ARTMAP modifié (200).
18. Procédé selon la revendication 10, comprenant de plus l'étape d'initialisation des poids ascendants, des poids descendants et de toutes les premières activations avant de commencer l'apprentissage du réseau ARTMAP modifié
(200).
19. Procédé selon la revendication 10, comprenant de plus l'étape de retrait de connaissances indésirables du réseau neuronique ARTMAP modifié (200), comprenant les étapes suivantes: (1) présenter un motif sensoriel devant être "désappris" au réseau neuronique ARTMAP modifié (200); (2) déterminer un ensemble d'activations pour le premier niveau (230); (3) déterminer un ensemble de résultats de correspondance pour le second niveau (240) en se basant sur ledit ensemble d'activations; (4) activer un noeud du second niveau (240) ayant le résultat de correspondance le plus élevé; et (5) réaliser un test de surveillance et, si le test de surveillance échoue, désactiver le noeud activé et répéter les étapes (2) à (5), sinon mettre à jour les poids ascendants et descendants entre la première couche (230) et la seconde couche (240), et mettre à jour les poids du champ de mappage (230) entre le second niveau (240) et le champ de
mappage (230).
20. Procédé réalisé par ordinateur de retrait de connaissances indésirables d'un réseau neuronique ARTMAP modifié (200), caractérisé en ce que le réseau neuronique ARTMAP modifié (200) possède un module ART (225) qui accepte un motif d'entrée (210) et possède une première couche (230) et une seconde couche (240), et un champ de mappage (230), connecté au module ART (225), qui accepte un motif de sortie cible (220), et en ce qu'il comprend les étapes suivantes: (1) présenter un motif sensoriel devant être "désappris" au réseau neuronique ARTMAP modifié (200); (2) déterminer un ensemble d'activations pour la première couche (230); (3) déterminer un ensemble de résultats de correspondance pour le second niveau (240) en se basant sur ledit ensemble d'activations; (4) activer un noeud du second niveau (240) ayant le résultat de correspondance le plus élevé; et (5) réaliser au moins un test de surveillance et, si ce (ou ces) test(s) de surveillance échoue(nt), désactiver le noeud activé et répéter les étapes (2) à (5), sinon mettre à jour les poids ascendants et descendants entre la première couche (230) et la seconde couche (240), et mettre à jour les poids du champ de mappage (230) entre
le second niveau (240) et le champ de mappage (230).
21. Système pour retirer des connaissances indésirables d'un réseau neuronique ARTMAP modifié (200), caractérisé en ce que le réseau neuronique ARTMAP modifié (200) possède un module ART (225) qui accepte un motif d'entrée (210) et possède une première couche (230) et une seconde couche (240), et un champ de mappage (230), connecté au module ART (225), qui accepte un motif de sortie cible (220), et en ce qu'il comprend: (1) des moyens pour presenter un motif sensoriel devant être "désappris" au réseau neuronique ARTMAP modifié (200); (2) des moyens pour déterminer un ensemble d'activations pour la première couche (230); (3) des moyens pour déterminer un ensemble de résultats de correspondance pour le second niveau (240) en se basant sur ledit ensemble d'activations; (4) des moyens pour activer un noeud du second niveau (240) ayant le résultat de correspondance le plus élevé; et (5) des moyens pour réaliser au moins un test de surveillance et, si ce (ou ces) test(s) de surveillance échoue(nt), désactiver le noeud activé et répéter les étapes (2) à (5), sinon mettre à jour les poids ascendants et descendants entre la première couche (230) et la seconde couche (240), et mettre à jour les poids du champ de mappage
(230) entre le second niveau (240) et le champ de mappage.
FR9415524A 1993-12-30 1994-12-16 Apprentissage supervisé d'un réseau neuronique. Expired - Fee Related FR2714748B1 (fr)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US08/176,458 US5566273A (en) 1993-12-30 1993-12-30 Supervised training of a neural network

Publications (2)

Publication Number Publication Date
FR2714748A1 true FR2714748A1 (fr) 1995-07-07
FR2714748B1 FR2714748B1 (fr) 1996-08-23

Family

ID=22644436

Family Applications (2)

Application Number Title Priority Date Filing Date
FR9415524A Expired - Fee Related FR2714748B1 (fr) 1993-12-30 1994-12-16 Apprentissage supervisé d'un réseau neuronique.
FR9600502A Expired - Fee Related FR2728365B1 (fr) 1993-12-30 1996-01-12 Apprentissage supervise d'un reseau neuronal

Family Applications After (1)

Application Number Title Priority Date Filing Date
FR9600502A Expired - Fee Related FR2728365B1 (fr) 1993-12-30 1996-01-12 Apprentissage supervise d'un reseau neuronal

Country Status (3)

Country Link
US (1) US5566273A (fr)
JP (1) JPH07225748A (fr)
FR (2) FR2714748B1 (fr)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104777418A (zh) * 2015-05-11 2015-07-15 重庆大学 一种基于深度波尔兹曼机的模拟电路故障诊断方法
CN110240072A (zh) * 2019-06-17 2019-09-17 辽宁机电职业技术学院 一种用于起重机伸缩臂的控制方法
CN114567512A (zh) * 2022-04-26 2022-05-31 深圳市永达电子信息股份有限公司 基于改进art2的网络入侵检测方法、装置及终端

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3058564B2 (ja) * 1994-07-14 2000-07-04 東京電力株式会社 送電線故障区間及び故障様相の評定方法
US5712959A (en) * 1995-07-07 1998-01-27 Streit; Roy L. Neural network architecture for non-Gaussian components of a mixture density function
US5724487A (en) * 1995-07-07 1998-03-03 Streit; Roy L. Neural network for maximum likelihood classification with supervised and unsupervised training capability
US5854993A (en) * 1996-12-10 1998-12-29 Caterpillar Inc. Component machine testing using neural network processed vibration data analysis
US6185337B1 (en) 1996-12-17 2001-02-06 Honda Giken Kogyo Kabushiki Kaisha System and method for image recognition
DE19808197C2 (de) * 1998-02-27 2001-08-09 Mtu Aero Engines Gmbh System und Verfahren zur Diagnose von Triebwerkszuständen
US6301572B1 (en) * 1998-12-02 2001-10-09 Lockheed Martin Corporation Neural network based analysis system for vibration analysis and condition monitoring
US6240343B1 (en) 1998-12-28 2001-05-29 Caterpillar Inc. Apparatus and method for diagnosing an engine using computer based models in combination with a neural network
WO2001014992A1 (fr) * 1999-08-25 2001-03-01 Kent Ridge Digital Labs Dispositif de classification de documents
US6424961B1 (en) 1999-12-06 2002-07-23 AYALA FRANCISCO JOSé Adaptive neural learning system
US7577631B2 (en) * 2001-09-10 2009-08-18 Feldhake Michael J Cognitive image filtering
US7849032B1 (en) * 2002-05-24 2010-12-07 Oracle International Corporation Intelligent sampling for neural network data mining models
US7493295B2 (en) * 2003-01-17 2009-02-17 Francisco J. Ayala Method, system and computer program for developing cortical algorithms
JP2007504576A (ja) * 2003-01-17 2007-03-01 アヤラ,フランシスコ,ジェイ 人工知能を開発するためのシステム及び方法
NL1023948C2 (nl) * 2003-07-18 2005-01-19 Skf Ab Werkwijze en sensoropstelling voor belastingsmeting op een lager met rolelementen.
FR2939545A1 (fr) * 2008-12-10 2010-06-11 Nourredine Zerhouni Systeme de surveillance
US8160354B2 (en) * 2008-12-26 2012-04-17 Five Apes, Inc. Multi-stage image pattern recognizer
US8229209B2 (en) * 2008-12-26 2012-07-24 Five Apes, Inc. Neural network based pattern recognizer
US8290250B2 (en) * 2008-12-26 2012-10-16 Five Apes, Inc. Method and apparatus for creating a pattern recognizer
US10423694B2 (en) 2014-03-06 2019-09-24 Progress, Inc. Neural network and method of neural network training
EA035114B1 (ru) 2014-03-06 2020-04-29 Прогресс, Инк. Нейронная сеть и способ обучения нейронной сети
US9619749B2 (en) 2014-03-06 2017-04-11 Progress, Inc. Neural network and method of neural network training
CN103927534B (zh) * 2014-04-26 2017-12-26 无锡信捷电气股份有限公司 一种基于卷积神经网络的喷码字符在线视觉检测方法
US20170275986A1 (en) * 2015-11-05 2017-09-28 Halliburton Energy Services Inc. Fluid flow metering with point sensing
US10712733B2 (en) * 2016-12-12 2020-07-14 Mitsubishi Electric Research Laboratories, Inc. Methods and systems for discovery of prognostic subsequences in time series
JP6723944B2 (ja) * 2017-03-08 2020-07-15 株式会社日立製作所 プラントデータ分類装置、プラントデータ表示処理装置及びプラント制御システム
JP7191569B2 (ja) * 2018-07-26 2022-12-19 Ntn株式会社 把持装置
US11961052B2 (en) 2020-12-15 2024-04-16 Caterpillar Inc. Systems and methods for wear assessment and part replacement timing optimization

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992011604A1 (fr) * 1990-12-18 1992-07-09 Trustees Of Boston University Systeme pour la reconnaissance et l'apprentissage rapides de categories
WO1992014200A1 (fr) * 1991-01-31 1992-08-20 Trustees Of Boston University Reseau neuronal predicteur a organisation autonome

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4803736A (en) * 1985-11-27 1989-02-07 The Trustees Of Boston University Neural networks for machine vision
JP2517036B2 (ja) * 1985-11-27 1996-07-24 ザ・トラステイ−ズ・オブ・ボストン・ユニバ−シテイ パタ―ン認識システム及び方法
EP0247163B1 (fr) * 1985-11-27 1992-02-05 Trustees Of Boston University Systeme de codage de formes
US4914708A (en) * 1987-06-19 1990-04-03 Boston University System for self-organization of stable category recognition codes for analog input patterns
US5133021A (en) * 1987-06-19 1992-07-21 Boston University System for self-organization of stable category recognition codes for analog input patterns
WO1991011776A2 (fr) * 1990-01-12 1991-08-08 The Trustees Of Boston University Systeme de reconnaissance de configurations hierarchiques a poids de selection variables
US5058180A (en) * 1990-04-30 1991-10-15 National Semiconductor Corporation Neural network apparatus and method for pattern recognition
EP0492641A3 (en) * 1990-12-27 1993-05-12 Kabushiki Kaisha Toshiba Learning method for a learning apparatus
WO1992013306A1 (fr) * 1991-01-15 1992-08-06 Trustees Of Boston University Systeme de carte a association vectorielle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992011604A1 (fr) * 1990-12-18 1992-07-09 Trustees Of Boston University Systeme pour la reconnaissance et l'apprentissage rapides de categories
WO1992014200A1 (fr) * 1991-01-31 1992-08-20 Trustees Of Boston University Reseau neuronal predicteur a organisation autonome

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CARPENTER G ET AL: "COMPARATIVE PERFORMANCE MEASURES OF FUZZY ARTMAP, LEARNED VECTOR QUANTIZATION, AND BACK PROPAGATION FOR HANDWRITTEN CHARACTER RECOGNITION", PROCEEDINGS OF THE INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORK (IJCNN), BALTIMORE, JUNE 7 - 11, 1992, vol. 1, 7 June 1992 (1992-06-07), INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, pages 794 - 799, XP000340294 *
CHENG-AN HUNG ET AL: "AN ARTMAP BASED HYBRID NEURAL NETWORK FOR SHIFT INVARIANT CHINESE CHARACTER RECOGNITION", PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON NEURAL NETWORKS (ICN, SAN FRANCISCO, MAR. 28 - APR. 1, 1993, vol. 3, 28 March 1993 (1993-03-28), INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, pages 1600 - 1605, XP000379515 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104777418A (zh) * 2015-05-11 2015-07-15 重庆大学 一种基于深度波尔兹曼机的模拟电路故障诊断方法
CN110240072A (zh) * 2019-06-17 2019-09-17 辽宁机电职业技术学院 一种用于起重机伸缩臂的控制方法
CN110240072B (zh) * 2019-06-17 2020-05-15 辽宁机电职业技术学院 一种用于起重机伸缩臂的控制方法
CN114567512A (zh) * 2022-04-26 2022-05-31 深圳市永达电子信息股份有限公司 基于改进art2的网络入侵检测方法、装置及终端
CN114567512B (zh) * 2022-04-26 2022-08-23 深圳市永达电子信息股份有限公司 基于改进art2的网络入侵检测方法、装置及终端

Also Published As

Publication number Publication date
FR2728365B1 (fr) 1997-05-23
FR2714748B1 (fr) 1996-08-23
FR2728365A1 (fr) 1996-06-21
JPH07225748A (ja) 1995-08-22
US5566273A (en) 1996-10-15

Similar Documents

Publication Publication Date Title
FR2714748A1 (fr) Apprentissage supervisé d&#39;un réseau neuronique.
FR2714750A1 (fr) Système et procédé de diagnostic de défaut de machine.
EP0624847B1 (fr) Dispositif et méthode pour générer une fonction d&#39;approximation
EP0546624B1 (fr) Système de traitement de données opérant avec une fonction non linéaire formée de morceaux
Maschler et al. Continual learning of fault prediction for turbofan engines using deep learning with elastic weight consolidation
EP0675374B1 (fr) Procédé de poursuite de mobiles
EP0514986B1 (fr) Procédé d&#39;apprentissage d&#39;un réseau de neurones et dispositif de classification pour la mise en oeuvre de ce procédé
WO2020208153A1 (fr) Procede de definition d&#39;un chemin
FR2695246A1 (fr) Système de reconnaissance de la parole.
Lee et al. An explainable deep learning-based prognostic model for rotating machinery
FR2661265A1 (fr) Systeme neuronal de classification et procede de classification utilisant un tel systeme.
EP0446974A1 (fr) Procédé de classification mis en oeuvre dans un réseau de neurones en couches pour classification multiclasses et réeseau de neurones en couches selon le procédé
Gorbachenko et al. Investigation of neural and fuzzy neural networks for diagnosis of endogenous intoxication syndrome in patients with chronic renal failure
EP0681270A1 (fr) Procédé de trajectographie d&#39;objets et dispositif de mise en oeuvre de ce procédé
CN111756352B (zh) 脉冲阵列时域滤波方法、装置、设备及存储介质
EP1007962B1 (fr) Appareil et methode de classification utilisant une combinaison de methodes statistiques et de reseaux neuronaux
CN115545086B (zh) 一种可迁移的特征自动选取声学诊断方法及系统
EP0622749B1 (fr) Système à réseau neuronal pour le traitement de signaux
FR2754080A1 (fr) Procede d&#39;apprentissage pour la classification de donnees selon deux classes separees par une surface separatrice d&#39;ordre 1 ou 2
Suaste-Rivas et al. A fuzzy relational neural network for pattern classification
EP0681246A1 (fr) Procédé et dispositif d&#39;extraction d&#39;un sous-ensemble d&#39;objets optimisant une mesure, en utilisant un réseau de neurones
Nagarajan et al. Deployable and weighted ensemble-based deep learning model for alzheimer’s disease detection
Wang A network model of motion processing in area MT of primates
CA3104759A1 (fr) Procede de modelisation pour le controle des resultats fournis par un reseau de neurones artificiels et autres procedes associes
FR2970796A1 (fr) Procede de traitement de messages de pannes generes dans un appareil a systemes complexes

Legal Events

Date Code Title Description
ST Notification of lapse

Effective date: 20100831