FR2716279A1 - Réseau neuronal chaotique récurrent et algorithme d'apprentissage pour celui-ci. - Google Patents
Réseau neuronal chaotique récurrent et algorithme d'apprentissage pour celui-ci. Download PDFInfo
- Publication number
- FR2716279A1 FR2716279A1 FR9501575A FR9501575A FR2716279A1 FR 2716279 A1 FR2716279 A1 FR 2716279A1 FR 9501575 A FR9501575 A FR 9501575A FR 9501575 A FR9501575 A FR 9501575A FR 2716279 A1 FR2716279 A1 FR 2716279A1
- Authority
- FR
- France
- Prior art keywords
- chaotic
- time
- neuron
- neural network
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0418—Architecture, e.g. interconnection topology using chaos or fractal principles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Feedback Control In General (AREA)
Abstract
Réseau neuronal récurrent chaotique comprenant N réseaux neuronaux chaotiques pour recevoir un signal extérieur d'entrée et les signaux de sortie de N-1 réseaux neuronaux chaotiques parmi lesdits N réseaux neuronaux chaotiques et pour effectuer une opération conformément à l'équation dynamique ci-dessous: (CF DESSIN DANS BOPI) ou Wi j est un coefficient de connexion de synapse du signal d'entrée à réaction depuis le "j"ième neurone jusqu'au "i"ième neurone, Xi (t) est le signal de sortie du "i"ième neurone à l'instant t, et gammai , alpha et k sont respectivement une constante de retard, un paramètre non négatif et une constante réfractaire d'atténuation dans le temps, et où Zi (t) représente Xi (t) lorsque i appartient au groupe I de neurones et représente ai (t) lorsque i appartient au groupe E de signaux extérieurs d'entrée.
Description
La présente invention est relative aux réseaux
neuronaux et, plus particulièrement, à un réseau neuronal chaotique récurrent et à un algorithme d'apprentissage pour celui-ci.
Récemment, des progrès notables ont été réalisés grâce à diverses recherches sur les réseaux neuronaux. Ces recherches comprennent des études d'un modèle de réseau neuronal ayant une connexion récurrente, ou des signaux d'entrée et de sortie variant dans le temps peuvent être traités. Par ailleurs, un algorithme de rétro-propagation dans le temps (BPTT) est largement utilisé pour convertir le réseau neuronal récurrent en réseau multicouche d'anticipation pour l'apprentissage, et est ainsi nommé (rétro-propagation) du fait du processus d'apprentissage inversé qui est employé. Dans ce cas, un modèle à temps discrets du réseau neuronal récurrent est déployé dans l'espace pour réaliser le réseau multicouche d'anticipation.
Dans l'algorithme BPTT précité, le nombre de calculs est égal au carré du nombre de cellules. Une valeur de trajectoire mise à jour doit être temporairement mémorisée à mesure que les dynamiques d'un réseau sont calculées dans le temps (depuis l'instant "O" jusqu'à l'instant "T"), puis l'erreur doit faire l'objet d'un calcul inversé (depuis l'instant "T" jusqu'à l'instant "0"). Il a été proposé, comme algorithme d'apprentissage d'un réseau neuronal récurrent supprimant les inconvénients ci-dessus lors du calcul, un algorithme d'apprentissage à temps finis, o le réseau neuronal est mis en fonctionnement après la fixation d'un poids de connexion pendant un laps de temps prédéterminé, ce qui permet de réduire la majeure partie des erreurs du système dans un laps de temps donné. Le réseau neuronal récurrent est classé en fonction de ce que le poids de connexion est considéré comme une fonction variant dans le temps ou comme une valeur invariante dans le temps, constante pendant un laps de temps prédéterminé du fonctionnement du réseau.
Ici, l'algorithme d'apprentissage à temps finis est la seconde valeur (invariante dans le temps) pour limiter l'erreur au terme du laps de temps.
Un réseau neuronal est constitué de N neurones répondant aux équations dynamiques suivantes.
YiYi(t) = -Yi(t)+Wijxj(t)+ai(t) ... (1) Xi(t) = fi[Yi(t)] ... (2) Ici, i est un nombre naturel compris entre 1 et N; Yi(t) est le signal de sortie du "i"ième neurone; fi est la fonction de sortie d'un neurone; Yi est une constante de retard; et Wij est un poids de connexion du "j"ième neurone, qui est une valeur invariante dans le temps. Par ailleurs, le réseau a un signal de polarisation a(t) fourni de l'extérieur à l'instant t, en tant que fonction variant dans le temps.
La Figure 1 représente le modèle de réseau neuronal récurrent selon la technique antérieure.
Dans ce cas, le réseau fonctionne pendant un laps de temps donné en fonction d'un état initial prédéterminé et d'un signal d'entrée fourni de l'extérieur.
Pendant le fonctionnement du réseau, le poids de connexion entre les neurones est fixe et l'erreur est cumulée dans le temps. La fonction d'apprentissage d'un réseau est définie comme l'erreur totale du réseau et est calculée de la manière suivante pendant un laps de temps prédéterminé.
T2 1 E(W) Z - [Xi(tIW)-Qi(t)]2. (3) =T2 T1 iEv 2 Ici, Xi(tlW) est le signal de sortie du "'"ième neurone d'un réseau à l'instant t, pour une matrice W de poids de connexion fixes qui est calculée à partir des équations (1) et (2); et Qi(t) est un signal d'apprentissage variant dans le temps. Dans ce cas, on utilise comme règle de correction de poids un procédé selon la pente de descente la plus forte, et la valeur de correction de poids de connexion calculée en introduisant un multiplicateur de Lagrange Li(t) est la suivante: fE (W) ] Awij = - ( W i 1J w....(4) T2 = -1q dtLi(tiW)Yj(tlW) T1 Ici, n est une constante positive.
Ce procédé a été adopté pour la reconnaissance de nombres manuscrits de façon que les données séquentielles dans le temps puissent être reconnues et estimées.
Les recherches sur les ordinateurs neuronaux pour imiter la structure d'un réseau neuronal cérébral et le mécanisme de traitement d'informations de celui-ci ont commencé par un modèle neuronal mathématique fondé sur les caractéristiques numériques d'une impulsion de tension active. Récemment, cependant, l'intérêt pour les caractéristiques analogiques d'un neurone a progressivement augmenté. Ainsi, le comportement extraordinairement dynamique d'un système nerveux cérébral présente une caractéristique de réponse, appelée "chaos" qui ne peut pas être décrite par le modèle neuronal classique. Par conséquent, dans un modèle de neurone à chaos récemment proposé, des caractéristiques analogiques non linéaires du cerveau sont mises en valeur. Ce modèle effectue une correction analogique de la caractéristique de réponse de façon que la description qualitative d'une caractéristique de réponse par chaos soit possible.
Le modèle de neurone à chaos par rapport à un signal d'entrée est exprimé sous la forme: t X(t+l) = f A(t)-a Z Krgx(t-r) - ... (5) [ r=o o X(t) est le signal de sortie d'un neurone à l'instant t et correspond à la valeur maximale d'une impulsion neuronale (0<X(t)l<1), f est une fonction de sortie du neurone, A(t) est la valeur d'un stimulus d'entrée à l'instant t, a est un paramètre non négatif (a0O), k est une constante réfractaire (0<k<l) d'atténuation dans le temps, g est une fonction illustrant la relation entre le signal de sortie d'un neurone et la constante réfractaire en réponse au stimulus suivant (on supposera ci- après, pour simplifier, que la fonction identique g(x) est égale à x, et a est une valeur de seuil.
En supposant une sommation dans le temps et l'espace, o une valeur précédente est additionnée avec la valeur instantanée et est atténuée dans le temps (ici, la constante d'atténuation est désignée par k), de même que pour la constante réfractaire, les caractéristiques d'entrée et de sortie d'un neurone peuvent être exprimées par l'équation (6) ci- dessous.
Mt N t Xi(t+)=f Vij EkrAj(t-r)+ -Wij. Z krh[Xj(t-r)] j=o r= j =l 3r=o Xi(t+l)=f[j ViJrokrAj(tr+11r t a r KrXi(t-r) - oi (6) r=o Ici, Xi(t+l) est le signal de sortie du "i"ième neurone à l'instant t+l; Vij est un coefficient de connexion de synapse depuis la "j"ième entree de l'extérieur jusqu'au "i"ième neurone; Aj(t) est la valeur de la "j"ième entrée de l'extérieur à l'instant t, Wij est un coefficient de connexion de synapse de l'entrée à réinjection depuis le "j"ième neurone jusqu'au "i"ième neurone; et 0 est la valeur de seuil du "i"ième neurone.
Ici, les dynamiques à temps discrets d'un neurone chaotique sont exprimées par l'équation différen- tielle simple ci-dessous.
N
Yi(t+l) = kYi(t)+ Z W.ijh[f(Yi(t)]-af[Yi(t)]+ai(t) ...(7) z =1 1 Xi(t+l) = f[Yi(t+l)] ...(8)
M
ai(t) = Z VijAj(t)-oi(l-k) ... (9) j=l Le réseau neuronal exprimé par les équations (7); (8) et (9) est appelé réseau neuronal chaotique.
Lorsque le réseau neuronal chaotique est employé dans un modèle de mémoire associative, le réseau n'est pas amené à converger d'une manière stable vers un seul modèle de mémoire qui est le plus proche d'un signal d'entrée instantané et il oscille d'une manière dynamique entre divers modèles de mémoire en fonction des valeurs des paramètres.
A la suite de la proposition d'un modèle de réseau neuronal chaotique, on a procédé à l'analyse du signal d'entrée constant indépendamment du temps, en appliquant le modèle à un dispositif de mémoire d'opéra- tions. Cependant, jusqu'à présent, aucune publication n'a été faite à propos d'un réseau neuronal chaotique employant des signaux d'entrée et de sortie variant dans le temps.
Afin d'examiner la possibilité de l'apprentissage d'un réseau neuronal chaotique utilisant ces signaux d'entrée et de sortie variant dans le temps et l'application de celui- ci, le réseau neuronal récurrent chaotique est constitué de neurones chaotiques et il est proposé un algorithme d'apprentissage à temps finis amélioré en corrigeant d'une manière appropriée l'algorithme d'apprentissage à temps finis pour un réseau neuronal récurrent général. Par ailleurs, les effets des paramètres réfractaires du réseau neuronal chaotique sur l'apprentissage du réseau neuronal récurrent chaotique selon le présent procédé vont être examinés.
Cependant, comme l'algorithme d'apprentissage à temps finis proposé est une sorte de réseau neuronal récurrent inversé, les mêmes problèmes que ceux présentés par le réseau multineuronal utilisant le procédé inversé apparaissent lorsqu'on met en oeuvre le procédé. Les problèmes sont des minima locaux et un long temps d'apprentissage.
La Figure 2 est une courbe représentant l'erreur totale par rapport à l'itération d'apprentissage du réseau neuronal récurrent représenté sur la Figure 1. On peut voir sur cette figure que lorsque le nombre d'itérations augmente, l'erreur cumulée n'est pas fortement corrigée et sa pente est relativement forte à mesure qu'elle s'approche du signal d'apprentissage. Pour surmonter ce problème, la présente invention adopte un réseau neuronal chaotique. Le réseau neuronal chaotique est issu d'un modèle de neurone à temps discrets. Le réseau neuronal chaotique présente à la fois une réponse périodique (qui ne peut pas être réalisée par le modèle de neurone selon la technique antérieure) et une réponse chaotique.
La présente invention vise à réaliser un réseau neuronal récurrent chaotique dans lequel un neurone chaotique est adopté pour le neurone d'un réseau neuronal récurrent classique.
La présente invention vise également à réaliser un algorithme d'apprentissage pour le réseau récurrent chaotique, dans lequel le temps d'apprentissage soit réduit et les possibilités d'apprentissage soient améliorées.
Pour atteindre le premier objectif de la présente invention, il est proposé un réseau neuronal récurrent chaotique comprenant N réseaux neuronaux chaotiques pour recevoir un signal extérieur d'entrée et les signaux de sortie de N-1 réseaux neuronaux chaotiques parmi les N réseaux neuronaux chaotiques et pour effectuer une opération conformément à l'équation dynamique ci- dessous: YiYi(t+l) = E wijzi(t) + kYi(t) - aXi(t) jEIuE Xi(t) = fi[Yi(t)] dans laquelle Wij est un coefficient de connexion de synapse pour le signal d'entrée à réaction depuis le "j"ième neurone jusqu'au "i"ième neurone, Xi(t) est le signal de sortie du "i"ième neurone à l'instant t, et yi, a et k sont respectivement une constante de retard, un paramètre non négatif et une constante réfractaire d'atténuation dans le temps, et dans laquelle Zi(t) représente Xi(t) lorsque i appartient au groupe I de neurones et représente ai(t) lorsque i appartient au groupe E de signaux extérieurs d'entrée.
Pour atteindre le second objectif précité de la présente invention, il est proposé un algorithme d'apprentissage pour le réseau neuronal récurrent chaotique selon la présente invention, comprenant les étapes consistant à: (a) initialiser un état initial Xi(0) et des poids de connexion à l'aide d'une valeur aléatoire; (b) faire fonctionner les réseaux pendant un laps de temps "T" selon l'équation dynamique o l'état initial donné est Xi(0) et le signal extérieur d'entrée est ai(t); (c) effectuer un calcul inversé d'un multiplicateur de Lagrange dans la condition aux limites Li(TIW)=0 et le signal d'apprentissage donné Qi(t) =0 à partir de l'instant t, conformément à l'équation ci-dessous Li(t-1)= E Lj(t)Wjif'[Yi(t)]+[Xi(t)-Qi(t)]f'[Yi(t)]+kLi(t)- jeI aLi(t)f' [Yi(t)] dans laquelle Xi(t) est la valeur calculée lors de l'étape (b); et (d) additionner les erreurs totales au terme des étapes (b) et (c) pour tous les signaux d'entrée, et mettre fin à l'apprentissage si l'erreur est inférieure à une limite prédéterminee, et autrement en corrigeant le poids conformément à l'équation de correction de poids ci-dessous
T
Aw = - Li(t)Zj (t) t=o et en répétant les étapes (b) à (d).
Les objectifs et avantages précités de la présente invention apparaîtront plus clairement grâce à la description détaillée d'une forme préférée de réalisation de celle-ci, faite en référence aux dessins annexés, sur lesquels: la Figure 1 représente un modèle de réseau neuronal récurrent selon la technique antérieure; la Figure 2 est une courbe présentant une erreur cumulée par rapport aux itérations d'apprentissage du réseau neuronal récurrent représenté sur la Figure 1; la Figure 3 est un modèle de réseau neuronal récurrent chaotique selon la présente invention; et la Figure 4 est une courbe présentant l'erreur cumulée par rapport aux itérations d'apprentissage du réseau neuronal récurrent dans le cas ou l'algorithme d'apprentissage selon la présente invention est appliqué au modèle de la Figure 3.
Le réseau neuronal récurrent chaotique, représenté sur la Figure 3, selon la présente invention est constitué par N réseaux neuronaux chaotiques conformes aux équations dynamiques suivantes.
yiYi(t) = Yi(t)+ Z WijZj(t)+kYi(t) -aXi(t) ... (10) jIuE Xi(t) = fi[Yi(t)]
. (11) Le présent réseau est constitué par n signaux de sortie représentés par Y(t) et par m signaux extérieurs d'entrée a(t), qui sont appliqués aux réseaux à l'instant t...DTD: Selon la présente invention, les deux signaux ci-dessus sont combinés et exprimés par un symbole Z(t).
Lorsque le préfixe "i" appartient au groupe I de neurones constituant le réseau, Zi représente le signal de sortie du réseau et, lorsque le préfixe "i" appartient au groupe e constituant un signal extérieur d'entrée du réseau, Zi représente le signal extérieur d'entrée.
Ainsi, 0Xi(t) if ieIx Zt) Xi= ... (12) ai(t) if iCI Dans la présente forme de réalisation, le réseau fonctionne pendant un laps de temps donné selon un état initial prédéterminé et un signal extérieur d'entrée, laps de temps durant lequel le poids de connexion entre les neurones est fixe et l'erreur est cumulée dans le temps, comme dans le cas du modèle de réseau neuronal récurrent chaotique selon la technique antérieure de la Figure 1. Par ailleurs, la fonction d'apprentissage du réseau est définie comme l'erreur totale du réseau calculée par F T2 1 E(W(v)) = [Xi(tW)-Qi(t) (13) J T1 iV 2 o Xi(tlW) représente le signal de sortie du "i"ième neurone du réseau à l'instant t, et Qi(t) représente le signal d'apprentissage donné, variant dans le temps. Le procédé précité utilisant la pente descendante la plus forte est utilisé comme règle de correction de poids, et la valeur de correction de poids de connexion est calculée par E (W) Awii = -q I... (14) J W..j 1l o q est une constante positive. Pour calculer l'équation (14), en supposant que l'équation (15) représente les variations d'une erreur d'apprentissage en fonction des variations d'un poids, sous la forme bE(W) = E(W+8W) - E(W) ... (15) comme Xi (t) et Yi(t) sont conformes aux équations dynamiques (10) et (11), l'erreur E(W) d'apprentissage peut être exprimée par l'équation ci-dessous. r2 1
E(W) = | 1 [Xi(tlW)-Qi(t)]2- JT1 2 ieI 1 Li(tlW) [(YiYi(tlW)+(l-k)Yi(IW)1 wijZj(tlW)+aXi(tlW)] ieI juE (16) Si on introduit un multiplicateur de Lagrange Li(t) conforme à l'équation (17), la valeur de modification de l'erreur d'apprentissage est exprimée sous la forme de l'équation (18).
N
yiLi(t) = (l-k)Li(tlW) - LjWijf' [Yi(tlW)] - j bik(Xi-Qi)f'[Yi(tIW)]+Li(tIW)af'[Yi(tlW)] ...(17)
N N
bE(W) = Z Li(TlIW)YibYi(TlIW)-l Li(T21W)yibYi(T21W) + i=l i=1 0T2 'T2dt.S Li(T1W)Zj(t1W)âWij Tl 1i,3 Le premier terme est éliminé de l'équation (18) par l'équation (19) ci-dessous de l'état initial fixe. Par ailleurs, si le multiplicateur de Lagrange Li(t) est conforme à une condition aux limites de l'équation (20) ci- dessous, le second terme est éliminé. Ainsi, bYi(TlIW) = 0...(19) Li(T21W) = 0... (20) Enfin, le procédé de correction du poids de connexion est représenté sous la forme de l'équation ci- dessous. T2
AWij - dtLi(TIW)Zj(TIW) ... (21) L'ensemble de l'algorithme d'apprentissage se présente de la manière suivante.
Lors d'une première étape, l'état initial Xi(0) et le poids de connexion sont initialisés sous la forme d'une valeur aléatoire.
Ensuite, lors d'une seconde étape, le réseau fonctionne pendant un laps de temps "T" dans l'état initial donné Xi(0) et selon le signal extérieur d'entrée ai(t), conformément à l'équation dynamique ci-dessous.
yi(t+l) = X WijZi(t)+kYi(t) -aXi(t) jEIuE 30... (22) Xi(t) = fi[Yi(t)] Lors d'une troisième étape, le multiplicateur de Lagrange Li est obtenu d'une manière inverse à partir de l'instant t par l'équation (20) aux conditions limites et à l'aide du signal d'apprentissage donné Q1(t) conformément à l'équation (18). Ici, Xi(t) est une valeur calculée lors de la seconde étape.
Li(t-l)= Y Lj(t)Wjif'[Yi(t)]+[Xi(t)-Qi(t)]f'[Yi(t)] jeI (23) + kLi(t)aLi(t)f'[Yi(t)] Lors d'une quatrième étape, la somme de l'erreur totale est calculée après que les opérations des seconde et troisième étapes ont été effectuées pour tous les signaux d'entrée. Si l'erreur est inférieure à une limite constante, l'apprentissage est terminé. Par ailleurs, après la correction du poids conformément à l'équation de correction de poids ci-dessous, les opérations sont répétées à partir de la seconde étape.
T
Awij = - Li (t)..Zj. (24) t=o La Figure 4 est une courbe présentant l'erreur cumulée par rapport au nombre d'itérations d'apprentissage du réseau neuronal récurrent dans le cas ou l'algorithme d'apprentissage selon la présente invention est appliqué au réseau selon la Figure 3. on peut voir ici que la valeur d'erreur finale est fortement réduite par rapport à celle présentée sur la Figure 2, même si l'itération d'apprentissage n'augmente pas beaucoup. Sur la courbe de la Figure 4, la valeur de k est 0,9 et la valeur de a est 0,4.
Par conséquent, l'algorithme d'apprentissage du réseau neuronal récurrent chaotique selon la présente invention peut donner de bons résultats avec un temps d'apprentissage plus court que celui nécessaire dans le réseau neuronal récurrent.
Claims (2)
1. Réseau neuronal récurrent chaotique, caracté- risé en ce qu'il comporte N réseaux neuronaux chaotiques pour recevoir un signal extérieur d'entrée et les signaux de sortie de N-1 réseaux neuronaux chaotiques parmi lesdits N réseaux neuronaux chaotiques et effectuant une opération conformément aux équations dynamiques ci- dessous: yiYi(t+l) = E WijZi(t) + kYi(t) aXi(t) jEIuE Xi(t) = fi[Yi(t)] o Wij est un coefficient de connexion de synapse du signal d'entrée a réaction depuis le "j"ième neurone jusqu'au "i"ième neurone, Xi(t) est le signal de sortie du "i"ième neurone à l'instant t, et i, a et k sont respectivement une constante de retard, un paramètre non négatif et une constante réfractaire d'atténuation dans le temps, et o Zi(t) représente Xi(t) lorsque i appartient au groupe I de neurones et représente ai(t) lorsque i appartient au groupe E de signaux extérieurs d'entrée.
2. Algorithme d'apprentissage pour un réseau neuronal récurrent chaotique selon la revendication 1, caractérisé en ce qu'il comprend les étapes consistant à: (a) initialiser un état initial Xi(O) et des poids de connexion à l'aide d'une valeur aléatoire; (b) faire fonctionner les réseaux pendant un laps de temps "T" selon l'équation dynamique o l'état initial est Xi(0) et le signal extérieur d'entrée est ai(t); (c) calculer de manière inverse un multiplicateur de Lagrange pour une condition aux limites Li(TIW)=0 et un signal d'apprentissage Qi(t)=0 à partir de l'instant t, selon l'équation ci-dessous Li(t-1)= Z Lj(t)Wjif'[Yi(t)]+[Xi(t)-Qi(t)]f'[Yi(t)]+kLi(t)- jeI -aLi(t)f' [Yi(t)] o Xi(t) est la valeur calculée lors de ladite étape (b) ; et (d) additionner des erreurs totales au terme desdites étapes (b) et (c) pour tous les signaux d'entrée, et mettre fin à l'apprentissage si l'erreur est inférieure à une limite prédéterminée et, autrement, corriger le poids conformément à l'équation de correction de poids ci-dessous
T
AWij = - Z Li(t)Zj(t) t=o et répéter lesdites étapes (b) à (d).
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019940002540A KR0185757B1 (ko) | 1994-02-14 | 1994-02-14 | 혼돈 순환 신경회로망의 학습방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR2716279A1 true FR2716279A1 (fr) | 1995-08-18 |
| FR2716279B1 FR2716279B1 (fr) | 1996-05-31 |
Family
ID=19377120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR9501575A Expired - Fee Related FR2716279B1 (fr) | 1994-02-14 | 1995-02-10 | Réseau neuronal chaotique récurrent et algorithme d'apprentissage pour celui-ci. |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5613042A (fr) |
| JP (1) | JPH07282168A (fr) |
| KR (1) | KR0185757B1 (fr) |
| DE (1) | DE19504664C2 (fr) |
| FR (1) | FR2716279B1 (fr) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE193388T1 (de) * | 1996-02-02 | 2000-06-15 | Rodney Michael John Coterill | Verfahren zur verarbeitung von datenströmen in einem neuronalen netzwerk und ein neuronales netzwerk |
| US6708160B1 (en) * | 1999-04-06 | 2004-03-16 | Paul J. Werbos | Object nets |
| AU2001295591A1 (en) * | 2000-10-13 | 2002-04-22 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | A method for supervised teaching of a recurrent artificial neural network |
| KR100577422B1 (ko) * | 2003-12-11 | 2006-05-08 | 삼성전자주식회사 | 저장고 |
| JP2007265345A (ja) * | 2006-03-30 | 2007-10-11 | Sony Corp | 情報処理装置および方法、学習装置および方法、並びにプログラム |
| US7814038B1 (en) | 2007-12-06 | 2010-10-12 | Dominic John Repici | Feedback-tolerant method and device producing weight-adjustment factors for pre-synaptic neurons in artificial neural networks |
| US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US10198691B2 (en) | 2014-06-19 | 2019-02-05 | University Of Florida Research Foundation, Inc. | Memristive nanofiber neural networks |
| WO2015195365A1 (fr) * | 2014-06-19 | 2015-12-23 | The University Of Florida Research Foundation, Inc. | Réseaux neuronaux à nanofibres memristives |
| KR102449941B1 (ko) | 2018-04-05 | 2022-10-06 | 레인 뉴로모픽스 인크. | 효율적인 행렬 곱셈을 위한 시스템 및 방법 |
| US11450712B2 (en) | 2020-02-18 | 2022-09-20 | Rain Neuromorphics Inc. | Memristive device |
| CN113099520B (zh) * | 2021-03-19 | 2022-10-11 | 杭州电子科技大学 | 一种基于迟滞噪声混沌神经网络的基站休眠方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5182794A (en) * | 1990-07-12 | 1993-01-26 | Allen-Bradley Company, Inc. | Recurrent neural networks teaching system |
| US5204872A (en) * | 1991-04-15 | 1993-04-20 | Milltech-Hoh, Inc. | Control system for electric arc furnace |
| JPH07117950B2 (ja) * | 1991-09-12 | 1995-12-18 | 株式会社エイ・ティ・アール視聴覚機構研究所 | パターン認識装置およびパターン学習装置 |
| US5253329A (en) * | 1991-12-26 | 1993-10-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Neural network for processing both spatial and temporal data with time based back-propagation |
| US5408424A (en) * | 1993-05-28 | 1995-04-18 | Lo; James T. | Optimal filtering by recurrent neural networks |
-
1994
- 1994-02-14 KR KR1019940002540A patent/KR0185757B1/ko not_active IP Right Cessation
-
1995
- 1995-01-27 US US08/379,211 patent/US5613042A/en not_active Expired - Lifetime
- 1995-02-10 FR FR9501575A patent/FR2716279B1/fr not_active Expired - Fee Related
- 1995-02-13 DE DE19504664A patent/DE19504664C2/de not_active Expired - Fee Related
- 1995-02-13 JP JP7024298A patent/JPH07282168A/ja active Pending
Non-Patent Citations (4)
| Title |
|---|
| AITYAN S K: "Recurrent refractory neural field", IJCNN INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (CAT. NO.92CH3114-6), BALTIMORE, MD, USA, 7-11 JUNE 1992, ISBN 0-7803-0559-0, 1992, NEW YORK, NY, USA, IEEE, USA, pages 140 - 145 vol.4 * |
| ICHIRO TSUDA: "DYNAMIC LINK OF MEMORY-CHAOTIC MEMORY MAP IN NONEQUILIBRIUM NEUTRAL NETWORKS", NEURAL NETWORKS, vol. 5, no. 2, 1 January 1992 (1992-01-01), pages 313 - 326, XP000263563 * |
| PRINCIPE J C ET AL: "CHAOTIC DYNAMICS OF TIME-DELAY NEURAL NETWORKS", INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN), SAN DIEGO, JUNE 17 - 21, 1990, vol. VOL. 2, no. -, 17 June 1990 (1990-06-17), INSTITUTE OF ELECTRICAL AND ELECTRONICS ENGINEERS, pages 403 - 409, XP000144374 * |
| TSUBATA T ET AL: "Intermittency of recurrent neuron and its network dynamics", IEICE TRANSACTIONS ON FUNDAMENTALS OF ELECTRONICS, COMMUNICATIONS AND COMPUTER SCIENCES, MAY 1993, JAPAN, vol. E76-A, no. 5, ISSN 0916-8508, pages 695 - 703 * |
Also Published As
| Publication number | Publication date |
|---|---|
| DE19504664A1 (de) | 1995-08-17 |
| US5613042A (en) | 1997-03-18 |
| FR2716279B1 (fr) | 1996-05-31 |
| KR950025561A (ko) | 1995-09-18 |
| KR0185757B1 (ko) | 1999-05-15 |
| JPH07282168A (ja) | 1995-10-27 |
| DE19504664C2 (de) | 1997-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Abid et al. | A fast feedforward training algorithm using a modified form of the standard backpropagation algorithm | |
| Zhang et al. | Tdsnn: From deep neural networks to deep spike neural networks with temporal-coding | |
| Teh et al. | Rate-coded restricted Boltzmann machines for face recognition | |
| FR2716279A1 (fr) | Réseau neuronal chaotique récurrent et algorithme d'apprentissage pour celui-ci. | |
| Huang et al. | On-line sequential extreme learning machine. | |
| Bell et al. | A non-linear information maximisation algorithm that performs blind separation | |
| EP3871153A1 (fr) | Retro-propagation d'erreurs sous forme impulsionnelle dans un reseau de neurones impulsionnels | |
| TWI806987B (zh) | 用於訓練神經網路的方法及神經網路訓練系統 | |
| CN110782018A (zh) | 基于自编码器的光谱降维方法和装置 | |
| JPH05265999A (ja) | ニューロン回路網に用いるプロセッサー及び処理要素 | |
| Pomponi et al. | Bayesian neural networks with maximum mean discrepancy regularization | |
| Pedroni et al. | Small-footprint spiking neural networks for power-efficient keyword spotting | |
| Mazumdar et al. | Object recognition in videos by sequential frame extraction using convolutional neural networks and fully connected neural networks | |
| Andersen et al. | Adaptive regularization of neural classifiers | |
| Henderson et al. | Spike event based learning in neural networks | |
| Urgun et al. | Composite power system reliability evaluation using importance sampling and convolutional neural networks | |
| CN111756352B (zh) | 脉冲阵列时域滤波方法、装置、设备及存储介质 | |
| Francis | The basics of neural networks demystified | |
| Yan et al. | CQ $^{+} $ Training: Minimizing Accuracy Loss in Conversion from Convolutional Neural Networks to Spiking Neural Networks | |
| Golovko | Deep neural networks: a theory, application and new trends | |
| Al-Allaf | Removing noise from speech signals using different approaches of artificial neural networks | |
| Bedini et al. | Neural network use in maximum entropy image restoration | |
| CN114548290A (zh) | 面向事件流分类的突触卷积脉冲神经网络 | |
| Dilruba et al. | Data pattern recognition using neural network with back-propagation training | |
| Ishikawa | Structural learning and its applications to rule extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ST | Notification of lapse |
Effective date: 20061031 |