FR2665969A1

FR2665969A1 - Reseau neural a couches multiples et son procede de conception.

Info

Publication number: FR2665969A1
Application number: FR9110414A
Authority: FR
Inventors: Chung Ho-Sun; Han Hyo-Jin
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 1990-08-18
Filing date: 1991-08-19
Publication date: 1992-02-21
Anticipated expiration: 2011-08-19
Also published as: JP3229624B2; FR2665969B1; US5347613A; JPH04245098A; KR930009066B1; KR920005005A

Abstract

Le réseau neural à couches multiples recevant une entrée à m bits et générant une sortie à n bits comporte un neurone reliant en cascade une paire d'inverseur: CMOS possédant un nud de sortie avec inversion et un nud de sortie sans inversion, une couche d'entrée (L0) de m neurones de réception d'entrée à m bits, une couche de sortie (L3) de n neurones de sortie à n bits, au moins une couche inaccessible (L1, L2,) de n neurones de transfert de la couche d'entrée (L0) à la couche inaccessible supérieure ou à la couche de sortie (L3), un groupe synapse d'entrée (S1) pour relier la couche d'entrée (L0) à la couche de sortie (L3) et à au moins une couche inaccessible, au moins un groupe synapse de transfert (S1, S2,) afin de connecter une couche inaccessible à la couche inaccessible supérieure ou à la couche de sortie (L3), et un groupe synapse de polarisation (S4) pour chaque nud d'entrée de neurones des couches inaccessibles (L1, L2) et de la couche de sortie (L3).

Description

i

Réseau neural à couches multiples et son procédé de con-

ception. La présente invention a trait à un réseau neural à couches multiples et à son procédé de conception, et plus particulièrement à un réseau neural à couches multi-

ples et au procédé de conception de celui-ci qui peut réa-

liser facilement un-circuit intégré à très grande échelle

d'intégration pour un réseau neural à couches multiples.

Récemment, dans le domaine de la reconnaissance des formes, des réseaux neuraux qui peuvent effectuer un traitement parallèle à grande échelle en temps réel ont été introduits En 1988, Hans P Graf et al des laboratoires Bell, ont présenté un circuit neural de reconnaissance de formes dans lequel des amplificateurs ayant leurs entrées et leurs sorties interconnectées par l'intermédiaire d'un

dispositif de connexion résistif dans une matrice, consti-

tuent les synapses et les neurones du circuit neural, et une paire de commutateurs qui commutent selon les données dans une paire de cellules de mémoire vive pour une

interconnexion de neurones.

Le présent demandeur a déposé de nombreuses de-

mandes un additionneur ( demande américaine NO 07/473 653), un multiplicateur ( 07/473 633), un convertisseur analogique/ numérique ( 07/473 631, 07/473634), un classificateur de

modèles ( 07/473 464), etc, qui utilisent un circuit neu-

ral possédant des synapses de transistor PMOS ou NMOS, et des neurones de circuits tampons sous la forme de paires

en cascade d'inverseurs CMOS Les circuits neuraux classi-

ques précités utilisent un modèle de réseau neural à une seule couche et peuvent résoudre seulement des problèmes séparables linéairement, et non ceux qui sont des problèmes inséparables linéairement (problèmes non linéaires) Par

conséquent, la plage d'application est extrêmement limitée.

Par exemple, un circuit OU exclusif ne peut pas obtenir la

solution en utilisant un réseau neural à une seule couche.

La limitation d'un réseau neural à une seule couche peut

être surmontée grâce à un réseau neural à couches multiples.

Il est connu qu'un réseau neural peut apprendre par un algorithme de contre-propagation (cf IEEE ASSP MAGAZINE,

Pages 4 à 22, Avril 1987).

Il existe davantage de restrictions dans la réa-

lisation de réseaux neuraux à couches multiples que dans une simulation logicielle avec un calculateur Ceci est dû au fait que la réalisation du réseau neural à couches multiples dépend de la technologie d'intégration à très grande échelle courante, et que la réalisation de circuit de valeurs de poids de connexion d'un réseau neural et de fonctions non linéaires n'est pas libre comme dans le cas d'une simulation logicielle Bien que des opérations en nombre réel utilisant une virgule flottante, et un accroissement du nombre de connexions de réseau neural et de noeuds peuvent être accomplis par logiciel, plusieurs problèmes subsistent pour réaliser ceci en technologie

d'intégration à très grande échelle.

Un des buts de la présente invention est de proposer un réseau neural à couches multiples possédant des valeurs de poids de connexion entières et une fonction

échelon pour résoudre le problème de la technique classi-

que. Un autre but de la présente invention est de proposer un procédé de conception de circuit d'un réseau neural à couches multiples afin de concevoir le circuit neural à couches multiples selon la nouvelle règle d'apprentissage. Afin d'atteindre ce but, le réseau neural à couches multiples de la présente invention recevant une entrée à m bits et générant une sortie à N bits comporte

un neurone afin de cascader une paire d'inver-

seurs CMOS et possédant un noeud de sortie de l'inverseur CMOS précédent parmi la paire d'inverseurs CMOS en tant que noeud de sortie avec inversion de celui-ci et un noeud de sortie de l'inverseur CMOS suivant en tant que noeud de sortie sans inversion; une couche d'entrée possédant m neurones pour recevoir l'entrée à m bits; une couche de sortie possédant N neurones pour générer la sortie à N bits; au moins une couche inaccessible pourvue de n neurones afin de transférer l'entrée reçue de la couche d'entrée à la couche inaccessible directement supérieure ou à la couche de sortie; un groupe synapse d'entrée sur une matrice possédant chaque valeur de poids prédéterminée pour relier chaque sortie de neurones sur la couche d'entrée à chaque neurone de la couche de sortie et au moins une couche inaccessible; au moins un groupe synapse de transfert dans une matrice possédant chaque valeur de poids prédéterminée

pour relier chaque sortie de neurones de la couche inac-

cessible à chaque neurone de sa couche inaccessible direc-

tement supérieure et de la couche de sortie; et

un groupe synapse de polarisation afin de polari-

ser chaque noeud d'entrée de neurones des couches inacces-

sibles et de la couche de sortie.

Ici, le groupe synapse d'entrée, le groupe synapse de transfert et le groupe synapse de polarisation sont

constitués par des transistors PMOS et NMOS.

Afin d'atteindre l'autre but, on prévoit un pro-

cédé de conception du réseau neural à couches multiples décrit ci-dessus pour recevoir une entrée à m bits et générer une sortie à N bits, qui comporte les étapes suivantes: une première étape d'initialisation de la valeur de poids de connexion du groupe synapse d'entrée;

une seconde étape de fixation de la valeur d'en-

trée à m bits et d'une valeur de sortie désirée à N bits correspondant à

la valeur d'entrée et de sortie de la couche d'entrée et de sortie.

une troisième étape d'obtention de la somme des valeurs de poids d'entrée sur le noeudd'entrée de chaque neurone de la couche de sortie et de génération d'une sortie réelle par une fonction échelon; une quatrième étape de comparaison de la valeur de sortie réelle obtenue au cours de la troisième étape, à la valeur de sortie désirée fixée au cours de la seconde

étape pour calculer l'erreur et de mémorisation de la varia-

tion de la valeur de poids calculée selon la valeur d'erreur;

une cinquième étape de terminaison d'apprentis-

sage si chaque valeur de sortie est égale à sa valeur de sortie désirée, ou si elle ne l'est pas, d'obtention de la somme de la variation mémorisée de la valeur de poids et son addition à chaque valeur de poids courante pour

obtenir une nouvelle valeur de poids, après que les se-

conde à quatrième étapes ont été effectuées par rapport à 2 paires d'entrée et de sortie; une sixième étape de réduction de chaque valeur de poids d'un rapport prédéterminé, lorsque la somme de

la nouvelle valeur de poids obtenue au cours de la cin-

quième étape dans le noeud d'entrée de chaque neurone de la couche de sortie se trouve au-dessus d'une valeur prédéterminée; et une septième étape d'utilisation de la couche de sortie en tant que couche inaccessible, d'augmentation

de la nouvelle couche de sortie, et de répétition du processus en com-

mençant par la seconde étape en utilisant les sorties de chaque couche inac-

cessible inférieure et l'entrée initiale en tant que nouvelles entrées, lorsq le résultat désiré n'est pas obtenu après répétition de l'apprentissage jusqu'à la sixième étape par les nombres de fois prédéterminés de répé- titions. Les buts qui précèdent et autres avantages de la présente

invention ressortiront de la description du mode de réalisation préféré

de la présente invention en référence aux dessins annexés, sur lesquels la Figure 1 est un schéma de conception d'un réseau neural à couches multiples classique; la Figure 2 est un graphique caractéristique d'une fonction

sigmoide utilisée au cours de l'apprentissage du réseau neural à cou-

ches multiples classique; la Figure 3 est un schéma de concept d'un réseau neural à couches multiples selon la présente invention; la Figure 4 est un graphique caractéristique d'une fonction échelon utilisée au cours de l'apprentissage du réseau neural à couches multiples selon la présente invention;

la Figure 5 A est un schéma de circuit d'un mode de réalisa-

tion du réseau neural à couches multiples selon la présente invention;

la Figure 5 B est un schéma de circuit partiel afin d'expli-

quer la structure synapse de la Figure 5 A; la Figure 6 A est un schéma de motif hélicoïdal selon des coordonnées X-Y; et la Figure 6 B est un schéma de motif hélicoïdal pour chaque couche obtenue par apprentissage du motif hélicoïdal de la Figure 6 A selon le procédé de conception du circuit du réseau neural à couches

multiples de la présente invention.

La présente invention sera décrite ci-après en

référence aux dessins annexés.

La Figure 1 est un schéma de conception d'un

réseau neural à couches multiples général qui est un ré-

seau prédictif possédant des noeuds d'au moins une couche

entre des noeuds d'entrée et de sortie Ces couches supplé-

mentaires comprennent des unités ou noeuds inaccessibles qui ne sont pas directement reliés à la fois aux noeuds d'entrée et de sortie Comme représenté sur la Figure 1, le circuit neural à trois couches possède des couches inaccessibles à deux couches Ll et L 2 entre la couche d'entrée LO et la couche de sortie L 3 La couche d'entrée

LO possède cinq neurones ou noeuds N 01 à N 05 pour rece-

voir des entrées X O à X 4 Les couches inaccessibles Ll et L 2 possèdent chacune trois neurones ou noeuds Nll, N 12, et N 13 et N 21, N 22, et N 23, respectivement, tandis que la couche de sortie L 3 possède également trois neurones ou

noeuds N 31, N 32, N 33 pour générer respectivement des sor-

ties Y 0, Y 1 et Y 2 Ici, il faut remarquer que le nombre de neurones de chaque couche est déterminé par le nombre de bits d'entrée et de sortie du circuit du système Les neurones ou noeuds de chaque couche sont reliés à tous

les neurones de sa couche inférieure immédiatement précé-

dente seulement.

Le réseau neural à couches multiples classique

est instruit par l'algorithme d'entraînement à contre-

propagation antérieurement connu (BPTA) Le BPTA possède la caractéristique graphique représentée sur la Figure 2

et utilise la fonction sigmoîde représentée dans l'équa-

tion (I) suivante z tE 1 / T I tr OU) = 1 + expl-( î 0)l ( 1) Cependant, puisque la fonction sigmoide est une fonction exponentielle, la réalisation du circuit est

difficle et compliquée.

Egalement, lorsqu'une entrée binaire et une fonction échelon sont utilisées, le réseau neural à cou- ches multiples classique peut avoir seulement une valeur par rapport à différentes valeurs d'entrée du fait de la structure de connexion entre couches En résultat, les valeurs d'entrée de couche supérieure ne peuvent pas être

discriminées.

La Figure 3 est une vue du concept d'un réseau

neural à couches multiples selon la présente invention.

Le réseau neural à couches multiples de la présente inven-

tion est différent du réseau neural à couches multiples de la Figure 1 en ce que les neurones ou noeuds de chaque

couche sont reliés à tous les neurones de la couche d'en-

trée immédiate ainsi qu'à ceux de chaque couche inférieure Puisque d'autres parties de cette structure sont les mêmes que celles de la Figure 1, les

mêmes chiffres de référence seront utilisés pour les élé-

ments homologues Egalement, l'apprentissage du circuit

neural à couches multiples de la présente invention pos -

sède la caractéristique graphique représentée sur la Fi-

gure 4 et utilise la fonction échelon représentée par l'équation suivante (II) N-1 Yi = 2 Cfh( Z Wi Xi G) + 1 i= O fh ( y Wi Xi 0): fonction non linéaire à limite fixe 0 valeur de seuil du noeud de neurone Wi valeur de poids de connexion par rapport à Xi Xi entrée La réalisation du circuit du réseau neural à couches multiples selon la présente invention est conçue par

l'algorithme d'apprentissage comme suit.

Etape 1: toutes les valeurs de poids de connexion entre noeuds sont initialisées.

Etape 2: une paire d'entrée et de sortie dé-

sirée sont présentées à l'entrée et à la sortie Ici, les entrées sont des valeurs binaires à m bits et le nombre total d'entrées est 2, et les sorties sont des valeurs binaires à N bits et le nombre total de sorties est 2

Par conséquent, des valeurs de sortie identiques par rap-

port à différentes entrées peuvent être obtenues.

Etape 3: la somme des valeurs de poids d'entrée en chaque noeud est obtenue et la sortie réelle est générée par la fonction échelon Ici, l'équation (II) est utilisée

pour la fonction échelon.

Etape 4: la valeur de sortie désirée au noeud

de sortie est comparée à la valeur de sortie réelle obte-

nue au cours de l'étape 3, en calculant ainsi une erreur, et la variation de la valeur de poids selon l'erreur est mémorisée C'est-à- dire que l'erreur <S est: S = sortie désirée sortie réelle et la variation de valeur de poids À W est à W = S x entrée Etape 5 après que les étapes 2, 3 et 4 ont été effectuées pour chaque paire d'entrée et de sortie, si toutes les valeurs de sortie réelles sont égales aux valeurs de sortie désirées, l'apprentissage prend fin, mais si elles ne le sont pas, la somme totale de la variation de valeur de poids A W est ajoutée à chaque valeur de poids C'est-à-dire que la nouvelle valeur de poids (WT est: w T =WT 1 + w

o T est égal au nombre d'apprentissages.

Etape 6: lorsque la somme de la nouvelle valeur de poids WT par rapport à chaque entrée de noeud se trouve au-dessus d'une valeur déterminée M, les valeurs de poids WT sont réduites à un taux prédéterminé C'est-à- dire que la valeur de poids WT est réduite par l'équation suivante w' =W x M (III) T Tw T en supposant que i WT > M et o WT' est la valeur de poids obtenue après que

les T processus d'apprentissage ont été effectués.

Etape 7: si les étapes précédentes (à partir

de l'étape 2) ont été répétées le nombre de fois prédé-

terminé avec une nouvelle valeur de poids WT et sans atteindre le résultat désiré, la couche de sortie courante devient une couche inaccessible, la nouvelle couche de sortie est incrémentée et ensuite le processus est répété

(en commençant par l'étape 2) en utilisant l'entrée ini-

tiale conjointement avec les sorties de toutes les couches inaccessibles inférieures en tant que nouvelle entrée

de la nouvelle couche de sortie.

Ainsi, l'apprentissage est effectué par un appren-

tissage à une seule couche, et si la valeur de sortie désirée est correctement obtenue, l'apprentissage prend fin Cependant, si l'apprentissage a été répété le nombre

prédéterminé de fois, et si le résultat est encore incor-

rect, une couche est alors ajoutée Dans la nouvelle couche ajoutée, l'entrée initiale et les sorties réelles incomplè-

tes de chaque couche inaccessible inférieure sont utili-

sées en tant que nouvelles entrées, et l'apprentissage est répété pour la couche suivante A cet instant, la couche de sortie pour le premier apprentissage est changée pour jouer le rôle d'une couche inaccessible Ainsi, dans la couche suivante, l'apprentissage est répété en utilisant le même procédé que l'apprentissage de la couche précédente, mais avec davantage d'entrées par le nombre de sorties de chaque couche inaccessible Au cours du processus d'apprentissage, chaque fois qu'une entrée

est ajoutée, la variation de la valeur de poids est mémo-

risée Après que toutes les entrées ont été appliquées, la somme des variations des valeurs de poids totales est ajoutée à la valeur de poids, en obtenant ainsi une nouvelle

valeur de poids.

Ici, la somme de la valeur de poids à comparer à un neurone -est supérieure à la valeur prédéterminée M, l'équation (III) est appliquée par rapport à chaque valeur de poids pour les réduire à un taux prédéterminé, limitant ainsi la somme des valeurs de poids à l'intérieur de la valeur M. Un mode de réalisation d'un réseau neural à couches multiples conçu par rapport à des entrées et des sorties particulières grâce à un tel apprentissage est réalisé avec des inverseurs C<MS, des transistors PMOS et NMOS,cmae représer

sur la Figure 5 A Sur la figure 5 A, un réseau neural à trois couches pos-

il

sède une entrée à cinq bits et une sortie à trois bits.

Ainsi, une couche d'entrée LO possède cinq neurones N 01 à N 05, et deux couches inaccessibles Li et L 2 possèdent chacune trois neurones Nll, N 12 et N 13, et N 21, N 22 et N 23, respectivement, tandis qu'une couche de sortie L 3 possède également trois neurones N 31, N 32 et N 33 Ici, chaque neurone de chaque couche est un montage en cascade d'une paire d'inverseurs CMOS INT 1 et INT 2 comme représenté sur la Figure 5 B, et est réalisé avec un circuit tampon o un noeud de sortie de l'inverseur CMOS précédent INT 1 est un noeud de sortie avec inversion NDB et le noeud de sortie de l'inverseur CMOS suivant INT 2 est un noeud de sortie sans inversion ND La synapse pour relier chaque

neurone d'une couche d'entrée et chaque neurone d'une cou-

che de sortie est constituée de transistors PMOS et NMOS

par le procédé suivant.

Si l'apprentissage obtient un poids de connexion final qui est positif, et si le neurone d'entrée IN reçoit un signal logique haut (valeur de bit = 1), l'amplitude de connexion correspondante sous la forme d'une première

tension d'alimentation (par exemple la tension d'alimen-

tation Vcc) est appliquée au noeud d'entrée IND du neurone de sortie ON par l'intermédiaire du transistor PMOS B dont la grille est commune avec le noeud de sortie avec inversion NDB, et pour des valeursde poids de connexion négatives, la connexion se fait à une seconde tension

d'alimentation (par exemple la masse ou Vss) par l'inter-

médiaire du transistor NMOSC dont la grille est commune

avec le noeud de sortie sans inversion ND De façon con-

verse, lorsque le neurone d'entrée reçoit un signal logique bas (valeur de bit d'entrée = 0) et que le poids de connexion est positif, l'amplitude de connexion est sous la forme de la tension d'alimentation Vcc appliquée par l'intermédiaire du transistor PMOSA dont la grille est également commune au noeud de sortie sans inversion ND, tandis que pour des poids négatifs,l'amplitude de connexion est un potentiel de masse ou égal à la seconde

tension d'alimentation Vss, et est appliquée par l'inter-

médiaire du transistor NMOSD dont la grille est reliée au

noeud de sortie sans inversion NDB.

Si la valeur de poids de connexion est " O ", aucune connexion n'est faite, indépendamment de l'état

logique du bit d'entrée.

En utilisant ce procédé, un groupe de synapse d'entrée Si et des groupes de synapse de transfert 52 et 53 de la Figure SA sont constitués de transistors PMOS et NMOS Ici, chaque neurone de la couche d'entrée LO est relié à chaque noeud d'entrée de chaque neurone des deux couches inaccessibles Ll et L 2 et de la couche de

sortie L 3, par l'intermédiaire du groupe de synapse d'en-

trée précité SI en matrice Chaque neurone de la couche

inaccessible Ll est relié à chaque noeud d'entrée de neu-

rones de chaque couche inaccessible supérieure L 2 et d'une couche de sortie L 3, Dar l'intermédiaire du qroupe de synapse de transfert 52 de la matrice De façon similaire, chaque neurone de

la couche inaccessible L 2 est relié à chaque noeud d'en-

trée des neurones de la couche de sortie L 3, par l'inter-

médiaire du groupe de synapse de transfert 53 en matrice.

Egalement, tous les noeuds d'entrée de neurones des deux couches inaccessibles Ll et L 2 et de la couche de sortie L 3 représentés sur la Figure 5 A sont polarisés

à la seconde tension d'alimentation Vss ou GND par l'in-

termédiaire du groupe de synapse de polarisation

54 Puisque le groupe de synapse de polarisation 54 po-

larise le noeud d'entrée de chaque neurone à la seconde tension d'alimentation Vss ou GND lorsque l'entrée n'est pas appliquée et ainsi polarise chaque sortie de neurone à "", le groupe de synapse de polarisation 54 est constitué d'un transistor NMOS, dans lequel la première tension d'alimentation Vcc est appliquée à la grille, le drain est relié au noeud d'entrée de chaque neurone, et la se- conde tension d'alimentation (Vss ou GND) est appliquée à la source Ici, le transistor NMOS pour une synapse de polarisation présente un rapport géométrique (largeur de canal (W)/longueur du canal (L)) pour avoir une amplitude de connexion équivalente à la valeur de poids unité Par exemple, lorsque le rapport W/L du transistor NMOS est 2 gm/2 Nom en tant que valeur de poids unitaire, le rapport W/L du transistor PMOS devient 5 gm/2 1 m Celui-ci est fixé en considérant le rapport de mobilité d'un électron par rapport à un trou et chaque valeur de poids est un multiple de la valeur de poids unitaire; ce nombre étant un entier Ainsi, le terme "+ 1 " dans l'équation (II) est

une constante en considérant la valeur de synapse de po-

larisation. Le mode de réalisation appliquant le réseau neural à couches multiples de la présente invention tel que décrit ci- dessus à l'additionneur complet à deux bits et au circuit de reconnaissance de forme hélicoïdale est

comme suit.

Mode de réalisation I Additionneur complet à deux bits Un additionneur complet à deux bits possède une entrée à cinq bits constituée d'un cumulateur à deux bits, d'un cumulande à deux bits, et d'une entrée de retenue à

un bit, et d'une sortie à trois bits.

Tableau 1

I ENTREE I SORTIE I

____-iXj I Xe+ Y I X 4 X 3 X X, Xo I Y 3 Y 2 Y: I à q 0 o O o O o O 1

O O 1 'O

O O t 1 o 1 o O O 1 O t

O 1 1 O

o 1 1 1 1 o O o

1 O O 1

I O 1 O

1 o 1 1 1 1 O o

I 1 O 1

1 1 1 O

I 1 I f o o o o o O O 1

O O 1 O

O O 1 1

o 1 o O

O 1 O 1

O 1 1 O

o 1 1 1 1 O O o I O O t

1 O 1 O

1 O 1 1

1 1 O O

1 1 O 1

1 1 1 O

I I 1 1

O 1

O O 1

0 O 1

0 1 o 0 1 o

0 1 1

1 0 0

i o 1

0 1 O

0 I O

0 I 1

It o 1 o o 1 1 o i O

1 0 O

0 o O

0 1 1

1 o O 1 o O

1 O 1

1 0 1

0 1 1

1 O O

1 O 1

1 o i

1 1 0 O

I t 1 O

1 1 1 0

J

1 1 1

En résultat de l'apprentissage de l'entrée et de

la sortie ci-dessus selon le procédé de conception de cir-

cuit, un réseau à couches multiples de la présente inven-

tion peut être obtenu par un circuit neural à trois couches, et chaque valeur de poids de synapses est obtenue comme re-

présenté au Tableau 2.

1 O l O o 0 O 0 O 0 O 0 o o O O O O Io I 1 l 1 I 1 Il 1 1 I L-__

Tableau 2

r IN de i couches 1-__ F i I I l I

ENTREE

H 1 I

o o l I I___ o l o

-1 ___

r

VALEUR E

3 2 31 2 I

o oi

I1 2 1) O I

I o-1O 1 1 | o _ O-_

|-3 -2 -3 -1 -24

-2 -0 2 2

11 1 1 I

I 31334 1 1

I o 2 2-2-2 I

-2 -1 -1 -1 -1 J

-3 1 -3 -3 -4 '

0 2 2 2

*l 10211

1 O

I 3 6 6-2 O

I -I o -2 -1 -1 I-1 o o-1 o l -3 -6 -6 2 O L __

DE POIDS

r 1-t

$ 1 O

-8 1 -3

-3 O 7

-3 -1 O

8-1 3

3 O -7

-1 O O

-8 1 1 1

-2 O -1

1 O O

I 6 -1 -11

2 0 0

-1 4 1

-8 -5 O

-2 O O

I 1 -4 -1

l 6 5 O

L_ _ -

Mode de réalisation II Circuit de reconnaissance de forme hélicoidal Un circuit de reconnaissance de forme hélicoidal possède une entrée à 6 bits de valeurs X-Y sur un plan X-Y représenté sur la Figure 6 A, et une sortie à un seul bit. En résultat de l'apprentissage, des valeurs d'entrée et de sortie par le procédé de conception de circuit du réseau

neural à couches multiples de la présente invention, le ré-

sultat souhaitable peut être obtenu par le circuit neural à neuf couches représenté sur la Figure 6 B. I

Claims

R E V E N D I C A T I O N S

1 Réseau neural à couches multiples recevant

une entrée à m bits et générant une sortie à N bits, ca-

ractérisé en ce qu'il comporte: un neurone afin de relier en cascade une paire d'inverseurs CMOS et possédant un noeud de sortie de l'in- verseur CMOS précédent parmi ladite pa Xre d 'inverseurs CMOS en tant que noeud de sortie avec inversion de celui-ci, et un noeud-de sortie de l'inverseur CMOS suivant en tant que noeud de sortie sans inversion; une couche d'entrée (LO) possédant m neurones pour recevoir l'entrée à m bits; une couche de sortie (L 3) possédant N neurones pour générer ladite sortie à N bits; au moins une couche inaccessible (Ll, L 2) pourvue de N neurones afin de transférer l'entrée reçue de ladite couche d'entrée (LO) à chaque couche inaccessible supérieure et à ladite couche de sortie (L 3); un groupe synapse d'entrée (Sl) dans une matrice possédant chaque valeur de poids prédéterminée pour relier chaque sortie de neurones sur ladite couche d'entrée (LO)

à chaque neurone de ladite couche de sortie (L 3) et de la-

dite au moins une couche inaccessible; au moins un groupe synapse de transfert (Sl, 52)

dans une matrice possédant chaque valeur de poids prédéter-

minée pour relier chaque sortie de neurones de ladite couche inaccessible à chaque neurone de chaque couche inaccessible supérieure et de ladite couche de sortie (L 3); et un groupe synapse de polarisation ( 54) afin de polariser chaque noeud d'entrée de neurones de ladite au moins une couche inaccessible et de ladite couche de sortie

(L 3).

2 Réseau neural à couches multiples selon la revendication 1, caractérisé en ce que ledit groupe synapse d'entrée (Si) applique des tensions d'alimentation à chaque noeud d'entrée de neurones de ladite couche de sortie (L 3) et de ladite au moins une couche inaccessible de telle manière que, lorsqu'une valeur de bit d'entrée reçue dans chaque neurone de ladite couche d'entrée (LO) est " 1 ", si une valeur de poids de connexion est positive, une première tension d'alimentation est appliquée avec une amplitude de

connexion de ladite valeur de poids de connexion par l'in-

termédiaire d'un transistor PMOS dont la grille est reliée à chaque noeud de sortie avec inversion de neurone de ladite couche d'entrée (LO) et, si une valeur de poids de connexion

est négative, une seconde tension d'alimentation est appli-

quée avec une amplitude de connexion de ladite valeur de poids de connexion par l'intermédiaire d'un transistor NMOS dont la grille est reliée à chaque noeud de sortie sans inversion de neurone de ladite couche d'entrée (LO), lorsqu'une valeur de bit d'entrée est " O ", si une valeur de poids de connexion est positive, une première tension d'alimentation est appliquée avec une amplitude de connexion de ladite valeur de poids de connexion par l'intermédiaire d'un transistor PMOS dont la grille est reliée à chaque noeud de sortie sans inversion de neurone de ladite couche d'entrée (LO), et si une valeur de poids de connexion est négative, une seconde tension d'alimentation est appliquée avec une amplitude de connexion de ladite valeur de poids de connexion par l'intermédiaire d'un transistor NMOS dont

la grille est reliée à chaque noeud de sortie avec inver-

sion de neurone de ladite couche d'entrée (LO), et lorsque ladite valeur de bit d'entrée est " 1 " ou " O " et une valeur de poids de connexion est " O ", aucune connexion n'est effectuée, et en ce que ledit groupe synapse de transfert est constitué de transistors PMOS et NMOS afin de relier chaque noeud de

sortie avec et sans inversion de neurone de couche inacces-

sible à chaque noeud d'entrée de neuroned'une couche de

sortie (L 3) et de chaque couche inaccessible supé-

rieure desdites couches inaccessibles (Ll, L 2) selon le même procédé que ledit groupe synapse d'entrée (Sl).

3 Réseau neural à couches multiples selon la re-

vendication 2, caractérisé en ce que ledit groupe synapse de polarisation ( 54) est constitué par un transistor NMOS

dont la grille est reliée à ladite première tension d'ali-

mentation pour polariser le noeud d'entrée de chaque neu-

rone de ladite couche de sortie (L 3) et de ladite au moins

une couche inaccessible à la seconde tension d'alimenta-

tion en tant qu'amplitude de connexion d'une valeur de

poids unitaire.

4 Résau neural à couches multiples selon la re-

vendication 3, caractérisé en ce que l'amplitude de connexion de chaque valeur de poids desdites synapses est déterminée par un rapport géométrique d'un transistor MOS (largeur

de canal/longueur de canal).

5 Réseau neural à couches multiples selon la re-

vendication 1, caractérisé en ce que chaque valeur de poids

desdites synapses est un entier.

6 R éseau neural à couches multiples selon la re-

vendication 1, caractérisé en ce que la somme totale de valeurs de poids de synapses connectées à chaque noeud

d'entrée de neurone de la couche de sortie (L 3) ou de la-

dite au moins une couche inaccessible est inférieure à la valeur d'entrance de l'inverseur CMOS précédent dudit neurone.

Dans le réseau neural à couches multiples re-

7 cevant une entrée à m bits et générant une sortie à N bits, comportant un neurone afin de relier en cascade une paire

d'inverseurs CMOS et possédant un noeud de sortie de l'in-

verseur CMOS précédent parmi ladite paire d'inverseurs CMOS en tant que noeud de sortie avec inversion de celui-ci et un noeud de sortie de l'inverseur CMOS suivant en tant que noeud de sortie sans inversion; une couché d'entrée (LO) possédant m neurones pour recevoir ladite entrée à m bits; une couche de sortie (L 3) possédant N neurones pour générer ladite sortie à N bits; au moins une couche inaccessible (Ll, L 2) pourvue desdits N neurones afin de transférer l'entrée reçue de ladite couche d'entrée (LO) à chaque couche inaccessible supérieure et à ladite couche de sortie (L 3); un groupe synapse d'entrée (Sl)

dans une matrice possédant chaque valeur de poids prédéter-

minée pour relier chaque sortie de neurones sur ladite couche d'entrée (LO) à chaque neurone de ladite couche de sortie (L 3) etde ladite au moins une couche inaccessible; au moins un groupe synapse de transfert ( 51, 52) dans une matrice possédant chaque valeur de poids prédéterminée

pour relier chaque sortie de neurone de la couche inacces-

sible à chaque neurone de chaque couche inaccessible supérieure et de la couche de sortie (L 3); et un groupe synapse de polarisation ( 54) afin de polariser

chaque noeud d'entrée de neurones desdites couches inac-

cessibles (LI, L 2) et de ladite couche de sortie (L 3),

le procédé de conception de circuit d'un ré-

seau neural à couches multiples caractérisé en ce qu'il comporte une première étape d'initialisation de la valeur de poids de connexion dudit groupe synapse d'entrée (Sl)

unedlibew Y étape de fixation de la valeur d'en-

trée à m bits et d'une valeur de sortie désirée à N bits correspondant à la valeur d'entrée; une troisième étape d'obtention de la somme des valeurs de poids d'entrée sur le noeud d'entrée de chaque neurone de ladite couche de-sortie (L 3) et de génération d'une sortie réelle par une fonction échelon; une quatrième étape de comparaison de la valeur de sortie réelle obtenue au cours de ladite troisième étape,

à ladite valeur de sortie désirée fixée au cours de la se-

conde étape pour calculer l'erreur, et de mémorisation de la variation de la valeur de poids calculée selon la valeur d'erreur;

une cinquième étape de terminaison d'apprentis-

sage si chaque valeur de sortie est égale à la valeur de sortie désirée, ou si elle ne l'est pas, d'obtention de la somme des variations mémorisées de la valeur de poids et son addition- à chaque valeur de poids courante pour obtenir une nouvelle valeur de poids après que lesdites deuxième-à quatrième étapes ont été effectuées par rapport 2 m paires d'entrée et de sortie; une sixième étape de réduction de chaque valeur de poids d'un rapport prédéterminé, lorsque la somme de la nouvelle valeur de poids obtenue au cours de ladite cinquième étape dans le noeud d'entrée de chaque neurone de ladite couche de sortie (L 3) se trouve au-dessus d'une valeur prédéterminée; et une septième étape d'utilisation de ladite couche

de sortie (L 3) en tant que couche inaccessible, d'augmen-

tation de la nouvelle couche de sortie, et de répétition du processus en commençant par ladite seconde étape en utilisant la sortie de chaque couche inaccessible inférieure et l'entrée initiale en tant que nouvelles entrées, lorsque le résultat désiré n'est pas obtenu après répétition de l'apprentissage jusqu'à la sixième étape par

-les nombres de fois prédéterminés de répétitions.

8 Procédé de conception de circuit d'un réseau neu-

ral à couches multiples selon la revendication 7, caracté-

risé en ce que ladite fonction échelon est donnée par l'expression numérique suivante N-1 Yi = 1 1 fh ( z Wi Xi G) + 1 2 L i=l 1 fh: fonction non linéaire à limite fixe Wi: valeur de poids Xi: entrée Yi: sortie G: valeur de seuil de neurone de couche de sortie

9 Procédé de conception de circuit d'un réseau.

neural à couches multiples selon la revendication 7, ca-

ractérisé en ce qu'au cours de l'étape 6, lesdites nouvel-

les valeurs de poids s-ont réduites par l'expression numérique suivante:

W =W M

TWT WT: nouvelle valeur de poids obtenue après T fois apprentissages I WT somme de valeur de poids appliquée au noeud de sortie de neurone de la couche de sortie M valeur d'entrance de neurone de couche de sortie (constante)