FR2696601A1

FR2696601A1 - Signal processing complex components in multilayer neural network - having differentiable complex transition function associated at each network with weighted complex synapses during learning phase

Info

Publication number: FR2696601A1
Application number: FR9211815A
Authority: FR
Inventors: Vigouroux Jean-Ronan; Burel Gilles
Original assignee: Thomson CSF SA
Current assignee: Thales SA
Priority date: 1992-10-06
Filing date: 1992-10-06
Publication date: 1994-04-08
Anticipated expiration: 2012-10-06
Also published as: FR2696601B1

Abstract

During the learning phase of the signal processing, the neural network is configured according to a stochastic gradient method applied to a domain of complex signals. Real and imaginary parts with parameters (i,j,k) are taken at the ith neuron in the kth layer and the jth neuron in the (k-1)th layer. Each part of the error function is modified by a gradient term weighted by a learning speed factor. Each is adjusted by subtracting the partial differential in the error function with respect to the said part multiplied by the weighting factor. The weighting factor is calculated by increasing its value progressively until the error then increases followed by a fine adjustment. USE/ADVANTAGE - Complex signal processing, phase modulation, modulation in quadrature, radar. Non-linear processing, reduced errors.

Description

PROCEDE DE TRAITEMENT DE SIGNAUX A COMPOSANTES
COMPLEXES, ET APPLICATION A L'EGALISATION NON-LINEAIRE DE
CANAUX DE TRANSMISSION NUMERIQUE
L'invention se rapporte à un procédé de traitement de signaux à composantes complexes. Elle peut s'appliquer dans tous les domaines faisant intervenir un traitement de signaux complexes. A titre d'exemple, l'invention peut s'appliquer à l'égalisation de canaux de transmission numérique en modulation de phase ou en modulation sur deux porteuses en quadrature ; l'invention peut également s'appliquer à fa classification de signaux complexes tels que des signaux radar.METHOD FOR PROCESSING COMPONENT SIGNALS
COMPLEXES AND APPLICATION TO NON-LINEAR EQUALIZATION
DIGITAL TRANSMISSION CHANNELS
The invention relates to a method for processing complex component signals. It can be applied in all areas involving complex signal processing. By way of example, the invention can be applied to the equalization of digital transmission channels in phase modulation or in modulation on two carriers in quadrature; the invention can also be applied to the classification of complex signals such as radar signals.

Dans le domaine du traitement du signal, un grand nombre de techniques peuvent être interprétées comme des transformations linéaires du signal dans un espace de Hilbert. C'est le cas par exemple de la transformation de Fourier, de certaines transformées en ondelettes, etc... Il existe également des applications pour lesquelles les signaux à traiter sont initialement représentés sous forme de nombres complexes c'est le cas notamment des signaux radar. In the field of signal processing, a large number of techniques can be interpreted as linear transformations of the signal in a Hilbert space. This is the case, for example, of the Fourier transform, of certain wavelet transforms, etc. There are also applications for which the signals to be processed are initially represented in the form of complex numbers, in particular the signals radar.

En ce qui concerne l'égalisation de canaux de transmission numérique, la chaîne de transmission comporte un modulateur numérique. Hormis la modulation binaire et la modulation en amplitude à n états, la plupart des méthodes de modulation numérique introduisent des déphasages. Le signal modulant est alors une succession de nombres complexes et il est nécessaire, pour modéliser la transmission, de raisonner dans l'espace des nombres complexes. As regards the equalization of digital transmission channels, the transmission chain comprises a digital modulator. Except for binary modulation and n-state amplitude modulation, most digital modulation methods introduce phase shifts. The modulating signal is then a succession of complex numbers and it is necessary, to model the transmission, to reason in the space of the complex numbers.

Les méthodes classiques de traitement de signaux complexes consistent à séparer la phase et l'amplitude de ces signaux et à les traiter séparément indépendamment l'une de l'autre sans tenir compte de la structure complexe des signaux. Ce type de traitement introduit un grand nombre d'erreurs et ne permet donc pas d'obtenir des résultats entièrement satisfaisants. Conventional methods of complex signal processing consist in separating the phase and the amplitude of these signals and treating them separately independently of each other without taking into account the complex structure of the signals. This type of treatment introduces a large number of errors and therefore does not make it possible to obtain entirely satisfactory results.

Par ailleurs, dans le cas de l'égalisation de canaux de transmission numérique, l'égalisation est classiquement traitée en utilisant des filtres linéaires adaptatifs. On the other hand, in the case of the equalization of digital transmission channels, the equalization is conventionally processed using adaptive linear filters.

Cependant, en présence de bruit ou de non-linéarités d'amplification, l'égalisation est un problème fondamentalement nonlinéaire et un traitement par linéarisation de ces signaux n'est pas bien adapté. However, in the presence of amplification noise or nonlinearities, the equalization is a fundamentally nonlinear problem and a linearization process of these signals is not well adapted.

L'invention concerne une nouvelle méthode de traitement des signaux à composantes complexes, entièrement automatique et fondamentalement différente des méthodes classiques. Cette méthode permet d'effectuer un traitement non linéaire des signaux et tient compte de la structure complexe des signaux. The invention relates to a novel method of processing signals with complex components, fully automatic and fundamentally different from conventional methods. This method makes it possible to perform a nonlinear processing of the signals and takes into account the complex structure of the signals.

Pour effectuer un traitement non linéaire des signaux, l'invention consiste à utiliser un système non linéaire du type réseau connexionniste dont la structure est choisie en fonction du traitement physique à effectuer. In order to perform a non-linear processing of the signals, the invention consists in using a non-linear system of the connectionist network type whose structure is chosen as a function of the physical treatment to be performed.

Cependant, les réseaux connexionnistes connus sont destinés à traiter des signaux réels et les procédés d'apprentissage connus et utilisés pour configurer un réseau connexionniste sont limités aux réseaux à coefficients réels. However, the known connectionist networks are intended to process real signals and the known learning methods used to configure a connectionist network are limited to real coefficient networks.

L'invention consiste donc à définir un réseau connexionniste et un algorithme d'apprentissage adaptés au traitement de signaux complexes. The invention therefore consists in defining a connectionist network and a learning algorithm adapted to the processing of complex signals.

Pour cela, chaque neurone du réseau connexionniste est caractérisé par des poids synaptiques Wij, appelés aussi coefficients de pondération, et par une fonction de transition f. Chaque coefficient de pondération prend une valeur complexe qui est ajustée par approches successives au moyen d'un procédé d'apprentissage. La fonction de transition est une fonction complexe dérivable dans le domaine des nombres complexes. For this, each neuron of the connectionist network is characterized by synaptic weights Wij, also called weights, and by a transition function f. Each weighting coefficient takes a complex value that is adjusted by successive approaches by means of a learning process. The transition function is a complex function differentiable in the domain of complex numbers.

Le procédé d'apprentissage consiste à modifier les valeurs des coefficients de pondération du réseau de façon à minimiser une fonction d'erreur. La fonction d'erreur est l'erreur quadratique entre une valeur de sortie fournie par le réseau de neurones et une valeur de sortie espérée; les valeurs des coefficients de pondération sont modifiées dans le sens inverse du gradient de la fonction d'erreur, ce gradient étant pondéré par un paramètre appelé vitesse d'apprentissage. The learning method consists of modifying the values of the weighting coefficients of the network so as to minimize an error function. The error function is the quadratic error between an output value provided by the neural network and an expected output value; the values of the weighting coefficients are modified in the inverse direction of the gradient of the error function, this gradient being weighted by a parameter called the learning speed.

Selon l'invention, le procédé de traitement de signaux à composantes complexes est caractérisé en ce qu'il consiste à utiliser un réseau de neurones multicouches, tel que, à chaque neurone est associé une fonction de transition complexe et dérivable et des poids synaptiques prenant des valeurs complexes, ce réseau de neurone étant configuré pendant une phase d'apprentissage selon une méthode de gradient stochastique adaptée au domaine des signaux complexes. According to the invention, the complex component signal processing method is characterized in that it consists in using a multilayer neuron network, such that each neuron is associated with a complex and differentiable transition function and synaptic weights complex values, this neuron network being configured during a learning phase according to a stochastic gradient method adapted to the domain of complex signals.

D'autres particularités et avantages de l'invention apparaitront clairement dans la description suivante donnée à titre d'exemple non limitatif et faite en regard des figures annexées qui représentent
- la figure 1, un schéma synoptique d'une chaîne de transmission numérique,
- la figure 2, un exemple de valeurs permises, dans le plan complexe, pour des signaux complexes en modulation d'amplitude à double porteuse en quadrature de phase à 16 états,
- la figure 3, un exemple de modélisation d'un neurone,
- la figure 4, un exemple de réseau de neurones,
- la figure 5, les différentes étapes de la phase d'apprentissage.Other features and advantages of the invention will appear clearly in the following description given by way of non-limiting example and with reference to the appended figures which represent
FIG. 1, a block diagram of a digital transmission chain,
FIG. 2, an example of permitted values, in the complex plane, for complex signals in 16-state phase quadrature dual-amplitude amplitude modulation,
FIG. 3, an example of modeling a neuron,
FIG. 4, an example of a neural network,
- Figure 5, the different stages of the learning phase.

- la figure 6, un exemple d'application du procédé de traitement de signaux complexes à l'égalisation non linéaire de canaux de transmission numérique. FIG. 6, an example of application of the complex signal processing method to the non-linear equalization of digital transmission channels.

La figure 1 représente un schéma synoptique d'une chaîne de transmission numérique. Figure 1 shows a block diagram of a digital transmission chain.

Les informations que l'on souhaite émettre sont présentées en entrée d'un émetteur à différents instants d'échantillonnage sous forme de nombres complexes notés ei. Ces nombres complexes ne peuvent prendre leurs valeurs que dans un ensemble réduit de valeurs autorisées par une convention relative au domaine des transmissions numériques. The information that is to be transmitted is presented at the input of a transmitter at different sampling times in the form of complex numbers denoted ei. These complex numbers can only take their values in a reduced set of values allowed by a convention relating to the domain of digital transmissions.

Par exemple, la figure 2 représente dans le plan complexe, les valeurs permises pour une modulation d'amplitude â double porteuse en quadrature de phase à 16 états; ce type de modulation est noté généralement MAQ 16.For example, FIG. 2 shows in the complex plane the allowed values for 16-state quadrature-phase dual-carrier amplitude modulation; this type of modulation is generally noted as MAQ 16.

Les parties réelles et imaginaires de el sont respectivement notées Re (e ) et Im (e ). The real and imaginary parts of el are respectively denoted Re (e) and Im (e).

L'émetteur comporte en série un convertisseur numérique analogique, noté CNA, 10, un filtre d'émission, 11, un modulateur 12 et un amplificateur 13. The transmitter comprises in series a digital-analog converter, denoted CNA, 10, a transmission filter, 11, a modulator 12 and an amplifier 13.

Le signal de sortie de l'amplificateur est ensuite transmis à travers un canal de transmission 14, vers un récepteur qui comporte, en série, un démodulateur 15, un filtre de réception 16, un échantillonneur 17 et un convertisseur analogique-numérique CAN, 18. Le signal reçu en sortie du convertisseur analogique numérique 18 est noté ci. The output signal of the amplifier is then transmitted through a transmission channel 14 to a receiver which comprises, in series, a demodulator 15, a reception filter 16, a sampler 17 and a CAN-to-digital converter 18 The signal received at the output of the digital analog converter 18 is noted ci.

La chaîne de transmission introduit des non-linéarités dues notamment à l'amplificateur, du bruit et une dégradation du signal due aux échos dans le canal de transmission. Ces perturbations dégradent le signal et modifient sa phase et son amplitude. Les valeurs du signal ci reçu à la réception ne correspondent donc pas aux valeurs des signaux el présentés en entrée de l'émetteur. Le problème de l'égalisation du canal de transmission consiste à estimer les valeurs des signaux ei. à partir des valeurs ci reçues. Pour résoudre ce problème en tenant compte de la structure complexe des signaux, l'invention consiste à utiliser un réseau de neurones particulier. The transmission chain introduces nonlinearities due in particular to the amplifier, noise and signal degradation due to echoes in the transmission channel. These disturbances degrade the signal and modify its phase and amplitude. The values of the signal received at the reception therefore do not correspond to the values of the signals presented at the input of the transmitter. The problem of the equalization of the transmission channel consists in estimating the values of the signals ei. from the values received. To solve this problem taking into account the complex structure of the signals, the invention consists in using a particular neural network.

Le réseau de neurones reçoit sur ses entrées les valeurs complexes des signaux ci et est configuré de façon à traiter ces valeurs complexes et à délivrer en sortie des valeurs complexes constituant une estimation des valeurs des signaux el. Pour traiter des signaux complexes le réseau de neurones comporte des paramètres internes Wlj dont les valeurs sont des nombres complexes ajustés par approches successives pendant une phase d'apprentissage. Ces paramètres internes sont les poids synaptiques du réseau. The neural network receives at its inputs the complex values of the signals ci and is configured to process these complex values and to output complex values constituting an estimate of the values of the signals el. To process complex signals, the neural network comprises internal parameters Wlj whose values are complex numbers adjusted by successive approaches during a learning phase. These internal parameters are the synaptic weights of the network.

La figure 3 représente un exemple de modélisation d'un neurone. Un neurone i est un composant à m entrées xj, j étant compris entre 1 et m, et une sortie sil caractérisé par des poids synaptiques Wij et une fonction de transition f. Un neurone peut être modélisé à l'aide d'un sommateur pondéré, 20, associé à un dispositif de calcul d'une fonction non linéaire, 21.Les valeurs aux entrées xj du sommateur pondéré, 20, sont multipliées par des coefficients de pondération Wij puis additionnées pour former une valeur intermédiaire ai appelée potentiel du neurone i à laquelle est appliqué un calcul de fonction correspondant, f (ai), qui fournit la valeur de la sortie si de ce neurone
Les coefficients de pondération sont les poids synaptiques wij des connexions neuronales entre le neurone i et les entrées xj.Figure 3 shows an example of modeling a neuron. A neuron i is a component with m inputs xj, j being between 1 and m, and a sil output characterized by synaptic weights Wij and a transition function f. A neuron can be modeled using a weighted summator, 20, associated with a device for calculating a nonlinear function, 21.The values at the inputs xj of the weighted summator, 20, are multiplied by weighting coefficients. Wij then added to form an intermediate value ai called potential of the neuron i to which is applied a corresponding function calculation, f (ai), which gives the value of the output si of this neuron
The weights are the synaptic weights wij of neuronal connections between neuron i and inputs xj.

La figure 4 représente un exemple de réseau de neurones. Un réseau de neurones est un ensemble de neurones reliés entre eux, chacun des neurones ayant la même fonction de transition f. Les connexions peuvent être libres, ou au contraire des restrictions sur la topologie du réseau peuvent être imposées. Figure 4 shows an example of a neural network. A neural network is a set of interconnected neurons, each of the neurons having the same transition function f. Connections may be free, or restrictions on network topology may be imposed.

La suite de la description est limitée au cas où les réseaux sont organisés en couches. L'ensemble des neurones peut alors être partitionné en N sous-ensembles constituant les N couches du réseau. The rest of the description is limited to the case where the networks are organized in layers. The set of neurons can then be partitioned into N subsets constituting the N layers of the network.

Les neurones de la couche k+ 1 ont leurs entrées reliées aux sorties de tous les neurones de la couche k et à ces neurones seulement. Les neurones de la couche 1 ont le même nombre mi d'entrées. Ce nombre est appelé le nombre d'entrées du réseau. Le nombre de neurones de la dernière couche est appelé le nombre de sorties du réseau. Le réseau de la figure 4 comporte trois entrées xl, x2, xg, deux sorties S1, s2, et deux couches ayant chacune deux neurones.The neurons of the k + 1 layer have their inputs related to the outputs of all the neurons of the layer k and these neurons only. Layer 1 neurons have the same number of inputs. This number is called the number of network entries. The number of neurons in the last layer is called the number of outputs from the network. The network of FIG. 4 comprises three inputs x1, x2, xg, two outputs S1, s2, and two layers each having two neurons.

Pour effectuer un traitement donné, le réseau de neurones est configuré pendant une phase d'apprentissage en lui présentant en entrée des exemples appartenant à une base d'exemples. La configuration du réseau consiste à modifier les poids synaptiques du réseau de telle sorte que pour des valeurs d'entrées données, les valeurs obtenues en sortie du réseau se rapprochent des valeurs de sortie espérées. Une fonction d'erreur E est alors définie pour mesurer l'écart entre les valeurs obtenues en sortie du réseau et les valeurs souhaitées. Le problème de l'apprentissage est un problème d'optimisation consistant à déterminer les valeurs des poids synaptiques Wij qui minimisent la fonction d'erreur
E. To perform a given treatment, the neural network is configured during a learning phase by presenting to it examples of examples belonging to a base. The configuration of the network consists in modifying the synaptic weights of the network so that for given input values, the values obtained at the output of the network are close to the expected output values. An error function E is then defined to measure the difference between the values obtained at the output of the network and the desired values. The problem of learning is an optimization problem of determining the values of synaptic weights Wij which minimize the error function
E.

Pour le traitement de signaux complexes, l'apprentissage est effectué par des moyens d'apprentissage suivant un algorithme d'apprentissage particulier. Cet algorithme utilise une méthode de gradient stochastique adaptée au domaine des signaux complexes. Pour cela, le modèle de neurones utilisé est celui de la figure 4. Le réseau de neurones comporte N couches; chaque couche k, 1 < k < N comporte
n(k) neurones. La valeur de sortie du ième neurone de la couche k est

For the processing of complex signals, the learning is performed by learning means according to a particular learning algorithm. This algorithm uses a stochastic gradient method adapted to the domain of complex signals. For this, the neural model used is that of FIG. 4. The neural network comprises N layers; each layer k, 1 <k <N has
n (k) neurons. The output value of the ith neuron of layer k is

Wij (k) est le poids de la connexion du neurone j de la couche (k-l) au neurone j de la couche k. n(k 1) est le nombre de neurones de la couche (k-i > . Wij (k) is the weight of the connection of the neuron j of the layer (k-1) to the neuron j of the layer k. n (k 1) is the number of neurons in the layer (k-i>.

Lorsque des valeurs d'entrée XO sont présentées au réseau de neurones, celui-ci fournit des valeurs de sortie XN au lieu des valeurs de sortie espérées S. When XO input values are presented to the neural network, it provides XN output values instead of the expected output values S.

La fonction d'erreur E utilisée est l'erreur quadratique moyenne définie par l'équation suivante

The error function E used is the mean squared error defined by the following equation

L'apprentissage est effectué en modifiant les poids synaptiques du réseau dans le sens inverse du gradient d'erreur, de façon qu'à chaque itération,

avec
où p est un nombre réel positif appelé coefficient d'apprentissage.The learning is carried out by modifying the synaptic weights of the network in the opposite direction of the error gradient, so that at each iteration,

with
where p is a positive real number called learning coefficient.

Pour calculer les modifications des paramètres Awgj, il faut déterminer le gradient de la fonction d'erreur E par rapport aux poids synaptiques du réseau, ces poids synaptiques prenant des valeurs dans le domaine des nombres complexes. To calculate the modifications of the parameters Awgj, it is necessary to determine the gradient of the error function E with respect to the synaptic weights of the network, these synaptic weights taking values in the domain of the complex numbers.

Pour cela on note wij (k) = αij (k) + issij (k)
et xi (k) = Re (xi (k) > + i lm (xi (k)}. For this we write wij (k) = α ij (k) + issij (k)
and xi (k) = Re (xi (k)> + i lm (xi (k)}.

αij et ss~j sont respectivement les parties réelle et imaginaire de Wij ; Re (xi) et Im (xi) représentent respectivement les parties réelle et imaginaire de xi. La fonction de transition f est une fonction complexe qui est notée f = fRe + flm où les fonctions fRe et flm sont des fonctions réelles dérivables par rapport à leurs arguments. On note af / a Re la dérivée partielle de f par rapport à l'argument "partie réelle" et af i a lm la dérivée partielle de f par rapport à l'argument "partie imaginaire". α ij and ss ~ j are respectively the real and imaginary parts of Wij; Re (xi) and Im (xi) represent respectively the real and imaginary parts of xi. The transition function f is a complex function that is denoted by f = fRe + flm where the functions fRe and flm are real functions differentiable with respect to their arguments. We denote af / a Re the partial derivative of f with respect to the argument "real part" and af i a lm the partial derivative of f with respect to the argument "imaginary part".

Dans ces conditions, la fonction d'erreur s'écrit sous la forme suivante

Under these conditions, the error function is written in the following form

et les modifications apportées aux poids synaptiques wij (k) sont telles que

and the modifications made to the synaptic weights wij (k) are such that

Les expressions des dérivées partielles de la fonction d'erreur E par rapport à a ij (k) et à Pii (k) sont les suivantes

The expressions of the partial derivatives of the error function E with respect to a ij (k) and Pii (k) are as follows

Pour calculer ces dérivées partielles, on définit un signal d'erreur réel 6 ~ (k, Re) et un signal d'erreur imaginaire 6 ~ (k, Im) dont les expressions sont les suivantes

To calculate these partial derivatives, we define a real error signal 6 ~ (k, Re) and an imaginary error signal 6 ~ (k, Im) whose expressions are as follows

Deux cas sont considérés
- si le neurone appartient à la dernière couche du réseau, les expressions des signaux d'erreur sont les suivantes

Two cases are considered
if the neuron belongs to the last layer of the network, the expressions of the error signals are as follows

- si le neurone appartient à une couche intermédiaire k du réseau, les expressions des signaux d'erreur sont les suivantes

avec

et

if the neuron belongs to an intermediate layer k of the network, the expressions of the error signals are as follows

with

and

Les expressions des dérivées partielles des parties réelles imaginaires de xi (k) par rapport à ajj (k) et pij (k) sont les suivantes

The expressions of the partial derivatives of the real imaginary parts of xi (k) with respect to ajj (k) and pij (k) are as follows

La valeur du coefficient d'apprentissage p doit être choisie de
façon à ce que la fonction d'erreur soit minimale à chaque itération; si
p a une valeur trop faible, la fonction d'erreur E diminue très peu, si p a une valeur trop grande, la fonction d'erreur risque d'augmenter. Pour optimiser la valeur de p, un réglage est effectué dans une première partie de la phase d'apprentissage. Ce réglage consiste à choisir une valeur arbitraire, par exemple p = 2-30 9,3 x 10-10 et à observer, pour quelques exemples de valeurs d'entrées, comment évolue la valeur de la fonction d'erreur E. Si E diminue, une valeur de p plus grande est essayée, par exemple on double la valeur de p , si E augmente, la valeur du coefficient d'apprentissage est fixée à p /2. Un réglage fin peut ensuite être effectué au moyen d'une méthode connue, par exemple la méthode de la mire.The value of the learning coefficient p must be chosen from
so that the error function is minimal at each iteration; if
If the value of the error E is too small, the error function E decreases very little. If the value is too large, the error function may increase. To optimize the value of p, a setting is made in a first part of the learning phase. This setting consists in choosing an arbitrary value, for example p = 2-30 9.3 x 10-10 and observing, for some examples of input values, how the value of the error function E changes. If E decreases, a larger value of p is tried, for example double the value of p, if E increases, the value of the learning coefficient is set to p / 2. Fine tuning can then be done using a known method, for example the method of the test pattern.

En cours d'apprentissage, la valeur du coefficient d'apprentissage diminue de façon à éviter des oscillations de la fonction d'erreur et à obtenir une diminution de E à chaque itération. During learning, the value of the learning coefficient decreases so as to avoid oscillations of the error function and to obtain a decrease of E at each iteration.

La fonction de transition f est choisie de façon à respecter les contraintes suivantes
- z étant un nombre complexe, le module de f(z) est borné,
- pour z proche de la valeur 0, f (z) = z
- pour z réel, f(z) = th (z)
Différents types de fonctions satisfont à ces contraintes, et notamment les fonctions suivantes
- f(z) = ~1 (zizi) exp (i f2 (Arg z))
- f(Z) = f1 (Re(z)) + i f2 (Im (z))
où Arg z est l'argument de z, Re (z) et Im (z) sont respectivement les parties réelle et imaginaire de z, f1 et f2 sont des fonctions réelles.The transition function f is chosen so as to respect the following constraints
z being a complex number, the modulus of f (z) is bounded,
- for z close to the value 0, f (z) = z
for real z, f (z) = th (z)
Different types of functions satisfy these constraints, including the following functions
- f (z) = ~ 1 (zizi) exp (i f2 (Arg z))
- f (Z) = f1 (Re (z)) + i f2 (Im (z))
where Arg z is the argument of z, Re (z) and Im (z) are respectively the real and imaginary parts of z, f1 and f2 are real functions.

A titre d'exemple, on peut choisir la fonction f (z) = z thizi/izi pour le premier type de fonctions ou f (z) = th (Re(z)) + i th (Im (z)) pour le deuxième type de fonctions. By way of example, we can choose the function f (z) = z thizi / izi for the first type of function or f (z) = th (Re (z)) + i th (Im (z)) for the second type of functions.

En résumé et en référence à la figure 5, les différentes étapes de la phase d'apprentissage sont les suivantes
Dans une étape 1, les paramètres du réseau sont initialisés aléatoirement ; dans une étape 2, une fonction de transition complexe est choisie en se fixant différentes contraintes; dans une étape 3, la vitesse d'apprentissage est déterminée ; dans une étape 4, un exemple est extrait aléatoirement, parmi une base d'exemples et présenté en entrée du réseau de neurones; dans une étape 5, est effectué le calcul d'une fonction d'erreur entre la valeur obtenue en sortie du réseau et la valeur de sortie espérée pour cet exemple ; dans une étape 6, les parties réelle et imaginaire des poids synaptiques du réseau sont modifiées dans le sens inverse du gradient d'erreur de façon à minimiser la fonction d'erreur; dans une étape 7 un test est effectué pour déterminer si l'apprentissage est terminé, ce test pouvant porter par exemple sur un nombre d'itérations maximal, un nombre d'exemples maximal ou une valeur d'erreur minimale. Si le test est positif, l'apprentissage est terminé, sinon, le rang de l'itération est incrémenté et les étapes 4 à 7 sont recommencées.In summary and with reference to FIG. 5, the different stages of the learning phase are as follows
In a step 1, the network parameters are initialized randomly; in a step 2, a complex transition function is chosen by setting different constraints; in a step 3, the learning speed is determined; in a step 4, an example is randomly extracted, from a base of examples and presented at the input of the neural network; in a step 5, the calculation of an error function between the value obtained at the output of the network and the expected output value for this example; in a step 6, the real and imaginary parts of the synaptic weights of the network are modified in the inverse direction of the error gradient so as to minimize the error function; in a step 7 a test is performed to determine whether the training is completed, this test being able to relate for example to a maximum number of iterations, a maximum number of examples or a minimum error value. If the test is positive, the learning is finished, if not, the rank of the iteration is incremented and steps 4 to 7 are restarted.

Lorsque la phase d'apprentissage est terminée, les valeurs des poids synaptiques du réseau de neurones sont figées et le réseau de neurones est capable d'effectuer le traitement des signaux complexes pour lequel il a été configuré. When the learning phase is over, the synaptic weight values of the neural network are frozen and the neural network is capable of processing the complex signals for which it has been configured.

La figure 6 est un exemple d'application du procédé de traitement de signaux complexes à l'égalisation non linéaire de canaux de transmission numérique. FIG. 6 is an example of the application of the complex signal processing method to non-linear equalization of digital transmission channels.

Dans cet exemple d'application, un réseau de- neurones est utilisé pour effectuer un traitement d'égalisation de canaux de transmission. Ce traitement consiste à estimer les valeurs des signaux el présentés en entrée de la chaîne de transmission, à partir des valeurs des signaux ci reçues en sortie de la chaîne de transmission. A chaque instant d'échantillonnage t, le réseau de neurones reçoit en entrée une séquence de valeurs des signaux reçus en sortie de la chaîne de transmission pendant une période de temps donnée appelée fenêtre temporelle, (par exemple les valeurs des signaux reçus à l'instant t dans la fenêtre temporelle considérée sont ci (t-3), ..., ci (t), ..., ci (t+3)), et doit fournir en sortie une estimation du signal ej présenté à l'instant t.Si
Ai est la valeur obtenue en sortie du réseau de neurones et G est la fonction qui associe à un point du plan complexe, la valeur permise la plus proche, l'estimation de el, notée êg, est êj = G(A1). In this application example, a neural network is used to perform transmission channel equalization processing. This process consists of estimating the values of the signals e1 presented at the input of the transmission chain, from the values of the signals ci received at the output of the transmission chain. At each sampling instant t, the neural network receives as input a sequence of values of the signals received at the output of the transmission chain during a given period of time known as the time window, (for example the values of the signals received at the time of transmission). moment t in the considered time window are ci (t-3), ..., ci (t), ..., ci (t + 3)), and must output an estimate of the signal ej presented to the moment t.Si
Ai is the value obtained at the output of the neural network and G is the function which associates with a point of the complex plane, the nearest allowed value, the estimate of el, denoted by gg, is jj = G (A1).

Pour que les valeurs de sortie du réseau de neurones soient une estimation des valeurs présentées en entrée de la chaîne de transmission, le réseau de neurones est configuré pendant une phase d'apprentissage, de la manière décrite ci-dessus, l'apprentissage pouvant se dérouler suivant deux modes différents. For the output values of the neural network to be an estimate of the values presented at the input of the transmission chain, the neural network is configured during a learning phase, as described above, the training being able to unwind in two different modes.

Suivant un premier mode d'apprentissage, appelé apprentissage supervisé, une séquence d'apprentissage connue a priori est introduite dans le signal à transmettre. Les valeurs reçues en sortie de la chaîne de transmission sont présentées en entrée du réseau de neurones qui délivre une valeur de sortie Ai. La séquence eg étant connue a priori, les valeurs des coefficients de pondération du réseau de neurones sont modifiées de façon à minimiser une fonction d'erreur E égale à la valeur moyenne de {( s 2 e;) 2}
L'apprentissage est effectué pendant toute la durée d'émission de la séquence connue.In a first learning mode, called supervised learning, a prior learning sequence is introduced into the signal to be transmitted. The values received at the output of the transmission chain are presented at the input of the neural network which delivers an output value Ai. The sequence eg being known a priori, the values of the weighting coefficients of the neural network are modified so as to minimize an error function E equal to the average value of {(s 2 e;) 2}
The training is performed for the duration of transmission of the known sequence.

La même séquence d'apprentissage peut être introduite périodiquement dans le signal à transmettre afin de permettre au réseau de neurones, configuré pour effectuer l'égalisation, de suivre les éventuelles variations temporelles des caractéristiques de la chaîne de transmission. Le réseau de neurones configuré pour effectuer l'égalisation est, dans la suite de la description, appelé égaliseur. The same training sequence may be periodically introduced into the signal to be transmitted in order to allow the neural network, configured to perform the equalization, to monitor any temporal variations in the characteristics of the transmission chain. The neural network configured to perform the equalization is, in the following description, called equalizer.

Un deuxième mode d'apprentissage, appelé autoapprentissage, peut être effectué lorsque les poids du réseau sont assez proches des valeurs optimales. Suivant ce deuxième mode d'apprentissage, on suppose que l'estimation êi de l'information à transmettre est égale au signal el transmis, et l'apprentissage est effectué en modifiant les coefficients de pondération du réseau de neurones de façon à minimiser une fonction d'erreur E égale à la valeur moyenne de ((4 - s,2~ Ce mode d'apprentissage présente l'avantage de ne pas nécessiter l'émission d'une séquence connue a priori, et donc de ne pas encombrer inutilement le canal de transmission. A second learning mode, called self-learning, can be performed when the weights of the network are close enough to the optimal values. According to this second learning mode, it is assumed that the estimate of the information to be transmitted is equal to the transmitted signal e1, and the learning is carried out by modifying the weighting coefficients of the neural network so as to minimize a function E error equal to the average value of ((4 - s, 2 ~ This learning mode has the advantage of not requiring the issuance of a known sequence a priori, and therefore not to clutter unnecessarily the transmission channel.

Enfin, il est possible d'effectuer un apprentissage utilisant successivement les deux modes d'apprentissage cités ci-dessus, le premier mode d'apprentissage étant utilisé dans un premier temps pour faire converger les paramètres du réseau de neurones vers une bonne solution lui permettant d'assurer les fonctions d'un égaliseur, I'autoapprentissage étant utilisé ensuite afin de permettre à l'égaliseur, de suivre les lentes variations temporelles des caractéristiques du canal de transmission. Finally, it is possible to perform a learning successively using the two learning modes mentioned above, the first learning mode being used initially to converge the parameters of the neural network to a good solution allowing it to provide the functions of an equalizer, the self-learning being used subsequently to allow the equalizer to follow the slow temporal variations of the characteristics of the transmission channel.

La présente invention précisément décrite n'est pas limitée à des applications d'égalisation de canaux de transmission; elle peut également s'appliquer à d'autres traitements faisant intervenir des nombres complexes. Notamment, le procédé de traitement de signaux à composantes complexes peut être utilisé pour des applications de classification telles que, par exemple, la classification de signaux radar. The present invention precisely described is not limited to transmission channel equalization applications; it can also be applied to other treatments involving complex numbers. In particular, the complex component signal processing method can be used for classification applications such as, for example, classification of radar signals.

Dans ce cas, le réseau de neurones est configuré pour effectuer le traitement d'un classifieur. In this case, the neural network is configured to perform the processing of a classifier.

Claims

Wij taking complex values, this neural network being configured during a learning phase according to a stochastic gradient method adapted to the field of complex signals.

i - Process for processing signals with complex components, characterized in that it consists in using a multilayer neuron network, such that each neuron J is associated with a complex and differentiable transition function f and synaptic weights

2 - processing method according to claim 1, characterized in that the learning phase consists of modifying the respective values of the real parts ajj (k) and imaginary ss ~ j (k) of an error function E, this gradient being weighted by a learning speed p, such that

where k is the number of the layer considered, i is a neuron of the layer k, j is a neuron of the layer (k-1).

3 - Processing method according to claim 2, characterized in that the learning speed p is automatically calculated by means of a method of sight consisting in gradually increasing p, until the value of the error E increases. then fine-tune around this value.

4 - Processing method according to any one of claims 2 or 3, characterized in that the transition function f is chosen to meet the following constraints

z being a complex number, the modulus of f (z) is bounded,

- for z close to the value 0, f (z) = z,

for real z, f (z) = th (z).

5 - Processing method according to claim 4, characterized in that the transition function f (z) is of the form

f (z) = fi (Izl) exp (i f2 (Arg z)), where Arg z is the argument of z, fi and f2 are real functions, lt is the module of z.

6 - Processing method according to claim 4, characterized in that the transition function f (z) is of the form

f (z) = fi (Re (z)) + i f2 (Im (z)), where Re (z) and Im (z) are respectively the real and imaginary parts of z.

7 - Application of the complex signal processing method according to any one of the preceding claims, to the non-linear equalization of digital transmission channels, characterized in that the equalization is performed by a network of neurons receiving on these inputs the values of the signals received at the output of the transmission chain and configured to output values constituting an estimate of the signals presented at the input of the transmission chain

8 - Application according to claim 7, characterized in that the configuration of the neural network is performed in a supervised learning mode during which a learning sequence ej known a priori is introduced into the signal to be transmitted and the values of the weights The synaptics of the network are modified so as to minimize an error function E equal to the mean value of ((4 ex, 2, where Ai represents the output values of the neural network.

9 - Application according to claim 8, characterized in that the known training sequence is periodically introduced into the signal to be transmitted.

10 - Application according to claim 7, characterized in that the configuration of the neural network is performed according to a learning mode called self-learning, during which the synaptic weights of the network are modified so as to minimize an error function E equal to the average value of (4 êj 2)}, where êj is an estimate of the transmitted sequence, this emitted sequence not being known a priori.

il - Application according to claim 7, characterized in that the configuration of the neural network is performed in a first step following a supervised learning mode, then in a second time following a self-learning mode.