EP3186752A1 - Reseau de neurones convolutionnels - Google Patents

Reseau de neurones convolutionnels

Info

Publication number
EP3186752A1
EP3186752A1 EP15756132.5A EP15756132A EP3186752A1 EP 3186752 A1 EP3186752 A1 EP 3186752A1 EP 15756132 A EP15756132 A EP 15756132A EP 3186752 A1 EP3186752 A1 EP 3186752A1
Authority
EP
European Patent Office
Prior art keywords
output
neuron
matrix
input
neurons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP15756132.5A
Other languages
German (de)
English (en)
Inventor
Olivier Bichler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique et aux Energies Alternatives CEA filed Critical Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Publication of EP3186752A1 publication Critical patent/EP3186752A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Definitions

  • the invention relates generally to artificial neural networks and in particular to the implementation of convolutional neural networks in the form of electronic circuits from memristive devices.
  • Artificial neural networks are schematically inspired by biological neural networks that they mimic. Artificial neural networks consist essentially of neurons interconnected by synapses, which are conventionally implemented by digital memories, but which can also be implemented by resistive components whose conductance varies as a function of the voltage applied to their terminals. Artificial neural networks are used in different fields of signal processing (visual, sound, or other) as for example in the field of classification or image recognition.
  • Convolutional neural networks correspond to a particular model of articular neural network.
  • the convolutional neural networks have been described for the first time in K. Fukushima's article, "Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biological Cybernetics, 36 (4): 193-202, 1980. ISSN 0340-1200. doi: 10.1007 / BF00344251 ".
  • convolutional neural networks are networks of neurons without feedback (“feedforward”). , inspired by biological visual systems. Applied to image recognition, these networks allow intermediate representations of objects to be taught in images that are smaller and generalized for similar objects, which facilitates their recognition.
  • Such a network may consist of several convolution layers, including or not pooling layers in the English language and which are generally followed by a classifier perceptron multilayer type, the output of a layer being connected to the entrance of the next.
  • each neuron is connected to a sub-matrix of the input matrix.
  • Sub-matrices have the same size. They are staggered from each other in a regular way and can overlap.
  • the input matrix may be of any size. However, the input matrix is generally of 2D dimension when the data to be processed are visual data, the two dimensions then corresponding to the spatial dimensions X and Y of an image.
  • the neurons are connected to their input sub-matrix / by synapses whose weight is adjustable.
  • the matrix K of the synaptic weights applied to the input sub-matrices of the neurons is the same for all the neurons of the same output map ("feature map" in Anglo-Saxon).
  • Such a matrix K is also called a "convolution kernel".
  • the coefficients of a kernel of convolution K can correspond to conventional signal processing filters (Gaussian, Gabor, Laplace 7), or be determined by learning, supervised or unsupervised, for example by using the gradient retro-propagation algorithm used in multi-layered percepton neuron networks.
  • the coefficients of the convolution nuclei can be positive or negative, and are generally normalized between -1 and 1, as are the input and output values of the neurons.
  • the output of the neuron corresponds to the value of the activation function g of the neuron applied to this sum: g (h).
  • g can take the form of a sigmoid function, typically the hyperbolic tangent function.
  • a convolutional layer may contain one or more convolution cores, each of which has an input matrix, which may be the same, but have different coefficients corresponding to different filters.
  • the convolutional networks may also include local or global "pooling" layers that combine the neuron group outputs of one or more output cards.
  • the combination of the outputs may for example consist of taking the maximum or average value of the outputs of the neuron group, for the corresponding output, on the output map of the "pooling" layer.
  • the “pooling" layers make it possible to reduce the size of the output cards from one layer to another in the network, while improving its performance by making it more tolerant to small deformations or translations in the input data.
  • Convolutional networks may also include fully connected layers of the perceptron type.
  • FIG. 1 represents an example of a simple convolutional network, with an input layer “env” corresponding to the input matrix, two convolution layers, “convl” and “conv2”, as well as two completely connected layers “fc1" and “fc2".
  • the size of the convolution cores is 5x5 pixels and they are offset by 2 pixels (an offset or "stride” of 2):
  • the elements constituting the input matrix and the output cards are numbers, integers or decimals, with fixed or floating point.
  • the convolution operation between an input sub-matrix and an output neuron corresponds to the scalar product between the input sub-matrix I and the matrix K.
  • the input and output values are encoded with pulses.
  • a value can thus be encoded by the number of pulses during a fixed time window (frequency coding), or by the instant of emission of a pulse according to a rank order coding technique.
  • the calculation of the weighted sum h is done by accumulating the coefficient of the convolution core at each arrival of a pulse on the corresponding input.
  • the activation function of the neuron g can in this case be replaced by a threshold.
  • the output neuron emits a pulse of the sign of h and returns h to the value 0.
  • the neuron then enters in a so-called "refractory" period during which it can no longer emit impulse during a fixed period.
  • the pulses can therefore be positive or negative, depending on the sign of h when the threshold is exceeded.
  • a negative input pulse reverses the sign of the corresponding kernel coefficient for accumulation.
  • Such a convolution implementation uses a separate digital memory to store the coefficients of the convolution kernels and requires copying these coefficients from the memory kernel to the computing unit (ALU ) at each pulse arrival.
  • ALU computing unit
  • the existing solutions all require a calculation unit for the convolution calculation.
  • such solutions are limited by the size of the data bus of the digital memories and initially require a recovery of the value stored in the memory before being able to perform an operation on it.
  • the size of the memory bus is 64 bits and the coefficients are stored on 8 bits, it is possible to recover at each clock stroke only 8 coefficients. Millions of clock cycles may therefore be required depending on the number of coefficients in the network.
  • the invention improves the situation.
  • a convolutional neural network comprising a plurality of artificial neurons arranged in one or more convolutional layers.
  • Each convolutional layer comprises one or more output matrices, each output matrix comprising a set of output neurons.
  • Each output matrix is connected to an input matrix, which comprises a set of input neurons, by artificial synapses associated with a convolution matrix comprising the synaptic weight coefficients associated with output neurons of the output matrix.
  • the output value of each output neuron is determined from the input matrix input neurons to which the output neuron is connected and synaptic weight coefficients from the convolution matrix associated with the output matrix.
  • Each synapse is consisting of a set of memristive device comprising at least one memristive device, each set of memristive device storing a coefficient of said convolution matrix.
  • the neural network In response to a state change of an input neuron of an input matrix, the neural network is able to: dynamically interconnect each set of memristive devices storing the weight matrix coefficients to the neurons of the neuron. output connected to the input neuron, and
  • the neurons may use temporal coding, the dynamic interconnection being implemented in response to the triggering of an input neuron of the input matrix.
  • the accumulation of the values of the weight coefficients can then be implemented by propagation of at least one pulse coding the value of each weight coefficient, according to the temporal coding, the values accumulated in the output accumulators constituting the output values of the output matrix.
  • the neural network may include a set of switches and a logic circuit for mapping synaptic weight coefficients to output neurons connected to the input neuron that has undergone a state change, from the neuron address. input into the input matrix, to achieve the dynamic interconnection.
  • Each pulse may comprise a bit stream encoding the destination address (X, Y) of the pulse along two perpendicular axes X and Y, the reference (X, Y) corresponding to the reference of the input matrix; when said pulse arrives at the input matrix, the coded address (X, Y) represents the location of the input neuron to be activated.
  • the dynamic interconnection can be performed in parallel and in a single cycle, simultaneously connecting all the weight coefficients stored in the memristive devices to the output neurons connected to the input neuron having undergone a change. state.
  • the dynamic interconnection can be performed semi-sequentially by connecting the coefficients of the weight matrix stored in the memristive devices, one line of the array after the other, to the output neurons connected to the neuron. entry having undergone a change of state.
  • the dynamic interconnect can be performed semi-sequentially, by connecting the weight matrix coefficients stored in the memristive devices, one column of the matrix after the other, to the output neurons connected to the input neuron having undergone a change of state.
  • the dynamic interconnection can be carried out sequentially, by connecting the convolution matrix coefficients, stored in said memristive devices, one after the other, to the output neurons connected to the input neuron having undergone a change of state.
  • the neural network may comprise an accumulator arranged at the output of each synapse, the accumulator realizing the accumulation of the value of the weight coefficient stored in the memristive devices of the synapse with the value stored in the accumulator of the corresponding output neuron, the value stored in the auxiliary accumulator being then propagated by the pulses in the accumulator of the output matrix.
  • the neural network may comprise an accumulator arranged at the level of each output neuron, the output of each memristive device of the synapse being propagated at the level of the output neuron, the value thus propagated being accumulated with the stored value. in the accumulator.
  • Neural outputs can be grouped, while accumulated values corresponding to grouped outputs are stored in a common accumulator.
  • the neural network may comprise STDP-type on-line learning from the dynamic interconnection.
  • the proposed embodiments thus make it possible to calculate the convolution directly in the memory and in parallel, which improves the speed and the energy efficiency of the operation.
  • FIG. 1 represents an example of a simple convolutional network with three layers, as well as the output layer;
  • FIG. 2 represents an example of a complex convolutional network, including "pooling" layers
  • FIG. 3 is a diagram showing a convolution layer consisting of several output cards / matrices
  • FIG. 4 illustrates the principle of operation of a convolutional layer in such a network
  • FIG. 5 is a diagram illustrating the pulse coding and the propagation in the neural network of the pulses
  • FIG. 6 represents a hardware device implementing a pulsed convolutional neural network, according to some embodiments.
  • Fig. 7 is a flowchart showing the convolution method according to some embodiments.
  • FIG. 8 is a schematic representation of another example of hardware implementation of convolution operations in a network of neurons with grouping of the outputs (subsampling at the output);
  • FIG. 9 is a schematic representation of another example of hardware implementation of convolution operations in a neural network with STDP learning
  • FIG. 10 is a flowchart illustrating the step of dynamic interconnection, according to a parallel embodiment (in one cycle);
  • FIG. 11 shows an exemplary hardware embodiment of the neural network corresponding to a parallel embodiment (only one cycle) according to the embodiment of FIG. 10;
  • FIG. 12 is a flowchart illustrating the dynamic interconnection step, according to a semi-sequential embodiment (in n cycles).
  • FIG. 13 shows an example of hardware realization of the neural network in a semi-sequential mode in Y mode
  • FIG. 14 is a flowchart illustrating the dynamic interconnection step, according to a completely sequential embodiment
  • FIG. 15 represents an example of hardware realization of the neural network corresponding to a completely sequential embodiment
  • FIG. 16 is a flowchart illustrating the dynamic interconnection step, according to a semi-sequential embodiment
  • FIG. 17 represents an example of hardware realization of the neural network in a semi-sequential mode in X;
  • Fig. 18 is a flowchart showing the accumulation step, according to a kernel-side embodiment
  • FIG. 19 shows an exemplary hardware embodiment of the accumulator in the kernel mode embodiment in write-add mode
  • FIG. 20 represents the hardware embodiment of the accumulation part of FIG. 19 in retro-write mode
  • Fig. 21 is a flowchart showing the accumulation step, according to an embodiment of the output side accumulation; and - Figure 22 shows an exemplary hardware embodiment of the accumulator in the embodiment of the accumulation on the output side.
  • Figure 2 shows an example of a convolutional network including pooling layers for image classification.
  • the images at the bottom of Figure 2 represent an excerpt from the convolution kernels of the first layer, after a gradient retro-propagation learning, on an image basis such as ImageNet.
  • An artificial neural network (also called “formal” neural network or simply designated by the term “neural network” hereinafter) consists of one or more layers of neurons, interconnected between them. Each layer consists of a set of neurons, which are connected to one or more previous layers. Each neuron in a layer can be connected to one or more neurons of one or more previous layers. The last layer of the network is called the "output layer”. The neurons are connected to each other by synapses, or synaptic weights, which weight the efficiency of the connection between the neurons, constitute the adjustable parameters of a network and which store the information included in the network. Synaptic weights can be positive or negative.
  • a convolutional neural network comprises at least one convolution or “pooling” layer.
  • a convolution or “pooling” layer may consist of one or more output matrices 14 (also called “output maps” or “output feature maps” in the English language), each output card that can be connected to one or more input matrices 11 (also called “input cards”).
  • an output matrix denoted 0 comprises coefficients 0 j , and has a noted size (O h , O w ).
  • This matrix corresponds to a matrix of neurons and the coefficients 0 j correspond to the output values of these neurons, calculated from the entries and the synaptic weights.
  • the state of a neuron corresponds to its output value.
  • a change of state of a neuron thus corresponds to a change in its output value.
  • a change of state of a neuron corresponds to its triggering or activation by emission of an output pulse that occurs when its integration ( or accumulation) exceeds a threshold.
  • An input matrix or card 11 may correspond to an output card of a previous layer, or to an input matrix of the network that receives the stimuli or a portion of the stimuli to be processed.
  • a network may consist of one or more input matrices. It may be, for example, RGB, HSV, YUV components or any other conventional component of an image, with a matrix per component.
  • An input matrix denoted / comprises coefficients / j j , and has a noted size (l h , l w .
  • An output card O is connected to an input matrix / by a convolution operation, via a convolution core 12 denoted K (the convolution core is also called a filter, or convolution matrix), of size (n, m ) and comprising coefficients K u .
  • K the convolution core is also called a filter, or convolution matrix
  • Each neuron of the output card 14 is connected to a part of the input matrix 11, this part being again called “input sub-matrix” or “receiver field of the neuron” and being of the same size as the matrix K.
  • the convolution matrix K including the synaptic weights is common for all the neurons of the output map 0 (The weights of the matrix K are then called “shared weights".
  • Each output coefficient of the output matrix 0 j then satisfies the following formula:
  • g) denotes the activation function of the neuron
  • si and sj denote the offset parameters ("stride” in Anglo-Saxon language) vertically and horizontally respectively.
  • stride offset parameters
  • An output card 0 is connected to an input matrix / by a “pooling" operation which downsamples the input matrix, which provides a subsampled matrix.
  • Subsampling can be of two types:
  • the synaptic weights associated with connections in the case of a pooling layer are generally unitary and therefore do not appear in the formulas above.
  • a fully connected layer comprises a set of neurons, each neuron being connected to all inputs of the layer.
  • Each neuron Oj has its own synaptic weights W ij with the corresponding inputs / £ and performs the weighted sum of the input coefficients with the weights which is then passed to the neuron activation function to obtain the output of the neuron.
  • the activation function of neurons g () is generally a sigmoid function, as for example the tanh ⁇ function.
  • the activation function can be for example the identity function.
  • Synaptic weights are determined by learning.
  • Learning a neural network consists in finding the optimal values of synaptic weights from an optimization method and a learning base.
  • learning methods such as the method of gradient retro-propagation, the basic principle consisting, from a stimulus input network, calculating the output of the network, compare it to the expected output (in the case of a so-called supervised learning) and retro-propagate an error signal in the network, which modifies the synaptic weights by a method of descent of the gradient.
  • the neural networks can be transposed into pulse coding as shown in FIG. 5.
  • the signals propagated at the input and at the output of the network layers are no longer digital values, but electrical pulses (comparable to Dirac pulses). ).
  • the information that was coded in the signal value (normalized between -1 and 1) is then coded temporally with the order of arrival of the pulses (rank order coding) or with the frequency of the pulses .
  • the instant of arrival of the pulse is inversely proportional to the absolute value of the signal to be coded.
  • the sign of the pulse determines the sign of the value of the signal to be encoded.
  • the pulse frequency between f min and f max , is proportional to the absolute value of the signal to be coded.
  • the sign of the pulse determines the sign of the value of the signal to be encoded.
  • the coding can also be pseudo-frequential, for example fishy: in this case f max and f min represent average frequencies only.
  • the initial phase of the pulses can be random.
  • the pulses may also come directly from a sensor, such as a retina or an artificial cochlea, mimicking the operation of their biological equivalent.
  • the weighted sum of the synaptic weights with the input signals is replaced by the integration of the pulses from the same weighted inputs by the synaptic weights. All pulses are identical except for their sign, so their integral can be considered unitary or normalized.
  • the activation function of the neuron is replaced by a threshold which is unitary in the case of standardized synaptic weights between -1 and 1.
  • a threshold which is unitary in the case of standardized synaptic weights between -1 and 1.
  • a neuron When a neuron is in a "refractory" period, it can not emit a new output pulse until the end of the refractory period, which can be equal to the minimum period of the pulses propagating in the network.
  • the artificial synapses of a neural network can be realized from memristive devices.
  • a memristive device is a two-terminal electronic component that behaves like a resistor or conductance, the value of which can be changed by applying a current or a voltage across its terminals.
  • G denotes the conductance of the device which connects its input current / ' to the voltage at its terminals v.
  • a memristive device may be binary and / or stochastic.
  • a family of memristive devices particularly adapted to the realization of artificial synapses in a neural network is such that the characteristic f (v, G) is nonlinear, as for example the devices of the MIM type (Metal-Insulator-Metal) which constitute the base cell of several non-volatile memory technologies such as RRAM "Resistive Random Access Memory”, CBRAM “Conductive-Bridging RAM” and OxRAM “Oxide-based Resistive Random Access Memory”.
  • MIM type Metal-Insulator-Metal
  • RRAM Resistive Random Access Memory
  • CBRAM Conductive-Bridging RAM
  • OxRAM Oxide-based Resistive Random Access Memory
  • memristive such as phase change memory (PCAM), floating gate transistors, memristors, organic memristors, the NOM-particle NOMFET transistor.
  • PCAM phase change memory
  • a memristive device can be emulated by a conventional digital memory cell, RAM type “Random Access Memory” ROM “Read-Only Memory” PROM “Programmable ROM” or register for example.
  • a synapse can thus be implemented by such an N-bit memory, thus emulating a memristive device of 2 N analog levels.
  • An artificial neural network can be realized by using such memristive devices as artificial synapses and integrating them into a "crossbar" type structure.
  • Figure 6 shows a hardware device 100 implementing an output map of a convolutional layer of a convolutional pulse neural network, according to some embodiments.
  • the device 1 00 consists of synapses 1 0, each synapse being implemented from one or more memristive devices, to perform the convolution operations of a convolutional neuron network 1 1 without it is necessary to use calculation units for such operations and copying operations of the convolution kernel.
  • a single "memristive device” as an element of a synapse for illustrative purposes.
  • the invention also applies to a synapse consisting of several devices in parallel memristive whose equivalent conductance corresponds to the sum of conductances of individual memristive devices.
  • the matrix (“crossbar” in Anglo-Saxon language) in which are integrated the devices 1 jersey is designated by the reference 5.
  • the coefficients of the core 1 2 are numbered from 1 to 9 and spread vertically.
  • device 1 00 can be used to realize a hardware implementation of convolutional neural networks for image classification and recognition. The remainder of the description will be made essentially with reference to input cards comprising pixel-type neurons for illustrative purposes.
  • the convolution operations implemented by the device 1 00 make it possible to determine each coefficient 0 j of the output matrix 14 for a given convolutional layer from the input matrix 11 (again denoted by I) of the convolution and convolution core 1 2 (again noted K).
  • the convolution operation from which each output coefficient 0 j is defined is given by Equation 1 below: (min (nl, I h -i.Si) min (ml, I w -j.sj) ⁇
  • the coefficients j represent the coefficients of the input matrix I of the convolutional layer considered, and the coefficients K k j represent the coefficients of the convolution core 12 (weight of the inter-neuronal connections). More particularly, the neural network device 100 uses a plurality of memory devices 10 to store the convolution core (s) 12 associated with an output matrix of the convolutional layer. Each memristive device 1 0 has an electrically switchable resistance value and can be of any type (such as for example a transistor). In one embodiment, the device 100 may use one or more memory devices, constituting a synapse 10 for each coefficient of the convolution core K k1 .
  • the pulses transiting between the layers of the neural network can be coded in AER ("Address-Event Representation") format.
  • AER Address-Event Representation
  • the pulse is digital and consists of a bit stream encoding the destination address (X, Y) of the pulse along two perpendicular axes X and Y, the reference (X, Y) corresponding to the reference of the input matrix, as well as the sign of the pulse.
  • the coded address (X, Y) represents the location of the input neuron to be activated.
  • its address (X, Y) gives the location to activate 1 ⁇ with:
  • the device 1 00 can additionally apply a time coding operation of information to carry out each convolution between the input matrix 1 of a given convolutional layer and the convolution core 1 2, the operation of weighting the input coefficients 1, j of the input matrix 1 of a given convolutional layer with the coefficients K k j of the convolution core being then time multiplexed.
  • the weighting operation is carried out directly in the memorizing devices 10 storing the coefficients corresponding to the weights of the convolution nucleus, by Ohm's law:
  • I G (conductance) * U, where G denotes the conductance of one or more memristive devices forming a synapse, and U denotes the voltage of a pulse which is fixed, the value of the input coefficient ly being coded temporally (for example by frequency coding or rank coding).
  • the parameter I is the value to accumulate in the corresponding output neuron.
  • An input neuron 1 belongs to the receiver field of one or more output neurons 140.
  • a neuron of the input matrix is activated (pixel in the example under consideration) and is surrounded by a black frame.
  • the pixel 28 of the input matrix is activated.
  • the input pixel considered belongs to the receiver field of 9 output neurons (upper part of Figure 6):
  • the activated pixel is connected to the receiver field of the output neuron No. 8, with the coefficient No. 9 of the convolution core (lower part of FIG. 6);
  • the activated pixel is connected to the receiver field of the output neuron N ° 9, with the coefficient N ° 8 of the convolution core;
  • the activated pixel is connected to the receiver field of the output neuron No. 10, with the coefficient No. 7 of the convolution core;
  • the coefficients j of the input matrix I can be implemented physically by a predefined frequency of the pulses while the coefficients K kJ are stored in the form of an electrical conductance of a memristive device 10.
  • each device memristif 10 is configured to receive a pre-synaptic pulse emitted by a neuron of the input matrix 1 to which it is connected upstream.
  • pre-synaptic pulse refers to a pulse emitted by a neuron in the direction of a synapse to which it is connected downstream.
  • a pre-synaptic pulse thus emitted from an input neuron 11 propagates towards the synapse, materialized by the memristive device 10, to which the input neuron is connected.
  • An input pulse propagates from the input neuron to the output neurons that have the input neuron in their receiver field, as shown in Fig. 6.
  • the pulse arriving on each output neuron is weighted by the synaptic weight corresponding to the coefficient of the associated convolution kernel for this input. This weighting can be done electrically by modulating the voltage of the pulse with the equivalent conductance of the synapse, consisting of one or more devices, thanks to Ohm's law.
  • a pulse modulated in this manner arriving on an output neuron is then integrated into the neuron (analogically or numerically), which emits an output pulse if this integration exceeds a threshold value.
  • the device 100 comprises an interconnection matrix 13 configured to dynamically associate (so-called "dynamic mapping" operation in the English language) each output 121 of the convolution core corresponding to a coefficient of the kernel of convolution, with a position 140 of the accumulation matrix 14, upon activation of an input neuron.
  • the dynamic mapping operation maps the kernel coefficients to the set of output neurons involving the activated input for the convolution calculation as described by the previous equations. For example, as shown in FIG. 6, when the input neuron 1 is triggered, the horizontal line intersecting the vertical line connected to the element 9 in the matrix 12 representing the convolution core 12 is connected dynamically, at the level of FIG. its end 121, at the position 8 of the accumulator 14.
  • the coefficients k k1 of the convolution core are connected to the outputs Oi-k j- ⁇ as follows:
  • the convolution operation is done by accumulating dynamically connected convolution core coefficients to the respective accumulators 140 at each arrival of a pulse on the outputs 121.
  • the pulse is propagated on the vertical line 50.
  • the dynamic mapping between the convolution core 12 and the outputs 140 is made possible by the pulse coding of the inputs applied to the memristive devices.
  • the pulse propagation When the pulse propagation is triggered according to the predefined pulse frequency, the pulses are propagated to the respective accumulators 140 to which they are connected by the interconnection matrix through memproting devices.
  • Fig. 7 is a flowchart showing the convolution method according to some embodiments.
  • a neuron of the input matrix I belonging to a given convolutional layer, is triggered by an event.
  • An input neuron belongs to the receiving field of one or more output neurons (ie, the input neuron is connected to these output neurons).
  • the input neuron can be of any type as a pixel in the case of an impulse encoded input image.
  • the triggering event may, for example, be derived from the previous convolutional layer or an event sensor, such as a retina, a cochlea, or even a frequency coding of static data, such as images or a time spectrum. -frequency.
  • step 102 In response to the initiation of the input neuron, in step 102, a dynamic match is implemented to map the coefficients of the convolution core to the outputs for which the input pixel has a contribution.
  • step 101 in response to triggering of the input neuron, the memproducing devices 10 storing the coefficients of the convolution core are dynamically connected to the corresponding output neurons.
  • the step 101 of dynamic mapping between the memristive devices 10 and the output neurons can be implemented according to different types of dynamic routing methods such as:
  • Step 101 is reiterated for each new triggered input neuron if that input neuron is different from the previously triggered neuron.
  • Dynamic routing methods can be analog or digital.
  • Each type of routing method offers a different compromise in number of cycles and number of switches.
  • Parallel routing for example, propagates the input pulse on all output neurons for which it has a contribution at once, simultaneously, but requires a higher number of switches for dynamic routing.
  • An accumulation step 103 may then be implemented from the propagation of the pulses.
  • the accumulation step 103 is implemented on the side of the convolution kernel, in two sub-steps (read-add then retro-write). Alternatively, it can be implemented on the output side 121 in a single add-write step.
  • the value of the accumulation is propagated in a first step from each output neuron to an intermediate accumulator (accumulator 22 in FIGS. 8 and 9) present in the output nodes 121 of the matrix 12 containing the coefficients of the convolution core stored by the memristive devices 10.
  • the pulses can be propagated simultaneously or not. For example, in the case of parallel routing, they can be propagated simultaneously.
  • the input impulse is propagated at each synapse and is weighted by the value of the synapse.
  • the pulse For each synapse, the pulse, once weighted, is added to the intermediate accumulator present in the output nodes 121 with the value of the accumulation previously stored in the accumulator 140 of the corresponding output neuron 141 (reading step -addition or "read-add” in English language).
  • This read-add step can be performed in parallel, depending on the type of routing chosen for dynamic interconnection ("dynamic mapping").
  • the accumulated values in the accumulators intermediates can be propagated to the corresponding output neurons 141 and stored in the corresponding accumulators 140, in step 103 (back-write step or "write back" in English language).
  • Step 103 can be performed in parallel, depending on the type of routing chosen for dynamic mapping.
  • the accumulation can be performed directly in the output neurons 141 and be performed in parallel, depending on the type of routing chosen for dynamic interconnection.
  • the read-add step can be performed for a first synapse group, then the write-back step can be executed for the same first group, before moving on to the next group and changing the dynamic mapping.
  • Such an embodiment eliminates the need to perform the same mapping twice each time ("mapping"), a first time for reading-adding and a second time for reading-writing.
  • it makes it possible to reduce the number of intermediate accumulators, since from one synapse group to another, the same accumulators can be reused.
  • the neural network can be realized by integrating the memristive devices 10 in a "crossbar" type structure, with or without a selection device (transistor, diode or other device with a non-linearity).
  • FIG. 8 is a schematic representation of another example of hardware implementation of convolution operations in a neural network with a grouping of outputs by downsampling.
  • the operation of grouping the outputs by subsampling consists in gathering the neighboring outputs to form a new smaller output matrix 14.
  • the grouping of outputs is carried out directly at the level of the accumulation, by pooling the accumulators 140 corresponding to the same output in groups 142, in the matrix 14 scaled.
  • the maximum size of the matrix of the memrotatory devices 10 may advantageously be equal to the size of the convolution core 12, for example of size 35x35, 1 1 x1 1 or 5x5.
  • the size may be limited in particular by the leakage currents.
  • the interconnection matrix 13 (analog) can be of small size and can be made in CMOS. Alternatively, it can be performed physically with memristive devices.
  • the neural network device 100 may additionally operate with a learning method, such as for example a STDP (Spike Timing Dependent Plasticity) rule-based learning method, in-situ, or online.
  • a learning method such as for example a STDP (Spike Timing Dependent Plasticity) rule-based learning method, in-situ, or online.
  • the interconnect matrix performs address decoding to map synaptic weights to output neurons for a given enabled input.
  • each synapse consists of 3 devices (each line implementing a coefficient of the convolution kernel).
  • a pulse can be propagated simultaneously on all the columns to obtain at the end of each line a current pulse weighted by the equivalent conductance of the synapse corresponding to the sum of the conductances of the devices constituting the synapse.
  • the pulses are propagated on the vertical lines 5 of the "crossbar" matrix 5.
  • the accumulation step 103 of FIG. 7 can be implemented sequentially, by activating one device after the other, with an adder (1+ x) per line, or synapse, the value "1" being added to the value "x" accumulated by the corresponding output neuron 140.
  • This is equivalent to having several columns of devices, as in Figure 9.
  • the accumulation step can be implemented in one step, using multiple thresholds (as many as devices per synapse) and one adder per line.
  • the thresholds may be increasing multiples of the base threshold so as to perform a digitization of the equivalent synaptic weight stored in the set of devices constituting a line.
  • This embodiment is particularly suitable in the case of binary devices, being able to store only a state "ON” (active) or "OFF” (inactive).
  • the base threshold is set to trip in the event that at least one of the devices is in the state " WE ". For example, if the equivalent synapse consists of 4 devices, 2 of which are in the "ON" state, the first two thresholds will trigger on the 4, thus encoding the synapse value of 2/4.
  • Such an embodiment can be implemented using digital accumulators 140 or, alternatively, analog accumulators, using an analog-to-digital converter (ADC) per line.
  • ADC analog-to-digital converter
  • FIG. 11 is a schematic representation of another example of hardware implementation of convolution operations in a neural network with STDP ("Spike-Timing-Dependent Plasticity” learning) meaning "plasticity according to the time of occurrence of the pulses" ).
  • STDP Spike-Timing-Dependent Plasticity
  • STDP learning can be done in one step with interaction of pre- and post-synaptic pulses.
  • pre-synaptic and post-synaptic pulses can for example be sent by the input and output neurons to a neural network.
  • synapse (constituted by one or more memristive devices) to act on the variation of its conductance, for example as described in FR2977351 B1.
  • a write circuit 15 is used. Following the activation of an output neuron, the coefficients of the associated convolution kernel are mapped to the inputs constituting the output neuron receiver field (dynamic mapping). The kernel coefficients are then modified as follows:
  • LTP Long Term Potentiation
  • STDP learning rule “Spike Timing Depends Plasticity” consists of changing the weight of a synapse according to the temporal distance between pre- and post-synaptic impulses.
  • the LTP state corresponds to the state of potentiation of the synapse and the LTP phase has a given duration corresponding to the duration during which the conductance of the synapse increases.
  • the variation in the conductance of the synapse may depend on the relative arrival times of the two pulses.
  • the learning may also be stochastic.
  • Figs. 12 to 17 show embodiments of the step of dynamically interconnecting memproting devices 10 and output neurons in the receiver field of an activated neuron (step 102 of Fig. 7).
  • Fig. 12 is a flowchart illustrating the step of dynamic interconnection, according to a parallel embodiment (in one cycle).
  • step 1 an input neuron is triggered (for example a pixel).
  • the steps 1 12 and 1 14 correspond to the dynamic interconnection between the outputs 121 of the matrix 12 and the nodes 141 corresponding to the output neurons that are in the receiver field of the triggered neuron.
  • step 1 12 a decoding of the X address of the input neuron is performed.
  • the corresponding lines of the matrix 12 are then activated (each line corresponds to a synapse or a different coefficient of the nucleus).
  • step 1 14 a decoding of the Y address of the input neuron is performed.
  • the corresponding lines of the matrix 12 are then activated.
  • step 1 1 6 an accumulation of the values is performed in the output matrix 14 by propagation of the pulses as previously described.
  • FIG. 13 represents an example of hardware realization of the neural network corresponding to a parallel embodiment (only one cycle) according to the embodiment of FIG. 12.
  • the accumulators 140 (right-hand part) are connected to the corresponding core coefficients after X and Y decoding.
  • N TG mn O h + m. O w . O h
  • FIG. 12 is a flowchart illustrating the step of dynamic interconnection, according to a semi-sequential embodiment (in n cycles).
  • step 130 an input neuron is triggered (for example a pixel).
  • the dynamic interconnection between the outputs 121 of the matrix 12 and the nodes 141 corresponding to the output neurons that are in the receiver field of the triggered neuron comprises the steps 132 to 135.
  • step 132 a decoding of the X address of the input neuron is performed.
  • the corresponding columns of the matrix 12 are then activated.
  • step 134 a decoding of the Y address of the input neuron is performed.
  • the number of lines to be activated sequentially is defined by the parameter n, which corresponds to the number of lines in the convolution matrix K (12).
  • step 135 a line is activated (current line). If a line was previously activated, this previous line is deactivated beforehand.
  • step 136 an accumulation of the values is performed in the output matrix 14 by pulse propagation on the current activated line.
  • the next line is then activated in step 138 if the number of lines already activated is less than n (i.e. the iteration number of steps 135/136 is less than n).
  • FIG. 13 represents an exemplary hardware embodiment of the neural network corresponding to a semi-sequential embodiment in Y, according to the embodiment of FIG. 12.
  • the accumulators 140 (right-hand part) are connected to the corresponding core coefficients after X and Y decoding.
  • the matrix 12 (left part) is made physically by a set of memristive devices 10.
  • the accumulation in the accumulators 140 is performed for each line activated sequentially by a sequencer.
  • N TG m. n + m. O w . O h
  • FIG. 14 is a flowchart illustrating the dynamic interconnection step, according to a completely sequential embodiment (in m.n cycles).
  • step 150 an input neuron is triggered (for example a pixel).
  • the dynamic interconnection between the outputs 121 of the matrix 12 and the nodes 141 corresponding to the output neurons that are in the receiver field of the triggered neuron comprises the steps 152 to 156. More specifically, in step 152, a decoding of the Y address of the input neuron is performed. The number of lines to activate sequentially is defined by the parameter n.
  • step 153 a line is activated (current line). If a line was previously activated, this previous line is deactivated beforehand.
  • step 154 a decoding of the X address of the input neuron is performed.
  • the number of columns to be activated sequentially is defined by the parameter m, which corresponds to the number of columns in the convolution matrix K (12).
  • step 155 a column is activated (current column). If a column has been previously enabled, this previous column is disabled beforehand.
  • step 156 an accumulation of the values is carried out in the output matrix 14 by propagation of pulses on the current lines and columns activated.
  • the next column is then activated in step 157 if the number of lines already activated is less than m (i.e. iteration number of steps 153/156 is less than n).
  • the next line is then activated in step 158 if the number of lines already activated is less than n (i.e. the iteration number of steps 153/156 is less than n).
  • FIG. 15 represents an example of hardware realization of the neural network corresponding to a completely sequential embodiment, according to the embodiment of FIG. 14.
  • Each accumulator 140 (right-hand part) is sequentially connected to the corresponding core coefficient after X and Y decoding.
  • the matrix 12 (left part) is made physically by a set of memristive devices 10.
  • the accumulation in the accumulators 140 is performed for each line and column activated sequentially by a sequencer.
  • the number of switches N T G used in the hardware realization of the neural network is then given by the following equation:
  • N TG m. n + O w . O h
  • This embodiment minimizes the number of switches and therefore the complexity of the interconnection matrix, but makes it possible to perform only one operation per cycle and therefore has a priori limited interest compared to a conventional digital implementation of such a network where the memory accesses are sequential.
  • FIG. 16 is a flowchart illustrating the dynamic interconnection step, according to a semi-sequential embodiment (in m cycles).
  • step 1 60 an input neuron is triggered (for example a pixel).
  • the dynamic interconnection between the outputs 121 of the matrix 12 and the nodes 141 corresponding to the output neurons that are in the triggered field of the triggered neuron comprises the steps 1 62 to 165.
  • step 162 a decoding of the Y address of the input neuron is performed.
  • the corresponding lines of the matrix 12 are then activated.
  • step 164 a decoding of the X address of the input neuron is performed.
  • the number of columns to activate sequentially is defined by the parameter m.
  • step 165 a column is activated (current line). If a column has been previously enabled, this previous column is disabled beforehand.
  • step 1 66 an accumulation of the values is carried out in the output matrix 14 by propagation of pulses on the current activated column.
  • FIG. 17 represents an example of hardware realization of the neural network corresponding to a semi-sequential embodiment in Y, according to the embodiment of Figure 1 6.
  • the accumulators 140 (right-hand part) are connected to the corresponding core coefficients after decoding in X and Y.
  • the matrix 12 (left-hand part) is made physically by a set of memristive devices 10. The accumulation in the accumulators 140 is performed for each column activated sequentially by a sequencer.
  • N TG m. n + n. O h + O w . O h
  • connections made by the dynamic mapping operation between the synapses and the accumulators of the output neurons cause the pulse weighted by the value of the synapses to pass.
  • the connections can be made in different ways:
  • N son N bits
  • a digital coding is then used, it can be binary or unary.
  • Figures 18 to 22 show embodiments of the accumulation step 103 of Figure 7.
  • Fig. 18 is a flowchart showing the accumulation step, according to a kernel side embodiment.
  • step 180 an input neuron is triggered (for example pixel).
  • step 182 the dynamic interconnect step is performed, for example according to one of the embodiments of FIGS. 12 to 17.
  • step 183 the value stored in the accumulator of each output neuron 140, located in the triggered field of the triggered neuron, is added together with the synaptic weight corresponding to the input neuron (stored in at least one memristive device ). The value thus obtained is stored in an accumulator 121 at the output of the synapse connecting the input neuron and the output neuron.
  • step 184 the accumulated values at the output of the synapses are written in the accumulators 140 of the output neurons.
  • Fig. 19 shows an exemplary hardware embodiment of the accumulator 14 in the kernel-side embodiment in write-add mode.
  • Each output 20 of a coefficient of the convolution core can be realized physically by a memristive device 10, an adder 21, a storage memory 22, and a switch 23.
  • the switch 23 is configured to switch between read-add (read-add) and write-back modes.
  • each output corresponding to a coefficient of the convolution nucleus can be made physically by one or more memproting devices 10 storing the synaptic weight, the adder 21 then adding the value stored in the accumulator of each neuron of output 140 with the weight stored in the device (s) memristive (s).
  • the storage memory 22 at the output of the synapse then stores the value thus obtained.
  • the storage memory can be made in analog or digital.
  • FIG. 20 represents the hardware embodiment of the accumulation part of FIG. 19 in write back mode.
  • the matrix output 14 comprises a storage memory 24 for storing the propagated value from the accumulators 22.
  • FIG. 21 is a flowchart representing the accumulation step (step 103 of FIG. 7), according to one embodiment of the invention. accumulation on the output side.
  • step 210 an input neuron is triggered (eg pixel).
  • step 212 the dynamic interconnect step is performed, for example according to one of the embodiments of FIGS. 12 to 17.
  • step 214 the value stored in the accumulator of each output neuron 140, being in the receiving field of the triggered neuron, is added with the synaptic weight corresponding to the input neuron (stored in at least one memristive device and previously propagated to the output matrix 14), on the output matrix side . The value thus obtained is directly stored in the output matrix 14.
  • Fig. 22 shows an exemplary hardware embodiment of the accumulator 14 in the output-side embodiment.
  • Each output of a coefficient of the convolution core is directly connected to the memristive device (s) storing the value of the coefficient.
  • Each output of the matrix 14 may comprise an adder 25 and a storage memory 23.
  • Each output 20 of a coefficient of the convolution core can be achieved physically by the memristive device 10 storing the synaptic weight and propagated to the matrix 14.
  • the adder 23 then directly adds the value stored in the accumulator of each output neuron 140 with the weight received.
  • the storage memory 26 on the output matrix side stores the value thus obtained.
  • the dynamic interconnection also applies to "pooling" pooling layers to match the inputs with the output neurons involved in a “pooling” calculation.
  • the invention is not limited to a particular type of memristive device.
  • the memristive devices can be CBRAM ("conductive bridging RAM”), OXRAM ("Oxide Based Resistive Memory”), PCRAM (“Phase Change RAM”) or PCM (“Phase-Change Memory”).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Complex Calculations (AREA)

Abstract

Il est proposé un réseau de neurones convolutionnel (100) comprenant une pluralité de neurones artificiels agencés en une ou plusieurs couches de convolution, chaque couche de convolution comprenant une ou plusieurs matrices de sortie (14), chaque matrice de sortie comprenant un ensemble de neurones de sortie, chaque matrice de sortie étant connectée à une matrice d'entrée, comprenant un ensemble de neurones d'entrée, par des synapses artificielles associées à une matrice de convolution. La matrice de convolution comprend les coefficients de poids associés aux neurones de sortie de la matrice de sortie, la valeur de sortie de chaque neurone de sortie étant déterminée à partir des neurones d'entrée de la matrice d'entrée auxquels le neurone de sortie est connecté et des coefficients de poids de la matrice de convolution associée à la matrice de sortie. Chaque synapse est constituée d'un ensemble de dispositifs memristifs comprenant au moins un dispositif memristif, chaque ensemble de dispositif memristif stockant un coefficient de poids de la matrice de convolution. En réponse à un changement de la valeur de sortie d'un neurone d'entrée d'une matrice d'entrée, le réseau de neurones est apte à associer dynamiquement chaque ensemble de dispositifs memristifs stockant un coefficient de la matrice de convolution à un neurone de sortie connecté au neurone d'entrée. Le réseau de neurones comprend en outre un accumulateur (140, 121) pour chaque neurone de sortie, l'accumulateur étant configuré pour accumuler les valeurs des coefficients de poids stockées dans les ensembles de dispositifs memristifs associés dynamiquement au neurone de sortie, la valeur de sortie du neurone de sortie étant déterminée à partir de la valeur accumulée dans l'accumulateur.

Description

Réseau de neurones convolutionnels
Domaine technique
L'invention concerne de manière générale les réseaux de neurones artificiels et en particulier la mise en œuvre de réseaux de neurones convolutionnels sous forme de circuits électroniques à partir de dispositifs memristifs.
Art Antérieur
Les réseaux de neurones artificiels sont schématiquement inspirés des réseaux de neurones biologiques dont ils imitent le fonctionnement. Les réseaux de neurones artificiels sont composés essentiellement de neurones interconnectés entre eux par des synapses, qui sont classiquement implémentées par des mémoires numériques, mais qui peuvent être également implémentées par des composants résistifs dont la conductance varie en fonction de la tension appliquée à leurs bornes. Les réseaux de neurones artificiels sont utilisés dans différents domaines de traitement du signal (visuel, sonore, ou autre) comme par exemple dans le domaine de la classification ou la reconnaissance d'image.
Les réseaux de neurones convolutionnels correspondent à un modèle particulier de réseau de neurones articifiels. Les réseaux de neurones convolutionnels ont été décrits pour la première fois dans l'article de K. Fukushima, « Neocognitron: A self-organizing neural network model for a mechanism of pattern récognition unaffected by shift in position. Biological Cybernetics, 36(4):193-202, 1980. ISSN 0340-1200. doi: 10.1007/BF00344251 ».
De nombreux développements relatifs aux réseaux de neurones ont été proposés, comme par exemple dans les articles :
- Y. LeCun, L. Bottou, Y. Bengio, et P. Haffner, « Gradient-based learning applied to document récognition. Proœedings of the IEEE, 86(1 1 ):2278-2324, 1998. ISSN
0018-9219. doi: 10.1 109/ 5.726791 . », et
- P. Simard, D. Steinkraus, et J. C. Platt, « Best practices for convolutional neural networks applied to visual document analysis. Document Analysis and Récognition, 2003. Proceedings. Seventh International Conférence on, pages 958-963, 2003. doi: 10.1 109/ICDAR.2003. 1227801 ».
Les réseaux de neurones convolutionnels (désignés en langue anglo-saxonne par les expressions "convolutional neural networks", ou "deep (convolutional) neural networks" ou encore "ConvNets") sont des réseaux de neurones sans rétro-action (« feedforward »), inspirés par les systèmes visuels biologiques. Appliqués à la reconnaissance d'images, ces réseaux permettent un apprentissage des représentations intermédiaires d'objets dans les images qui sont plus petites et généralisâmes pour des objets similaires, ce qui facilite leur reconnaissance. Un tel réseau peut être constitué de plusieurs couches de convolution, incluant ou non des couches de regroupement (« pooling » en langue anglo-saxonne) et qui sont généralement suivi par un classifieur type perceptron multicouches, la sortie d'une couche étant connectée sur l'entrée de la suivante.
Dans une couche de convolution, chaque neurone est connecté à une sous- matrice de la matrice d'entrée. Les sous-matrices ont la même taille. Elles sont décalées les unes des autres de manière régulière et peuvent se chevaucher. La matrice d'entrée peut être de dimension quelconque. Cependant, la matrice d'entrée est généralement de dimension 2D lorsque les données à traiter sont des données visuelles, les deux dimensions correspondant alors aux dimensions spatiales X et Y d'une image.
Les neurones sont connectés à leur sous-matrice d'entrée / par des synapses dont le poids est réglable. La matrice K des poids synaptiques appliquée aux sous-matrices d'entrée des neurones est la même pour tous les neurones d'une même carte de sortie ("feature map" en langue anglo-saxone). Une telle matrice K est encore appelée « noyau de convolution ». Le fait que le noyau de convolution soit partagé pour l'ensemble des neurones d'une même carte de sortie O, et donc appliqué sur l'ensemble de la matrice d'entrée, diminue la mémoire nécessaire pour le stockage des coefficients, ce qui optimise les performances. Par exemple pour la reconnaissance d'images, cela permet de minimiser le nombre de filtres ou de représentations intermédiaires qui codent au mieux les caractéristiques de l'image et qui sont réutilisables sur toute l'image. Les coefficients d'un noyau de convolution K (c'est-à-dire les poids synaptiques) peuvent correspondre à des filtres classiques de traitement du signal (Gaussien, Gabor, Laplace...), ou être déterminés par apprentissage, supervisé ou non-supervisé, par exemple en utilisant l'algorithme de rétro-propagation du gradient utilisé dans les réseaux de neurones de type perceptrons multi-couches. Les coefficients des noyaux de convolution peuvent être positifs ou négatifs, et sont généralement normalisés entre -1 et 1 , tout comme les valeurs d'entrée et de sortie des neurones.
Un neurone réalise dans un premier temps la somme pondérée h des coefficients de sa sous-matrice d'entrée par le noyau de convolution (autrement dit le produit scalaire entre la sous-matrice d'entrée I et la matrice K), en appliquant la fonction d'agrégation g = <I,W>. La sortie du neurone correspond à la valeur de la fonction d'activation g du neurone appliquée à cette somme : g(h). Classiquement, g peut prendre la forme d'une fonction sigmoïde, typiquement la fonction tangente hyperbolique. Une couche de convolution peut contenir un ou plusieurs noyaux de convolution, qui ont chacun une matrice d'entrée, qui peut être la même, mais qui ont des coefficients différents correspondant à des filtres différents.
Chaque noyau de convolution dans une couche produit une carte de sortie différente de sorte que les neurones de sortie sont différents pour chaque noyau. Les réseaux convolutionnels peuvent également inclure des couches de "pooling" locales ou globales qui combinent les sorties de groupe de neurones d'une ou plusieurs cartes de sortie. La combinaison des sorties peut consister par exemple à prendre la valeur maximale ou moyenne des sorties du groupe de neurones, pour la sortie correspondante, sur la carte de sortie de la couche de « pooling ». Les couches de « pooling » permettent de réduire la taille des cartes de sorties d'une couche à l'autre dans le réseau, tout en améliorant ses performances en le rendant plus tolérant à de petites déformations ou translations dans les données d'entrée.
Les réseaux convolutionnels peuvent également inclure des couches complètement connectés de type perceptron. La figure 1 représente un exemple de réseau convolutionnel simple, avec une couche d'entrée « env » correspondant à la matrice d'entrée, deux couches de convolution, « convl » et « conv2 », ainsi que deux couches complètement connectés « fc1 » et « fc2 ». Dans cet exemple, la taille des noyaux de convolution est de 5x5 pixels et ils sont décalés entre eux de 2 pixels (soit un décalage ou « stride » de 2) :
- « convl » a une matrice d'entrée « env » et 6 noyaux de convolution différents produisant 6 cartes de sorties ;
- « conv2 » a 12 noyaux de convolution différents et donc 12 cartes de sorties, et chaque carte de sortie prend en entrée l'ensemble des 6 cartes de sortie de la couche précédente.
Il existe des solutions consistant à implémenter les réseaux de neurones sur processeur graphique GPU pour améliorer significativement leurs performances, comme la solution décrite dans l'article de D. C. Ciresan, U. Meier, J. Masci, L. M. Gambardella, and J. Schmidhuber, « Flexible, high performance convolutional neural networks for image classification. Proceedings of the Twenty-Second International Joint Conférence on Artificial Intelligence - Volume Two», IJCAI' 1 1 , pages 1237-1242, 201 1 . ISBN 978-1 -57735-514-4. doi: 10.5591 /978-1 -57735- 51 6-8/ IJCAI1 1 -210. Une caractéristique importante des réseaux de neurones est leur passage à l'échelle. En effet, les réseaux de neurones restent efficaces quelle que soit la taille de la base d'images à apprendre comme décrit dans :
- Q. V. Le, R. Monga, M. Devin, K. Chen, G. S. Corrado, J. Dean, and A. Y. Ng. Building high-level features using large scale unsupervised learning, In International Conférence on Machine Learning, 2012;
- A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In Advances in Neural Information Processing Systems 25, pages 1097-1 105. Curran Associates, Inc., 2012.
Dans leur version classique, les éléments constituant la matrice d'entrée et les cartes de sortie sont des nombres, entiers ou décimaux, à virgule fixe ou flottante. Ainsi, l'opération de convolution entre une sous-matrice d'entrée et un neurone de sortie correspond au produit scalaire entre la sous-matrice d'entrée I et la matrice K. Dans une version dite « impulsionnelle », les valeurs d'entrée et de sortie sont codées avec des impulsions. Une valeur peut ainsi être codée par le nombre d'impulsions durant une fenêtre de temps fixée (codage fréquentiel), ou par l'instant d'émission d'une impulsion selon une technique de codage d'ordre de rang.
Dans le cas d'un codage fréquentiel, le calcul de la somme pondérée h se fait par accumulation du coefficient du noyau de convolution à chaque arrivée d'une impulsion sur l'entrée correspondante. La fonction d'activation du neurone g peut dans ce cas être remplacée par un seuil. Lorsque la valeur absolue de h dépasse le seuil suite à l'arrivée d'une impulsion sur la sous-matrice d'entrée, le neurone de sortie émet une impulsion du signe de h et remet h à la valeur 0. Le neurone entre alors dans une période dite « réfractaire » durant laquelle il ne peut plus émettre d'impulsion durant une période fixée. Les impulsions peuvent par conséquent être positives ou négatives, selon le signe de h au moment du dépassement du seuil. Une impulsion négative en entrée inverse le signe du coefficient du noyau correspondant pour l'accumulation. Une équivalence entre version classique et version impulsionnelle est montrée dans J. Perez-Carrasco, B. Zhao, C. Serrano, B. Acha, T. Serrano-Gotarredona, S. Chen, and B. Linares- Barranco. Mapping from frame-driven to frame-free event-driven vision Systems by low-rate rate coding and coïncidence processing-application to feedforward convnets. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 35(1 1 ):2706-2719, 2013. ISSN 01 62-8828. doi: 10.1 109/TPAMI.2013.71 .
Une implémentation matérielle de réseau convolutionnel impulsionnel a notamment été proposée dans L. Camunas-Mesa, C. Zamarreno-Ramos, A. Linares-Barranco, A. Acosta-Jimenez, T. Serrano- Gotarredona, and B. Linares- Barranco. An event-driven multi-kernel convolution processor module for event- driven vision sensors. Solid-State Circuits, IEEE Journal of, 47(2):504-517, 2012. ISSN 0018-9200. doi: 10.1 109/JSSC.201 1 .21 67409. Une telle implémentation de convolution utilise une mémoire numérique séparée pour stocker les coefficients des noyaux de convolution et nécessite de copier ces coefficients du noyau de la mémoire à l'unité de calcul (ALU) à chaque arrivée d'impulsion. Ainsi, les solutions existantes nécessitent toutes une unité de calcul pour le calcul de convolution. Par ailleurs, de telles solutions sont limitées par la taille du bus de données des mémoires numériques et nécessitent dans un premier temps une récupération de la valeur stockée dans la mémoire avant de pouvoir effectuer une opération sur celle-ci. Ainsi, par exemple, si la taille du bus mémoire est de 64 bits et que les coefficients sont stockés sur 8 bits, il n'est possible de récupérer à chaque coup d'horloge que 8 coefficients. Des millions de cycles d'horloge peuvent donc être nécessaires en fonction du nombre de coefficients dans le réseau. Il en résulte un temps de traitement conséquent, ainsi qu'une consommation énergétique importante pour calculer l'ensemble des sorties du réseau pour une donnée d'entrée. Une telle situation constitue un goulot d'étranglement fondamental de ce type d'architecture (encore appelé Goulot d'étranglement de Von Neumann ou « Von Neumann bottleneck » en langue anglo-saxonne). Un tel goulot d'étranglement peut tout au plus être limité (mais non éliminé) par l'utilisation d'instructions de type SIMD (acronyme pour « Single Instruction on Multiple Data » signifiant littéralement « instruction unique sur des données multiples ») pour le traitement de plusieurs données en une instruction processeur et par l'utilisation de mémoire distribuée avec plusieurs unités de calcul comme dans les processeurs graphiques GPU. Définition générale de l'invention
L'invention vient améliorer la situation. A cet effet, elle propose un réseau de neurones convolutionnel comprenant une pluralité de neurones artificiels agencés en une ou plusieurs couches de convolution. Chaque couche de convolution comprenant une ou plusieurs matrices de sortie, chaque matrice de sortie comprenant un ensemble de neurones de sortie. Chaque matrice de sortie est connectée à une matrice d'entrée, qui comprend un ensemble de neurones d'entrée, par des synapses artificielles associées à une matrice de convolution comprenant les coefficients de poids synaptiques associés aux neurones de sortie de la matrice de sortie. La valeur de sortie de chaque neurone de sortie est déterminée à partir des neurones d'entrée de la matrice d'entrée auxquels le neurone de sortie est connecté et des coefficients de poids synaptiques de la matrice de convolution associée à la matrice de sortie. Chaque synapse est constituée d'un ensemble de dispositif memristifs comprenant au moins un dispositif memristif, chaque ensemble de dispositif memristif stockant un coefficient de ladite matrice de convolution. En réponse à un changement d'état d'un neurone d'entrée d'une matrice d'entrée, le réseau de neurones est apte à : - interconnecter dynamiquement chaque ensemble de dispositifs memristifs stockant les coefficients de la matrice de poids aux neurones de sortie connectés au neurone d'entrée, et
- pour chaque neurone de sortie, accumuler les valeurs des coefficients de poids stockées dans les ensembles de dispositifs memristifs interconnectés dynamiquement au neurone de sortie dans un accumulateur de sortie, ce qui fournit la valeur de sortie du neurone de sortie.
Selon un mode de réalisation, les neurones peuvent utiliser un codage temporel, l'interconnexion dynamique étant mise en œuvre en réponse au déclenchement d'un neurone d'entrée de la matrice d'entrée.
En réponse à l'interconnexion dynamique, l'accumulation des valeurs des coefficients de poids peut alors être mise en œuvre par propagation d'au moins une impulsion codant la valeur de chaque coefficient de poids, selon le codage temporel, les valeurs accumulées dans les accumulateurs de sortie constituant les valeurs de sortie de la matrice de sortie.
Le réseau de neurones peut comprendre un ensemble de commutateurs et un circuit logique de mise en correspondance des coefficients de poids synaptiques avec les neurones de sortie connectés au neurone d'entrée ayant subi un changement d'état, à partir de l'adresse du neurone d'entrée dans la matrice d'entrée, pour réaliser l'interconnexion dynamique.
Chaque impulsion peut comprendre un train de bits codant l'adresse (X, Y) de destination de l'impulsion suivant deux axes perpendiculaires X et Y, le repère (X, Y) correspondant au repère de la matrice d'entrée ; lorsque ladite impulsion arrive sur la matrice d'entrée, l'adresse (X, Y) codée représente l'emplacement du neurone d'entrée à activer. Selon un mode de réalisation, l'interconnexion dynamique peut être réalisée en parallèle et en un seul cycle, en connectant simultanément l'ensemble des coefficients de poids stockés dans les dispositifs memristifs aux neurones de sortie connectés au neurone d'entrée ayant subi un changement d'état.
Selon un autre mode de réalisation, l'interconnexion dynamique peut être réalisée semi-séquentiellement en connectant les coefficients de la matrice de poids stockés dans les dispositifs memristifs, une ligne de la matrice après l'autre, aux neurones de sortie connectés au neurone d'entrée ayant subi un changement d'état.
En variante, l'interconnexion dynamique peut être réalisée semi-séquentiellement, en connectant les coefficients de la matrice de poids stockés dans les dispositifs memristifs, une colonne de la matrice après l'autre, aux neurones de sortie connectés au neurone d'entrée ayant subi un changement d'état.
Dans une autre variante encore, l'interconnexion dynamique peut être réalisée séquentiellement, en connectant les coefficients de la matrice de convolution, stockés dans lesdits dispositifs memristifs, l'un après l'autre, aux neurones de sortie connectés au neurone d'entrée ayant subi un changement d'état.
Selon une caractéristique, le réseau de neurones peut comprendre un accumulateur agencé à la sortie de chaque synapse, l'accumulateur réalisant l'accumulation de la valeur du coefficient de poids stockée dans les dispositifs memristifs de la synapse avec la valeur stockée dans l'accumulateur du neurone de sortie correspondant, la valeur stockée dans l'accumulateur auxiliaire étant ensuite propagée par les impulsions dans l'accumulateur de la matrice de sortie.
Selon une autre caractéristique, le réseau de neurones peut comprendre un accumulateur agencé au niveau de chaque neurone de sortie, la sortie de chaque dispositif memristif de la synapse étant propagée au niveau du neurone de sortie, la valeur ainsi propagée étant accumulée avec la valeur stockée dans l'accumulateur. Les sorties de neurones peuvent être groupées, tandis que les valeurs accumulées correspondant à des sorties groupées sont stockées dans un accumulateur commun.
Selon une autre caractéristique encore, le réseau de neurones peut comprendre un apprentissage en ligne de type STDP à partir de l'interconnexion dynamique.
Les modes de réalisation proposés permettent ainsi de faire le calcul de convolution directement dans la mémoire et en parallèle, ce qui améliore la rapidité et l'efficacité énergétique de l'opération.
Brève description des dessins D'autres caractéristiques et avantages de l'invention apparaîtront à l'aide de la description qui suit et des figures des dessins annexés dans lesquels:
- La figure 1 représente un exemple de réseau convolutionnel simple à trois couches, ainsi que la couche de sortie ;
- La figure 2 représente un exemple de réseau convolutionnel complexe, incluant des couches de "pooling";
- La figure 3 est un schéma montrant une couche de convolution constituée de plusieurs cartes/matrices de sortie ;
- La figure 4 illustre le principe de fonctionnement d'une couche convolutionnelle dans un tel réseau ; - La figure 5 est un schéma illustrant le codage impulsionnel et la propagation dans le réseau de neurones des impulsions ;
- La figure 6 représente un dispositif matériel implémentant un réseau de neurones convolutionnel impulsionnel, selon certains modes de réalisation ;
- La figure 7 est un organigramme représentant le procédé de convolution, selon certains modes de réalisation ;
- La figure 8 est une représentation schématique d'un autre exemple d'implémentation matérielle des opérations de convolution dans un réseau de neurones avec regroupement des sorties (sous-échantillonnage en sortie) ;
- La figure 9 est une représentation schématique d'un autre exemple d'implémentation matérielle des opérations de convolution dans un réseau de neurones avec apprentissage STDP ;
- La figure 10 est un organigramme illustrant l'étape d'interconnexion dynamique, selon un mode de réalisation parallèle (en un cycle) ;
- La figure 1 1 représente un exemple de réalisation matérielle du réseau de neurones correspondant à un mode de réalisation parallèle (1 seul cycle) conformément au mode de réalisation de la figure 10 ;
- La figure 12 est un organigramme illustrant l'étape d'interconnexion dynamique, selon un mode de réalisation semi-séquentiel (en n cycles).
- La figure 13 représente un exemple de réalisation matérielle du réseau de neurones selon un mode un mode semi-séquentiel en Y ; - La figure 14 est un organigramme illustrant l'étape d'interconnexion dynamique, selon un mode de réalisation complètement séquentiel ;
- La figure 15 représente un exemple de réalisation matérielle du réseau de neurones correspondant à un mode de réalisation complètement séquentiel ; - La figure 1 6 est un organigramme illustrant l'étape d'interconnexion dynamique, selon un mode de réalisation semi-séquentiel ;
- La figure 17 représente un exemple de réalisation matérielle du réseau de neurones selon un mode semi-séquentiel en X ;
- La figure 18 est un organigramme représentant l'étape d'accumulation, selon un mode de réalisation côté noyau ;
- La figure 19 représente un exemple de réalisation matérielle de l'accumulateur dans le mode de réalisation côté noyau en mode écriture- ajout ; - La figure 20 représente l'exemple de réalisation matérielle de la partie accumulation de la figure 19 en mode rétro-écriture ;
- La figure 21 est un organigramme représentant l'étape d'accumulation, selon un mode de réalisation de l'accumulation côté sortie ; et - La figure 22 représente un exemple de réalisation matérielle de l'accumulateur dans le mode de réalisation de l'accumulation côté sortie.
Description détaillée
La Figure 2 représente un exemple de réseau convolutionnel incluant des couches de regroupement (« pooling »), pour la classification d'images. Les images en bas de la figure 2 représentent un extrait des noyaux de convolution de la première couche, après un apprentissage de type rétro-propagation du gradient, sur une base d'images telle que ImageNet.
Un réseau de neurones artificiel (encore appelé réseau de neurones « formel » ou désigné simplement par l'expression « réseau de neurones » ci-après) est constitué d'une ou plusieurs couches de neurones, interconnectées entre elles. Chaque couche est constituée d'un ensemble de neurones, qui sont connectés à une ou plusieurs couches précédentes. Chaque neurone d'une couche peut être connecté à un ou plusieurs neurones d'une ou plusieurs couches précédentes. La dernière couche du réseau est appelée « couche de sortie ». Les neurones sont connectés entre eux par des synapses, ou poids synaptiques, qui pondèrent l'efficacité de la connexion entre les neurones, constituent les paramètres réglables d'un réseau et qui stockent l'information comprise dans le réseau. Les poids synaptiques peuvent être positifs ou négatifs.
Les réseaux de neurones dit « convolutionnels » (ou encore « convolutional », « deep convolutional », « convnets ») sont en outre composés de couches de types particuliers telles que les couches de convolution, les couches de regroupement (« pooling » en langue anglo-saxonne) et les couches complètement connectés (« fully connected »). Par définition, un réseau de neurones convolutionnel comprend au moins une couche de convolution ou de « pooling ». Comme illustré sur la figure 3, une couche de convolution ou de « pooling » peut être constituée d'une ou plusieurs matrices de sortie 14 (encore appelées « cartes de sortie » ou « output feature map » en langue anglo-saxonne), chaque carte de sortie pouvant être connectée à une ou plusieurs matrices d'entrée 1 1 (encore appelées « cartes d'entrée »).
Comme illustré sur la figure 4, une matrice de sortie notée 0 comprend des coefficients 0 j, et a une taille notée (Oh, Ow). Cette matrice correspond à une matrice de neurones et les coefficients 0 j correspondent aux valeurs de sortie de ces neurones, calculée à partir des entrées et des poids synaptiques. L'état d'un neurone correspond à sa valeur de sortie. Un changement d'état d'un neurone correspond ainsi à un changement de sa valeur de sortie. Il doit être noté que dans un mode de réalisation impulsionnel, un changement d'état d'un neurone (neurone d'entrée ou de sortie) correspond à son déclenchement ou activation par émission d'une impulsion de sortie qui survient lorsque son intégration (ou accumulation) dépasse un seuil.
Une matrice ou carte d'entrée 1 1 peut correspondre à une carte de sortie d'une couche précédente, ou à une matrice d'entrée du réseau qui reçoit les stimuli ou une partie des stimuli à traiter. Un réseau peut être constitué d'une ou plusieurs matrices d'entrée. Il peut s'agir par exemple des composantes RGB, HSV, YUV ou de toute autre composante classique d'une image, avec une matrice par composante. Une matrice d'entrée notée / comprend des coefficients /£j, et a une taille notée (lh, lw .
Une carte de sortie O est connectée à une matrice d'entrée / par une opération de convolution, via un noyau de convolution 12 noté K (le noyau de convolution est encore appelé filtre, ou matrice de convolution), de taille (n, m) et comprenant des coefficients Ku. Chaque neurone de la carte de sortie 14 est connecté à une partie de la matrice d'entrée 1 1 , cette partie étant encore appelée « sous-matrice d'entrée » ou « champ récepteur du neurone » et étant de même taille que la matrice de convolution K. La matrice de convolution K comprenant les poids synaptiques est commune pour l'ensemble des neurones de la carte de sortie 0 (les poids de la matrice K sont alors dits « poids partagés). Chaque coefficient de sortie de la matrice de sortie 0 j satisfait alors la formule suivante :
(min (n-l,Ih-i.s ) min (m-l,/w-;'.s;)
k=0 1=0
Dans la formule ci-dessus, g ) désigne la fonction d'activation du neurone, tandis que si et sj désignent les paramètres de décalage (« stride » en langue anglo- saxone) vertical et horizontal respectivement. Un tel décalage « stride » correspond au décalage entre chaque application du noyau de convolution sur la matrice d'entrée. Par exemple, si le décalage est supérieur ou égal à la taille du noyau, alors il n'y a pas de chevauchement entre chaque application du noyau.
Une carte de sortie 0 est connectée à une matrice d'entrée / par une opération de « pooling » qui réalise un sous-échantillonnage de la matrice d'entrée, ce qui fournit une matrice sous-échantillonnée. Le sous-échantillonnage peut être de deux types :
- Un type de sous-échantillonnage dit « MAX pooling » (regroupement maximal) selon l'équation ci-dessous: - Un type d'échantillonnage dit « AVERAGE pooling » (regroupement moyen) selon l'équation ci-dessous :
( min (n-l,Ih-i.s ) min ( w- j s _,-)
Les poids synaptiques associés aux connexions dans le cas d'une couche de « pooling » sont généralement unitaires et n'apparaissent donc pas dans les formules ci-dessus. Une couche complètement connectée comprend un ensemble de neurones, chaque neurone étant connecté à toutes les entrées de la couche. Chaque neurone Oj dispose de ses propres poids synaptiques Wi j avec les entrées /£ correspondantes et effectue la somme pondérée des coefficients d'entrée avec les poids qui est ensuite passée à la fonction d'activation du neurone pour obtenir la sortie du neurone. La fonction d'activation des neurones g() est généralement une fonction sigmoïde, comme par exemple la fonction tanhÇ). Pour les couches de « pooling », la fonction d'activation peut être par exemple la fonction Identité.
Les poids synaptiques sont déterminés par apprentissage. L'apprentissage d'un réseau de neurones consiste à trouver les valeurs optimales des poids synaptiques à partir d'une méthode d'optimisation et d'une base d'apprentissage. Il existe une multitude de méthodes d'apprentissage tels que la méthode de rétro- propagation du gradient, le principe de base consistant, à partir d'un stimulus en entrée du réseau, à calculer la sortie du réseau, la comparer à la sortie attendue (dans le cas d'un apprentissage dit supervisé) et rétro-propager un signal d'erreur dans le réseau, qui vient modifier les poids synaptiques par une méthode de descente du gradient.
Les réseaux de neurones peuvent être transposés en codage impulsionnel comme illustré sur la figure 5. Dans ce cas, les signaux propagés en entrée et en sortie des couches du réseau ne sont plus des valeurs numériques, mais des impulsions électriques (assimilables à des impulsions Dirac). L'information qui était codée dans la valeur des signaux (normalisé entre -1 et 1 ) est alors codée temporellement avec l'ordre d'arrivée des impulsions (codage par rang, ou « rank order coding ») ou avec la fréquence des impulsions.
Dans le cas d'un codage par rang, l'instant d'arrivée de l'impulsion est inversement proportionnel à la valeur absolue du signal à coder. Le signe de l'impulsion détermine alors le signe de la valeur du signal à coder. Dans le cas d'un codage fréquentielle, la fréquence des impulsions, comprise entre fmin et fmax , est proportionnelle à la valeur absolue du signal à coder. Le signe de l'impulsion détermine le signe de la valeur du signal à coder. Par exemple, en considérant une matrice d'entrée du réseau correspondant à la composante de luminance d'une image, normalisée entre 0 et 1 , un pixel (ou coefficient de la matrice) blanc, codé par une valeur 1 , émettra des impulsions à une fréquence fmax , un pixel noir, codé par une valeur 0, émettra des impulsions à une fréquence fmin , tandis qu'un pixel gris, codé par une valeur x, émettra des impulsions à une fréquence / = fmin + x{fmax - fmin) - Le codage peut également être pseudo-fréquentiel, par exemple poissonien : dans ce cas fmax et fmin représentent des fréquences moyennes uniquement. La phase initiale des impulsions peut être aléatoire.
Les impulsions peuvent également provenir directement d'un capteur, tel qu'une rétine ou une cochlée artificielle, imitant le fonctionnement de leur équivalent biologique.
Dans le cas d'un neurone impulsionnel, la somme pondérée des poids synaptiques avec les signaux d'entrée est remplacée par l'intégration des impulsions provenant des mêmes entrées pondérées par les poids synaptiques. Toutes les impulsions sont identiques, excepté leur signe, si bien que leur intégrale peut être considérée comme unitaire ou normalisé.
Par ailleurs, dans l'approche impulsionnelle, la fonction d'activation du neurone est remplacée par un seuillage qui est unitaire dans le cas de poids synaptiques normalisés entre -1 et 1 . Lorsque la valeur absolue de l'intégration du neurone dépasse le seuil défini par le seuillage, le neurone émet une impulsion en sortie, qui est propagée vers l'ensemble des neurones des couches suivantes connectés à ce neurone. Le signe de cette impulsion correspond au signe de l'intégration du neurone. Lorsque le neurone émet une impulsion, son intégration est remise à 0 et le neurone entre dans une période dite « réfractaire ».
Lorsqu'un neurone est en période « réfractaire », il ne peut pas émettre de nouvelle impulsion en sortie, jusqu'à la fin de la période réfractaire, qui peut être égale à la période minimale des impulsions se propageant dans le réseau. Les synapses artificielles d'un réseau de neurones peuvent être réalisées à partir de dispositifs memristifs. Un dispositif memristif est un composant électronique à deux terminaux qui se comporte comme une résistance ou une conductance, dont la valeur peut être changée avec l'application d'un courant ou d'une tension à ses bornes. Un dispositif de ce type peut être caractérisé par les équations suivantes : i = G.v
^ = /(v,G)
dt
Dans les équations ci-dessus, G désigne la conductance du dispositif qui relie son courant d'entrée /' à la tension à ses bornes v.
Un dispositif memristif peut être binaire et/ou stochastique. Une famille de dispositifs memristifs particulièrement adaptée à la réalisation de synapses artificielles dans un réseau de neurones est telle que la caractéristique f(v,G) est non linéaire, comme par exemple les dispositifs de type MIM (Metal-lnsulator- Métal) qui constituent la cellule de base de plusieurs technologies de mémoires non volatiles telles que RRAM « Résistive Random Access Memory », CBRAM « Conductive-Bridging RAM » et OxRAM « Oxide-based Résistive Random Access Memory ». Ainsi, une synapse peut être composée d'un ou plusieurs dispositifs memristifs. De nombreuses autres technologies peuvent en outre être considérées comme memristives, comme la mémoire à changement de phase (PCRAM ou PCM « Phase Change Memory »), les transistors à grille flottante, les memristors, les memristors organiques, le transistor NOMFET « Nano-particle Organic Memory Field Effect Transistor ». En outre, un dispositif memristif peut être émulé par une cellule mémoire numérique classique, de type RAM « Random Access Memory », ROM « Read- Only Memory », PROM « Programmable ROM » ou registre par exemple. Une synapse peut ainsi être implémentée par une telle mémoire de N bits, émulant ainsi un dispositif memristif de 2N niveaux analogiques. Un réseau de neurones artificiel peut être réalisé en utilisant de tels dispositifs memristifs en tant que synapses artificiels et en les intégrant dans une structure de type « crossbar ».
La Figure 6 représente un dispositif matériel 1 00 implémentant une carte de sortie d'une couche de convolution d'un réseau de neurones convolutionnel impulsionnel, selon certains modes de réalisation.
Selon un aspect de l'invention, le dispositif 1 00 est constitué de synapses 1 0, chaque synapse étant implémentée à partir d'un ou plusieurs dispositifs memristifs, pour effectuer les opérations de convolution d'un réseau de neurones convolutionnel 1 1 sans qu'il soit nécessaire d'utiliser d'unités de calcul pour de telles opérations et des opérations de copie du noyau de convolution. Dans la suite de la description, il sera fait référence principalement à un unique « dispositif memristif » comme élément constitutif d'une synapse à titre d'illustration. Toutefois, l'invention s'applique également à une synapse constituée de plusieurs dispositifs memristif en parallèle dont la conductance équivalente correspond à la somme des conductances des dispositifs memristifs individuels.
La matrice (« crossbar » en langue anglo saxonne) dans laquelle sont intégrés les dispositifs memristifs 1 0 est désignée par la référence 5. Sur la figure 6, les coefficients du noyau 1 2 sont numérotés de 1 à 9 et étalés verticalement. Bien que non limitée à de telles applications, le dispositif 1 00 peut être utilisé pour réaliser une implémentation matérielle de réseaux de neurones convolutionnels pour la classification et la reconnaissance d'images. La suite de la description sera faite essentiellement en référence à des cartes d'entrée comprenant des neurones de type pixels, à titre d'illustration. Les opérations de convolutions mises en œuvre par le dispositif 1 00 permettent de déterminer chaque coefficient 0j de la matrice de sortie 14 pour une couche de convolution donnée à partir de la matrice d'entrée 1 1 (encore notée I) de la couche de convolution et du noyau de convolution 1 2 (encore notée K). L'opération de convolution à partir de laquelle est définie chaque coefficient de sortie 0j est donnée par l'équation 1 ci-dessous: (min (n-l,Ih-i.Si) min (m-l,Iw-j.sj) \
.si +k,j.Sj+i- Kk>i (1)
k=0 1=0 )
Dans cette équation, les coefficients j représentent les coefficients de la matrice d'entrée I de la couche de convolution considérée, et les coefficients Kkj représentent les coefficients du noyau de convolution 12 (poids des connexions inter-neuronales). Plus particulièrement, le dispositif de réseau de neurones 1 00 utilise une pluralité de dispositifs memristifs 1 0 pour stocker le ou les noyaux de convolution 12 associé(s) à une matrice de sortie de la couche de convolution. Chaque dispositif memristif 1 0 a une valeur de résistance commutable électriquement et peut être de tout type (comme par exemple un transistor). Dans une forme de réalisation, le dispositif 1 00 peut utiliser un ou plusieurs dispositifs memristifs, constituant une synapse 1 0 pour chaque coefficient du noyau de convolution Kk l.
Les impulsions transitant entre les couches du réseau de neurones peuvent être codées au format AER (« Address-Event Représentation »). Dans ce format, l'impulsion est numérique et constituée d'un train de bits codant l'adresse (X, Y) de destination de l'impulsion suivant deux axes perpendiculaires X et Y, le repère (X, Y) correspondant au repère de la matrice d'entrée, ainsi que le signe de l'impulsion. Lorsque l'impulsion arrive sur la matrice d'entrée, l'adresse (X, Y) codée représente l'emplacement du neurone d'entrée à activer. Ainsi, lorsqu'une impulsion arrive sur la matrice d'entrée, son adresse (X, Y) donne l'emplacement à activer 1^ avec :
X→ j et Y→ i.
Selon une autre caractéristique, le dispositif 1 00 peut appliquer en complément une opération de codage temporel d'information pour réaliser chaque convolution entre la matrice d'entrée 1 d'une couche de convolution donnée et le noyau de convolution 1 2, l'opération de pondération des coefficients d'entrées l,j de la matrice d'entrée 1 d'une couche de convolution donnée avec les coefficients Kkj du noyau de convolution étant alors multiplexée temporellement. Selon un aspect de l'invention, l'opération de pondération est réalisée directement dans les dispositifs memristifs 10 stockant les coefficients correspondant aux poids du noyau de convolution, par la loi d'Ohm :
I = G(conductance)*U, où G désigne la conductance d'un ou plusieurs dispositifs memristifs formant une synapse, et U désigne la tension d'une impulsion qui est fixe, la valeur du coefficient d'entrée ly étant codée temporellement (par exemple par codage fréquentiel ou codage par rang). Le paramètre I est la valeur à accumuler dans le neurone de sortie correspondant.
Un neurone d'entrée 1 appartient au champ récepteur d'un ou plusieurs neurones de sortie 140.
Sur la figure 6, un neurone de la matrice d'entrée est activé (pixel dans l'exemple considéré) et est entouré par un cadre noir. Dans la représentation de l'état d'activation de la matrice 1 1 , le pixel 28 de la matrice d'entrée est activé.
En supposant que le noyau de convolution a une taille de 3x3 et que le décalage « stride » est de 1 , le pixel d'entrée considéré appartient au champ récepteur de 9 neurones de sortie (partie supérieure de la figure 6) :
- le pixel activée est connecté au champ récepteur du neurone de sortie N°8, avec le coefficient N°9 du noyau de convolution (partie inférieure de la figure 6) ;
- le pixel activée est connecté au champ récepteur du neurone de sortie N°9, avec le coefficient N°8 du noyau de convolution ;
- le pixel activée est connecté au champ récepteur du neurone de sortie N°10, avec le coefficient N°7 du noyau de convolution ;
- etc.
Selon un autre aspect de l'invention, les coefficients j de la matrice d'entrée I peuvent être implémentés matériellement par une fréquence prédéfinie des impulsions tandis que les coefficients KkJ sont stockés sous la forme d'une conductance électrique d'un dispositif memristif 10. Ainsi, chaque dispositif memristif 10 est configuré pour recevoir une impulsion pré-synaptique émise par un neurone de la matrice d'entrée 1 auquel il est connecté en amont. Telle qu'utilisée ici, l'expression « impulsion pre-synaptique » désigne une impulsion émise par un neurone en direction d'une synapse à laquelle il est connecté en aval. Une impulsion pre-synaptique ainsi émise depuis un neurone d'entrée 1 1 se propage vers la synapse, matérialisée par le dispositif memristif 10, à laquelle le neurone d'entrée est connecté. Une impulsion d'entrée se propage du neurone d'entrée aux neurones de sortie qui ont le neurone d'entrée dans leur champ récepteur, selon l'exemple de la figure 6. L'impulsion arrivant sur chaque neurone de sortie est pondérée par le poids synaptique correspondant au coefficient du noyau de convolution associée pour cette entrée. Cette pondération peut se faire électriquement par modulation de la tension de l'impulsion avec la conductance équivalente de la synapse, constituée d'un ou plusieurs dispositifs memristifs, grâce à la loi d'Ohm. Une impulsion modulée de cette manière arrivant sur un neurone de sortie est alors intégrée dans le neurone (analogiquement ou numériquement), qui émet une impulsion en sortie si cette intégration dépasse une valeur de seuil.
Selon une caractéristique de l'invention, le dispositif 100 comprend une matrice d'interconnexion 13 configurée pour associer dynamiquement (opération dite de «mapping » dynamique en langue anglo-saxonne) chaque sortie 121 du noyau de convolution correspondant à un coefficient du noyau de convolution, avec une position 140 de la matrice d'accumulation 14, lors de l'activation d'un neurone d'entrée. L'opération de « mapping » dynamique met en correspondance les coefficients du noyau, avec l'ensemble des neurones de sortie faisant intervenir l'entrée activée pour le calcul de la convolution, comme décrit par les équations précédentes. Par exemple, comme représenté sur la figure 6, lorsque le neurone d'entrée 1 est déclenché, la ligne horizontale coupant la ligne verticale reliée à l'élément 9 dans la matrice 12 représentant le noyau de convolution 12 est connectée dynamiquement, au niveau de son extrémité 121 , à la position 8 de l'accumulateur 14.
Ainsi, pour une entrée /£<y- de la matrice d'entrée activée (activée par exemple avec une impulsion AER provenant d'une couche précédente ou d'un capteur type rétine ou cochlée artificielle avec pour adresse (X,Y)), les coefficients Kk l du noyau de convolution sont connectés aux sorties Oi-k j-ι de la manière suivante :
Pour
k = i mod S , k < min(n, i + 1); k = k + s£
l = j mod Sj) l < min(rn,j + 1); l = l + Sj
L'opération d'interconnexion dynamique ( « mapping » dynamique) permet ainsi d'inverser l'équation de convolution :
L'opération de convolution se fait par accumulation des coefficients du noyau de convolution connectés dynamiquement aux accumulateurs respectifs 140 à chaque arrivée d'une impulsion sur les sorties 121 . L'impulsion est propagée sur la ligne verticale 50. Le « mapping » dynamique entre le noyau de convolution 12 et les sorties 140 est rendu possible grâce au codage impulsionnel des entrées, appliqué aux dispositifs memristifs.
Lorsque la propagation des impulsions est déclenchée en fonction de la fréquence d'impulsion prédéfinie, les impulsions sont propagées vers les accumulateurs 140 respectifs auxquels ils sont connectés par la matrice d'interconnexion à travers des dispositifs memristifs.
La figure 7 est un organigramme représentant le procédé de convolution, selon certains modes de réalisation.
A l'étape 100, un neurone de la matrice d'entrée I, appartenant à une couche de convolution donnée, est déclenché par un événement. Un neurone d'entrée appartient au champ récepteur de un ou plusieurs neurones de sortie (i.e. le neurone d'entrée est connecté à ces neurones de sorties). Le neurone d'entrée peut être de tout type comme un pixel dans le cas d'une image en entrée codée en impulsionnel. L'événement déclencheur peut être par exemple issu de la couche de convolution précédente ou d'un senseur événementiel, tel qu'une rétine, une cochlée, ou encore d'un codage fréquentiel de données statiques, tels que des images ou un spectre temps-fréquence.
En réponse au déclenchement du neurone d'entrée, à l'étape 102, une correspondance dynamique est mise en œuvre pour faire correspondre les coefficients du noyau de convolution avec les sorties pour lesquelles le pixel d'entrée a une contribution. A l'étape 101 , en réponse au déclenchement du neurone d'entrée, les dispositifs memristifs 10 stockant les coefficients du noyau de convolution sont dynamiquement connectés aux neurones de sorties correspondants. L'étape 101 de mise en correspondance dynamique (« mapping » dynamique) entre les dispositifs memristifs 10 et les neurones de sorties peut être mise en œuvre selon différents types de méthodes de routage dynamique telles que :
- Un routage parallèle ;
- Un routage semi-séquentiel en y ;
- Un routage séquentiel ; ou
- Un routage Semi-séquentiel en x. L'étape 101 est réitérée pour chaque nouveau neurone d'entrée déclenché si ce neurone d'entrée est différent du neurone déclenché précédemment.
Les méthodes de routage dynamique peuvent être analogiques ou numérique.
Chaque type de méthode de routage offre un compromis différent en nombre de cycles et en nombre de commutateurs. Le routage parallèle par exemple, permet de propager l'impulsion d'entrée sur l'ensemble des neurones de sortie pour lesquels elle a une contribution en une fois, de manière simultanée, mais requière un nombre de commutateurs plus élevé pour le routage dynamique.
Une étape d'accumulation 103 peut ensuite être mise en œuvre à partir de la propagation des impulsions. Dans un mode de réalisation, l'étape d'accumulation 103 est mise en œuvre du côté du noyau de convolution, en deux sous-étapes (lecture-ajout puis rétro-écriture). En variante, elle peut être mise en œuvre du côté des sorties 121 en une unique étape d'ajout-écriture.
Dans le mode de réalisation où l'accumulation est mise en œuvre du côté du noyau de convolution en deux sous-étapes, pour chaque neurone de sortie 141 connecté à un dispositif memristif 10, la valeur de l'accumulation est propagée dans un premier temps depuis chaque neurone de sortie vers un accumulateur intermédiaire (accumulateur 22 sur les figures 8 et 9) présent dans les nœuds de sortie 121 de la matrice 12 contenant les coefficients du noyau de convolution stockés par les dispositifs memristifs 10. Selon le type de routage, les impulsions peuvent être propagées simultanément ou non. Par exemple, dans le cas d'un routage parallèle, elles peuvent être propagées simultanément. Dans le même temps, l'impulsion d'entrée est propagée à chaque synapse et est pondérée par la valeur de la synapse. Pour chaque synapse, l'impulsion, une fois pondérée, est ajoutée dans l'accumulateur intermédiaire présent dans les nœuds de sortie 121 avec la valeur de l'accumulation précédemment stockée dans l'accumulateur 140 du neurone de sortie 141 correspondant (étape de lecture-ajout ou « read-add » en langue anglo-saxonne). Cette étape de lecture-ajout peut être effectuée en parallèle, en fonction du type de routage choisi pour l'interconnexion dynamique (« mapping » dynamique). Dans un deuxième temps, lorsque l'accumulation a été effectuée pour l'ensemble des neurones de sortie 141 identifiés dans le champ récepteur du neurone d'entrée 1 10 qui s'est activé à l'étape 100, les valeurs accumulées dans les accumulateurs intermédiaires peuvent être propagées vers les neurones de sortie correspondants 141 et stockées dans les accumulateurs 140 correspondants, à l'étape 103 (étape de rétro-écriture ou « write back » en langue anglo-saxonne). L'étape 103 peut être réalisée en parallèle, en fonction du type de routage choisi pour le « mapping » dynamique.
Dans le mode de réalisation où l'accumulation est mise en œuvre du côté des neurones de sortie 141 en une unique étape d'ajout-écriture (« add-write »), l'accumulation peut être effectuée directement dans les neurones de sortie 141 et être réalisée en parallèle, en fonction du type de routage choisi pour l'interconnexion dynamique. Dans un autre mode de réalisation où l'opération de « mapping » dynamique n'est pas mise en œuvre en parallèle, l'étape de lecture-ajout (read-add) peut être réalisée pour un premier groupe de synapse, puis l'étape de rétro-écriture (write- back) peut être exécutée pour ce même premier groupe, avant de passer au groupe suivant et de changer le « mapping » dynamique. Un tel mode de réalisation dispense d'avoir à réaliser à chaque fois deux fois la même correspondance (« mapping »), une première fois pour la lecture-ajout et une deuxième fois pour la lecture-écriture. En outre, il permet de diminuer le nombre d'accumulateurs intermédiaires, puisque d'un groupe de synapse à l'autre, les mêmes accumulateurs peuvent être réutilisés.
Le réseau de neurones peut être réalisé en intégrant les dispositifs memristifs 10 dans une structure de type " crossbar ", avec ou sans dispositif de sélection (transistor, diode ou autre dispositif avec une non linéarité).
La figure 8 est une représentation schématique d'un autre exemple d'implémentation matérielle des opérations de convolution dans un réseau de neurones avec un regroupement des sorties par sous-échantillonnage.
L'opération de regroupement des sorties par sous-échantillonnage consiste à rassembler les sorties voisines pour former une nouvelle matrice 14 de sortie plus petite. Dans le mode de réalisation de la figure 8, le regroupement de sorties est effectué directement au niveau de l'accumulation, en mutualisant les accumulateurs 140 correspondant à la même sortie en des groupes 142, dans la matrice 14 mise à l'échelle.
Le nombre d'accumulateurs et la taille de la matrice d'interconnexion sont ainsi diminués.
Selon une caractéristique de l'invention, la taille maximale de la matrice des dispositifs memristifs 10 peut être avantageusement égale à la taille du noyau de convolution 12, comme par exemple de taille 35x35, 1 1 x1 1 ou 5x5. La taille peut être notamment limitée par les courants de fuite. Dans les modes de réalisation utilisant une matrice d'interconnexion 13, la matrice d'interconnexion 13 (analogique) peut être de taille faible et peut être réalisée en CMOS. En variante, elle peut être réalisée matériellement avec des dispositifs memristifs.
Le dispositif de réseau de neurones 100 peut en complément fonctionner avec une méthode apprentissage, comme par exemple une méthode d'apprentissage à base de règle STDP (« Spike Timing Dépendent Plasticity ») in-situ, ou en ligne.
La matrice d'interconnexion réalise le décodage d'adresse permettant de mettre en correspondance les poids synaptiques avec les neurones de sortie pour une entrée activée donnée. Dans l'exemple de la figure 9, chaque synapse est constituée de 3 dispositifs (chaque ligne implémentant un coefficient du noyau de convolution). Dans ce cas, une impulsion peut être propagée simultanément sur l'ensemble des colonnes pour obtenir en bout de chaque ligne une impulsion de courant pondérée par la conductance équivalente de la synapse correspondant à la somme des conductances des dispositifs constitutifs de la synapse. Les impulsions sont propagées sur les lignes verticales 5 de la matrice « crossbar » 5.
Dans un tel mode de réalisation (synapse est constituée de plusieurs dispositifs memristifs), l'étape d'accumulation 103 de la figure 7 peut être mise en œuvre séquentiellement, en activant un dispositif memristif après l'autre, avec un additionneur (1+x) par ligne, ou synapse, la valeur « 1 » étant ajoutée à la valeur « x >> accumulée par le neurone de sortie 140 correspondant. Cela équivaut à avoir plusieurs colonnes de dispositifs, comme sur la figure 9.
En variante, l'étape d'accumulation peut être mise en œuvre en une seule étape, en utilisant plusieurs seuils (autant que de dispositifs par synapse) et un additionneur par ligne. Les seuils peuvent être des multiples croissants du seuil de base, de manière à réaliser une numérisation du poids synaptique équivalent stocké dans l'ensemble des dispositifs constituant une ligne. Ce mode de réalisation est particulièrement adapté dans le cas de dispositifs binaires, ne pouvant stocker qu'un état « ON » (actif) ou « OFF » (inactif). Le seuil de base est réglé pour se déclencher dans le cas où au moins l'un des dispositifs est à l'état « ON ». Par exemple, si la synapse équivalente est constituée de 4 dispositifs, dont 2 sont à l'état « ON », les deux premiers seuils se déclencheront sur les 4, codant ainsi la valeur de la synapse de 2/4. Un tel mode de réalisation peut être mis en œuvre en utilisant des accumulateurs 140 numériques ou, en variante, des accumulateurs analogiques, avec utilisation d'un convertisseur analogique- numérique (ADC) par ligne.
La figure 1 1 est une représentation schématique d'un autre exemple d'implémentation matérielle des opérations de convolution dans un réseau de neurones avec apprentissage STDP (« Spike-Timing-Dependent Plasticity » signifiant « plasticité fonction du temps d'occurrence des impulsions »).
L'apprentissage STDP peut se faire en une étape avec interaction d'impulsions pré- et post-synaptiques.
Dans le cadre d'une règle d'apprentissage de type STDP mise en œuvre par le réseau de neurones, des impulsions pre-synaptique et post-synaptique peuvent par exemple être envoyées par les neurones d'entrée et de sortie en direction d'une synapse (constituée par un ou plusieurs dispositifs memristifs) pour agir sur la variation de sa conductance, par exemple comme décrit dans FR2977351 B1 .
Dans le mode de réalisation de la figure 1 1 , un circuit d'écriture 15 est utilisé. Suite à l'activation d'un neurone de sortie, les coefficients du noyau de convolution associé sont mis en correspondance avec les entrées constituant le champ récepteur du neurone de sortie (mapping dynamique). Les coefficients du noyau sont alors modifiés de la manière suivante :
- Si le temps de dernière activation de l'entrée tpre (temps pré-synaptique) précède immédiatement le temps d'activation du neurone tpost (temps post- synaptique) et est dans la fenêtre temporelle de potentialisation du neurone (fenêtre LTP), alors le poids de la synapse (coefficient du noyau) est augmenté (LTP) ;
- Si le temps de dernière activation de l'entrée n'est pas dans la fenêtre LTP, alors le poids de la synapse est diminué (LTD). Sur la figure 1 1 , représente le temps du dernier événement sur un nœud, c'est- à-dire le temps pré-synaptique (stockage en mémoire). Le terme LTP (acronyme pour " Long Term Potentiation ") désigne les phases ou états correspondant à une augmentation de la conductance d'une synapse. La règle d'apprentissage STDP " Spike Timing Dépendent Plasticity" consiste à faire évoluer le poids d'une synapse en fonction de la distance temporelle entre les impulsions pré et post-synaptiques. L'état LTP correspond à l'état de potentialisation de la synapse et la phase LTP a une durée donnée correspondant à la durée pendant laquelle la conductance de la synapse augmente. Dans le cas d'une règle d'apprentissage STDP classique, la variation de la conductance de la synapse peut dépendre des instants d'arrivée relatifs des deux impulsions.
En variante, l'apprentissage peut également être stochastique.
L'opération de « mapping » dynamique permet d'implémenter efficacement cette règle d'apprentissage dans le cas d'un réseau convolutionel impulsionnel. Les figures 12 à 17 représentent des modes de réalisation de l'étape d'interconnexion dynamique des dispositifs memristifs 10 et des neurones de sorties se trouvant dans le champ récepteur d'un neurone activé (étape 102 de la figure 7).
La figure 12 est un organigramme illustrant l'étape d'interconnexion dynamique, selon un mode de réalisation parallèle (en un cycle).
A l'étape 1 10, un neurone d'entrée est déclenché (par exemple un pixel).
Les étapes 1 12 et 1 14 correspondent à l'interconnexion dynamique entre les sorties 121 de la matrice 12 et les nœuds 141 correspondant aux neurones de sorties qui sont dans le champ récepteur du neurone déclenché. A l'étape 1 12, un décodage de l'adresse en X du neurone d'entrée est effectué. Les lignes correspondantes de la matrice 12 sont ensuite activées (chaque ligne correspond à une synapse ou un coefficient du noyau différent).
A l'étape 1 14, un décodage de l'adresse en Y du neurone d'entrée est effectué. Les lignes correspondantes de la matrice 12 sont ensuite activées.
A l'étape 1 1 6, une accumulation des valeurs est réalisée dans la matrice de sortie 14 par propagation des impulsions comme décrit précédemment.
La figure 13 représente un exemple de réalisation matérielle du réseau de neurones correspondant à un mode de réalisation parallèle (1 seul cycle) conformément au mode de réalisation de la figure 12.
Les accumulateurs 140 (partie de droite) sont connectés aux coefficients du noyau correspondant après décodage en X et en Y.
Le nombre de commutateurs NTG utilisé dans la réalisation matérielle du réseau de neurones est alors donné par l'équation suivante:
NTG = m. n. Oh + m. Ow. Oh
Ce mode de réalisation permet d'effectuer un calcul de convolution en un seul cycle, mais nécessite aussi un plus grand nombre de commutateurs. Ce mode est particulièrement adapté lorsque la rapidité de traitement du système est importante. La figure 12 est un organigramme illustrant l'étape d'interconnexion dynamique, selon un mode de réalisation semi-séquentiel (en n cycles).
A l'étape 130, un neurone d'entrée est déclenché (par exemple un pixel).
L'interconnexion dynamique entre les sorties 121 de la matrice 12 et les nœuds 141 correspondant aux neurones de sorties qui sont dans le champ récepteur du neurone déclenché comprend les étapes 132 à 135.
Plus précisément, à l'étape 132, un décodage de l'adresse en X du neurone d'entrée est effectué. Les colonnes correspondantes de la matrice 12 sont ensuite activées.
A l'étape 134, un décodage de l'adresse en Y du neurone d'entrée est effectué. Le nombre de lignes à activer séquentiellement est défini par le paramètre n, qui correspond au nombre de lignes dans la matrice de convolution K (12). A l'étape 135, une ligne est activée (ligne courante). Si une ligne a été précédemment activée, cette ligne précédente est désactivée au préalable.
A l'étape 136, une accumulation des valeurs est réalisée dans la matrice de sortie 14 par propagation d'impulsion sur la ligne activée courante. La ligne suivante est alors activée à l'étape 138 si le nombre de lignes déjà activée est inférieur à n (i.e. le nombre d'itération des étapes 135/136 est inférieur à n).
La figure 13 représente un exemple de réalisation matérielle du réseau de neurones correspondant à un mode de réalisation semi-séquentiel en Y, conformément au mode de réalisation de la figure 12.
Les accumulateurs 140 (partie de droite) sont connectés aux coefficients du noyau correspondant après décodage en X et en Y.
La matrice 12 (partie de gauche) est réalisée matériellement par un ensemble de dispositifs memristifs 10. L'accumulation dans les accumulateurs 140 est réalisée pour chaque ligne activée séquentiellement par un séquenceur.
Le nombre de commutateurs NTG utilisé dans la réalisation matérielle du réseau de neurones est alors donné par l'équation suivante:
NTG = m. n + m. Ow. Oh
Ce mode de réalisation offre un compromis entre le mode entièrement parallèle et le mode entièrement séquentiel. La figure 14 est un organigramme illustrant l'étape d'interconnexion dynamique, selon un mode de réalisation complètement séquentiel (en m.n cycles).
A l'étape 150, un neurone d'entrée est déclenché (par exemple un pixel).
L'interconnexion dynamique entre les sorties 121 de la matrice 12 et les nœuds 141 correspondant aux neurones de sorties qui sont dans le champ récepteur du neurone déclenché comprend les étapes 152 à 156. Plus précisément, à l'étape 152, un décodage de l'adresse en Y du neurone d'entrée est effectué. Le nombre de lignes à activer séquentiellement est défini par le paramètre n.
A l'étape 153, une ligne est activée (ligne courante). Si une ligne a été précédemment activée, cette ligne précédente est désactivée au préalable.
A l'étape 154, un décodage de l'adresse en X du neurone d'entrée est effectué. Le nombre de colonnes à activer séquentiellement est défini par le paramètre m, qui correspond au nombre de colonnes dans la matrice de convolution K (12).
A l'étape 155, une colonne est activée (colonne courante). Si une colonne a été précédemment activée, cette colonne précédente est désactivée au préalable.
A l'étape 156, une accumulation des valeurs est réalisée dans la matrice de sortie 14 par propagation d'impulsions sur les lignes et colonnes courantes activées.
La colonne suivante est alors activée à l'étape 157 si le nombre de lignes déjà activée est inférieur à m (i.e. nombre d'itération des étapes 153/156 est inférieur à n).
La ligne suivante est ensuite activée à l'étape 158 si le nombre de lignes déjà activée est inférieur à n (i.e. le nombre d'itération des étapes 153/156 est inférieur à n).
Il est à noter que l'ordre des étapes symétriques relatives aux traitements des lignes et des colonnes (152-153 et 154-155 ; 157 et 158) peut être inversé.
La figure 15 représente un exemple de réalisation matérielle du réseau de neurones correspondant à un mode de réalisation complètement séquentiel, conformément au mode de réalisation de la figure 14.
Chaque accumulateur 140 (partie de droite) est connecté séquentiellement au coefficient du noyau correspondant après décodage en X et en Y.
La matrice 12 (partie de gauche) est réalisée matériellement par un ensemble de dispositifs memristifs 10. L'accumulation dans les accumulateurs 140 est réalisée pour chaque ligne et colonne activée séquentiellement par un séquenceur. Le nombre de commutateurs NTG utilisé dans la réalisation matérielle du réseau de neurones est alors donné par l'équation suivante:
NTG = m. n + Ow. Oh
Ce mode de réalisation minimise le nombre de commutateurs et donc la complexité de la matrice d'interconnexion, mais ne permet d'effectuer qu'une opération par cycle et par conséquent présente un intérêt a priori limité par rapport à une implémentation classique numérique d'un tel réseau où les accès mémoire sont séquentiels.
La figure 1 6 est un organigramme illustrant l'étape d'interconnexion dynamique, selon un mode de réalisation semi-séquentiel (en m cycles). A l'étape 1 60, un neurone d'entrée est déclenché (par exemple un pixel).
L'interconnexion dynamique entre les sorties 121 de la matrice 12 et les nœuds 141 correspondant aux neurones de sorties qui sont dans le champ récepteur du neurone déclenché comprend les étapes 1 62 à 165.
Plus précisément, à l'étape 162, un décodage de l'adresse en Y du neurone d'entrée est effectué. Les lignes correspondantes de la matrice 12 sont ensuite activées.
A l'étape 164, un décodage de l'adresse en X du neurone d'entrée est effectué. Le nombre de colonnes à activer séquentiellement est défini par le paramètre m.
A l'étape 165, une colonne est activée (ligne courante). Si une colonne a été précédemment activée, cette colonne précédente est désactivée au préalable.
A l'étape 1 66, une accumulation des valeurs est réalisée dans la matrice de sortie 14 par propagation d'impulsions sur la colonne activée courante.
La colonne suivante est alors activée si le nombre de lignes déjà activée est inférieur à m (i.e. le nombre d'itérations des étapes 1 65/1 66 est inférieur à m). La figure 17 représente un exemple de réalisation matérielle du réseau de neurones correspondant à un mode de réalisation semi-séquentiel en Y, conformément au mode de réalisation de la figure 1 6.
Les accumulateurs 140 (partie de droite) sont connectés aux coefficients du noyau correspondant après décodage en X et en Y. La matrice 12 (partie de gauche) est réalisée matériellement par un ensemble de dispositifs memristifs 10. L'accumulation dans les accumulateurs 140 est réalisée pour chaque colonne activée séquentiellement par un séquenceur.
Le nombre de commutateurs NTG utilisé dans la réalisation matérielle du réseau de neurones est alors donné par l'équation suivante:
NTG = m. n + n. Oh + Ow. Oh
Comme représenté sur les figures 13, 15, 17, les connexions réalisées par le l'opération de « mapping » dynamique entre les synapses et les accumulateurs des neurones de sortie font transiter les impulsions pondérées par la valeur des synapses. Selon le codage de ces impulsions pondérées, les connexions peuvent être réalisées de différentes manières :
- par des connexions analogiques (1 seul fil), faisant transiter des impulsions analogiques dont l'amplitude ou la durée code la pondération ;
- par des connexions numériques (1 seul fil, 1 bit), faisant transiter en série (bit par bit) la valeur de la pondération, codée sur un nombre fixe ou variable de bits. Un codage numérique est alors utilisé, il peut être binaire ou unaire.
- par des connexions numériques (N fils, N bits), faisant transiter en parallèle la valeur de la pondération, codée sur N bits. Un codage numérique est alors utilisé, il peut être binaire ou unaire.
Les figures 18 à 22 représentent des modes de réalisation de l'étape d'accumulation 103 de la figure 7.
Plus précisément, la figure 18 est un organigramme représentant l'étape d'accumulation, selon un mode de réalisation côté noyau.
A l'étape 180, un neurone d'entrée est déclenché (par exemple pixel). A l'étape 182, l'étape d'interconnexion dynamique est réalisée, par exemple selon l'un des modes de réalisation des figures 12 à 17.
A l'étape 183, la valeur stockée dans l'accumulateur de chaque neurone de sortie 140, se trouvant dans le champ récepteur du neurone déclenché, est additionnée avec le poids synaptique correspondant au neurone d'entrée (stocké dans au moins un dispositif memristif). La valeur ainsi obtenue est stockée dans un accumulateur 121 en sortie de la synapse connectant le neurone d'entrée et le neurone de sortie.
A l'étape 184, les valeurs accumulées en sortie des synapses sont écrites dans les accumulateurs 140 des neurones de sortie.
La figure 19 représente un exemple de réalisation matérielle de l'accumulateur 14 dans le mode de réalisation côté noyau en mode écriture-ajout.
Chaque sortie 20 d'un coefficient du noyau de convolution peut être réalisée matériellement par un dispositif memristif 10, d'un additionneur 21 , d'une mémoire de stockage 22, et d'un commutateur 23.
Le commutateur 23 est configuré pour commuter entre les modes lecture-ajout (« read-add ») et rétro-écriture (write-back).
En mode lecture-ajout, chaque sortie 20 correspondant à un coefficient du noyau de convolution peut être réalisée matériellement par un ou des dispositifs memristifs 10 stockant le poids synaptique, l'additionneur 21 additionnant alors la valeur stockée dans l'accumulateur de chaque neurone de sortie 140 avec le poids stocké dans le(s) dispositif(s) memristif(s). La mémoire de stockage 22 en sortie de la synapse stocke ensuite la valeur ainsi obtenue. La mémoire de stockage peut être réalisée en analogique ou en numérique. La figure 20 représente l'exemple de réalisation matérielle de la partie accumulation de la figure 19 en mode rétro-écriture (« write back). Une fois l'accumulation effectuée pour le groupe des neurones de sortie connecté par le mapping dynamique, dans le champ récepteur du neurone d'entrée qui s'était activé (i.e. déclenché), les valeurs accumulées dans les accumulateurs 22 sont propagées vers les neurones de sortie correspondants dans les accumulateurs 140.
La sortie matrice 14 comprend un mémoire de stockage 24 pour stocker la valeur propagée issue des accumulateurs 22. La figure 21 est un organigramme représentant l'étape d'accumulation (étape 103 de la figure 7), selon un mode de réalisation de l'accumulation côté sortie.
A l'étape 210, un neurone d'entrée est déclenché (par exemple pixel).
A l'étape 212, l'étape d'interconnexion dynamique est réalisée, par exemple selon l'un des modes de réalisation des figures 12 à 17. A l'étape 214, la valeur stockée dans l'accumulateur de chaque neurone de sortie 140, se trouvant dans le champ récepteur du neurone déclenché, est additionnée avec le poids synaptique correspondant au neurone d'entrée (stocké dans au moins un dispositif memristif et préalablement propagé vers la matrice de sortie 14), du côté de la matrice de sortie. La valeur ainsi obtenue est directement stockée dans la matrice de sortie 14.
La figure 22 représente un exemple de réalisation matérielle de l'accumulateur 14 dans le mode de réalisation côté sortie.
Chaque sortie 20 d'un coefficient du noyau de convolution est connectée directement au(x) dispositif(s) memristif(s) 10 stockant la valeur du coefficient. Chaque sortie de la matrice 14 peut comprendre un additionneur 25 et une mémoire de stockage 23.
Chaque sortie 20 d'un coefficient du noyau de convolution peut être réalisée matériellement par le dispositif memristif 10 stockant le poids synaptique et propagée vers la matrice 14. L'additionneur 23 additionne alors directement la valeur stockée dans l'accumulateur de chaque neurone de sortie 140 avec le poids reçu. La mémoire de stockage 26 du côté de la matrice de sortie stocke la valeur ainsi obtenue. L'homme du métier comprendra que le procédé de convolution selon les différents modes de réalisation peut être mis en œuvre de diverses manières par matériel (« hardware »), logiciel, ou une combinaison d'éléments matériels et de logiciels.
L'invention n'est pas limitée aux modes de réalisation décrits ci-avant à titre d'exemple non limitatif. Elle englobe toutes les variantes de réalisation qui pourront êtrne envisagées par l'homme du métier.
En particulier, l'interconnexion dynamique s'applique également à des couches de regroupement « pooling » pour mettre en correspondance les entrées avec les neurones de sortie intervenant dans un calcul de « pooling ». Par ailleurs, l'invention n'est pas limitée à un type particulier de dispositif memristif. Par exemple, les dispositifs memristifs peuvent être de type CBRAM (« Conductive bridging RAM »), OXRAM (« Oxide Based Résistive Memory »), PCRAM (« Phase change RAM ») ou PCM (" Phase-Change Memory ").
En outre l'invention n'est pas limitée aux applications décrites ci-avant et s'applique notamment à tout type d'applications de classifications de données audio, image, vidéo ou biologiques.

Claims

Revendications
1 . Réseau de neurones convolutionnel (100) comprenant une pluralité de neurones artificiels agencés en une ou plusieurs couches de convolution, chaque couche de convolution comprenant une ou plusieurs matrices de sortie (14), chaque matrice de sortie comprenant un ensemble de neurones de sortie, chaque matrice de sortie étant connectée à une matrice d'entrée, comprenant un ensemble de neurones d'entrée, par des synapses artificielles associées à une matrice de convolution comprenant les coefficients de poids associés aux neurones de sortie de ladite matrice de sortie, la valeur de sortie de chaque neurone de sortie étant déterminée à partir des neurones d'entrée de ladite matrice d'entrée auxquels le neurone de sortie est connecté et des coefficients de poids de la matrice de convolution associée à ladite matrice de sortie, caractérisé en ce que chaque synapse est constituée d'un ensemble de dispositifs memristifs comprenant au moins un dispositif memristif, chaque ensemble de dispositif memristif stockant un coefficient de poids de ladite matrice de convolution, et en ce que, en réponse à un changement de la valeur de sortie d'un neurone d'entrée d'une matrice d'entrée, le réseau de neurones est apte à associer dynamiquement chaque ensemble de dispositifs memristifs stockant un coefficient de la matrice de convolution à un neurone de sortie connecté audit neurone d'entrée,
le réseau de neurones comprenant en outre un accumulateur (140, 121 ) pour chaque neurone de sortie, ledit accumulateur étant configuré pour accumuler les valeurs des coefficients de poids stockées dans les ensembles de dispositifs memristifs associés dynamiquement audit neurone de sortie, la valeur de sortie dudit neurone de sortie étant déterminée à partir de la valeur accumulée dans ledit accumulateur.
2. Réseau de neurones selon la revendication 1 , caractérisé en ce que les neurones utilisent un codage temporel, la valeur de sortie des neurones d'entrée et des neurones de sortie est codée avec des impulsions.
3. Réseau de neurone selon la revendication 2, caractérisé en ce que la propagation d'une valeur dans le réseau est réalisée par propagation d'au moins une impulsion codant ladite valeur, selon ledit codage temporel.
4. Réseau de neurones selon la revendication 1 , caractérisé en ce qu'il comprend un ensemble de commutateurs et un circuit logique de mise en correspondance des coefficients de poids avec les neurones de sortie connectés au neurone d'entrée ayant subi un changement de valeur de sortie, à partir de l'adresse dudit neurone d'entrée dans la matrice d'entrée, pour réaliser ladite association dynamique.
5. Réseau de neurones selon les revendications 3 et 4, caractérisé en ce que chaque impulsion comprend un train de bits codant l'adresse (X, Y) de destination de l'impulsion suivant deux axes perpendiculaires X et Y, le repère (X, Y) correspondant au repère de la matrice d'entrée et en ce que, en réponse à l'arrivée de ladite impulsion sur la matrice d'entrée, ladite adresse (X, Y) est codée pour représenter l'emplacement du neurone d'entrée à activer.
6. Réseau de neurones selon l'une des revendications précédentes, caractérisé en ce que l'association dynamique est réalisée en parallèle et en un seul cycle, en connectant simultanément les coefficients de poids de la matrice de convolution stockés dans lesdits ensembles de dispositifs memristifs (10) aux neurones de sortie connectés au neurone d'entrée ayant subi un changement de valeur de sortie.
7. Réseau de neurones selon l'une des revendications 1 à 6, caractérisé en ce que l'association dynamique est réalisée semi-séquentiellement, en connectant les coefficients de poids de la matrice de convolution stockés dans lesdits dispositifs memristifs (10), une ligne de la matrice après l'autre, aux neurones de sortie connectés au neurone d'entrée et ayant subi un changement de valeur de sortie.
8. Réseau de neurones selon l'une des revendications 1 à 6, caractérisé en ce que l'association dynamique est réalisée semi-séquentiellement, en connectant les coefficients de poids de la matrice de convolution stockés dans lesdits dispositifs memristifs (10), une colonne de la matrice après l'autre aux neurones de sortie connectés au neurone d'entrée ayant subi un changement de valeur de sortie.
9. Réseau de neurones selon l'une des revendications 1 à 6, caractérisé en ce que l'association dynamique est réalisée séquentiellement, en connectant les coefficients de la matrice de convolution (5), stockés dans lesdits dispositifs memristifs (10), l'un après l'autre, aux neurones de sortie connectés au neurone d'entrée ayant subi un changement de valeur de sortie.
10. Réseau de neurones selon l'une des revendications précédentes, caractérisé en ce que le réseau comprend un accumulateur (140) agencé au niveau de chaque neurone de sortie pour stocker la valeur accumulée dans ledit neurone de sortie, et un accumulateur auxiliaire (121 ) agencé à la sortie de chaque synapse (5) et en ce que, en réponse à l'association dynamique d'un ensemble de dispositifs memristifs constituant une synapse avec un neurone de sortie, l'accumulateur auxiliaire agencé en sortie de ladite synapse réalise l'accumulation de la valeur du coefficient de poids stockée dans ledit ensemble de dispositifs memristifs avec la valeur stockée dans l'accumulateur agencé au niveau dudit neurone de sortie (140, 24), la valeur stockée dans ledit accumulateur auxiliaire étant ensuite propagée dans l'accumulateur agencé au niveau dudit neurone de sortie (140, 24).
1 1 . Réseau de neurones selon l'une des revendications 1 à 9, caractérisé en ce que le réseau comprend un accumulateur (140) agencé au niveau de chaque neurone de sortie pour stocker la valeur accumulée dans ledit neurone de sortie et en ce que, en réponse à l'association dynamique d'un ensemble de dispositifs memristifs avec ledit neurone de sortie, le coefficient de poids dudit ensemble de dispositifs memristifs est propagé dans l'accumulateur agencé au niveau dudit neurone de sortie, la valeur ainsi propagée étant ensuite accumulée avec la valeur stockée dans ledit accumulateur.
12. Réseau de neurones selon l'une des revendications précédentes, caractérisé en ce que les sorties de neurones de sortie sont groupées, et en ce que les valeurs accumulées correspondant à des neurones de sortie dont les sorties sont groupées sont stockées dans un accumulateur commun (142).
13. Réseau de neurones selon l'une des revendications précédentes, caractérisé en ce qu'il comprend un apprentissage en ligne de type STDP à partir de l'interconnexion dynamique.
14. Réseau de neurones selon l'une des revendications précédentes, caractérisé en ce que les dispositifs memristifs sont émulés par des cellules mémoire numériques.
EP15756132.5A 2014-08-28 2015-08-18 Reseau de neurones convolutionnels Withdrawn EP3186752A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1458088A FR3025344B1 (fr) 2014-08-28 2014-08-28 Reseau de neurones convolutionnels
PCT/EP2015/068955 WO2016030230A1 (fr) 2014-08-28 2015-08-18 Reseau de neurones convolutionnels

Publications (1)

Publication Number Publication Date
EP3186752A1 true EP3186752A1 (fr) 2017-07-05

Family

ID=52450266

Family Applications (1)

Application Number Title Priority Date Filing Date
EP15756132.5A Withdrawn EP3186752A1 (fr) 2014-08-28 2015-08-18 Reseau de neurones convolutionnels

Country Status (4)

Country Link
US (1) US11055608B2 (fr)
EP (1) EP3186752A1 (fr)
FR (1) FR3025344B1 (fr)
WO (1) WO2016030230A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI774147B (zh) * 2019-12-09 2022-08-11 大陸商南京惟心光電系統有限公司 脈衝卷積神經網路演算法、積體電路及其製造方法、運算裝置及存儲介質

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015000120A1 (de) * 2015-01-07 2016-07-07 Merck Patent Gmbh Elektronisches Bauelement
US10387770B2 (en) * 2015-06-10 2019-08-20 Samsung Electronics Co., Ltd. Spiking neural network with reduced memory access and reduced in-network bandwidth consumption
US10540768B2 (en) * 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Apparatus and method to segment object from image
FR3050846B1 (fr) * 2016-04-27 2019-05-03 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif et procede de distribution de donnees de convolution d'un reseau de neurones convolutionnel
CN107329734B (zh) * 2016-04-29 2020-08-07 中科寒武纪科技股份有限公司 一种用于执行卷积神经网络正向运算的装置和方法
GB201607713D0 (en) 2016-05-03 2016-06-15 Imagination Tech Ltd Convolutional neural network
US20170357894A1 (en) * 2016-06-10 2017-12-14 Apple Inc. Data packing for convolution of artificial neural networks
US9715656B1 (en) 2016-09-12 2017-07-25 International Business Machines Corporation Killing asymmetric resistive processing units for neural network training
US9646243B1 (en) 2016-09-12 2017-05-09 International Business Machines Corporation Convolutional neural networks using resistive processing unit array
US10402628B2 (en) 2016-10-10 2019-09-03 Gyrfalcon Technology Inc. Image classification systems based on CNN based IC and light-weight classifier
US10366302B2 (en) 2016-10-10 2019-07-30 Gyrfalcon Technology Inc. Hierarchical category classification scheme using multiple sets of fully-connected networks with a CNN based integrated circuit as feature extractor
US9940534B1 (en) * 2016-10-10 2018-04-10 Gyrfalcon Technology, Inc. Digital integrated circuit for extracting features out of an input image based on cellular neural networks
US10360470B2 (en) 2016-10-10 2019-07-23 Gyrfalcon Technology Inc. Implementation of MobileNet in a CNN based digital integrated circuit
US10043095B2 (en) * 2016-10-10 2018-08-07 Gyrfalcon Technology, Inc. Data structure for CNN based digital integrated circuit for extracting features out of an input image
US10339445B2 (en) 2016-10-10 2019-07-02 Gyrfalcon Technology Inc. Implementation of ResNet in a CNN based digital integrated circuit
US10366328B2 (en) 2017-09-19 2019-07-30 Gyrfalcon Technology Inc. Approximating fully-connected layers with multiple arrays of 3x3 convolutional filter kernels in a CNN based integrated circuit
US10733505B2 (en) * 2016-11-10 2020-08-04 Google Llc Performing kernel striding in hardware
US10360494B2 (en) * 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules
US10248906B2 (en) 2016-12-28 2019-04-02 Intel Corporation Neuromorphic circuits for storing and generating connectivity information
CN106779060B (zh) * 2017-02-09 2019-03-08 武汉魅瞳科技有限公司 一种适于硬件设计实现的深度卷积神经网络的计算方法
CN110546653B (zh) 2017-02-24 2023-06-20 渊慧科技有限公司 使用管理者和工作者神经网络的用于强化学习的动作选择
US11164071B2 (en) * 2017-04-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for reducing computational complexity of convolutional neural networks
KR102301232B1 (ko) * 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치
KR20180136202A (ko) * 2017-06-14 2018-12-24 에스케이하이닉스 주식회사 컨볼루션 신경망 및 컨볼루션 신경망을 가진 신경망 시스템
US11216723B2 (en) 2017-08-11 2022-01-04 Syntiant Pulse-width modulated multiplier
US10699160B2 (en) 2017-08-23 2020-06-30 Samsung Electronics Co., Ltd. Neural network method and apparatus
CN109684901B (zh) * 2017-10-19 2023-06-06 富士通株式会社 图像处理装置和图像处理方法
US11301752B2 (en) 2017-10-24 2022-04-12 International Business Machines Corporation Memory configuration for implementing a neural network
CN107817898B (zh) * 2017-10-31 2022-07-22 努比亚技术有限公司 操作模式识别方法、终端及存储介质
CN107895174B (zh) * 2017-11-09 2020-01-07 京东方科技集团股份有限公司 图像分类和转换方法、装置以及图像处理系统
US11494619B2 (en) * 2017-11-30 2022-11-08 Taiwan Semiconductor Manufacturing Co., Ltd. Device and method for operating the same
US20190042942A1 (en) * 2017-12-07 2019-02-07 Koba Natroshvili Hybrid spiking neural network and support vector machine classifier
US10409889B2 (en) 2017-12-18 2019-09-10 Mythic, Inc. Systems and methods for mapping matrix calculations to a matrix multiply accelerator
DE102018200534A1 (de) * 2018-01-15 2019-07-18 Robert Bosch Gmbh Verfahren zum Betreiben eines künstlichen neuronalen Netzes
US11875557B2 (en) 2018-04-27 2024-01-16 Carnegie Mellon University Polynomial convolutional neural network with early fan-out
CN111971662B (zh) * 2018-04-30 2025-01-21 慧与发展有限责任合伙企业 用于处理数据的设备、方法和系统
CN109858506B (zh) * 2018-05-28 2022-11-18 哈尔滨工程大学 一种面向卷积神经网络分类结果的可视化算法
US10417342B1 (en) 2018-07-03 2019-09-17 Gyrfalcon Technology Inc. Deep learning device for local processing classical chinese poetry and verse
US10311149B1 (en) 2018-08-08 2019-06-04 Gyrfalcon Technology Inc. Natural language translation device
CN109460817B (zh) * 2018-09-11 2021-08-03 华中科技大学 一种基于非易失存储器的卷积神经网络片上学习系统
WO2020061924A1 (fr) * 2018-09-27 2020-04-02 华为技术有限公司 Accélérateur d'opération et procédé de traitement de données
CN111010492B (zh) * 2018-10-08 2022-05-13 瑞昱半导体股份有限公司 图像处理电路及相关的图像处理方法
US12111878B2 (en) 2018-10-12 2024-10-08 International Business Machines Corporation Efficient processing of convolutional neural network layers using analog-memory-based hardware
CN111048135A (zh) * 2018-10-14 2020-04-21 天津大学青岛海洋技术研究院 一种基于忆阻器内存计算的cnn处理装置及其工作方法
CN109448068B (zh) * 2018-10-16 2020-07-31 西南大学 一种基于忆阻器交叉阵列的图像重构系统
US10387772B1 (en) 2018-10-22 2019-08-20 Gyrfalcon Technology Inc. Ensemble learning based image classification systems
WO2020117348A2 (fr) * 2018-12-06 2020-06-11 Western Digital Technologies, Inc. Puce de mémoire non volatile à réseau neuronal à apprentissage profond
US11133059B2 (en) 2018-12-06 2021-09-28 Western Digital Technologies, Inc. Non-volatile memory die with deep learning neural network
US12393845B2 (en) 2018-12-06 2025-08-19 Western Digital Technologies, Inc. Non-volatile memory die with deep learning neural network
US11557107B2 (en) 2019-01-02 2023-01-17 Bank Of America Corporation Intelligent recognition and extraction of numerical data from non-numerical graphical representations
US11556763B2 (en) 2019-02-19 2023-01-17 International Business Machines Corporation Multi-kernel configuration for convolutional neural networks
EP3953866A1 (fr) * 2019-04-09 2022-02-16 Chengdu Synsense Technology Co., Ltd. Réseau neuronal à convolution avec pics pilotés par événements
US11520521B2 (en) 2019-06-20 2022-12-06 Western Digital Technologies, Inc. Storage controller having data augmentation components for use with non-volatile memory die
US11501109B2 (en) 2019-06-20 2022-11-15 Western Digital Technologies, Inc. Non-volatile memory die with on-chip data augmentation components for use with machine learning
CN112308202B (zh) * 2019-08-02 2025-04-25 华为技术有限公司 一种确定卷积神经网络的决策因素的方法及电子设备
CN110543933B (zh) * 2019-08-12 2022-10-21 北京大学 基于flash存算阵列的脉冲型卷积神经网络
US11741344B2 (en) * 2019-12-09 2023-08-29 Bank Of America Corporation Custom convolutional neural network architectures for exposure detection
JP7365999B2 (ja) * 2019-12-24 2023-10-20 財團法人工業技術研究院 ニューラルネットワーク演算装置および方法
TWI727641B (zh) * 2020-02-03 2021-05-11 華邦電子股份有限公司 記憶體裝置及其操作方法
US11562240B2 (en) 2020-05-27 2023-01-24 International Business Machines Corporation Efficient tile mapping for row-by-row convolutional neural network mapping for analog artificial intelligence network inference
CN111681696B (zh) * 2020-05-28 2022-07-08 中国科学院微电子研究所 基于非易失存储器的存储和数据处理方法、装置及设备
FR3113971B1 (fr) * 2020-09-08 2023-11-03 Thales Sa dispositif implémentant un filtre convolutionnel d'un réseau de neurones
CN112561034A (zh) * 2020-12-04 2021-03-26 深兰人工智能(深圳)有限公司 一种神经网络加速装置
US12417390B2 (en) 2021-06-16 2025-09-16 SanDisk Technologies, Inc. Enhanced digital signal processor (DSP) NAND flash
CN113705784B (zh) * 2021-08-20 2025-01-24 江南大学 一种基于矩阵共享的神经网络权重编码方法及硬件系统
US12112200B2 (en) 2021-09-13 2024-10-08 International Business Machines Corporation Pipeline parallel computing using extended memory
CN114186667B (zh) * 2021-12-07 2024-08-23 华中科技大学 一种循环神经网络权重矩阵向忆阻阵列的映射方法
KR102574165B1 (ko) * 2022-02-23 2023-09-01 고려대학교 산학협력단 스파이킹 신경망에서 신경 암호 기반 소리 분류 장치 및 그 방법
CN116707514B (zh) * 2023-08-09 2023-11-03 苏州浪潮智能科技有限公司 一种多输出忆阻器等效电路、应用系统及控制方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9269043B2 (en) * 2002-03-12 2016-02-23 Knowm Tech, Llc Memristive neural processor utilizing anti-hebbian and hebbian technology
US6999953B2 (en) * 2002-07-03 2006-02-14 Energy Conversion Devices, Inc. Analog neurons and neurosynaptic networks
US9269042B2 (en) * 2010-09-30 2016-02-23 International Business Machines Corporation Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
HK1199768A1 (en) * 2011-08-25 2015-07-17 康奈尔大学 Retinal encoder for machine vision
US10140573B2 (en) * 2014-03-03 2018-11-27 Qualcomm Incorporated Neural network adaptation to current computational resources
US9346167B2 (en) * 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US20150339589A1 (en) * 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI774147B (zh) * 2019-12-09 2022-08-11 大陸商南京惟心光電系統有限公司 脈衝卷積神經網路演算法、積體電路及其製造方法、運算裝置及存儲介質

Also Published As

Publication number Publication date
FR3025344B1 (fr) 2017-11-24
US20170200078A1 (en) 2017-07-13
WO2016030230A1 (fr) 2016-03-03
US11055608B2 (en) 2021-07-06
FR3025344A1 (fr) 2016-03-04

Similar Documents

Publication Publication Date Title
EP3186752A1 (fr) Reseau de neurones convolutionnels
EP3449423B1 (fr) Dispositif et procede de calcul de convolution d&#39;un reseau de neurones convolutionnel
EP3659072B1 (fr) Calculateur pour reseau de neurones impulsionnel avec agregation maximale
US12111878B2 (en) Efficient processing of convolutional neural network layers using analog-memory-based hardware
KR102873031B1 (ko) 재구성가능하고 시간적으로 코딩된 컨볼루션 스파이킹 신경망에서의 특징들의 이벤트 기반 분류
WO2017186830A1 (fr) Dispositif et procede de distribution de donnees de convolution d&#39;un reseau de neurones convolutionnel
Krestinskaya et al. Neuromemristive circuits for edge computing: A review
US10740671B2 (en) Convolutional neural networks using resistive processing unit array
Panda et al. Asp: Learning to forget with adaptive synaptic plasticity in spiking neural networks
US11087204B2 (en) Resistive processing unit with multiple weight readers
Zhang et al. Memristive quantized neural networks: A novel approach to accelerate deep learning on-chip
Demirağ et al. PCM-trace: scalable synaptic eligibility traces with resistivity drift of phase-change materials
KR102774735B1 (ko) 아날로그 인공지능 네트워크 추론을 위한 행별 컨볼루션 신경망 매핑을 위한 효율적 타일 매핑
US20240005162A1 (en) Error-triggered learning of multi-layer memristive spiking neural networks
Maan et al. Memristive threshold logic circuit design of fast moving object detection
Vianello et al. Resistive memories for spike-based neuromorphic circuits
He et al. Memristive residual capsnet: a hardware friendly multi-level capsule network
Lewden et al. On-the-fly learning with mixed-mode spiking neural network and passive memristive array: application to neuromorphic cameras
Serrano-Gotarredona et al. Spike-timing-dependent-plasticity with memristors
Bürger et al. Volatile memristive devices as short-term memory in a neuromorphic learning architecture
KR20230133051A (ko) 뉴로모픽 반도체 소자 및 동작 방법
Chen et al. How could imperfect device properties influence the performances of spiking neural networks?
Ryndin et al. Neuromorphic Electronic Module Based on the Use of the Memristor Electronic-Component Base for Image Recognition
CN119047528A (zh) 忆阻器突触电路、人工神经元、由此构成的神经网络系统
Liu et al. Rerise: An adversarial example restoration system for neuromorphic computing security

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20170216

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210209

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20230301