IT201700009280A1

IT201700009280A1 - ARTIFICIAL NEURAL NETWORK

Info

Publication number: IT201700009280A1
Application number: IT102017000009280A
Authority: IT
Inventors: Sebastiano Galazzo
Original assignee: Axelero S P A
Priority date: 2017-01-27
Filing date: 2017-01-27
Publication date: 2018-07-27
Also published as: WO2018138680A1

Description

RETE NEURALE ARTIFICIALE ARTIFICIAL NEURAL NETWORK

DESCRIZIONE DESCRIPTION

Campo tecnico dell’invenzione Technical field of the invention

La presente invenzione si riferisce ad una rete neurale artificiale configurata per elaborazioni di dati atte all'interpretazione del linguaggio naturale. The present invention refers to an artificial neural network configured for data processing suitable for the interpretation of natural language.

Background Background

Nel campo dell'apprendimento automatico ( Machine Learning), una rete neurale artificiale è intesa come un modello matematico composto da una pluralità di neuroni artificiali interconnessi, in grado di migliorare progressivamente le sue prestazioni di analisi dei dati grazie a modalità di apprendimento automatico o supervisionato. In particolare, le reti neurali implementano processi di elaborazione e di training secondo un approccio di connessioni di calcolo ispirato alle reti neurali biologiche (vedi Figure 1 A: rete neurale biologica e 1 B: rete neurale artificiale di tipo noto). In the field of machine learning, an artificial neural network is intended as a mathematical model composed of a plurality of interconnected artificial neurons, able to progressively improve its data analysis performance thanks to automatic or supervised learning methods. . In particular, neural networks implement processing and training processes according to a computational connection approach inspired by biological neural networks (see Figures 1 A: biological neural network and 1 B: known artificial neural network).

Una rete neurale artificiale è tipicamente sviluppata a strati, ciascuno configurato per l’esecuzione di una determinata categoria di operazioni sui dati in ingresso, per arrivare a generare un dato di uscita al termine dell’elaborazione. Generalmente, una rete neurale comprende uno strato di input, uno strato di elaborazione e uno strato di output, ogni strato comprendendo una pluralità di nodi, che di fatto corrispondono ai neuroni delle reti neurali biologiche. An artificial neural network is typically developed in layers, each configured for the execution of a certain category of operations on the input data, in order to generate an output data at the end of the processing. Generally, a neural network comprises an input layer, a processing layer and an output layer, each layer comprising a plurality of nodes, which in fact correspond to the neurons of biological neural networks.

Ciascun nodo in input è da considerarsi un concetto, una caratteristica relativa al problema da risolvere, ed è connesso ai successivi, cioè ai nodi che compongono il livello sottostante, secondo una relazione di proporzionalità o peso. In altre parole, esistono delle determinate relazioni di proporzionalità tra i dati in ingresso e i dati in uscita da ciascun nodo. Il coefficiente di proporzionalità spesso è indicato come peso perché corrisponde all’importanza di un determinato dato nell’aggregazione del risultato finale del processo elaborativo. Each input node is to be considered a concept, a characteristic relating to the problem to be solved, and is connected to the following ones, that is to the nodes that make up the underlying level, according to a relationship of proportionality or weight. In other words, there are certain proportional relationships between the incoming data and the outgoing data from each node. The proportionality coefficient is often referred to as a weight because it corresponds to the importance of a given data in the aggregation of the final result of the processing process.

La relazione di peso è un aspetto cruciale del funzionamento delle reti neurali, pertanto è oggetto di addestramento o training. Generalmente, il peso attribuito ai dati trasmessi da un nodo all’altro è associato al passaggio di un segnale elettrico di una determinata intensità, ad esempio compresa in senso assoluto tra 0 e 1 (nessuna intensità/massimo valore di intensità) tra un nodo e l’altro, così come accade nella trasmissione dei segnali attraverso le sinapsi nel cervello. The relationship of weight is a crucial aspect of the functioning of neural networks, therefore it is the subject of training or training. Generally, the weight attributed to the data transmitted from one node to another is associated with the passage of an electrical signal of a certain intensity, for example between 0 and 1 in an absolute sense (no intensity / maximum intensity value) between a node and the other, as happens in the transmission of signals through the synapses in the brain.

La propagazione del segnale da un nodo all’altro è regolata appunto dai suddetti pesi, che sono oggetto di continuo affinamento e ricalcolo (i valori sono modificati/ottimizzati mediante la procedura di training). The propagation of the signal from one node to another is regulated precisely by the aforementioned weights, which are subject to continuous refinement and recalculation (the values are modified / optimized through the training procedure).

Di fatto, una rete neurale è un particolare grafo pesato i cui pesi vengono costantemente aggiornati nella fase di addestramento. Come anticipato, più è alto il peso, maggiore è la quantità di segnale che passa. Questo processo concorre ad attivare, in ultima istanza, il neurone/nodo di output che rappresenta il risultato del processo di calcolo. In fact, a neural network is a particular weighted graph whose weights are constantly updated during the training phase. As anticipated, the higher the weight, the greater the amount of signal that passes. This process ultimately contributes to activating the output neuron / node that represents the result of the calculation process.

Uno svantaggio delle reti neurali di tipo noto consiste nel fatto che non vi è modo di sapere a priori se la rete sarà effettivamente in grado di trovare una soluzione accettabile al problema considerato. A disadvantage of known neural networks is that there is no way of knowing a priori whether the network will actually be able to find an acceptable solution to the problem under consideration.

Inoltre, le reti neurali tradizionali, ad esempio quelle a propagazione inversa, presentano ulteriori criticità estremamente limitanti. Furthermore, traditional neural networks, for example those with reverse propagation, present further extremely limiting criticalities.

Una prima criticità consiste nella modellazione della rete neurale, ovvero la determinazione della topologia. Infatti, non può essere determinata a priori la modellazione ottima della rete neurale stessa, ma si è costretti a procedere per tentativi, rendendo la fase di addestramento non predicibile in termini di qualità e durata temporale. A first criticality consists in the modeling of the neural network, that is the determination of the topology. In fact, the optimal modeling of the neural network itself cannot be determined a priori, but one is forced to proceed by trial and error, making the training phase unpredictable in terms of quality and time duration.

Inoltre, una volta trovata la topologia migliore della rete neurale, questa è assolutamente rigida, cioè non sono concesse modifiche ai nodi a meno di effettuare nuovamente il processo di addestramento, imbattendosi ancora nelle problematiche sopra descritte. Furthermore, once the best topology of the neural network has been found, it is absolutely rigid, i.e. no changes to the nodes are allowed unless the training process is carried out again, still encountering the problems described above.

Infine, un importante problema delle reti di tipo noto sono le dimensioni. Al crescere della complessità del problema, e quindi il numero di nodi in input necessari a modellarlo, cresce in maniera esponenziale la potenza di calcolo necessaria all’esecuzione, ancora più drasticamente in fase di training. Finally, an important problem of known networks is the size. As the complexity of the problem increases, and therefore the number of input nodes needed to model it, the computing power required for execution increases exponentially, even more drastically during the training phase.

Le prestazioni non sono l’unico problema che insorge al crescere della dimensione della rete. Infatti, crolla anche la possibilità di ottenere un modello correttamente funzionante. Dato che la rete si comporta come un modello probabilistico, al crescere delle possibili risultati cresce la possibilità di errore, soprattutto in contesti in cui esistono concetti simili. Di fatto, una rete neurale con milioni di nodi in input risulterebbe estremamente complessa e onerosa da implementare e gestire, a causa delle prestazioni in termini di hardware e software. Performance is not the only problem that arises as the size of the network grows. In fact, the possibility of obtaining a properly functioning model also collapses. Since the network behaves like a probabilistic model, as the possible results increase, the possibility of error increases, especially in contexts where similar concepts exist. In fact, a neural network with millions of input nodes would be extremely complex and expensive to implement and manage, due to the performance in terms of hardware and software.

Sommario dell’invenzione Summary of the invention

Il problema tecnico posto e risolto dalla presente invenzione è pertanto quello di fornire una rete neurale artificiale che consenta di ovviare agli inconvenienti sopra menzionati con riferimento alla tecnica nota. The technical problem posed and solved by the present invention is therefore that of providing an artificial neural network which allows to overcome the drawbacks mentioned above with reference to the known art.

Il suddetto problema viene risolto da un nodo di rete neurale secondo la rivendicazione 1 e da una rete neurale secondo la rivendicazione 9. The above problem is solved by a neural network node according to claim 1 and by a neural network according to claim 9.

Caratteristiche preferite della presente invenzione sono oggetto delle rivendicazioni dipendenti. Preferred features of the present invention are the subject of the dependent claims.

L’invenzione fornisce una rete neurale per l’interpretazione di espressioni in linguaggio naturale che comprende una pluralità di nodi o neuroni. Tutti i nodi sono interconnessi mediante mezzi di collegamento per la trasmissione di dati o segnali, che sono programmati per applicare relazioni numeriche di proporzionalità o peso ai dati trasmessi. The invention provides a neural network for the interpretation of expressions in natural language that includes a plurality of nodes or neurons. All nodes are interconnected by means of connection for the transmission of data or signals, which are programmed to apply numerical relations of proportionality or weight to the transmitted data.

La rete neurale dell'invenzione è basata su una struttura a grafo di derivazione quantistica, in cui i dati scambiati tra i nodi sono informazioni quantistiche, cioè quantum bit (qubit). The neural network of the invention is based on a quantum-derived graph structure, in which the data exchanged between the nodes is quantum information, i.e. quantum bits (qubits).

Rispetto alle reti neurali di tipo noto, la rete neurale proposta non prevede il concetto rigido di nodi input, output e nodi intermedi, così come non prevede una suddivisione delle rete in livelli di input, intermedio e di output. In altre parole, è previsto il collegamento tra neuroni in maniera non fissa né strutturata, bensì in maniera dinamica e variabile di volta in volta in funzione delle specifica query proposta. Anche gli stessi di nodi, in funzione della query proposta, sono programmati per implementare le funzioni di un nodo di input, intermedio o di output. Compared to known neural networks, the proposed neural network does not envisage the rigid concept of input, output and intermediate nodes, just as it does not envisage a subdivision of the network into input, intermediate and output levels. In other words, the connection between neurons is foreseen in a way that is neither fixed nor structured, but in a dynamic and variable way from time to time according to the specific query proposed. Even the same nodes, depending on the proposed query, are programmed to implement the functions of an input, intermediate or output node.

La rete neurale secondo la presente invenzione è programmata in maniera tale che, per ciascuna query, è estratto il più piccolo grafo contenente tutti i nodi che compongo la query e portano ad una inferenza in comune. The neural network according to the present invention is programmed in such a way that, for each query, the smallest graph containing all the nodes that compose the query and lead to a common inference is extracted.

In particolare, nella specifica implementazione di rete neurale programmata per l’interpretazione del linguaggio naturale, per ogni query che viene effettuata è estratto il più piccolo sotto-grafo che contiene tutti i concetti e lemmi presenti nella query, in cui viene cercata ed estratta, se esiste, l’inferenza a cui tutti i nodi conducono. Di conseguenza, quello che rappresenta un nodo di input per una query, può essere un nodo intermedio o di output in un’altra query. In particular, in the specific neural network implementation programmed for the interpretation of natural language, for each query that is carried out, the smallest subgraph is extracted that contains all the concepts and lemmas present in the query, in which it is searched and extracted, if it exists, the inference to which all nodes lead. Consequently, what represents an input node for a query can be an intermediate or output node in another query.

Si consideri a scopo chiarificatore l’esempio seguente: Consider the following example for clarification purposes:

strumento per ripararsi dalla pioggia -> ombrello rain shelter tool -> umbrella

Il nodo “ombrello” rappresenta un nodo di output rispetto alla query appena proposta, mentre per la query seguente: The "umbrella" node represents an output node with respect to the query just proposed, while for the following query:

contenitore per ombrello -> porta ombrello umbrella container -> umbrella holder

il nodo “ombrello” è un nodo di input e, in base a come viene modellata la conoscenza (anche questo non è rigido e dipende dall’utente finale), è anche contemporaneamente una componente del risultato di output. the "umbrella" node is an input node and, based on how knowledge is modeled (this too is not rigid and depends on the end user), it is also simultaneously a component of the output result.

Secondo la presente invenzione, è possibile lavorare con un grafo di piccolissime dimensioni. Infatti, per quanto lungo possa essere un input, sarà sempre trascurabile rispetto alla dimensione di un grafo tradizionale formato da milioni di relazioni e in cui i nodi devono essere ripetuti per ciascun livello di input, intermedio e di output. According to the present invention, it is possible to work with a very small graph. In fact, however long an input may be, it will always be negligible compared to the size of a traditional graph made up of millions of relations and in which the nodes must be repeated for each input, intermediate and output level.

Secondo un ulteriore aspetto della presente invenzione, ogni nodo della rete è realizzato mediante un percettrone programmato per assumere più valori contemporaneamente. Nella forma di realizzazione preferita in cui sono impiegati i numeri complessi, ogni nodo è programmato per assumere due valori, rispettivamente relativi alla parte reale e alla parte immaginaria del numero complesso. According to a further aspect of the present invention, each node of the network is realized by means of a perceptron programmed to assume several values simultaneously. In the preferred embodiment in which complex numbers are used, each node is programmed to assume two values, respectively relating to the real part and the imaginary part of the complex number.

L’utilizzo di percettroni a numeri complessi è ispirato al segnale elettrico, caratterizzato da un’ampiezza e una frequenza, che è alla base delle attivazioni dei neuroni nel cervello umano. In funzione del segnale elettrico trasmesso, l’azione di attivazione di un neurone può avere differenti pattern di intensità e frequenza; tale concetto è modellato nella rete neurale proposta mediante l’impiego di dati comprendenti numeri complessi. The use of complex number perceptrons is inspired by the electrical signal, characterized by an amplitude and a frequency, which is the basis of the activations of neurons in the human brain. Depending on the electrical signal transmitted, the activation action of a neuron can have different intensity and frequency patterns; this concept is modeled in the proposed neural network through the use of data including complex numbers.

Vantaggiosamente, rispetto alle reti neurali di tipo tradizionale, l’impiego di percettroni a più valori consente di realizzare un incremento della velocità di apprendimento e di elaborazione dei risultati, nonché di aumentarne l’accuratezza degli stessi. Advantageously, compared to traditional neural networks, the use of multi-value perceptrons allows for an increase in the speed of learning and processing of results, as well as increasing their accuracy.

Inoltre, l’impiego di nodi che possono assumere più valori consente di effettuare le medesime operazioni di una rete neurale tradizionale a fronte di una riduzione delle dimensioni strutturali della rete, come sarà evidente alla luce della descrizione dettagliata a seguire. Furthermore, the use of nodes that can assume multiple values allows you to perform the same operations as a traditional neural network in the face of a reduction in the structural size of the network, as will be evident in the light of the detailed description below.

La soluzione implementata simula la capacità del qubit di assumere più valori contemporaneamente, utilizzando una struttura dati che consiste in particolare in un array di numeri complessi. The implemented solution simulates the qubit's ability to assume multiple values simultaneously, using a data structure consisting in particular of an array of complex numbers.

Vantaggiosamente, l’utilizzo dei numeri complessi per rappresentare i segnali scambiati dai percettroni (nodi) consente di gestire concetti più complessi e sfumati rispetto a quelli elaborati dalle reti neurali standard per Γ interpretazione del linguaggio naturale, come ad esempio la declinazione dei verbi o il genere e il numero dei nomi. Advantageously, the use of complex numbers to represent the signals exchanged by perceptors (nodes) allows to manage more complex and nuanced concepts than those elaborated by standard neural networks for Γ interpretation of natural language, such as the declension of verbs or the gender and number of names.

Secondo una forma di realizzazione preferita dell'invenzione, i nodi sono configurati per rappresentare concetti o elementi semantici, mentre i collegamenti tra i nodi corrispondono a legami semantici tra di essi. L’algoritmo implementato dalla rete neurale consente di gestire un grafo di dimensioni elevate (dell’ordine di milioni di nodi e relazioni), caricato con tutte le relazioni linguistiche tra lemmi, verbi e concetti (secondo la lingua italiana o una qualsiasi lingua straniera). According to a preferred embodiment of the invention, the nodes are configured to represent semantic concepts or elements, while the links between the nodes correspond to semantic links between them. The algorithm implemented by the neural network allows you to manage a large graph (of the order of millions of nodes and relationships), loaded with all the linguistic relationships between lemmas, verbs and concepts (according to the Italian language or any foreign language) .

Grazie alla molteplicità di valori assumibili dal percettrone, per ciascun nodo possono essere simulati non solo un termine o una voce verbale, ma anche altre caratteristiche “secondarie” quali il genere, il numero o il tempo (nel caso di un verbo). Pertanto, a parità di operazioni, il risultato ottenuto è più accurato rispetto a reti neurali di tipo tradizionale. Thanks to the multiplicity of values that the perceptor can assume, not only a word or a verbal voice can be simulated for each node, but also other "secondary" characteristics such as gender, number or time (in the case of a verb). Therefore, with the same operations, the result obtained is more accurate than traditional neural networks.

Descrizione breve delle figure Brief description of the figures

Nel corso della presente descrizione verrà fatto riferimento alle Figure dei disegni allegati, in cui: In the course of the present description, reference will be made to the Figures of the attached drawings, in which:

- le Figure 1A e 1B mostrano rispettivamente una rete neurale biologica e una rete neurale artificiale di arte anteriore; - Figures 1A and 1B respectively show a biological neural network and an artificial neural network of prior art;

- la Figura 2 mostra schematicamente una forma di realizzazione preferita di una rete neurale artificiale secondo la presente invenzione; Figure 2 schematically shows a preferred embodiment of an artificial neural network according to the present invention;

le Figure da 3 a 5 mostrano esempi di processi di elaborazione di dati da parte di forme di realizzazione preferite di una rete neurale artificiale secondo la presente invenzione; e Figures 3 to 5 show examples of data processing processes by preferred embodiments of an artificial neural network according to the present invention; And

- la Figura 6 mostra un diagramma di flusso esemplificativo di una forma di realizzazione preferita di un modulo applicativo implementato mediante una rete neurale secondo la presente invenzione. Figure 6 shows an exemplary flow diagram of a preferred embodiment of an application module implemented by means of a neural network according to the present invention.

Le figure suindicate sono da intendersi esclusivamente a fini esemplificativi e non limitativi. The aforementioned figures are intended solely for illustrative and non-limiting purposes.

Descrizione dettagliata di forme di realizzazione preferite Detailed description of preferred embodiments

La presente invenzione si riferisce ad una rete neurale artificiale implementata mediante un programma per elaboratore, programmata per Γ interpretazione di espressioni in linguaggio naturale comprendenti uno o più termini, ad esempio nomi, verbi, eco.. The present invention refers to an artificial neural network implemented by means of a computer program, programmed for the interpretation of expressions in natural language comprising one or more terms, for example nouns, verbs, echo ..

Con riferimento alla Figura 2, una forma di realizzazione preferita di un sistema o apparato di rete neurale artificiale secondo la presente invenzione è denotata complessivamente con 10. In particolare, nella Figura 2 è mostrata solo una porzione di rete neurale che, con riferimento ad una particolare query, corrisponde al più piccolo sotto-grafo che contiene tutti i concetti e lemmi presenti nella query stessa. In particolare, sono evidenziate le connessioni tra i nodi che rappresentano il flusso di dati corrispondente al percorso deduttivo che porta ad un’inferenza, cioè ad un nodo che rappresenta un concetto o lemma di risposta alla query caricata. With reference to Figure 2, a preferred embodiment of an artificial neural network system or apparatus according to the present invention is denoted as a whole with 10. In particular, in Figure 2 only a portion of the neural network is shown which, with reference to a particular query, corresponds to the smallest sub-graph that contains all the concepts and lemmas present in the query itself. In particular, the connections between the nodes that represent the flow of data corresponding to the deductive path that leads to an inference are highlighted, that is, to a node that represents a concept or lemma of response to the loaded query.

La rete neurale 10 comprende una pluralità sistemi di nodi 1, 2, 3 implementati mediante un programma per elaboratore. The neural network 10 comprises a plurality of node systems 1, 2, 3 implemented by means of a computer program.

Ciascuno dei nodi 1, 2, 3 della rete è programmato per assumere una funzione analoga a quella di un nodo costituente un livello di input 11, un livello intermedio 12 di elaborazione dati o un livello di output 13 di una rete neurale di tipo tradizionale. In altre parole, a seconda della specifica query implementata, i nodi 1, 2, 3 possono assumere una funzionalità differente, cioè non sono legati rigidamente tra loro a costituire predefiniti livelli di input, intermedi o di output. Each of the nodes 1, 2, 3 of the network is programmed to assume a function similar to that of a node constituting an input level 11, an intermediate data processing level 12 or an output level 13 of a traditional type of neural network. In other words, depending on the specific query implemented, the nodes 1, 2, 3 can assume a different functionality, that is, they are not rigidly linked to each other to constitute predefined input, intermediate or output levels.

I nodi 1, 2, 3 della rete neurale secondo la presente invenzione sono programmati per trattare una pluralità di dati. Ogni dato di tale pluralità è costituito da una pluralità di valori, e può provenire da ulteriori diversi nodi o è un dato in ingresso alle rete neurale (dato che compone la query). Nello specifico, la rete neurale 10 oggetto della presente invenzione è di derivazione quantistica, in altre parole i dati scambiati tra i nodi 1, 2, 3 del grafo sono informazioni quantistiche, cioè quantum bit (o più brevemente qubit). The nodes 1, 2, 3 of the neural network according to the present invention are programmed to process a plurality of data. Each data of this plurality is made up of a plurality of values, and can come from further different nodes or is an input data to the neural network (given that makes up the query). Specifically, the neural network 10 object of the present invention is of quantum derivation, in other words the data exchanged between nodes 1, 2, 3 of the graph are quantum information, i.e. quantum bits (or more shortly qubits).

I nodi 1, 2, 3 della rete neurale secondo la presente invenzione possono comprendere innanzitutto mezzi per generare un dato di input in funzione di un dato iniziale corrispondente a un termine del linguaggio naturale. The nodes 1, 2, 3 of the neural network according to the present invention can first of all comprise means for generating an input datum as a function of an initial datum corresponding to a natural language term.

Inoltre, i nodi 1, 2, 3 comprendono mezzi di acquisizione di uno o più dati di input, ciascuno corrispondente ad uno dei termini dell’espressione in linguaggio naturale elaborata dalla rete. Questa pluralità di valori comprende un valore principale e almeno un valore secondario, che possono corrispondere ciascuno ad un numero, intero o decimale. Ciascun nodo comprende inoltre mezzi di elaborazione dei dati di input secondo una funzione predeterminata, cioè una particolare relazione matematica, che prevede ad esempio l'associazione di valore numerici predeterminati a ciascun dato di input e l'applicazione di una relazione di peso o proporzionalità a ciascun valore, anche in funzione della query implementata. In addition, the nodes 1, 2, 3 comprise means of acquiring one or more input data, each corresponding to one of the terms of the expression in natural language processed by the network. This plurality of values comprises a main value and at least one secondary value, which can each correspond to a number, integer or decimal. Each node also comprises means for processing the input data according to a predetermined function, i.e. a particular mathematical relationship, which provides for example the association of predetermined numerical values to each input data and the application of a weight or proportionality relationship to each value, also depending on the query implemented.

In particolare, i mezzi di acquisizione e i mezzi di elaborazione sono programmati per trattare dati di input a cui sono associati esclusivamente due valori, rispettivamente il valore principale e il valore secondario. Preferibilmente, i due valori sono rappresentati da un numero complesso. In particular, the acquisition means and the processing means are programmed to process input data to which only two values are associated, respectively the main value and the secondary value. Preferably, the two values are represented by a complex number.

Con riferimento alla Figura 2, verrà illustrata a seguire la modalità di funzionamento dei nodi 1, 2, 3, a seconda della funzionalità assunta in risposta alla specifica query. With reference to Figure 2, the operating mode of nodes 1, 2, 3 will follow, according to the functionality assumed in response to the specific query.

Si consideri un nodo che assume la funzione di nodo di input, indicato con 1 in Figura 2 e denominato a seguire nodo di input 1 per semplicità. Secondo tale modalità di funzionamento, il nodo di input 1 è programmato per generare un dato di input in funzione di un dato iniziale corrispondente a un termine del linguaggio naturale. Ad ogni dato di input è associata una pluralità di valori, di cui un valore principale e almeno un valore secondario, ciascuno rappresentativo di una caratteristica semantica del termine associato al dato stesso. Preferibilmente, i dati di input comprendono solo un valore principale e un valore secondario, rappresentati ad esempio mediante un numero complesso. I nodi di input 1 sono inoltre programmati per inviare i dati di input così generati agli altri nodi 2, 3 della rete. Consider a node that assumes the function of input node, indicated by 1 in Figure 2 and named after input node 1 for simplicity. According to this operating mode, the input node 1 is programmed to generate an input data as a function of an initial data corresponding to a term of the natural language. A plurality of values is associated with each input datum, of which one main value and at least one secondary value, each representative of a semantic characteristic of the term associated with the datum itself. Preferably, the input data comprises only a main value and a secondary value, represented for example by a complex number. The input nodes 1 are also programmed to send the input data thus generated to the other nodes 2, 3 of the network.

I nodi che implementano le funzionalità di nodi di output, o più semplicemente i nodi di output 3, sono configurati per ricevere dati da altri nodi e programmati per attivarsi se almeno un valore secondario di tali dati ricevuti verifica una condizione predeterminata, ad esempio se è superiore ad un valore di soglia predeterminato. The nodes that implement the functionality of output nodes, or more simply the output nodes 3, are configured to receive data from other nodes and programmed to activate if at least a secondary value of such received data verifies a predetermined condition, for example if it is higher than a predetermined threshold value.

Nella presente trattazione, il termine “attivare” riferito ad un nodo va inteso ad indicare che il nodo, dopo aver elaborato un segnale di input e verificato che soddisfa una condizione prestabilita (es. presenta un valore superiore ad una soglia predeterminata), procede con emissione di un corrispondente segnale di output agli ulteriori nodi della rete se sta funzionando come nodo intermedio o processore, oppure interrompe il processo deduttivo e si attiva come nodo inferenza se sta funzionando come nodo di output. In the present discussion, the term "activate" referring to a node is intended to indicate that the node, after processing an input signal and verifying that it satisfies a predetermined condition (eg it has a value greater than a predetermined threshold), proceeds with issuing a corresponding output signal to further nodes in the network if it is operating as an intermediate node or processor, or it interrupts the deductive process and activates as an inference node if it is operating as an output node.

Ciascun nodo della rete neurale artificiale 10 che agisce da nodo processore (più brevemente nodo processore 2), è programmato in maniera tale che, per ciascun dato di input, se il valore principale elaborato mediante i mezzi di elaborazione verifica una condizione predeterminata, invia un corrispondente dato di input agli ulteriori nodi della rete neurale artificiale 10 a cui è connesso. Each node of the artificial neural network 10 which acts as processor node (more briefly processor node 2), is programmed in such a way that, for each input data, if the main value processed by the processing means verifies a predetermined condition, it sends a corresponding input data to the further nodes of the artificial neural network 10 to which it is connected.

In altre parole, quando un dato di input arriva ad un nodo processore 2, il nodo lo elabora e a valle di tale elaborazione considera esclusivamente i risultati legati al valore principale del dato di input. Se questi verificano una condizione matematica predeterminata, allora il nodo 2 a sua volta provvede all’invio del segnale elaborato, che comprende i valori principali e i valori secondari elaborati, agli ulteriori nodi del grafo realizzato della rete 10. Tale condizione matematica può ad esempio consistere nel fatto che il valore principale elaborato mediante i mezzi di elaborazione debba essere superiore o inferiore ad un valore di soglia predeterminato. In other words, when an input data arrives at a processor node 2, the node processes it and downstream of this processing it considers exclusively the results linked to the main value of the input data. If these verify a predetermined mathematical condition, then node 2 in turn sends the processed signal, which includes the main values and the processed secondary values, to the further nodes of the realized graph of the network 10. This mathematical condition may, for example, consist in the fact that the main value processed by the processing means must be higher or lower than a predetermined threshold value.

Secondo una forma di realizzazione preferita dell'invenzione, i nodi 1, 2, 3 della rete 10 sono realizzati mediante percettroni, nello specifico percettroni a numeri complessi. In particolare, ogni percettrone è configurato per assumere più valori contemporaneamente, ad esempio due valori rappresentabili appunto mediante un numero complesso. According to a preferred embodiment of the invention, the nodes 1, 2, 3 of the network 10 are made by means of perceptors, specifically complex number perceptors. In particular, each perceptron is configured to assume several values simultaneously, for example two values that can be represented precisely by a complex number.

In altre parole, l'invenzione fornisce una rete neurale strutturata a grafo e comprendente nodi realizzati mediante percettroni configurati per elaborare una struttura dati che consiste in un array di numeri complessi. Nel seguito della trattazione, un nodo potrà essere indicato anche con il termine “percettrone”, e viceversa. In other words, the invention provides a graph-structured neural network comprising nodes made by perceptors configured to process a data structure consisting of an array of complex numbers. In the rest of the discussion, a node may also be indicated with the term "perceptor", and vice versa.

Il percettrone rappresenta dunque la più piccola unità elaborativa della rete neurale secondo la presente invenzione, e realizza di fatto un elemento omologo del neurone della rete neurale biologica. The perceptron therefore represents the smallest processing unit of the neural network according to the present invention, and actually realizes a homologous element of the neuron of the biological neural network.

La funzionalità implementata da ciascun percettrone è quella di consentire oppure evitare la propagazione dei dati o segnali in input, in funzione del valore di un parametro caratteristico di tale segnale rispetto ad un valore impostato come valore di soglia, ad esempio attraverso l’impiego di una funzione soglia. The functionality implemented by each perceptor is to allow or avoid the propagation of input data or signals, depending on the value of a characteristic parameter of this signal with respect to a value set as a threshold value, for example through the use of a threshold function.

Ad esempio, il segnale che arriva ad un nodo viene fatto passare al nodo successivo solamente se il suddetto valore di un parametro caratteristico supera una soglia prestabilita. For example, the signal arriving at a node is passed on to the next node only if the aforementioned value of a characteristic parameter exceeds a predetermined threshold.

Preferibilmente, i percettroni sono configurati per elaborare i dati (o segnali) secondo operazioni molto semplici, linearmente separabili, come quelle definite dagli operatori booleani AND e OR. Preferably, the perceptrons are configured to process the data (or signals) according to very simple, linearly separable operations, such as those defined by the Boolean operators AND and OR.

In particolare, la rete neurale dell’invenzione è una rete neurale a grafo i cui nodi sono quantum bit (qubit). Il qubit è un oggetto matematico che corrisponde al quanto di informazione neN’ambito della computazione quantistica, cioè alla più piccola porzione in cui una qualsiasi informazione codificata può essere scomposta. Pertanto, può essere impiegato come unità di misura dell'informazione codificata. In particular, the neural network of the invention is a graph neural network whose nodes are quantum bits (qubits). The qubit is a mathematical object that corresponds to the quantum of information in the field of quantum computation, that is, to the smallest portion into which any coded information can be broken down. Therefore, it can be used as a unit of measurement of the coded information.

II qubit presenta specifiche proprietà di tipo noto, derivanti dai postulati della meccanica quantistica. In accordo con tali postulati, un qubit può assumere più valori contemporaneamente. The qubit has specific properties of a known type, deriving from the postulates of quantum mechanics. According to these postulates, a qubit can take on several values at the same time.

La soluzione implementata mediante la presente invenzione simula la capacità del qubit di assumere più valori contemporaneamente, mediante una struttura dati della rete neurale che fondamentalmente comprende un array di numeri complessi. The solution implemented by means of the present invention simulates the ability of the qubit to assume several values simultaneously, by means of a data structure of the neural network which basically comprises an array of complex numbers.

Rispetto alle reti neurali di tipo noto, la rete neurale oggetto della presente invenzione prevede dunque una modifica strutturale che consiste nella sostituzione dei numeri reali a favore di una struttura dati basata sul qubit, in cui ad ogni valore che il qubit può assumere corrisponde un numero complesso. In questo modo, il dato trasmesso tra i nodi può simulare un segnale elettrico presentante parametri caratteristici quali magnitudo e frequenza, lasciando inalterata la logica di funzionamento del percettrone. Compared to known neural networks, the neural network object of the present invention therefore provides for a structural modification consisting in the substitution of real numbers in favor of a data structure based on the qubit, in which each value that the qubit can assume corresponds to a number complex. In this way, the data transmitted between the nodes can simulate an electrical signal having characteristic parameters such as magnitude and frequency, leaving the operating logic of the perceptor unchanged.

Si segnale che il percettrone di tipo noto riceve da altri percettroni segnali comprendenti solo valori in numeri reali, e procede con una operazione di moltiplicazione di ciascun valore per il rispettivo coefficiente o peso. I valori dei segnali così pesati vengono sommati, ad ottenere un unico segnale reale. Una funzione di attivazione stabilisce se la quantità di segnale ottenuta può passare o meno in funzione di un valore di soglia predeterminato, determinando il risultato. It is pointed out that the perceptor of known type receives signals from other perceptors comprising only values in real numbers, and proceeds with an operation of multiplying each value by the respective coefficient or weight. The values of the signals thus weighted are added together to obtain a single real signal. An activation function establishes whether the amount of signal obtained can pass or not as a function of a predetermined threshold value, determining the result.

La rete neurale proposta prevede invece mezzi di connessione tra i percettroni comprendenti un canale (o tubo) configurato per consentire il passaggio simultaneo di più segnali elettrici complessi, cioè ciascuno dei segnali trasmessi da un percettrone può comprendere più valori sensibili o significativi, in grado di essere considerati e apprezzati dal percettrone. The proposed neural network, on the other hand, provides for means of connection between the perceptors comprising a channel (or tube) configured to allow the simultaneous passage of several complex electrical signals, i.e. each of the signals transmitted by a perceptor can include several sensitive or significant values, capable of be considered and appreciated by the perceiver.

Le logiche di attivazione dei qubit sono descritte a seguire. The qubit activation logics are described below.

In primis, si specifica che può essere presente un numero arbitrario di livelli di nodi o qubit, e ogni livello di qubit è autonomo, cioè non influenzato dagli altri. Secondo una forma di realizzazione preferita dell'invenzione, la parte reale del primo livello di qubit e dei livelli sottostanti è l'unica che determina la propagazione logica di attivazione del segnale, secondo le modalità già descritte. In particolare, è previsto il confronto del valore della parte reale del segnale con un valore di soglia, e la propagazione del segnale avviene ad esempio se il valore della parte reale è maggiore del valore di soglia. First, it is specified that an arbitrary number of levels of nodes or qubits can be present, and each level of qubit is autonomous, that is, not influenced by the others. According to a preferred embodiment of the invention, the real part of the first qubit level and of the underlying levels is the only one that determines the logical activation propagation of the signal, according to the methods already described. In particular, the comparison of the value of the real part of the signal with a threshold value is envisaged, and the propagation of the signal occurs, for example, if the value of the real part is greater than the threshold value.

La parte immaginaria del primo livello e dei livelli sottostanti è quella che concorre invece alla logica di direzionamento e propagazione del segnale verso gli altri percettroni. L’utilizzo dei numeri complessi per rappresentare i segnali trasmessi dai percettroni permette dunque di gestire concetti complessi effettuando un minor numero di singole trasmissioni di segnale rispetto alle reti neurali standard, a fronte di una minore complessità strutturale di rete. The imaginary part of the first level and of the underlying levels is the one that instead contributes to the logic of direction and propagation of the signal towards the other perceptors. The use of complex numbers to represent the signals transmitted by perceptrons therefore allows you to manage complex concepts by carrying out fewer single signal transmissions than standard neural networks, against a lower structural network complexity.

Ad esempio, è possibile gestire con reti snelle espressioni comprendenti concetti articolati, come verbi declinati secondo specifiche persone o tempi. For example, it is possible to manage with lean networks expressions including complex concepts, such as verbs declined according to specific persons or times.

Un esempio di elaborazione dati implementato mediante una rete neurale secondo la presente invenzione è mostrato in Figura 4, ed è descritto a seguire. An example of data processing implemented by means of a neural network according to the present invention is shown in Figure 4, and is described below.

Si consideri un percettrone che rappresenta il verbo “essere”. Il dato di input trasmesso dal percettrone è rappresentato da un numero complesso che presenta una parte reale associata al tempo del verbo, e una parte immaginaria associata alla persona. La potenza o intensità del segnale determina invece l’attivazione dei qubit. Consider a perceiver representing the verb "to be". The input data transmitted by the perceiver is represented by a complex number that has a real part associated with the tense of the verb, and an imaginary part associated with the person. The power or intensity of the signal instead determines the activation of the qubits.

Se il percettrone successivo viene attivato perché la potenza del segnale è superiore ad un valore di soglia, allora la direzione di propagazione verso il qubit successivo è influenzata dai valori dei qubit precedenti. If the next perceptron is activated because the signal strength is greater than a threshold value, then the direction of propagation to the next qubit is affected by the values of the previous qubits.

Si analizzano ad esempio i seguenti tre scenari, riportati in sovrapposizione nella Figura 4: For example, the following three scenarios are analyzed, shown overlapping in Figure 4:

“Chi è il sindaco di Roma?” "Who is the mayor of Rome?"

“Chi sarà il sindaco di Roma?” "Who will be the mayor of Rome?"

“Sarò il sindaco di Roma?” "Will I be the mayor of Rome?"

In tutti i casi, le forme verbali “è” e “sarà” sono associate alla voce del verbo “essere”, arrivando in entrambi i casi ad un qubit che rappresenta il concetto di: “richiesta conoscenza essere sindaco Roma”. In all cases, the verbal forms "is" and "will be" are associated with the voice of the verb "to be", arriving in both cases to a qubit that represents the concept of: "knowledge required to be mayor of Rome".

Una rete neurale di tipo tradizionale arriverebbe a questa stessa conclusione per entrambe le forme verbali considerate, comunque per una rete neurale espressamente progettata per rispondere a domande di questo tipo varrebbero sempre le considerazioni fatte sulle prestazioni delle reti al crescere delle dimensioni. A traditional neural network would arrive at this same conclusion for both verbal forms considered, however for a neural network expressly designed to answer questions of this type, the considerations made on the performance of the networks as the size increases would always be valid.

Al contrario, una rete neurale implementata secondo la presente invenzione arriva a questa stessa conclusione utilizzando la rete di primo livello, dopo di che prosegue con l’elaborazione dei dati legati alla persona e al tempo verbale. Pertanto, il segnale viene ulteriormente indirizzato a un diverso qubit di risposta in base all'informazione contenuta in ciascun layer di valori contemporanei ottenuti dallo storico della propagazione del segnale. On the contrary, a neural network implemented according to the present invention reaches this same conclusion using the first level network, after which it continues with the processing of data related to the person and the verbal tense. Therefore, the signal is further routed to a different response qubit based on the information contained in each layer of contemporary values obtained from the signal propagation history.

In particolare, in entrambi i casi si è attivato il qubit associato alla voce del verbo “essere” per via del fatto che la potenza di entrambi i segnali è superiore alla soglia di attivazione, portando in prima battuta alla stessa conclusione della rete neurale tradizionale. Tuttavia, questa attivazione è provocata da qubit diversi, che generano segnali differenti nella parte reale ed immaginaria, provocando in ultima istanza l’attivazione di tre qubit di risposta differenti. In particular, in both cases the qubit associated with the voice of the verb “to be” was activated due to the fact that the power of both signals is higher than the activation threshold, leading in the first instance to the same conclusion of the traditional neural network. However, this activation is caused by different qubits, which generate different signals in the real and imaginary part, ultimately causing the activation of three different response qubits.

In virtù del fatto che ogni qubit può assumere diversi valori contemporaneamente, dove ogni valore è rappresentato da un segnale elettrico a più valori, più preciso rispetto alla classica rappresentazione reale, è possibile ottenere risultati più accurati rispetto alla rete tradizionali, che conservano le diverse sfumature dell’espressione in linguaggio naturale elaborata. By virtue of the fact that each qubit can assume different values at the same time, where each value is represented by an electrical signal with multiple values, more precise than the classic real representation, it is possible to obtain more accurate results than the traditional network, which retain the different nuances of the processed natural language expression.

In particolare, la rete neurale secondo la presente innovazione può consentire di ottenere risultati di accuratezza nettamente superiore rispetto a quelli ottenuti con reti tradizionali, pur conservando una struttura a grafo estremamente compatta, cioè comprendente un numero estremamente limitato di neuroni/qubit. In particular, the neural network according to the present innovation can allow to obtain results of much higher accuracy than those obtained with traditional networks, while retaining an extremely compact graph structure, that is, comprising an extremely limited number of neurons / qubits.

Al contrario, le reti neurali di tipo noto diventano meno performanti al crescere delle loro dimensioni. On the contrary, known neural networks become less performing as their size increases.

In sostanza, per consentire la trasmissione di un segnale che porti anche informazioni secondarie o accessorie, oltre all'informazione principale, si valorizza la parte immaginaria del numero complesso per permettere la creazione di dati diversi, nel caso specifico di segnali diversi in magnitudo e frequenza, a seconda dell'informazione secondaria da trasmettere. Nel caso in cui non vi siano particolari informazioni accessorie da propagare (es. la persona e il tempo verbale nel caso precedente), è considerata esclusivamente la parte reale del numero complesso. Basically, to allow the transmission of a signal that also carries secondary or accessory information, in addition to the main information, the imaginary part of the complex number is enhanced to allow the creation of different data, in the specific case of signals different in magnitude and frequency. , depending on the secondary information to be transmitted. In the event that there is no particular accessory information to propagate (eg the person and the tense in the previous case), only the real part of the complex number is considered.

Ciò detto, è evidente come la presente invenzione risulti particolarmente vantaggiosa nel caso di applicazione in contesti come quelli della elaborazione e comprensione del linguaggio naturale. That said, it is evident that the present invention is particularly advantageous in the case of application in contexts such as those of the processing and understanding of natural language.

Infatti, la soluzione sopra presentata consente di implementare una rete neurale invariante nelle dimensioni strutturali e nel numero di connessioni rispetto a quelle di tipo noto, ma che consente di portare avanti elaborazioni più accurate, che tengano conto anche di una pluralità di informazioni accessorie. In fact, the solution presented above makes it possible to implement a neural network that is invariant in structural dimensions and in the number of connections compared to those of a known type, but which allows more accurate processing to be carried out, which also takes into account a plurality of accessory information.

Con riferimento allo schema di Figura 3, di seguito è descritta una ulteriore forma di realizzazione preferita di una rete neurale strutturata a grafo secondo la presente invenzione, programmata per applicazioni di comprensione di espressioni in linguaggio naturale. With reference to the diagram of Figure 3, a further preferred embodiment of a graph-structured neural network according to the present invention, programmed for applications of understanding expressions in natural language, is described below.

Ogni nodo del grafo contiene tutte le relazioni tra le varie parole e concetti nella forma di un percettrone a numeri complessi ad n livelli, ovvero un qubit. Each node of the graph contains all the relationships between the various words and concepts in the form of a complex number perceptron at n levels, or a qubit.

La combinazione e la concatenazione dei qubit permette la risoluzione di problemi ed inferenze molto complesse. Nell’esempio specifico, la rete può presentare diversi tipi di nodo, elencati a seguire: The combination and concatenation of qubits allows the resolution of very complex problems and inferences. In the specific example, the network can have different types of nodes, listed below:

- Lemma: è il nodo più semplice, contiene puramente una singola informazione (cane, gatto, persona, veicolo, etc.); - Lemma: it is the simplest node, it contains purely a single piece of information (dog, cat, person, vehicle, etc.);

- Concepì : rappresenta un concetto, generalmente è frutto della combinazione di più lemmi e corrisponde ad un percettrone più complesso. Serve per rappresentare concetti articolati, come ad esempio “animale protetto”, composto dal lemma “animale” e dal lemma “protetto”. - Conceived: it represents a concept, generally it is the result of the combination of several lemmas and corresponds to a more complex perceptron. It is used to represent complex concepts, such as "protected animal", composed of the lemma "animal" and the lemma "protected".

- Inference\ è tipologia di nodo più importante, generalmente punto di arrivo di un processo deduttivo implementato mediante la rete neurale, costituito dalla combinazione di nodi di tipo lemma o concepì. Tale nodo permette di fare inferenza, cioè deduzioni. - Inference \ is the most important type of node, generally the point of arrival of a deductive process implemented by the neural network, consisting of the combination of lemma or concept nodes. This node allows you to make inference, that is, deductions.

Il nodo concepì è definito anche “struttura a centroide”, la cui modellazione rappresenta la discriminante tra una corretta propagazione del segnale o meno e quindi il funzionamento delle logiche che portano all'inferenza. Ai nodi di tipo inference possono essere associate azioni da intraprendere o risorse (immagini, documenti) da recuperare. The conceived node is also defined as a “centroid structure”, whose modeling represents the discriminant between a correct propagation of the signal or not and therefore the functioning of the logics that lead to inference. Inference nodes can be associated with actions to be taken or resources (images, documents) to be recovered.

Nell’esempio proposto si considera un contesto legale, in cui vogliamo recuperare delle sentenze di legge sulla base dell’ interpretazione di ricerche in linguaggio naturale, rispetto all’espressione (in questo caso una frase con accezione interrogativa): “Si può comprare un’iguana?” In the example proposed, we consider a legal context, in which we want to recover legal sentences on the basis of the interpretation of searches in natural language, with respect to the expression (in this case a sentence with an interrogative meaning): "You can buy a iguana? "

II processo deduttivo implementato mediante la rete neurale dell’invenzione segue le seguenti logiche. The deductive process implemented through the neural network of the invention follows the following logic.

La frase da interpretare viene scomposta in ioken, cioè si individuano i singoli termini che compongono l’espressione considerata (nell’esempio ora discusso: The sentence to be interpreted is broken down into ioken, that is, the individual terms that make up the expression considered are identified (in the example now discussed:

[si, può, comprare, un, iguana]). [yes, you can buy an iguana]).

I termini troppo ricorrenti e non utili ai fini dell’elaborazione sono rimossi perché non significativi neN’implementazione del ragionamento deduttivo (nell’esempio non sono considerati i termini: [si, un]). Terms that are too recurrent and not useful for processing purposes are removed because they are not significant in the implementation of deductive reasoning (in the example the terms: [yes, a] are not considered).

Viene ricercato il sotto-grafo con percorso minimo che contiene tutti i nodi presenti nella frase che portano ad una inferenza. The sub-graph with minimum path is searched which contains all the nodes present in the sentence that lead to an inference.

Poiché i concetti sono generalmente rappresentati da più nodi di tipo lemma e nella estrazione del cammino minimo viene preso in considerazione solo un nodo degli n che compongono il nodo concepì, per ogni nodo concepì presente nel grafo vengono aggiunti i nodi di esso mancanti. Since the concepts are generally represented by several lemma-type nodes and in the extraction of the shortest path only one node of the n composing the conceived node is taken into consideration, for each conceived node present in the graph the missing nodes are added.

I nodi in input (quelli corrispondenti ai termini significativi presenti nella frase) sono tipicamente attivati con segnale di potenza massima, ovvero magnitudo 1.0 su una scala da 0 a 1.0. The input nodes (those corresponding to the significant terms present in the sentence) are typically activated with a maximum power signal, i.e. magnitude 1.0 on a scale from 0 to 1.0.

I segnali vengono propagati ai nodi (percettroni) successivi del percorso, che verranno attivati solamente se la potenza del segnale accumulato supera una soglia predeterminata. The signals are propagated to the successive nodes (perceptrons) of the path, which will be activated only if the power of the accumulated signal exceeds a predetermined threshold.

Tra tutte le inferenze presenti si cerca, se esiste, quella che è stata attivata, che diviene il risultato del processo deduttivo. Among all the present inferences one seeks, if it exists, the one that has been activated, which becomes the result of the deductive process.

In questo caso, il nodo inferenza corrispondente a “sentenza n. 1” viene attivato solamente se vengono attivati i nodi/percettroni “animale_protetto” e “commercio”. Il nodo “animale_protetto” viene attivato solamente se il nodo “animale” e “protetto” vengono attivati (mediante una propagazione di segnale dai nodi precedenti). In this case, the inference node corresponding to “sentence no. 1 "is activated only if the" animal_protected "and" trade "nodes / perceptrons are activated. The "animal_protected" node is activated only if the "animal" and "protected" node are activated (by means of a signal propagation from the previous nodes).

Nell’esempio specifico, questo processo fa sì che solamente “iguana”, che è connesso a “protetto”, può attivare il nodo “animale_protetto”, conducendo quindi alla attivazione dell’inferenza “sentenza n. 1”. Al contrario, si può osservare come il nodo “gatto” può attivare solamente il 50% del segnale necessario ad attivare “animale_protetto”, e pertanto non può determinare l’attivazione del nodo inferenza “sentenza n. 1”, di fatto causando la cessazione del processo deduttivo. In the specific example, this process means that only "iguana", which is connected to "protected", can activate the "animal_protected" node, thus leading to the activation of the inference "sentence no. 1 ". On the contrary, it can be observed that the "cat" node can activate only 50% of the signal necessary to activate "protected_ animal", and therefore cannot determine the activation of the inference node "sentence no. 1 ", effectively causing the termination of the deductive process.

A titolo esemplificativo, riportiamo a seguire un ulteriore esempio di applicazione di un processo deduttivo mediante il sistema di rete neurale secondo la presente invenzione, di cui lo schema corrispondente è mostrato in Figura 5. By way of example, we report below a further example of application of a deductive process by means of the neural network system according to the present invention, of which the corresponding scheme is shown in Figure 5.

Si considerino le espressioni in linguaggio naturale: “Chi è il sindaco di Solarino?” e “Chi sarà il sindaco di Solarino?”. Consider the expressions in natural language: "Who is the mayor of Solarino?" and "Who will be the mayor of Solarino?".

Il nodo “è” (indicativo presente, terza persona singolare) è collegato al generico verbo “essere”, che aziona lo schema chi_essere->sindaco_solarino. The node "is" (present indicative, third person singular) is connected to the generic verb "to be", which activates the chi_essere-> sindaco_solarino scheme.

Il nodo “sarà” (futuro, terza persona singolare) è anch’esso collegato al generico verbo “essere”, che aziona lo schema chi_essere->sindaco_solarino. The node "will" (future, third person singular) is also connected to the generic verb "to be", which activates the chi_essere-> mayor_solar scheme.

Entrambi i casi darebbero lo stesso risultato se implementati mediante una rete neurale tradizionale. Both cases would give the same result if implemented through a traditional neural network.

L’algoritmo implementato mediante la rete neurale dell'invenzione prevede di considerare una ulteriore seconda parte del qubit, cioè il secondo numero complesso (ricordiamo infatti che ci sono due numeri complessi). The algorithm implemented through the neural network of the invention envisages considering a further second part of the qubit, that is, the second complex number (remember in fact that there are two complex numbers).

Si considerano queste informazioni nel modo seguente. This information is considered as follows.

La magnitudo (la potenza del segnale), rappresentata dalla parte reale del numero complesso, associa tutti i possibili tempi dei verbi italiani (che sono 15) a valori compresi nell'intervallo [0, 1], ad esempio: The magnitude (the signal strength), represented by the real part of the complex number, associates all the possible tenses of the Italian verbs (which are 15) to values included in the interval [0, 1], for example:

Indicativo presente = 0.07 Present indicative = 0.07

Congiuntivo presente = 1.14 Present subjunctive = 1.14

Indicativo futuro semplice = 0.98 Simple future indicative = 0.98

La parte immaginaria è associata invece alla persona del verbo: The imaginary part is instead associated with the person of the verb:

Prima persona singolare = 0.16 First person singular = 0.16

Prima persona plurale = 0.33 First person plural = 0.33

Terza persona plurale = 1 Third person plural = 1

Riprendendo gli esempi precedenti, nella prima fase il qubit “è” assume il seguente valore: Taking up the previous examples, in the first phase the qubit "is" takes on the following value:

è = {{delta (1 ,0+i*0 ))l{phi (0.07+i*0.83)) is = {{delta (1, 0 + i * 0)) l {phi (0.07 + i * 0.83))

mentre il qubit “sarà” assume il seguente valore: while the qubit "will" takes on the following value:

sarà = {{delta (1.0+i<*>0 ))l{phi (0.98+i<*>0.83)) will be = {{delta (1.0 + i <*> 0)) l {phi (0.98 + i <*> 0.83))

Pertanto, il nodo assume più valori allo stesso tempo (da qui il concetto di derivazione quantistica). Therefore, the node takes on multiple values at the same time (hence the concept of quantum derivation).

Il dato principale, o meglio il segnale portante, cioè quello che attiva tutte le logiche precedentemente descritte, è rappresentato dal valore delta e viene propagato attraverso tutti i nodi. Questo segnale porta contemporaneamente con sé altre informazioni, cioè i dati secondari phi. Se il dato principale delta riesce ad arrivare al nodo inferenza “sindaco_solarino”, attivandolo, è possibile sfruttare il dato secondario phi, cioè il valore che esso assume contemporaneamente a delta, per implementare delle logiche e sfumature inferenziali del seguente tipo: The main datum, or rather the carrier signal, that is the one that activates all the previously described logics, is represented by the delta value and is propagated through all the nodes. This signal simultaneously carries with it other information, i.e. secondary phi data. If the main delta data manages to reach the "sindaco_solarino" inference node, by activating it, it is possible to exploit the secondary data phi, that is the value it assumes at the same time as the delta, to implement inferential logics and nuances of the following type:

IF rea\{phi) > 0.8 □ vai al nodo “impossible_to_know” IF rea \ {phi)> 0.8 □ go to the node "impossible_to_know"

IF rea\{phi) < 0.5 □ vai al nodo “Sebastiano_Scorpo” IF rea \ {phi) <0.5 □ go to the node "Sebastiano_Scorpo"

In altre parole, se la richiesta è riferita al futuro, la rete risponde “Non lo posso sapere”, se è riferita al presente la rete risponde con il nome dell’attuale sindaco “Sebastiano Scorpo”. In other words, if the request refers to the future, the network responds "I cannot know", if it refers to the present, the network responds with the name of the current mayor "Sebastiano Scorpo".

In sostanza, la combinazione di strutture dati e gli algoritmi implementati dalla rete neurale artificiale secondo la presente invenzione, che tratta numeri complessi invece che valori scalari, consentono di conseguire due importanti vantaggi rispetto alle reti neurali artificiali di tipo noto: Basically, the combination of data structures and the algorithms implemented by the artificial neural network according to the present invention, which deals with complex numbers instead of scalar values, allow to achieve two important advantages over known artificial neural networks:

- estrema rapidità nell’addestramento, perché il sistema di rete neurale lavora per concetti; il training richiede ridotte quantità di casi di test, in quanto il legame tra i vari concetti si propaga attraverso tutti gli altri concetti ed inferenze della rete, portando ad uno snellimento del processo di addestramento; e - extreme rapidity in training, because the neural network system works by concepts; training requires small quantities of test cases, as the link between the various concepts propagates through all the other concepts and inferences of the network, leading to a streamlining of the training process; And

- migliore precisione ed accuratezza dei risultati. - better precision and accuracy of results.

Inoltre, la rete neurale dell'invenzione è dinamica nella sua struttura: nodi, concetti ed inferenze possono essere aggiunti e/o rimossi in tempo reale senza compromettere il modello matematico di base. Furthermore, the neural network of the invention is dynamic in its structure: nodes, concepts and inferences can be added and / or removed in real time without compromising the basic mathematical model.

Al contrario, nelle reti neurali tradizionali ogni singola modifica alla struttura implica un nuovo addestramento della stessa. On the contrary, in traditional neural networks every single modification to the structure implies a new training of the same.

Per quanto riguarda le strutture dati impiegate nella rete neurale oggetto della presente descrizione, preferibilmente si impiegano strutture di tipo hash table e B-Tree. As regards the data structures used in the neural network object of the present description, structures of the hash table and B-Tree type are preferably used.

Le strutture dati hash table consentono di realizzare una associazione tra una determinata chiave e un determinato valore. Le hash table possono essere impiegate per l'implementazione di strutture dati astratte associative, ad esempio di tipo Map o Set. Hash table data structures allow you to make an association between a certain key and a certain value. Hash tables can be used for the implementation of associative abstract data structures, for example of the Map or Set type.

Una ricerca basata sull ’hashing prevde l’accesso agli elementi nella tabella hash in modo diretto, tramite operazioni aritmetiche che trasformano determinate chiavi in determinati indirizzi della tabella. A search based on hashing provides for direct access to elements in the hash table, through arithmetic operations that transform certain keys into certain table addresses.

Una caratteristica delle hash tables è l’estrema velocità nel recuperare le informazioni, nello specifico basta una sola operazione di accesso per recuperare un determinato dato. Per massimizzare tale caratteristica, le hash table sono preferibilmente implementate per essere utilizzate completamente in RAM. A feature of hash tables is the extreme speed in retrieving information, specifically a single access operation is enough to retrieve a given data. To maximize this feature, hash tables are preferably implemented to be used completely in RAM.

Le strutture dati/metodi del tipo B-Tree consentono una rapida localizzazione di file di dati ( Records o keys), in particolare nei database, e consentono di minimizzare il numero di accessi alla memoria da parte dell’utente per acquisire i dati memorizzati. The data structures / methods of the B-Tree type allow a quick localization of data files (Records or keys), in particular in databases, and allow to minimize the number of accesses to the memory by the user to acquire the stored data.

Il vantaggio principale che deriva dall’adozione di strutture dati B-Tree è quello di poter compiere operazioni di inserimento, cancellazione e ricerca dati in tempi ammortizzati logaritmicamente. A titolo esemplificativo, un B-Tree i cui nodi contengono 1000 chiavi è in grado di gestire 1.000.000.000 di chiavi effettuando solo tre accessi (cioè tre livelli). The main advantage deriving from the adoption of B-Tree data structures is that of being able to perform data insertion, deletion and search operations in logarithmically amortized times. By way of example, a B-Tree whose nodes contain 1000 keys is able to manage 1,000,000,000 keys by performing only three accesses (i.e. three levels).

Nella rete neurale dell'invenzione, il grafo è preferibilmente implementato utilizzando tabelle hash per consentire un rapido accesso alle informazioni. In the neural network of the invention, the graph is preferably implemented using hash tables to allow quick access to information.

Se è necessario immagazzinare un numero molto elevato di informazioni, dell’ordine dei milioni, al fine di ottimizzare le risorse utilizzate -soprattutto hardware- si possono impiegare strutture dati B-Tree a supporto di hash table. If it is necessary to store a very large number of information, in the millions, in order to optimize the resources used - especially hardware - B-Tree data structures can be used to support hash tables.

Preferibilmente, parte dei dati si memorizza su hash table in memoria RAM, dimensionata in base all’hardware a disposizione. I dati rimanenti si memorizzano su una struttura B-Tree, dove la ricerca viene effettuata per eccezione, qualora non siano trovati risultati nella hash table. Preferably, part of the data is stored on a hash table in RAM memory, sized according to the available hardware. The remaining data is stored in a B-Tree structure, where the search is performed by exception, if no results are found in the hash table.

La rete neurale dell’invenzione può prevede ulteriormente un elemento di interfaccia, di livello superiore rispetto alle due strutture dati B-Tree e hash table appena descritte, che consente l’accesso ad entrambe le strutture. L’elemento di interfaccia è configurato per consentire ad un utente di interagire virtualmente con una struttura dati unica, al fine di facilitare l’uso della rete neurale semplificare l’accesso ai dati. The neural network of the invention can further provide an interface element, at a higher level than the two data structures B-Tree and hash table just described, which allows access to both structures. The interface element is configured to allow a user to interact virtually with a single data structure, in order to facilitate the use of the neural network and simplify access to data.

Ambito di applicazione della presente invenzione e specifici moduli di implementazione Scope of the present invention and specific implementation modules

• Pubblica amministrazione • Public administration

La rete neurale secondo la presente invenzione può trovare applicazione in contesti legati alla pubblica amministrazione per implementare piattaforme di offerta di servizi di supporto al cittadino particolarmente efficienti. The neural network according to the present invention can find application in contexts linked to the public administration to implement platforms for offering particularly efficient citizen support services.

I moduli utilizzati dalla rete neurale dell’invenzione applicata in questo specifico contesto possono prevedere: The modules used by the neural network of the invention applied in this specific context may include:

- rete neurale proprietaria per la gestione dell’interpretazione del linguaggio naturale e la comprensione dei concetti espressi dagli utenti; - proprietary neural network for managing the interpretation of natural language and understanding the concepts expressed by users;

- sistema di addestramento della rete neurale basato su algoritmo genetico; - neural network training system based on genetic algorithm;

- base di conoscenza modellata in grafo implementato con la soluzione proprietaria hash table / B-Tree ; - knowledge base modeled in graph implemented with the proprietary hash table / B-Tree solution;

moduli di comunicazione: communication modules:

Web; Web;

chat / SMS; chat / SMS;

telefono; phone;

Rss, Open Data, Mappe, Meteo, servizi vari; Rss, Open Data, Maps, Weather, various services;

social networks; social networks;

loT; e loT; And

base dati / DAM. database / DAM.

La soluzione proposta può prevedere lo sviluppo di una rete neurale programmata per Γ interpretazione del linguaggio naturale al fine di individuare esigenze degli utenti, elaborate sulla base dell'interpretazione di concetti estratti dalla rete NLP (Naturai Language Processing). The proposed solution can provide for the development of a neural network programmed for natural language Γ interpretation in order to identify user needs, elaborated on the basis of the interpretation of concepts extracted from the NLP network (Naturai Language Processing).

L’interazione tra utente e rete neurale può avvenire attraverso diversi canali, grazie a moduli dedicati. La rete neurale secondo la presente invenzione può essere ulteriormente programmata per analizzare immagini e audio estraendo informazioni da esse, da impiegare ad esempio per il riconoscimento facciale e vocale e la gestione di immagini documentali. The interaction between the user and the neural network can take place through different channels, thanks to dedicated modules. The neural network according to the present invention can be further programmed to analyze images and audio by extracting information from them, to be used for example for facial and voice recognition and the management of documentary images.

• Modulo Web • Web form

La rete neurale è addestrata di base su un dominio specifico (linguaggio naturale). Non sempre è possibile prevedere tutti casi specifici del singolo dominio, ma la rete neurale dell'invenzione può essere configurata in moto tale che, qualora non sia in grado di rispondere alle esigenze dell’utente mediante l’addestramento ricevuto, veicoli la ricerca sul Web al fine di fornire una risposta. The neural network is basically trained on a specific domain (natural language). It is not always possible to foresee all specific cases of the single domain, but the neural network of the invention can be configured in such a way that, if it is not able to respond to the user's needs through the training received, it carries the search on the Web in order to provide an answer.

Lo stesso modulo Web può essere attivato non solo nel caso in cui la rete neurale non è in grado di classificare la risposta, ma anche per permetterle di rispondere a domande per cui non è stata espressamente addestrata, estraendo i metadati del nuovo concetto proposto per inserirli nella propria base di conoscenza. The same web module can be activated not only in the case in which the neural network is not able to classify the answer, but also to allow it to answer questions for which it has not been expressly trained, extracting the metadata of the new proposed concept to insert them in your knowledge base.

Di fatto, la soluzione è in grado di acquisire conoscenza dal Web, o analizzando pagine Web comprendenti linguaggio naturale o dati strutturati. In fact, the solution is able to acquire knowledge from the Web, or by analyzing Web pages including natural language or structured data.

• Modulo Chat / SMS • Chat / SMS module

Il modulo Chat / SMS consente l'interazione con l’utente tramite tipica conversazione chat, esponendo opportune API richiamabili anche in REST, quindi su protocollo http. La rete neurale dell'invenzione può essere predisposta ad interagire con tutti i player che mettono a disposizione un loro canale per Bot. Data l’eterogeneità e le differenze di protocolli tra i diversi player, la rete può implementare un modulo che funge da connettore tra le diverse fonti con lo scopo di standardizzare il flusso di comunicazione. La medesima infrastruttura serve la comunicazione tramite SMS. The Chat / SMS module allows interaction with the user through a typical chat conversation, exposing appropriate APIs that can also be called up in REST, therefore on the http protocol. The neural network of the invention can be predisposed to interact with all the players who provide their own channel for Bot. Given the heterogeneity and differences in protocols between the different players, the network can implement a module that acts as a connector between the different sources with the aim of standardizing the communication flow. The same infrastructure serves the communication via SMS.

• Telefono • Phone

La rete neurale secondo la presente invenzione prevede la possibilità da parte dell’utente di interagire tramite comando vocale, ad esempio telefonicamente. A tale scopo, può essere impiegata Γ infrastruttura chat/sms, prevedendo tuttavia l'impiego di tecnologie di speech to text e text to speech e moduli di traduzione, come mostrato nel diagramma di flusso di Figura 6. The neural network according to the present invention provides for the possibility for the user to interact by voice command, for example by telephone. For this purpose, Γ chat / sms infrastructure can be used, however providing for the use of speech to text and text to speech technologies and translation modules, as shown in the flow diagram of Figure 6.

• Rss / Open data / Mappe • Rss / Open data / Maps

La rete neurale della presente invenzione può consentire l’acquisizione di informazioni, e quindi un’integrazione della sua base di conoscenza, interfacciandosi con fonti dati di formato standard come RSS e non come Open Data, secondo le stesse modalità descritte nel paragrafo Modulo Web. The neural network of the present invention can allow the acquisition of information, and therefore an integration of its knowledge base, by interfacing with standard format data sources such as RSS and not as Open Data, according to the same methods described in the Web Module paragraph.

Utilizzando il modulo NLP, dove possibile, sono estratti i concetti nei contenuti sotto forma di triple (soggetto, relazione, oggetto/proprietà) ed immagazzinati nella base di conoscenza per essere prontamente utilizzati. Using the NLP module, where possible, the concepts in the contents are extracted in the form of triples (subject, relationship, object / property) and stored in the knowledge base to be readily used.

Inoltre, la rete neurale può essere programmata per interagire con mappe, piattaforma di gestione di informazioni su traffico, meteo e altri servizi. In addition, the neural network can be programmed to interact with maps, traffic information management platform, weather and other services.

• Social Networks • Social Networks

Secondo forme di realizzazione preferita, la rete neurale secondo la presente invenzione è programmata per interfacciarsi con i principali social networks. Previa autorizzazione dell’utente, è possibile recuperare informazioni personali presenti sui social e profilare l’utente in tempo reale al fine di direzionare al meglio l’interazione con lui. According to preferred embodiments, the neural network according to the present invention is programmed to interface with the main social networks. Subject to the user's authorization, it is possible to retrieve personal information on social media and profile the user in real time in order to better direct the interaction with him.

Un secondo utilizzo di questo modulo può essere indiretto. Grazie ad un sistema proprietario, il core può rimanere “in ascolto” sui social network rispetto a tematiche o parole chiave da monitorare. Questi contenuti vengono analizzati in tempo reale dai moduli NLP e analisi del contenuto. In particolare, questo modulo può essere utilizzato per intercettare utenti con problematiche in corso ed offrire loro assistenza automaticamente, puntando a migliorare l’efficienza di assistenza al cittadino. A second use of this form can be indirect. Thanks to a proprietary system, the core can remain "listening" on social networks regarding topics or keywords to monitor. This content is analyzed in real time by the NLP and Content Analysis modules. In particular, this module can be used to intercept users with ongoing problems and offer them assistance automatically, aiming to improve the efficiency of assistance to the citizen.

• Lot • Lot

Secondo forme di realizzazione preferita, la rete neurale secondo la presente invenzione è programmata per interfacciarsi anche con dispositivi Lot, tipicamente sensori di vario tipo, ad esempio per misurare temperatura di luce, flussometri, oltre che telecamere per il riconoscimento facciale e rilevatori di presenze. According to preferred embodiments, the neural network according to the present invention is programmed to interface also with Lot devices, typically sensors of various types, for example for measuring light temperatures, flow meters, as well as cameras for facial recognition and presence detectors.

Questa integrazione permette di essere efficiente in svariate situazioni, rendendo la soluzione maggiormente proattiva. This integration allows it to be efficient in various situations, making the solution more proactive.

Un esempio tipico è quello di un utente che richiede un certificato all’ente, in cui il sistema fornisce tutte le informazioni necessarie, tra cui la necessità di recarsi fisicamente presso l’ufficio competente. A typical example is that of a user requesting a certificate from the entity, in which the system provides all the necessary information, including the need to physically go to the competent office.

Accedendo ai dati Lot, il sistema è in grado di suggerire il momento migliore per recarsi in ufficio in base all’afflusso attuale (sistema di rilevatore di presenze) e alle informazioni storiche, nonché alle informazioni stradali o sui mezzi pubblici, tenendo conto anche del traffico. By accessing the Lot data, the system is able to suggest the best time to go to the office based on the current influx (attendance system) and historical information, as well as road or public transport information, also taking into account the traffic.

• Base dati / DAM • Database / DAM

Oltre alla base di conoscenza con formato proprietario (proprio delle rete neurale), il sistema può interfacciarsi con base dati eterogenee, previa personalizzazione di un canale in grado di trasformare le informazioni delle basi dati esterne nel formato proprietario. Grazie allo stesso principio è possibile integrare software DAM ed e-commerce. In quest’ultimo caso, potendo fungere anche da motore di recommendation, qualora non sia già presente, la rete neurale proposta è in grado di suggerire in maniera accurata il cliente finale. In addition to the knowledge base with proprietary format (typical of the neural network), the system can interface with heterogeneous databases, after customizing a channel capable of transforming the information of external databases into the proprietary format. Thanks to the same principle it is possible to integrate DAM and e-commerce software. In the latter case, being able to act as a recommendation engine, if it is not already present, the proposed neural network is able to accurately suggest the end customer.

La presente invenzione è stata fin qui descritta con riferimento a forme preferite di realizzazione. È da intendersi che possano esistere altre forme di realizzazione che afferiscono al medesimo nucleo inventivo, come definito daN’ambito di protezione delle rivendicazioni qui di seguito riportate. The present invention has been described up to now with reference to preferred embodiments. It is to be understood that there may be other embodiments that refer to the same inventive core, as defined by the scope of the claims set out below.

Claims

CLAIMS 1. Node (1, 2, 3), implemented by a computer program, of an artificial neural network (10) for Γ interpretation of expressions in natural language comprising one or more terms, called node (1, 2, 3) comprising : - means for acquiring one or more input data each corresponding to one of these terms, in which a plurality of values is associated with each input data, each value being representative of a semantic characteristic of one of these terms, said plurality of values comprising a major value and at least one minor value; And - means for processing said one or more input data according to a predetermined function, said node (1, 2, 3) being programmed in such a way that, for each input data, if the main value processed by said processing means verifies a predetermined condition, it sends a corresponding input data to the further nodes of the artificial neural network (10) to which it is connected.

2. Node (1, 2, 3) according to claim 1, comprising means for generating an input datum as a function of an initial datum corresponding to a natural language term, in which a plurality of values is associated with each input datum , of which a main value and at least a secondary value, each representative of a semantic characteristic of said term, and sending said input data to said one or more nodes (2, 3).

Node (1, 2, 3) according to claim 1 or 2, in which said two main and secondary values are represented by a complex number.

4. Node (1, 2, 3) according to one of the preceding claims implemented by means of a perceptron.

Node (1, 2, 3) according to one of the preceding claims, comprising acquisition means and processing means programmed to process input data to which only two values are associated, respectively a main value and a secondary value.

6. Node (1, 2, 3) according to claim 4, comprising acquisition means and processing means programmed to process input data in which said two values are represented by a complex number.

7. Node (1, 2, 3) according to one of the preceding claims, programmed in such a way that, for each input data, if the main value processed by said processing means is higher than a predetermined threshold value, it sends a corresponding input data to the further nodes of the artificial neural network (10) to which it is connected.

8. Node (1, 2, 3) according to one of the preceding claims, wherein said nodes (3) are configured to receive data from one or more of further said nodes (1, 2) and programmed to activate if at least one secondary value of said data verifies a predetermined condition.

9. Artificial neural network (10), implemented by means of a computer program, for the interpretation of expressions in natural language comprising one or more terms, called neural network (10) comprising one or more nodes (1, 2, 3) according to one of the preceding claims.

Computer program for implementing an artificial neural network node (1, 2, 3) according to one of claims 1 to 8.

Computer program for implementing an artificial neural network (10) according to claim 9.