IT202100023459A1 - Metodo e sistema per la generazione autonoma e cognitiva di infogragiche a partire da un testo attraverso una combinazione di reti neurali artificiali - Google Patents

Description

Descrizione di un brevetto d'invenzione

DESCRIZIONE

Formano oggetto del presente trovato un metodo ed un sistema per generare, in modo autonomo e cognitivo, una infografica a partire da un testo attraverso una combinazione di interazione di reti neurali artificiali.

Come ? noto, un'infografica ? una informazione che viene resa leggibile e concreta, su un rispettivo supporto digitale o fisico, in una forma grafica-visuale e testuale. L'infografica pu? essere letta su uno schermo, ad esempio di un computer o di un dispositivo mobile come uno smartphone o un tablet, oppure su un foglio di carta, su un supporto plastico o altro su cui l'infografica viene stampata in modo in s? noto.

Le immagini possono essere mostrate sia in forma bidimensionale che tridimensionale.

Le infografiche sono da tempo conosciute e vengono utilizzate, sia su supporto digitale che fisico, nei pi? svariati campi, come ad esempio nel campo pubblicitario o economico o giornalistico.

Pi? in particolare, la grafica basata sulle informazioni (o infografica) ? un tipo di visualizzazione di dati che combina elementi artistici (come immagini disegnate, fotografie o altro) e contenuti scritti per fornire nozioni in modo coinvolgente e capace di essere ricordato. Grazie a questi vantaggi, le infografiche sono ampiamente utilizzate in molti settori per scopi pubblicitari e comunicativi.

Tuttavia, creare un'infografica in modo professionale ed accattivante tale da far presa sul pubblico non ? un compito facile: ? un processo che richiede tempo e spesso anche competenze particolari (ad esempio da designer) al fine di garantire l'efficacia percettiva estetica.

Ad oggi, esistono diversi strumenti per la creazione di infografiche. Tuttavia, tali strumenti generalmente si rivolgono per lo pi? ad utenti avanzati ovvero con conoscenze specifiche (ad esempio in campo grafico) in quanto basati su complicate operazioni e concetti tecnici non sempre di immediata comprensione per gli utenti occasionali.

Nasce pertanto l'esigenza di favorire strumenti utilizzabili da qualsiasi creatore di infografiche, non necessariamente professionista.

Scopo del presente trovato ? quello di offrire un metodo ed un sistema che consentano di realizzare una infografica di facile comprensione per gli utenti a cui si rivolge (pubblico generico o specialisti in particolari settori, come quello economico), con modalit? che non richiedano conoscenze specifiche nel settore relativo alla creazione di infografiche.

Un altro scopo ? quello di offrire un metodo ed un sistema che permettano tale realizzazione di infografiche che quindi possano essere presentante agli utenti su un qualsiasi tipo di supporto, elettronico o digitale (come lo schermo di un computer, smartphone o tablet) oppure cartaceo.

Un ulteriore scopo ? quello di offrire un metodo ed un sistema che possano consentire di determinare una infografica contenente un chiaro messaggio informativo associato ad un elemento grafico (con almeno una immagine), che sia visivamente e semanticamente coerente e completa, senza essere suddivisibile in unit? pi? piccole, e che possa essere di una delle seguenti tipologie: - infografiche statistiche;

- infografiche informative;

- infografiche temporali;

- infografiche processuali;

- infografiche geografiche;

- infografiche comparative;

- infografiche gerarchiche;

- infografiche elencative.

Questi ed altri scopi che risulteranno evidenti all'esperto del ramo vengono raggiunti da un metodo e da un sistema secondo le corrispondenti rivendicazioni indipendenti.

Per una maggior comprensione del presente trovato si allegano a titolo puramente esemplificativo, ma non limitativo, i seguenti disegni, in cui:

la figura 1 mostra uno schema a blocchi del sistema secondo il trovato;

la figura 2 mostra un diagramma di flusso rappresentativo delle diverse fasi operative del metodo secondo il trovato; e

la figura 3 mostra un esempio di infografica ottenuta con il metodo ed il sistema sopra indicati.

Con riferimento alle citate figure, un sistema S per la generazione automatica e cognitive di un?infografica comprende due elementi principali definiti da una prima rete neurale ricorrente 1 del tipo Long Short-Term Memory (LSTM) atta ad analizzare un testo di ingresso 2 ed una seconda rete neurale 3 del tipo antagonista generativa o Generative Adversarial Network (GAN) atta a generare, in ultima istanza, una infografica 4. Entrambe le reti 1 e 3 sono continuamente addestrate a riconoscere elementi specifici del testo (la rete 1) e con infografiche reali (la rete 3).

Gli elementi di addestramento sono contenuti in una unit? di memoria 5 con cui la rete LSTM 1 e la rete GAN 3 continuamente interagiscono.

La rete LSTM 1 comprende una prima Rete Neurale Ricorrente o Recurrent Neural Network (RNN) 6 "addestrata" a riconoscere i dati di infografica presenti nel testo, ed una seconda rete del tipo RNN 7 atta a riconoscere gli elementi di valore o numerici presenti nel testo, come verr? in seguito descritto.

La rete GAN 3, a sua volta, comprende due reti neurali 8 e 9, una prima rete 8 avente la funzione di Generatore e la seconda rete 9 avente la funzione di Discriminatore, operanti secondo le modalit? che verranno descritte qui di seguito nella descrizione del metodo secondo il trovato, un cui digramma di flusso ? mostrato nella figura 2. Il presente trovato consente di generare automaticamente una infografica basata su un dato di ingresso (o "input") avente la forma di un testo che il sistema sopra indicato riceve e rielabora. Il testo pu? essere in un qualsiasi formato digitale standard e lunghezza.

La modalit? operativa (metodo) secondo il trovato risulta quindi di facile attuazione per persone che vogliono generare delle infografiche.

Per raggiungere l'obiettivo del trovato ci sono due principali ostacoli da superare: il primo ? quello di comprendere ed estrarre informazioni appropriate dal testo di input. Il secondo ? "costruire" infografiche il pi? possibile professionali basate sulle informazioni estratte. Tali ostacoli vengono superati attuando il metodo secondo il trovato utilizzando il sistema della figura 1. Il metodo ? rappresentato tramite digramma di flusso nella figura 2.

La generazione di infografiche a partire da un testo impone l'utilizzo di un processo generativo in fasi o passi iterativi e incrementali, che utilizza classi di metodo afferenti a diversi paradigmi delle reti neurali artificiali. L'analisi del testo per l'estrazione degli elementi oggettivi e quelli soggettivi ? affidata alla rete neurale ricorrente di tipo Long Short-Term Memory (LSTM) 1 mentre la generazione degli elementi grafici ? affidata alla rete antagonista generativa o Generative Adversarial Network (GAN) 3, composta dalle due differenti reti neurali artificiali; la rete avente funzione di Generatore 8 e la rete con funzione di Discriminatore 9. La combinazione delle due reti 8 e 9 permette di conferire al sistema S delle capacit? autonome di generare grafiche da un lato e giudicare la qualit? dall'altro.

? noto che, riguardo le rappresentazioni di un determinato oggetto o una persona, le normali e note reti neurali artificiali, previo addestramento con un sufficiente numero di dati contenente un elevato numero di immagini campione, sono in grado di generare una immagine a partire da un testo conforme a quello utilizzato nella fase di addestramento. Tuttavia, le infografiche non sono ascrivibili alla categoria di semplici immagini (generabili dalle normali reti neurali) in quanto costituiscono un insieme di "concetti" dove ognuno di essi ? rappresentato da un'icona che viene generata sulla base del testo iniziale di input.

Vi ? quindi la necessit? di separare i cicli generativi per l'intera immagine e per ogni elemento grafico rappresentante un concetto visualizzabile attraverso un'icona che esprima il testo conferito. Ci? viene opportunamente attuato dal metodo secondo il trovato che comprende diversi passi attuativi principali:

- un primo passo ? quello relativo alla tipologia di infografica da utilizzare per la rappresentazione del concetto descritto nel testo di input;

- un secondo passo rileva gli elementi oggettivi (che cosa viene descritto) contenuti nel testo e che andranno rappresentati nella grafica finale; - un terzo passo rileva gli elementi soggettivi o dati di complemento di termine (in riferimento a chi o cosa) presenti nel testo;

- un quarto passo rileva gli eventuali valori associati agli elementi oggetti o soggettivi;

- un ultimo passo del metodo permette, attraverso multiple iterazioni con i dati conferiti, che il sistema S generi immagini (icone) da inserire nella grafica finale corredate del testo estratto e riferito allo specifico elemento.

Nel primo passo del metodo la scelta della tipologia di infografica (statistiche, processuali, comparative, eccetera) va effettuata interpretando il testo conferito immesso nel sistema S (blocco 20 di figura 2).

Il testo viene classificato attraverso un algoritmo, in s? noto, di tipo Long Short-Term Memory (LSTM) afferente al paradigma della Recurrent Neural Network (RNN) che ? stato opportunamente addestrato, in modo noto, con una pluralit? di dati al fine di rilevare i fenomeni espressi (blocco 21 di figura 2). Ci? viene attuato dalla RNN 6 della rete LSTM 1 di figura 1.

Una volta estratto il significato dal testo, esso sar? utilizzato per scegliere il tipo di infografica pi? adatto alla rappresentazione del testo conferito (blocco 22).

Ad esempio, se testo conferito indica che "il 10% degli uomini soffre di problemi ai piedi nell'et? matura mentre nelle donne il problema colpisce solo il 5% delle persone adulte", il sistema S riconosce la volont? di comparare due fenomeni e propone la scelta di un modello di tipo comparativo per l'infografica (nel blocco 22).

Nel secondo passo del metodo atto alla produzione di un'infografica si prevede la individuazione della presenza di caratteristiche o elementi oggettivi nel testo conferito o di input. Tali elementi oggettivi rappresenteranno degli specifici elementi grafici presenti nell'infografica da produrre.

L'estrazione degli elementi oggettivi del testo viene effettuata (blocco 23 di figura 2) attraverso un algoritmo, in s? noto, di tipo Long Short-Term Memory (LSTM) afferente al paradigma della Recurrent Neural Network (RNN) che ? stato opportunamente addestrato, in modo noto, con una pluralit? di dati, per il riconoscimento di elementi oggettivi nel testo.

Tornando all'esempio di testo conferito sopra indicato: "il 10% degli uomini soffre di problemi ai piedi nell'et? matura mentre nelle donne il problema colpisce solo il 5% delle persone adulte", il sistema S identifica "problemi ai piedi" come elemento oggettivo o fenomeno contenuto nel testo conferito.

Nel terzo passo del metodo per la produzione di un'infografica, si identifica nel testo di input la presenza di elementi soggettivi (blocco 24 di figura 2). Tali elementi soggetti rappresenteranno degli specifici elementi grafici presenti nell'infografica da produrre.

L'estrazione degli elementi soggettivi dal testo viene effettuata attraverso un noto algoritmo di tipo Long Short-Term Memory (LSTM) afferente al paradigma della Recurrent Neural Network (RNN) opportunamente addestrato in modo anch'esso noto per il riconoscimento di elementi soggettivi nel testo (cosa che avviene sempre nelle Rete RNN 6 di figura 1).

Nel caso dell'esempio di testo conferito "il 10% degli uomini soffre di problemi ai piedi nell'et? matura mentre nelle donne il problema colpisce solo il 5% delle persone adulte", la rete RNN 6 del sistema S identifica "donne-uomini" come elementi soggettivi (o complementi di termine) contenuti nel testo conferito.

Nel quarto passo del metodo si identifica l'eventuale presenta di elementi numerici nel testo conferito (blocco 25 di figura 2). Tali elementi numerici o "di valore" andranno rappresentati nell'immagine prodotta con riferimento posizionale all'elemento oggettivo o soggettivo ovvero verranno posti in corrispondenza dell'elemento oggettivo o soggettivo.

L'estrazione degli elementi di valore o numerici del testo viene effettuata attraverso un noto algoritmo di tipo Long Short-Term Memory (LSTM) afferente al paradigma della Recurrent Neural Network (RNN) opportunamente addestrato per il riconoscimento di cifre e numeri nel testo. Tale estrazione avviene nella rete RNN 7 di figura 1.

Nell'esempio di testo conferito: "il 10% degli uomini soffre di problemi ai piedi nell'et? matura mentre nelle donne il problema colpisce solo il 5% delle persone adulte; la rete RNN 7 del sistema S identifica il "10%" e "5%" come valori contenuti nel testo conferito da rappresentare in prossimit? degli elementi soggettivi rilevati nella precedente iterazione.

Da notare che le reti RNN 6 e 7 cooperano con l'unit? di memoria 5 in cui ci sono presenti i dati provenienti dalla fase di addestramento e che consentono alle reti di interpretare il testo.

Le iterazioni dei passi precedenti hanno estratto tutti gli elementi necessari alla generazione della grafica.

Da notare che le reti RNN, sulla base dell'addestramento con varie tipologie di testi e di parole chiave, identificano ogni elemento oggettivo, soggettivo e numerico mediante un'operazione di inferenza (in s? nota) nella quale la rete RNN, a partire dal testo analizzato, identifica le parole chiave per alimentare la successiva fase generativa.

Partendo quindi dall'esempio di testo conferito "il 10% degli uomini soffre di problemi ai piedi nell'et? matura mentre nelle donne il problema colpisce solo il 5% delle persone adulte", attraverso il metodo finora descritto il sistema S ha "compreso" di dover generare un'infografica comparativa che illustri la differente composizione del campione statico (uomini e donne) rispetto al fenomeno (problemi ai piedi) con la distribuzione percentuale (10% - 5%). Si deve ora procedere a generare tutti gli elementi grafici per comporre l'immagine finale. Ci? ? eseguito nell'ultimo passo del metodo.

Questo compito ? affidato alla rete antagonista generativa (GAN) 3 la quale provvede ad effettuare vari cicli di generazione utilizzando gli elementi estratti dalla rete neurale ricorrente (ovvero dalla rete RNN 6 e 7 della rete LSTM 1).

La rete GAN 3, come detto, ? formata da una doppia rete neurale con due ruoli diversi: il Generatore 8 e il Discriminatore 9. Il Generatore 8 precedentemente addestrato in modo in s? noto con una sufficiente quantit? di modelli di infografiche preesistente (e contenente nelle unit? di memoria 5), una volta acquisite le informazioni in ingresso provenienti dalla rete LSTM1, provvede (blocco 26 di figura 2) alla generazione di una prima bozza dell'infografica (icone, testo, numeri, eccetera) che viene inviata in ingresso al Discriminatore 9. Il Discriminatore 9 analizza l'immagine prodotta dal Generatore 8 e giudica (blocco 27) l'affinit? dell'immagine con immagini di infografiche con le quali tale Discriminatore 9 ? stato precedentemente addestrato (in modo noto).

Secondo usuali modalit? operative della rete GAN, il Generatore 8 e il Discriminatore 9 entrano in competizione attraverso un processo iterativo che vede il Generatore 8 proporre infografiche via via pi? aderenti al testo di input, che vengono "vagliate" dal Discriminatore 9 e ritornate al Generatore 8 (linea K di figura) finch? l'infografica emessa dal generatore 8 raggiunge una qualit? uguale o superiore ad un valore di affinit? dell'immagine con infografiche note. In tal caso, il Discriminatore accetta l'infografica generata.

Viene quindi generata l'infografica 40 (figura 3) nella quale tutti gli elementi precedentemente estratti dal testo di input vengono opportunamente associati ad immagini.

Si noti che le reti neurali 1 e 3 sono addestrate in via preventiva, iniziale, ma vengono costantemente aggiornate (inserendo, ad esempio, nell'unit? di memoria 5 nuovi dati). Preferibilmente, l'unit? 5 ? un'unit? remota, gestita in modo separato da un gestore di sistema che pu? anche non combaciare con l'utente finale che usa tale sistema.

Si noti inoltre che il testo di input pu? essere un file di testo "manuale", un file vocale (parlato umano), un file predisposto e quindi caricato (upload) nel sistema S oppure essere un testo presente in una pagina internet o un post su un social media raggiungibile da parte del sistema attraverso un indirizzo internet ("link"). Tale file, viene quindi analizzato e valutato (in modo "cognitivo" dalle reti 1 e 3) per generare un'opportuna infografica rappresentativa del testo analizzato.

L'infografica 40 pu? essere quindi stampata su un supporto (cartaceo, plastico, metallico, eccetera) o riportata su tale supporto in altro modo (ad esempio, incisa su una piastra metallica). In alternativa, l'infografica pu? essere inviata ad un utilizzatore finale per la successiva stampa (ad esempio su una pagina di una pubblicazione cartacea) oppure per una memorizzazione su un supporto elettronico in forma digitale (unit? di memoria) per un successivo utilizzo.

Il trovato consente la generazione con modalit? del tutto automatiche e professionali di infografiche basate su dati ed immagini reali impiegati per addestrare le reti neurali 1 e 3 sopra descritte, dati ed immagini preferibilmente continuamente aggiornate. Il sistema 1 pu? essere gestito da remoto da un gestore di sistema.

Claims (14)

RIVENDICAZIONI

1.Metodo per generare, in modo autonomo, infografiche a partire da un testo conferito, detto metodo essendo caratterizzato dal fatto di:

- analizzare il testo al fine di comprenderne i concetti esposti,

- identificare sulla base del testo, una tipologia in infografica da utilizzare per rappresentare i suddetti concetti,

- rilevare e riconoscere nel testo almeno un elemento, oggettivo e/o soggettivo, da rappresentare nell'infografica,

- analizzare i dati rilevati e riconosciuti dal testo e identificare una immagine che li rappresenti,

- generare l'infografica corrispondente ai dati relativi e riconosciuti nel testo associato ad una corrispondente immagine,

detto metodo essendo attuato mediante utilizzo di reti neurali differenti ed operanti in cascata, la prima rete neurale essendo del tipo Long Short-Term Memory o LSTM e la seconda rete neurale essendo del tipo Generative Adversarial Network o GAN.

2. Metodo di cui alla rivendicazione 1, caratterizzato dal fatto che la rete LSTM analizza il testo e definisce la tipologia di infografica e gli elementi soggettivi e/o oggettivi da rappresentare su tale infografica, la rete GAN definendo l'immagine e generando l'infografica.

3. Metodo di cui alla rivendicazione 1, caratterizzato dal fatto che la tipologia di infografica viene determinata classificando il contenuto del testo attraverso una Recurrent Neural Network (6) di tipo LSTM in funzione di dati predefiniti e memorizzati.

4. Metodo di cui alla rivendicazione 1, caratterizzato dal fatto che il rilevamento o riconoscimento dell'elemento oggettivo e/o dell'elemento soggettivo viene effettuato da un Recurrent Neural Network (7) di tipo LSTM in funzione di elementi corrispondenti predefiniti e memorizzati.

5. Metodo di cui alla rivendicazione 1, caratterizzato dal fatto che il testo da analizzare ? definito da uno dei seguenti: un testo scritto in forma manuale, un file vocale, un file predisposto e quindi sottoposto ad analisi dopo upload, un testo prelevato da una pagina internet o da un post su social media.

6. Metodo di cui alla rivendicazione 1, caratterizzato dal fatto che le reti neurali LSTM e GAN sono continuamente addestrate e aggiornate.

7. Metodo di cui alla rivendicazione 1, caratterizzato dal fatto che l'identificazione dell'immagine rappresentativa dei dati rilevati e riconosciuti nel testo viene eseguita confrontando tali dati con immagini campione provenienti dalla fase di addestramento e memorizzate in una unit? di memoria.

8. Metodo di cui alle rivendicazioni 6 e 7, caratterizzato dal fatto che l'aggiornamento e addestramento delle reti neurali avviene mediante inserimento di nuovi dati con cui confrontare il testo in una unit? di memoria (5) a cui tali reti hanno accesso.

9. Metodo di cui alla rivendicazione 1, caratterizzato dal fatto che l'infografica (40) ottenuta viene riportata su un supporto fisico o memorizzata su un supporto elettronico.

10. Sistema per generare, in modo autonomo, infografico a partire da un testo conferito, caratterizzato dal fatto che comprende due reti neurali (1, 3) operanti in cascata atte ad analizzare il testo conferito, identificare una opportuna infografica che rappresenti i contenuti del testo conferito suddetto, rilevare elementi caratterizzanti detto testo e generare l'infografica (40), dette reti neurali essendo una prima rete neurale del tipo Long Short-Term Memory o LSTM (1) e la seconda rete neurale essendo del tipo Generative Adversarial Network o GAN (3).

11. Sistema di cui alla rivendicazione 10, caratterizzato dal fatto che comprende un paradigma operativo di una Recurrent Neural Network al fine di identificare caratteristiche del testo conferito.

12. Sistema di cui alla rivendicazione 10, caratterizzato dal fatto che tali caratteristiche del testo conferito sono elementi oggettivi del testo relativo all'argomento contenuto in esso, elementi soggettivi del testo relativi a complementi di termini in esso presenti, ed eventuali valori numerici associati a tali elementi oggettivi e soggettivi.

13. Sistema di cui alla rivendicazione 10, caratterizzato dal fatto che comprende un'unit? di memoria (10) con cui si interfacciano le reti neurali LSTM (1) e GAN (3), detta unit? di memoria (10) essendo preferibilmente continuamente aggiornata.

14. Sistema di cui alla rivendicazione 10, caratterizzato dal fatto di comprendere mezzi per trasferire l'infografica identificata su un supporto fisico o elettronico.