IT202200001193U1 - Sistema per il rilevamento anomalie di progettazione dell'interfaccia utente di applicativi web - Google Patents

Description

DESCRIZIONE dell?invenzione avente per TITOLO

?Sistema per il rilevamento anomalie di progettazione dell?interfaccia utente di applicativi web?

DESCRIZIONE

Campo della tecnica

La presente invenzione si riferisce ad un sistema per l?individuazione di anomalie nell?interfaccia utente di applicativi web e il conseguente suggerimento di migliorie da implementare nella stessa

Arte Nota

L?interfaccia utente (UI) ? il layout grafico di un?applicazione. Consiste fondamentalmente nei pulsanti su cui gli utenti fanno clic, nel testo che viene inserito, nelle immagini, nei cursori, nei campi di immissione del testo e negli altri elementi con cui l?utente interagisce. Qualsiasi tipo di elemento visivo, interazione o animazione deve essere progettato.

Lo sviluppatore dell?interfaccia utente decide come sar? l?applicazione, dagli schemi di colore alle forme dei pulsanti, dalla larghezza delle linee ai caratteri utilizzati per il testo. Si preoccupa dell?estetica, si assicura che l?interfaccia dell?applicazione sia attraente, visivamente stimolante e tematizzata in modo appropriato per adattarsi allo scopo e/o alla personalit? dell?app. Deve, inoltre, assicurarsi che ogni singolo elemento visivo sia unito, sia esteticamente che nello scopo.

L?esperienza di un utente con un sito web ? determinata dal modo in cui interagisce con essa. L?esperienza utente (UX) dipende fortemente dalla facilit? o difficolt? che un utente riscontra nell?interagire con gli elementi dell?interfaccia utente o nel visualizzare prontamente gli elementi di cui ha bisogno.

I progettisti UX sono incaricati di determinare il funzionamento dell?interfaccia utente, determinando la struttura dell?interfaccia e la funzionalit?, l?organizzazione e come tutte le parti si relazionano tra loro; in breve, progettano come funziona l?interfaccia. Se la navigazione ? complicata o non intuitiva, ? probabile che l?esperienza utente sia pessima.

L?importanza di UX e UI ? fondamentale quando si naviga sul web: una buona UI permette all?utente di trovare quello che stava cercando rapidamente e con poco o nessuno sforzo.

Rendere il pi? semplice possibile l?interazione con un sito web ? una parte fondamentale del design UX e UI.

Curare la UX e la UI pu? portare benefici anche in chiave di Search Engine Optimization (SEO). Una scarsa esperienza utente pu? portare a un posizionamento SEO scadente o, nel caso della pubblicit? a pagamento (PPC), a una campagna pubblicitaria insufficiente.

La User Experience (UX) pu? essere definita su quattro livelli: utilit?, usabilit?, desiderabilit?, brand experience. Un primo aspetto relativo alla UX ? l?utilit?: un prodotto non deve apparire come una soluzione di un problema, bens? deve essere in grado di risolvere un problema preesistente a cui l?utente stava cercando di ovviare. Oltre a risolvere un problema, il prodotto deve anche soddisfare i bisogni dell?utente in altri componenti, come pu? essere, ad esempio, il costo.

Senza una reale utilit? potrebbe non esserci proprio una user experience: un potenziale utente, non riscontrando nel prodotto alcun valore o non percependo che il prodotto rispecchi i propri bisogni, non diventer? un utente fin dal principio.

Si passa poi all?aspetto dell?usabilit?: i prodotti devono essere semplici ed intuitivi da utilizzare, perch? se un utente non riesce in breve tempo ad usare un tale prodotto molto probabilmente lo abbandoner?. Inoltre, l?utente deve essere soddisfatto per come il prodotto si presenta e volerlo pi? di altri prodotti simili. Il concetto di usabilit? viene spesso confuso con quello di esperienza utente.

Una convinzione comune ? quella che un prodotto in grado di risolvere un problema (utile) e semplice da utilizzare (usabile) sia sufficiente per l?utente, che, in realt?, si aspetta molto di pi? dalla user experience.

Un altro aspetto che coinvolge la UX ? il concetto di desiderabilit?: presupponendo che un prodotto superi i criteri di utilit? e usabilit?, ? la desiderabilit? a fare la differenza, perch? permette di definirlo come leader sul mercato rispetto a tutti i concorrenti.

Lo user centered design (UCD) si concentra su desideri, esigenze e limiti dell?utente finale in tutte le fasi di progettazione e realizzazione del prodotto. Una UI che determina una sgradevole UX ? deleteria per il cliente, il che si traduce immediatamente in un peggioramento del business correlato.

Allo stato dell?arte sono gi? noti alcuni metodi e sistemi per l?individuazione di anomalie nell?interfaccia utente di applicativi web o il suggerimento di migliorie da implementare nella stessa.

Di seguito vengono riportati alcuni tra i brevetti preesistenti.

La domanda di brevetto No. US9165280B2 presenta un metodo e relativo sistema adattivo basato sulla lettura in tempo reale degli stati d?animo dell?utente attraverso letture di tipo biometrico (battito cardiaco, dilatazione pupille, ecc.?). In particolare si fonda su un metodo try and error per modificare automaticamente l?interfaccia in modo tale da permettere all?utente di ottenere una UI migliore col passare delle iterazioni. Il sistema si basa su algoritmi di apprendimento supervisionato e dipende dalla lettura dei dati biometrici per fornire un output attendibile.

In US20020180786 si presenta un metodo che utilizza un?intelligenza artificiale che adatta le interfacce grafiche in base all?utilizzo degli elementi presenti. Questo brevetto si applica in modo particolare alle pagine web. In pratica, riunisce gli elementi in dei gruppi contigui, che gestisce (sostituisce, ingrandisce, rimpicciolisce) in base all?uso che ne fa l?utente sottoposto a tracciamento. Inoltre i link usati dall?utente vengono salvati su un database e categorizzati in modo da permettere all?utente l?accesso automatico. Inoltre l?utente pu? essere premiato in caso di click su link proposti con un buono sconto. Il sistema necessita di modificare selettivamente porzioni dell?interfaccia utente per registrare il feedback dello stesso e proporre miglioramenti. Questo tipo di approccio risulta vantaggioso per quello che riguarda l?ottimizzazione dell?interfaccia legata a finalit? di marketing, meno per quello che riguarda usabilit? e funzionalit? dell'interfaccia di un applicativo web, in quanto punta a migliorare la visibilit? di alcune porzioni di schermo rispetto ad altre.

In KR100724930B1 l?autore ha sviluppato un?interfaccia proattiva che si modifica appoggiandosi a un intelligenza artificiale che reagisce in base al comportamento dell?utente e a pattern pre programmati. Il programma si evolve modificando parti dell?interfaccia man mano che l?apprendimento del comportamento dell?utente prosegue. In seguito all?addestramento del modello di IA descritta pu? anche diventare capace di distinguere le interazioni di diversi utenti.

In JP2019505936A viene descritto un sistema di identificazione della migliore web design attraverso un sistema di reti neurali capace di miglioramento su metodologie mutuate dalla genomica. Il sistema di questo brevetto ? multiutente e permette, attraverso una rete neurale associata a ciascuno di questi, di delineare una interfaccia personalizzata. A loro volta i modelli di IA(intelligenza artificiale) incaricati di gestire il tool sono addestrati in modo da adattarsi nel miglior modo all?utente.

In US8775332B1 viene descritto un sistema iterativo di adattamento dell?interfaccia attraverso l?utilizzo di un modello di IA.Vengono prima selezionati i componenti target e da questi i relativi input ed output ricercati dall?utente. I dati vengono poi inseriti in un database il quale viene utilizzato da un algoritmo di intelligenza artificiale. L?intelligenza artificiale utilizza i suddetti dati per modificare l?interfaccia e adattarla all?utente utilizzatore.Tuttavia questo modello presenta la criticit? di dover identificare, volta per volta, un target nella user interface sul quale operare.

Sommario dell?invenzione

Le interfacce adattive hanno come scopo un miglioramento nella usabilit? e nella accessibilit? dei contenuti da parte degli utenti. A seconda del profilo dell?utente, l?algoritmo alle spalle della creazione della UI dovrebbe essere capace di ottimizzare, garantendo un interazione piacevole e soddisfacente.

Allo stato attuale esistono diverse criticit?, primariamente legate alla laboriosit? dei metodi per ottenere un feedback qualitativo sull?utilizzo dell?interfaccia degli applicativi web da parte degli utenti (es. A/B Testing). Inoltre non esistono linee guida sulla standardizzazione dei profili utenti, quindi ogni sviluppatore adotta criteri differenti per adattarsi a un utente target verso cui pu? migliorare le interfacce solo a seguito di un utilizzo pi? o meno prolungato dell?applicativo web, tale da poter raccogliere una sufficiente mole di dati da analizzare.

Un'ulteriore sfida risiede nel trovare il modo di addestrare con dataset minimi modelli di intelligenza artificiale preposti allo scopo di migliorare le interfacce in modo tale da permettere di raggiungere un risultato sufficiente in tempi ridotti.

L?invenzione qui proposta ha come scopo quello di realizzare interfacce web adattive, utilizzando l?intelligenza artificiale per plasmare la migliore esperienza d?uso sulla base di un dataset ridotto di dati per l?addestramento dei modelli di intelligenza artificiale. La riduzione del dataset necessario ? ottenuta tramite elaborazione della struttura del codice dell?interfaccia degli applicativi web con tecniche di Natural Language Processing in modo tale da adattarsi a una pluralit? di tipologie di interfacce, mentre si pu? addestrare i medesimi modelli fornendo un feedback (voto) ad un set limitato di template, selezionati sulla base del proprio target di progettazione . L?algoritmo alla base del sistema si basa su reti neurali per individuare anomalie e suggerire strategie di mitigazione delle stesse all'interfaccia. L?invenzione comprende l?implementazione dei seguenti moduli:

- Interfaccia utente atta a raccogliere le valutazioni dell?utente su un set di template per l?addestramento di modelli di intelligenza artificiale, e a fornire suggerimenti per il miglioramento delle anomalie e l?esecuzione di operazioni di mitigazione delle anomalie.

- modulo di salvataggio ed elaborazione dei dati prima del loro utilizzo per addestramento ed esecuzione delle reti neurali

- modulo di intelligenza artificiale basato su rete neurale ricorrente LSTM finalizzato all?individuazione di anomalie e al suggerimento di miglioramenti dell?interfaccia - modulo di esecuzione delle regole volte alla mitigazione delle anomalie e di connessione con il server dell?applicativo web

Il sistema qui illustrato, a seguito dell?addestramento del modello di intelligenza artificiale, ? capace di operare un?azione di risoluzione delle anomalie delle interfacce degli applicativi web, implementando modifiche direttamente nell?interfaccia utente in produzione.

Descrizione dell?invenzione e delle modalit? di attuazione

? oggetto della presente invenzione un sistema basato sull'utilizzo di un modello di IA che attraverso un addestramento eseguito su un set di web interface permette di individuare la migliore UI.

Vantaggiosamente il presente trovato consente di ottenere:

? un sistema robusto di individuazione delle anomalie all?interno della pagina web;

? tempi ridotti di addestramento del modello di IA;

? riproducibilit? dei suggerimenti di miglioramento delle anomalie e delle relative operazioni di mitigazione delle stesse.

Il trovato in questione si rivolge all?uso tecnico da parte degli sviluppatori web designer, puntando a essere un tool chiave nella progettazione dell?interfaccia di nuovi siti web.

Un ulteriore punto di forza risiede versatilit? del sistema, facilmente adattabile alla tipologia di sito web che si vuole creare semplicemente scegliendo un particolare set di siti per l?addestramento del modello di IA. La soluzione identificata ? attuabile in qualsiasi linguaggio di programmazione e per qualsiasi tipo di interfaccia (web o mobile) cambiando il dataset.

Inoltre, considerando l?esperienza utente, rendendo dunque il feedback dinamico, la rete riesce ad addestrarsi anche su un numero limitato di template valutati dai tester ed ? in grado di fornire un layout ottimale per la progettazione di una nuova interfaccia web.

Descrizione Sintetica delle figure

Ulteriori caratteristiche e vantaggi dell?invenzione risulteranno maggiormente evidenti alla luce della descrizione dettagliata di forme di realizzazione preferite, ma non esclusive, di un sistema per il rilevamento anomalie di progettazione dell?interfaccia utente di applicativi web con l?ausilio delle unite tavole di disegno in cui:

- la figura 1 rappresenta schematicamente l?architettura del software;

- la figura 2 e 3 rappresentano l?esecuzione del modello di suggerimento di risoluzione delle anomalie; -la figura 4 rappresenta schematicamente la creazione del database;

-la figura 5 rappresenta schematicamente la pre elaborazione dei dati;

-la figura 6 e 6a rappresentano il funzionamento del software sia in fase di addestramento (5) che in fase di esecuzione (6a).

Descrizione in dettaglio di una forma di realizzazione preferita dell?invenzione

Il modello implementato si basa su una rete neurale ricorrente in grado di estrarre pattern utilizzati frequentemente e la loro composizione nell?ambito di un codice sorgente. La struttura cos? identificata viene classificata in maniera automatica sulla base dell?addestramento svolto valutando manualmente singoli template di interfaccia di applicativi web. Per sviluppare il sistema pu? essere utilizzato un linguaggio di programmazione quale Python perch? esso mette a disposizione diverse librerie orientate al machine learning e framework per realizzare web application. E? necessario implementare una rete neurale ricorrente che sfrutta celle LSTM unitamente a tecniche di Dropout ed a layer pienamente connessi (o Dense Layer).

L?interfaccia utente (110) ha lo scopo di raccogliere delle valutazioni dell?utente riguardo le web interface (111) e di segnalare le anomalie, suggerire eventuali miglioramenti e di eseguire le operazioni di mitigazioni delle anomalie.

La creazione del database (120) prevede una fase di pre elaborazione dati (121) per permettere all?algoritmo IA di addestrare la rete neurale. Alcuni template generici vengono testati da pi? utenti in modo da raccogliere la User Experience al fine di addestrare la rete LSTM. Una volta scelto il set di pagine web si estraggono i codici sorgenti delle pagine che fungono da modello per l?addestramento del software (501). I codici vengono classificati (502) e le parole poco significative come gli articoli e le proposizioni vengono rimosse. Successivamente, si procede con l?estrazione dei tag HTML (503). Vengono quindi selezionati i tag pi? utilizzati (504). Per permettere ad una rete neurale di processare dei testi ? necessario tokenizzatore (505): questo da ogni pagina estrae i tag (506) ricorrenti ed i loro attributi. In seguito, ogni parola estratta viene convertita dalla libreria in un identificativo numerico univoco processabile dalla rete neurale. Nel database (122) vengono inoltre memorizzati i feedback sulle singole interfacce utente (401), i dati di navigazione utente(402 ) e vengono associati con i dati relativi alla struttura dell?interfaccia (403). La piattaforma per raccogliere la User Experience permette agli utenti di valutare un numero scelto di template generici: l?utente testa i template ed esprime il suo giudizio in funzione dell?esperienza utente. In questa fase l?attivit? degli utenti ? tracciata tramite un tool che registra nel database i click, i movimenti del mouse, la durata della sessione di navigazione, il dispositivo/browser.

Per rendere il feedback da dare in input alla rete indipendente dal giudizio soggettivo dell?utente, ? adottata una correzione del feedback del tester legandolo all?esperienza utente. I parametri che vengono monitorati afferiscono all?esperienza di navigazione, ad esempio il numero di click e il tempo trascorso sulla pagina. Nell?esempio riportato, data la diversit? di importanza dei due fattori, ? stata adottata una correzione del feedback w attraverso la formula e la matrice di score:

dove T ? il tempo di permanenza sulla pagina web, nc ? il numero di click che l?utente fa sulla pagina e s ? lo score che andr? moltiplicato con il feedback dato dall?utente (viene effettuata una media degli score s e vengono eliminati gli outlier al fine di eliminare i comportamenti anomali, infine viene effettuata una normalizzazione per portare i voti corretti nella scala 1-10) e il risultato sar? il feedback corretto w(wi)user tenendo conto della UX e del comportamento dell?utente attraverso la formula:

Lo score fornito dall?utente tiene, anche, conto delle immagini presenti nel template. Queste sono ad esempio associate ai tag ?img?..

Il database creato, viene utilizzato per l?addestramento del modello (131) tramite lo sviluppo dell?algoritmo di AI (rete neurale LSTM: Long Short-Term Memory). Questo viene addestrato sul set di pagine web che lo sviluppatore ha testato e ha dato un feedback soggettivo che contempla sia la qualit? del codice sia l?esperienza utente. Una volta che l?addestramento ? terminato l?algoritmo di IA viene utilizzato per l?esecuzione (132).

La rete effettua il testing su ciascuno dei template caricati e fornisce in output la stima del feedback, il template con il voto pi? alto ? quello che la rete suggerisce di adottare in funzione sia della qualit? del codice HTML sia dell?esperienza degli utenti. I dati di navigazione dell?utente (402) e i dati relativi alla struttura dell?interfaccia (403) vengono raccolti in un database. Il database sottostante l?applicazione raccoglie il feedback degli utenti, le loro azioni sui vari template e i comportamenti anomali. Nel corso del tempo il database alimenta l?algoritmo di intelligenza artificiale e ne permette un addestramento sempre pi? efficace; lo sviluppatore potr? sottomettere al sistema un nuovo file di codice sorgente (una nuova interfaccia) per ottenere una prima valutazione dello stesso e un?indicazione circa la possibile esperienza degli utenti che testeranno la stessa interfaccia.

Questi dati vengono utilizzati per l?esecuzione dei modelli, nella fattispecie, del modello per la rilevazione delle anomalie (303) e di quello per il suggerimento dei miglioramenti (304). Quindi, un algoritmo (306), consultandosi con un set di knowledge base del designer (308), dove sono incluse delle regole per la risoluzione di anomalie, suggerisce delle operazioni per la mitigazione delle stesse (307). In un'analisi dei processi propri del sistema oggetto della presente invenzione, Il software prevede una fase di addestramento del modello (figura 6) e una fase di esecuzione del modello (figura 6a). Nella fase di addestramento del modello vengono prima individuati dei set di template (601), attraverso la navigazione dell?utente (602) vendono inserite nel database le sue valutazioni (603) e l?analisi del codice HTLM stesso.L?addestramento del modello avviene su numero soddisfacente di epoche epoche, utilizzando un ottimizzatore (ad esempio ADAM); al termine delle epoche di addestramento, l?accuratezza riscontrata sui dati di test deve risultare sufficiente per il successivo utilizzo. Il database viene quindi utilizzato per l?addestramento dell?algoritmo IA.

La fase esecutiva del modello prevede che durante la navigazione (506) il modello in esecuzione (507) provveda a individuare le anomalie, suggerire miglioramenti e operazioni per la mitigazione delle anomalie (608), come eseguire un?azione di risoluzione o in alcuni casi il diretto cambio dell?interfaccia dell?applicativo web se non la disconnessione temporanea del sito.

La soluzione identificata ? attuabile in qualsiasi linguaggio di programmazione e per qualsiasi tipo di interfaccia (web o mobile), cambiando il dataset di addestramento.

Claims (4)

RIVENDICAZIONI

1. Sistema per l?individuazione di anomalie nelle interfacce di applicativi web, detto sistema ? caratterizzato dai seguenti moduli:

a. Interfaccia utente atta a raccogliere le valutazioni dell?utente su un set di template per l?addestramento di modelli di intelligenza artificiale, e a fornire suggerimenti per il miglioramento delle anomalie e l?esecuzione di operazioni di mitigazione delle anomalie (110). b. Modulo di salvataggio ed elaborazione dei dati prima del loro utilizzo per addestramento ed esecuzione delle reti neurali (120-130).

c. Modulo di intelligenza artificiale basato su rete neurale ricorrente LSTM finalizzato all?individuazione di anomalie e al suggerimento di miglioramenti dell?interfaccia (130-140) -modulo di esecuzione delle regole volte alla mitigazione delle anomalie e di connessione con il server dell?applicativo web.

2. Sistema per l?individuazione di anomalie nelle interfacce di applicativi web secondo la rivendicazione 1 in cui l?interfaccia utente (110) ha scopo di raccolta delle valutazioni dell?utente e di segnalazione anomalie, suggerimento miglioramenti, esecuzione operazioni di mitigazione delle anomalie (303-304-305-306);

3. Sistema per l?individuazione di anomalie nelle interfacce di applicativi web secondo la rivendicazione 1-2 che utilizza un modello di IA a rete neurale LSTM addestrata su un database contenente:

a. valutazione degli utenti (201);

b. feedback della UX indipendente dal giudizio soggettivo dell?utente (202), adottando una correzione del feedback del tester legandolo all?esperienza.

c. dati relativi alla struttura dell?interfaccia dell?applicativo web ottenuti tramite l?estrazione del codice HTLM, la classificazione dei codici sorgenti, estrazione dei tag e uso di Natural Language Processing atto all?utilizzo di questi dati da parte della rete LSTM.

4. Sistema per l?individuazione di anomalie nelle interfacce di applicativi web secondo la rivendicazione 1-4 atto alla risoluzione di anomalie web individuate col sistema rivendicato in 1-3.