ITTO20120864A1 - Procedimento e sistema per riconoscimento di forme del tatto, apparecchiatura a schermo e prodotto informatico relativi - Google Patents

Description

“Procedimento e sistema per riconoscimento di forme del tatto, apparecchiatura a schermo e prodotto informatico relativiâ€

TESTO DELLA DESCRIZIONE

Campo tecnico

Questa descrizione à ̈ relativa alla rilevazione di dito, per es. negli schermi a sfioramento (“touch screen†).

Varie forme di attuazione possono essere relative al riconoscimento di forme di tocchi multipli in un’apparecchiatura a schermo a sfioramento.

Sfondo tecnico

Un’ampia gamma di applicazioni degli schermi a sfioramento implica la tecnologia di rilevazione di dito: gli smartphone, i computer tablet, i navigatori, i dispositivi di visualizzazione interattiva di vari generi, i pannelli di controllo e/o i telecomandi di vari tipi sono esemplificativi di tali applicazioni.

Con il crescere della diffusione dei dispositivi per consumatori che implicano l’uso di schermi a sfioramento, rivestono un ruolo crescente le procedure atte a discriminare la forma di uno o più dita rispetto ad altri tipi di forme.

Queste procedure possono essere funzionali, per es. nel discriminare un contatto o un tocco non intenzionale con lo schermo che potrebbe attivare indesideratamente specifiche funzioni. Ciò, notando anche che, in varie tecnologie di rilevazione, un dito che si avvicina a uno schermo a sfioramento può attivare funzionalità di tocco anche prima di toccare lo schermo.

Oggetto e sintesi

Il riconoscimento della presenza e del numero di dita che toccano simultaneamente uno schermo à ̈ pertanto di interesse per molti tipi di applicazioni, quali per es. quelle basate sull’inseguimento (“tracking†) di più dita (effettuazione di zoom, strisciatura (“swipe†), rotazione di figure, giochi, disegno con le dita, ecc.).

Lo scopo di varie forme di attuazione à ̈ di rispondere a un tale interesse.

Varie forme di attuazione conseguono questo scopo per mezzo di un procedimento avente le caratteristiche esposte nelle rivendicazioni che seguono.

Certe forme di attuazione possono anche essere relative a un corrispondente sistema, a una relativa apparecchiatura con schermo a sfioramento, così come a un relativo prodotto informatico, caricabile nella memoria di almeno un dispositivo di elaborazione e includente porzioni di codice software per effettuare le fasi del procedimento delle forme di attuazione quando il prodotto à ̈ eseguito su un tale dispositivo. Come qui utilizzato, il riferimento a un tale prodotto informatico à ̈ inteso essere equivalente a un riferimento a un mezzo leggibile da computer contenente istruzioni per controllare un dispositivo elettronico in modo da coordinare l’esecuzione del procedimento dell’invenzione. Il riferimento ad “almeno un computer†intende evidenziare la possibilità che certe forme di attuazione siano implementate in maniera distribuita/modulare.

Le rivendicazioni sono parte integrante della descrizione dell’invenzione qui fornita.

In varie forme di attuazione, la rilevazione di tocchi con più dita coinvolge un sistema di classificazione con supervisione.

In varie forme di attuazione, una mappa del tocco può essere rappresentata da tre descrittori invarianti rispetto alla traslazione e alla rotazione.

In varie forme di attuazione, la discriminazione di forme di tocchi multipli può essere basata su un sistema di classificazione atto a discriminare il tocco (i tocchi) di uno o più dita rispetto ai tocchi non di dita.

In varie forme di attuazione, possono essere definite classi di dita che coinvolgono forme del tocco da uno a dieci dita (cioà ̈, di due mani). Varie forme di attuazione possono essere teoricamente estese alla rilevazione di un numero qualsiasi di dita.

Varie forme di attuazione possono anche rilevare dita che sono molto vicine l’una all’altra.

In varie forme di attuazione, possono essere definite classi non di dita che comprendono per es. le classi di orecchio, di mezzo orecchio, di mezza guancia e di guancia. In varie forme di attuazione, possono essere definite altre classi non di dita.

In varie forme di attuazione, l’impostazione della procedura può essere adattata a differenti dimensioni di schermo.

In varie forme di attuazione, si può utilizzare la rilevazione di tocchi di più dita per differenti applicazioni poiché, una volta che à ̈ stata rilevata una pluralità di tocchi, allora ciascun picco nell’inseguimento di più dita può divenire rappresentativo di un dito da inseguire.

Breve descrizione delle figure

Varie forme di attuazione saranno ora descritte, a puro titolo di esempio, con riferimento alle figure annesse, nelle quali:

- le Figure da 1A a 1E sono esemplificative di varie mappe di schermo a sfioramento;

- le Figure da 2 a 6 sono schemi a blocchi funzionali di esempi di elaborazione in forme di attuazione;

– le Figure 7, 8 e 9 sono esempi di risultati dell’elaborazione in forme di attuazione;

- la Figura 10 Ã ̈ un diagramma di flusso di un esempio di elaborazione in forme di attuazione;

- la Figure 11, includente porzioni designate da a) ad e) Ã ̈ una rappresentazione sinottica delle forme di attuazione; e

- la Figura 12, che include due porzioni designate a) e b), così come le Figure 13 e 14 sono esemplificative di possibili forme di attuazione.

Descrizione dettagliata

Nella seguente descrizione sono illustrati vari dettagli specifici mirati a una comprensione approfondita di vari esempi di forme di attuazione. Le forme di attuazione possono essere ottenute senza uno o più dettagli specifici, oppure attraverso altri procedimenti, componenti, materiali, ecc. In altri casi, strutture, materiali o operazioni note non sono rappresentate o descritte in dettaglio per evitare di oscurare i vari aspetti delle forme di attuazione. Un riferimento a “una forma di attuazione†in questa descrizione indica che in almeno una forma di attuazione à ̈ inclusa una particolare configurazione, struttura o caratteristica descritta con riferimento alla forma di attuazione. Per cui, espressioni quali “in una forma di attuazione†, eventualmente presenti in varie parti di questa descrizione, non fanno riferimento necessariamente alla stessa forma di attuazione. Inoltre, particolari configurazioni, strutture o caratteristiche possono essere combinate in qualsiasi modo adeguato in una o più forme di attuazione.

I riferimenti qui sono utilizzati per facilitare il lettore e così non definiscono l’ambito di protezione o la portata delle forme di attuazione.

Varie forme di attuazione qui considerate possono avere lo scopo di rilevare e di scartare “tocchi†non intenzionali su uno schermo a sfioramento. Varie forme di attuazione possono adottare diverse tecnologie di rilevazione a schermo a sfioramento come note nella tecnica.

Così, le Figure da 1A a 1E rappresentano schematicamente varie mappe del tocco come ottenute correntemente da uno schermo a sfioramento con qualsiasi mezzo noto secondo la tecnologia dello schermo a sfioramento.

Mentre nel seguito della presente descrizione dettagliata di forme di attuazione esemplificative si ipotizzerà almeno implicitamente, di avere a che fare con uno schermo piatto S, gli esperti del settore si renderanno immediatamente conto che la descrizione può anche valere per schermi non piatti. Di conseguenza, anche se qui si considererà a fini esemplificativi uno schermo piatto S, varie forme di attuazione possono anche valere per schermi non piatti.

Inoltre, seguendo la fraseologia prevalente in questo settore tecnico, in tutta la presente descrizione dettagliata delle forme di attuazione esemplificative si farà riferimento a uno schermo a “sfioramento†e a una forma o una mappa del “tocco†; in varie tecnologie di rilevazione (per esempio nel caso di una tecnologia di rilevazione reciproca con un livello di guadagno elevato), un oggetto che si avvicina a uno schermo a sfioramento può attivare funzionalità di tocco ancora prima di toccare effettivamente lo schermo; così, varie forme di attuazione possono estendersi anche a oggetti, per es. uno o più dita, che non toccano effettivamente lo schermo, ma che piuttosto “fluttuano†(“hover†) a una piccola distanza dallo schermo. Di conseguenza, s’intenderà generalmente che le forme o le mappe del “tocco†, come qui considerate, siano rappresentative di forme o di mappe prodotte da un oggetto, quale un dito, che interagisce con uno schermo a sfioramento anche nell’eventuale assenza di un contatto “fisico†diretto.

Le Figure da 1A a 1E sono schematicamente rappresentative di varie mappe prodotte su uno schermo a sfioramento per effetto dell’interazione con:

- un dito (Figura 1A);

- una guancia (Figura 1B);

- un orecchio (Figura 1C);

- una mezza guancia o mezzo orecchio (Figura 1D);

- una pluralità di dita (Figura 1E).

Secondo l’uso qui fatto, una mappa di “dito†sarà quella prodotta da uno o più dita (separate l’una dall’altra o che si toccano l’una con l’altra). Così, le Figure 1A e 1E sono esemplificative di tali mappe di dito.

Secondo l’uso qui fatto, una mappa “non di dito†sarà quella prodotta per es. da una guancia, un orecchio, una mezza guancia o mezzo orecchio. Così, le Figure 1B, 1C e 1D sono esemplificative di tali mappe non di dito.

Varie forme di attuazione possono operare su dati di mappa non elaborati acquisiti utilizzando qualsiasi scheda nota per schermo a sfioramento, eventualmente dotata di un controllore. Il controllore STMT05 S-Touch® FingerTip Multi-touch prodotto dalla richiedente e un display capacitivo a sfioramento da 4†possono essere esemplificativi di un sistema atto a elaborare tali dati di mappa.

In varie forme di attuazione, tali dati possono essere elaborati in un sistema di classificazione del tipo di un classificatore con supervisione.

In varie forme di attuazione, tale sistema di classificazione può implicare un passo o una fase di addestramento suscettibile di essere effettuata fuori linea (“off-line†) e un passo o una fase di test atta ad essere effettuata in una modalità continua.

In varie forme di attuazione, i dati della mappa di dati di rilevazione dello schermo sono disposti in uno spazio x, y, z; in un tale spazio, un pixel (o un “nodo†, secondo il lessico prevalente della tecnologia degli schermi a sfioramento, che sarà adottato anche nelle rivendicazioni allegate) avente coordinate x, y nella mappa ha associato un valore di intensità di rilevazione z. In varie forme di attuazione, il valore z può essere rappresentativo dei dati del tocco o della risposta elettrica del pannello a sfioramento, per es. che à ̈ proporzionale all’intensità del tocco o (inversamente) proporzionale alla distanza di un dito/oggetto dal piano dello schermo.

Varie forme di attuazione possono comportare una trasformazione dallo spazio x, y, z originale in un nuovo spazio di tre descrittori ai fini di una classificazione.

Per esempio, in varie forme di attuazione, come rappresentato schematicamente nella Figura 2, in una fase di addestramento (“training†) TRN, in un passo 10, un insieme completo di dati di mappa C1, C2, ..., Cn (vale a dire Classe 1, Classe 2, ..., Classe n) à ̈ trasformato dallo spazio originale (x, y, z) in uno spazio di tre descrittori. In un passo 12 à ̈ estratto per ciascuna classe un modello di insieme di parametri M1, M2, ..., Mn(vale a dire Modello 1, Modello 2, ..., Modello n). In varie forme di attuazione, a tal fine si può utilizzare un procedimento di fitting basato su una mistura Gaussiana (“Gaussian Mixture†) o GM, cioà ̈ calcolando per ciascuna classe l’insieme dei parametri del modello di GM che meglio si adatta ai dati di addestramento.

Varie forme di attuazione possono adottare un tipo di classificatore differente da un classificatore basato su GM.

In varie forme di attuazione, come rappresentato schematicamente nella Figura 3, una fase di test TST può avere come ingresso una mappa di test TM (“Test Map†). In un passo 20, tale mappa à ̈ trasformata dallo spazio originale (x, y, z) in uno spazio di tre descrittori.

In un passo 22, si utilizzano i modelli, cioà ̈ M1, M2, ..., Mn, per calcolare una verosimiglianza logaritmica (log likelihood tra i tre descrittori che rappresentano la mappa di test TM d’ingresso e i modelli di tutte le classi.

In varie forme di attuazione, la classificazione può essere effettuata calcolando il massimo dei valori di verosimiglianza logaritmica per generare una classe d’uscita OC (“Output Class†).

In varie forme di attuazione, si può raccogliere un insieme di dati di mappe del tocco per ciascuna classe. Come ulteriormente descritto in dettaglio nel seguito, si può elaborare ciascuna mappa di insiemi di dati al fine di estrarre tre elementi distintivi che definiscono una nuova rappresentazione a mappa nello spazio dei descrittori.

Come rappresentato schematicamente nella Figura 4, in varie forme di attuazione, una mappa d’ingresso ITM (“Input Map†) nello spazio (x, y, z) sotto forma di una matrice NxM di pixel, per es. di nodi capacitivi, può essere sottoposta a una trasformazione di spazio 30 (che di per sé può essere rappresentativa dell’una o dell’altra delle trasformazioni 10 e 20 delle Figure 2 e 3) attraverso l’estrazione di tre descrittori come descritto meglio in dettaglio nel seguito.

Dopo la trasformazione, la mappa, indicata con TM3D, può essere rappresentata in un nuovo spazio di 3 descrittori da un punto avente tre coordinate in un tale spazio, vale a dire Descrittore1, Descrittore2, Descrittore3.

Come rappresentato schematicamente nella Figura 5 - e come diventerà più chiaro in base alla descrizione della trasformazione dallo spazio (x, y, z) nello spazio di 3 descrittori fornita nel seguito - si può considerare che la mappa TM3D “trasformata†includa una pluralità di insiemi di dati di classe (1-dito, 2-dita, 3-dita, ..., orecchio, guancia, e così via) rappresentati nel nuovo spazio di 3 descrittori.

In varie forme di attuazione, ciascuno di questi insiemi di dati (ciascuno rappresentativo di un tipo di tocco/interazione con lo schermo, si vedano per es. le Figure da 1A a 1E) può essere elaborato separatamente con un procedimento di fitting (per es. basato su GM) come rappresentato schematicamente dal blocco 12, al fine di estrarre un insieme rispettivo di parametri di modello M1 (per es. parametri di un modello di un insieme di dati di 1-dito), M2 (per es. parametri di un modello di un insieme di dati di 2-dita), M3 (per es. parametri di un modello di un insieme di dati di 3-dita), ..., Mn-1(per es. parametri di un modello di un insieme di dati di orecchio), Mn(per es. parametri di un modello di un insieme di dati di guancia).

In varie forme di attuazione, come rappresentato schematicamente nella Figura 6, la mappa di test TM della Figura 3 può essere trasformata in modo simile in uno spazio di 3 descrittori nel passo 20 e può essere classificata come appartenente a una classe attraverso la stima di massima verosimiglianza logaritmica con i modelli di 3 descrittori M1, M2, M3, ..., Mn-1, Mnestratti nella fase di addestramento TRN.

In varie forme di attuazione, l’elaborazione di verosimiglianza logaritmica (log likelihood) 22 può includere:

- un primo passo 22a dedicato a generare rispettivi valori di verosimiglianza logaritmica L1, L2, L3, ..., Ln-1, Lnciascuno relativo a un test di verosimiglianza (cioà ̈ Lj= Test di verosimiglianza/Mjcon j = 1, ..., n), e

- un secondo passo 22b, dedicato a selezionare, a partire dai valori L1, L2, L3, ..., Ln-1, Ln, un risultato di massima verosimiglianza Lmaxche fornisce il risultato di classificazione OC, ossia il test d’ingresso appartiene al modello della classe che produce Lmax.

In varie forme di attuazione, la trasformazione (generalmente indicata con 30 nella Figura 4) può implicare per rappresentare una mappa d’ingresso ITM nello spazio x, y, z tre descrittori che sono invarianti rispetto alla rotazione e alla traslazione.

Esemplificativi di forme di attuazione di tali tre descrittori possono essere:

- il numero totale di picchi locali;

- il massimo dei valori di Pixel Assorbiti (AP, “Absorbed Pixel†);

- un valore “delta†o differenziale, che à ̈ funzione degli AP.

In varie forme di attuazione, questi descrittori possono essere estratti in un modulo di trasformazione 30 per mezzo di una funzione, come esemplificata nel seguito, che rileva i picchi locali nella mappa N x M d’ingresso nello spazio x, y, z e il numero di nodi (cioà ̈ di pixel) che si trovano sotto ciascuna campana di picco (chiamato Picco Assorbito - AP).

La Figura 7 qui annessa à ̈ una rappresentazione esemplificativa semplificata di una mappa d’ingresso in 2D come fornita da una rappresentazione di uno schermo a sfioramento.

La Figura 8 qui annessa à ̈ una corrispondente rappresentazione in 3D semplificata di N x M punti nello spazio (x, y, z), in cui l’intensità P(x, y) del segnale di rilevazione in un generico punto dello schermo di rilevazione avente coordinate (arbitrarie) x, y à ̈ tracciata come la terza coordinata, vale a dire z.

La Figura 9 qui annessa à ̈ esemplificativa della possibilità di trasformare (“mappare†) la rappresentazione delle Figure 7 e 8 in una rappresentazione di 3 descrittori nella quale la mappa d’ingresso ITM à ̈ trasformata in un (singolo) punto P nello spazio di 3 descrittori (Picchi, APmax, Delta), avente per es. le seguenti coordinate esemplificative:

- Picchi = 3;

- APmax = max (7, 6, 6) = 7;

- Delta = 0,5.

La Figura 10 à ̈ un diagramma di flusso di un esempio di routine atta ad operare sulla mappa d’ingresso I (N x M) nello spazio x, y, z e ad effettuare le due elaborazioni seguenti:

i) - identificazione del numero di picchi locali Pk(cioà ̈ numPicchi, questo essendo il primo descrittore), con k = 1, ..., Wpicchi:

ii) - identificazione del numero di pixel/nodi assorbiti rispetto a ciascun picco APPK.

La Figura 10 Ã ̈ un diagramma di flusso di un esempio di procedura esemplificativa per estrarre da una mappa i picchi locali e, per ciascun picco, il numero (e le coordinate) dei pixel/nodi che si trovano sotto tale picco.

Il numero di picchi estratti può essere utilizzato come un primo descrittore. Successivamente, i valori per gli APPKpossono essere ordinati (in un modo noto qualsiasi) in ordine decrescente ed il valore massimo (il primo nell’elenco) può essere selezionato come secondo descrittore (APmax).

Può quindi essere calcolato un terzo descrittore (Delta) come:

Delta = f(APPk) = (∑ (AP(k) – AP(k+1))/(W – 1)

in cui la somma si estende su k = 1, ..., W – 1, e W à ̈ il numero di picchi estratti nella mappa d’ingresso ITM.

In altre parole, il numero di pixel/nodi assorbiti APPKrispetto a ciascun picco k (con k che varia sull’intervallo da 1 a W) può essere considerato come il numero di pixel che si trovano sotto la “campana†del kesimo picco, mentre APmax à ̈ il valore massimo tra tutti gli APPK.

Si può comprendere almeno approssimativamente il significato “fisico†del parametro Delta considerando che i valori ordinati degli APPKpossono essere tracciati come funzione rispetto a una coordinata teorica.

Una tale funzione à ̈ atta ad essere approssimata da una funzione lineare a tratti, vale a dire una funzione costituita da successive porzioni lineari (cioà ̈ rettilinee), aventi ciascuna un rispettivo coefficiente angolare (inclinazione).

Il parametro Delta può essere così considerato come rappresentativo del valore (medio, cioà ̈ la media) dei coefficienti angolari delle varie porzioni di una tale funzione di approssimazione.

Nel diagramma di flusso esemplificativo della Figura 10, che si riferisce al caso esemplificativo di un’elaborazione di una mappa d’ingresso ITM sotto forma di una matrice N x M nello spazio x, y, z:

- i passi da 100 a 114 sono rappresentativi dell’iterazione sugli indici i (fino a N) e j (fino a M), con i e j gradualmente incrementati (i++, passo 110; j++, fase 114) con k impostato inizialmente a 0 (passo 106) e di una verifica effettuata in un passo 112 per quanto riguarda se l’elemento della matrice I(i, j) considerato sia uguale a zero (in modulo);

- quando l’elemento della matrice I(i, j) considerato à ̈ differente da zero (passo 112 = sì), invece di aggiornare l’indice j nel passo 114, il sistema evolve a un passo 116 nella quale à ̈ inizializzato il valore massimo;

- fintantoché l’indice K à ̈ inferiore a un limite superiore (per es. K < 8), il che à ̈ verificato in un passo 118, in un passo 120 si effettua una verifica inerente a se il valore del nodo corrente I(k) à ̈ superiore al valore massimo; nel caso negativo (cioà ̈ 120 = no), l’indice K à ̈ incrementato in un passo 122 e il sistema ritorna al passo 118; nel caso di un esito positivo del passo 120 (cioà ̈ passo 120 = sì), il passo 122 à ̈ preceduto da un passo 124 nella quale à ̈ aggiornato il valore massimo;

- ogniqualvolta il passo 118 rivela che l’indice K ha raggiunto il suo limite superiore (per es. 8; passo 118 = no), in un passo 126 si effettua una verifica inerente a se il massimo (locale) così localizzato à ̈ già stato memorizzato nell’elenco dei massimi locali; nel caso negativo (passo 126 = no), in un passo 128 si memorizzano le coordinate del massimo locale in questione ed si incrementa l’indice j in un passo 130 per ritornare alla passo 108;

- se il passo 126 rivela che il massimo localizzato à ̈ già stato memorizzato nell’elenco dei massimi locali (passo 126 = sì), l’elenco degli AP per i loro massimi à ̈ aggiornato in un passo 132 e il sistema ritorna al passo 130 per incrementare l’indice j e ritornare al passo 108.

La procedura appena esemplificata può essere terminata quando il passo 104 rivela che l’indice j ha raggiunto il suo valore superiore M.

A tal punto, sono disponibili due dati per la mappa d’ingresso ITM:

- il numero Pkdi picchi locali, cioà ̈ numPicchi, che corrisponde al numero cumulativo di picchi le cui coordinate sono state successivamente memorizzate nella fase 128;

- il numero di APPK, cioà ̈ il numero di pixel/nodi assorbiti rispetto a ciascun picco, che può essere ricavato dall’elenco aggiornato (dagli elenchi aggiornati) della fase 132.

Come indicato, in uno spazio esemplificativo di tre descrittori:

- un primo descrittore può essere il numero di picchi locali,

- un secondo descrittore può essere calcolato come l’APmax, cioà ̈ il massimo (il primo elemento) dell’elenco di tutti gli APPKdisposti in ordine decrescente,

- un terzo descrittore può essere il valore Delta che à ̈ calcolato come l’inclinazione (media/di media), cioà ̈ il valore medio o di media dei coefficienti angolari della funzione di approssimazione lineare a tratti della sequenza dei valori di AP ordinati in ordine decrescente (si veda per es. la formula introdotta in precedenza).

Per esempio, in varie forme di attuazione, si può calcolare un valore per Delta in base ai criteri esemplificati nel seguito.

i) I valori di APPK, come ricavati per es. dalla procedura esemplificata nel diagramma di flusso della Figura 10, sono ordinati in ordine discendente partendo dal valore massimo (MV1 = APmax). In altre parole, gli AP possono così essere rappresentati su un sistema di coordinate cartesiane x, y in cui ciascun punto avrà coordinate x, y, con il valore massimo MV1 rappresentato come aventi coordinate (1, MV1). Il secondo valore più alto MV2 avrà coordinate (2, MV2), il terzo (3, MV3), e così via.

ii) I valori/punti così ordinati in una serie decrescente ordinata di valori possono quindi essere congiunti nel piano x, y per produrre una curva di approssimazione lineare a tratti, includente una prima porzione (retta) che congiunge MV1 e MV2, una seconda porzione che connette MV2 con MV3, una terza porzione che connette MV3 con MV4, e così via. Ciascuna di queste porzioni rettilinee avrà un rispettivo coefficiente angolare: per esempio, la porzione rettilinea che congiunge MV1 e MV2 avrà un coefficiente angolare identificato dalla differenza tra MV1 e MV2 (per es. (MV1-MV2)/(1-2) = - (MV2-MV1)).

iii) Il descrittore Delta può quindi essere calcolato come il valore medio/di media dei coefficienti angolari delle varie porzioni che costituiscono la funzione lineare a tratti, vale a dire come (Σ (AP (k) - AP (k 1)) / (W -1)

In sintesi, in varie forme di attuazione, si può calcolare un valore per Delta:

- ordinando i numeri di nodi assorbiti sotto i picchi di intensità come una serie decrescente ordinata,

- approssimando la serie decrescente ordinata così formata con una funzione di approssimazione lineare a tratti includente una pluralità di porzioni lineari aventi rispettivi coefficienti angolari, e

- determinando il coefficiente angolare (Delta) come il valore medio dei rispettivi coefficienti angolari delle porzioni della funzione di approssimazione lineare a tratti.

In varie forme di attuazione, l’elaborazione esemplificata in precedenza può discriminare due differenti oggetti aventi forme simili in 2D.

Per esempio, la Figura 11 descrive il caso esemplificativo di due mappe prodotte da:

- quattro dita situate l’una vicina all’altra in una configurazione arcuata (Figura 11a),

- un orecchio (Figura 11b).

Sebbene le corrispondenti rappresentazioni in 3D nello spazio (x, y, z), cioà ̈ le curve dell’intensità/forza del segnale di rilevazione tracciate come terza coordinata, vale a dire z, possono apparire piuttosto simili (si veda la Figura 11c - quattro dita, e la Figura 11d - orecchio), la rappresentazione nello spazio di numPicchi, APmax, Delta può produrre rispettivamente due punti P1, P2 del tutto differenti.

Come esemplificato, questi possono eventualmente avere più o meno la stessa coordinata di numPicchi (cioà ̈ 4, che à ̈ più o meno ciò che possono rappresentare le Figure 11c e 11d), ma presentano valori del tutto differenti per APmax (per es. rispettivamente 7 e 8) e per Delta (per es. rispettivamente 0,5 e 2).

Ciò che precede fornisce un buon esempio di come una mappatura sullo spazio (numPicchi, APmax, Delta) renda possibile distinguere chiaramente, cioà ̈ separare, ciascuna classe di dito/a (a scopi sia di addestramento sia di test, si vedano le Figure 2 e 3) rispetto a qualsiasi altra classe, comprendente per es. orecchio, guancia, mezzo orecchio/mezza guancia, nello spazio di questi tre descrittori.

I test effettuati dagli inventori hanno confermato ciò per 1800 mappe esemplificative per ciascuna di otto classi, cioà ̈ da 1-dito a 5-dita più un orecchio, un mezzo orecchio/mezza guancia (HEHC) e una guancia, con un addestramento e un test che hanno comportato l’acquisizione di 14.400 campioni bilanciati per ciascuna classe.

In varie forme di attuazione, ciò può valere per forme che altrimenti, per es. basandosi solo sulla forma del contorno o dell’area nello spazio (x, y, z), possono apparire molto simili, le forme delle Figure 11a e 11b (rispettivamente quattro dita e un orecchio) essendo esemplificative di un tipo caso di questa natura.

Varie forme di attuazione possono “risolvere†correttamente questi casi poiché i descrittori considerati possono essere robusti in relazione alla rilevazione di dita, essendo nel contempo inclini a rifiutare altre forme. Varie forme di attuazione possono rilevare un numero anche relativamente elevato di dita adiacenti che interagiscono con lo schermo, comunque ruotate e posizionate.

Specialmente quando si opera con schermi più grandi (7†e oltre), si possono verificare situazioni nelle quali lo schermo, mentre viene toccato con uno o più dita, può anche essere toccato - eventualmente senza accorgersene – per es. dal palmo della mano.

Può essere utile essere in grado di riconoscere/discriminare un palmo che tocca lo schermo del display quando si usano le dita. Questo può essere il caso, per esempio, di quando il palmo di una mano può toccare il display mentre si stanno usando due dita per effettuare uno zoom.

Varie forme di attuazione, come esemplificate in precedenza, applicando tre descrittori (per es. numPicchi, APmax, Delta) su una mappa relativa all’intero schermo, possono mirare a fornire in uscita solo una forma per ciascun frame del tocco in ingresso. Per esempio, varie forme di attuazione, come esemplificato in precedenza, possono produrre come risultato una forma “non di dito†se, mentre vi si agisce sopra con uno o più dita, lo schermo viene toccato (per es. inavvertitamente) con un palmo.

Varie forme di attuazione qui considerate possono trattare anche una tale eventualità considerando separatamente varie forme sullo schermo.

Varie forme di attuazione, che possono essere adeguate per un impiego per es. in microcontrollori di sfioramento per schermi di display di 7†e oltre 7†, possono essere atte a rilevare il tocco di un dito (di più dita) e il tocco di un palmo distinguendo i due, essendo così in grado di discriminarli e di scegliere un tocco di dito.

Varie forme di attuazione possono basarsi su un’analisi dei dati di mappa che non à ̈ più un’analisi globale (cioà ̈ dell’intero schermo), ma un’analisi locale.

In varie forme di attuazione, l’analisi locale può basarsi sul fatto di considerare ciascun picco con i suoi pixel assorbiti come un “blob†(macchia), con ciascun blob suscettibile di essere considerato come isolato da altri blob o adiacente (contiguo) ad essi.

Per esempio, in varie forme di attuazione, quando si effettua una scansione di una mappa d’ingresso, per es. da sinistra a destra e dall’alto verso il basso, si può rilevare (in base allo stesso approccio esemplificato in precedenza):

- un numero di picchi locali Pk, e

- un numero di pixel assorbiti AP rispetto a ciascun picco (APPK).

In varie forme di attuazione, ciascun picco, con i suoi AP, può essere considerato come costituente un blob e, in varie forme di attuazione, possono essere verificate eventuali adiacenze tra i blob, per esempio formando una matrice simmetrica quadrata delle adiacenze con le dimensioni, per es. di una matrice N x M, in cui le righe e le colonne possono rappresentare i picchi, e l’elemento (x,y) nella matrice può memorizzare un valore rappresentativo della adiacenza tra il blob contenente il picco x ed il blob contenente il picco y.

In varie forme di attuazione, leggendo i dati nella mappa del tocco, si possono identificare gli oggetti (semplici o complessi) della matrice, ciascun oggetto essendo rappresentato da un gruppo di tre descrittori invarianti rispetto alla rotazione e alla traslazione, vale a dire:

- numero di picchi;

- valore dei pixel assorbiti;

- valori di adiacenza.

In varie forme di attuazione, ciascuna forma del tocco può essere distinta utilizzando l’elenco dei picchi e i valori dei loro AP.

La Figura 12 à ̈ esemplificativa di un tale approccio. Nella parte a) della Figura 12 un certo numero di forme del tocco sono illustrate come blob, con ciascun blob avente un differente valore di etichetta, cioà ̈:

- B1, B3 eventualmente rappresentativi (cioà ̈ candidati a rappresentare) due dita vicine che toccano una porzione di uno schermo,

- B5 eventualmente rappresentativi di un dito isolato che tocca lo schermo,

- B2, B4, B6 eventualmente rappresentativi di un palmo che tocca un’altra porzione dello schermo.

La parte b) della Figura 12 illustra schematicamente una matrice di adiacenza esemplificativa per questi blob da B1 a B6. In varie forme di attuazione, si può costruire una matrice secondo una metrica nella quale l’adiacenza à ̈ per es. zero per due blob che non sono adiacenti (per es. B1 e B2) e può assumere valori crescenti per blob adiacenti in funzione dell’ammontare per cui (per es. del numero di pixel) i blob sono adiacenti, cioà ̈ contigui o a contatto l’uno con l’altro (per es. 2 per B1 e B3 e 5 per B2 e B4, e per B4 e B6).

In varie forme di attuazione, la matrice di adiacenze può permettere di verificare se una forma à ̈ isolata (singola) o complessa (composta). La matrice di adiacenze esemplificativa qui considerata à ̈ simmetrica, cosicché l’elaborazione per estrarre blob composti può essere limitata ai valori diagonali superiori.

La mappa del caso esemplificativo della Figura 12 a) include così 6 “micro†blob da B1 a B6 e quattro tocchi/oggetti, vale a dire:

- due dita che sono contigue, cioà ̈ che si toccano l’una con l’altra (cioà ̈ B1 e B3),

- un dito isolato (cioà ̈ B5), e

- un palmo (cioà ̈ B2, B4 e B6).

I “micro†blob B1 e B3 sono adiacenti, così si può considerare che costituiscano un “macro†blob (composto) complesso.

Il microblob B5 à ̈ isolato dagli altri, cioà ̈ non ha alcuna adiacenza con alcun altro blob.

I microblob B2, B4 e B6, essendo adiacenti, costituiscono un macroblob complesso.

In varie forme di attuazione, a ciascun blob (semplice o composto) può così essere assegnato un valore di adiacenza, per es.:

B1+B3 → valore di adiacenza = 2

B2+B4+B6 → valore di adiacenza = 10

B5 → valore di adiacenze = 0

I valori di adiacenza esemplificati in precedenza possono essere assegnati, per es. assegnando al blob B5 (che à ̈ isolato dagli altri, senza alcuna adiacenza, vale a dire con adiacenza zero) un valore uguale a zero, e assegnando agli altri blob valori di adiacenza che sono funzione (per es. la somma) del numero di pixel/nodi contigui nei blob adiacenti.

In varie forme di attuazione, si può così riconoscere che ciascun oggetto nella mappa appartiene a uno dei due tipi: semplice e complesso (o composto).

Un oggetto semplice può essere costituito da un picco e può essere rappresentato dal numero di pixel che si trovano sotto la campana del picco (valore di Pixel Assorbiti). In varie forme di attuazione, esso può essere rappresentato da un valore di adiacenza uguale a zero, poiché à ̈ isolato - cioà ̈ non adiacente - rispetto a qualsiasi altro oggetto.

Un oggetto complesso/composto può includere più di un picco e gli AP dell’oggetto corrispondono alla somma dei singoli AP che appartengono ai picchi che compongono l’oggetto.

In varie forme di attuazione, si può così selezionare la terza coordinata dello spazio di tre descrittori come il valore di adiacenza rappresentativo dell’ammontare per cui detti picchi di intensità nella mappa sono adiacenti l’uno all’altro.

In varie forme di attuazione, si può così selezionare la seconda coordinata (AP) o come il numero di nodi assorbiti sotto un picco di intensità isolato (per es. B5) o come la somma dei numeri di nodi assorbiti sotto una pluralità di picchi di intensità adiacenti (per es. B1, B3 o B2, B4, B6).

Si apprezzerà che un singolo blob (senza alcuna adiacenza) può non essere necessariamente rappresentativa di un dito; in effetti, esso può anche rappresentare un palmo, con per es.:

- una prima coordinata num Picchi = 1 picco,

- una seconda coordinata AP (numero di nodi sottostanti al picco) con un valore (molto) più elevato dei valori tipici di AP per un dito,

- una terza coordinata (adiacenza) = 0.

In tal caso, si può riconoscere il palmo rispetto a un dito principalmente sulla scorta della seconda coordinata.

In varie forme di attuazione, un insieme esemplificativo di dati non elaborati, come rappresentato nelle Figure 13 e 14, può essere elaborato sulla base dei principi descritti in precedenza per produrre la seguente uscita:

- tre dita separate F1, F2, F3

- un palmo P.

Sebbene nei termini di una forma apparente nello spazio (x, y, z) - cioà ̈ area e contorno sul piano dello schermo - tre dita che toccano uno schermo l’una vicina all’altra possano essere molto simili a un palmo, un sistema secondo varie forme di attuazione può essere in grado di identificare come sua uscita finale tre dita che toccano in una porzione di uno schermo, indipendentemente dall’eventuale presenza di un palmo che tocca un’altra porzione dello schermo.

In varie forme di attuazione, ciò può implicare di distinguere, nei dati convertiti dallo spazio x, y, z allo spazio di tre descrittori:

- oggetti semplici (per es. B5) aventi una prima coordinata rappresentativa di un singolo picco di intensità e una terza coordinata rappresentativa dell’assenza di picchi adiacenti,

- oggetti composti (per es. B1, B3, o B2, B4, B6) aventi una prima coordinata rappresentativa di una pluralità di picchi di intensità e una terza coordinata rappresentativa della presenza di picchi adiacenti.

I test effettuati dagli inventori hanno confermato l’affidabilità del funzionamento su 300 mappe per ciascuna classe nello spazio dei tre descrittori esemplificativi considerati, dimostrando che anche con solo tre descrittori si può separare correttamente la classe di dito da altre classi (per es. di palmo).

Di nuovo, sebbene precedentemente se si à ̈ fatto riferimento a una matrice di fusione ottenuta utilizzando un classificatore in base a una mistura gaussiana o GM, in varie forme di attuazione si possono utilizzare altri tipi di classificatori (per es. un semplice albero di decisione) mantenendo nel contempo la capacità di discriminare i tocchi di dita per es. da quelli di palmi.

Senza pregiudizio per i principi alla base dell’invenzione, i dettagli e le forme di attuazione possono variare, anche in modo apprezzabile, rispetto a quanto à ̈ stato qui descritto soltanto a titolo di esempio non limitativo, senza allontanarsi dall’ambito di protezione dell’invenzione, tale ambito di protezione essendo determinato dalle rivendicazioni.

LEGENDA DELLE TAVOLE DEI DISEGNI

FIGURA 5

1- dito

2- dita

3- dita

Orecchio

Guancia

FIGURA 9

AP max

Num Picchi

FIGURA 10

yes = sì

end = fine

FIGURA 11

AP max

Num Picchi

Claims (15)

1. RIVENDICAZIONI 1. Procedimento per riconoscere dati di rilevazione di dito in una mappa di dati di rilevazione prodotta da uno schermo a sfioramento, in cui i dati sono disposti in uno spazio x, y, z che associa a un nodo avente coordinate x, y nella mappa un valore di intensità di rilevazione z, il procedimento includendo la conversione (30) dei dati dallo spazio x, y, z a uno spazio di tre descrittori avente tre coordinate includenti: - una prima coordinata (num Picchi) rappresentativa del numero di picchi di intensità nella mappa, - una seconda coordinata (APmax; AP) rappresentativa del numero di nodi assorbiti sotto detti picchi di intensità, e - una terza coordinata selezionata come l’una o l’altra tra: - un coefficiente angolare (Delta) di una linea di approssimazione che passa attraverso punti rappresentativi di detti numeri di nodi assorbiti sotto detti picchi di intensità ordinati in ordine decrescente; - un valore di adiacenza rappresentativo dell’ammontare per cui detti picchi di intensità sono adiacenti l’uno all’altro.
2. 2. Procedimento secondo la rivendicazione 1, comprendente scegliere detta terza coordinata come detto coefficiente angolare (Delta), e almeno uno tra: - scegliere detta seconda coordinata come il massimo (APmax) dei numeri di nodi assorbiti sotto detti picchi di intensità, - evidenziare, nei dati convertiti dallo spazio x, y, z allo spazio di tre descrittori, dati di dita rispetto a dati non di dita sulla totalità dello schermo a sfioramento.
3. 3. Procedimento secondo la rivendicazione 1 o la rivendicazione 2, comprendente determinare detto coefficiente angolare (Delta): - ordinando detti numeri di nodi assorbiti sotto detti picchi di intensità come una serie decrescente ordinata, - approssimando detta serie decrescente ordinata con una funzione di approssimazione lineare a tratti includente una pluralità di porzioni lineari aventi rispettivi coefficienti angolari, e - determinando detto coefficiente angolare (Delta) come il valore medio di detti rispettivi coefficienti angolari.
4. 4. Procedimento secondo la rivendicazione 1, comprendente scegliere detta terza coordinata come detto valore di adiacenza (da B1 a B6) rappresentativo della misura in cui detti picchi di intensità sono adiacenti l’uno all’altro, e almeno uno tra: - scegliere detta seconda coordinata (AP) come l’uno o l’altra tra il numero di nodi assorbiti sotto un picco di intensità isolato (B5) o la somma dei numeri di nodi assorbiti sotto una pluralità di picchi di intensità adiacenti (B1, B3; B2, B4, B6), - evidenziare, nei dati convertiti dallo spazio x, y, z allo spazio di tre descrittori, dati di dita (B1, B3, B5) prodotti su una porzione dello schermo a sfioramento rispetto a dati non di dita (B2, B4, B6) prodotti su un’altra porzione dello schermo a sfioramento.
5. 5. Procedimento secondo la rivendicazione 4, comprendente distinguere, nei dati convertiti dallo spazio x, y, z allo spazio di tre descrittori: - oggetti semplici (B5) aventi una prima coordinata rappresentativa di un singolo picco di intensità e una terza coordinata rappresentativa dell’assenza di picchi adiacenti, - oggetti composti (B1, B3; B2, B4, B6) aventi una prima coordinata rappresentativa di una pluralità di picchi di intensità e una terza coordinata rappresentativa della presenza di picchi adiacenti.
6. 6. Procedimento secondo una qualsiasi delle rivendicazioni precedenti, comprendente determinare detta terza coordinata: - identificando per detti picchi di intensità in detta mappa di dati di rilevazione rispettivi insiemi di nodi assorbiti sotto di essi, per cui ciascun picco di intensità e il rispettivo insieme di nodi assorbiti forma un blob, - localizzando nodi adiacenti tra i blob così formati, - determinando valori di adiacenza per detti blob in funzione del numero di nodi adiacenti così localizzati.
7. 7. Procedimento secondo la rivendicazione 6, comprendente almeno una tra: - impostare a zero del valore di adiacenza per un blob isolato non avente alcun nodo adiacente con altri blob, - impostare il valore di adiacenza per una pluralità di blob adiacenti come la somma dei numeri di nodi adiacenti nei blob adiacenti.
8. 8. Procedimento secondo una qualsiasi delle rivendicazioni precedenti, comprendente: - convertire (20) dallo spazio x, y, z allo spazio di tre descrittori una mappa di dati di rilevazione (TM) prodotta da uno schermo a sfioramento, - sottoporre detta mappa di dati di rilevazione (TM) convertita dallo spazio x, y, z allo spazio di tre descrittori a un test di verosimiglianza (22) con una pluralità di modelli di test (M1, M2, ..., Mn) comprendenti modelli di dati di rilevazione di dito da riconoscere così come prodotti in una fase di addestramento (TRN) includente la conversione (10) dallo spazio x, y, z a detto spazio di tre descrittori.
9. 9. Procedimento secondo la rivendicazione 8, in cui la fase di addestramento (TRN) comprende ottenere modelli di test (M1, M2, ..., Mn) tramite un fitting (12), preferibilmente tramite un fitting a Mistura Gaussiana, a mappe di dati di modello (C1, C2, ..., Cn).
10. 10. Procedimento secondo la rivendicazione 9, in cui, in detta fase di addestramento (TRN), il fitting (12) segue la conversione (10) dallo spazio x, y, z allo spazio di tre descrittori.
11. 11. Procedimento secondo una qualsiasi delle rivendicazioni da 8 a 10, comprendente, come detto test di verosimiglianza (22), un test di verosimiglianza logaritmica (log likelihood).
12. 12. Procedimento secondo una qualsiasi delle rivendicazioni da 8 a 11, in cui il test di verosimiglianza (22) include: - una pluralità di test individuali (22a) ciascuno avente come risultato un rispettivo valore di verosimiglianza (L1, L2, ..., Ln) con un rispettivo modello di test (M1, M2, ..., Mn); - una verifica di massima verosimiglianza (22b) dei valori di verosimiglianza (L1, L2, ..., Ln) risultanti dalla pluralità di test individuali (22a) per identificare quello dei test individuali che produce il valore di massima verosimiglianza (Lmax), per cui il modello di test che produce il valore di massima verosimiglianza (Lmax) à ̈ ritenuto rappresentativo dei dati nella mappa di dati di rilevazione (TM) prodotta da uno schermo a sfioramento.
13. 13. Sistema per riconoscere dati di rilevazione di dito in una mappa di dati di rilevazione prodotta da uno schermo a sfioramento, il sistema configurato per implementare il procedimento di qualsiasi delle rivendicazioni da 1 a 12.
14. 14. Apparecchiatura con schermo a sfioramento comprendente: - uno schermo a sfioramento (S) per produrre dati di rilevazione di dito, - un sistema per riconoscere dati di rilevazione di dito in una mappa di dati di rilevazione prodotta da uno schermo a sfioramento (S) per ricevere dallo schermo a sfioramento (S) dati di rilevazione di dito per l’elaborazione, il sistema essendo secondo la rivendicazione 13.
15. 15. Prodotto informatico, caricabile nella memoria di almeno un dispositivo di elaborazione e comprendente porzioni di codice software per eseguire le fasi del procedimento di una qualsiasi delle rivendicazioni da 1 a 12.