ITMO20080177A1 - Metodo per impartire comandi per mezzo di movimenti oculari. - Google Patents

Description

DESCRIZIONE

annessa a domanda di brevetto per INVENZIONE INDUSTRIALE avente per titolo: METODO PER IMPARTIRE COMANDI PER MEZZO DI MOVIMENTI OCULARI.

La presente invenzione è relativa ad un metodo per impartire comandi per mezzo di movimenti oculari, in particolare ad una apparecchiatura elettronica, una strumentazione elettronica o ad un calcolatore.

Sono noti vari metodi di questo tipo, tutti contraddistinti da una notevole complessità di calcolo che richiede un'accurata calibrazione preventiva di un certo numero di parametri di funzionamento affinché il metodo produca risultati soddisfacenti.

Scopo della presente invenzione è quello di offrire un metodo per impartire comandi per mezzo di movimenti oculari che sia notevolmente più semplice e comodo da attuare e che non richieda una calibrazione preventiva per produrre risultati soddisfacenti, così di essere anche più economico rispetto ai metodi di tipo noto. Caratteristiche e vantaggi dell'invenzione appariranno maggiormente dalla descrizione dettagliata fatta qui di seguito con riferimento agli uniti disegni, dati a titolo esemplificativo e non limitativo, in cui:

- le figure 1 e 2 mostrano una rappresentazione schematica di un occhio;

- la figura 3 mostra uno schermo video suddiviso in varie aree all'interno delle quali può essere applicato il metodo secondo la presente invenzione;

- le figure 4 e 5 mostrano l'esecuzione di alcune fasi del metodo secondo la presente invenzione.

L’occhio di un soggetto presenta tre stati di movimento: saccade, inseguimento lento e fissazione. Se si considera il globo oculare come una sfera approssimata alle sue dimensioni anatomiche, il movimento del centro della pupilla O in ognuno dei tre stati, è funzione del movimento di tutto il globo oculare aH’intemo dell’orbita e, di conseguenza, anche della direzione di fissazione da parte del soggetto.

Il metodo secondo la presente invenzione prevede di rilevare ed acquisire il movimento della pupilla e quindi dell'occhio. Il movimento della pupilla viene acquisito per mezzo di una ripresa televisiva realizzata ad esempio attraverso una telecamera coadiuvata da un dispositivo di illuminazione a LED infrarosso. La telecamera può essere resa solidale alla testa dell'utilizzatore attraverso un supporto.

L’obiettivo è posto davanti a uno dei due occhi, preferibilmente alla distanza approssimativa di 8 cm, in modo da realizzare l’inquadratura della pupilla, del segmento anteriore e dell’area periorbitale.

Le immagini televisive acquisite per mezzo della ripresa televisiva vengono digitalizzate. La successione temporale delle immagini televisive costituisce la sorgente d’informazione che, in seguito ad una successiva elaborazione, viene interpretata per produrre comandi come ad esempio quello di spostamento di un puntatore su uno schermo, di movimentazione di bracci meccanici, di azionamento di interruttori o motori, o altro.

In particolare ogni singolo fotogramma video acquisito viene elaborato con un algoritmo basato su un'ipotesi in base alla quale P immagine della pupilla è un oggetto bidimensionale connesso, ovvero un oggetto limitato da una curva piana chiusa, avente contorno molto simile ad un’ellisse, livello medio di grigio molto scuro rispetto al resto dell’immagine ed area significativamente grande.

Tale algoritmo prevede pertanto l’esecuzione delle seguenti operazioni: un'analisi dei vari livelli di grigio, il cui scopo è quello di isolare le componenti dell’ immagine più scure; individuazione e calcolo dell’area dei soli oggetti connessi, per determinare l’oggetto che con maggiore probabilità rappresenta la pupilla; estrazione del contorno, per calcolare l’equazione dell’ellisse che meglio ne approssima il contorno; calcolo delle coordinate (x,y) del centro della pupilla O sul fotogramma.

Tali coordinate (x,y), che identificano la posizione sull’ immagine del centro della pupilla, vengono aggiornate in tempo reale, sono funzione della direzione di fissazione del soggetto e sono utilizzabili per qualsiasi applicazione in cui un qualunque dispositivo sia governabile, in tutto o in parte, con i movimenti oculari.

Nel caso in cui il dispositivo da controllare sia costituito da un calcolatore, mediante il metodo in oggetto Putilizzatore può pilotare la posizione del puntatore del mouse sul monitor spostando gli occhi per indirizzare lo sguardo sulle aree di interesse dell’immagine mostrata sul monitor del PC.

L’attivazione volontaria di un evento in corrispondenza di determinate posizioni raggiunte dal puntatore (avvio di un programma, scelta di un’opzione, ecc.) può avvenire per mezzo di azioni diverse, ad esempio con un ammiccamento palpebrale, con un segnale vocale, con un segnale elettromiografico, con un movimento di un arto o di una sua parte, con l’emissione di un soffio, o anche combinando tra loro due o più di queste azioni rilevate per mezzo di sensori.

Il metodo, oggetto dell’ invenzione, viene di seguito descritto nella sua applicazione preferita che consiste nell’ interazione tra lo spostamento oculare di un utilizzatore e l’effetto di tale spostamento sulla posizione di un oggetto da muoversi P, appartenente ad una scena osservata, come ad esempio il puntatore del mouse sul monitor di un calcolatore.

Il tracciamento nel tempo della posizione del centro della pupilla O viene analizzato al fine di riconoscere la volontà del soggetto di impartire un comando di movimento. Il comando può essere definito tramite un vettore di spostamento Vp avente una direzione, un verso ed un'intensità (o modulo). La direzione ed il verso possono essere riconosciute all’interno di un sottoinsieme discreto e predefinito di un fascio di semirette orientate Si,Si,Sn, ad esempio otto semirette separate da passi angolari di un ottavo di angolo giro. Il modulo del vettore può essere associato ad una distanza che l’oggetto da muoversi deve percorrere.

La volontà di spostare l'oggetto viene espressa dall’utilizzatore nell’azione di fissare l’oggetto da muoversi nella sua posizione iniziale di riposo P e nella successiva fissazione, preceduta da movimento saccadico, di un altro punto, o più propriamente un'area, della scena osservata che è prossimo o coincide con la posizione finale T che si intende far raggiungere all'oggetto da muoversi (figura 5).

Il movimento dell’immagine del centro della pupilla O consente di individuare le fasi di fissazione, in quanto in queste fasi la velocità della pupilla è quasi nulla. Lo spostamento tra le posizioni assunte dal centro della pupilla in corrispondenza delle due fissazioni successive della posizione iniziale dell'oggetto da muoversi e del punto o dell'area in cui si intende spostare l'oggetto da muoversi definisce un vettore di spostamento del centro della pupilla Vo che, dopo essere stato elaborato per mezzo del metodo secondo l'invenzione, si trasforma in un vettore di spostamento Vp dell'oggetto da muoversi.

La trasformazione che il metodo secondo l'invenzione opera sul vettore spostamento prodotto dal centro della pupilla avviene nelle modalità seguenti.

Direzione e verso del vettore di spostamento dell'oggetto da muoversi sono individuati posizionando il centro di un fascio discreto di rette RI, Ri, Rn, aventi direzione e verso prestabiliti, in corrispondenza del centro della pupilla O al momento della fissazione iniziale delfoggetto da muoversi.

Le rette Rl,Ri,Rn sono associate ad un sistema polare di riferimento che ha il centro in corrispondenza del centro O della pupilla e l'asse di riferimento disposto in orizzontale. Il vettore di spostamento Vo del centro della pupilla, che ha origine in O, forma un determinato angolo rispetto all'asse di riferimento orizzontale. La direzione del vettore di spostamento Vp dell'oggetto da muoversi viene determinata a partire dalla misurazione dell'angolo a formato dal vettore di spostamento Vo del centro della pupilla rispetto all'asse di riferimento orizzontale. Nell'esempio illustrato in figura 2, se l’angolo a è compreso tra -22,5° e 22,5°, al vettore di spostamento Vp dell'oggetto da muoversi è associata una direzione orizzontale verso destra. Se l’angolo a è compreso tra 22,5 gradi e 67,5 gradi, al vettore di spostamento Vp dell'oggetto da muoversi è associata una direzione obliqua verso destra in alto a 45 gradi. Se l’angolo a è compreso tra 67,5 gradi e 112,5 gradi, al vettore di spostamento Vp dell'oggetto da muoversi è associata una direzione verticale verso l’alto, e così via per i rimanenti settori angolari in cui il fotogramma della pupilla è suddiviso dal fascio di rette Ri.

Per definire completamente il vettore di spostamento dell'oggetto da muoversi, è necessario assegnare al vettore stesso un’intensità o modulo. A tale scopo, il modulo del vettore di spostamento del centro della pupilla Vo (figura 2) viene moltiplicato per un fattore di guadagno, inizialmente arbitrario ma sperimentalmente ragionevole. Il risultato della moltiplicazione rappresenta il modulo del vettore di spostamento dell'oggetto da muoversi Vp, ovvero la distanza che percorrerà l’oggetto P. Dopo aver stabilito la direzione, il verso ed il modulo del vettore di spostamento dell'oggetto P, è possibile applicare all’oggetto P uno spostamento corrispondente al vettore stesso (figura 5).

Reiterando il metodo descritto, è possibile in pochi passi approssimare la posizione finale che si vuole assegnare all’oggetto P. Poiché il primo vettore spostamento dell'oggetto da muoversi Vp prevede l'attribuzione di un modulo arbitrario, difficilmente la posizione finale B assunta dall'oggetto P coincide con la posizione finale T effettivamente desiderata. In tal caso, l'utilizzatore compie una successiva saccade di avvicinamento alla posizione desiderata dalla posizione B alla posizione T, cosicché il metodo si esegue nuovamente e si produce un nuovo vettore di spostamento dell'oggetto da muoversi Vp, cui consegue un ulteriore spostamento dell’oggetto. Durante la fase di avvicinamento al punto o area di arrivo desiderati, i movimenti angolari della pupilla sono progressivamente più piccoli e di conseguenza anche l’errore di posizionamento finale dell'oggetto da muoversi, fino a raggiungere un'approssimazione sufficiente della posizione finale desiderata.

Il metodo prevede pertanto il raggiungimento della posizione finale desiderata con un processo di convergenza per passi successivi. L’effetto visivo è dato dalla successione di agganci che il soggetto fa all’oggetto per spostarlo progressivamente, in un numero ridotto di passi, verso l’obiettivo desiderato.

Per velocizzare e rendere più accurata l’azione, al parametro di guadagno può essere assegnato un valore differente per le componenti dei movimenti verticali ed orizzontali.

Il metodo in oggetto è inoltre idoneo per calibrare e correggere il fattore di guadagno. A tal fine, il metodo prevede di confrontare la posizione iniziale e la posizione finale dell'oggetto da muoversi, determinate dal primo vettore di spostamento dell'oggetto da muoversi, con le posizioni di fissazione assunte dal centro della pupilla. Nelle figure 4 e 5, rispettivamente riferite al fotogramma della pupilla ed alla scena osservata, è schematizzato un esempio della calibrazione operabile dal metodo. Si supponga che il parametro di guadagno iniziale sia tale da non consentire un corretto posizionamento dell’oggetto da muoversi, in questo caso il puntatore, in un unico passo. L’utilizzatore effettua una prima fissazione del punto A ove si trova il puntatore a riposo; la pupilla si trova in posizione Fo (figura 5). In seguito l’utilizzatore esegue la fissazione dell'area di arrivo desiderata, sia essa T; la pupilla si trova in posizione FI. L'applicazione del metodo trasforma il vettore di spostamento del centro della pupilla Vo in un vettore di spostamento del puntatore Vp, utilizzando un fattore di guadagno iniziale che porta al posizionamento non corretto del puntatore, ad esempio in corrispondenza del punto B che dista dalla posizione desiderata per un certo scarto. Reiterando il procedimento una seconda volta, l’utilizzatore dovrà spostare il centro della pupilla in posizione F2 per compiere una fissazione del puntatore che si trova nel punto B, spostando il punto di fissazione da T a B e definendo un nuovo vettore di spostamento FoF2 del centro della pupilla. Il vettore di spostamento AB del puntatore (=Vp) corrisponde dunque al prodotto tra il guadagno iniziale Ko ed il vettore FoFl (=Vo), ovvero, se con Vo si indica il vettore di spostamento del centro della pupilla, con VPsi indica il vettore di spostamento del puntatore (o dell'oggetto da muoversi), con K si indica il fattore di guadagno da calcolare, vale:

Il fattore di guadagno K, ricalcolato come rapporto tra il modulo del vettore Vp ed il modulo del vettore FoF2, è in grado di far corrispondere al vettore di spostamento del centro della pupilla tra le due fissazioni dei punti A e B con il vettore di spostamento del puntatore AB.

Un importante accorgimento consiste nel suddividere lo schermo o la scena osservata tramite una griglia rettangolare N X N in modo che, ad ogni zona rettangolare, sia possibile associare un fattore di guadagno locale orizzontale ed uno verticale, come illustrato in figura 3, in cui il puntatore si sposta su uno schermo suddiviso in sedici zone. Ogni volta che una zona rettangolare viene attraversata da un passo dell’oggetto mobile, è possibile aggiornare il fattore di guadagno locale della zona rettangolare in accordo con le ultime due posizioni della pupilla durante le fissazioni dell’oggetto mobile. In questo modo è possibile costruire una tabella auto-aggiomante che memorizza i fattori di guadagno più appropriati da applicare, nel tempo, per ogni specifica regione rettangolare.

Il metodo secondo la presente invenzione offre importanti vantaggi. Innanzitutto non è necessaria una calibrazione preliminare come invece avviene per i metodi di tipo noto. Inoltre, la suddivisione dell'immagine dell'occhio in zone a ciascuna delle quali sono atribuiti una direzione ed un verso del vetore di spostamento minimizza gli errori di direzione e verso. Ulteriore importante vantaggio è dato dal fato che la reiterazione del metodo consente di raggiungere la posizione desiderata dell'oggeto mobile in pochi passi successivi. Di conseguenza, piccoli movimenti della testa rispeto alla scena osservata non influenzano significativamente il successo finale.

Un altro importante vantaggio è dato dal fato che la reiterazione del metodo, con la fissazione dell’oggetto a riposo prima di ogni movimento, permete una calibrazione locale del fatore di guadagno e la costruzione di una tabella auto-aggiomante dei fatori di guadagno. Ciò consente di rendere minima l'influenza delle variazioni di posizione della testa dell'utilizzatore.

II metodo in oggeto prevede inoltre un vantaggioso metodo per la correzione dell’ errore di posizione dell’oggetto mobile.

Il metodo di correzione si basa sul movimento di saccade corretiva che l'occhio dell'utilizzatore compie per spostare lo sguardo dalla posizione che si intendeva far raggiungere dall'oggeto da muoversi alla posizione effetivamente raggiunta dall'oggeto stesso. Tramite il rilevamento e la misurazione dell'ampiezza della saccade corretiva è possibile stimare l’errore di posizionamento durante o al termine del primo spostamento dell'oggeto verso la posizione desiderata.

Nelle figure 4 e 5 sono rappresentate alcune fasi del metodo di correzione basato sulla saccade correttiva.

Come illustrato in figura 7, se il vettore di spostamento dell'oggetto da muoversi posiziona l’oggetto ad una certa distanza dalla posizione effettivamente desiderata, il soggetto fissa involontariamente, con un movimento oculare di tipo saccade correttiva che definisce un vettore di spostamento Voi, l’oggetto nella sua posizione di arrivo vicina alla posizione effettivamente desiderata (figura 8).

Confrontando l'ampiezza della saccade del primo movimento Vo e l'ampiezza della saccade correttiva Voi, misurate sul percorso compiuto dal centro della pupilla, è possibile determinare l’errore di posizione dell’oggetto da muoversi al termine del primo movimento. Sommando tale errore al vettore di spostamento dell'oggetto da muoversi, si ottiene un nuovo vettore di spostamento corretto che consente all'oggetto mobile di raggiungere la posizione effettivamente desiderata. La somma dell'errore al vettore di spostamento dell'oggetto mobile è pressoché istantanea e, di conseguenza, anche la correzione della posizione dell’oggetto è pressoché istantanea, evitando la necessità di passi successivi.

Claims (10)

1. RIVENDICAZIONI 1) Metodo per impartire comandi per mezzo di movimenti oculari, caratterizzato dal fatto di comprendere le seguenti fasi: rilevazione di un fotogramma della pupilla e rilevamento di una posizione iniziale di fissazione del centro della pupilla (O) rispetto ad un determinato sistema di riferimento; posizionamento del centro di un fascio discreto di rette, aventi direzione prestabilita, in corrispondenza del centro della pupilla (O) e partizione del piano del fotogramma in regioni discrete; posizionamento in corrispondenza del centro della pupilla (O) del centro di un fascio discreto di semirette orientate, aventi direzione e verso prestabiliti; associazione di ciascuna regione discreta ad una specifica semiretta orientata appartenente al fascio discreto di semirette orientate; rilevazione di una posizione finale di fissazione assunta dal centro della pupilla (O) dopo uno spostamento rispetto alla posizione iniziale di fissazione; individuazione di un primo vettore di spostamento del centro della pupilla (O) avente origine nella posizione iniziale del centro della pupilla (O) e vertice nella posizione finale del centro della pupilla (O); associazione ad una delle semirette orientate del fascio discreto alla direzione e al verso di un primo vettore di spostamento assegnabile ad un oggetto da muoversi (P); attribuzione al primo vettore di spostamento dell’ oggetto (P) associato alla detta semiretta orientata del fascio discreto, di un modulo uguale al modulo del primo vettore di spostamento del centro della pupilla (O) moltiplicato per un fattore di guadagno predeterminato.
2. 2) Metodo secondo la rivendicazione 1, comprendente la fase di: assegnazione del primo vettore di spostamento all'oggetto da muoversi (P) per determinare uno spostamento dell'oggetto (P) da una posizione iniziale ad una posizione finale.
3. 3) Metodo secondo la rivendicazione 2, in cui la posizione iniziale di fissazione del centro della pupilla (O) coincide con una posizione di fissazione della posizione iniziale dell'oggetto (P).
4. 4) Metodo secondo le rivendicazioni 2 o 3, in cui la posizione di fissazione finale del centro della pupilla (O) é centrata su un'area di arrivo in cui si deve posizionare l'oggetto (P).
5. 5) Metodo secondo la rivendicazione 4, in cui, se la posizione finale dell'oggetto (P) determinata dall'assegnazione del secondo vettore di spostamento non é compresa nell'area di arrivo, il metodo viene reiterato con la definizione di un nuovo vettore di spostamento del centro della pupilla, avente origine nella posizione finale dell'oggetto (P) e vertice aH'intemo dell'area di arrivo, e la definizione di un nuovo vettore di spostamento dell'oggetto (P), avente origine nella posizione finale precedentemente raggiunta dall'oggetto (P).
6. 6) Metodo secondo la rivendicazione 5, in cui, ad ogni reiterazione del metodo, il fattore di guadagno per il calcolo del modulo del vettore di spostamento dell'oggetto (P) viene calcolato come rapporto tra il modulo del vettore di spostamento calcolato in precedenza ed il modulo del vettore definito dalle posizioni del centro della pupilla (O) durante due fissazioni successive dell’oggetto (P).
7. 7) Metodo secondo la rivendicazione 4, comprendente un metodo per la correzione del modulo del vettore di spostamento dell'oggetto (P) comprendente le seguenti fasi: definizione di un nuovo vettore di spostamento del centro della pupilla (O) avente origine nella sua posizione di fissazione dell'area di arrivo e vertice in corrispondenza della posizione di fissazione finale dell'oggetto (P); calcolo di un modulo di correzione come moltiplicazione del modulo del nuovo vettore di spostamento del centro della pupilla (O) per il fattore di guadagno predeterminato; addizione del modulo di correzione al modulo del vettore di spostamento dell'oggetto (P).
8. 8) Metodo secondo una qualsiasi delle rivendicazioni precedenti, in cui l'oggetto da spostarsi (P) è il puntatore di un computer.
9. 9) Metodo secondo una qualsiasi delle rivendicazioni precedenti, in cui la rilevazione delle posizioni iniziali e finali del centro della pupilla (O) è effettuata per mezzo di una telecamera fissata alla testa dell'utilizzatore in una posizione tale da inquadrare la pupilla, il segmento anteriore e l’area periorbitale di almeno un occhio.
10. 10) Metodo secondo la rivendicazione 9, in cui le immagini acquisite per mezzo della telecamera vengono elaborate da un algoritmo che esegue le seguenti fasi su ogni fotogramma: analisi dei livelli di grigio per isolare le componenti dell’immagine più scure; individuazione e calcolo dell’area degli oggetti connessi, per individuare l’oggetto connesso che rappresenta la pupilla; estrazione del contorno, per calcolare l’equazione dell’ ellisse che meglio approssima il contorno dell’ oggetto connesso che rappresenta la pupilla; calcolo delle coordinate (x,y) del centro della pupilla (O) sul fotogramma come centro dell'oggetto connesso che rappresenta la pupilla.