ITTO20111150A1 - Rappresentazione stereoscopica tridimensionale perfezionata di oggetti virtuali per un osservatore in movimento - Google Patents

Description

"Rappresentazione stereoscopica tridimensionale perfezionata di oggetti virtuali per un osservatore in movimento"

DESCRIZIONE

La presente invenzione riguarda in generale la rappresentazione di immagini tridimensionali, e più in particolare sistemi di realtà aumentata o realtà virtuale comprendenti un'interfaccia uomo-macchina atta a fornire una rappresentazione stereoscopica di oggetti virtuali in uno scenario virtuale o reale.

Specificamente, l'invenzione si riferisce ad un sistema ed un procedimento per la rappresentazione stereoscopica tridimensionale di oggetti virtuali in un ambiente attraverso uno schermo di visualizzazione rispetto al quale un osservatore à ̈ suscettibile di muoversi, secondo il preambolo delle rivendicazioni 1 e 7, rispettivamente.

Negli ultimi anni, à ̈ aumentato l'interesse nelle tecnologie di rappresentazione di immagini tridimensionali (stereoscopiche), in particolare per la rappresentazione di scenari di realtà virtuale o di realtà aumentata, sia per applicazioni professionali quali ad esempio la visualizzazione in ambito scientifico o medicale, sia per applicazioni di intrattenimento quali ad esempio la cinematografia tridimensionale ed i videogiochi ambientati in una realtà virtuale.

Nell'ambito delle rappresentazioni cinematografiche tridimensionali, i dati di immagini intrinsecamente tridimensionali sono acquisiti a partire da una coppia di dispositivi di ripresa affiancati ad una distanza corrispondente alla distanza interoculare di un osservatore. La rappresentazione delle immagini tridimensionali à ̈ quindi fruibile attraverso tecnologie di visualizzazione note da decenni, ad esempio mediante la visualizzazione alternata delle immagini riprese dalle due telecamere e l'utilizzo di appositi occhiali attivi atti ad oscurare alternativamente l'immagine che raggiunge l'occhio destro e sinistro dell'osservatore.

Nel campo della rappresentazione di scenari artificiali, come nel caso della realtà virtuale in cui un ambiente à ̈ interamente ricostruito da un elaboratore, o nel caso della realtà aumentata in cui un elaboratore ricostruisce immagini artificiali collocate nell'ambiente reale in cui agisce l'osservatore, i dati di immagine tridimensionali sono generati da un'unità di elaborazione che opera come un dispositivo di ripresa stereoscopica virtuale.

La recente diffusione di contenuti stereoscopici tridimensionali ha determinato lo sviluppo di dispositivi di utilizzo quotidiano per la visualizzazione di tali informazioni. Ciò ha aperto la strada a potenti sistemi di interazione uomomacchina basati su ambienti di realtà aumentata, in cui un soggetto può interagire con ambienti e strumenti virtuali e reali.

Con riferimento alla figura 1 che mostra una geometria di ripresa virtuale e la relativa regione tridimensionale visibile sullo schermo, un dispositivo di ripresa virtuale C presenta un campo di osservazione definito da un volume di osservazione V generalmente tronco-piramidale (frustum) V, il quale à ̈ descritto dai parametri di dimensione del piano focale (o piano di proiezione) P e di distanza tra il dispositivo di ripresa C ed il piano focale P. Tipicamente il piano focale o piano di proiezione P à ̈ di forma rettangolare, sia che esso definisca un'area di proiezione congruente, sia che esso circoscriva un'area di proiezione di forma complessa al proprio interno. Il volume di osservazione V di forma tronco piramidale ha per vertice la posizione del dispositivo di ripresa virtuale C e per base il piano lontano F (far plane), che dista dfarda C. E' inoltre definito un piano vicino N (near plane), che dista dnearda C. Il piano lontano ed il piano vicino sono ben noti nelle tecniche di 3D computer graphics per definire il tronco di piramide (frustum) che comprende gli oggetti che vengono rappresentati, e non saranno ulteriormente descritti in questa trattazione. Il piano focale P intermedio dista dfocalda C ed à ̈ completamente descritto da tre punti, ad esempio in figura un vertice superiore sinistro TL, un vertice inferiore sinistro BL ed un vertice superiore destro TR, che sono le intersezioni del piano focale o schermo di rappresentazione con le linee rette che originano dal centro di proiezione C del dispositivo di ripresa.

Per rappresentare stereoscopicamente una scena tridimensionale à ̈ comunemente adottato il procedimento noto come "proiezione prospettica a volumi di osservazione asimmetrici ad asse parallelo" o tecnica ad assi sfalsati, che consente di generare una percezione della profondità per un osservatore umano. Le immagini stereo sono ottenute proiettando gli oggetti nella scena sul piano di visualizzazione per ciascuno dei due dispositivi di ripresa. Il piano di proiezione ha la stessa posizione e lo stesso orientamento per entrambe le proiezioni dei dispositivi di ripresa, come mostrato in figura 2. Un dispositivo di ripresa sinistro CLed un dispositivo di ripresa destro CRsono disposti affiancati, separati da una distanza predeterminata o baseline, generalmente corrispondente alla distanza interoculare media di un osservatore, e presentano rispettivi volumi di osservazione asimmetrici VL, VRche definiscono su uno schermo S rispettivamente un piano focale sinistro PLe un piano focale destro PR, coincidenti.

In figura 3 à ̈ mostrata una rappresentazione schematica della geometria di un ambiente di realtà virtuale (termine con il quale sarà in seguito indicata sia uno scenario di realtà virtuale propriamente detta, sia uno scenario di realtà aumentata) per la rappresentazione stereoscopica di oggetti virtuali.

Con S à ̈ indicato lo schermo o piano di proiezione delle immagini, le quali sono generate artificialmente da un'unità di elaborazione atta a controllare l'emissione luminosa dei singoli elementi di visualizzazione di uno schermo attivo o proiettate da mezzi proiettori associati ad uno schermo passivo.

Un punto oggetto virtuale T Ã ̈ rappresentato sullo schermo S da una coppia di proiezioni o punti immagine corrispondenti t<L>e t<R>, rispettivamente sinistra e destra, generate da un dispositivo di ripresa stereoscopico (virtuale) disposto nella coppia di posizioni definite complessivamente C0<L,R>.

Un osservatore reale O0<L,R>collocato nella medesima posizione del dispositivo di ripresa (virtuale) C0<L,R>(ossia i cui occhi sono collocati nelle medesime posizioni delle componenti del dispositivo di ripresa stereoscopico virtuale) percepisce l'oggetto T correttamente, secondo le linee di visione indicate a tratto continuo. Lo stesso osservatore che si spostasse nello spazio di fronte allo schermo S nelle posizioni O1<L,R>o O2<L,R>percepisce l'oggetto T in posizioni errate, rispettivamente T1e T2, secondo le linee di vista disegnate a tratto discontinuo.

Ciò significa che nell'osservare una scena virtuale, al fine di avere una percezione veritiera della disposizione di una scena tridimensionale, nonché della forma e profondità degli oggetti che la popolano, à ̈ necessario che l'osservatore si trovi in corrispondenza della posizione del dispositivo di ripresa stereoscopico virtuale. Solo in questo caso, le immagini che si formano sulla retina dell'osservatore in seguito all'osservazione della visualizzazione stereoscopica della scena sono identiche alle immagini che sarebbero state originate osservando la scena reale.

Tuttavia, se questo vincolo non à ̈ rispettato l'osservatore percepisce una deformazione della forma e profondità dell'oggetto e della scena ricostruita nel suo complesso. Ciò à ̈ particolarmente significativo in applicazioni di realtà aumentata in cui l'osservatore percepisce stimoli reali e virtuali contemporaneamente, per cui sarebbe necessario che la resa delle informazioni tridimensionali non introducesse distorsioni indesiderate.

La domanda di brevetto giapponese 6187424 a nome SUN MICROSYSTEMS INC. riguarda un procedimento ed un apparecchio per la generazione di immagini stereoscopiche con inseguimento del movimento del capo di un osservatore. Il documento tiene conto del fatto che il punto di vista dell'osservatore rispetto ad uno schermo di proiezione può cambiare e per ovviare a questo inconveniente l'invenzione insegna a selezionare punti di vista da un limitato insieme di posizioni predefinite, senza tuttavia proporre una soluzione generale ed efficace per ovviare alla deformazione della struttura delle scene virtuali e quindi all'errata valutazione delle distanze e delle forme in esse per un osservatore libero di muoversi nell'intero spazio di fronte ad uno schermo tridimensionale.

L'inseguimento della posizione del capo dell'osservatore e la conseguente modifica della posizione del dispositivo di ripresa stereoscopico virtuale non risolve il problema.

Se l'osservatore si muove di fronte allo schermo, i sistemi dell'arte nota che stimano la posizione dei suoi occhi, ad esempio per inseguimento della posizione del suo capo, consentono di determinare una rototraslazione dei dispositivi di ripresa virtuali secondo la posizione rivelata dell'osservatore. Questa soluzione, rappresentata in figura 4, non à ̈ tuttavia ottimale, poiché i piani focali sinistro e destro PLe PR, tra loro sempre coincidenti, non sono più coincidenti con lo schermo, per cui lo scenario di realtà virtuale che viene rappresentato non à ̈ più consistente con una rappresentazione realistica, e l'osservatore percepisce ancora erroneamente la profondità e la disposizione della scena tridimensionale.

Al limite, questa soluzione à ̈ un'approssimazione che può essere accettabile nel caso di piccoli spostamenti del capo dell'osservatore, ma fallisce nel caso di spostamenti della persona in uno spazio più ampio. Tale soluzione fallisce anche per semplici rotazioni della testa.

Questo aspetto, come riferito poco sopra, non permette di ottenere un realismo desiderato nei sistemi di intrattenimento e non permette di effettuare valutazioni quantitative realistiche ed accurate negli apparati scientifici che impiegano tecnologie basate su visualizzatori stereoscopici per la rappresentazione di informazioni tridimensionali.

Nelle applicazioni di intrattenimento e videoludiche le distorsioni percepite possono causare affaticamento visivo. In applicazioni medicali, ad esempio in applicazioni di chirurgia o in sistemi di riabilitazione cognitiva ed in applicazioni per lo studio della coordinazione visiomotoria, esse presentano implicazioni critiche.

La presente invenzione si prefigge quindi lo scopo di fornire una tecnica per la rappresentazione di scenari di realtà aumentata o realtà virtuale in grado di rappresentare correttamente oggetti virtuali tridimensionali ad un osservatore che agisce nello scenario virtuale e modifica la propria posizione nell'ambiente reale di fronte allo schermo di proiezione, al fine di poter fruire di un'interazione quanto più possibile naturale con un ambiente virtuale, senza vincoli di posizione o movimento dell'osservatore.

Secondo la presente invenzione, tale scopo viene raggiunto grazie ad un sistema ed un procedimento per la rappresentazione stereoscopica tridimensionale di oggetti virtuali aventi le caratteristiche richiamate nella rivendicazione 1 e 7, rispettivamente.

Modi particolari di realizzazione formano oggetto delle rivendicazioni dipendenti, il cui contenuto à ̈ da intendersi come parte integrale della presente descrizione.

Formano ulteriore oggetto dell'invenzione un programma o gruppo di programmi per elaboratore comprendente uno o più moduli di codice per l'attuazione del procedimento oggetto dell'invenzione ed un prodotto di programma per elaboratore, come rivendicato.

In sintesi, l'invenzione si basa sull'inseguimento della posizione corrente di un osservatore nello spazio antistante lo schermo di visualizzazione per determinare i corretti punti di osservazione virtuali corrispondenti alla posizione dei suoi occhi e, attraverso i rispettivi volumi di osservazione, ottenere le corrette proiezioni stereoscopiche corrispondenti dei punti oggetto virtuali sullo schermo.

Più specificamente, secondo l'invenzione, le posizioni degli occhi dell'osservatore sono calcolate sulla base dei dati acquisiti da dispositivi rivelatori di posizione noti e queste informazioni sono utilizzate per rigenerare in modo ricorrente le immagini sinistra e destra proiettate sullo schermo. Ciò à ̈ ottenuto usando due volumi di osservazione asimmetrici dei dispositivi di ripresa virtuali che originano da posizioni coincidenti con le posizioni rivelate degli occhi dell'osservatore e presentano piani focali coincidenti con lo schermo di proiezione, superando gli inconvenienti incontrati da semplici rototraslazioni dei dispositivi di ripresa stereoscopica virtuali secondo la tecnica nota.

Vantaggiosamente, la posizione dell'osservatore nello spazio antistante lo schermo à ̈ rivelata periodicamente ad intervalli di tempo predefiniti, o innescata da un evento di movimento dell'osservatore.

Ulteriori caratteristiche e vantaggi dell'invenzione verranno più dettagliatamente esposti nella descrizione particolareggiata seguente di una sua forma di attuazione, data a titolo di esempio non limitativo, con riferimento ai disegni allegati, nei quali:

- le figure 1 a 4 sono state discusse nella parte introduttiva di questa descrizione;

- la figura 5 Ã ̈ una rappresentazione generale di un sistema per la rappresentazione stereoscopica tridimensionale di oggetti virtuali ad un osservatore in movimento posto davanti ad uno schermo di visualizzazione;

- la figura 6 à ̈ una rappresentazione schematica della geometria di un ambiente di realtà virtuale stereoscopico secondo l'invenzione;

- la figura 7 Ã ̈ una rappresentazione schematica dei volumi di osservazione asimmetrici ottenuti secondo la tecnica oggetto dell'invenzione, rigenerati rispetto alla posizione dell'osservatore di figura 2;

- la figura 8 Ã ̈ una rappresentazione schematica di un set up sperimentale impiegato per collaudare il sistema oggetto dell'invenzione; e

- la figura 9 Ã ̈ una rappresentazione dei risultati sperimentali condotti sul sistema oggetto dell'invenzione.

Con riferimento alla figura 5, à ̈ mostrato nelle linee essenziali un sistema per la rappresentazione stereoscopica di un ambiente o scenario di realtà virtuale o di realtà aumentata attraverso uno schermo di visualizzazione rispetto al quale un osservatore à ̈ suscettibile di muoversi.

Il sistema comprende una stazione di elaborazione 10 atta a generare immagini tridimensionali di ambienti di realtà aumentata o realtà virtuale su almeno uno schermo di proiezione S ambientale, ad esempio un singolo schermo o un sistema multischermo ambientale. Tali schermi possono essere schermi attivi, superfici su cui vengono proiettate le immagini o schermi auto-stereoscopici.

La stazione di elaborazione 10 à ̈ associata a mezzi rivelatori 20 per il riconoscimento della posizione di un osservatore O, in particolare della posizione del capo ed ancora più preferibilmente degli occhi dell'osservatore, ad esempio mezzi rivelatori comprendenti un dispositivo di ripresa nel visibile ed un sensore di profondità ad infrarossi, atti a rivelare la posizione ed il movimento di un soggetto (o di un dispositivo indossato da un soggetto) in un sistema di coordinate predefinito.

Quale stazione di elaborazione può essere utilizzato, a titolo esemplificativo, un personal computer con un'unità di calcolo Intel Core i7 operante alla frequenza di 3.07 GHz, una memoria RAM da 12 Gbyte, un'unità disco interna da 1000 Gbyte ed un motore grafico Nvidia Quadro 2000 con 1 GByte di memoria RAM, predisposto per generare immagini stereoscopiche alla frequenza di quadro di 120 Hz.

Quale schermo può essere utilizzato un monitor commerciale 3D, ad esempio un monitor ACER HN274H a 27 pollici.

Quale dispositivo rivelatore può essere utilizzato un dispositivo commerciale, a titolo esemplificativo il dispositivo Xbox Kinect prodotto da Microsoft per la console di gioco Xbox360.

La stazione di elaborazione à ̈ predisposta per eseguire un programma o un gruppo di programmi memorizzati su un'unità disco interna o accessibili in una rete di comunicazione (non raffigurata), ed atti a fornire istruzioni per l'attuazione di un procedimento di rappresentazione secondo l'invenzione, che verrà più avanti descritto in dettaglio.

Il sistema secondo l'invenzione comprende inoltre un sottosistema di memoria di archiviazione di tipo noto, integrato alla stazione di elaborazione 10 o collegato ad essa per mezzo della connessione di rete ed atto a contenere memorizzate banche dati di modelli tridimensionali, di immagini o sequenze di immagini predefinite.

Inoltre, il sistema può essere predisposto per il collegamento ad altri dispositivi periferici di ingresso/uscita, locali o remoti, o può consistere in altre configurazioni di sistemi elaboratori, ad esempio un sistema multiprocessore o un sistema di elaborazione del tipo distribuito, dove i compiti sono eseguiti da dispositivi di elaborazione remoti tra loro collegati attraverso una rete di comunicazione ed i moduli del programma possono essere memorizzati sia nei dispositivi di memorizzazione locali, sia remoti.

Le forme realizzative dell'invenzione comprendono inoltre un programma (o un gruppo di programmi o moduli di programma) per elaboratore, in particolare un programma per elaboratore archiviabile su o in un supporto di informazioni o memoria, includente uno o più moduli di codice recanti istruzioni per l'attuazione di un procedimento di rappresentazione secondo l'invenzione. Il programma può utilizzare qualsiasi linguaggio di programmazione ed essere sotto forma di codice sorgente, codice oggetto o codice intermedio tra codice sorgente e codice oggetto, ad esempio in una forma parzialmente compilata, o in qualsiasi altra forma desiderata per attuare il procedimento secondo l'invenzione.

Infine, l'invenzione ha anche per oggetto un prodotto di programma per elaboratore, che può essere un supporto di memorizzazione leggibile da un elaboratore e che reca memorizzato un programma o un gruppo di programmi per elaboratore includenti istruzioni per l'esecuzione del procedimento di rappresentazione secondo l'invenzione.

Esempi specifici (in un elenco non esaustivo) di un supporto di memorizzazione leggibile da elaboratore sono qualsiasi entità o dispositivo in grado di memorizzare un programma o un modulo di programma, quali una memoria di accesso casuale, una memoria a sola lettura, una memoria su disco compatto, o ancora un mezzo di registrazione magnetica o un disco rigido. Più in generale, il prodotto di programma per elaboratore può anche essere sotto forma di un flusso di dati leggibile da un sistema di elaborazione e che codifica un programma di istruzioni per elaboratore, ad esempio può essere veicolato da una rete di comunicazione geografica, quale Internet.

Le soluzioni qui richiamate sono considerate ben note nella tecnica e non saranno ulteriormente descritte in questa sede perché di per sé non rilevanti ai fini dell'attuazione e della comprensione della presente invenzione.

Con riferimento alla figura 6, à ̈ schematizzata la geometria di rappresentazione stereoscopica di un ambiente di realtà virtuale secondo l'approccio oggetto dell'invenzione, diversamente dalla tecnica nota rappresentata in figura 3. Un dispositivo di ripresa stereoscopica virtuale disposto in C0<L,R>(dove L,R denotano le posizioni dei componenti di ripresa sinistro e destro del dispositivo) determina le proiezioni t0<L>e t0<R>sinistra e destra di un punto oggetto T sullo schermo o piano di proiezione S. Un osservatore O0<L,R>disposto nella medesima posizione del dispositivo di ripresa virtuale percepisce l'oggetto T in una posizione coincidente con la sua posizione reale.

Un osservatore disposto in una posizione differente Oi<L,R>, ad esempio O1<L,R>o O2<L,R>, percepisce ancora l'oggetto T nella sua posizione reale, e quindi ne percepisce correttamente la forma tridimensionale, poiché in corrispondenza della sua posizione à ̈ generata un'associata coppia di immagini stereoscopiche ti<R>,ti<L>(t1<R>,t1<L>, rispettivamente t2<R>,t2<L>) determinate sulla base delle posizioni aggiornate dei dispositivi di ripresa virtuali Ci<L,R>(C1<L,R>e C2<L,R>).

La compensazione dei movimenti dell'osservatore avviene determinando (stimando) le posizioni dei suoi occhi e disponendo i dispositivi di ripresa virtuali nelle stesse posizioni, calcolando per questi ultimi i relativi volumi di osservazione asimmetrici VL, VRaggiornati in funzione della posizione rivelata dell'osservatore ed imponendo che i rispettivi piani focali o piani di proiezione PL, PRsiano sempre coincidenti con lo schermo di visualizzazione, come rappresentato in figura 7.

In questo modo, l'ambiente di realtà virtuale generato à ̈ in ogni momento una replica virtuale della rappresentazione reale.

Questa operazione à ̈ ottenuta attraverso le seguenti elaborazioni.

Si consideri un piano focale descritto dai parametri<M>TL,<M>BL e<M>TR, punti notevoli definiti rispetto ad un sistema di coordinate dello schermo avente origine coincidente con il centro dello schermo S, nel caso ad esempio tre dei quattro vertici del piano focale di proiezione delle immagini.

La posizione degli occhi dell'osservatore e, conseguentemente, dei dispositivi di proiezione<M>C(t)<L>e<M>C(t)<R>Ã ̈ calcolata rispetto allo schermo, ed aggiornata nel tempo.

Per descrivere il piano focale rispetto alle posizioni dei dispositivi di ripresa virtuali sinistro e destro à ̈ necessario calcolare le traslazioni:

T(t)<L,R>= -<M>C(t)<L,R>

ed applicare tali traslazioni ai punti notevoli

<M>TL,<M>BL e<M>TR per calcolare le variabili<C>TL(t)<L,R>,<C>BL(t)<L,R>e<C>TR(t)<L,R>che rappresentano le coordinate dei punti notevoli del piano focale rispetto alle aree di immagine dei dispositivi di ripresa sinistro e destro, secondo le relazioni:

<C L,R L,R>TL(t) =<M L,R>TL T(t)

<C L,R>BL(t) =<M L,R>BL T(t)<L,R>

<C M>TR(t)<L,R>= TR<L,R>+T(t)<L,R>

Una volta calcolate le variabili<C>TL(t)<L,R>,

<C>BL(t)<L,R>e<C>TR(t)<L,R>sono definiti i volumi di osservazione tronco piramidali sinistro e destro, in funzione del tempo t.

Ricostruiti i tre punti notevoli dello schermo di proiezione, il motore grafico della stazione di elaborazione genera la proiezione di tutti i punti interni all'immagine, applicando formule di proiezione note secondo tecniche di proiezione prospettica che ricorrono ad una matrice di proiezione.

Per esplicitare la matrice di proiezione à ̈ necessario definire almeno le quantità (<C>11(t)<L,R>,

<C>bb(t)<L,R>,-<C>dnear(t)<L,R>) e (<C>rr(t)<L,R>,<C>tt(t)<L,R>,-<C>dne-

ar(t)<L,R>), che descrivono le coordinate dei vertici inferiore sinistro (BL) e superiore destro (TR) del piano N, ossia come minimo di due punti lungo la diagonale dello schermo.

Le variabili<C>11(t)<L,R>,<C>bb(t)<L,R>,<C>rr(t)<L,R>e

<C>tt(t)<L,R>sono calcolate a partire dai punti notevoli<C>TR(t)<L,R>e<C>BL(t)<L,R>nel modo seguente:

C

C C

 BL( d( t )L , R

11(t)L, R t)L,R

= near

 C L R 

ï£ d( t ) ,

focal 

ï£ ̧ x

C

 BL(t)L,R Cd( t )L , R

Cbb(t)L, R = near

 C

ï£ d( t )L , R 

focal 

ï£ ̧ y

C C TR(t)L,R Cd( t )L , R

L, R  ar

rr(t)= ne 

 C R

cal 

ï£ d( t )L ,

fo ï£ ̧ x

C t)L,R C L

L, R t ) , R

C = TR( d( near

tt(t)

 C

ï£ d( t )L , R

focal 

ï£ ̧ y

Pertanto, la matrice di proiezione

M(t)<L,R>

projectionà ̈ definita nel modo seguente:

 C , R Cr   2d( t )L rt<)>L,R Cll<(>t<)>L , R

near

Crr(t)L,R −Cll(t)L , R 0<(>

Crr(t)L,R −Cll( t)L , R<0>    2 Cd( t )L , R C

near tt(t)L,R Cbb( t )L , R  0Ctt(t)L,R −Cbb( t )L , R Ctt(t)L,R −Cbb( t)L , R<0> 

−( Cd(t)L,R Cd tL , R CdtL,R Cd tL , R 

0 0 far () near ) −2 () far ( ) near  Cd(t)L,R − Cd( t )L , R C  d(t)L,R − Cd( t )L , R

far near far near 

ï£ 0 0 −1 0  ï£ ̧

dove dnear, dfarindicano rispettivamente la distanza

del piano vicino N e del piano lontano F da una posizione di ripresa virtuale coincidente con la posizione di osservazione C, ed à ̈ applicata a qualsiasi punto della scena virtuale in modo da trasformarlo nelle coordinate di taglio. Pertanto, un generico punto virtuale<C>H<L,R>, espresso in coordinate

omogenee, subirà la seguente trasformazione:

<clip>H(t)<L, R>=M(t )L<,>R C L<,>R

projection H

Tale trasformazione determina quali oggetti sono visualizzati e come sono proiettati sullo schermo. Per ottenere le coordinate di dispositivo normalizzate si esegue una divisione prospettica delle coordinate di taglio, cioà ̈ si dividono le prime tre coordinate omogenee per la quarta. Tali coordinate di dispositivo normalizzate sono poi scalate e traslate per ottenere le coordinate di schermo h(t)<L>e h(t)<R>dei punti immagine corrispondenti al punto oggetto.

La soluzione oggetto dell'invenzione à ̈ applicabile anche nel caso di uno schermo di proiezione non piatto, adattando corrispondentemente la definizione del volume di osservazione.

Con riferimento alle figure 8 e 9 Ã ̈ descritto un set up di realizzazione e collaudo della presente invenzione.

Alla luce della disponibilità di prodotti commerciali ad alte prestazioni e costi abbordabili, si à ̈ preferito utilizzare dispositivi di mercato per sviluppare un sistema di realtà aumentata secondo la soluzione oggetto dell'invenzione.

Specificamente, come dispositivo per l'inseguimento dell'osservatore à ̈ stato utilizzato un dispositivo X-Box Kinect, dispositivo di rilevamento del movimento sviluppato da Microsoft per la console di gioco Xbox 360. Basato su un dispositivo di ripresa RGB e su un sensore di profondità ad infrarossi, questo dispositivo à ̈ in grado di fornire informazioni sul movimento tridimensionale del corpo di un soggetto. Il sensore di profondità consiste di un proiettore ad infrarossi combinato con un dispositivo di ripresa monocromatico, atto a catturare dati video in tre dimensioni in ogni condizione di luce ambientale.

Le caratteristiche principali del dispositivo sono:

- frame rate: 30 Hz;

- dimensione dell'immagine di profondità: VGA (640x480);

- risoluzione in profondità: 1 cm a 2 m di distanza dal sensore;

- range operativo: 0,6 m-3,5 m;

- dimensione dell'immagine nel visibile: UXGA (1600x1200);

- campo di osservazione orizzontale: 58°.

La figura 8 mostra lo schema di set up del sistema. Il dispositivo Xbox Kinect 20 à ̈ stato disposto alla sommità dello schermo S, centrato sull'asse X e leggermente ruotato intorno allo stesso asse. Questa configurazione à ̈ stata scelta poiché permette al dispositivo Kinect di avere una buona visibilità dell'utilizzatore, senza che esso sia interposto tra l'utilizzatore e lo schermo. Per allineare i due sistemi di coordinate, à ̈ stato eseguito un passo di calibrazione a partire da un insieme di punti ambientali, le cui coordinate sono note con riferimento al sistema di coordinate del monitor e calcolando le loro posizioni derivate dal dispositivo sensore Kinect. In questo modo, à ̈ possibile calcolare l'angolo αYtra l'asse Ykdel sistema di coordinate del dispositivo Kinect e l'asse YSdello schermo. Nella configurazione di set up considerata per l'esperimento, il valore di αYà ̈ di circa 8°.

Il sistema à ̈ predisposto per effettuare il riconoscimento e l'inseguimento della posizione del corpo del soggetto osservatore O in una fase preliminare di avvio. Dopo la fase di avvio, ogni qualvolta nuovi dati di posizione dell'osservatore vengono resi disponibili dal sensore Kinect, la stazione di elaborazione 10 à ̈ predisposta per ricalcolare la rappresentazione dello scenario virtuale tridimensionale attraverso le seguenti operazioni: 1. Rivelazione della posizione degli occhi dell'osservatore nel piano di immagine del dispositivo di ripresa RGB del sensore Kinect; questo può essere ottenuto inseguendo la posizione del capo dell'osservatore a partire dalla posizione del corpo rivelata e quindi eseguendo una segmentazione ed un riconoscimento di ciascun occhio nella sotto-immagine centrata nella posizione rivelata del capo;

2. Il calcolo della posizione degli occhi nello spazio reale antistante lo schermo di visualizzazione S, mediante combinazione delle loro posizioni nel piano di immagine del dispositivo di ripresa RGB del sensore Kinect e le corrispondenti profondità ottenute dal rivelatore ad infrarossi del sensore Kinect, tenendo conto della dislocazione spaziale tra i dispositivi di ripresa RGB e ad infrarossi;

3. Calcolo e generazione dei volumi di osservazione asimmetrici secondo le formule esposte in precedenza, ogniqualvolta le immagini stereoscopiche vengono rappresentate sullo schermo.

Per collaudare l'interazione del sistema con l'osservatore, à ̈ stata rivelata la posizione del dito indice dell'osservatore attraverso un marcatore luminoso nel piano di immagine del dispositivo di ripresa RGB del sensore Kinect. La posizione tridimensionale del dito à ̈ ottenuta con una procedura simile a quella utilizzata per rivelare la posizione degli occhi.

Per collaudare e verificare l'efficacia della sistema di rappresentazione oggetto dell'invenzione, Ã ̈ stato eseguito il seguente esperimento.

All'osservatore à ̈ stato richiesto di raggiungere un obiettivo virtuale D, ad esempio il vertice inferiore destro più vicino di un cubo E visualizzato frontalmente nell'ambiente virtuale, avente una larghezza pari a 2,5 cm. La scena à ̈ stata osservata da differenti posizioni ed orientamenti assunti dall'osservatore in un'area di libero movimento A rispetto allo schermo di visualizzazione, ed à ̈ stata acquisita la posizione degli occhi e del dito indice dell'osservatore del collaudo. L'esperimento à ̈ stato eseguito facendo ricorso ad una tecnica di rendering standard per confronto con la soluzione di rendering oggetto dell'invenzione. Diversi soggetti sono stati prescelti per la conduzione degli esperimenti, ciascuno dei quali ha eseguito il proprio compito osservando la scena da differenti posizioni ed orientamenti.

L'applicazione del sistema oggetto dell'invenzione ha determinato una considerevole riduzione dell'errore nella posizione percepita dell'obiettivo e nella sua deviazione standard.

La tabella seguente mostra gli errori medi e le loro deviazioni standard dei punti percepiti.

Y X Z

Tecnica nota 22+16 81+68 146+119

Invenzione 20+4 5+3 12+8

Un disegno in scala delle aree dei punti percepiti rispetto ai movimenti dell'osservatore entro un'area A predeterminata nelle due situazioni à ̈ mostrato in figura 9. Si può notare come le posizioni dell'obiettivo D percepite nel sistema secondo l'invenzione (area B) siano meno distribuite delle posizioni dell'obiettivo percepite con un sistema secondo la tecnica nota (area C). Questi risultati confermano che il sistema dell'invenzione consente una percezione migliore e più veritiera della profondità e della disposizione di una scena di realtà virtuale.

E' quindi stato dimostrato come la soluzione oggetto dell'invenzione possa migliorare significativamente le applicazioni di rappresentazione tridimensionale stereoscopica.

Tali miglioramenti possono essere di estremo interesse per la corretta rappresentazione di scenari di realtà virtuale o di realtà aumentata, sia in ambito scientifico, ad esempio per applicazioni di riabilitazione, esperimenti psicofisici, interazione uomo-macchina, visualizzazioni scientifiche, simulatori, applicazioni di telemedicina e teleoperazione, sia nel settore dell'intrattenimento, ad esempio per la rappresentazione televisiva tridimensionale e per la rappresentazione di ambienti di videogiochi.

Naturalmente, fermo restando il principio dell'invenzione, le forme di attuazione ed i particolari di realizzazione potranno essere ampiamente variati rispetto a quanto à ̈ stato descritto ed illustrato a puro titolo di esempio non limitativo, senza per questo allontanarsi dall'ambito di protezione dell'invenzione definito dalle rivendicazioni allegate.

Claims (9)

1. RIVENDICAZIONI 1. Sistema per la rappresentazione stereoscopica tridimensionale di oggetti virtuali in uno scenario attraverso uno schermo di visualizzazione (S) rispetto al quale un osservatore (O) Ã ̈ suscettibile di muoversi, includente mezzi di elaborazione (10) atti a generare per ciascun punto oggetto (T) una coppia di punti immagine (t<L>, t<R>) corrispondenti su detto schermo (S), selettivamente visibili dall'osservatore (O), comprendente mezzi (20) inseguitori di un osservatore (O), atti a rivelare le coordinate della rispettiva posizione di osservazione (O<L,R>) in un sistema di riferimento predeterminato correlato allo schermo (S), caratterizzato dal fatto che detti mezzi di elaborazione (10) sono predisposti per determinare per ciascun punto oggetto (T) una coppia di punti immagine (ti<L>, ti<R>) corrispondenti su detto schermo (S) correlati con una posizione attuale di osservazione rivelata (Oi<L,R>).
2. 2. Sistema secondo la rivendicazione 1, in cui le coordinate della posizione di osservazione (Oi<L,R>) includono le coordinate di posizione degli occhi dell'osservatore.
3. 3. Sistema secondo la rivendicazione 2, in cui detti mezzi di elaborazione (10) sono predisposti per determinare nel tempo coppie di volumi di osservazione asimmetrici (VL, VR) che originano dalle posizioni attuali degli occhi dell'osservatore (Oi<L>, Oi<R>) e presentano piani focali (PL, PR) coincidenti con lo schermo di visualizzazione (S).
4. 4. Sistema secondo la rivendicazione 3, in cui detti mezzi di elaborazione (10) sono predisposti per determinare detta coppia di volumi di osservazione (VL, VR) periodicamente, o in conseguenza di un evento di movimento dell'osservatore (O).
5. 5. Sistema secondo la rivendicazione 3 o 4, in cui ciascun volume di osservazione (VL; VR) Ã ̈ definito da una rispettiva posizione di osservazione (Oi<L>; Oi<R>) e da punti notevoli (TL, BL, TR) rappresentativi degli estremi dello schermo di visualizzazione (S) in un sistema di riferimento predeterminato correlato alla posizione di osservazione, secondo le relazioni <C L,R L,R>TL(t) =<M>TL<L,R>T(t) <C L,R L,R>BL(t) =<M L,R>BL T(t) <C L,R>TR(t) =<M L,R R>TR<L,>T(t) dove<M>TL,<M>BL e<M>TR sono punti notevoli dello scher mo di visualizzazione (S) in un primo sistema di coordinate riferito allo schermo,<C>TL(t)<L,R>, <C>BL(t)<L,R>e<C>BR(t)<L,R>rappresentano le coordinate di detti punti notevoli in un secondo sistema di coordinate riferito alle posizioni di osservazione (Oi<L,R>) che evolvono nel tempo, e T(t)<L,R>= -<M>C(t)<L,R> Ã ̈ una funzione di traslazione tra il primo ed il secondo sistema di coordinate, e detti mezzi di elaborazione (10) sono predisposti per generare detta coppia di punti immagine corrispondenti (ti<L>, ti<R>) a partire dalle coordinate attuali di detti punti notevoli (TL, BL, TR) per applicazione di una matrice di proiezione, M(t)<L,R> projection.
6. 6. Sistema secondo la rivendicazione 5, in cui detta matrice di proiezione, M(t)<L,R> projection, à ̈ definita nel modo seguente:  near   2 Cd( t )L , R Crr<(>t<)>L,R Cll<(>t<)>L , R C )L , R<0>  rr(t)L,R −Cll(t)L , R 0 Crr(t)L,R −Cll( t   2 Cd( t )L , R C 0near tt(t)L,R Cbb( t )L , R   Ctt(t)L,R −Cbb( t )L , R Ctt(t)L,R −Cbb( t)L , R<0>  −( C   d(t)L,R Cd( t)L , R ) 2 Cd(t)L,R Cd( t )L , R 0 0 far near − far near  Cd(t)L,R C C R far − d( t )L , R near d(t)L,R C far d( t )L , near  − ï£ 0 0 −1 0  ï£ ̧ dove L,R C C CBL(t) d t )L , R ll(t)L, R ( = near   C ï£ d( t )L , R focal  ï£ ̧ x C L,R C Cbb(t)L, R  = BL(t) d( t )L , R near  C ï£ d( t )L , R  focal  ï£ ̧ y C R(t)L, C L R Crr(t)L, R  = T R d( t ) , near   C ï£ d( t )L , R focal  ï£ ̧ x C C L, R   TR(t)L,R Cd( t )L , R tt(t)= near ,   C L R ï£ d( t ) focal  ï£ ̧ y e dnear, dfar, dfocalindicano rispettivamente la distanza del piano vicino (N), del piano lontano (F) e del piano focale (P) da una posizione di ripresa virtuale (Ci<L,R>) coincidente con la posizione di osservazione (Oi<L,R>), la matrice di proiezione essendo atta ad essere applicata ai punti di una scena virtuale espressi in coordinate omogenee,<C>H<L,R>, in modo tale da trasformarli in coordinate di taglio secondo la trasformazione: <clip>H(t)<L, R>=M(t )L<,>R C projection HL<,>R dette coordinate di taglio essendo sottoposte a divisione prospettica per ottenere coordinate di dispositivo normalizzate rappresentative delle coordinate di schermo, h(t)<L>, h(t)<R>, dei punti immagine (ti<L>, ti<R>) corrispondenti al punto oggetto (T).
7. 7. Procedimento per la rappresentazione stereoscopica tridimensionale di oggetti virtuali in uno scenario attraverso uno schermo di visualizzazione (S) rispetto al quale un osservatore (O) Ã ̈ suscettibile di muoversi, caratterizzato dal fatto che comprende: l'inseguimento di un osservatore (O), e la rivelazione delle coordinate della rispettiva posizione di osservazione (O<L,R>) in un sistema di riferimento predeterminato correlato allo schermo (S), e la generazione, per ciascun punto oggetto (T), di una coppia di punti immagine corrispondenti (ti<L>, ti<R>) su detto schermo (S), selettivamente visibili dall'osservatore (O), in relazione con una posizione attuale di osservazione rivelata (Oi<L,R>).
8. 8. Programma o gruppo di programmi per elaboratore, eseguibile da un sistema di elaborazione (10), comprendente uno o più moduli di codice per l'attuazione di un procedimento per la rappresentazione stereoscopica tridimensionale di oggetti virtuali secondo la rivendicazione 7.
9. 9. Prodotto di programma per elaboratore recante memorizzato un programma o gruppo di programmi per elaboratore secondo la rivendicazione 8.