ITPE20130004A1 - Procedimento per la realizzazione di un¿interfaccia audiovisiva interattiva che riproduce esseri umani - Google Patents

Description

Descrizione dell’Invenzione Industriale avente per titolo: “Procedimento per la realizzazione di un’interfaccia audiovisiva interattiva che riproduce esseri umaniâ€

DESCRIZIONE

La presente invenzione à ̈ relativa ad un procedimento per la realizzazione di un’interfaccia audiovisiva.

Lo stato della tecnica più moderno in termini di interfaccia prevede modalità di interazione vocale o gestuale (Apple Iphone Siri, consolle video giochi di ultima generazione) il cui protocollo di comunicazione si basa sul rapporto fra un utente umano e un apparato (telefono, computer, consolle).

I recenti brevetti depositati da Samsung e Apple e altre società operanti nel campo dell’elettronica e della telefonia, coinvolgono la percezione umana in modo sempre più completo (riconoscimento del movimento oculare).

Il grande cambiamento nell'evoluzione dei media arriva quindi dai nuovi modi di interagire con le persone, ad esempio, da forme diverse d’interfaccia utente.

Scopo della presente invenzione à ̈ prevedere un procedimento che propone come risultato un’interfaccia semplice e naturale fruibile da tutti e, al tempo stesso, la più coinvolgente: un essere umano reale interattivo (filmato e non generato in computer grafica), riprodotto con effetto tridimensionale per aumentarne il coinvolgimento visivo.

Tale interfaccia permette di passare a una terza generazione di apparati elettronici e computer che siano invisibili, che neanche si vedano, e che si adattano con naturalezza al modo in cui si lavora e alla vita quotidiana.

I potenziali impieghi e applicazioni del procedimento sono molteplici: come interfaccia degli apparati elettronici e computer di nuova generazione, nei quali à ̈ richiesta sempre maggiore interattività sensoriale con l’utente; come info point nei musei, showroom, nelle stazioni, negli aeroporti, nelle città, nei parchi, etc. dove, a differenza dal passato, sono preferiti gli aspetti multi-sensoriali e interattivi al fine di aumentare il coinvolgimento dello spettatore che, rivolgendosi all’interfaccia umana, avrà modo di accedere a informazioni attraverso un semplice colloquio.

L’invenzione consente la possibilità di realizzare un’interfaccia visiva nella lingua dei segni (LIS) verso apparati, ed un traduttore simultaneo da linguaggio verbale a LIS.

Tale procedimento porta a un risultato che, oltre ad avere valore in sé, costituisce un cambiamento paradigmatico nella storia del rapporto tra utente e apparato.

La semplicità estrema di tale rapporto (un semplice “colloquio†) rende l’utenza di qualsiasi tipo di apparato estesa anche a tutti quelli che hanno difficoltà ad interfacciarsi con le moderne tecnologie, oltre che a portatori di handicap.

I suddetti ed altri scopi e vantaggi dell’invenzione, quali risulteranno dal seguito della descrizione, vengono raggiunti con un procedimento per la realizzazione di un’interfaccia audiovisiva come quello descritto nella rivendicazione 1. Forme di realizzazione preferite e varianti non banali della presente invenzione formano l’oggetto delle rivendicazioni dipendenti. Resta inteso che tutte le rivendicazioni allegate formano parte integrante della presente descrizione.

La presente invenzione verrà meglio descritta da alcune forme preferite di realizzazione, fornite a titolo esemplificativo e non limitativo, con riferimento ai disegni allegati, nei quali:

- la Figura 1 à ̈ una vista schematica dell’ambiente operativo in cui opera il procedimento secondo la presente invenzione; - le Figure 2 e 3 sono diagrammi di flusso delle fasi principali del procedimento della presente invenzione;

- le Figure da 4 a 7 sono alcuni possibili risultati del procedimento della presente invenzione; e

- la Figura 8 illustra l’immagine finale che si ottiene con il procedimento della presente invenzione.

Facendo riferimento alle Figure, à ̈ illustrata e descritta una forma di realizzazione preferita del procedimento per la realizzazione di un’interfaccia audiovisiva della presente invenzione. Risulterà immediatamente ovvio che si potranno apportare a quanto descritto innumerevoli varianti e modifiche (per esempio relative a forma, dimensioni, disposizioni e parti con funzionalità equivalenti) senza discostarsi dal campo di protezione dell'invenzione come appare dalle rivendicazioni allegate.

Il procedimento inventivo per la realizzazione dell’interfaccia audiovisiva si sviluppa in tre fasi:

FASE PRIMA: analisi dell’interattività.

FASE SECONDA: acquisizione immagini

FASE TERZA: riproduzione tramite sistema ottico (o televisivo)

FASE PRIMA: ANALISI DELL’INTERATTIVITA’

Il procedimento prevede l'utilizzo di un apparato ottico che riproduce con effetto tridimensionale la presenza umana (descritto nella FASE TERZA), dotato di un sensore/controller 3 (con il relativo software) capace di riconoscimento vocale, in grado di interpretare il linguaggio umano.

L'interpretazione del linguaggio umano permette di identificare la semantica dell'informazione.

Il sistema à ̈ in grado di scatenare l'evento appropriato in base al comando vocale ricevuto, e comunica con un computer attraverso un’interfaccia per collegare i dispositivi esterni, come una porta USB, una porta parallela, una porta seriale standard (Figura 1).

Il sistema di riproduzione può accedere a una serie di "n" azioni da parte del soggetto riprodotto attraverso una programmazione logica. Una sensibilità volumetrica (con apposito sensore 3) permette al sistema di percepire la presenza, assenza e relativo cambio di stato (arrivo, congedo), oltre una serie di movimenti da parte dell’osservatore/utente 1. Conseguenti azioni da parte del sistema possono essere realizzate e programmate. Ad esempio, alla programmazione della riproduzione del segmento della risposta: “Il libro à ̈ usato per acquisire informazioni†, potranno essere associate le domande “cos'à ̈ il libro†, “a cosa serve un libro†, o semplicemente “libro†... e molte altre.

Una volta delineato il progetto interattivo specifico, si procede con le riprese visive e audio (FASE SECONDA).

L'attore prescelto reciterà tutti i segmenti previsti (AZIONI), oltre tutta una serie di azioni non verbali (IDLE, PRE-IDLE e BRIDGE) che serviranno a dare all'interfaccia quell'effetto di presenza grazie alla simulazione dell'atteggiamento umano durante il dialogo.

Le sequenze visive da riprendere saranno segmentate secondo una logica d’interattività per ottenere la sensazione di interloquire con un essere umano.

Le sequenze logiche sono suddivise in quattro categorie principali (alle quali si aggiungeranno delle sotto-categorie per progetti più complessi):

1) sequenza IDLE (stato d’indifferenza nel quale l’interfaccia “vive†in attesa di un comando di cambio di stato);

2) sequenza PRE-IDLE (un atteggiamento che prelude all’azione);

3) sequenza BRIDGE (una transizione d’immagine che aiuta a dare continuità visiva all’interfaccia tra lo stato di IDLE/PRE-IDLE e quello di AZIONE) 4) sequenza AZIONE (nella quale l’interfaccia esegue o fa eseguire l’azione)

Ad esempio, quando l'interfaccia non compie azioni, dovrà essere in uno stato d’indifferenza (IDLE) magari guardandosi intorno o fischiettando. Nel momento in cui gli à ̈ rivolta una domanda, il suo stato di attenzione varia (PRE-IDLE) rivolgendosi all’utente con lo sguardo, per poi analizzare la domanda rivolta e procedere con la risposta o azione programmata relativa (AZIONE).

Un’azione d’invito a ripetere la domanda potrà essere prevista per le domande non programmate.

Gli stati rilevati dal sensore volumetrico 3 verranno anch'essi analizzati e il comportamento, reazione o azione dell'interfaccia saranno programmati per interagire con l'utente 1 secondo il progetto interattivo specifico. La Figura 1 illustra anche graficamente la sensibilità audiovolumetrica del microfono e del sensore.

Si procede con un’accurata scelta degli stati di IDLE, BRIDGE e AZIONE e loro preparazione logica all'interno del comportamento simulato da parte del soggetto umano riprodotto.

Come in un diagramma di flusso, tutto à ̈ studiato, realizzato, programmato secondo una logica che ha come risultato la visualizzazione di un umano attento a darci una serie di "n" risposte su "n" argomenti specifici in "n" lingue o ad eseguire comandi, il tutto con un comportamento “reale†(Figura 2). In tale Figura, nella fase F1 si eseguono IDLE 01, 02, 03 ecc., mentre in F2 si ascolta la domanda ed in F3 si analizza la domanda (“si può rispondere?†). In caso negativo, in F4 viene rivolto un invito a riformulare la domanda, mentre in caso positivo, in F5 si esegue BRIDGE e in F6 si compiono AZIONE 01, 02, 03, ecc.

L’interfaccia "umana" permette di manovrare periferiche esterne al sistema di riproduzione ottica: periferiche domotiche, sistemi luci a controllo DMX per spettacoli o eventi, la videoproiezione di un contributo audiovisivo su un grande schermo esterno al sistema o qualsiasi altro apparato elettrico o elettronico dotato di protocolli di comunicazione standard (ad esempio USB, seriale, parallelo, wifi, Bluetooth).

Può essere prevista una situazione interattiva inversa, nella quale l'interfaccia, dopo aver illustrato un certo argomento richiesto dall'utente, può rivolgere le domande all'utente e analizzare le risposte per capire e comunicare il grado di preparazione dell’utente (FIGURA 03). In tale Figura, nella fase F7 si eseguono IDLE 01, 02, 03 ecc., mentre in F8 si seleziona un argomento ed in F9 si analizza l’argomento (“si può proseguire?†). In caso negativo, in F10 viene rivolto un invito a riformulare la selezione dell’argomento, mentre in caso positivo, in F11 si esegue BRIDGE e in F12 si compiono AZIONE 01, 02, 03, ecc . relative all’argomento selezionato. Quindi, in F13 si rivolgono n domande sull’argomento selezionato, in F14 si ascoltano le risposte, in F15 si analizzano le risposte stesse (per tutte e n le domande – F15A) e in F16 si mostra la valutazione relativa all’analisi delle risposte.

FASE SECONDA: ACQUISIZIONE IMMAGINI

Il procedimento presuppone l’acquisizione di immagini tramite l'utilizzo di una tecnica cinematografica particolare di seguito descritta.

Si tratta di riprendere il soggetto 7 (destinato a diventare il protagonista dell’interfaccia descritta in questo procedimento) con una macchina da presa digitale ad alta definizione 5 con scansione interlacciata in posizione verticale anziché orizzontale (Figura 4).

L'esigenza dell'orientamento verticale deriva dal fatto che il soggetto 7 da riprodurre nell’interfaccia à ̈ un essere umano in piedi o seduto il cui orientamento à ̈, appunto, verticale.

Tutto lo spazio di ripresa quindi à ̈ sviluppato in altezza e tale disposizione della macchina da presa 5 permette di acquisire immagini con risoluzione verticale di almeno 1920 pixel anziché 1080.

Come risultato, si avrà la percezione della definizione generale di quasi il doppio rispetto a una normale immagine alta definizione FULL HD (Figura 4 in basso).

Per ottenere il migliore effetto realistico simile alla percezione visiva reale, sulla macchina da presa digitale 5 si montano ottiche tilt and shift basculabili per ottenere profondità di campo secondo la regola o condizione di Scheimpflug.

Essa afferma che, per un sistema ottico, il piano focale generato dell'obiettivo e quello del soggetto 7 si incontrano su una stessa retta.

Come caso limite, quando i tre piani sono tra essi paralleli si incontrano all'infinito.

Quando il piano su cui giace il soggetto 7, il piano nodale posteriore dell'obiettivo e il piano focale s’incontrano in un unico punto, si ottiene la piena messa a fuoco del soggetto 7 indipendentemente dal diaframma utilizzato.

Tale estesa profondità di campo favorisce la percezione visiva di una tridimensionalità sui bordi del soggetto 7 ripreso.

La tecnica di ripresa qui descritta presuppone uno schema d’illuminazione con contrasti ben definiti.

La Figura 5 illustra, a destra, lo schema in cui la macchina da presa 5 inquadra il soggetto 7 su un fondale nero 9 tramite un proiettore 11 (preferibilmente del tipo da 500 W e lente Fresnel) e softbox 13 (preferibilmente da 1000 W).

Il target à ̈ ottenere immagini del soggetto 7 con illuminazione diffusa e uniforme sul fronte per ottenere un’opacità generale del soggetto 7 che altrimenti risulterà trasparente nella FASE TERZA (riproduzione).

Un’illuminazione di tagli laterali e controluce ben accurati dovrà disegnare il soggetto 7 su tutto il suo perimetro per aumentare l'effetto di tridimensionalità e avere dei bordi ben definiti e staccati nel vuoto (Figura 5).

Il soggetto 7 deve essere in totale assenza di luminosità nelle zone circostanti il suo bordo e così si otterrà l'effetto denominato "edge cutting" necessario alla riproduzione delle immagini descritta nella fase terza.

Nel sistema ottico l'immagine à ̈ proiettata da una matrice monitor LED 26 in posizione verticale inversa su un piano di policarbonato trasparente 28 posto a 45° rispetto a essa (Figura 8).

Tutta la porzione d’immagine non contenente luminosità à ̈ non riflessa e quindi trasparente, facendo ottenere l'effetto di sospensione nel vuoto del soggetto 7 illuminato con un effetto finale di "edge cutting" (Figura 6, in cui a destra à ̈ rappresentata un’immagine generata da matrice monitor LED e a sinistra la stessa immagine riflessa su policarbonato trasparente).

Il forte contrasto dei bordi (zona 16) e la speciale profondità di campo ottenuta con l'ottica basculabile contribuiscono a ottenere nella riflessione un netto distacco 22 del soggetto 7 (rispetto alla zona di totale trasparenza 20), mentre la diffusa illuminazione 18 (rispetto alla zona di totale assenza di luminosità 14) del soggetto 7 si traduce in un’opacità 24 su tutta la sua superficie.

Particolare cura va data ai rapporti prospettici e alla precisa riproduzione delle misure reali del soggetto/oggetto 7 ripreso.

Il "patto finzionale" con l'utente 1, la percezione di avere un essere umano davanti a sé, à ̈ vincolato alla condizione che le immagini riprodotte nell’interfaccia, tramite il sistema ottico, debbano avere le esatte dimensioni del soggetto 7 ripreso.

Come si vede in Figura 7, una persona alta 170 cm nella realtà, dovrà essere riprodotta con un’immagine alta esattamente 170cm.

La prospettiva di un utente medio 1 di fronte all’interfaccia dovrà rispettare quelle di uno sguardo verso un essere umano posto davanti a lui.

Per ottenere la giusta prospettiva, si devono equilibrare i seguenti parametri: focale, distanza macchina da presa 5/soggetto 7, angolo di vista (Figura 7).

I passaggi di stato da IDLE (IDLE_01, IDLE_02, IDLE_03...IDLE_n), a PRE-IDLE (PREIDLE_01, PREIDLE_02, PREIDLE_03...PREIDLE_n), a BRIDGE, ad AZIONE (AZIONE_01, AZIONE_02, AZIONE_03...AZIONE_n) sono molto delicati, ed attente tecniche di controllo delle prospettive di ripresa dovranno essere rispettate con l'ausilio di griglie di riferimento sovrapposte al mirino della macchina da presa 5.

In tal modo, il soggetto 7 ripreso avrà le medesime proporzioni nei vari segmenti da programmare e le relative transizioni saranno omogenee e non interferiranno sulla percezione, da parte dell'utente 1, della continuità di azione da parte del soggetto 7 riprodotto dall’interfaccia. FASE TERZA: RIPRODUZIONE

Per la riproduzione finale del procedimento, ci si avvale del sistema di riproduzione ottico di seguito descritto e illustrato in Figura 8.

Tuttavia, altri sistemi di visualizzazione, alcuni più semplici (come un monitor HD), o altri sistemi ottici (atti a riprodurre effetto di realtà del soggetto 7/interfaccia), possono essere utilizzati come output visivo dell’interfaccia descritta in questo procedimento.

Il sistema ottico di riproduzione permette, attraverso la riflessione d’immagini generate da una matrice monitor LED 26 o altra fonte FULL HD, di avere l'illusione ottica della totale sospensione nel vuoto di un’immagine.

Le immagini riprodotte si riflettono 28 su una lastra di policarbonato trasparente spessa 1 mm (spessore che garantisce la riduzione al minimo della rifrazione delle due superfici della lastra stessa, evitando la loro sovrapposizione).

L’immagine finale percepita dall'osservatore à ̈ su un piano verticale 30 dietro la lastra di policarbonato, distaccata completamente dal fondale 32, con il quale si forma un effetto di parallasse 34 notevole (Figura 8).

Analizziamo, per esempio, l’applicazione del procedimento alla realizzazione di un’interfacciainterattiva “maggiordomo†in una suite di un albergo.

Entrando nella suite, un’immagine tridimensionale riprodotta nel sistema ottico (descritta nella FASE TERZA) si attiva dietro rilevamento del controller volumetrico, il quale gestisce il segnale attraverso il software dedicato dando il via alla riproduzione del segmento programmato di benvenuto per poi compiere l’azione (associata ad altra sequenza specifica programmata) di esporre tutti i comfort della suite.

Mentre spiega il funzionamento di tutti gli elementi della suite (tramite riproduzione del segmento programmato specifico), le periferiche domotiche relative si abiliteranno al suo comando (tv, luci, tende, rubinetti...) tramite comandi programmati esternati con protocolli di comunicazione (USB, porta seriale, porta parallela, wifi, Bluetooth).

Eseguita la sequenza programmata e i relativi comandi di output, l’interfaccia metterà in stato IDLE attendendo comandi vocali o gestuali da parte dell'utente.

Di volta in volta saranno eseguiti i comandi e il maggiordomo comunicherà l'esecuzione dei comandi verbalmente (rispondendo con pertinenza alle informazioni richieste), fisicamente (aiutandosi con i gesti, particolare utilità per la fruizione da parte di non udenti) e con gli output verso periferiche esterne.

Claims (10)

1. RIVENDICAZIONI 1. Procedimento per la realizzazione di un’interfaccia audiovisiva che riproduce la presenza umana, caratterizzato dal fatto di comprendere le fasi di: - analisi dell’interattività; - acquisizione di immagini; e - riproduzione, tramite sistema ottico o televisivo da capacità d’interazione vocale, gestuale, logica.
2. 2. Procedimento secondo la rivendicazione 1, in cui la fase di analisi dell’interattività comprende le sotto-fasi di: utilizzare un apparato ottico che riproduce con effetto tridimensionale la presenza umana, dotato di un sensore/controller (3) capace di riconoscimento vocale, in grado di interpretare il linguaggio umano, l'interpretazione del linguaggio umano permettendo di identificare la semantica dell'informazione; scatenare l'evento appropriato in base al comando vocale ricevuto, comunicando con un computer attraverso un’interfaccia per collegare i dispositivi esterni; percepire la presenza, assenza e relativo cambio di stato, ed una serie di movimenti da parte di un osservatore/utente (1).
3. 3. Procedimento secondo la rivendicazione 2, in cui l'attore prescelto recita tutti i segmenti previsti (AZIONI), ed una serie di azioni non verbali (IDLE, PRE-IDLE e BRIDGE) che forniscono all'interfaccia un effetto di presenza grazie alla simulazione dell'atteggiamento umano durante il dialogo, le sequenze logiche essendo suddivise in quattro categorie principali: 1) sequenza IDLE (stato d’indifferenza nel quale l’interfaccia “vive†in attesa di un comando di cambio di stato); 2) sequenza PRE-IDLE (un atteggiamento che prelude all’azione); 3) sequenza BRIDGE (una transizione d’immagine che aiuta a dare continuità visiva all’interfaccia tra lo stato di IDLE/PRE-IDLE e quello di AZIONE); e 4) sequenza AZIONE (nella quale l’interfaccia esegue o fa eseguire l’azione).
4. 4. Procedimento secondo la rivendicazione 1, in cui la fase di acquisizione di immagini prevede l’utilizzo di una tecnica cinematografica comprendente le sotto-fasi di: riprendere il soggetto (7) con una macchina da presa digitale ad alta definizione (5) con scansione interlacciata in posizione verticale anziché orizzontale, sulla macchina da presa digitale (5) montandosi ottiche tilt and shift basculabili per ottenere profondità di campo secondo la regola o condizione di Scheimpflug, la quale afferma che, per un sistema ottico, il piano focale generato dell'obiettivo e quello del soggetto (7) si incontrano su una stessa retta; ottenere immagini del soggetto (7) con illuminazione diffusa e uniforme sul fronte per ottenere un’opacità generale del soggetto (7) ed un’illuminazione di tagli laterali e controluce ben accurati per disegnare il soggetto (7) su tutto il suo perimetro per aumentare l'effetto di tridimensionalità e avere dei bordi ben definiti e staccati nel vuoto, il soggetto (7) essendo in totale assenza di luminosità nelle zone circostanti il suo bordo, ottenendo così l'effetto "edge cutting" necessario alla riproduzione delle immagini.
5. 5. Procedimento secondo la rivendicazione 4, comprendente inoltre le sotto-fasi di proiettare l’immagine da una matrice monitor LED (26) in posizione verticale inversa su un piano di policarbonato trasparente (28) posto a 45° rispetto alla matrice (26).
6. 6. Procedimento secondo la rivendicazione 1, in cui la fase di riproduzione comprende le sotto-fasi di: prevedere un sistema ottico di riproduzione atto, attraverso la riflessione d’immagini generate da una matrice monitor LED (26) o altra fonte FULL HD, ad avere l'illusione ottica della totale sospensione nel vuoto di un’immagine; riflettere (28) le immagini riprodotte su una lastra di policarbonato trasparente; fornire un’immagine finale percepita dall'osservatore (1) su un piano verticale (30) dietro la lastra di policarbonato, distaccata completamente da un fondale (32), con il quale si forma un effetto di parallasse (34).
7. 7. Procedimento secondo una qualsiasi delle rivendicazioni precedenti, atto a gestire protocolli di comunicazione, ad esempio wifi e Bluetooth, verso apparati elettrici ed elettronici di vario genere.
8. 8. Procedimento secondo la rivendicazione 1, comprendente la visualizzazione della presenza umana attraverso un sistema ottico che simula la tridimensionalità.
9. 9. Procedimento secondo la rivendicazione 1, comprendente la visualizzazione della presenza umana attraverso un segnale televisivo ad alta definizione HD.
10. 10. Procedimento secondo la rivendicazione 1, comprendente la visualizzazione della presenza umana attraverso un qualsiasi sistema di riproduzione di immagini.