IT202100008852A1 - Procedimento per la realizzazione di un'interfaccia interattiva naturale progettata per creare una relazione fra un utente e un personaggio virtuale - Google Patents
Procedimento per la realizzazione di un'interfaccia interattiva naturale progettata per creare una relazione fra un utente e un personaggio virtuale Download PDFInfo
- Publication number
- IT202100008852A1 IT202100008852A1 IT102021000008852A IT202100008852A IT202100008852A1 IT 202100008852 A1 IT202100008852 A1 IT 202100008852A1 IT 102021000008852 A IT102021000008852 A IT 102021000008852A IT 202100008852 A IT202100008852 A IT 202100008852A IT 202100008852 A1 IT202100008852 A1 IT 202100008852A1
- Authority
- IT
- Italy
- Prior art keywords
- segment
- sub
- duration
- user
- virtual
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 29
- 230000008569 process Effects 0.000 title claims description 12
- 230000002452 interceptive effect Effects 0.000 title claims description 11
- 230000000007 visual effect Effects 0.000 claims description 42
- 230000009471 action Effects 0.000 claims description 18
- 230000003993 interaction Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000001149 cognitive effect Effects 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Digital Computer Display Output (AREA)
Description
Descrizione dell?Invenzione Industriale avente per titolo: ?Procedimento per la realizzazione di un?interfaccia interattiva naturale progettata per creare una relazione fra un utente e un personaggio virtuale?
DESCRIZIONE
La presente invenzione ? relativa ad un procedimento per la realizzazione di un?interfaccia interattiva naturale fra un utente e un personaggio virtuale tramite la creazione di una corrispondenza fra oggetti reali e relativi oggetti virtuali. Tale interfaccia naturale risulta quindi completamente invisibile per l?utente e permette di interagire nello svolgimento narrativo (storytelling) di un personaggio virtuale (sia esso concepito come avatar di un applicativo di realt? immersiva oppure come protagonista di un prodotto audiovisivo: film, documentario, fiction).
Le interfacce utilizzate nelle tecnologie immersive, che spaziano dalla Realt? Virtuale (VR) alla Realt? Aumentata (AR) alla Mixed Reality (MR), forniscono nuove opportunit? per la progettazione e lo sviluppo di esperienze utente arricchite visualmente, grazie alla possibilit? di mescolare la realt? fisica e quella digitale. Gli studi pi? aggiornati considerano l?adozione di tecnologie immersive nell?immediato futuro nel contesto di svariati domini applicativi: medicina, ingegneria, istruzione e formazione, gaming, e beni culturali; esemplificativo a questo proposito il report di Goldman&Sachs ?Virtual & Augmented Reality: Understanding the Race for the Next Computing Platform?, che ne analizza l?impatto su larga scala anche dal punto di vista dell?investimento economico che coinvolger? il settore, per concludere che la realt? aumentata ha il potenziale per diventare la prossima piattaforma di computing universale, come abbiamo visto prima con i PC e poi con gli smartphone, e che si aspettano che nuovi mercati vengano creati e che quelli pre-esistenti vengano rivoluzionati dall?introduzione su larga scala di queste tecnologie di informazione e comunicazione.
Studi recenti si sono focalizzati, oltre che sul possibile impatto sui diversi mercati di questo tipo di tecnologie, sulle reali dimensioni cognitive ed emozionali che vengono coinvolte nell?utilizzo di tecnologie immersive. Uno studio del 2018 (Rauschnabel, 2018) si concentra sulle esperienze utente e sulle gratificazioni attese nell?uso di tecnologie immersive, utilizzando la teoria della gratificazione e analizzandone tutte le dimensioni:
- la dimensione dei bisogni cognitivi e gratificazioni utilitaristiche. Una delle ragioni per cui una persona ?consuma? un determinato tipo di media, ? quella di gratificare i propri bisogni cognitivi.
- La dimensione dei bisogni edonistici. Le persone usano spesso tecnologie e media per soddisfare le loro esigenze legate alla ?tensione? e al piacere.
- La dimensione dei bisogni emozionali e gratificazioni sensoriali. Da un punto di vista tecnico, queste tecnologie forniscono un benefit agli utenti modificando l?ambiente circostante, fornendo perci? una gratificazione indirizzata e mediata dal loro sistema visivo ed uditivo.
E? proprio su queste tre dimensioni che lo studio citato trova dimostrazione e significativit? scientifica: le tecnologie immersive sono percepite dagli utenti come efficaci dal punto di vista dei propri bisogni cognitivi, gratificanti nel loro uso e capaci di rispondere al bisogno di reality enhancement, e quindi di soddisfare bisogni emozionali. La dimensione affettiva-emozionale, peraltro, ? oramai comprovata essere fondamentale nell?aumentare l?efficacia del coinvolgimento e dell?apprendimento in setting sia puramente didattici che di didattica culturale.
Scopo della presente invenzione ? prevedere un procedimento che proponga come risultato un?interfaccia naturale che mette in relazione la dimensione fisica nel quale si trova l?utente e la dimensione artificiale nel quale si trova il personaggio virtuale, permettendo di modificare la narrazione (storytelling) in cui agisce quest?ultimo. Tale interfaccia permette di creare una corrispondenza tra mondo reale dell?utente e quella artificiale del personaggio virtuale non solo visiva ma anche tattile e fisica con il risultato di passare a una relazione naturale e diretta tra utente e personaggio virtuale.
Si specifica che il personaggio virtuale ? presente in una dimensione propria agli aspetti della realt? immersiva (quindi in una dimensione visiva riproducibile in grafica 2D/3D, come quella utilizzata nei videogiochi e quella degli avatar olografici) oppure in una dimensione visiva propria alla classica grammatica filmica fatta di piani, sequenze ed inquadrature ormai standardizzate come linguaggio cinematografico.
I potenziali impieghi e applicazioni del procedimento sono molteplici: come interfaccia per ambienti immersivi di realt? aumentata di nuova generazione, per il futuro della produzione televisiva e cinematografica, settori nei quali ? richiesta sempre maggiore interattivit? con l?utente.
L?invenzione consente di realizzare un?interfaccia fisica che permette all?utente di toccare oggetti fisici reali che hanno una corrispondenza nella dimensione artificiale di un personaggio virtuale; cos? si permette un legame fra questi due dimensioni eliminando la distanza creata da schermi e accessori visivi di vario tipo oggi in uso (display, touch screen, caschi, visori, guanti VR, etc.).
La naturalezza estrema di questa interfaccia (afferrare o toccare un oggetto reale corrispondente a quello a disposizione del personaggio virtuale) consente di essere fruita anche da tutti quelli che hanno difficolt? a relazionarsi con le moderne tecnologie, oltre che da portatori di handicap.
I suddetti ed altri scopi e vantaggi dell?invenzione, quali risulteranno dal seguito della descrizione, vengono raggiunti con un procedimento per la realizzazione di un?interfaccia interattiva naturale designata a creare una relazione fra utente e un personaggio virtuale come quello descritto nella rivendicazione 1. Forme di realizzazione preferite e varianti non banali della presente invenzione formano l?oggetto delle rivendicazioni dipendenti.
Resta inteso che tutte le rivendicazioni allegate formano parte integrante della presente descrizione.
La presente invenzione verr? meglio descritta da alcune forme preferite di realizzazione, fornite a titolo esemplificativo e non limitativo, con riferimento ai disegni allegati, nei quali:
- la Figura 1 ? una vista schematica dell?ambiente operativo in cui opera il procedimento secondo la presente invenzione; - la Figura 2 ? una vista schematica del funzionamento del sistema dei sensori;
- la Figura 3 ? un diagramma di flusso delle fasi principali del procedimento della presente invenzione;
- le Figure 4 e 5 sono alcuni possibili risultati del procedimento della presente invenzione;
- la Figura 6 descrive la tecnica per la realizzazione di specifiche sequenze visive gestibili logicamente da un computer.
Facendo riferimento alle Figure, ? illustrata e descritta una forma di realizzazione preferita del procedimento per la realizzazione di un?interfaccia interattiva naturale della presente invenzione. Risulter? immediatamente ovvio che si potranno apportare a quanto descritto innumerevoli varianti e modifiche (per esempio relative a forma, dimensioni, disposizioni e parti con funzionalit? equivalenti) senza discostarsi dal campo di protezione dell'invenzione come appare dalle rivendicazioni allegate.
Il procedimento inventivo per la realizzazione dell?interfaccia naturale si sviluppa in tre fasi: FASE PRIMA: analisi interattivit? fra dimensione reale e quella artificiale.
FASE SECONDA: realizzazione sistema sensori
FASE TERZA: realizzazione visiva della dimensione artificiale nella quale opera il personaggio virtuale
FASE PRIMA: ANALISI INTERATTIVITA? FRA DIMENSIONE REALE E QUELLA ARTIFICIALE
Il procedimento prevede l'utilizzo di una serie di oggetti fisici OG1,OG2,OG3, ecc. disposti in un ambiente reale a disposizione dell?utente 1, collegati ad un sistema di relativi sensori S1,S2,S3, ecc. (procedimento descritto nella FASE SECONDA) che mette in relazione gli oggetti fisici OG1,OG2,OG3, ecc. con i corrispondenti oggetti virtuali OG1b,OG2b,OG3b, ecc. a disposizione di un personaggio virtuale 5 opportunamente disposti in un ambiente virtuale visualizzabile su un apparato adatto alla riproduzione di immagini digitali 4 (schermo televisivo, dispositivo di realt? immersiva AR - augmented reality, VR - virtual reality, MR - mixed reality) (Figura 1).
Quando l?utente 1 toccher? o user? un determinato oggetto reale OG1 il relativo sensore S1 ne permetter? l?analisi del tipo di interazione e comunicher? ad un Gateway Server 2 (un server progettato per trasformare i flussi di dati per abbinare meglio le capacit? del dispositivo) i relativi dati per far scatenare l'evento appropriato nel mondo virtuale opportunamente creato a livello grafico e/o tramite linguaggio cinematografico (procedimento descritto nella FASE TERZA). Il Gateway Server 2 comunica con un Multimedia Dispatcher 3 tramite i protocolli di comunicazione informatici standard (USB, DMX, UDP, ecc.), il quale pu? accedere a una serie di "n" files visivi attraverso una programmazione logica che mette in relazione gli oggetti reali OG1,OG2,OG3, ecc. e quelli virtuali OG1b,OG2b,OG3b, ecc.
Il sistema 3 pu? quindi accedere a una serie di "n" files visivi che riproducono azioni da parte del personaggio virtuale 5 riprodotto. Ognuna di queste ?n? azioni crea una relazione fra l?oggetto reale scelto dall?utente e l?oggetto virtuale a disposizione del personaggio virtuale. Ad esempio, quando l?utente prende un libro sul tavolo, il relativo sensore comunica al sistema il dato e scatena l?evento relativo tramite la riproduzione di un file visivo (realizzato in grafica 2D/3D oppure in una dimensione visiva propria alla classica grammatica filmica) nel quale il personaggio virtuale interagisce con un libro sul tavolo.
Per evento relativo nel mondo virtuale si consideri ad esempio che il personaggio virtuale 5 toccher? o user? l?oggetto virtuale OG1b e sar? di conseguenza modificata la narrazione (storytelling) di cui ? protagonista.
L?analisi della interattivit? avviene considerando i seguenti punti:
1) scelta della natura, numero e disposizione degli oggetti reali OG1,OG2,OG3, ecc. a disposizione dell?utente 1;
2) definizione del rapporto logico/narrativo con i relativi oggetti virtuali OG1b,OG2b,OG3b, ecc. con cui il personaggio virtuale 5 pu? interagire;
3) l?evento digitale o narrativo da far scaturire in conseguenza di ogni singola scelta effettuabile F4, F6, F8, ecc. (figura 3 e 4);
4) il diversificarsi della evoluzione degli eventi (F5, F7, F9, ecc.) nel mondo virtuale per ogni singola scelta fatta tramite la selezione dell?utente 1 in F3 (figura 3 e 4).
Una volta delineato il progetto interattivo specifico (figura 3) si procede con la realizzazione del setup fisico degli oggetti OG1,OG2,OG3, ecc. e relativi sensori S1,S2,S3, ecc. (FASE SECONDA) e la produzione dei contenuti visivi secondo la logica stabilita (FASE TERZA).
Come in un diagramma di flusso, tutto ? studiato, realizzato, programmato secondo una logica che ha come risultato la visualizzazione di un personaggio virtuale 5 attento a compiere una serie di "n" azioni con "n" oggetti virtuali corrispondenti in forma e apparenza agli "n" oggetti reali a disposizione dell?utente 1, il tutto con un comportamento congruo alla dimensione virtuale in cui ? immerso, ad esempio un videogioco, realt? immersiva, cinematografia (Figura 3). In tale Figura, in F1 ed F2 si esegue la narrazione iniziale in cui il personaggio vituale agisce, creando uno stato in cui tale personaggio virtuale rimane in attesa di poter interagire con gli oggetti virtuali OG1b,OG2b,OG3b, ecc. Nel nodo logico F3 si esegue la scelta dell?evento che sar? scatenato dalla interazione dell?utente 1 con gli oggetti reali OG1,OG2,OG3, ecc. corrispondenti a quelli virtuali OG1b,OG2b,OG3b, ecc. ed in F4, F6, F8 si svolge la azione del personaggio virtuale scaturita dalla scelta relativa operata dall?utente in F3. In tal modo la narrazione (F5, F7, F9) che scaturisce dal nodo logico F3 tramite la interazione con l?interfaccia interattiva naturale oggetto di questo procedimento, sar? differente per ogni singola interazione dell?utente con gli oggetti reali OG1,OG2,OG3, ecc.
FASE SECONDA: REALIZZAZIONE SISTEMA SENSORI
Il procedimento presuppone la realizzazione di un sistema di sensori S1, S2, S3, ecc. atti a percepire l?interazione dell?utente 1 con gli oggetti reali OG1,OG2,OG3, ecc. per poter essere poi analizzati e gestiti dal Gateway Server 2 (Figura 1 e 2) tramite la tecnica di seguito descritta.
L'architettura del sistema di sensori ? costruita dai seguenti componenti principali:
? Un network di sensori wireless 6 composta da una serie di beacon S1, S2, S3, ecc., ciascuno installato sugli oggetti reali OG1,OG2,OG3, ecc. corrispondenti a quelli virtuali OG1b,OG2b,OG3b,ecc. che comunica con il Gateway Server 2 (una stazione base avanzata).
Tale componente scansiona, utilizzando il protocollo Bluetooth, le aree circostanti i sensori al fine di rilevare possibili utenti che interagiscono con l?oggetto specifico.
In relazione alla natura e disposizione degli oggetti reali OG1,OG2,OG3, ecc. possono essere utilizzati sensori meccanici, di temperatura, induttivi o di movimento. Quando un oggetto viene riconosciuto, il sistema di sensori 6 comunica con il Gateway Server 2.
? Un Gateway Server 2 che ospita un insieme di servizi in grado di filtrare ed elaborare le informazioni provenienti dal network di sensori 6 capace di far scaturire gli eventi multimediali programmati nella FASE 1. Consiste principalmente in un servizio di elaborazione di eventi multimediali avanzati alla base del funzionamento della realt? immersiva (quindi in una dimensione visiva riproducibile in grafica 2D/3D, come quella utilizzata nei videogiochi e quella degli avatar olografici) oppure in una dimensione visiva propria alla classica grammatica filmica fatta di piani, sequenze ed inquadrature standardizzate come linguaggio cinematografico.
Tutte le informazioni sulle interazioni che si verificano tra utenti e oggetti vengono archiviate correttamente in registri dedicati per ulteriori analisi e perfezionamento del sistema.
? Un provider di contenuti e servizi multimediali 3 che accetta una richiesta di estrazione di contenuti dal Gateway Server 2 (raccolte multimediali), in modo da consegnarli al dispositivo di riproduzione di immagini digitali 4 (schermo televisivo, dispositivo di realt? immersiva AR - augmented reality, VR - virtual reality, MR - mixed reality). Il provider di contenuti multimediali gestisce un archivio multimediale e sfrutta adeguate tecniche di distribuzione multimediale proprie della realt? immersiva oppure in una dimensione visiva propria alla classica grammatica filmica.
Una variante all?utilizzo di oggetti reali OG1, OG2, OG3, ecc. connessi al network di sensori S1, S2, S3, ecc. ? descritta nella Figura 5.
La variante consiste nell?utilizzo di oggetti reali virtualizzati OG1c, OG2c, OG3c, ecc. a disposizione dell?utente su un dispositivo di interfaccia grafica (tablet, smartphone, web browser su computer).
FASE TERZA: realizzazione visiva della dimensione artificiale nella quale opera il personaggio virtuale
Il personaggio virtuale 5 ? presente in una dimensione propria agli aspetti della realt? immersiva (quindi in una dimensione visiva riproducibile in grafica 2D/3D, come quella utilizzata nei videogiochi e quella degli avatar olografici) oppure in una dimensione visiva propria alla classica grammatica filmica fatta di piani, sequenze ed inquadrature (linguaggio cinematografico).
Il provider di contenuti e servizi multimediali 3 che accetta una richiesta di estrazione di contenuti dal Gateway Server 2 deve quindi poter accedere ad una library di files visivi opportunamente realizzata per creare la corrispondenza virtuale delle azioni compiute dall?utente 1 sugli oggetti reali OG1, OG2, OG3, ecc. connessi al network di sensori S1, S2, S3, ecc.
Tale corrispondenza avviene in determinati nodi logici F3 (Figura 3 e 4) all?interno di uno storytelling di realt? immersiva oppure cinematografica, le due principali realt? di storytelling alle quali l?interfaccia interattiva naturale oggetto del presente procedimento fa riferimento.
Nella realt? immersiva e cinematografica il nodo logico F3 si attua durante uno stato di IDLE (attesa) del personaggio virtuale 5, il quale da l?apparenza di vivere la situazione relativa allo storytelling, ma senza compiere azioni specifiche, le quali saranno determinate dall?utente 1 con le sue scelte operate sugli oggetti reali OG1, OG2, OG3, ecc. connessi al network di sensori S1, S2, S3, ecc.
Lo stato di IDLE relativo al nodo logico F3 viene creato secondo la tecnica di seguito descritta (Figure 4 e 6).
Si consideri la fase di storytelling che deve comprendere il nodo logico e lo si divida in tre segmenti narrativi/visivi differenti C1, C2 e C3 il tutto su una specifica timeline (T1), in cui i segmenti si susseguono temporalmente e logicamente coordinati dal Gateway Server 2. Ad esempio il personaggio si avvicina ad un tavolo (C1), osserva degli oggetti su di esso (C2), compie l?azione di afferrarne uno (C3). Il Gateway Server 2 avr? bisogno di un tempo indefinito in cui poter attendere l?input da parte dell?utente 1 senza che lo storytelling risulti visivamente interrotto. Per far si che ci? avvenga bisogna creare una determinata timeline T4 con relativi nuovi segmenti C1b, C2b, C3b che il Gateway Server 2 potr? gestire in maniera tale che si attenda l?input da parte dell?utente 1 tramite l?interazione con gli oggetti reali OG1, OG2, OG3 connessi al network di sensori S1, S2, S3, il tutto senza interruzione visiva.
Il procedimento per ottenere la timeline T4 con i relativi segmenti C1b, C2b, C3b, necessari al Gateway Server 2 per creare la continuit? visiva, si ottiene tramite due passaggi intermedi (T2 e T3).
In T2 si suddivide il segmento C2 in quattro sotto segmenti (C4, C5, C2a e C6).
Il primo sotto segmento C4 ? in testa al segmento C2 ed ha una lunghezza temporale che varia dai 10 fotogrammi ai 50 fotogrammi considerando il tempo base della timeline T1, T2, T3, T4 di 25 fotogrammi per secondo (25fps), standard visivo grafico e cinematografico per immagini in movimento da riprodurre su sistemi audiovisivi attualmente in commercio.
Il secondo sotto segmento C5 segue il C4 ed ha la sua stessa durata.
Il quarto sotto segmento C6 ? in coda al segmento originario C2 ed ha la stessa durata di C4.
Il terzo sotto segmento C2a ? la risultante delle precedenti suddivisioni (C4, C5 e C6) e la sua durata sar?:
(durata C2a) = (durata C2) ? [(durata C4) (durata C5) (durata C6)].
Dal segmento originario C3 si creano ulteriori due sotto segmenti C7 e C3a.
Il sotto segmento C7 ? la testa del segmento C3 ed ha la stessa durata di C4.
Il sotto segmento C3a ? la risultante della precedente suddivisione (C7) del segmento originario C3 e la sua durata sar?:
(durata C3a) = [(durata C3) ? (durata C7)]. Nel secondo passaggio intermedio T3 si unisce in coda al segmento originario C1 il sotto segmento C4 ottenendo cos? in T4 il nuovo segmento C1b.
Sempre nel secondo passaggio intermedio T3 si taglia in testa al segmento originario C2 il sotto segmento C4.
In C2 precedentemente frazionato si sostituisce al sotto segmento C6, un nuovo sotto segmento C8 di medesima durata. Quest?ultimo ? ottenuto da una sovrapposizione visiva creata con effetto visivo di morphing (una tecnica audiovisiva che trasforma una immagine di origine in una di destinazione simulando una deformazione particolarmente morbida che da l?apparenza di continuit? visiva).
Il nuovo sotto segmento C8 ottenuto con effetto morphing viene realizzato considerando come origine il sotto segmento C6 e la destinazione il sotto segmento C4, ottenendo cos? in T4 il nuovo segmento C2b
Le durate di C4, C6 e C8 sono identiche.
Di seguito l?ultima azione del passaggio intermedio T3: in C3 precedentemente frazionato si sostituisce al sotto segmento C7, un nuovo sotto segmento C9 di medesima durata. Quest?ultimo ? ottenuto con effetto morphing, realizzato considerando come origine il sotto segmento C5 e la destinazione il sotto segmento C7.
Le durate di C5, C7 e C9 sono identiche.
Il risultato di questa ultima azione ? la creazione in T4 del nuovo segmento C3b.
Sintetizzando si ottengono le seguenti formule che mettono in relazione i segmenti originali C1, C2, C3 (nella timeline T1) con i nuovi segmenti C1b,C2b, C3b (nella timeline T4):
C2 = C4+C5+C2a+C6
C3 = C7+C3a
C8 = C6 morphing verso C4
C9 = C5 morphing verso C7
C1b = C1+C4
C2b = C5+C2a+C8
C3b= C9+C3a
I tre nuovi segmenti C1b, C2b e C3b in T4 sono adesso perfettamente riproducibili senza interruzioni visive nella continuit? del movimento dei soggetti/oggetti riprodotti.
A questo punto il Gateway Server 2 potr? gestire logicamente i nuovi segmenti visivi C1b, C2b, C3b in maniera tale che si attenda l?input da parte dell?utente 1 tramite l?interazione con gli oggetti reali OG1, OG2, OG3 connessi al network di sensori S1, S2, S3, il tutto senza interruzione visiva.
Nello specifico, il Gateway Server 2 manda in play il segmento introduttivo C1b, e di seguito il segmento C2b in loop continuo in attesa dell?input da parte dell?utente tramite interazione con oggetti reali OG1, OG2, OG3.
Il risultato visivo del loop del nuovo segmento C2b sar? visivamente continuo.
Nel momento in cui l?utente genera input nel sistema tramite la sua azione di scelta, il Gateway Server 2 pu? attivare il play del segmento C3b per proseguire nello specifico storytelling legato a quella scelta.
Analizziamo, per esempio, l?applicazione del procedimento alla realizzazione di un?interfaccia interattiva naturale in una storia cinematografica.
L?utente ha a disposizione su un tavolo tre oggetti reali: un libro, un martello, una pentola (scelte operate dopo analisi del progetto interattivo descritto nella FASE PRIMA)
I tre oggetti sono dotati di sensori che generano un segnale verso il Gateway Server, quando vengono sollevati (modalit? descritta nella FASE SECONDA).
Su uno schermo l?utente vede una narrazione cinematografica in cui un personaggio entra in una stanza dove ? presente un tavolo su cui sono disposti tre oggetti virtuali corrispondenti a quelli reali: un libro, un martello, una pentola.
Il personaggio (tramite una sequenza di immagini opportunamente montate secondo la grammatica filmica) entra nella stanza e si dispone davanti al tavolo e osserva gli oggetti, senza compiere azioni ulteriori.
Il Gateway Server utilizza il loop di una sequenza (descritta nella FASE TERZA) per riprodurre l?azione del personaggio senza interruzione visiva, ma senza che compia azioni in attesa della scelta dell?utente.
In questo modo l?utente non vede la narrazione interrompersi per aspettare il suo input.
Quando l?utente afferra il primo oggetto reale (il libro), il sistema di sensori manda la relativa informazione al Gateway Sever, il quale interrompe il loop e avvia la sequenza abbinata alla scelta del libro.
Tale sequenza prevede, ad esempio, che il personaggio del film afferra il libro, si siede su una sedia e comincia a leggerlo.
Di qui la storia cinematografica prosegue secondo la scelta operata.
A questo punto, la logica della narrazione pu? prevedere che alla fine della prosecuzione della storia legata alla scelta del primo oggetto (il libro), il personaggio torni al tavolo pronto per un nuovo input da parte dell?utente.
Il Gateway Server di nuovo utilizza il loop di una sequenza (descritta nella FASE TERZA) per riprodurre il personaggio senza interruzione visiva, ma senza che compia azioni in attesa della scelta dell?utente.
Se l?utente solleva il secondo oggetto reale (il martello) il sistema di sensori manda la relativa informazione al Gateway Sever, il quale interrompe il loop e avvia la sequenza abbinata alla scelta del martello.
Tale sequenza prevede, ad esempio, che il personaggio del film afferra il martello, e compie l?azione di fissare un chiodo al muro per appendere un quadro.
Di qui la storia cinematografica prosegue secondo la scelta operata.
A questo punto, la logica della narrazione pu? prevedere che alla fine della prosecuzione della storia legata alla scelta del secondo oggetto (il martello), il personaggio torni al tavolo pronto per un nuovo input da parte dell?utente.
Claims (5)
1. Procedimento per la realizzazione di un?interfaccia interattiva naturale progettata per creare una relazione fra un utente (1) e un personaggio virtuale (5) tramite la creazione di una corrispondenza fra oggetti reali (OG1, OG2, OG3) a disposizione dell?utente (1) dotati di sistema di sensori (S1, S2, S3) e relativi oggetti virtuali (OG1b, OG2b, OG3b) a disposizione del personaggio virtuale (5), il procedimento essendo caratterizzato dal fatto di comprendere le fasi di: - analisi dell?interattivit? fra dimensione reale e quella artificiale;
- realizzazione sistema sensori; e
- realizzazione visiva della dimensione artificiale nella quale opera il personaggio virtuale,
in cui la fase di analisi dell?interattivit? fra dimensione reale e quella artificiale comprende le sotto-fasi di:
? utilizzare una serie di oggetti fisici (OG1, OG2, OG3) disposti in un ambiente reale a disposizione dell?utente (1), collegati ad un sistema di relativi sensori (S1,S2,S3) che mette in relazione gli oggetti fisici (OG1, OG2, OG3) con corrispondenti oggetti virtuali (OG1b, OG2b, OG3b) a disposizione di un personaggio virtuale (5) opportunamente disposti in un ambiente virtuale visualizzabile su un apparato adatto alla riproduzione di immagini digitali (4); e ? interagire, da parte dell?utente (1), con gli oggetti reali (OG1, OG2, OG3), il che fa s? che il relativo sistema di sensori (S1,S2,S3) permette l?analisi del tipo di interazione e comunica ad un Gateway Server (2) i relativi dati per far scatenare l'evento appropriato nel mondo virtuale opportunamente creato a livello grafico o tramite linguaggio cinematografico,
in cui il Gateway Server (2) comunica con un Multimedia Dispatcher (3), il quale pu? accedere a una serie di "n" files visivi attraverso una programmazione logica che mette in relazione gli oggetti reali (OG1, OG2, OG3) e quelli virtuali (OG1b, OG2b, OG3b),
in cui il Multimedia Dispatcher (3) accede a una serie di "n" files visivi che riproducono varie azioni da parte del personaggio virtuale riprodotto, detti "n" files visivi riproducendo azioni che creano una relazione fra l?oggetto reale scelto dall?utente e l?oggetto virtuale a disposizione del personaggio virtuale.
2. Procedimento secondo la rivendicazione 1, in cui la fase di realizzazione del sistema sensori (S1, S2, S3) prevede l?utilizzo di sensori beacon Bluetooth che comunicano con il Gateway Server (2).
3. Procedimento secondo la rivendicazione 1, in cui si utilizzano sensori meccanici, o sensori di temperatura, o sensori induttivi o sensori di movimento.
4. Procedimento secondo la rivendicazione 1, 2 o 3, in cui si utilizzano oggetti virtualizzati (OG1c, OG2c, OG3c) a disposizione dell?utente (1) tramite dispositivo di interfaccia grafica (tablet, smartphone, computer).
5. Procedimento secondo una qualsiasi delle rivendicazioni precedenti, in cui la fase di realizzazione visiva della dimensione artificiale nella quale opera il personaggio virtuale (5) si attua tramite l?utilizzo di nodi logici (F3) gestibili logicamente dal Gateway Server (2) tramite uno stato di IDLE (attesa) del personaggio virtuale (5) comprendente le sotto-fasi di:
- divisione dei files visivi relativi all?azione del personaggio virtuale (5) con ognuno degli oggetti virtuali (OG1b, OG2b, OG3b), in tre segmenti visivi differenti (C1, C2, C3) su una timeline (T1),
- creazione di una nuova timeline (T4) dalla precedente timeline (T1) tramite la creazione di due timeline intermedie (T2, T3);
- nella prima timeline intermedia (T2) effettuazione della suddivisione del segmento (C2) in quattro sotto segmenti (C4, C5, C2a e C6),
in cui il primo sotto segmento (C4) ? in testa al segmento (C2) ed ha una lunghezza temporale che varia dai 10 fotogrammi ai 50 fotogrammi considerando il tempo base della timeline (T1, T2, T3, T4) di 25 fotogrammi per secondo, 25fps,
in cui il secondo sotto segmento (C5) segue il (C4) ed ha la sua stessa durata,
in cui il quarto sotto segmento (C6) ? in coda al segmento originario (C2) ed ha la stessa durata di (C4),
in cui il terzo sotto segmento (C2a) ? la risultante delle precedenti suddivisioni (C4, C5 e C6) e la sua durata sar?:
(durata C2a) = (durata C2) ? [(durata C4) (durata C5) (durata C6)],
- creazione dal segmento originario (C3) di due sotto segmenti (C7 e C3a),
in cui il sotto segmento (C7) ? in testa al segmento (C3) ed ha la stessa durata di (C4),
in cui il sotto segmento (C3a) ? la risultante della precedente suddivisione (C7) del segmento originario (C3) e la sua durata sar?:
(durata C3a) = [(durata C3) ? (durata C7)];
- nella seconda timeline intermedia (T3) effettuazione dell?unione in coda al segmento originario (C1) del sotto segmento (C4),
in cui il risultato ? la creazione nella timeline (T4) del nuovo segmento (C3b),
- sottrazione in testa al segmento originario (C2) del sotto segmento (C4),
sostituzione al sotto segmento (C6) di un nuovo sotto segmento (C8) di stessa durata, ottenuto da una sovrapposizione visiva creata con effetto visivo di morphing, realizzato considerando come origine il sotto segmento (C6) e la destinazione il sotto segmento (C4),
in cui il risultato ? la creazione nella timeline (T4) del nuovo segmento (C2b),
- in (C3) sostituzione di un nuovo sotto segmento (C9) al sotto segmento (C7) di stessa durata, ottenuto con effetto morphing, realizzato considerando come origine il sotto segmento (C5) e la destinazione il sotto segmento (C7),
in cui il risultato ? la creazione nella timeline (T4) del nuovo segmento (C3b);
in cui la risultante timeline (T4) comprende i segmenti (C1b, C2b, C3b) che il Gateway Server (2) utilizza per creare il nodo logico (F3) eseguendo il primo segmento (C1b), poi il segmento (C2b) mandato in riproduzione continua loop senza creare interruzioni visive, in attesa di input da parte dell?utente (1), per poi eseguire il segmento (C3b).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102021000008852A IT202100008852A1 (it) | 2021-04-09 | 2021-04-09 | Procedimento per la realizzazione di un'interfaccia interattiva naturale progettata per creare una relazione fra un utente e un personaggio virtuale |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IT102021000008852A IT202100008852A1 (it) | 2021-04-09 | 2021-04-09 | Procedimento per la realizzazione di un'interfaccia interattiva naturale progettata per creare una relazione fra un utente e un personaggio virtuale |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| IT202100008852A1 true IT202100008852A1 (it) | 2021-07-09 |
Family
ID=76921112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| IT102021000008852A IT202100008852A1 (it) | 2021-04-09 | 2021-04-09 | Procedimento per la realizzazione di un'interfaccia interattiva naturale progettata per creare una relazione fra un utente e un personaggio virtuale |
Country Status (1)
| Country | Link |
|---|---|
| IT (1) | IT202100008852A1 (it) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140063061A1 (en) * | 2011-08-26 | 2014-03-06 | Reincloud Corporation | Determining a position of an item in a virtual augmented space |
| WO2017062957A1 (en) * | 2015-10-09 | 2017-04-13 | Warner Bros. Entertainment Inc. | Cinematic mastering for virtual reality and augmented reality |
| US20200086219A1 (en) * | 2017-01-26 | 2020-03-19 | Lotuseco Co Ltd | Augmented reality-based sports game simulation system and method thereof |
| US10692288B1 (en) * | 2016-06-27 | 2020-06-23 | Lucasfilm Entertainment Company Ltd. | Compositing images for augmented reality |
-
2021
- 2021-04-09 IT IT102021000008852A patent/IT202100008852A1/it unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140063061A1 (en) * | 2011-08-26 | 2014-03-06 | Reincloud Corporation | Determining a position of an item in a virtual augmented space |
| WO2017062957A1 (en) * | 2015-10-09 | 2017-04-13 | Warner Bros. Entertainment Inc. | Cinematic mastering for virtual reality and augmented reality |
| US10692288B1 (en) * | 2016-06-27 | 2020-06-23 | Lucasfilm Entertainment Company Ltd. | Compositing images for augmented reality |
| US20200086219A1 (en) * | 2017-01-26 | 2020-03-19 | Lotuseco Co Ltd | Augmented reality-based sports game simulation system and method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Raheb et al. | Dance interactive learning systems: A study on interaction workflow and teaching approaches | |
| Ponder et al. | Immersive VR decision training: telling interactive stories featuring advanced virtual human simulation technologies | |
| US5689618A (en) | Advanced tools for speech synchronized animation | |
| KR101327995B1 (ko) | 디지털 캐릭터를 이용한 무대 공연을 처리하는 장치 및 방법 | |
| JP2022500795A (ja) | アバターアニメーション | |
| Cohn | From Visual Narrative Grammar to Filmic Narrative Grammar: The narrative structure of static and moving images | |
| Brockhoeft et al. | Interactive augmented reality for dance | |
| KR101977893B1 (ko) | 영상컨텐츠 적용 디지털액터의 운용방법 | |
| Bouville et al. | Virtual reality rehearsals for acting with visual effects | |
| Rehm et al. | From annotated multimodal corpora to simulated human-like behaviors | |
| IT202100008852A1 (it) | Procedimento per la realizzazione di un'interfaccia interattiva naturale progettata per creare una relazione fra un utente e un personaggio virtuale | |
| Maiorani | Reading movies as interactive messages: A proposal for a new method of analysis | |
| Kandikonda | Using virtual reality and augmented reality to teach human anatomy | |
| Battisti et al. | Virtual Reality meets Degas: An immersive framework for art exploration and learning | |
| CN110969237A (zh) | 两性关系视角下的人机虚拟互动构建方法、设备及介质 | |
| Xu | Immersive animation scene design in animation language under virtual reality | |
| Yang | Rotoscoping Body: Secret Dancers, Animated Realism and Temporal Critique | |
| May et al. | Comprehending Dynamic Scenes: Cognitive Lessons from Cinematography | |
| KR20150094300A (ko) | 3ｄ 디지털 캐릭터 생성을 위한 복합 편집 시스템 및 방법 | |
| Bollen et al. | Putting virtual theatre models to work:‘virtual praxis’ for performance research in theatre history | |
| Ridge | Looping and moving-image media: opening up a queer feminist space in performance | |
| Mack | Finding borderland: intermediality in the films of Marc Forster | |
| de Kerckhove | Computer-Assisted Visualization between Reality and Fiction | |
| Wang et al. | A research on virtual anchor system based on Kinect sensory technology | |
| Bench | Choreographing bodies in dance-media |