IT202000020347A1 - Metodo e relativo strumento per personalizzazione di riesecuzione di sequenze video in un mondo virtuale - Google Patents

Description

DESCRIZIONE

Annessa a domanda di brevetto per INVENZIONE INDUSTRIALE avente per titolo METODO PER PERSONALIZZAZIONE DI RIESECUZIONE DI SEQUENZE VIDEO IN UN MONDO VIRTUALE

BACKGROUND

Un mondo di realt? virtuale (VR) ? un ambiente digitale tridimensionale simulato al computer, che pu? assomigliare al mondo reale, se ? in grado di simulare delle sequenze animate che rispettano le regole fisiche di geometria, gravit?, logica, meccanica, e locomozione.

In un mondo virtuale gli elementi grafici possono essere segmentati in due classi: tratti grafici di sfondo, detti collettivamente sfondo, e tratti grafici di oggetti virtuali attivi, detti oggetti. Un mondo virtuale pu? incorporare regole per le interazioni tra oggetti ivi presenti, che occupano determinate posizioni spaziali, rispetto allo sfondo, nei vari istanti discreti di tempo.

Alcuni oggetti quando simulano personaggi umani possono essere rappresentati come avatar, che si muovono nel mondo virtuale, compiendo ?azioni? virtuali.

I mondi di realt? virtuale della tecnica precedente gestiscono delle storie, sequenze temporali di posizioni degli oggetti virtuali, ad un dato tempo discreto t che possono essere collettivamente chiamati stato del mondo virtuale al tempo t.

Metodi della tecnica nota consentono di trattare storie ramificate nel settore VR, dove detti mondi virtuali hanno un determinato numero di possibili rami e le abilit? di un oggetto e le regole di interazione con gli altri oggetti aiutano nella creazione di rami, generando una pluralit? di stati differenti dal tempo discreto t di ramificazione.

Dato un punto di vista di un osservatore, la tecnica nota consente di generare dei video che rappresentano l?evolversi di una storia di un mondo virtuale in un determinato intervallo temporale, osservata da un certo punto di vista e con condizioni al contorno definite.

Allo stato dell?arte tale video pu? essere memorizzato in un file con formato noto, anche ma non necessariamente compresso, ed essere rieseguito pi? volte su dispositivi grafici diversi. In questo modo, l?esperienza interattiva dell?utente con il mondo VR, riferita anche come user experience, in una sessione immersiva pu? essere esportata come un file audio-video che rappresenta la scena dinamica (sequenze di frame) vista con gli occhi dell?utente che ha operato detta sessione.

Una variante della user experience in VR ? data dalla user experience immersiva in realt? aumentata (AR), che si differenzia dalla VR per l?inserimento nel mondo tridimensionale di oggetti e scene riprese da dispositivi di registrazione digitale, come una videocamera o uno scanner.

A titolo di esempio puramente dimostrativo e non limitativo, se detto file ? distribuito in ambiente cloud, esso pu? essere rivisto, con un qualsiasi dispositivo software atto a visualizzare file di tali formato, per esempio YOUTUBE, da qualsiasi altro utente, connesso ad Internet, senza dover cambiare le impostazioni operate dall?utente primario della sessione immersiva.

Esistono numerosi trovati che consentono la ri-esecuzione di un file video di una sequenza tratta da una sessione immersiva in un sistema di realt? virtuale che hanno la possibilit? di modificare tramite uno strumento di editing alcune parametri del video, quali a titolo di esempio luminosit?, contrasto, velocit? dei frame.

Ma nessuno di detti trovati di tecnica nota ? in grado di modificare direttamente le interazioni tra gli oggetti del mondo virtuale presenti nel video, attraverso una modifica delle terne semantiche che descrivono dette interazioni in un file di script strutturato.

STATO DELL?ARTE

Nel documento US6968973B2 viene presentato un sistema e un processo per fornire ad un utente un video interattivo di un sito di tour. In generale, il sistema e il processo forniscono un sistema di rendering basato su immagini che consente agli utenti di esplorare posizioni remote del mondo reale, come una casa o un giardino. Il presente trovato si basa direttamente sulle riprese di un ambiente reale e quindi sull'utilizzo di tecniche di rendering basate su immagini per riprodurre il tour in modo interattivo. In quanto tale, l'esperienza risultante viene denominata Tour video interattivi. L'esperienza ? interattiva in quanto l'utente pu? muoversi liberamente lungo un percorso, scegliere tra diverse direzioni di movimento nei punti di diramazione del percorso e guardarsi intorno in qualsiasi direzione. L'esperienza dell'utente ? ulteriormente migliorata con elementi multimediali come mappe panoramiche, trame inserimento di video e audio.

Mentre altri sistemi sono stati basati sulla modellazione di scene 3D, il presente trovato si basa direttamente sulle riprese di un ambiente e quindi utilizzando tecniche di rendering basate su immagini reali anzich? ricostruzioni dal mondo 3D delle scene, per riprodurre il tour in modo interattivo. Per realizzare quanto sopra, il sistema prima immette i dati video che includono una sequenza di fotogrammi video, ognuno dei quali rappresenta una vista panoramica del sito del tour da una posizione particolare lungo un percorso attraverso il sito, successivamente sono inseriti i dati di scena. Questi dati includono informazioni utilizzate per identificare nel frame corrente ogni posizione specificabile lungo un dato percorso prefissato, nonch? informazioni ausiliarie come direzione di visione e direzione del movimento specificante un percorso del tour che pu? essere utilizzato per determinare quale fotogramma video e quale parte di quel fotogramma video sono interessanti per il rendering nella predisposizione del video.

Il controllo interattivo del sistema ? attuato tramite un'interfaccia utente che include una finestra di visualizzazione e navigazione e che implementa i comandi utente immessi direttamente tramite un dispositivo di selezione (a titolo di esempio un gamepad). Pi? in particolare, selezionato il dispositivo di fruizione, l?invenzione consente all'utente di spostare la direzione di visualizzazione a sinistra / destra / su / gi? e di selezionare la direzione del movimento per spostare la posizione di visualizzazione in avanti e indietro, su un piano ortogonale a quello dell?immagine.

Nel documento US10121284B2 invece viene descritto un trovato per integrare un sistema di rendering virtuale e un sistema di controllo del movimento atto a fornire una realt? tridimensionale aumentata. In detto documento ? fornito un metodo per integrare un sistema di rendering virtuale e un sistema di controllo del movimento al fine di inviare un rendering tridimensionale composito ad un dispositivo atto a visualizzare immagini tridimensionali. Tale metodo comprende l'ottenimento, dal sistema di controllo del movimento, di una configurazione della camera tridimensionale robotizzata, capace di muoversi in un mondo reale, programmando il sistema di rendering virtuale utilizzando la configurazione di detta telecamera tridimensionale robotizzata per controllare corrispondentemente una telecamera virtuale in un ambiente virtuale, ottenendo un?acquisizione video mediante una data fotocamera tridimensionale robotizzata, che costituisce la user-experience, ottenuta elaborando ripetutamente i dati per ogni singolo frame ed inviando rendering tridimensionale composito ad un dispositivo atto a visualizzare immagini tridimensionali.

Nel documento EP2012698B1, viene descritto un dispositivo a specchio penetrante virtuale per la visualizzazione di oggetti virtuali in applicazioni endoscopiche, con uno specchio virtuale interattivo , un'immagine medica in realt? aumentata 3D o 4D dell'anatomia di un paziente , un dispositivo di visualizzazione , un sistema di tracciamento e una telecamera endoscopica tracciata da detto strumento, in un sistema di coordinate comune con l'immagine medica 3D o 4D dell'anatomia del paziente , che fornisce la piena integrazione e visualizzazione combinata della ricostruzione dell'immagine medica 3D o 4D dell'anatomia del paziente , dell'immagine endoscopica e dello specchio virtuale sul display del dispositivo di visualizzazione.

D?altra parte, l'avvento di Internet e del World WideWeb (WWW) ha impartito universalit? all'uso e alla diffusione una vasta gamma di informazioni. Sfruttare il Web nella sua piena estensione, tuttavia, comporta la messa a disposizione delle informazioni disponibili accessibile non solo agli umani, ma anche alle macchine da consentire condivisione dei dati in un formato che pu? essere elaborato automaticamente senza fare affidamento sulla sintassi corrispondente. A tal fine, il World Wide Web Consortium (W3C) ha proposto l'iniziativa web semantica che offre un potenziale significativo per l'acquisizione e l'utilizzo delle conoscenze in numerosi domini di interesse utilizzando standard e strumenti condivisi e linguaggi adeguati. Inoltre, la tecnologia semantica utilizza modelli semantici o ontologie per rappresentare la conoscenza descrivendo i dati in un modello logico formale che trascende qualsiasi formato particolare. In particolare, i modelli semantici o le ontologie sono rappresentazioni formali di concetti come classi, propriet? e istanze di un dominio del discorso (mondo).

Il Web Ontology Language (OWL), ad esempio, ? una raccomandazione del W3C per la creazione e la condivisione semantica di modelli dati. In particolare, OWL fornisce mezzi per la definizione di un?ontologia e specifica la semantica formale su come derivare nuove informazioni dato un modello definito. Una volta che i concetti di un dominio di discorso sono stati registrati in modello formale, un ragionatore o un motore a regole, in genere implementato in un blocco separato nello stack tecnologico semantico, pu? elaborare il modello semantico per fare inferenze logiche, ad esempio, per definire l'appartenenza alla classe corrispondente e le propriet? dell'istanza in esame. Mentre i modelli e le regole semantiche sono molto utili per modellare scenari del mondo reale e acquisire dominio conoscenza, questi modelli possono essere estesi al mondo della realt? virtuale, una volta che si ? capaci di trasformare tali regole semantiche in codice procedurale. In alcune implementazioni, le istanze delle classi di ontologia possono essere tradotte in istanze di memoria delle classi o in dati all'interno di un repositorio, come pu? essere quello associato all?istanza di mondo virtuale DBVR.

Nel documento US20120278788A1 sono descritti metodi computerizzati per la traduzione di modelli e regole semantiche (rappresentate da triple) in codice procedurale. I metodi identificano le variabili presenti nelle triple della conclusione e della premessa della regola, insieme alle propriet? delle triple che identificano una funzione procedurale per incorporare il codice procedurale generato al posto della regola semantica. Il metodo determina inoltre se le triple che comprendono variabili che sono oggetto di conclusioni sono dichiarazioni di "tipo". Inoltre, viene determinato anche il dominio della propriet? delle triple nella premessa e / o nella conclusione della regola che non sono dichiarazioni di "tipo" ma che vincolano le variabili soggetto.

Inoltre, la funzione procedurale viene aggiornata nelle classi procedurali associate con il calcolo della regola semantica prescelta, utilizzando gli elementi presenti nella premessa che calcolano i valori delle variabili oggetto nelle triple di conclusione.

Tale metodo procedurale non ? mai stata applicato alle interazioni tra oggetti presenti in un mondo virtuale, perch? le dichiarazioni di tipo e le caratteristiche presenti nella premessa sono difficilmente definibili per descrivere quale azione pu? essere compiuta da un oggetto in un mondo virtuale.

Non esiste allo stato dell?arte uno strumento di editing o similare che possa attivamente modificare gli oggetti di un database VR che hanno permesso di sintetizzare una storia, come esperienza utente durante una sessione immersiva.

BREVE DESCRIZIONE DELLE FIGURE

L?invenzione verr? descritta qui di seguito anche con riferimento alle annesse figure, in cui sono rappresentati:

FIGURA. 1 ? un schema dei componenti del sistema.

FIGURA. 2 rappresenta una matrice di transizione per l?applicazione di una terna semantica. FIGURA. 3 ? un diagramma di flusso che rappresenta un esempio di modifica dello script delle terne semantiche.

DESCRIZIONE DETTAGLIATA DELL?INVENZIONE

Il presente trovato descrive sistemi e metodi per cui la storia di una sessione immersiva in un mondo virtuale pu? cambiare in base alla modifica di alcuni parametri e/o di alcune azioni, registrate semanticamente in un file di script, che rappresenta la descrizione strutturata degli eventi che modificano lo stato complessivo del sistema in maniera auto-consistente.

Prima che le forme di realizzazione dell'invenzione siano spiegate in dettaglio, si deve sottolineare che l'invenzione non ? limitata per la sua applicazione ai dettagli degli esempi esposti nel seguenti descrizioni o disegni illustrati. L'invenzione ? capace di altre forme di realizzazione e pu? essere attuata per una variet? di applicazioni grafiche e in vari modi. Inoltre, si deve comprendere che la fraseologia e i termini qui utilizzati hanno un mero scopo di descrizione e il loro uso non deve essere considerato limitativo.

Va infine notato che l?invenzione non ? limitata a nessun linguaggio di software particolare descritto o implicito nelle figure e che una variet? di altri linguaggi software nativi possono essere utilizzati per l'implementazione della presente invenzione, essendo il processo di annotazione ed editing semantico l?elemento chiave della presente invenzione.

Dovrebbe altres? essere chiaro che molti componenti dell?invenzione sono illustrati e descritti come se fossero elementi hardware, come ? prassi comune nell'arte. Tuttavia, un qualsiasi soggetto dotato di ordinaria abilit? nell'arte, basandosi sulla lettura della presente descrizione dettagliata, sarebbe in grado, in almeno una forma di realizzazione, come implementare nel software i componenti compresi nel trovato.

Come rilevabile da un esperto nell'arte, la presente invenzione pu? assumere una forma di realizzazione interamente hardware o una forma di realizzazione software (compresi firmware, software residente, micro-codice, ecc.) o una forma di realizzazione che combina software e aspetti hardware che possono essere generalmente indicati nel presente documento come "applicazione", "modulo" o "sistema". Inoltre, la presente invenzione pu? assumere la forma di un programma per computer, fruibile tramite un browser Internet. La user experience di una sessione immersiva in un ambiente VR, tridimensionale pu? essere registrata ed esportata come un file audiovideo che rappresenta la scena dinamica (sequenze di frame) vista con gli occhi dell?utente che ha operato quella sessione.

Se tale file ? distribuito su cloud, pu? essere rivisto con un qualsiasi viewer, per esempio YOUTUBE, da qualsiasi altro utente passivo, cio? non pu? cambiare le impostazioni operate dall?utente primario.

Ma detta scena dinamica perde di fatto la terza dimensione, perch? una vota esportata in un video VR descrive l?ambiente VR dal punto di vista dell?osservatore che ha registrato l?esperienza come proiettato sul piano dello schermo.

Esistono numerose applicazioni di ri-esecuzione di video digitali, ma in genere consentono di apportare solo poche modifiche al video, creato in ambiente VR ed in ogni caso non consentono cambi di vista intorno agli oggetti presenti nell?ambiente VR n? tanto meno di apportare modifiche dirette ad alcuni oggetti, tramite la dichiarazione di azioni, che agiscono su tali oggetti.

Qualsiasi piattaforma VR di tecnica nota opera su un database strutturato di oggetti grafici tridimensionali, nel seguito denominato DBVR, sui quali ? possibile applicare operazioni interattive, interazioni generate da una data applicazione verticale di VR per creare una singola user experience.

Partendo da questa osservazione, se anzich? registrare la sequenza monodimensionale di immagini nell?ambiente VR, per generare un file video VR, si registrano in un file di script le operazioni elementari (interazioni) eseguite dall?utente nel database DBVR, si pu? ricreare il video VR semplicemente ri-eseguendo lo script, con un player interprete.

Se il file di script registra anche il valore di alcuni parametri di configurazione, si potrebbe rieseguire lo script cambiando tali valori (ad esempio: punto di ripresa, luminosit?, effetti ottici) e generando cos? una user experience differente, anche senza definire azioni che agiscono sugli oggetti del database DBVR.

SINTESI SEMANTICA

Il database DBVR di una piattaforma di Virtual Reality, come a titolo esemplificativo ma non limitativo, quello della piattaforma FRAME-S, contiene un insieme di oggetti grafici tridimensionali, di cui alcuni sono oggetti passivi e concorrono a creare lo sfondo della scena VR, mentre altri sono oggetti attivi, sui quali possono essere compiute delle azioni specifiche, che hanno significato una volta definito il dominio applicativo.

In particolare se alcuni degli oggetti passivi sono stati ripresi dal mondo reale con un dispositivo di registrazione digitale, allora il database DBVR diventa di fatti un database AR, ma ai fini del presente trovato tale distinzione ? ininfluente, per cui continueremo a riferirci genericamente al database DBVR.

Le azioni delle terne semantiche sono funzioni del dominio di conoscenza cui si riferisce la base dati DBVR, tra i tanti domini possibili a titolo meramente esemplificativo ma non limitativo, il trovato risulta funzionale al dominio della Health Care, operato sulla piattaforma VR, a titolo esemplificativo FRAM-S, potendo descrivere oggetti ed azioni molto dettagliate in tale ambito, come istruzioni per operazioni virtuali in endoscopia e proiettare nella scena di fondo, degli oggetti passivi, anche dati presi da archivi esterni, come ad esempio la cartella clinica del paziente.

La presente invenzione dischiude un metodo per creare tre dizionari separati, il dizionario degli oggetti attivi che compiono l?azione (soggetti), il dizionario delle azioni elementari (interazioni) ed il dizionario degli oggetti attivi che subiscono o sono affetti dalla azione compiuta dai soggetti (oggetti) e da questi ottenere le istanze delle singole terne semantiche.

Il meccanismo base di popolamento di una classe di oggetti tridimensionali ? l?annotazione che permette di assegnare una label (che ? il nome della classe) a tutti gli oggetti ad essa appartenenti, presenti nel DBVR.

Una volta provveduto a fornire alcuni esempi di istanze di annotazioni un programma di Deep Learning, annotatore, pu? imparare a classificare autonomamente tutti gli oggetti, presenti in una scena,.

Per quanto riguarda le azioni esse sono essere definite esplicitamente dall?operatore in sede di configurazione iniziale, specificando come varia la sequenza di un sotto-insieme di un frame, dove sono presenti sia l?oggetto soggetto che l?oggetto oggetto, dopo aver applicata l?azione.

Le azioni possono essere create usando un qualsiasi strumento di editing (editor semantico), o in certi casi possono essere ricostruite da un?analisi semantica di una ripresa VR.

Quindi un database DBVR pu? essere arricchito creando una struttura ontologica, descritta in un apposito linguaggio semantico, come per esempio non limitativo, OWL, composta da terne semantiche del tipo:

1) <SOGGETTO> <AZIONE> <OGGETTO>

Che specificano le azioni che i soggetti possono compiere sugli oggetti, purch? le condizioni annesse all?azione siano rispettate dalle classi.

Nella 1) soggetto, azione e oggetto sono delle classi, collegate da relazioni semantiche. Tali classi possono a loro volta essere sottoclassi di classi pi? generali o superclassi di classi pi? specifiche. Per cui il livello di descrizione di una terna ? variabile, a discrezione dell?utente.

La sintassi formale dell?interprete VR REPLAY permette di descrivere come la singola istanza di un soggetto possa compiere quella data azione, specificandone le modalit?, dopo aver verificato le condizioni di attuazione, tramite un tensore di transizione di stato, su una specifica istanza di oggetto.

E? utile sottolineare che non tutti gli oggetti presenti nel DBVR devono avere una rappresentazione semantica ed inoltre non devono essere presenti tutte le possibili terne semantiche che portano ad una modifica dello stato del DBVR e quindi della ri-esecuzione di una esperienza utente.

Una volta censiti gli oggetti e le azioni, ad ognuna pu? essere attribuito un codice univoco di identificazione e pertanto le terne da generiche (1) diventano specifiche (2)

2) <soggetto:id> <azione:mod><oggetto:id>

In questo caso la user experience ? ricreata a partire da uno stato iniziale applicando sequenzialmente le terne semantiche di tipo 2), una volta interpretate, agli oggetti del DBVR. Una sequenza di terne semantiche specifiche temporalmente contigue ? una storia di una sessione immersiva in un DBVR.

L?applicazione di una terna semantica genera una transazione che cambia lo stato del soggetto e/o dell?oggetto individuato, inoltre l?azione pu? essere attuata solo le esiste una transazione a partire dallo stato del soggetto e/o dell?oggetto.

Pi? in generale una transazione permette ad un?istanza del database DBVR di passare dallo stato Si allo stato Sj per alcuni elementi del DBVR.

Una sequenza di stati del DBVR ? una storia vissuta o semplicemente trama, come user experience dell?utente.

In generale una storia parte da uno stato iniziale S0, non generato da nessuna transazione precedente e si snoda applicando in sequenza le terne semantiche contenute nello script. Ogni terna ha un tensore di transazione associato, che ? un tensore tridimensionale che dice per quali stati Si dei suoi elementi 3D ? consentito il passaggio allo stato Sj tramite l?azione k, attuata al tempo t, e si rappresenta nella cella i,j,t di detto tensore con il contenuto 1 e per quali stati tale passaggio ? inibito, e si rappresenta nella cella i,j,t con il contenuto 0. La matrice di transizione di Fig. 2 ? data dal prodotto logico di due matrici di transazione una per gli stati del soggetto ed una per gli stati dell?oggetto, al tempo t.

A titolo di esempio supponiamo di avere un terna semantica generica

3) <OPERAIO><PRELEVA>< CACCIAVITE>

E nella storia corrente la stringa dello script

4) <OPERAIO DEL REPARTO MANUTENZIONE DI NOME GIOVANNI><PRELEVA: DALLA CASSETTA ATTREZZI, POSTA NEL RIPIANO 2 DELLO SCAFFALE 5 DEL MAGAZZINO 6><UN CACCIAVITE A STELLA DI DIMENSIONE 8>

Tale istanza di terna pu? essere attuata se esiste nella scena un elemento della categoria soggetto, nel caso specifico Giovanni, che tra le varie azioni consentite pu? PRELEVARE CACCIAVITI DA UNA CASSETTA ATTREZZI, se esiste la cassetta attrezzi specificata e se nella cassetta attrezzi ? presente un cacciavite a stella di dimensione 8.

Se il soggetto non ha abilitata l?azione

<utente corrente> <PRELEVA> < CACCIAVITE A STELLA DALLA CASSETTA ATTREZZI> oppure se non esiste nessun elemento della classe CASSETTA ATTREZZI o non esiste nessun elemento di CACCIAVITE A STELLA nella cassetta, la transazione non pu? avere luogo e quindi nello stato corrispondente ad una delle tre condizioni ostative della matrice di transizione associata alla terna ? indicato 0.

Una sequenza contigua di transazioni con parametri di sfondo costanti costituisce una ripresa (shot) e corrisponde ad una porzione di screenplay, racchiusa tra un frame di stato iniziale (Si) ed uno di stato finale (Sf).

Pi? riprese connesse da stati intermedi Sk costituiscono il video della user experience (storia).

Se la piattaforma interattiva di VR replay ? in grado di modificare alcune istanze di terne ovvero di eliminare e/o aggiungerne di nuove nello script, ? possibile generare una variante della storia che da un certo punto diverge dalla storia originaria creata dal primo utente VR. Quindi con lo strumento interattivo VR replay, potenziato dalle terne semantiche, si possono vedere storie gi? vissute da altri o creare alcune nuove ad hoc, tramite lo strumento di editing associato.

Lo strumento di editing permette di gestire le varie componenti del DBVR:

? SFONDO: dove viene mostrato lo scheletro dell?ambientazione, ovvero l?elenco degli oggetti passivi che costituiscono il contesto in cui agiranno gli elementi attivi. Questo sottosistema consente tramite un?interfaccia adatta all?operatore abilitato di posizionare tutti gli oggetti passivi della scena, eventualmente di scalarli e ruotarli. ? possibile inoltre cambiare vista tra quelle predefinite, come vista dall?alto, dal basso, laterale; ruotare, fare lo zoom o spostarsi semplicemente utilizzando un dispositivo di puntamento.

? PRE-VISTA: in questa sezione ? mostrato il rendering della scena percepito dalla telecamera virtuale impostata come telecamera utente. Cliccando il tasto play l?applicazione viene eseguita direttamente all?interno dell?editor, il che permette un controllo in tempo reale di quello che sar? l?aspetto e il comportamento finale della registrazione dell?esperienza VR e della sua ri-esecuzione con VR Replay.

? GERARCHIA: in questa sezione sono elencati tutti gli elementi della scena, suddivisi in ordine di parentela tramite una rappresentazione a directory. Ogni componente pu? avere al suo interno altri componenti figli, i quali sono pi? o meno vincolati al padre. Si possono aggiungere nuovi elementi passivi alla scena, definita nello SFONDO.

? PROPRIET?: ogni singola istanza di oggetto attivo possiede delle propriet? che gli consentono di essere ?gestito? da una regola semantica, che specifica come l?azione presente nella regola viene attuata

? REGOLE: sono le terne semantiche che specificano il tipo di azione che alcuni oggetti attivi presenti in detto database DBVR, univocamente etichettati, possono compiere su altri oggetti, e dove l?attuazione della azione viene attuata in funzione delle propriet? degli oggetti coinvolti.

Un sistema di VR replay ? composto dalle seguenti componenti:

1. visore VR

2. annotatore

3. editor semantico

4. interprete

5. registratore

Claims (8)

RIVENDICAZIONI

1. Metodo, ed associato strumento attuativo, per la registrazione strutturata in apposito archivio di script di esperienze utente in ambiente di realt? virtuale interattiva, atte a sintetizzare un video digitale in formato tale da essere visualizzato con un qualsiasi dispositivo di fruizione video tridimensionale e la successiva modifica di dette esperienze utente, da parte di un soggetto terzo, mediante strumento di editor atto allo scopo, composto dai seguenti passi:

a. Selezione da detto video digitale, in un qualsiasi formato standard, che registra un?esperienza di realt? virtuale, di una data immagine al tempo discreto; b. Annotazione interattiva nell?immagine selezionata nel passo precedente e prodotta da un sistema di realt? virtuale tridimensionale di oggetti di sfondo passivi ed oggetti attivi;

c. Popolamento di un database VR, con gli oggetti annotati al passo precedente, identificando con una chiave univoca ciascuna singola istanza

d. Ripetizione del tre passi precedenti fino a raggiungere la fine del video digitale; e. Codifica delle possibili interazioni tra detti oggetti attivi, annotati al passo b, attraverso un tensore di transizioni di stato, che definisce quali interazioni sono possibili ad un determinato intervallo temporale discreto t, tramite opportuna codifica formale in una stringa secondo una grammatica formale, preferibilmente ma non necessariamente di tipo L2;

f. Registrazione di dette stringhe delle interazioni tra oggetti in un file di script, il cui formato sia interpretabile ed eseguibile da un dispositivo di presentazione video tridimensionale;

g. Modifica vincolata delle stringhe contenute nel file di script, attraverso un editor semantico;

h. Registrazione della nuova sequenza di stringhe per ottenere una variante del file di script.

2. Metodo secondo la rivendicazione 1, dove detta annotazione ? attuata con un sistema automatico di riconoscimento forme, per sintetizzare le traiettorie spaziotemporali di oggetti sia passivi che attivi, presenti in una banca dati VR, da cui si origina l?esperienza utente di realt? virtuale interattiva, anche in presenza di parziale occlusione.

3. Metodo secondo la rivendicazione 1, dove gli oggetti della banca dati VR possono essere correlati da relazioni semantico di tipo gerarchico

4. Metodo secondo la rivendicazione 1, dove detta codifica delle interazioni tra oggetti si realizza attraverso la sintesi di istanze di sequenze di terne semantiche, composte da: id-soggetto, id-azione ed id-oggetto.

5. Metodo secondo la rivendicazione 1, dove la modifica vincolata delle terne semantiche, ? attuata attraverso uno strumento di editing semantico che permette di rispettare i vincoli imposti dalle propriet? degli oggetti, presenti in detta terna.

6. Metodo secondo la rivendicazione 1, dove la registrazione della nuova sequenza di terne modificate ? trascritta in un opportuno file di script, interpretabile da uno strumento di presentazione VR.

7. Strumento attuativo secondo la rivendicazione 1, composto da.

a. Un sotto-sistema di visione VR

b. Un sotto-sistema di annotazione dinamico che provvede al popolamento di un database VR

c. Un sotto-sistema di editing delle terne semantiche di interazione definita una ontologia di dominio

d. Un sotto-sistema di registrazione delle sequenze di dette terne in apposito file di script

e. Un sotto-sistema di interprete di un file di script per la rigenerazione di un video digitale che descriva l?esperienza utente in ambiente di realt? virtuale interattiva.

8. Strumento attuativo, secondo la rivendicazione 7, con funzionalit? specifiche per il dominio applicativo dell?Health Care, con esperienze virtuali immersive che afferiscono al campo dell?endoscopia, con la sovrapposizione nella funzione di VR replay di dati biometrici prelevati da un archivio esterno, come ad esempio una cartella clinica.