IT202000003707A1 - Album fotografico cartaceo aumentato - Google Patents

Description

Descrizione a corredo della domanda di brevetto per invenzione industriale dal titolo:

ALBUM FOTOGRAFICO CARTACEO AUMENTATO

Ambito dell?invenzione

La presente invenzione riguarda il settore tecnico inerente l?acquisizione di immagini e l?elaborazione delle stesse.

In particolare, l?invenzione si riferisce ad un innovativo metodo che consente la visualizzazione, attraverso la fotocamera di un dispositivo mobile, di una immagine reale statica, ad esempio una fotografica cartacea, e con il dispositivo mobile programmato per animare la detta immagine in tempo reale in modo tale da creare un Album Fotografico Aumentato.

Brevi cenni alla tecnica nota

Allo stato attuale della tecnica sono noti e comunemente utilizzati dispositivi mobili, quali Tablet o dispositivi di telefonia mobile che sono in grado di effettuare molteplici operazioni.

Ad esempio, tutti questi dispositivi mobili sono dotati di una o pi? fotocamere al fine di poter acquisire immagini in forma di foto e/o video che poi vengono memorizzate in un modulo di memoria del dispositivo stesso.

Esistono inoltre molteplici applicativi software (dunque ?App?) che sono pre-installati nella memoria del dispositivo mobile o sono scaricabili dalla rete e i quali consentono di elaborare ulteriormente queste immagini per i motivi e nelle maniere pi? disparate.

Ad esempio, allo stato attuale della tecnica, sono note tecnologie che consentono in qualche modo di animare delle immagini (ad esempio ?Live Photo di Apple?). In sostanza una immagine statica viene in qualche modo ?animata? e dunque messa in movimento.

In tal caso, le immagini che vengono animate sono per? solo ed esclusivamente immagini virtuali le quali sono state preventivamente acquisite dalla fotocamera e sono dunque immagazzinate nella memoria del dispositivo in questione (come anche potrebbero essere in memoria in un sistema cloud). Una successione di queste immagini ottenuta con una sequenza di scatti effettuata dal sofware stesso, a seguito del singolo scatto effettuato dall?utente, consente poi di compattare il tutto in un unico file che crea l?effetto della movimentazione dell?immagine.

Molti di tali dispositivi mobili di ultima generazione sono inoltre in grado di supportare la cos? detta ?realt? aumentata?, ovvero tramite appositi applicativi, attualmente comunemente disponibili, il dispositivo mobile ? in grado di integrare o eliminare oggetti in una immagine del dispositivo mobile, per cui modificando e, dunque, ?aumentando? l?immagine.

Nonostante esistano applicativi quali il ?Live Photo? di Apple, e nonostante i moderni dispositivi mobili supportino la realt? aumentata, allo stato attuale non ? possibile poter animare, in tempo reale, immagini reali che vengono inquadrate in tempo reale attraverso le fotocamere in dotazione sul dispositivo e semplicemente visualizzate in diretta sullo schermo del detto dispositivo mobile.

Le immagini reali che invece vediamo in diretta attraverso lo schermo del dispositivo mobile, per mezzo della inquadratura della fotocamera accesa, rimangono quelle e non sono modificabili. L?unica azione fattibile, per come detto, ? quella di far partire la registrazione del video e/o l?acquisizione di una o pi? foto o di una sequenza di foto in un certo tempo per poi elaborarle successivamente. L?elaborazione successiva consente una visualizzazione in movimento dell?immagine virtuale originale.

Il problema ? particolarmente sentito nel caso di foto cartacee la cui stampa deriva da un video preventivamente acquisito tramite dispositivo mobile.

L?utente realizza un video e pu?, ad esempio, stampare in forma cartacea alcuni frame del video, al fine, ad esempio, di realizzare e conservare un album cartaceo.

Allo stato attuale della tecnica non ? possibile, e dunque non esiste alcun applicativo software, in grado di consentire di visualizzare a schermo, in tempo reale, l?immagine stampata e di animarla in diretta durante l?inquadratura, in modo tale che l?utente, inquadrando l?immagine reale con la fotocamera del dispositivo, visualizzi sullo schermo del dispositivo mobile la stessa immagine che si anima.

Ci? pone dunque un forte limite alle funzioni di animazione delle immagini, limitandosi l?arte nota alla animazione di immagini virtuali ma non di album fotografici cartacei.

Sintesi dell?invenzione

? dunque sentita l?esigenza di una soluzione tecnica che consenta di risolvere il suddetto problema tecnico consentendo di rendere molto pi? versatile e flessibile il sistema di animazione di immagini, consentendo dunque di poter animare immagini che vengono visualizzate in tempo reale sullo schermo del dispositivo mobile mentre queste sono inquadrate in tempo reale.

Questi ed altri scopi sono dunque ottenuti con il presente metodo per animare una immagine stampata ed inquadrata in tempo reale con un dispositivo mobile, in accordo alla rivendicazione 1.

Tale metodo comprende le seguenti fasi:

- Predisposizione di un dispositivo mobile (10) dotato di un obiettivo e di uno schermo video (20) per mostrare in tempo reale immagini (IMM) che vengono inquadrate attraverso il detto obiettivo;

Il dispositivo mobile pu? ad esempio essere un dispositivo di telefonia mobile intelligente o un tablet, in quanto dotati di fotocamera, schermo video e processore in grado di elaborare informazioni.

- ? dunque prevista una fase di realizzazione di un file video attraverso detto dispositivo mobile e la successiva memorizzazione del detto file video;

- Realizzato il detto video, segue una fase di generazione da detto file video di un frame (Frame_0): il frame generato viene associato a detto video da cui deriva;

- Preferibilmente il frame che si genera dal video ? proprio il primo frame componente il video, dunque il frame dell?istante 0 del video.

- Segue dunque una stampa di detto frame;

- A questo punto, effettuata la stampa, segue una operazione di inquadratura in tempo reale della detta stampa attraverso l?obiettivo del dispositivo mobile e la successiva elaborazione della immagine inquadrata in tempo reale in modo tale da individuare la stampa (STAMPA_1) inquadrata all?interno della intera immagine reale (IMM) e creare uno strato virtuale trasparente (Lay_virt) che viene sovrapposto ed ancorato alla stampa inquadrata all?interno dell?intera immagine;

- Una volta ancorato lo strato virtuale trasparente si ha un riferimento fisso;

- Segue dunque la individuazione del video associato al detto frame da cui deriva la detta stampa e viene creato un ulteriore strato che si sovrappone allo strato trasparente ma che questa volta ? invece visibile;

- Tale strato ? uno strato video (Lay_vid) che viene creato e sovrapposto al detto strato virtuale (Lay_virt) trasparente;

- Lo strato video creato ? quello associato ovviamente al frame stampato e viene sovrapposto in modo tale che il suo primo frame sovrapposto coincida perfettamente con il frame stampato ed inquadrato, ossia il frame all?istante 0 del video;

- Lo strato video (Lay_vid) attiva la sequenza di frame (frame_0, frame_1, ?, frame_n) di cui ? composto e che in successione scorrono sovrapponendosi uno alla volta in successione al detto strato virtuale (Lay_virt) in modo tale da generare l?animazione della stampa cartacea (IMM_1) inquadrata;

- Il primo frame all?istante 0 coincide con la stampa inquadrata per cui l?utente non vede alcuna variazione. Una volta che inizia lo scorrimento dei frame successivi avviene l?animazione.

In accordo alla soluzione proposta nella rivendicazione 1, ? adesso dunque possibile poter animare una qualsiasi immagine che viene semplicemente inquadrata dalla fotocamera e dunque visibile in diretta a schermo.

L?utente che, ad esempio, desidera animare una foto di un album cartaceo potr? porre la foto su un qualsiasi supporto, ad esempio un tavolo, ed inquadrarla attraverso la fotocamera del proprio dispositivo mobile (ad esempio un Tablet, un dispositivo di telefonia mobile intelligente quale uno Smartphone).

L?utente visualizzer? a schermo l?immagine in diretta che sta inquadrando e, tramite la apposita applicazione software, il processore del dispositivo mobile sar? in grado di elaborare una animazione ?in diretta? della immagine inquadrata in tempo reale.

L?utente che vede a schermo in diretta l?immagine dell?oggetto che inquadra, vedr? dunque una animazione nonostante l?oggetto sia ovviamente fermo.

La soluzione proposta prevede, per come detto, la realizzazione di un video preventivamente, mentre l?immagine che viene animata ? la stampa di un frame relativo a tale video, il frame iniziale (all?istante 0) del video.

Ci? consente di sovrapporre correttamente il video all?immagine inquadrata per creare l?animazione.

Vantaggiosamente, la detta fase di creazione dello strato virtuale trasparente (Lay_virt) comprende una fase di riconoscimento della stampa inquadrata all?interno della intera immagine; detto riconoscimento avviene attraverso una operazione di confronto tra una immagine virtuale salvata nella memoria del dispositivo mobile e la detta immagine reale (IMM_1) inquadrata.

In questo modo, attraverso tale riconoscimento, ? possibile individuare la stampa inquadrata all?interno dell?intera immagine e dunque ? possibile estrapolare dimensioni e coordinate che consentono di creare lo strato trasparente correttamente, ovvero di corrette dimensioni, e collocarlo nella giusta posizione all?interno dell?immagine reale in modo tale che si sovrapponga perfettamente all?oggetto a cui corrisponde all?interno dell?immagine reale.

Vantaggiosamente, in particolare, a seguito di detto riconoscimento positivo, ? prevista una fase di tracciatura che consente la determinazione delle dimensioni della stampa inquadrata all?interno della intera immagine e delle sue coordinate spaziali (X; Y; Z) in modo tale da creare il detto strato virtuale trasparente di dimensioni uguali alla stampa, riconosciuta nella fase precedente: tale strato virtuale viene, dunque, ancorato al di sopra di tale immagine.

La applicazione realizza adesso ed aggancia un layer virtuale trasparente (lay_virt) alla stampa inquadrata in tempo reale, nonostante l?immagine nel suo complesso possa contenere altri oggetti nell?inquadratura oltre alla suddetta stampa.

Il layer trasparente diviene, dunque, un riferimento fisso a cui si pu? adesso agganciare il layer video che invece non ? trasparente ma si sovrappone alla stampa che corrisponde al frame iniziale all?instante 0.

La applicazione aggancia dunque il layer video (lay_vid) che viene generato dal video associato all?immagine ed inizia a riprodurre il video al di sopra della foto reale, ottenendo l?effetto finale per cui la stampa si anima, facendo scorrere in successione i frame ai vari istanti derivanti dal video.

Il layer trasparente ed il layer video vengono generati con tecnologie di generazione di layer di per s? arte nota.

Il primo frame del video coincide con il frame stampato ed inquadrato mentre i successivi frame sono immagini diverse che determinano la movimentazione.

L?utente, dunque, deve innanzitutto predisporre il video tramite il proprio dispositivo mobile; la applicazione creer? e salver? in una directory il frame iniziale di ogni eventuale video e sar? possibile stampare tale primo frame all?istante 0. Tale stampa sar? animata per come sopra descritto in sintesi.

Preferibilmente, alla apertura della applicazione, l?utente pu? essere indirizzato alla scelta di un album che punta ad una directory presente nella memoria del dispositivo in uso, ove sono memorizzate le immagini precedentemente prelevate dalle relative registrazioni video effettuate dall?utente. Tali immagini possono essere, laddove l?utente cancellasse l?App e perdesse i dati, recuperate dalla rete all?interno della propria cartella remota in Cloud.

L?utente seleziona, dunque, un album fotografico nell?applicazione e, successivamente, si attiva la fotocamera in dotazione nel dispositivo.

In questo modo, tramite tale fotocamera attivata, l?utente riesce a visualizzare sullo schermo del suo dispositivo mobile il mondo reale che sta inquadrando con la fotocamera. Non ? in questa fase richiesta nessuna acquisizione di immagine in quanto, il processo di animazione, per come dettagliato, viene effettuato appunto su una specifica immagine inquadrata in tempo reale dalla telecamera, cio? l?immagine stampata preferibilmente del primo frame all?istante 0, che pu? essere stampata preferibilmente su carta ma anche su altri supporti.

Rispetto all?arte nota che consiste nel suddetto citato ?Live Photo? ulteriori vantaggi sono riportati nella tabella di cui sotto:

Vantaggiosamente, il detto layer virtuale generato ha le stesse dimensioni di lunghezza e larghezza della stampa inquadrata.

Vantaggiosamente, il detto strato video (Lay_vid) viene generato dal video realizzato il quale ? individuato attraverso la associazione che esiste tra il detto video e il frame da cui deriva, a seguito di riconoscimento positivo.

Vantaggiosamente, a seguito della sovrapposizione dello strato video allo strato trasparente, il primo frame del video (Frame_0) coincide con il frame stampato ed inquadrato, in modo tale da sovrapporsi perfettamente.

Vantaggiosamente, lo scorrimento dei frame successivi determina l?animazione.

Vantaggiosamente, pu? ulteriormente essere previsto un ulteriore strato di filtro (Lay_fil) che viene generato e sovrapposto allo strato video (Lay_vid) in modo tale da generare un predeterminato effetto nella riproduzione della animazione, ad esempio una certa colorazione o l?applicazione di un fumetto.

? anche qui descritto un dispositivo mobile, preferibilmente un dispositivo di telefonia mobile intelligente o un tablet, avente un processore programmato per poter elaborare ed eseguire le fasi del metodo in

accordo a quanto sopra descritto.

? anche qui descritto un programma software comprendente istruzioni le quali, quando il programma viene eseguito da un dispositivo mobile, determinano l?esecuzione delle fasi del metodo in accordo a quanto sopra descritto.

Breve descrizione dei disegni

Ulteriori caratteristiche e vantaggi del presente metodo, secondo l?invenzione, risulteranno pi? chiaramente con la descrizione che segue di una sua forma realizzativa, fatta a titolo esemplificativo e non limitativo, con riferimento ai disegni annessi, in cui: - La figura 1 mostra un diagramma di flusso che evidenzia alcune delle fasi del presente metodo in accordo all?invenzione;

- La figura 1A schematizza una fase di acquisizione di un video con il dispositivo mobile; il video viene memorizzato ed elaborato al fine di estrapolarvi il primo frame (Frame_0) componente tale video all?istante iniziale (t=0) del video e relativa memorizzazione di tale frame che ? associato al detto video;

- La figura 2 e la figura 2A dettagliano una fase di riconoscimento della immagine visualizzata a schermo in tempo reale;

- La figura 3 mostra un diagramma esplicativo di una fase di inizializzazione del presente metodo;

- La figura 4 dettaglia una fase di riconoscimento e successivo tracciamento dell?immagine mostrata a video; - Le figure dalla 5 alla 7 mostrano la fase di riconoscimento dell?immagine e di applicazione sulla immagine reale di uno strato (detto ?layer?) di dimensioni uguali alla immagine visualizzata e che si sovrappone alla immagine reale all?interno della realt? aumentata;

- Le figure dalla 8 alla 10 mostrano una ulteriore fase di sovrapposizione dei frame relativi ad un video alla immagine iniziale al fine di creare l?animazione della immagine riconosciuta dall?applicazione;

- La sequenza delle figure 11 e 12 mostra la detta sovrapposizione del video;

- La figura 13 mostra un ulteriore diagramma dove si descrive una ultima sovrapposizione possibile, per? opzionale, al fine di creare dei filtri ad esempio di colorazioni o effetti diversi;

- Infine, la figura 14 schematizza una possibile tecnica di comparazione tra l?immagine della stampa acquisita in tempo reale e i frame in memoria estrapolati dai video al fine di individuare una corrispondenza tra un frame e l?immagine inquadrata in tempo reale e poter cos? individuare, all?interno dell?immagine inquadrata in tempo reale, l?area di immagine corrispondente alla stampa da animare.

Descrizione di alcune forme realizzative preferite

La figura 1 mostra un diagramma di flusso che descrive il metodo operativo-softwaristico in accordo all?invenzione.

In particolare, ? prevista la predisposizione di un dispositivo mobile, il quale pu? essere un dispositivo di telefonia mobile di nuova generazione, quali Smartphone, oppure un Tablet.

Tali dispositivi mobili sono di ridotte dimensioni, appositamente realizzati per essere facilmente trasportabili e sono dotati di potenti processori per elaborare informazioni in genere.

Essi si possono collegare normalmente alla rete internet per scaricare informazioni ed applicazioni software che possono eseguire nel detto dispositivo mobile.

Tali dispositivi mobili, di per s? ben noti nello stato della tecnica, sono poi dotati di una o pi? fotocamere (ne esistono di molteplici tipologie di varia risoluzione) al fine di poter inquadrare immagini e dunque scattare foto e/o video che possono essere memorizzati nella memoria del dispositivo mobile o in cloud.

Ovviamente tutti questi dispositivi mobili sono dotati di schermo per visualizzare qualsiasi immagine e consentire l?operativit? dell?utente.

Tali dispositivi sono di per s? ben noti nello stato della tecnica, sono comunemente in commercio e per questo non vengono qui ulteriormente dettagliati.

La gestione del presente metodo operativo ? dunque effettuata da un apposito programma software che pu? essere presente alla origine nella memoria del dispositivo mobile o pu? essere scaricato dalla rete internet in forma di Applicazione software (App).

Il processore del dispositivo mobile ? in grado di far girare correttamente il software eseguendo le elaborazioni necessarie.

Le fasi principali, che verranno dettagliate nel seguito, prevedono la realizzazione preventiva di un video che poi viene elaborato dalla applicazione software per estrapolare un frame, il primo frame componente il video all?istante t=0, per cui estrapolando frame_0 per t=0.

Il frame viene salvato in una directory nella memoria del dispositivo mobile e il frame, cio? il frame_0 per t=0, viene associato allo specifico video da cui deriva.

La figura 1A mostra, in modo schematico, un dispositivo di telefonia mobile che acquisisce un video composto da una successione di frame dall?istante 0 in poi e da cui si estrapola il frame iniziale all?istante 0.

Entrambi sono salvati in memoria del dispositivo o in una directory in cloud.

Ovviamente se vengono realizzati pi? video, l?applicazione software elaborer? pi? frame all?istante t=0, ognuno associato al relativo video da cui deriva.

In accordo all?invenzione, per come chiarito meglio nel dettaglio tecnico successivo, ? possibile stampare il frame generato dal video, dunque il frame_0 all?istante t=0, al fine di poter inquadrare in tempo reale tale stampa con la fotocamera e vedere attraverso lo schermo del dispositivo mobile, in tempo reale, la stampa che si anima, sfruttando il video associato che era stato preventivamente realizzato e da cui deriva il detto frame_0 all?istante t=0.

Un problema che viene risolto, come nel seguito descritto, riguarda l?ancoraggio del video sulla immagine della stampa inquadrata in tempo reale in quanto, per far questo, sono necessarie coordinate della stampa inquadrata all?interno dell?intera inquadratura. L?intera inquadratura non inquadra infatti generalmente la sola stampa ma anche oggetti circostanti in funzione dell?inquadratura che l?utente effettua.

Il diagramma di flusso di figura 1 rappresenta alcune fasi operative in modo un po? pi? specifico, anche se queste saranno riprese ancor pi? nello specifico nel proseguo della descrizione.

In accordo alle fasi operative riportate in figura 1, sono presenti le seguenti operazioni.

L?utente pu? preventivamente realizzare un video che solo successivamente viene elaborato dalla applicazione software, ossia quando l?applicazione viene lanciata.

In alternativa, l?utente pu? accedere alla applicazione software e realizzare il video attraverso la stessa applicazione mobile.

Le due cose sono equivalenti.

Come evidenziato dal diagramma di flusso di figura 1, una volta realizzato il video che viene memorizzato, seguono le fasi successive.

L?applicazione software, oggetto dell?invenzione, estrapola dal video un frame allo istante iniziale del video t=0, dunque il primo frame del video.

Il frame cos? realizzato viene adesso salvato in automatico in una directory sulla memoria del dispositivo (ed eventualmente su cartella cloud), in modo tale da essere recuperabile quando necessario dal sistema software.

Per quanto detto sino ad ora, dunque, in memoria ? presente il video ed anche il singolo frame all?instante 0 derivato da tale video e dunque associato a tale video.

L?applicazione permette di stampare in automatico tale primo frame del video all?istante 0 (frame t_0) su supporto cartaceo, ad esempio tramite servizio di stampa online o in altri modi equivalenti.

L?utente potr?, comunque, in qualsiasi modo stampare tale primo frame estrapolato dal video e stamparlo su supporto cartaceo o su un qualsiasi supporto, purch? sia ovviamente poi inquadrabile tramite l?obiettivo del dispositivo mobile.

A questo punto, una volta pronta l?immagine stampata, ad esempio su supporto cartaceo, questa pu? essere inquadrata in diretta dall?obiettivo ed animata in diretta mentre viene inquadrata.

L?animazione prevede, di base, una sovrapposizione del video derivato dall?immagine stampata ma, per far questo, ? necessario ancorare il video alla immagine della stampa reale inquadrata, la quale ? all?interno di una immagine principale ripresa in diretta e che pu? contenere altri oggetti (l?inquadratura ? generalmente pi? grande dell?oggetto che si vuole inquadrare).

A tal scopo ? prevista una fase di riconoscimento e tracciatura proprio allo scopo di individuare la stampa inquadrata all?interno dell?intera immagine (che occupa tutto lo schermo del dispositivo mobile), il tutto sfruttando il frame memorizzato da cui ? derivata appunto la stampa che si inquadra.

In particolare, come indicato dal diagramma di flusso di figura 1, l?utente ? chiamato dal software a selezionare un album fotografico presente in memoria ove sono presenti le immagini salvate, cio? i frame_0 dei vari video.

Se ad esempio nel tempo sono stati creati molti video, questi saranno tutto in memoria e associati ai relativi frame anche essi in memoria in una certa directory. L?utente ? chiamato a selezionare l?album fotografico relativa alla foto stampata.

Tale selezione dell?album agevola l?operazione di calcolo ma potrebbe anche non essere effettuata e il software potrebbe ricercare ed analizzare l?intera memoria.

A questo punto la fotocamera si attiva e l?utente pu? inquadrare il mondo reale e dunque l?immagine reale, ed in particolare l?immagine su stampa.

Ovviamente l?inquadratura catturer? non solo l?immagine stampata ma anche ci? che nel mondo reale sta intorno alla detta immagine su stampa.

Se, ad esempio, il supporto cartaceo ? messo su di un tavolo, l?inquadratura potrebbe inquadrare altri eventuali oggetti presenti.

? dunque necessario animare la sola immagine stampata, escludendo l?ambiente circostante che potrebbe essere presente.

Per fare questa operazione, come mostrato nel diagramma di flusso di figura 1, ? necessario individuare la stampa nella immagine inquadrata e per tal motivo viene eseguita una operazione di riconoscimento dell?immagine sfruttando proprio il relativo frame_0 in memoria.

Ci? consente di individuare e dunque localizzare, in tempo reale, all?interno della immagine reale inquadrata, che pu? contenere altri oggetti, la sagoma e la figura della stampa che si vuole animare confrontandola proprio con il frame da cui essa ? derivata.

Pi? in particolare, l?App carica sulla RAM l?insieme di foto associate all?album fotografico selezionato ed effettua una operazione di ?image recognition? al fine di ritrovare il frame dell?istante t=0 che coincide appunto con l?immagine reale su stampa inquadrata in diretta.

Se l?immagine viene riconosciuta, ? allora possibile, con apposito algoritmo, effettuare un tracciamento che trova le coordinate di posizionamento e le dimensioni della stampa nella inquadratura reale, e prevedere una successiva applicazione di strati che animano la stampa nell?inquadratura reale.

Il riconoscimento serve, dunque, per come chiarito nel seguito, ad individuare la stampa nell?inquadratura e costruire un layer virtuale trasparente di corrette dimensioni che si pu? cos? ancorare sulla stampa reale in una certa posizione all?interno della immagine reale inquadrata, per cui escludendo gli altri eventuali elementi presenti nell?immagine.

A questo sul layer_virtuale, una volta ancorato alla stampa ripresa in tempo reale all?interno della intera immagine reale, viene poi ancorato e, dunque sovrapposto, ad esso il video che anima tale stampa.

Il video viene dunque anche asso elaborato in forma di strato video con tecniche note ed ancorato allo strato trasparente.

Il riconoscimento serve anche per individuare, tra eventuali vari video, il video corretto da sovrapporre in quanto il frame in memoria riconosciuto positivamente ? associato anche al relativo video.

Infatti, una volta riconosciuta la foto reale, cio? una volta trovata la corrispondenza con il frame all?istante 0 (ad es. foto_1.png) precaricata su memoria del dispositivo o scaricata da cloud, e l?immagine della stampa reale inquadrata, l?App recupera sulla memoria del dispositivo mobile stesso il video associato a tale frame il quale ha lo stesso nome della foto ma con estensione mp4 (foto_1.mp4 in base all?esempio di nome dell?immagine fornito), al fine di generare l?animazione.

FASE DI RICONOSCIMENTO DELL?IMMAGINE:

Di seguito viene tecnicamente dettagliata, in modo pi? preciso, la fase di riconoscimento dell?immagine e la sua funzione tecnica.

Ci? che viene inquadrato dalla fotocamera in tempo reale viene dunque elaborato dal processore in tempo reale, attraverso la detta Applicazione software, in modo tale da verificare se almeno una parte di quanto inquadrato in tempo reale (in particolare la stampa) corrisponde ad un certo frame presente nella directory, derivato da un video ed associato ad esso.

Si pu? utilizzare, a tal scopo, un algoritmo di riconoscimento delle immagini.

L?algoritmo di riconoscimento delle immagini ? di per s? arte nota ed esistono molti applicativi in tal senso. Essi possono, ad esempio, lavorare attraverso una analisi di luminosit? dei pixel, una volta che una immagine viene trasformata in matrice di pixel con ogni pixel avente una certa colorazione.

Se l?immagine viene riconosciuta positivamente, ovvero la stampa inquadrata dalla fotocamera all?interno della intera immagine inquadrata corrisponde ad una delle immagini presenti nella directory, allora ? possibile effettuare una fase di tracciamento, ovvero di determinazione delle coordinate di posizionamento e delle dimensioni della stampa inquadrata all?interno dell?immagine reale e, conseguentemente, ? possibile generare un layer della corretta dimensione, ossia uno strato virtuale, che pu?, a questo punto, essere correttamente sovrapposto alla stampa inquadrata, localizzata e geometricamente definita all?interno dell?intera immagine inquadrata dalla fotocamera del dispositivo mobile.

Il riconoscimento ?, dunque, utile al fine di poter correttamente generare e anche posizionare il layer virtuale trasparente nella posizione giusta, affinch? esso si sovrapponga correttamente alla stampa inquadrata all?interno dell?immagine reale, oltretutto realizzando un layer di corretta dimensione che ricalchi quella della immagine stampata e ripresa in tempo reale.

Le dimensioni del layer trasparente e della stampa inquadrata sono infatti identiche in modo tale da sovrapporsi perfettamente.

Diversamente, se non avviene tale riconoscimento positivo, il software prosegue la ricerca perch? non potrebbe in teoria creare e collocare correttamente il layer trasparente.

In tal senso, dunque, l?utente muover? il proprio dispositivo mobile inquadrando il mondo reale mentre il processore elabora quanto inquadrato in tempo reale per effettuare la fase suddetta del riconoscimento confrontando l?immagine inquadrata con le immagini presenti nella directory in memoria associata all?album scelto dall?utente in App. Se non avviene il riconoscimento semplicemente non viene elaborata la animazione.

La fase di riconoscimento dell?immagine ? meglio dettagliata con riferimento alle figure 2 e 2A, in cui ? stato schematizzato un dispositivo di telefonia mobile 10 (lo stesso sarebbe con qualsiasi dispositivo mobile in genere), avente uno schermo 20.

Tramite la fotocamera, o obiettivo che dir si voglia, in dotazione nel dispositivo di telefonia mobile (non visibile in figura 2 per semplicit?) l?utente visualizza sullo schermo 20 l?immagine reale (IMM) che contiene, oltre ad eventuali altri oggetti non mostrati per semplicit?, la stampa (STAMPA_1) di ci? che si vuole animare. In questo caso, ci? che l?utente intende animare ? stato schematizzato come (STAMPA_1) e corrisponde alla immagine stampata del primo frame all?istante 0 di un certo video posta all?interno dell?intera inquadratura (IMM) in tempo reale.

L?immagine che si visualizza in diretta sullo schermo (cio? IMM come indicato in figura 2A) viene elaborata dal processore che confronta tale immagine (IMM) reale per intero con l?insieme di immagini in memoria (dunque presenti nel modulo di memoria del dispositivo mobile o scaricate da cloud) e che il sistema ha precedentemente estrapolato dai video ottenendo i singoli frame all?istante t=0, per come detto in precedenza.

Come schematicamente indicato in figura 14, il software pu?, ad esempio, trasformare l?intera immagine inquadrata (IMM) in una matrice di pixel (si veda infatti in figura 14 l?immagine IMM in forma di un reticolato che rappresenta la matrice di pixel all?interno di cui vi ? la stampa inquadrata evidenziata da una colorazione di pixel diversa). Il software effettua un confronto con la matrice di pixel dei frame memorizzati (si veda il reticolato del frame_c_0).

Se esiste una sostanziale equivalenza di colori tra le due matrici confrontate, dunque frame_c_0 combacia almeno con una parte della matrice relativa all?immagine (IMM), ci? significa che esiste una corrispondenza di luminosit?, ovvero la matrice dei pixel del frame sono uguali ad una porzione di matrice di pixel all?interno della immagine.

A questo punto ? stata individuata l?area corrispondente alla Stampa (stampa_1) all?interno della matrice (IMM) e dunque ? facilmente possibile individuare dimensioni e coordinate, ad esempio contando i Pixel che compongono larghezza e altezza della stampa (stampa_1) per avere le relative dimensioni e contando i pixel di distanza X1 ed Y1 (vedasi sempre figura 14).

Dunque, come da schematizzazione di figura 2A, la immagine reale (IMM) privata di altri oggetti eventuali di viene confrontata dal processore con le immagini presenti nella directory associata all?album selezionato e che in figura 2A sono indicate come Frame_a_0, ?, Frame_e_0 e che sono, ognuno, un frame di un video all?istante t=0.

La fase di riconoscimento ? dunque importante in quanto consente, per come detto, di creare uno ?strato trasparente? che viene sovrapposto, nella realt? aumentata ed ancorato alla immagine reale ripresa in diretta aumentando la realt? inquadrata dalla fotocamera del dispositivo.

Al fine, per?, di creare uno strato trasparente da posizionare correttamente sulla immagine reale, ? necessaria tale operazione di confronto o riconoscimento per determinare posizionamenti e dimensioni della stampa nella immagine reale.

La tecnica di analisi dei pixel, sopra introdotta come esempio non limitativo, potrebbe essere una possibile tecnica di riconoscimento delle immagini anche se altre tecniche di riconoscimento sono implementabili.

Una volta riconosciuta positivamente l?immagine inquadrata relativa alla stampa, ovvero quando viene ritrovata una similitudine tra un frame_0 in memoria e la stampa inquadrata all?interno dell?intera immagine dalla fotocamera del dispositivo mobile, il processore ? in grado di estrapolare dimensioni e coordinate tali per cui viene creato lo strato virtuale trasparente e correttamente ancorato alla stampa reale nella realt? aumentata.

L?utente, durante tale fase di elaborazione, non si render? conto della ?creazione? ovvero della ?generazione?, da parte del sistema software, di tale strato ?trasparente? proprio perch? esso ? trasparente e si sovrappone alla immagine in diretta che ? stata riconosciuta positivamente senza oscurarla.

La figura 4 mostra ulteriormente proprio la detta fase di tracciamento della stampa inquadrata all?interno dell?immagine in cui, proprio come conseguenza del corretto riconoscimento, il software pu? determinare le corrette coordinate (X; Y) spaziali dell?oggetto inquadrato in tempo reale ed una quota di elevazione Z che deve essere maggiore della z della immagine reale, di modo che lo strato trasparente sia al di sopra dell?immagine reale.

Tali coordinate e misure sono ricavate attraverso il framework della realt? aumentata dello specifico sistema operativo: ad esempio ARCore per Android, ARKit per iOS.

La figura 4 schematizza dunque gli assi cartesiani (X; Y; Z) con le coordinate rilevate (X1; Y1; Z1) della immagine inquadrata (dopo che ovviamente ? stata riconosciuta positivamente) e con le relative dimensioni di lunghezza (l) e altezza (h).

Il riconoscimento positivo consente, dunque, di determinare le misure (l; h) che sono evidenziate in figura 4 e le coordinate spaziali. A questo punto ? tutto pronto per generare ed ancorare il layer trasparente virtuale (lay-virt).

La figura 7 mostra la sovrapposizione del Layer virtuale trasparente sulla immagine inquadrata.

Per quanto detto, dunque, queste misure e questa fase di calcolo delle misure e della posizione servono per poter creare e poi sovrapporre perfettamente lo strato trasparente (lay_virt) alla stampa inquadrata all?interno della immagine reale (IMM) per cui viene creata, tramite tale sovrapposizione, una immagine aumentata. Dunque, le coordinate (X, Y, Z) e le misure dimensionali sopra introdotte servono affinch? si possa costruire una immagine trasparente di dimensione uguale alla immagine reale e che possa sovrapporsi perfettamente alla immagine reale (la stampa).

Lo strato trasparente ? importante in quanto serve da ancoraggio, ovvero come segnaposto per gli strati successivi di animazione. Tale strato serve, quindi, ad effettuare il tracciamento dell?immagine reale nella realt? aumentata.

Ci? ? necessario in quanto l?immagine reale si muove durante l?inquadratura anche di poco mentre lo strato trasparente sopra applicato, una volta generato, rimane fisso nella posizione determinata.

La figura 3 schematizza e riassume molto bene quanto sino ad ora descritto.

La figura 3 ?, infatti, uno schema a blocchi che mostra da l?interazione dell?utente con il proprio dispositivo mobile su cui ? presente tale applicazione software e dunque mostra l?interazione tra utente ed applicazione.

L?utente che apre l?applicazione ? chiamato a selezionare un album di immagini virtuali precaricate e dunque realizzate prima e memorizzate nel dispositivo.

Le foto possono essere scaricate da remoto ma solo all?apertura dell?app. Quindi, quando l?utente seleziona un album le foto sono gi? presenti in memoria (o perch? lo erano gi? prima di aprire l?app, o perch? sono state scaricate all?avvio dell?app).

L?immagine deve essere quella relativa all?oggetto che si vuole animare per cui se l?utente vuole animare una foto cartacea dovr? preventivamente acquisire il video dell?oggetto in movimento e memorizzato in modo tale che all?avvio della app esso venga rimandato alla directory che consente di selezionare tale immagine estrapolata dal video.

Il sistema, dunque, procede con una fase di mappatura che prevede il suddetto riconoscimento dell?immagine, il tracciamento dell?immagine e la creazione dello strato trasparente che viene applicato sulla immagine che viene inquadrata.

Il tracciamento dell?immagine avviene tramite lo strato trasparente che viene applicato sull?immagine inquadrata dalla fotocamera.

FASE DI ANIMAZIONE:

Una volta sovrapposto lo strato virtuale trasparente, dunque il Lay_virt, si passa alla fase di animazione utilizzando il video associato al frame_0.

La sovrapposizione frame per frame del video genera l?animazione e questo ? evidenziato in figura 8, 9 e 11, 12 ove si vede la sovrapposizione al Lay_virt del layer di video generato.

Lay_virt ? un frame di tracciamento che viene creato una volta per ogni stampa, riconosciuta dall?algoritmo di riconoscimento delle immagini, durante la sessione di realt? aumentata e viene distrutto contestualmente alla fine della sessione della realt? aumentata. Il layer video (lay_vid) viene creato (cio? generato) dal video e sovrapposto ogni qualvolta l?immagine reale viene riconosciuta.

In un esempio:

Fotocamera inquadra foto_1;

App riconosce foto_1 e genera ed ancora lay_virt_1; App aggancia lay_vid_1 ed inizia a riprodurre il video;

Utente sposta il dispositivo;

Fotocamera inquadra foto_2;

App riconosce foto_2 e aggancia ed ancora lay_virt2; App rimuove lay_vid_1 dalla realt? aumentata;

App aggancia lay_vid_2 ed inizia a riprodurre il video.

Il Layer video viene rimosso ogni volta in quanto esso occupa spazio in RAM e averne vari pu? portare a crash dell?applicazione dovuti ad esaurimento della memoria.

Il video (cio? il contenuto di Lay_vid che viene sovrapposto allo strato virtuale), come mostrato in figura 9 ? formato di per se da una successione di frame, il cui scorrimento nel lay_vid genera l?animazione.

In tal senso, al passare degli istanti, i frame scorrono ed in successione ognuno di essi si sovrappone al layer virtuale creando l?effetto della animazione.

Quindi, durante la loro sovrapposizione in successione, come da figura 8 e 9, i frame del video generano l?animazione dell?immagine.

In particolare, i frame del video non si sovrappongono, ma si alternano. Quindi all?istante t=1 il frame_1 va sostituire il frame_0 all?instante t=0; all?istante t2, il frame_2 sostituisce il precedente (frame_1), ecc. Ognuno di tali frame ai vari istanti (t0, t1, t2, ecc.) si sovrappone al Layer trasparente in sequenza temporale, cio? il frame all?istante t0 viene sovrapposto al layer trasparente e poi rimosso e sostituito dal frame all?istante t1 e cosi via.

La sovrapposizione aumenta, dunque, ulteriormente quella che ? la realt? aumentata in quanto alla immagine inquadrata (IMM) si sovrappone adesso il Layer virtuale in corrispondenza della stampa inquadrata e, sopra di esso, in successione, si alternano i vari frame del video.

La figura 11 mostra infatti l?immagine inquadrata (IMM), su cui ? sovrapposto il Layer trasparente e, sopra di esso, la sequenza di frame che, come da figura 12, si alternano in successione sulla immagine (IMM) in instanti diversi, creando, quindi, l?animazione.

Sarebbe comunque possibile poter ancorare il video direttamente all?immagine reale senza passare dalla generazione del layer trasparente di riferimento.

Tuttavia, ci? non ? consigliabile in quanto aumenta la complessit? e sovraccarica il software riducendo le prestazioni: applicare il layer video direttamente all?immagine reale significherebbe che ad ogni nuova immagine si dovrebbe rimuovere il layer video dalla precedente immagine e quindi perdere il riferimento alla immagine precedentemente animata.

Il Layer virtuale mantiene invece tale riferimento pur essendo poco pesante, e quindi non andando a sovraccaricare la RAM del dispositivo.

Al contrario, ogni volta che si anima un?immagine nuova, si rimuove il layer video dalla immagine precedente, perch? il layer video occupa parecchio spazio in RAM e avere troppe istanze del layer video porta l?applicazione ad arresti anomali (crash).

APPLICAZIONE FILTRI:

Come da schema di figura 13, ? poi possibile selezionare alcuni filtri, ognuno dei quali ? sempre in forma di uno strato ulteriore (lay_flt) che si va a sovrapporre a quello dei frame video per aggiungere effetti e colorazioni ulteriori (se ci? si desidera).

Pi? in particolare si pu? selezionare un filtro.

Il numero di layer dei filtri ? al massimo pari a 1. Si pu? dunque applicare il filtro ?fumetto? che applica l?effetto fumetto ad ogni frame del video visualizzato sullo schermo del dispositivo mobile.

Se, successivamente, l?utente desidera modificare il filtro, e vuole ad esempio applicare il filtro ?caldo?, l?app allora elimina prima il filtro ?fumetto?, successivamente applicato, e poi aggiunge il filtro ?caldo?.

Quindi ? selezionabile ed applicabile di volta in volta un solo filtro.

In definitiva, dunque, l?elaborazione passa da un minimo di tre strati sovrapposti (immagine reale, layer trasparente e layer di frame derivati dal video) a quattro strati quando si aggiunge il quarto strato relativo ai filtri.

Con tale metodologia software, un dispositivo mobile dotato di fotocamera ? in grado di animare qualsiasi cosa/oggetto inquadrato dalla fotocamera in tempo reale e con l?animazione che, in tempo reale, viene elaborata e risulta dunque visibile all?utilizzatore che sta inquadrando tale cosa/oggetto.

Nella presente invenzione, il frame che si stampa ? generalmente il primo frame del video, dato che per ottenere l?effetto dell?animazione il primo frame del video e l?immagine devono coincidere. Per potere animare a partire da un frame (supponiamo quello all?istante i-esimo), bisognerebbe tagliare il video di modo che il frame all?istante i-esimo diventi il primo frame del video. Ci? ? softwaristicamente pi? complesso, ma ? comunque realizzabile.

Claims (10)

1. RIVENDICAZIONI 1. Un metodo per animare una immagine stampata ed inquadrata in tempo reale con un dispositivo mobile, il metodo comprendendo le seguenti fasi: - Predisposizione di un dispositivo mobile (10) dotato di un obiettivo ed uno schermo video (20) per mostrare in tempo reale le immagini (IMM) che vengono inquadrate attraverso il detto obiettivo; - Realizzazione di una registrazione video attraverso detto dispositivo mobile e memorizzazione del detto video sulla memoria del dispositivo mobile; - Generazione da detto file video di un frame (Frame_0); - Stampa di detto frame; - Inquadratura in tempo reale di detta stampa attraverso il detto obiettivo del detto dispositivo mobile e successiva elaborazione in modo tale da individuare la stampa (STAMPA_1) inquadrata all?interno della intera immagine reale (IMM) e creare uno strato virtuale trasparente (Lay_virt) che viene sovrapposto ed ancorato alla stampa inquadrata all?interno dell?intera immagine; - Individuazione del video associato al detto frame da cui deriva la detta stampa e creazione di uno strato video (Lay_vid) che si sovrappone al detto strato virtuale (Lay_virt) trasparente; - Il detto strato video (Lay_vid) attivando una sequenza di frame (frame_0, frame_1, frame_n) di cui ? composto e che in successione scorrono sovrapponendosi uno alla volta in successione al detto strato virtuale (Lay_virt) in modo tale da generare l?animazione della stampa (IMM_1) inquadrata.
2. 2. Il metodo, secondo la rivendicazione 1, in cui il detto frame generato ? il primo frame del video all?istante t=0.
3. 3. Il metodo, secondo la rivendicazione 1 o 2, in cui la detta fase di creazione dello strato virtuale trasparente (Lay_virt) comprende una fase di riconoscimento della stampa inquadrata all?interno della intera immagine, detto riconoscimento avvenendo attraverso una operazione di confronto tra un frame e la detta immagine reale (IMM) inquadrata.
4. 4. Il metodo, secondo la rivendicazione 3, in cui, a seguito di un riconoscimento positivo, ? prevista una fase di tracciatura che consente la determinazione delle dimensioni della stampa inquadrata all?interno della intera immagine e delle sue coordinate spaziali (X; Y; Z) in modo tale da creare il detto strato virtuale trasparente di dimensioni uguali alla immagine reale che viene ancorata al di sopra di essa.
5. 5. Il metodo, secondo una o pi? rivendicazioni precedenti, in cui il detto layer virtuale generato ha le stesse dimensioni di lunghezza e larghezza della stampa inquadrata.
6. 6. Il metodo, secondo una o pi? rivendicazioni precedenti, in cui detto strato video (Lay_vid) viene creato attraverso la associazione che esiste tra il detto video e il frame da cui deriva, a seguito di riconoscimento positivo.
7. 7. Il metodo, secondo una o pi? delle precedenti rivendicazioni, in cui il detto strato video (lay_vid) ? una elaborazione del video associato al frame_0 stampato.
8. 8. Il metodo, secondo una o pi? rivendicazioni precedenti, in cui ? ulteriormente previsto un ulteriore strato di filtro (Lay_fil) che viene generato e sovrapposto allo strato video (Lay_vid) in modo tale da generare un predeterminato effetto nella riproduzione della animazione, ad esempio una certa colorazione o l?applicazione di un fumetto.
9. 9. Un dispositivo mobile, preferibilmente un dispositivo di telefonia mobile intelligente o un tablet, avente un processore dati programmato per poter elaborare ed eseguire le fasi del metodo in accordo ad una o pi? delle precedenti rivendicazioni dalla 1 alla 8.
10. 10. Un programma software comprendente istruzioni le quali, quando il programma viene eseguito da un dispositivo mobile, determinano l?esecuzione delle fasi del metodo in accordo ad una o pi? delle rivendicazioni dalla 1 alla rivendicazione 8.