ITTO20091016A1 - Metodo per la generazione, trasmissione e ricezione di immagini stereoscopiche e relativi dispositivi - Google Patents

Description

“METODO PER LA GENERAZIONE, TRASMISSIONE E RICEZIONE DI IMMAGINI STEREOSCOPICHE E RELATIVI DISPOSITIVIâ€

DESCRIZIONE

CAMPO TECNICO

La presente invenzione si riferisce alla generazione, memorizzazione, trasmissione, ricezione e riproduzione di flussi video stereoscopici, ossia flussi video che, elaborati in modo opportuno in un dispositivo di visualizzazione, producono sequenze di immagini del tipo che vengono percepite come tridimensionali da un osservatore.

Come noto, la percezione della tridimensionalità può essere ottenuta riproducendo due immagini destinate rispettivamente all’occhio destro e all’occhio sinistro dell’osservatore.

Un flusso video stereoscopico trasporta quindi le informazioni di due sequenze di immagini corrispondenti alle prospettive destra e sinistra di un oggetto o una scena.

L’invenzione si riferisce in particolare ad un metodo ed un relativo dispositivo per multiplexare le due immagini relative alla prospettiva destra e sinistra (di seguito indicate come immagine destra e immagine sinistra) all’interno di un’immagine composita che costituisce un fotogramma del flusso video stereoscopico, e per questo nel seguito viene detta anche fotogramma contenitore.

L’invenzione si riferisce, inoltre, a un metodo ed un relativo dispositivo per demultiplexare tale immagine composita, ovvero per estrarre da questa le immagini destra e sinistra inserite dal dispositivo di multiplexing.

ARTE NOTA

Onde evitare il sovraccarico delle reti (terrestri o satellitari) di trasmissione e diffusione di segnali televisivi, Ã ̈ noto multiplexare le immagini destra e sinistra in un unica immagine composita di un flusso video stereoscopico.

Un primo esempio di multiplexing à ̈ costituito dal cosiddetto side-by-side, in cui l’immagine destra e l’immagine sinistra vengono sotto-campionate orizzontalmente e collocate una di fianco all’altra nello stesso fotogramma di un flusso video stereoscopico.

Questo tipo di multiplexing presenta l’inconveniente di dimezzare la risoluzione orizzontale lasciando invariata la risoluzione verticale.

Un altro esempio di multiplexing à ̈ costituito dal cosiddetto top-bottom, in cui l’immagine destra e l’immagine sinistra vengono sotto campionate verticalmente e collocate una sopra all’altra nello stesso fotogramma di un flusso video stereoscopico.

Questo tipo di multiplexing presenta l’inconveniente di dimezzare la risoluzione verticale lasciando invariata la risoluzione orizzontale.

Esistono poi metodi più sofisticati come ad esempio quello noto dalla domanda di brevetto WO03/088682. Questa domanda descrive l’uso di un campionamento a scacchiera per la decimazione del numero di pixel che compongono le immagini destra e sinistra. I pixel selezionati per i fotogrammi delle immagini destra e sinistra vengono compressi “geometricamente†nel formato side-by-side (le lacune create nella colonna 1 dall’asportazione dei pixel vengono riempite con i pixel della colonna 2, e così via). Al momento della decodifica per la presentazione sul display, i fotogrammi delle immagini destra e sinistra vengono riportati al loro formato originale e i pixel mancanti vengono ricostruiti applicando opportune tecniche d’interpolazione. Questo metodo permette di mantenere costante il rapporto tra risoluzione orizzontale e verticale, tuttavia riduce la risoluzione diagonale ed inoltre altera la correlazione tra i pixel dell’immagine introducendo componenti spettrali spaziali ad alta frequenza altrimenti assenti. Questo può causare una diminuzione di efficienza della successiva fase di compressione (ad esempio una compressione MPEG2 o MPEG4 o H.264), con un corrispondente aumento del bit-rate del flusso video compresso.

Ulteriori metodi di multiplexing delle immagini destra e sinistra sono noti dalla domanda di brevetto WO2008/153863. Uno di questi metodi prevede di effettuare uno scaling al 70% dell’immagine destra e sinistra; successivamente le immagini scalate vengono spezzettate in blocchi di 8x8 pixel.

I blocchi di ciascuna delle immagini scalate possono essere compattati in un’area pari a circa metà dell’immagine composita.

Questo metodo presenta l’inconveniente che la ridistribuzione dei blocchi modifica la correlazione spaziale tra i blocchi componenti l’immagine introducendo componenti spettrali spaziali ad alta frequenza e riduce quindi l’efficienza della compressione.

Inoltre, le operazioni di scaling e la segmentazione di ogni immagine in un elevato numero di blocchi comportano un elevato costo computazionale e conseguentemente una maggiore complessità dei dispositivi di multiplexing e demultiplexing. Un’altro di questi metodi prevede di applicare uno scaling diagonale ad ogni immagine destra e sinistra, cosicché l’immagine originale à ̈ deformata in un parallelogramma. Successivamente i due parallelogrammi vengono scomposti in regioni triangolari e si compone un’immagine composita rettangolare in cui vengono riorganizzate e disposte le regioni triangolari ottenute dalla scomposizione dei due parallelogrammi. Le regioni triangolari dell’immagine destra e di quella sinistra vengono organizzate in modo tale da essere separate da una diagonale dell’immagine composita.

Come le soluzioni top-bottom e side-by-side, questa soluzione presenta lo svantaggio di alterare il rapporto (balance) tra risoluzione orizzontale e verticale. Inoltre la suddivisione in un numero elevato di regioni triangolari ridisposte all’interno del fotogramma stereoscopico fa sì che la successiva compressione (ad es. MPEG2, MPEG4 o H.264), precedente alla trasmissione sul canale di comunicazione, generi degli artefatti nelle zone di confine tra le regioni triangolari. Tali artefatti possono, ad esempio, essere prodotti da una procedura di motion estimation prevista da una compressione secondo lo standard H.264.

Ulteriore svantaggio di questa soluzione à ̈ legato alla complessità computazionale richiesta dalle operazioni di scaling delle immagini destra e sinistra, e delle successive operazioni di segmentazione e rototraslazione delle regioni triangolari.

Scopo della presente invenzione à ̈ di presentare un metodo di multiplexing ed un metodo di demultiplexing (e relativi dispositivi) delle immagini destra e sinistra che permettano di superare gli inconvenienti dell’arte nota.

In particolare à ̈ scopo della presente invenzione quello di presentare un metodo di multiplexing ed un metodo di demultiplexing (e relativi dispositivi) delle immagini destra e sinistra che permettano di preservare l’equilibrio (balance) fra la risoluzione orizzontale e verticale.

E’ ulteriore scopo della presente invenzione quello di presentare un metodo di multiplexing (e relativo dispositivo) delle immagini destra e sinistra che permetta poi l’applicazione di un’elevata compressione minimizzando la generazione di distorsioni o di artefatti.

E’ ancora scopo della presente invenzione quello di presentare un metodo di multiplexing ed un metodo di demultiplexing (e relativi dispositivi) con ridotto costo computazionale.

Questi ed altri scopi della presente invenzione sono raggiunti mediante un metodo di multiplexing ed un metodo di demultiplexing (e relativi dispositivi) delle immagini destra e sinistra, incorporanti le caratteristiche delle rivendicazioni allegate, le quali formano parte integrante della presente descrizione.

BREVE DESCRIZIONE DELL’INVENZIONE

L’idea generale alla base della presente invenzione à ̈ quella di inserire due immagini all’interno di un’immagine composita il cui numero di pixel sia maggiore o uguale alla somma dei pixel delle due immagini da multiplexare, ad esempio l’immagine destra e quella sinistra.

I pixel della prima immagine (ad es. immagine sinistra) vengono inseriti all’interno dell’immagine composita senza alterazione, mentre la seconda immagine viene suddivisa in regioni i cui pixel vengono disposti in aree libere dell’immagine composita.

Questa soluzione offre il vantaggio che una delle due immagini viene lasciata inalterata, con conseguente miglioramento della qualità dell’immagine ricostruita.

Vantaggiosamente, poi, la seconda immagine viene scomposta nel numero minimo possibile di regioni, in modo tale da massimizzare la correlazione spaziale tra pixel e ridurre la generazione di artefatti in fase di compressione.

In una forma di realizzazione vantaggiosa, le regioni della seconda immagine vengono riportate all’interno dell’immagine composita utilizzando solamente delle operazioni di traslazione o rototraslazione, lasciando pertanto inalterato il rapporto tra risoluzione orizzontale e verticale.

In un’ulteriore forma di realizzazione, almeno una delle regioni in cui à ̈ scomposta la seconda immagine subisce un’inversione speculare, ossia viene ribaltata rispetto ad un asse (in particolare un lato) e viene disposta nell’immagine composita in modo tale che uno dei suoi lati confini con un lato dell’altra immagine che presenta sul lato di confine pixel identici o simili a causa della forte correlazione sussistente tra pixel omologhi delle due immagini destra e sinistra, ovvero di pixel delle due immagini posizionati nella stessa riga e colonna.

Questa soluzione offre il vantaggio di ridurre la generazione di artefatti nella zona di confine. In modo ulteriormente vantaggioso, le regioni in cui viene suddivisa la seconda immagine hanno forma rettangolare; rispetto a regioni di tipo triangolare, che vengono disposte con regioni di confine che attraversano l’immagine composita secondo direzioni diagonali, questa scelta permette la riduzione degli artefatti prodotti da una successiva compressione, particolarmente se si tratta di una compressione che agisce su blocchi quadrati di pixel (ad es. 16x16 nel caso dello standard H.264).

Secondo una forma di realizzazione particolarmente vantaggiosa, la formazione di artefatti viene ulteriormente ridotta, fino ad escluderla completamente, introducendo della ridondanza nell’immagine composita, ossia copiando più volte alcuni gruppi di pixel. In particolare, ciò viene ottenuto scomponendo l’immagine di base da inserire nell’immagine composita in regioni di dimensioni tali che il numero di pixel complessivo di queste regioni superi il numero di pixel dell’immagine da scomporre. In altre parole, l’immagine viene scomposta in regioni di cui almeno due comprendono una porzione di immagine in comune. La porzione d’immagine in comune à ̈ un’area di confine tra le regioni che sono adiacenti nell’immagine che viene scomposta. Questa porzione comune ha preferibilmente un’ampiezza che dipende dal tipo di compressione successivamente applicata all’immagine composita e permette di funzionare da area tampone che viene parzialmente o completamente rimossa in fase di ricomposizione dell’immagine scomposta. Poiché la compressione può introdurre degli artefatti nelle aree di confine delle suddette regioni, eliminando le aree tampone, o quantomeno la parte più esterna di queste, si eliminano gli artefatti e si riesce a ricostruire un’immagine fedele a quella originaria.

Ulteriori scopi e vantaggi della presente invenzione appariranno maggiormente chiari dalla descrizione che segue di alcuni esempi di realizzazione forniti a titolo esplicativo e non limitativo.

BREVE DESCRIZIONE DELLE FIGURE

Tali esempi di realizzazione vengono descritti con riferimento ai disegni allegati, in cui:

La figura 1 mostra uno schema a blocchi di un dispositivo per multiplexare l’immagine destra e l’immagine sinistra in un’immagine composita;

La figura 2 Ã ̈ un diagramma di flusso di un metodo eseguito dal dispositivo di figura 1;

La figura 3 mostra una prima forma di scomposizione di un’immagine da inserire in un’immagine composita.

La figura 4 mostra una prima fase di costruzione di un’immagine composita secondo una forma di realizzazione della presente invenzione.

La figura 5 mostra l’immagine composita di figura 4 completa. La figura 6 mostra una seconda forma di scomposizione di un’immagine da inserire in un’immagine composita.

La figura 7 mostra un’immagine composita in cui à ̈ inserita l’immagine di figura 6.

La figura 8 mostra una terza forma di scomposizione di un’immagine da inserire in un’immagine composita.

La figura 9 mostra un’immagine composita in cui à ̈ inserita l’immagine di figura 8.

La figura 10 mostra uno schema a blocchi di un ricevitore per ricevere un’immagine composita generata secondo il metodo della presente invenzione.

La figura 11 mostra alcune fasi di ricostruzione dell’immagine scomposta secondo il metodo di figura 8 ed inserita nell’immagine composita ricevuta dal ricevitore di figura 10.

La figura 12 à ̈ un diagramma di flusso di un metodo di ricostruzione delle immagini destra e sinistra multiplexate in un’immagine composita del tipo di figura 9.

La figura 13 mostra un’immagine composita secondo una quarta forma di realizzazione della presente invenzione.

Le figure da 14a a 14f mostrano un’immagine destra ed una sinistra in diverse fasi di elaborazione per l’inserimento nell’immagine composita di figura 13.

Dove appropriato, strutture, componenti, materiali e/o elementi simili mostrati in figure differenti sono indicati da identificativi simili.

DESCRIZIONE DETTAGLIATA DELL’INVENZIONE

In figura 1 viene mostrato lo schema a blocchi di un dispositivo 100 per generare un flusso video stereoscopico 101.

In figura 1, il dispositivo 100 riceve in ingresso due sequenze d’immagini 102 e 103, ad esempio due flussi video, destinate rispettivamente all’occhio sinistro (L) ed all’occhio destro (R).

Il dispositivo 100 permette di realizzare un metodo di multiplexing di due immagini delle due sequenze 102 e 103.

Al fine di eseguire il metodo di multiplexing delle immagini destra e sinistra, il dispositivo 100 comprende un modulo di scomposizione 104 per scomporre un’immagine ricevuta in ingresso (nell’esempio di figura 1 l’immagine destra) in una pluralità di sottoimmagini corrispondenti ognuna ad una regione dell’immagine ricevuta in ingresso, ed un modulo di assemblaggio 105 in grado di inserire i pixel d’immagini ricevute in ingresso in un’unica immagine composita che viene fornita in uscita.

Un esempio di un metodo di multiplexing eseguito dal dispositivo 100 viene ora descritto con riferimento alla figura 2.

Il metodo inizia al passo 200, successivamente (passo 201) una delle due immagini (destra o sinistra) in ingresso, viene scomposta in una pluralità di regioni come mostrato in figura 3. Nell’esempio di figura 3 l’immagine scomposta à ̈ un fotogramma R di un flusso video 720p, ossia formato progressivo con risoluzione 1280 x 720 pixel, 25/30 fps (fotogrammi per secondo).

Il fotogramma R di figura 3 proviene dal flusso video 103 che trasporta le immagini destinate all’occhio destro e viene scomposto in tre regioni R1, R2 ed R3.

La scomposizione dell’immagine R avviene dividendola in due porzioni di uguali dimensioni e successivamente dividendo una di queste due porzioni in due porzioni di uguali dimensioni. La regione R1 ha dimensione 640x720 ed à ̈ ottenuta prendendo tutti i primi 640 pixel di ogni riga. La regione R2 ha dimensione 640x360 ed à ̈ ottenuta prendendo i pixel da 641 a 720 delle prime 360 righe. La regione R3 ha dimensione 640x360 ed à ̈ ottenuta prendendo i rimanenti pixel dell’immagine R, ossia i pixel da 641 a 720 delle ultime 360 righe.

Nell’esempio di figura 1 l’operazione di scomposizione dell’immagine R viene eseguita dal modulo 104, che riceve in ingresso un’immagine R (in questo caso il fotogramma R) e fornisce in uscita tre sottoimmagini (ossia tre gruppi di pixel) corrispondenti alle tre regioni R1, R2 ed R3.

Successivamente (passi 202 e 203) viene costruita l’immagine composita C comprendente le informazioni delle due immagini destra e sinistra ricevute in ingresso; nell’esempio qui di seguito descritto tale immagine composita C costituisce un fotogramma del flusso video stereoscopico in uscita, e pertanto viene anche detta fotogramma contenitore.

Innanzi tutto (passo 202) l’immagine ricevuta in ingresso dal dispositivo 100 e non scomposta dal dispositivo 105 (nell’esempio di figura 1 l’immagine sinistra L) viene inserita senza alterazioni all’interno di un fotogramma contenitore di dimensioni tale da comprendere tutti i pixel delle due immagini ricevute in ingresso. Ad esempio, se le immagini ricevute in ingresso hanno dimensione 1280x720 pixel, allora un fotogramma contenitore adatto a contenerle entrambe à ̈ un fotogramma con 1920x1080 pixel, ad esempio un fotogramma di un flusso video di tipo 1080p (formato progressivo 1920 x 1080 pixel, 25/30 fotogrammi al secondo). Nell’esempio di figura 4, l’immagine sinistra L viene inserita nel fotogramma contenitore C posizionandola in alto a sinistra. Ciò à ̈ ottenuto copiando i 1280x720 pixel dell’immagine L in un’area C1 costituita dai primi 1280 pixel delle prime 720 righe del fotogramma contenitore C.

Nel prosieguo della presente descrizione, quando si fa riferimento all’inserimento di un’immagine all’interno di un fotogramma, o al trasferimento o copiatura di pixel da un fotogramma ad un altro, s’intende fare riferimento ad una procedura per cui si genera (con mezzi hardware e/o software) un nuovo fotogramma comprendente dei pixel uguali a quelli dell’immagine sorgente.

Ai fini della presente descrizione le tecniche (software e/o hardware) per riprodurre in un’immagine destinazione un’immagine sorgente (o un gruppo di pixel di un’immagine sorgente) sono ritenute irrilevanti e non vengono qui approfondite in quanto di per sé note ad un tecnico del settore.

Successivamente, passo 203, l’immagine scomposta al passo 201 dal modulo 104 viene inserita nel fotogramma contenitore. Ciò viene ottenuto dal modulo 105 copiando i pixel dell’immagine scomposta all’interno del fotogramma contenitore C nelle aree non occupate dall’immagine L, ossia esterne all’area C1.

Al fine di garantire la miglior compressione possibile e ridurre la generazione di artefatti in fase di decompressione del flusso video, i pixel delle sottoimagini in uscita dal modulo 104 vengono copiati mantenendo le rispettive relazioni spaziali. In altre parole le regioni R1, R2 ed R3 vengono copiate in rispettive aree del fotogramma C senza alcuna deformazione, prevedendo esclusivamente operazioni di traslazione e/o rotazione.

Un esempio del fotogramma contenitore C in uscita dal modulo 105 Ã ̈ mostrato in figura 5.

La regione R1 viene copiata negli ultimi 640 pixel delle prime 720 righe (area C2), affiancata cioà ̈ all’immagine L precedentemente copiata.

Le regioni R2 ed R3 vengono copiate al di sotto dell’area C1, rispettivamente nelle aree C3 e C4 comprendenti rispettivamente i primi 640 pixel ed i successivi 640 pixel delle ultime 360 righe.

In preferita alternativa a quanto mostrato in figura 5, le regioni R2 ed R3 possono essere copiate nel fotogramma contenitore C in aree disgiunte (ossia non sovrapposte e non confinanti) separate da un gruppo di pixel, in modo tale da ridurre le regioni di confine.

Le operazioni d’inserimento delle immagini L ed R nel fotogramma contenitore non comportano alcuna alterazione del bilanciamento tra risoluzione orizzontale e verticale.

In una forma di realizzazione, ai pixel rimanenti del fotogramma C vengono assegnati valori RGB uguali; ad esempio tali pixel rimanenti possono essere tutti neri.

In un’ulteriore forma di realizzazione, lo spazio rimasto libero nell’immagine composita può essere utilizzato per inserire una qualsiasi forma di segnalazione necessaria alla ricostruzione delle immagini destra e sinistra a livello di demultiplexer, ad esempio relativa al modo con cui à ̈ stata formata l’immagine composita.

In questa forma di realizzazione, una regione del fotogramma contenitore non occupata dalle immagini destra o sinistra o da loro parti viene destinata a ricevere la segnalazione. I pixel di questa regione di segnalazione vengono, ad esempio, colorati con due colori (ad esempio bianco e nero) in modo tale da realizzare un codice a barre di qualsiasi tipo, per esempio lineare o bidimensionale che trasporta l’informazione relativa alla segnalazione.

Completato il trasferimento delle due immagini ricevute in ingresso (ed eventualmente della segnalazione) nel fotogramma contenitore, il metodo realizzato dal dispositivo 100 termina ed il fotogramma contenitore può essere compresso e trasmesso su un canale di comunicazione e/o registrato su un opportuno supporto (ad es. CD, DVD, Blu-ray, memorie di massa, ecc…). Dato che le operazioni di multiplexing sopra esposte non alterano le relazioni spaziali tra i pixel di una medesima regione o immagine, à ̈ possibile comprimere notevolmente il flusso video in uscita dal dispositivo 100 mantenendo alta la possibilità di ricostruire l’immagine in modo molto fedele rispetto a quella trasmessa senza creare artefatti significativi.

Prima di passare alla descrizione di ulteriori forme di realizzazione, si sottolinea che la divisione del fotogramma R in tre regioni R1, R2 ed R3, corrisponde alla divisione del fotogramma nel numero minimo possibile di regioni tenuto conto dello spazio disponibile nell’immagine composita e dello spazio occupato dall’immagine sinistra inserita senza alterazioni nel fotogramma contenitore.

Tale numero minimo à ̈, in altre parole, il numero minimo di regioni necessario per occupare lo spazio lasciato libero dall’immagine sinistra nel fotogramma contenitore C.

In generale, quindi, in funzione del formato delle immagini sorgenti (immagini destra e sinistra) e dell’immagine composita (fotogramma contenitore C) di destinazione, s’individua il numero minimo di regioni in cui dividere l’immagine da scomporre.

Preferibilmente, la scomposizione dell’immagine da inserire nel fotogramma contenitore viene effettuata tenendo conto della necessità di scomporre l’immagine (ad esempio R nell’esempio sopra descritto) nel numero minimo di regioni rettangolari.

In un’ulteriore forma di realizzazione, l’immagine destra R viene scomposta come mostrato in figura 6.

La regione R1’ corrisponde alla regione R1 di figura 3 e comprende quindi i primi 640 pixel di tutte le 720 righe dell’immagine.

La regione R2’ comprende le 320 colonne di pixel adiacenti alla regione R1’, mentre la regione R3’ comprende le ultime 320 colonne di pixel.

In questo modo il fotogramma contenitore C può essere costruito come mostrato in figura 7, con le regioni R2’ ed R3’ ruotate di 90° per essere disposte nelle aree C3’ e C4’ al di sotto dell’immagine L e della regione R1’.

Le regioni R2’ ed R3’ così ruotate occupano 720 pixel di 320 righe, pertanto le aree C3’ e C4’ sono separate dalle aree C1 e C2 che contengono i pixel copiati dall’immagine L e dalla regione R1’.

Preferibilmente le aree C3’ e C4’ sono separate dalle altre aree C1 e C2 mediante almeno una riga di salvaguardia. In particolare risulta vantaggioso e preferito il copiare i pixel delle regioni R2’ ed R3’ nelle ultime righe del fotogramma contenitore C.

Essendo in questo caso il fotogramma contenitore composto da 1080 righe, nell’esempio di realizzazione di figura 7 le regioni ruotate R2’ e R3’ sono separate dall’immagine L e dalla regione R1’ soprastanti da una fascia di salvaguardia alta 40 pixel.

Nell’esempio di figura 7 le regioni R2’ ed R3’ sono tra loro separate, cosicché risultano contornate da pixel di un colore predefinito (ad esempio bianco o nero) non provenienti dalle immagini destra e sinistra. In questo modo si riducono le zone di confine tra regioni contenenti pixel provenienti dalle immagini destra e sinistra e si riducono gli artefatti dovuti alla compressione dell’immagine, massimizzando nel contempo il fattore di compressione.

In alternativa al posizionare R2’ ed R3’ nelle ultime righe del fotogramma contenitore C (come illustrato con riferimento alla figura 7), in una forma di realizzazione preferita R2’ ed R3’ vengono posizionate in modo tale da lasciare una fascia di salvaguardia alta 32 righe di pixel tra il bordo inferiore di L e quello superiore di R2’ ed R3’. In questo modo si ricava una seconda fascia di salvaguardia alta 8 righe di pixel tra il bordo inferiore di R2’ ed R3’ ed il bordo inferiore di C. Sfruttando ulteriormente la larghezza del fotogramma contenitore, à ̈ possibile posizionare R2’ ed R3’ in modo tale che esse risultano completamente contornate da pixel non provenienti né dall’immagine destra né dall’immagine sinistra.

In un’ulteriore forma di realizzazione, qui descritta con riferimento alle figure 8 e 9, il modulo 104 estrae tre sottoimmagini R1†, R2†ed R3†la cui somma complessiva dei pixel à ̈ superiore a quella dell’immagine scomposta.

La regione R1†corrisponde alla regione R1’ di figura 6, mentre R2†ed R3†includono l’area delle regioni R2’ ed R3’ oltre un’area aggiuntiva (Ra2 e Ra3) che permette di minimizzare la creazione di artefatti in fase di compressione dell’immagine.

Il segmento R1†à ̈ quindi una regione di dimensione 640 x 720 pixel che occupa le prime colonne del fotogramma R da scomporre.

Il segmento R3†occupa le ultime colonne del fotogramma R da scomporre e confina con la regione centrale R2†. R3†comprende sul lato sinistro (quello di confine con R2†) una fascia tampone Ra3 contenente pixel in comune alla regione R2†. In altre parole, le ultime colonne di R2†e le prime di R3†(costituenti la fascia tampone Ra3) coincidono.

Preferibilmente la dimensione della fascia tampone Ra3 viene scelta in funzione del tipo di compressione che verrà successivamente applicato al fotogramma contenitore C ed in generale al flusso video che lo contiene. In particolare, tale fascia ha dimensione doppia rispetto all’unità elaborativa elementare utilizzata nel processo di compressione. Ad esempio, lo standard H.264 prevede la scomposizione dell’immagine in macroblocchi di 16x16 pixel, ognuno dei quali costituisce l’unità elaborativa elementare di questo standard. In questa ipotesi, la fascia Ra3 ha una larghezza di 32 pixel. Il segmento R3†ha quindi dimensione 352 (320+32)x720 pixel e comprende i pixel delle ultime 352 colonne dell’immagine R.

Il segmento R2†occupa invece la parte centrale dell’immagine R da scomporre ed include, sul lato di sinistra, una fascia tampone Ra2 di dimensioni uguali a quelle della fascia Ra3. Nell’esempio di compressione H.264 la fascia Ra2 à ̈ quindi larga 32 pixel e comprende pixel in comune con la regione R1†. Il segmento R2†ha quindi dimensione 352x720 e comprende i pixel delle colonne da 608 (640 di R1†-32) a 978 del fotogramma R.

Le tre sottoimmagini relative alle regioni R1†, R2†ed R3†in uscita dal modulo 104 (visibili in figura 8) vengono quindi inserite nel fotogramma contenitore C come mostrato in figura 9. Le regioni R2†ed R3†vengono ruotate di 90° ed i pixel copiati nelle ultime righe del fotogramma C (aree indicate dai riferimenti C3†e C4†) prevedendo un certo numero di pixel di salvaguardia che separano le aree C3†e C4†dalle aree C1 e C2 che comprendono i pixel delle immagini L ed R1†. Nel caso di figura 9 questa fascia di salvaguardia à ̈ larga 8 pixel.

Il fotogramma C così ottenuto viene successivamente compresso e trasmesso o salvato su un supporto (ad esempio un DVD). A questo fine vengono previsti mezzi di compressione atti a comprimere un’immagine o un segnale video e mezzi per registrare e/o trasmettere l’immagine o il segnale video così compresso.

In figura 10 viene mostrato lo schema a blocchi di un ricevitore 1100 che decomprime il fotogramma contenitore, eventualmente compresso, ricevuto e ricostruisce le due immagini destra e sinistra rendendole disponibili ad un dispositivo di visualizzazione (ad esempio un televisore) che permette la fruizione di contenuti 3D. Il ricevitore 1100 può essere un set-top-box o un ricevitore integrato in un televisore.

Considerazioni analoghe a quelle che vengono ora qui fatte per il ricevitore 1100 si applicano ad un lettore (ad es. un lettore DVD) che legge un fotogramma contenitore, eventualmente compresso, e lo elabora al fine di ottenere una coppia di fotogrammi corrispondenti alle immagini destra e sinistra inserite nel fotogramma contenitore, eventualmente compresso letto dal lettore.

Tornando ora alla figura 10, il ricevitore riceve (via cavo o antenna) un flusso video stereoscopico compresso 1101, e lo decomprime mediante un modulo di decompressione 1102, ottenendo così un flusso video comprendente una sequenza di fotogrammi C’ corrispondenti ai fotogrammi C. Nel caso di canale ideale o in caso di lettura di fotogrammi contenitori da una memoria di massa o da un supporto di dati (Blu-ray, CD, DVD), a parte eventuali artefatti introdotti dalla compressione, i fotogrammi C’ corrispondono ai fotogrammi contenitore C che trasportano le informazioni relative alle due immagini destra e sinistra.

Questi fotogrammi C’ vengono forniti ad un modulo di ricostruzione 1103 che esegue un metodo di ricostruzione delle immagini qui di seguito descritto con riferimento alle figure 11 e 12.

Chiaramente se il flusso video non fosse compresso, il modulo di decompressione 1102 può essere omesso ed il segnale video essere fornito direttamente al modulo di ricostruzione 1103.

Il processo di ricostruzione inizia al passo 1300 quando viene ricevuto il fotogramma contenitore C’ decompresso. Il modulo di ricostruzione 1103 estrae (passo 1301) l’immagine sinistra L copiando i primi 720x 1080 pixel del fotogramma decompresso all’interno di un nuovo fotogramma di dimensioni inferiori rispetto al fotogramma contenitore, ad esempio un fotogramma di un flusso 720p. L’immagine L così ricostruita viene fornita in uscita al ricevitore 1100 (passo 1302).

Successivamente si passa all’estrazione dell’immagine destra R presente all’interno del fotogramma contenitore C’.

La fase di estrazione dell’immagine destra inizia copiando (passo 1303) una porzione dell’area R1†presente nel fotogramma C’. In dettaglio, si prendono i pixel delle prime 624(640-16) colonne di R1†e li si copia nelle corrispondenti prime 624 colonne del nuovo fotogramma che rappresenta l’immagine Rout ricostruita, come mostrato in figura 11. Con questa operazione, si vanno, di fatto, a rimuovere dalla fase di ricostruzione le 16 colonne di R1†più soggette alla creazione di artefatti, ad esempio per effetto della procedura di motion estimation prevista dallo standard di compressione H.264.

Successivamente si estrae una porzione centrale di R2†(passo 1304). Dal fotogramma C’ decompresso (che come abbiamo detto corrisponde al fotogramma C di figura 9) si selezionano i pixel dell’area C3†(corrispondenti alla regione sorgente R2†) e si esegue una rotazione di 90° inversa a quella effettuata nel multiplexer 100, che li riporta nella condizione di righe e colonne originaria, ossia quella di figura 8. A questo punto si eliminano le prime e le ultime sedici (16) colonne di R2†e si copiano le rimanenti 352-32=320 colonne di pixel nelle colonne libere adiacenti a quelle appena copiate da R1†.

Tagliando le 16 colonne più esterne della regione R2†si eliminano quelle colonne dove à ̈ maggiormente probabile la formazione di artefatti. La larghezza dell’area tagliata (in questo caso 16 colonne) dipende dal tipo di compressione utilizzata. Tale area à ̈ preferibilmente pari all’unità elementare di elaborazione utilizzata dal processo di compressione; nel caso qui descritto lo standard H.264 lavora su blocchi di dimensione 16x16 e quindi si tagliano 16 colonne.

Per quanto riguarda R3†(passo 1305), si estraggono dal fotogramma C’ i pixel della regione C4†e si riporta la sottoimmagine R3†nel formato righe colonne originario (vedi figura 8). Successivamente si eliminano le prime 16 colonne di pixel (corrispondenti a metà dell’area Ra3) e si copiano le rimanenti 352-16=336 colonne di pixel nelle ultime colonne libere a sinistra del fotogramma ricostruito. Come per R2†, anche per R3†l’ area tagliata à ̈ pari all’unità elementare di elaborazione utilizzata dal processo di compressione.

Chiaramente, sia per la regione R2†che per quella R3†l’operazione di rotazione può essere eseguita in modo virtuale , vale a dire che il medesimo risultato di estrazione dei pixel d’interesse può essere ottenuto riportando nel fotogramma ricostruito i pixel di una riga dell’area C3†(se R2†, C4†se R3†) all’interno di una colonna del nuovo fotogramma Rout, ad esclusione delle ultime 16 righe dell’area C3†(se R2†, C4†se R3†) che corrispondono alle sedici colonne da tagliare mostrate in figura 8.

A questo punto l’immagine destra Rout à ̈ stata completamente ricostruita e può essere fornita in uscita (passo 1306).

Il processo di ricostruzione delle immagini destra e sinistra presenti nel fotogramma contenitore C’ termina (passo 1307). Tale processo viene ripetuto per ogni fotogramma del flusso video ricevuto dal ricevitore 1100, cosicché in uscita si hanno due flussi video 1104 e 1105 rispettivamente per le due immagini destra e sinistra.

Il processo di ricostruzione delle immagini destra e sinistra sopra descritto con riferimento alle figure 10, 11 e 12, parte dal presupposto che il demultiplexer 1100 conosca il modo in cui viene costruito il fotogramma contenitore C e possa procedere ad estrarre le immagini destra e sinistra. Chiaramente ciò à ̈ possibile se il metodo di multiplexing à ̈ standardizzato.

Per tenere conto del fatto che il fotogramma contenitore può essere generato in uno qualsiasi dei metodi sopra descritti, o comunque secondo uno qualsiasi dei metodi che utilizzano l’idea di soluzione oggetto delle rivendicazioni allegate, il demultiplexer utilizza l’informazione di segnalazione presente in una regione predefinita dell’immagine composita (ad es. un codice a barre come sopra descritto) per comprendere come spacchettare il contenuto dell’immagine composita e ricostruire le immagini destra e sinistra.

Decodificata la segnalazione, il demultiplexer conosce la posizione dell’immagine lasciata inalterata (ad esempio l’immagine sinistra negli esempi sopra descritti), la posizione e l’eventuale trasformazione (rotazione, traslazione o altro) delle regioni in cui à ̈ stata scomposta l’altra immagine (ad esempio l’immagine destra negli esempi sopra descritti).

Con queste informazioni, il demultiplexer può quindi estrarre l’immagine inalterata (ad es. quella sinistra) e ricostruire quella scomposta (ad es. l’immagine destra).

Nonostante la presente invenzione si stata illustrata con riferimento ad alcuni esempi di realizzazione preferiti e vantaggiosi, à ̈ chiaro che essa non à ̈ limitata a tali esempi di realizzazione e molte varianti possono essere apportate dal tecnico del settore che volesse combinare in un’immagine composita due immagini relative a due diverse prospettive (destra e sinistra) di un oggetto o una scena.

Ad esempio i moduli elettronici che realizzano i dispositivi sopra descritti, in particolare il dispositivo 100 ed il ricevitore 1100, possono essere in vario modo scomposti e distribuiti; inoltre essi possono essere realizzati come moduli hardware o essere degli algoritmi software implementati da un processore, in particolare un processore video provvisto di opportune aree di memoria per la memorizzazione temporanea dei fotogrammi ricevuti in ingresso. Questi moduli possono quindi eseguire in parallelo o in serie una o più delle elaborazioni video previste dai metodi di multiplexing e demultiplexing delle immagini secondo la presente invenzione.

E’ poi chiaro che nonostante gli esempi di realizzazione preferiti si riferiscano al multiplexing di due flussi video 720p in un flusso video 1080p, à ̈ chiaro che altri formati possono essere utilizzati.

L’invenzione non à ̈ poi limitata al particolare modo di composizione dell’immagine composita, anche se differenti soluzioni di generazione dell’immagine composita possono presentare diversi vantaggi.

Ad esempio, le forme di realizzazione sopra descritte con riferimento alle figure da 1 a 12 presentano il vantaggio di prevedere solamente operazioni di traslazione o di rototraslazione e richiedono quindi una ridotta capacità computazionale.

Alternativamente à ̈ possibile prevedere, in aggiunta a queste operazioni di rotazione e/o traslazione, delle operazioni di inversione speculare delle immagini per ottenere un’immagine composita del tipo mostrato in figura 13.

Queste operazioni aggiuntive vengono eseguite per massimizzare i perimetri di confine tra regioni che contengono pixel omologhi, sfruttandone la forte correlazione sussistente per minimizzare gli artefatti introdotti dalla successiva compressione. Nell’esempio di figure 13 e 14, per chiarezza di esposizione si à ̈ supposto che le due immagini destra e sinistra siano identiche anche se in generale esse differiscono, sia pure leggermente.

In questa figura, l’immagine sinistra L (mostrata in figura 14a) viene posizionata in alto a destra del fotogramma contenitore C, così da occupare gli ultimi 1280 pixel delle prime 720 righe. Così come per gli esempi prima descritti, l’immagine L viene quindi copiata senza alterazioni nel fotogramma contenitore C.

L’immagine destra R viene invece scomposta secondo l’esempio di figura 3; in figura 14b viene mostrata l’immagine R scomposta nelle tre regioni R1, R2 ed R3.

Successivamente, alcune regioni (nell’esempio di figura 14 le regioni R1 ed R3) subiscono un’operazione di inversione speculare; l’inversione può essere fatta rispetto ad un asse verticale (ossia parallelo ad una colonna dell’immagine) o rispetto ad un asse orizzontale (ossia parallelo ad una riga dell’immagine).

In caso di inversione rispetto ad un asse verticale, i pixel della colonna N (con N intero compreso tra 1 e 1080, dove 1080 à ̈ il numero di colonne dell’immagine) vengono riportati nella colonna 1080+1-N.

In caso di inversione rispetto ad un asse orizzontale, i pixel della riga M (con M intero compreso tra 1 e 720, dove 720 à ̈ il numero di righe dell’immagine) vengono riportati nella riga 720+1-N.

Le figure 14c e 14d mostrano la regione R1 estratta dall’immagine R ed invertita (R1rot) rispetto ad un asse verticale ed in particolare rispetto ad un lato verticale. La regione invertita R1inv viene inserita nei primi 640 pixel delle prime 640 righe di pixel.

Come si può notare dall’esempio di figura 13, la rotazione fa si che una volta che R1inv viene inserita nel fotogramma contenitore C, i pixel di R1inv che confinano con L sono molto simili ai pixel di L che confinano con R1inv. La correlazione spaziale tra questi pixel ha il vantaggio di ridurre la formazione di artefatti.

Le figure 14e e 14f mostrano la regione R3 estratta dall’immagine R di figura 14b e successivamente invertita (R3inv) rispetto ad un asse orizzontale, in particolare rispetto ad un lato orizzontale.

La regione R3inv viene inserita negli ultimi 640 pixel delle ultime 360 righe. In questo modo si riduce la generazione di artefatti dato che i pixel delle regioni di confine tra R3inv ed L sono pixel ad elevata correlazione spaziale. I pixel di questa regione di confine riproducono, infatti, porzioni d’immagine simili o identiche.

Il fotogramma contenitore C viene poi completato inserendo la regione R2.

In questo esempio R2 non viene invertita e/o ruotata perché anche invertendo e/o ruotando R2 non vi à ̈ modo di far combaciare una regione di confine di R2 con una regione di confine composta di pixel omologhi di un’altra regione di R o di L.

Infine, à ̈ poi chiaro che l’invenzione si riferisce a qualsiasi metodo di demultiplexing che permetta di estrarre un’immagine destra ed un’immagine sinistra a partire da un’immagine composita invertendo uno dei processi di multiplexing sopra descritti e rientranti nell’ambito di protezione della presente invenzione.

L’invenzione si riferisce quindi ad un metodo per generare una coppia d’immagini a partire da un’immagine composita, comprendente i passi di:

- generare una prima (ad esempio l’immagine sinistra) di dette immagine destra e sinistra copiando un unico gruppo di pixel contigui da una regione di detta immagine composita, - generare una seconda immagine (ad esempio l’immagine destra) copiando altri gruppi di pixel contigui da regioni diverse di detta immagine composita.

Secondo una forma di realizzazione, si estrae l’informazione per generare detta seconda immagine da un’area di detta immagine composita. Detta informazione à ̈ preferibilmente codificata secondo un codice a barre.

In una forma di realizzazione del metodo di generazione delle immagini destra e sinistra, la generazione dell’immagine che risulta scomposta all’interno dell’immagine composita, comprende almeno una fase di inversione speculare di gruppo di pixel di una di dette regioni diverse.

In una forma di realizzazione del metodo di generazione delle immagini destra e sinistra, la generazione dell’immagine che risulta scomposta all’interno dell’immagine composita, comprende almeno una fase di rimozione di pixel da una delle regioni dell’immagine composita che comprendono i pixel di questa immagine da ricostruire. In particolare, i pixel sono rimossi da un’area di confine di questa regione.

In una forma di realizzazione, l’immagine che à ̈ scomposta in regioni diverse dell’immagine composita viene ricostruita eseguendo solamente operazioni di traslazione e/o rotazione delle regioni di pixel che comprendono i pixel dell’immagine da decomporre.

* *

Claims (25)

1. RIVENDICAZIONI 1. Metodo per generare un flusso video stereoscopico (101) comprendente immagini composite (C), dette immagini composite (C) comprendendo informazioni relative ad un’immagine destra (R) e ad un’immagine sinistra (L), in cui si selezionano pixel di detta immagine destra (R) e pixel di detta immagine sinistra (L), e si inseriscono detti pixel selezionati all’interno di un’immagine composita (C) di detto flusso video stereoscopico, il metodo essendo caratterizzato dal fatto di inserire tutti i pixel di detta immagine destra (R) e tutti i pixel di detta immagine sinistra (L) in detta immagine composita (C) lasciando inalterata una tra dette due immagini e scomponendo l’altra in regioni (R1, R2, R3) comprendenti una pluralità di pixel e inserendo dette regioni in detta immagine composita (C).
2. 2. Metodo secondo la rivendicazione 1, in cui detta altra immagine viene scomposta nel numero minimo possibile di regioni tenuto conto dello spazio disponibile nell’immagine composita (C) e dello spazio occupato da detta una immagine (L) lasciata inalterata.
3. 3. Metodo secondo la rivendicazione 2, in cui detto numero minimo à ̈ il numero minimo necessario per occupare lo spazio lasciato libero da detta immagine non alterata.
4. 4. Metodo secondo una qualsiasi delle rivendicazioni precedenti, in cui dette regioni sono ottenute mediante i passi di: dividere detta altra immagine (R) in due porzioni di uguali dimensioni, dividere una di dette due porzioni in due porzioni di uguali dimensioni.
5. 5. Metodo secondo una qualsiasi delle rivendicazioni precedenti, in cui dette regioni (R1, R2, R3) sono inserite in detta immagine composita mediante sole operazioni di traslazione.
6. 6. Metodo secondo una qualsiasi delle rivendicazioni da 1 a 4, in cui dette regioni (R1, R2, R3) sono inserite in detta immagine composita (C) mediante operazioni di traslazione e/o rotazione.
7. 7. Metodo secondo una qualsiasi delle rivendicazioni precedenti, in cui almeno una porzione dello spazio rimasto libero nell’immagine composita à ̈ utilizzato per inserire una segnalazione necessaria alla ricostruzione delle immagini destra e sinistra a livello di demultiplexer.
8. 8. Metodo secondo una qualsiasi delle rivendicazioni precedenti, in cui prima di inserire una di dette regioni in detta immagine composita si effettua un’operazione di inversione speculare lungo uno dei lati di detta una regione.
9. 9. Metodo secondo la rivendicazione 8, in cui detta una regione viene inserita in detta immagine composita con un lato confinante con un lato di un’altra immagine o regione, in modo tale da affiancare pixel relativi ad una medesima area spaziale.
10. 10. Metodo secondo una qualsiasi delle rivendicazioni precedenti, in cui dette regioni hanno forma rettangolare.
11. 11. Metodo secondo una qualsiasi delle rivendicazioni precedenti, in cui dette regioni comprendono gruppi contigui di colonne di pixel di detta immagine.
12. 12. Metodo secondo una qualsiasi delle rivendicazioni precedenti, in cui almeno due di dette regioni hanno almeno un gruppo di pixel in comune, detto gruppo di pixel essendo disposto in un’area di confine tra dette almeno due di dette regioni.
13. 13. Metodo secondo una qualsiasi delle rivendicazioni precedenti, in cui almeno una di dette regioni che viene disposta in detta immagine composita à ̈ disgiunta da altre regioni dell’immagine composita che comprendono pixel copiati da detta immagine destra o da detta immagine sinistra.
14. 14. Metodo secondo una qualsiasi delle rivendicazioni precedenti, in cui si ricevono una sequenza di immagini destre ed una sequenza di immagini sinistre, si genera una sequenza di immagini composite a partire da dette sequenze di immagini destra e sinistra, si comprime detta sequenza di immagini composite.
15. 15. Metodo per ricostruire una coppia di immagini a partire da un’immagine composita, comprendente i passi di: - generare una prima di dette immagini destra (R) e sinistra (L) copiando un unico gruppo di pixel contigui da una regione di detta immagine composita, - generare una seconda immagine di dette immagini destra (R) e sinistra (L) copiando altri gruppi di pixel contigui da regioni diverse (R1, R2, R3) di detta immagine composita.
16. 16. Metodo secondo la rivendicazione 15, in cui si estrae l’informazione per generare detta coppia di immagini da un’area di detta immagine composita.
17. 17. Metodo secondo la rivendicazione 20, in cui detta informazione à ̈ codificata secondo un codice a barre
18. 18. Metodo secondo una delle rivendicazioni 15 o 17, in cui la generazione di detta seconda immagine comprende almeno una fase di inversione speculare di un gruppo di pixel di almeno una di dette regioni diverse.
19. 19. Metodo secondo una delle rivendicazioni da 15 a 18, in cui la generazione di detta seconda immagine comprende almeno una fase di rimozione di pixel da almeno una di dette regioni.
20. 20. Metodo secondo la rivendicazione 19, in cui i pixel sono rimossi da un’area di confine di detta almeno una regione.
21. 21. Metodo secondo una delle rivendicazioni da 15 a 20, in cui la generazione di detta seconda immagine prevede solamente operazioni di traslazione di dette regioni di pixel.
22. 22. Metodo secondo una delle rivendicazioni da 15 a 21, in cui la generazione di detta seconda immagine prevede operazioni di rotazione e/o traslazione di dette regioni di pixel.
23. 23. Dispositivo (100) per generare immagini composite (C), comprendente mezzi (104) per ricevere un’immagine destra ed un’immagine sinistra e mezzi (105) per generare un’immagine composita (C) comprendente informazioni relative a detta immagine destra e detta immagine sinistra, caratterizzato dal fatto di comprendere mezzi atti ad implementare il metodo secondo una qualsiasi delle rivendicazioni da 1 a 14.
24. 24. Dispositivo (1100) per ricostruire una coppia di immagini a partire da un’immagine composita, caratterizzato dal fatto di implementare il metodo secondo una qualsiasi delle rivendicazioni da 15 a 22.
25. 25. Flusso video stereoscopico (1101) caratterizzato dal fatto di comprendere almeno un’immagine composita (C) generata mediante il metodo secondo una qualsiasi delle rivendicazioni da 1 a 14. ***********