ITTO20130503A1 - Metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondita¿ sfruttando le componenti di colore di un¿immagine facente parte di un flusso video tridimensionale - Google Patents

Description

Descrizione dell'Invenzione Industriale dal titolo:

“METODO E DISPOSITIVO PER LA GENERAZIONE, MEMORIZZAZIONE, TRASMISSIONE, RICEZIONE E RIPRODUZIONE DI MAPPE DI PROFONDITÀ SFRUTTANDO LE COMPONENTI DI COLORE DI UN’IMMAGINE FACENTE PARTE DI UN FLUSSO VIDEO TRIDIMENSIONALEâ€

DESCRIZIONE

Campo di applicazione dell’invenzione

La presente invenzione si riferisce ad un metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondità sfruttando le componenti di colore di un’immagine facente parte di un flusso video tridimensionale.

Stato della tecnica

Lo sviluppo delle applicazioni video di tipo stereoscopico dipende in larga parte dalla disponibilità di formati efficienti per la rappresentazione e compressione del segnale video tri-dimensionale. Inoltre nell’ambito delle applicazioni di tipo broadcasting televisivo (3D-TV) à ̈ necessario mantenere il più alto grado di retro-compatibilità con i sistemi 2D esistenti. Per la distribuzione (o trasmissione) le soluzioni tecniche più usate al momento sono basate sul cosiddetto “frame compatible arrangement†in cui le due viste stereoscopiche, relative al medesimo istante temporale, vengono riscalate e composte a formare una sola immagine compatibile con i formati esistenti. Tra queste soluzioni sono noti i formati Top and Bottom, Side by Side e Tile Format. Queste soluzioni permettono di riusare l’intera infrastruttura di distribuzione del segnale video (broadcasting terrestre, satellitare o via cavo oppure streaming su rete IP) e non richiedono nuovi standard per la compressione del flusso video. Inoltre l’attuale standard di codifica AVC/H.264 (Advanced Video Coding) e il futuro standard HEVC (High Efficiency Video Coding) includono già la possibilità di segnalare questo tipo di organizzazione al fine di consentire la corretta ricostruzione e visualizzazione da parte del ricevitore. Per la visualizzazione, invece, le due soluzioni tecniche più usate al momento si basano l’una sul principio del “frame alternate†(vale a dire le due viste sono presentate in successione temporale sullo schermo) e l’altra sul principio del “line alternate†, vale a dire le due viste sono disposte sullo schermo a righe alterne (cioà ̈ “interlacciate†). In entrambi i casi, per far sì che a ciascun occhio arrivi la vista relativa, à ̈ necessario che il telespettatore usi un paio di occhiali, che à ̈ “attivo†, cioà ̈ ad otturatore, nel caso del frame alternate e “passivo†, cioà ̈ con lenti polarizzate diversamente, nel caso del line alternate.

Il futuro della visione tridimensionale sarà determinato dalla diffusione di nuovi schermi di tipo autostereoscopico che non richiedono all’utente di indossare occhiali, di tipo né passivo né attivo. Questi dispositivi di visualizzazione 3D, attualmente in fase poco più che prototipale, sono basati sull’uso di lenti o barriere di parallasse in grado di far percepire all’osservatore due viste stereoscopiche diverse per ogni punto di vista che l’utente può assumere spostandosi angolarmente intorno allo schermo. Questi dispositivi permettono pertanto di migliorare l’esperienza della visione 3D, ma richiedono la generazione di un elevato numero di viste (dell’ordine di alcune decine).

Dal punto di vista della rappresentazione del video 3D risulta molto oneroso gestire la produzione e la distribuzione di un elevato numero di viste. La comunità scientifica sta valutando da alcuni anni la possibilità di creare un numero arbitrariamente alto di viste intermedie utilizzando tecniche note di tipo Depth Image Based Rendering (DIBR), sfruttando la cosiddetta mappa di profondità della scena. Questi formati sono anche noti come “Video Depth†(V+D), in cui ogni vista viene accompagnata da una mappa di profondità di tipo denso. Si definisce mappa di profondità densa un’immagine in cui ogni pixel in coordinata planare (x,y), ovvero colonna, riga, rappresenta un valore di profondità (z), corrispondente al pixel della vista relativa avente le stesse coordinate. I valori delle mappe di profondità possono essere calcolati a partire dalle due viste ottenute da una telecamera stereoscopica oppure misurati da appositi sensori. Tali valori sono generalmente rappresentati utilizzando immagini a 256 livelli di grigio che vengono compresse utilizzando tecniche standard. Le tecniche di Depth Image Based Rendering sfruttano il fatto che data la coordinata (x,y,z), ovvero posizione nel piano immagine più profondità associata a ciascun pixel, à ̈ possibile ri-proiettare il pixel su un altro piano immagine relativo a un nuovo punto di vista. Il contesto applicativo più diffuso à ̈ quello di un sistema di telecamere di tipo stereoscopico, ovvero in cui le due telecamere sono posizionate orizzontalmente con un distanza b tra i loro due centri ottici, assi ottici paralleli e piani immagine co-planari. In tale configurazione esiste una semplice relazione tra la profondità z, associata a un pixel, e la cosiddetta disparità d, ovvero la traslazione orizzontale che si deve applicare a un pixel dell’immagine della telecamera destra (o sinistra) per ottenere la corrispondente posizione nel piano immagine della camera sinistra (o destra). La disparità può essere positiva o negativa (traslazione verso sinistra o destra) a seconda della telecamera considerata. Detta f la lunghezza focale delle due telecamere sussiste la seguente relazione fra profondità z e disparità d:

d= f b / z.

Per maggiori dettagli si veda l’articolo: Paradiso, V.; Lucenteforte, M.; Grangetto, M., "A novel interpolation method for 3D view synthesis," 3DTV-Conference: The True Vision - Capture, Transmission and Display of 3D Video (3DTV-CON), 2012 , vol., no., pp.1,4, 15-17 Oct. 2012. Dato che la disparità nelle ipotesi precedentemente descritte à ̈ una semplice funzione della profondità, la mappa di profondità e la mappa di disparità portano la stessa informazione e quindi sono intercambiabili. In aggiunta si segnala che le immagini denominate mappe di profondità in ambito MPEG rappresentano i valori di 1/z anziché di z mappati nell’intervallo 0-255. Nel seguito si utilizzerà esclusivamente la dicitura “mappa di profondità†per indicare una qualsiasi rappresentazione della profondità o disparità.

Si noti che il segnale video composto da una coppia di immagini (sinistra e destra) e relative mappe di profondità à ̈ stato scelto come caso d’uso anche dal comitato di standardizzazione MPEG per la valutazione delle tecniche che saranno introdotte nei prossimi standard di codifica di tipo 3D.

Nasce quindi l’esigenza di gestire in modo efficiente la memorizzazione, trasmissione, ricezione e riproduzione di segnali televisivi comprendenti mappe di profondità.

Sommario dell’invenzione

Pertanto scopo della presente invenzione à ̈ quello di proporre un metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondità sfruttando le componenti di colore di un’immagine, atto a superare le limitazioni insite nelle soluzioni note.

Come precedentemente osservato la mappa di profondità si presta ad essere rappresentata come immagine a scala di grigi, ovvero costituita da un unico valore per ogni posizione (x,y). Nel seguito si userà il termine pixel per indicare il singolo elemento (o punto) di un’immagine; ogni pixel à ̈ caratterizzato dalla propria posizione (x,y) e da valori quali colore o intensità, variabili in funzione del sistema di rappresentazione adottato. In campo televisivo si adotta in genere il sistema di rappresentazione dei pixel noto come luminanza (Y) e crominanza (U,V). In genere le mappe di profondità vengono rappresentate come video digitale usando la sola componente Y.

L’idea alla base della presente invenzione à ̈ di sfruttare anche le componenti di crominanza U e V per rappresentare i valori della mappa di profondità creando una cosiddetta immagine “a colori fittizi†, il ché consente un maggiore compattamento delle immagini stesse. Per immagine a colori fittizi (nel seguito definita per brevità “immagine a colori†) si intende nel presente contesto un’immagine in cui le componenti di crominanza portano anch’esse un’informazione utile, che tuttavia non à ̈ un’informazione di colore ma, in questo caso, un’informazione di luminanza riferita a pixel che sono stati rimossi dalla componente Y.

La scelta dei pixel della matrice di profondità da inserire nelle componenti U e V dell’immagine a colori di dimensioni WxH à ̈ fatta in modo da ottenere la correlazione spaziale tra le componenti Y, U, V, vale a dire fra la vera luminanza e queste componenti fittizie aggiuntive, utile per garantire conformità al modo di operare degli algoritmi di codifica standard, ad esempio MPEG, che presumono l’esistenza di una correlazione tra le tre componenti Y, U, V dei vari pixel. Ciò consente inoltre di utilizzare codificatori e decodificatori standard relativi alle tecniche di compressione utilizzate per le immagini vere a colori.

Correlazione spaziale significa che i valori sistemati sulle componenti Y,U,V appartengono a pixel spazialmente vicini nella mappa di profondità.

In una soluzione preferita si utilizza il rettangolo WxH per inserire due mappe di profondità, ognuna riferita ad una relativa immagine video della coppia stereoscopica, ottenendo un’immagine sola a colori.

Soluzioni preferite utilizzano per le mappe di profondità i formati usati per le immagini televisive, noti con le sigle Y,U,V 4:2:0, oppure 4:2:2. Nel primo formato, usato tipicamente in distribuzione, nelle righe pari (0,2,4,ecc.) solo i pixel delle colonne pari (0,2,4,ecc.) contengono le informazioni di crominanza, mentre nelle righe dispari tutti i pixel contengono solo informazioni di luminanza: ne deriva che complessivamente solo un pixel su quattro contiene le informazioni di crominanza. Nel secondo formato, usato tipicamente nella catena di produzione, in tutte le righe solo i pixel delle colonne pari contengono le informazioni di crominanza; ne deriva che complessivamente un pixel su due contiene dette informazioni.

Tipicamente ci si riferisce all’uso di mappe di profondità con valori rappresentati su 256 livelli, ovvero 8 bit per pixel.

Una prima serie di esempi di soluzioni preferite nel seguito descritte à ̈ relativa all’uso del formato YUV 4:2:0, mentre una seconda serie di esempi si riferisce al formato YUV 4:2:2.

Fra i vari sistemi di frame packing, il Tile Format (descritto in WO2011/077343-A1) permette l’inserimento di una mappa di profondità senza sottrarre spazio alle immagini relative alle due viste.

Facendo riferimento alla Figura 1, nel Tile Format una coppia di immagini stereoscopiche L ed R vengono inserite in un frame video a dimensioni maggiori (C), ricopiando una delle due immagini (per esempio L) inalterata, mentre l’altra immagine (per esempio R) viene scomposta in tre regioni (R1, R2 ed R3). Queste regioni vengono disposte nel frame composito C nell’area lasciata libera dalla prima immagine; resta comunque un’area non utilizzata in cui à ̈ possibile inserire una mappa di profondità con risoluzione metà sia orizzontalmente che verticalmente. Utilizzando il metodo proposto nell’invenzione, à ̈ possibile nella stessa area inserire due mappe di profondità invece che una.

La presente idea brevettuale non à ̈ tuttavia limitata all’uso in un particolare frame packing arrangement, ma consente l’inserimento di una coppia di mappe di profondità in una generica immagine rettangolare di W colonne e H righe. Chiaramente l’area WxH può rappresentare la porzione di un’immagine di dimensioni maggiori utilizzata per il trasporto del video 3D con meccanismi di tipo frame packing.

Alternativamente, il flusso video stereoscopico può essere costituito da diversi data stream, inseriti ad esempio in un multiplex a pacchetti, ciascuno dei quali porta l’informazione di una o più immagini e della o delle relative mappe di profondità.

In un sistema di produzione, distribuzione e fruizione televisiva che utilizza i vari aspetti della presente invenzione, in fase di ricezione verranno svolte operazioni inverse a quelle eseguite in trasmissione, in modo da ricostruire le mappe di profondità. Nel ricevitore i valori delle mappe di profondità, che erano stati allocati alle componenti Y, U e V dell’immagine a colori in ingresso, vengono riposizionati in modo da formare le mappe di profondità di partenza. La procedura di ricostruzione può eventualmente utilizzare operazioni di filtraggio e/o di interpolazione di tipo noto per stimare valori di profondità originali che fossero stati scartati per mancanza di spazio disponibile durante la formazione dell’immagine a colori.

E’ oggetto della presente invenzione un metodo, e relativo apparato, per la generazione di un’immagine a colori composta da una pluralità di componenti, a partire da almeno una mappa di profondità , in cui sono inseriti nella componente di luminanza di detta immagine a colori un primo insieme di pixel di detta almeno una mappa di profondità , e in cui sono inseriti nelle due componenti di crominanza di detta immagine a colori un secondo e un terzo insieme di pixel di detta almeno una mappa di profondità.

E’ pure oggetto della presente invenzione, un metodo, e relativo apparato, per generare un flusso video comprendente una sequenza di immagini a colori, in cui almeno una parte del frame comprende un’immagine a colori ottenuta utilizzando un metodo per la generazione di un’immagine a colori come precedentemente descritto.

E’ pure oggetto della presente invenzione, un metodo, e relativo apparato, per la ricostruzione di almeno una mappa di profondità o disparità a partire da una immagine a colori composta da una pluralità di componenti, in cui vengono inseriti in detta almeno una mappa di profondità un primo insieme di pixel prelevati dalla componente di luminanza, un secondo insieme di pixel prelevati da una delle componenti di crominanza e un terzo insieme di pixel prelevati dall’altra componente di crominanza di detta immagine a colori.

E’ pure oggetto della presente invenzione, un metodo, e relativo apparato, per ricostruire due sequenze di mappe di profondità , a partire da un flusso video stereoscopico, in cui nella ricostruzione di ciascuna mappa delle due sequenze viene applicato su ciascun frame del flusso un metodo per la ricostruzione di almeno una mappa di profondità come precedentemente descritto.

E’ particolare oggetto della presente invenzione un metodo e dispositivo per la generazione, memorizzazione, trasmissione, ricezione e riproduzione di mappe di profondità sfruttando le componenti di colore di un’immagine a colori, come meglio descritto nelle rivendicazioni, che formano parte integrante della presente descrizione.

Breve descrizione delle figure

Ulteriori scopi e vantaggi della presente invenzione risulteranno chiari dalla descrizione particolareggiata di esempi di realizzazione della stessa e dai disegni annessi dati a puro titolo esplicativo e non limitativo, in cui:

nella figura 1 à ̈ rappresentato il formato di immagine video stereoscopica denominato “tile-format†;

nelle figure 2a e 2b sono mostrate due forme di rappresentazione grafica di una prima variante dell’invenzione relativa al modo di ottenere un’immagine a colori contenente due mappe di profondità secondo la soluzione side-by-side 4:2:0;

nella figura 3 à ̈ mostrato un esempio di realizzazione di una tecnica di interpolazione applicabile in ricezione per ricoprire certi valori mancanti nella mappa di profondità ricostruita;

nella figura 4 à ̈ mostrata una seconda variante dell’invenzione relativa al modo di ottenere un’immagine a colori contenente due mappe di profondità secondo la soluzione side-by-side 4:2:0;

nella figura 5 sono riportate immagini corrispondenti alle componenti Y,U,V di un’immagine a colori ottenuta affiancando due mappe di profondità in modalità side-byside 4:2:0;

nella figura 6 à ̈ mostrata una variante dell’invenzione relativa al modo di ottenere un’immagine a colori contenente due mappe di profondità secondo la soluzione top-and-bottom 4:2:0;

nella figura 7 sono riportate immagini corrispondenti alle componenti Y,U,V di un’immagine a colori ottenuta affiancando due mappe di profondità in modalità top-andbottom 4:2:0;

nella figura 8 à ̈ mostrata una variante dell’invenzione relativa al modo di ottenere un’immagine a colori contenente due mappe di profondità secondo la soluzione top-and-bottom 4:2:0 con riduzione delle componenti cromatiche;

nella figura 9 sono riportate immagini corrispondenti alle componenti Y,U,V di un’immagine a colori ottenuta affiancando due mappe di profondità in modalità top-andbottom 4:2:0 con riduzione delle componenti cromatiche; nella figura 10 à ̈ mostrata una variante dell’invenzione relativa al modo di trasformare i campioni di mappe di profondità per ottenere un’immagine a colori contenente due mappe di profondità secondo la soluzione top-and-bottom 4:2:0 con somme e differenze medie;

nella figura 11 sono riportate immagini corrispondenti alle componenti Y,U,V di un’immagine a colori ottenuta affiancando due mappe di profondità in modalità top-and-bottom 4:2:0 con somme e differenze medie;

nella figura 12 sono riportate immagini corrispondenti alle componenti Y,U,V di un primo esempio di un’immagine a colori ottenuta affiancando due mappe di profondità pretrattate con operazioni di trasformate a sottobande;

nella figura 13 à ̈ mostrata una variante dell’invenzione relativa al modo di trasformare i campioni di mappe di profondità per ottenere un’immagine a colori contenente due mappe di profondità pretrattate con operazioni di trasformate a sottobande;

nella figura 14 sono riportate immagini corrispondenti alle componenti Y,U,V di un secondo esempio di un’immagine a colori ottenuta affiancando due mappe di profondità pretrattate con operazioni di trasformate a sottobande;

nella figura 15 à ̈ mostrata una variante dell’invenzione relativa al modo di trasformare i campioni di mappe di profondità per ottenere un’immagine a colori contenente due mappe di profondità secondo la soluzione side-by-side 4:2:2;

nella figura 16 à ̈ mostrata una variante dell’invenzione relativa al modo di trasformare i campioni di mappe di profondità per ottenere un’immagine a colori contenente due mappe di profondità secondo la soluzione top-and-bottom 4:2:2;

nella figura 17 à ̈ mostrata una variante dell’invenzione relativa al modo di trasformare i campioni di mappe di profondità per ottenere un’immagine a colori contenente due mappe di profondità secondo la soluzione top-and-bottom oppure side-by-side 4:2:2 con riduzione delle componenti cromatiche;

nella figura 18 à ̈ mostrata una variante dell’invenzione relativa al modo di trasformare i campioni di mappe di profondità per ottenere un’immagine a colori contenente due mappe di profondità pretrattate con operazioni di trasformate a sottobande, per il formato 4:2:2;

nelle Figure 19a e 19b sono mostrati gli schemi a blocchi di un esempio di realizzazione di un sistema completo di generazione, e rispettivamente ricostruzione e visualizzazione di immagini tridimensionali che fa uso del formato di frame packing noto come Tile Format, per organizzare una coppia di sequenze video stereoscopiche, unitamente alle rispettive mappe di profondità secondo l’invenzione.

Gli stessi numeri e le stesse lettere di riferimento nelle figure identificano gli stessi elementi o componenti.

Descrizione di dettaglio di esempi di realizzazione Nel seguito vengono descritte diverse varianti di realizzazione specifica delle idee di base della presente invenzione per quanto concerne le varie possibili disposizioni di due mappe di profondità in una singola immagine a colori di dimensioni WxH pixel (la quale, come già spiegato, potrebbe essere a sua volta inserita in un frame composito più ampio contenente anche altre immagini relative allo stesso flusso video stereoscopico).

Siano date due mappe di profondità di risoluzione WxH, corrispondenti a 2xWxH campioni su 8 bit, ovvero 2xWxH byte. Si vuole inserire tale coppia di mappe in una singola immagine “composita†a colori YUV 4:2:0 o 4:2:2 di risoluzione WxH.

Le varie forme di realizzazione dell’invenzione di seguito descritte sono basate sull’utilizzo di un formato di frame packing per l’inserimento di due mappe di profondità nel rettangolo di dimensioni WxH. Due mappe di profondità possono ad esempio essere sistemate in modalità Top and Bottom, riducendone la risoluzione a Wx(H/2), e collocandole rispettivamente nella parte alta e nella parte bassa della sola componente Y, oppure in modalità side-by-side, riducendone la risoluzione a (W/2)xH e collocandole rispettivamente nella parte sinistra ed in quella destra della sola componente Y. Successivamente, secondo l’invenzione si effettua il recupero dei pixel scartati, inserendoli nei segnali U e V.

Soluzione Side-by-Side 4:2:0

Si descrivono nel seguito due tecniche, che differiscono per il posizionamento dei campioni sulle componenti di crominanza.

La prima tecnica (nel seguito modalità A) per ottenere una immagine a colori a partire da almeno una mappa di profondità à ̈ mostrata in Figura 2a. La figura si riferisce a una coppia di righe della mappa di profondità (ad esempio la mappa di profondità DM1 relativa alla vista di sinistra di un video stereoscopico) e mostra come associare i valori di profondità alle componenti Y,U,V di un’immagine composita a colori con numero di colonne dimezzato.

Si introduce la notazione D(j,i) per denotare il pixel di riga j e colonna i della mappa di profondità DM1 e DM2 con j=0,1,..,H-1 e i=0,1,..,W-1. Usando la tecnica descritta in Figura 2a, la mappa di profondità deve essere riorganizzata in un’immagine a colori composta da 3 componenti:

• Y(j,i) con j=0,…,H-1, e i=0,…,W/2-1

• U(j,i) e V(j,i) con j=0,…,H-1, e i=0,…,(W/2)-1 che assumono solo valori pari degli indici j e i per effetto del sottocampionamento di tipo YUV 4:2:0.

Utilizzando queste notazioni, la riorganizzazione dei pixel mostrata in Figura 2a si ottiene applicando le seguenti regole:

• Per ogni pixel D(j,i)

1. Se i à ̈ pari: Y(j,i/2)=D(j,i)

2. Se j à ̈ pari e il modulo rispetto a 4 di i à ̈<i- 1>

uguale a 1:V(j,)=D(j, i)<.>

2

3. Se j à ̈ pari e il modulo rispetto a 4 di i à ̈<i ->uguale a 3:U(j,<3>)=D(j, i).

2

4. Altrimenti D(i,j) viene scartato.

Applicando tali regole si ottiene una componente Y di risoluzione HxW/2 contenente le sole colonne pari della mappa di profondità. La componente V raccoglie i valori di profondità con indice di riga pari corrispondenti alle colonne 4k+1 con k intero positivo maggiore o uguale a zero, ovvero le colonne 1,5,9,,… della mappa di profondità vengono posizionate sulla componente V in corrispondenza delle colonne 0,2,4… della mappa a colori. La componente U raccoglie infine i valori di profondità con indice di riga pari corrispondenti alle colonne 4k+3 con k intero maggiore o uguale a zero, ovvero le colonne 3,7,11,… della mappa di profondità vengono posizionate sulla componente U in corrispondenza delle colonne 0,2,4,… della mappa a colori.

Si verifica quindi la perdita dei valori di profondità di riga dispari e colonna dispari, cioà ̈ quelli indicati in figura con una crocetta o lettera “X†che dir si voglia. Quindi per ciascuna mappa di profondità si organizzano spazialmente i campioni in una nuova immagine a colori YUV 4:2:0 di risoluzione W/2xH, mantenendo un’elevata correlazione spaziale fra le componenti Y,U,V, ovvero le immagini rappresentate dalle componenti Y, U e V rappresentano versioni con sottocampionamenti alternativi della stessa immagine. Questo à ̈ molto importante, perché gli algoritmi di compressione MPEG presuppongono una correlazione spaziale fra le componenti U e V, e quindi lavorerebbero male se tale correlazione non esistesse. Affiancando (orizzontalmente) due immagini così ottenute, a partire da una coppia di mappe di profondità, si genera infine un’immagine di risoluzione WxH come rappresentato in Figura 5. In tale figura, non potendo utilizzare i colori, sono state rappresentate separatamente le tre componenti Y, U e V.

Per maggior chiarezza, in Figura 2b si riporta la rappresentazione schematica di come vengono ripartite complessivamente nella immagine a colori (Y,U,V) 4:2:0, sempre in modalità A, le due mappe di profondità di dimensioni WxH indicate con DM1 e DM2. I pixel sono rappresentati da quadratini con figure geometriche inscritte, i blocchi di pixel 2x2 delle mappe di profondità DM1 e DM2 individuati implicitamente nella tecnica secondo la Figura 2a e le formule suddette sono numerati sequenzialmente in base ad una scansione per righe senza apici (1,2,…, NxM, con N=W/2 e M=H/2) o con apici (1’,2’,…, NxM’, con N=W/2 e M’=H/2) a secondo che appartengano a DM1 o DM2, e a quadratino uguale corrisponde lo stesso pixel del blocco di partenza. I pixel scartati sono contraddistinti da una crocetta.

Nella riorganizzazione dei pixel delle mappe di profondità DM1 e DM2 viene individuata una loro scomposizione in blocchi di 4 pixel di dimensione 2x2. I due pixel della colonna di sinistra di ciascun blocco 2x2 di DM1 (i blocchi di quadratini includenti un cerchio di 2 pixel a dimensioni 1x2) vengono collocati uno accanto all’altro nella componente di luminanza Y dell’immagine a colori fittizi, seguendo la scansione per righe dalle mappe di profondità. In tal modo viene a occuparsi la metà sinistra di Y; procedendo nello stesso modo per DM2 se ne occupa la metà destra.

Utilizzando sempre una scansione per righe, il pixel in alto a sinistra dei blocchi 2x2 suddetti di DM1 (blocco di un quadratino avente un quadrato iscritto) viene alternativamente collocato rispettivamente nella prima posizione libera in altro a sinistra della componente cromatica V (quadrato pieno) ed U (quadrato vuoto). In tal modo si occupano le metà sinistre di U e V. Procedendo nello stesso modo per i blocchi 2x2 di DM2 se ne occupano le metà destre. Ogni pixel dei blocchi 2x2 di DM1 e DM2 posto in basso a destra (contrassegnato in Figura 2b con una crocetta) viene scartato.

Si noti la configurazione di tipo side-by-side assunta da Y, U e V e la corrispondenza delle componenti con quelle ottenute sperimentalmente utilizzando questa forma di realizzazione dell’invenzione (Figura 5).

Una volta ricevuta l’immagine a colori, eventualmente dopo codifica, trasmissione, ricezione e decodifica, à ̈ possibile riposizionare i valori di profondità invertendo le operazioni descritte in Figura 2.

In particolare, con riferimento alla Figura 2b, si individua una scomposizione di W/2xH/2 blocchi di pixel 2x2 di DM1 e DM2. Seguendo sempre una scansione per righe, ciascun blocco di due pixel 1x2 della componente di Y delle prime W/2 colonne dell’immagine a colori fittizi viene ricopiato nella colonna sinistra degli omologhi blocchi 2x2 di DM1, mentre i blocchi 1x2 delle restanti W/2 colonne di Y vengono ricopiati nella colonna sinistra degli omologhi blocchi 2x2 di DM2 (i quadratini coi cerchi di Figura 2).

Scandendo le componenti cromatiche e le mappe per righe, i pixel delle prime W/4 colonne di V (quadrato pieno e U (quadrato vuoto) vengono alternativamente ricopiati nella posizione in alto a destra dell’omologo blocco di DM1, prendendoli dalla stessa posizione di riga e colonna di U e V. Procedendo analogamente coi pixel delle rimanenti W/4 colonne di destra di V e U coi blocchi 2x2 di DM2 si ricostruisce anche la seconda mappa di profondità. Entrambe presenteranno in questa forma di realizzazione una griglia comprendente WxH/4 posizioni con valori di pixel mancanti, ovvero risulterà mancante un valore ogni due sulle righe pari della mappa di profondità. Tali valori possono essere facilmente interpolati con tecniche di per sé note, sfruttando l’elevata correlazione spaziale che caratterizza le mappe di profondità.

In Figura 3 viene mostrato un esempio di tecnica di interpolazione in cui si utilizza un semplice filtro spaziale (ad esempio filtro media o filtro mediano) con maschera 3x3. Utilizzando una maschera 3x3 centrata intorno al valore mancante si possono sfruttare gli 8 valori di profondità ricevuti intorno a quello mancante per stimare quello in posizione centrale. Gli esperimenti con filtro mediano mostrano che, utilizzando le mappe di profondità fornite dal comitato MPEG, si riesce a ricostruire la mappa di profondità a risoluzione WxH con fedeltà superiore ai 50 dB di rapporto segnale rumore di picco (PSNR).

Questa tecnica di ricostruzione per interpolazione può ovviamente essere utilizzata in tutte le varianti descritte.

Nel seguito si introduce una variante della precedente soluzione side by side, denominata modalità B. La collocazione delle componenti U,V della precedente soluzione può essere migliorata dal punto di vista della correlazione spaziale tra le componenti come mostrato in Figura 4. Tale risultato si ottiene adottando le seguenti regole di collocamento:

• Per ogni pixel D(j,i)

1. Se i à ̈ pari: Y(j,i/2)=D(j,i)

2. Se j à ̈ pari e il modulo rispetto a 4 di i à ̈<i- 1>

uguale a 1:V(j,)=D(j, i).

2

3. Se j à ̈ pari e il modulo rispetto a 4 di i à ̈<i 1>

uguale a 3:U(j,)=D(j, i).

2

4. Altrimenti D(i,j) viene scartato.

Rispetto alla precedente soluzione si garantisce una minore distanza spaziale fra i pixel colocati delle componenti U,V e Y. In particolare le assegnazioni ai punti 2 e 3 dell’algoritmo garantiscono un maggior allineamento tra le componenti.

Applicando tali regole si ottiene una componente Y di risoluzione HxW/2 contenente le sole colonne pari della mappa di profondità. La componente V raccoglie i valori di profondità con indice di riga pari corrispondenti alle colonne 4k+1 con k intero maggiore o uguale a zero, ovvero le colonne 1,5,9,… della mappa di profondità di origine vengono posizionate sulla componente V in corrispondenza delle colonne 0,2,4,… dell’immagine a colori. La componente U raccoglie infine i valori di profondità con indice di riga pari corrispondenti alle colonne 4k+3 con k intero maggiore o uguale a zero, ovvero le colonne 3,7,… della mappa di profondità di origine vengono posizionate sulla componente U in corrispondenza delle colonne 2,4,… della mappa a colori.

Si osservi che al punto 3 dell’algoritmo si possono i 1 W

ottenere valori dell’indice colonna ≥ in 2 2

corrispondenza al bordo destro della mappa di profondità (ad esempio il valore di profondità con i=11 in figura non può essere rappresentato sull’immagine a colori). In fase di ricostruzione questi valori si possono interpolare con tecniche note.

Analogamente i pixel della prima colonna dell’immagine a colori non hanno un valore assegnato alla componente U (si può liberamente assegnare un valore di default, tipicamente 128).

Infine, in Figura 5, nell’impossibilità di riprodurre immagini a colori, sono riportate le immagini corrispondenti alle singole componenti Y,U,V di un’immagine a colori ottenuta affiancando in modalità side by side due mappe di profondità, corrispondenti a una coppia di immagini stereoscopiche, ottenute secondo le procedure precedentemente descritte.

Soluzione Top and Bottom 4:2:0.

Per ottenere una configurazione di tipo Top and Bottom occorre trasformare la mappa di profondità a risoluzione WxH in un’immagine a colori con risoluzione WxH/2. Tale risultato si ottiene applicando gli stessi metodi descritti sopra scambiando il ruolo delle righe e delle colonne.

A titolo di esempio la Figura 6 mostra come rappresentare una coppia di colonne della mappa di profondità sulle componenti YUV dimezzando il numero di righe seguendo l’approccio denominato modalità B nella soluzione Side by Side. La modalità A descritta per il metodo side by side 4:2:0 può essere utilizzata in modo del tutto analogo scambiando il ruolo di righe e colonne e non viene ulteriormente descritta per brevità.

Sovrapponendo (verticalmente) due immagini di risoluzione WxH/2 così ottenute, si genera infine un’immagine di risoluzione WxH che rappresenta la coppia di mappe di profondità in modalità top and bottom come rappresentato in Figura 7. In tale figura, non potendo utilizzare i colori, sono state rappresentate separatamente le tre componenti Y, U e V.

Soluzione Top and Bottom 4:2:0 con riduzione delle componenti cromatiche.

Le precedenti soluzioni permettono di rappresentare alcuni valori delle mappe di profondità come componenti di crominanza di un’immagine a colori garantendo una buona coerenza spaziale tra le componenti Y, U e V. Nel caso di una immagine comune (a veri colori) le componenti di crominanza sono caratterizzate da un basso contenuto energetico e quindi da una entropia bassa e possono essere agevolmente compresse usando le tecniche note. Al contrario, le componenti U, V delle precedenti soluzioni sono costituite da pixel con lo stesso contenuto energetico della luminanza.

Per ovviare a questo inconveniente à ̈ possibile sostituire i valori di profondità da inserire sulle componenti di crominanza con valori differenza rispetto a un valore predetto (o interpolato) usando i valori di profondità rappresentati sulla componente Y; in altre parole sulle componenti di crominanza si può inserire un errore di predizione. Siccome le mappe di profondità non contengono molti dettagli la predizione risulta efficace e l’errore di predizione presenta un contributo energetico molto limitato e quindi adatto a essere rappresentato come crominanza.

A titolo d’esempio, nella Figura 8, relativa alla configurazione top and bottom in modalità B, le frecce doppie identificano coppie di valori di profondità attraverso i quali à ̈ possibile interpolare i valori di profondità da collocare sulle componenti U e V.

In Figura 8 si identificano i campioni di profondità della componente Y che si possono usare come predizione per i valori di profondità destinati alle componenti U e V secondo i passi 2 e 3 dei precedenti algoritmi di riposizionamento. Utilizzando la notazione dei precedenti algoritmi si possono infatti calcolare i seguenti errori di predizione:

< 1>D e(4h+1,2k)=D(4h+1,2k)− round [D(4h,2k)+D(4h 2,2 k ) ]



ï£ 2 ï£ ̧ D 4h+3,2k)=<1>

e( D(4h+3,2k)−round<> [D(4h+2,2k)+D(4h 4,2 k ) ]



ï£ 2 ï£ ̧

ove h,k sono indici interi maggiori o uguali a zero, da sostituirsi ai relativi valori di profondità sulle colonne pari prima della collocazione sulle componenti V e U, rispettivamente. Per evitare di memorizzare valori frazionari dell’errore di predizione, nelle precedenti formule viene effettuato un arrotondamento del valore predetto (l’operatore round identifica l’operazione di arrotondamento a intero). Si osservi che nell’esempio si usa un semplice predittore costituito dalla media fra i due campioni di profondità sulla riga superiore e inferiore del pixel in oggetto.

L’errore di predizione Deà ̈ un valore con segno. Nella realizzazione pratica a tali valori viene preferibilmente sommato un offset di 128 così da poter essere rappresentati su valori a 8 bit senza segno, previa saturazione dei valori ottenuti nell’intervallo [0..255]. Vengono quindi rappresentati sulle componenti V ed U gli errori di predizione senza segno:

<~>

De(4h+1,2k)= D e(4h+1,2 k) 128

<~>

De(4h+3,2k)= D e(4h+3,2 k) 128

Per semplicità à ̈ stata omessa nelle formule suddette l’operazione di clipping o saturazione dei valori fuori dall’intervallo 0-255.

In fase di ricezione, prima dell’’interpolazione dei campioni mancanti (identificati con la lettera “X†nelle figure) ad esempio secondo la tecnica descritta sopra, si procederà alla ricostruzione dei valori di profondità predetti invertendo le formule precedenti:

<>D(4h+1,2k)=round<1>

[D(4h,2k)+D(4h 2,2k) ]<~>

2+D e(4h+1,2 k) − 128

ï£ ï£ ̧

<>D(4h+3,2k)=round<1>

[D(4h+2,2k)+D(4h 4,2k) ]

+D<~>

e(4h+3,2 k) − 128

ï£ 2 ï£ ̧

Per effetto degli errori di arrotondamento dell’errore di predizione si introduce un errore di ricostruzione con effetti trascurabili rispetto agli errori di quantizzazione che si ottengono con un codificatore standard.

La Figura 9 mostra un esempio di immagine composita ottenuta con il sistema appena descritto. Si può osservare il basso contenuto energetico delle componenti U e V raffigurate tramite immagini che, anche per via dell’approssimazione di stampa, sembrano uniformi. Il vantaggio della soluzione in esame infatti consiste nell’operare una riduzione dell’ampiezza media delle componenti di crominanza, rispecchiando maggiormente la distribuzione energetica del segnale YUV tradizionale, in cui la maggior parte del contenuto energetico à ̈ concentrato sulla componente Y rispetto alle componenti U e V. Si noti inoltre che le componenti U e V sono segnali “differenza†(per l’esattezza sono chiamati segnali differenza di colore) e quindi sono a valor medio nullo, per cui, in una rappresentazione ad otto bit, il valore 128 corrisponde allo zero, mentre i valori inferiori a 128 sono considerati negativi e quelli superiori a 128 positivi. Gli algoritmi di compressione MPEG si basano sulle suddette proprietà dei segnali U e V, per cui, se tali segnali non rappresentano delle differenze, come nella precedente realizzazione, gli algoritmi di compressione usati dall’MPEG possono risultare meno efficaci.

L’approccio appena descritto à ̈ stato esemplificato nel caso del formato Top and Bottom con l’uso di una procedura di interpolazione con due soli campioni, ma si può ovviamente estendere a tutte le soluzioni descritte fino a questo punto e utilizzando altri metodi di interpolazione.

Soluzione Top and Bottom 4:2:0 con somme e differenze medie.

Un’ulteriore variante che permette di ridurre il contributo energetico delle componenti U e V consiste nella sostituzione dei valori delle mappe di profondità con somme e differenze medie, che vengono rappresentati utilizzando rispettivamente le componenti di luminanza e di crominanza. I vantaggi di questa variante sono gli stessi di quelli della soluzione precedente, in quanto anche in questo caso vengono inseriti in U e V dei segnali che rappresentano delle differenze.

I campioni di ogni blocco 2x2 della mappa di profondità vengono trasformati in somme e differenze medie come indicato in Figura 10, e qui sotto riportato, dove a,b,c,d rappresentano i valori di profondità in un blocco 2x2 della mappa di profondità. I coefficienti w0,w1 sono valori medi e devono essere arrotondati all’intero più vicino (oppure troncati all’intero inferiore) per permetterne la successiva rappresentazione su campioni a 8 bit senza segno.

Lo stesso processo avviene per i coefficienti differenza w2, w3; inoltre, essendo quest’ultimi dotati di segno, i loro valori assoluti sono saturati a 128 in modo da poter rappresentare il loro valore su campioni a 8 bit sommando un offset pari a 128.

In Figura 10 viene inoltre indicato come ricostruire i campioni di profondità dalle somme e differenze medie, come qui sotto riportato.

A causa degli arrotondamenti adottati, la ricostruzione dei valori di profondità a,b,c,d sarà accurata a meno di un errore pari a /-1.

Per ottenere un’immagine a colori di dimensioni ridotte, ad esempio WxH/2 nel caso Top and Bottom, à ̈ necessario scartare un coefficiente ogni 4. I 3 coefficienti scelti possono quindi venire disposti sulle componenti Y,U,V secondo una delle tecniche descritte sopra.

Questo viene ottenuto mantenendo le due somme medie w0 e w1, che verranno inserite sulla componente Y e spostando su U,V o la differenza wd=w2 o la differenza wd=w3 a seconda di quale dei due valori w2 o w3 garantisce il minor errore di ricostruzione secondo le formule che seguono.

L’errore di ricostruzione introdotto dalla scelta di w2 o w3 può essere valutato nel modo seguente. Si calcolano rispettivamente l’errore medio e(wd = w2 ), ottenuto nel caso wd =w 2, e l’errore medio e(wd = w3 ), ottenuto nel caso wd =w 3; quindi si sceglie di trasmettere il coefficiente wd che minimizza l’errore come segue:

e(wd =w2)=|w1+w2−b|+ w1−w 2 − d

e(wd =w3)= w0+w3−a w0−w 3 − c

wd =w2 se e(wd =w2)<e(wd = w3 )



w 3 se altrimenti

Per ottenere un’immagine a colori di risoluzione WxH/2 si può seguire lo stesso algoritmo introdotto precedentemente.

Per ogni indice di riga j=0,2,4 … e ogni indice di colonna i=0,2,4, …

• Si calcolano i coefficienti w0,w1,w2,w3 del blocco 2x2 in posizione j,i della mappa di profondità • Si determina la migliore differenza media wd • Si assegnano le somme medie alla componente Y secondo le formule Y(j/2,i)=w0 e Y(j/2,i+1)=w1

• Se il resto della divisione fra l’indice j e 4

à ̈ pari a 0 si assegna la differenza media secondo la

formula U(j/2,i)=wd

• Altrimenti (se l’indice j non à ̈ multiplo di 4)

V(j/2,i)=wd

In Figura 11 viene riportato un esempio di immagine a

colori ottenuta con il sistema appena descritto in

configurazione Top and Bottom , ottenuta inserendo due

mappe di profondità con somme e differenze medie. Si

osservi come anche in questo caso le componenti di

crominanza raccolgano un contributo energetico limitato

per effetto della dinamica molto bassa associata al

valore wd.

In fase di ricostruzione la tecnica con somme e

differenze medie non necessita di un filtro interpolatore

3x3 in quanto à ̈ sufficiente applicare le formule inverse

che dai coefficienti w0,w1 e wd permettono di ricostruire

i valori iniziali a,b,c,d:

a≈w 0 wd

b≈w 1 wd

c≈w 0 − wd

d ≈w 1 − wd

L’errore di ricostruzione che si commette dipende dalla

scelta della differenza media wd e dall’errore di

rappresentazione su interi di tutti i coefficienti. Gli

esperimenti mostrano che tali errori sono trascurabili

su mappe di profondità di riferimento con rapporti

segnale rumore di picco superiori ai 50 dB.

Soluzione con trasformata a sottobande.

La precedente tecnica basata su medie e differenze dei

valori di profondità può essere generalizzata adottando un approccio a sottobande. Utilizzando una trasformazione di dominio, ad esempio di tipo DCT 2x2, ovvero trasformata di Walsh-Hadamard, oppure un solo livello di una qualsiasi trasformata Wavelet nota in letteratura, si divide l’immagine costituita dalla mappa di profondità DM1 (e DM2) in quattro sottobande con risoluzione dimezzata sia sulle righe sia sulle colonne, quindi con risoluzione W/2xH/2. Tali sottobande vengono generalmente indicate da sinistra a destra e dall’alto verso il basso come sottobande LL,LH,HL e HH. In figura 12 viene riportato un esempio di trasformata a sottobande ottenuta applicando la trasformata di Walsh-Hadamard separatamente alle righe e alle colonne di una mappa di profondità. Si può osservare che la trasformata concentra la maggior parte dell’energia del segnale video nella sottobanda LL (in alto a sinistra). Per immagini contenenti pochi dettagli, come nel caso delle mappe di profondità, la sottobanda HH raccoglie invece pochissima energia. Si osservi inoltre che i coefficienti delle sottobande HL,LH e HH sono dotati di segno ed occorre usare un offset di 128 per rappresentare il valore 0 come nel caso delle differenze medie descritte nella soluzione precedente. Volendo rappresentare i coefficienti della trasformata su campioni a 8 bit senza segno occorre inoltre effettuare opportuni arrotondamenti che possono variare a seconda del tipo di trasformata utilizzata.

Dovendo ridurre la risoluzione delle mappa di profondità in presenza di un dominio trasformato à ̈ possibile eliminare alcuni coefficienti: la scelta migliore à ̈ quella di eliminare l’intera banda HH di entrambe le mappe di profondità, introducendo una perdita di qualità bassa in fase di ricostruzione. La ricostruzione viene ovviamente ottenuta applicando la trasformata inversa, ove i coefficienti eliminati sono assunti come nulli.

Per costruire un’unica immagine YUV di risoluzione WxH a partire dalle sottobande LL’,LH’, e HL’ della mappa di profondità sinistra e dalle sottobande LL’’, LH’’ e HL’’ della mappa di profondità destra si segue lo schema mostrato in figura 13, in cui DM1’ e DM2’ indicano le trasformate di Hadamard delle due mappe di profondità DM1 e DM2. La figura mostra come disporre i coefficienti delle sottobande LL’, LH’ e LL’’, LH’’ sui quattro quadranti delle componente di luminanza Y. In particolare si à ̈ scelto di associare la metà alta della componente Y alle sottobande LL’ e LH’ della mappa di profondità sinistra e la metà bassa alle sottobande LL’’ e LH’’ della mappa di profondità destra. Per completare la costruzione dell’immagine YUV occorre sistemare i rimanenti W/2xH/2 coefficienti delle sottobande HL’ e HL’’ sulle componenti U e V, senza creare falsi bordi dovuti al disallineamento tra le tre componenti. La Figura 13 mostra come ottenere il risultato desiderato. La sottobanda HL’ della mappa di profondità sinistra viene suddivisa in 4 versioni sottocampionate di un fattore 2 in entrambe le direzioni come mostrato in figura 13; in pratica, i coefficienti di ogni blocco 2x2 vengono collocati su 4 immagini sottocampionate. Si ottengono così 4 immagini della sottobanda HL’ denominate HLa’,HLb’,HLc’e HLd’ con risoluzione W/4xH/4. Le prime due immagini ottenute vengono affiancate nella parte alta della componente U, occupando una zona pari a H/4xW/2 campioni. Le due rimanenti immagini della sottobanda HL’ vengono invece copiate (affiancate) nella parte alta della componente V. Si adotta infine la medesima procedura per la sottobanda HL’’ della mappa di profondità destra, ma le immagini W/4xH/4 ottenute verranno copiate nella metà bassa delle componenti U e V. Questo approccio permette di mantenere coerenza spaziale fra la componente Y e le componenti U,V a risoluzione dimezzata.

Un esempio dell’immagine a colori ottenuta usando la trasformata di Walsh-Hadamard à ̈ mostrato in figura 14. Anche in questo caso il contributo energetico associato alle componenti U e V à ̈ molto basso con conseguenti benefici dal punto di vista della compressibilità del segnale video.

Sintesi di due mappe di profondità in una catena di produzione televisiva (formato YUV 4:2:2).

Nella catena di produzione televisiva solitamente si usa il formato YUV 4:2:2. Rispetto al caso del formato 4:2:0, le soluzioni per l’impacchettamento di due mappe in una sola immagine a colori risulta più semplice, in quanto l’informazione di crominanza (U,V) à ̈ presente nel 50% dei pixel. Complessivamente, quindi, si hanno a disposizione 16 bit per pixel (otto per Y e otto per U, V) e quindi à ̈ possibile inserire le due mappe nell’immagine a colori senza alcuna perdita di informazione e quindi senza necessità di interpolare, in ricezione, i pixel mancanti.

Una prima soluzione può essere quella di trasmettere su Y una delle mappe e su U e V l’altra mappa. Questa soluzione però non à ̈ ottimale, in quanto gli algoritmi di compressione video solitamente si basano sull’assunto che la luminanza e la crominanza siano fra loro correlate, come avviene in una vera immagine a colori, mentre nella soluzione in esame Y appartiene ad una immagine e U,V ad una diversa immagine. Pertanto conviene anche nel caso 4:2:2 procedere a una ricollocazione dei campioni capace di garantire la costruzione di un’immagine con componenti Y,U,V correlate ricorrendo a meccanismi simili a quelli utilizzati per il caso YUV 4:2:0.

Soluzione side by side 4:2:2.

La creazione dell’immagine a colori può essere facilmente compresa esaminando la Figura 15. Nella prima riga di pixel, i pixel delle colonne dispari (1,3,5 …) della mappa di profondità originale vengono trasferiti su U e V dei pixel dell’immagine a colori sulle colonne pari, in modo in tutto simile a quanto mostrato nella figura 2a. Nella seconda riga di pixel, poiché, contrariamente al caso 4:2:0, i pixel delle colonne pari (0,2,4…) dell’immagine a colori sono dotati di crominanza, avviene esattamente la stessa cosa che nella prima riga, cioà ̈ i pixel delle colonne dispari della mappa di profondità originale vengono trasferiti su U e V dei pixel delle colonne pari dell’immagine a colori. Non esistono più, pertanto, pixel mancanti (quelli indicati con una crocetta nella figura 2a), da ricostruire in ricezione mediante interpolazione.

Stesso discorso vale per la modalità B. Anche in questo caso in tutte le righe (pari e dispari) avviene quanto mostrato nella figura 4 per la riga 0 di pixel, e quindi non esistono più pixel mancanti da ricostruire in ricezione mediante interpolazione.

Soluzione top and bottom 4:2:2.

A titolo di esempio, uno dei possibili modi per creare l’immagine a colori à ̈ mostrato in Figura 16. I pixel delle righe dispari, che vengono scartate, sono riallocati su U e V dei pixel delle righe pari, ad esempio nel modo indicato dalle freccette. La riallocazione può essere fatta anche in altri modi, sostanzialmente equivalenti, che qui non sono indicati per brevità.

Soluzioni side by side e top and bottom con riduzione delle componenti cromatiche, formato 4:2:2.

Le precedenti soluzioni permettono di rappresentare alcuni valori delle mappa di profondità come componenti di crominanza di un’immagine a colori garantendo una buona coerenza spaziale tra le componenti Y, U e V. Nel caso di una immagine comune (a veri colori) le componenti di crominanza sono caratterizzate da un basso contenuto energetico e quindi da una entropia bassa e possono essere agevolmente compresse usando le tecniche note. Al contrario, le componenti U,V delle precedenti soluzioni sono costituite da pixel con lo stesso contenuto energetico della luminanza. Per ovviare a questo inconveniente à ̈ possibile sostituire i valori di profondità da inserire sulle componenti di crominanza con valori differenza rispetto a un valore predetto (o interpolato) usando i valori di profondità rappresentati sulla componente Y; in altre parole sulle componenti di crominanza si può inserire un errore di predizione. Siccome le mappe di profondità sono poco dettagliate la predizione risulta efficace e l’errore di predizione presenta un contributo energetico molto limitato e quindi adatto a essere rappresentato come crominanza.

A titolo di esempio, nella Figura 17 le frecce doppie identificano due valori di profondità attraverso i quali à ̈ possibile interpolare i valori di profondità da collocare sulle componenti U e V per quanto riguarda la configurazione top and bottom di Fig. 16. Nella rappresentazione di figura 16 i campioni sulle righe dispari vengono interpolati a partire dai campioni collocati rispettivamente sulla riga superiore e inferiore. Tali valori sono disponibili anche in fase di ricezione dell’immagine a colori in quanto collocati sulla componente Y. A questo punto à ̈ possibile calcolare e inserire come valori delle componenti U,V (secondo la collocazione mostrata dalle frecce sottili in Figura 16) gli errori di predizione commessi dall’interpolatore. Tali valori verranno rappresentati con interi senza segno con le stesse tecniche descritte precedentemente. Gli errori di predizione trasportati dalle componenti U,V permetteranno infine di ricostruire i valori di profondità sulle righe dispari in fase di ricezione applicando la relativa correzione ai valori interpolati dalla componente Y.

Soluzione Top and Bottom con somme e differenze medie, formato 4:2:2.

Anche nel caso del 4:2:2, un’ulteriore variante che permette di ridurre il contributo energetico delle componenti U e V consiste nella sostituzione dei valori delle mappe di profondità con somme e differenze medie, che vengono rappresentate utilizzando rispettivamente le componenti di luminanza e di crominanza. I vantaggi di questa variante sono gli stessi di quelli della soluzione precedente, in quanto anche in questo caso vengono inseriti in U e V dei segnali che rappresentano delle differenze. I campioni di ogni blocco 2x2 della mappa di profondità vengono trasformati in somme e differenze medie come indicato in Figura 10, dove a,b,c,d rappresentano i valori di profondità in un blocco 2x2 della mappa di profondità.

La differenza rispetto al caso del 4:2:0 à ̈ rappresentata dal fatto che col 4:2:2 non à ̈ più necessario scartare un coefficiente ogni quattro, potendo inserire in U e V entrambi i coefficienti differenza. Si ottiene pertanto in ricezione la ricostruzione della mappa senza errori, a meno della perdita di precisione, pari a /-1 indotta dalla rappresentazione su interi senza segno di somme e differenze medie.

Soluzione con trasformata a sottobande, formato 4:2:2.

Applicando un solo livello di una qualsiasi trasformata a sottobande si divide l’immagine costituita dalla mappa di profondità in quattro sottobande con risoluzione dimezzata sia sulle righe sia sulle colonne, quindi con risoluzione W/2xH/2. Tali sottobande vengono generalmente indicate da destra a sinistra e dall’alto verso il basso come sottobande LL,LH,HL e HH. Utilizzando il formato YUV 4:2:2 à ̈ possibile rappresentare le trasformate di due mappe di profondità in una sola immagine a colori utilizzando la procedura illustrata in Figura 18, ove DM1’ e DM2’ indicano la trasformata a sottobande delle due mappe di profondità DM1 e DM2. A differenza della tecnica analoga proposta per il formato YUV 4:2:0 (vedi Figura 13) in questo caso à ̈ possibile collocare tutte e quattro le sottobande di DM1’ e DM2’. Nella soluzione proposta a titolo di esempio si forma un’immagine a colori di tipo top and bottom. Le componenti U,V sono costruite in modo da mantenere correlazione spaziale con le immagini corrispondenti di Y inserendo le sottobande LH e HH sottocampionate per colonne; in particolare le colonne pari vengono inserite sulla componente U, mentre le colonne dispari vengono inserite sulla componente V. Inserimento di una sola mappa.

Si noti che la presente invenzione può essere applicata anche al caso di presenza di una sola mappa di profondità. In questo caso le tecniche proposte permettono di costruire una immagine a colori, con una risoluzione dimezzata (per righe o per colonne) rispetto a quella della mappa di profondità originale.

Sistema completo di generazione e ricostruzione.

Le soluzioni proposte possono essere utilizzate per inviare a un sistema di visualizzazione una coppia di sequenze video stereoscopiche, unitamente alle rispettive mappe di profondità, permettendo la sintesi di qualsiasi punto di vista intermedio.

Nelle Figure 19a e 19b si mostra un esempio di sistema completo di generazione, ricostruzione e visualizzazione che fa uso del formato di frame packing noto come Tile Format, separando il lato generazione da quello di ricostruzione e visualizzazione.

In particolare nel sistema proposto due mappe di profondità a risoluzione WxH denominate in figura mappa di profondità sinistra DL (Depth Left) e destra DR (Depth Right) (ottenute eventualmente sottocampionando 4:1 due mappe di profondità delle due viste a dimensioni 2Wx2H) vengono fuse da un dispositivo detto “depth merger†in un'unica immagine YUV 4:2:0 a colori di risoluzione WxH adottando una delle tecniche proposte. Quindi il dispositivo Tile Format multiplexer costruisce il frame composito di tipo Tile Format a partire da due immagini stereoscopiche di risoluzione 2Wx2H e della rispettiva coppia di mappe di profondità di risoluzione WxH. La coppia di mappe di profondità occupa esattamente lo spazio libero lasciato dal formato di frame packing nell’angolo in basso a destra (vedi Figura 1). Si ottiene così un'unica immagine di risoluzione 3Wx3H in grado di trasportare tutte le componenti del segnale stereoscopico. Ponendo W=640 e H=360 si produce un’immagine Tile Format di risoluzione 1920x1080, compatibile con il formato video ad alta definizione noto come 1080p. Il segnale video costituito dalle immagini di tipo Tile Format diventa così compatibile con qualsiasi infrastruttura di codifica, trasmissione o trasporto di un segnale video 1920x1080.

Un codificatore (encoder) di tipo noto (per esempio MPEG4 o HEVC) può efficacemente comprimere il flusso video stereoscopico prodotto dal Tile Format multiplexer per essere trasmesso su un canale di comunicazione previi eventuali altri trattamenti (multiplazione con altri contenuti, modulazione, eccetera). In alternativa il flusso codificato può essere memorizzato da una unità di scrittura (Writing Unit) su un qualsiasi mezzo di archiviazione (memoria a semiconduttore volatile o non volatile, supporto opto-elettronico, eccetera) per una fruizione successiva.

A lato ricevitore (vedi Fig. 19b) il flusso video stereoscopico ricevuto dal canale di comunicazione o letto da un supporto di memorizzazione viene decodificato ed inviato al Tile Format Demultiplexer, il quale estrae la coppia di immagini stereoscopiche L ed R di risoluzione 2Wx2H e l’immagine a colori prodotta in fase di generazione dal Depth Merger. Un’ unità ripartitrice detta Depth Splitter estrae da detta immagine la coppia di mappe di profondità a colori di risoluzione WxH DL e DR, che possono essere espanse alla loro dimensione originale 2Wx2H da un semplice dispositivo di interpolazione di tipo noto detto Depth Upsampler. Un dispositivo di sintesi di vista (View Synthesizer) calcola le viste intermedie tra R ed L per la visualizzazione mediante un dispositivo di tipo auto stereoscopico.

Si noti che la descrizione degli apparati di generazione (1500) e ricostruzione (1550) di un flusso video stereoscopico ottenuto applicando l’invenzione sulle mappe di profondità à ̈ suscettibile di molte varianti. Pertanto à ̈ possibile per esempio che le funzioni del Depth Merger e del Tile Format multiplexer siano praticamente effettuate dallo stesso dispositivo fisico, mentre, dal lato della ricostruzione, la sintesi delle immagini stereoscopiche e la visualizzazione possono essere effettuate dallo stesso apparato o da due apparati distinti.

Operazioni di ricostruzione.

La ricostruzione delle mappe di profondità in accordo con l’invenzione prevede di effettuare operazioni inverse a quelle di generazione delle immagini a colori in accordo con le varianti sopra descritte.

In particolare, il metodo per la ricostruzione di almeno una mappa di profondità (DM1, DM2) a partire da una immagine a colori composta da una pluralità di componenti (Y, U, V), prevede di inserire nella mappa di profondità un primo insieme di pixel prelevati dalla componente di luminanza (Y), un secondo insieme di pixel prelevati da una delle componenti di crominanza (U) e un terzo insieme di pixel prelevati dall’altra componente di crominanza (V) di detta immagine a colori (Y, U, V).

Preferibilmente ricopiando il primo, secondo e terzo insieme di pixel si ottengono tutti i pixel di detta almeno una mappa di profondità ; oppure ricopiando il primo, secondo e terzo insieme di pixel si ottengono alcuni pixel della mappa di profondità, e i pixel mancanti vengono ottenuti mediante operazioni di interpolazione dei pixel ricopiati.

In possibili varianti il secondo e terzo insieme (U e V) contengono differenze rispetto a valori interpolati, per cui in ricostruzione bisogna prima calcolare i valori interpolati e poi applicare le correzioni ricavate da U e V.

In possibili varianti il metodo comprende il passo di sostituire i valori (w0, w1, wd) prelevati dal primo, secondo e terzo insieme di pixel dell’immagine a colori con loro somme e differenze che permettono di ricostruire i valori (a, b, c, d) da copiare in un blocco di pixel della mappa di profondità (DM1, DM2).

In ulteriori possibili varianti il metodo prevede di effettuare una trasformazione di dominio inversa rispetto a quella effettuata in fase di generazione per ottenere detta mappa di profondità (DM1,DM2), dopo aver ricopiato gli insiemi di pixel delle componenti (Y, U, V) dell’immagine a colori.

L’apparato per la ricostruzione di almeno una mappa di profondità (DM1, DM2) a partire da una immagine a colori composta dalle componenti Y, U, V, secondo l’invenzione, comprende mezzi di inserimento nella almeno una mappa di profondità o disparità di un primo insieme di pixel prelevati dalla componente di luminanza (Y), di un secondo insieme di pixel prelevati da una delle componenti di crominanza (U) e di un terzo insieme di pixel prelevati dall’altra componente di crominanza (V) di detta immagine a colori (Y, U, V).

Preferibilmente in detto apparato, il primo, secondo e terzo insieme di pixel ricoprono tutti i pixel della almeno una mappa di profondità o disparità.

Alternativamente il primo, secondo e terzo insieme di pixel ricoprono alcuni pixel della almeno una mappa di profondità o disparità, e nei pixel rimanenti vengono inseriti pixel ottenuti da operazioni di interpolazione dei pixel ricopiati.

L’apparato à ̈ in grado di ricostruire due mappe di profondità DM1, DM2 aventi le stesse dimensioni WxH e l’immagine a colori Y,U,V ha la componente di luminanza Y delle stesse dimensioni WxH delle due mappe di profondità o disparità DM1, DM2.

Preferibilmente l’apparato comprende mezzi per effettuare una somma o una differenza dei valori dei pixel selezionati da un gruppo di pixel rispetto a un valore di riferimento predetto o interpolato, quest’ultimo valore essendo ricavato da valori di pixel appartenenti al primo insieme, per ottenere i pixel del secondo e terzo insieme.

Preferibilmente l’apparato comprende mezzi di sostituzione dei valori w0, w1, wd prelevati dal primo, secondo e terzo insieme di pixel dell’immagine a colori con loro somme e differenze, in modo da ricostruire i valori a,b,c,d da copiare in un blocco di pixel della almeno una mappa di profondità DM1, DM2.

Preferibilmente l’apparato comprende mezzi per effettuare una trasformazione di dominio inversa rispetto a quella effettuata in fase di generazione per ottenere detta almeno una mappa di profondità DM1,DM2, dopo avere ricopiato gli insiemi di pixel di dette componenti Y, U, V dell’immagine a colori.

Nel caso di inserimento delle mappe di profondità in un frame composito tile-format, in tutte le varianti su descritte, si ottiene un formato universale per generare, trasportare e riprodurre contenuti 3D su tutti i tipi di display presenti e futuri.

In caso di dispositivo riproduttore 2D, il processore video del dispositivo scarta semplicemente le immagini R e le mappe di profondità DM1 e DM2 eventualmente presenti nei frame video decodificati e visualizza, previo scalamento, la sola sequenza delle immagini L su un associato dispositivo di visualizzazione.

La stessa cosa avviene nel caso di un dispositivo riproduttore 3D in cui à ̈ stata attivata dall’utente la modalità di visualizzazione 2D.

In caso di dispositivo riproduttore 3D in cui à ̈ attivata la modalità di visualizzazione 3D, vi sono due comportamenti diversi a seconda che il riproduttore offra o meno all’utente la possibilità di regolazione di profondità (in diminuzione) della scena. Nel secondo caso il processore video utilizza le due sequenze d’immagini L (Left) e R (Right) per generare l’effetto tridimensionale. Nel primo caso il processore video utilizza le mappe di profondità (una o due) presenti nei frame compositi associati a ogni coppia di immagini stereoscopiche R ed L, per generare viste intermedie fra L ed R, ottenendo così immagini tridimensionali aventi profondità variabile ed inferiore a quella ottenibile da L ed R.

L’ultimo caso di utilizzo à ̈ costituito dai riproduttori autostereoscopici che necessitano di un numero di viste molto elevato (alcune decine) per generare l’effetto di tridimensionalità per spettatori situati in punti diversi dello spazio antistante al display. In tal caso il processore video utilizza le mappe di profondità (una o due) presenti nei frame compositi, insieme alle immagini L ed R stesse, per sintetizzare una serie di altre immagini.

In conclusione, il processore video del dispositivo riproduttore può comprendente mezzi atti ad inviare al display due sequenze di immagini, di cui almeno una à ̈ costituita da immagini sintetizzate a partire da almeno una delle viste trasmesse e da almeno una mappa di profondità. In questo caso, preferibilmente, esso comprende inoltre mezzi atti a consentire allo spettatore di scegliere sequenze di immagini relative a punti di vista più o meno ravvicinati, in modo tale da variare la percezione di profondità.

Il processore video del dispositivo riproduttore può inoltre comprendere mezzi atti a generare ulteriori immagini corrispondenti ad ulteriori viste, per fare in modo che spettatori situati in punti diversi dello spazio possano visualizzare sequenze di immagini diverse tramite un associato display di tipo auto-stereoscopico.

Nessuno dei formati finora proposti consente tale flessibilità e ampiezza d’uso, mantenendo al contempo una ottima qualità di riproduzione in termini di bilanciamento della risoluzione orizzontale e verticale e di appropriata assegnazione della risoluzione alle immagini stereoscopiche e alle associate mappe di profondità.

Le operazioni di ricostruzione sopra descritte possono essere eseguite in parte nel dispositivo ricevitore ed in parte nel dispositivo di visualizzazione (riproduttore).La presente invenzione può essere vantaggiosamente realizzata tramite un programma per computer che comprende mezzi di codifica per la realizzazione di uno o più passi del metodo. Pertanto si intende che l’ambito di protezione si estende a detto programma per computer ed inoltre a mezzi leggibili da computer che comprendono un messaggio registrato, detti mezzi leggibili da computer comprendendo mezzi di codifica di programma per la realizzazione di uno o più passi del metodo, quando detto programma à ̈ eseguito su di un computer.

Sono possibili varianti realizzative all'esempio non limitativo descritto, senza per altro uscire dall’ambito di protezione della presente invenzione, comprendendo tutte le realizzazioni equivalenti per un tecnico del ramo.

La presente descrizione si à ̈ soffermata a forme di realizzazione dell’invenzione in cui il sistema di campionatura utilizzato per le immagini a colori à ̈ 4:2:0 o 4:2:2, che sono quelli più ampiamente diffusi nella pratica. Essa si può parimenti applicare a qualsiasi altro sistema di campionatura, quale per esempio 4:4:4, 4:1:1, 4:1:0, adottando ove necessario operazioni di sottocampionamento dell’immagine a livelli di grigio di partenza.

Gli elementi e le caratteristiche illustrate nelle diverse forme di realizzazione preferite possono essere combinati tra loro senza peraltro uscire dall’ambito di protezione della presente invenzione.

Dalla descrizione sopra riportata il tecnico del ramo à ̈ in grado di realizzare l’oggetto dell’invenzione senza introdurre ulteriori dettagli costruttivi.

Claims (22)

1. RIVENDICAZIONI 1. Metodo per la generazione di un’immagine a colori composta da una pluralità di componenti (Y, U, V), a partire da almeno una mappa di profondità o disparità (DM1, DM2), in cui sono inseriti nella componente di luminanza (Y) di detta immagine a colori un primo insieme di pixel di detta almeno una mappa di profondità o disparità (DM1, DM2), e in cui sono inseriti nelle due componenti di crominanza (U, V) di detta immagine a colori un secondo e un terzo insieme di pixel di detta almeno una mappa di profondità o disparità (DM1, DM2).
2. 2. Metodo come la rivendicazione 1, in cui la scelta delle posizioni in cui collocare i pixel di detti insiemi in dette componenti di luminanza (Y) e crominanza (U, V) Ã ̈ fatta in modo da garantire la correlazione spaziale tra la componente di luminanza (Y) e le componenti di crominanza (U, V) di detta immagine a colori.
3. 3. Metodo come la rivendicazione 1 o 2, in cui l’unione di detti primo, secondo e terzo insieme comprende tutti i pixel di detta almeno una mappa di profondità o disparità (DM1, DM2).
4. 4. Metodo come la rivendicazione 1 o 2, in cui detti primo, secondo e terzo insieme comprendono solo una parte di tutti i pixel di detta almeno una mappa di profondità o disparità (DM1, DM2)
5. 5. Metodo come una qualsiasi delle rivendicazioni precedenti, in cui due mappe di profondità o disparità (DM1, DM2) di dimensioni WxH sono inserite in un’ immagine a colori delle stesse dimensioni, usando una tecnica side by side oppure top and bottom.
6. 6. Metodo come una qualsiasi delle rivendicazioni precedenti, in cui i pixel di detti secondo e terzo insieme appartenenti a un gruppo di pixel vengono sostituiti con valori differenza rispetto ad un valore predetto o interpolato, quest’ultimo essendo ricavato da valori di pixel appartenenti a detto primo insieme.
7. 7. Metodo come una qualsiasi delle rivendicazioni da 1 a 4, comprendente il passo di sostituire i pixel di detta almeno una mappa di profondità o disparità (DM1, DM2) appartenenti a un gruppo di pixel contigui (a,b,c,d) con loro somme e differenze (w0, w1, w2, w3), collocando le somme nella componente di luminanza (Y) e scegliendo una sola delle differenze (wd) da collocare alternativamente sulle componenti di crominanza (U, V).
8. 8. Metodo come una qualsiasi delle rivendicazioni da 1 a 4, comprendente il passo di sostituire i pixel di detta almeno una mappa di profondità o disparità (DM1, DM2) appartenenti a un gruppo di pixel contigui (a,b,c,d) con loro somme e differenze (w0, w1, w2, w3), collocando le somme nella componente di luminanza (Y), la prima delle due differenze in una componente di crominanza (U) e la seconda nell’altra componente di crominanza (V).
9. 9. Metodo come una qualsiasi delle rivendicazioni precedenti, comprendente il passo di sottoporre la detta almeno una mappa di profondità o disparità (DM1, DM2) a una trasformazione di dominio prima di inserire detti insiemi di pixel in dette componenti dell’immagine a colori (Y, U, V).
10. 10. Metodo per generare un flusso video comprendente una sequenza di immagini a colori, ottenuta utilizzando un metodo secondo una delle rivendicazioni precedenti.
11. 11. Metodo per generare un flusso video facente uso del formato di frame-packing tile-format, in cui nella parte di frame libera da pixel di immagini relative alle due viste stereoscopiche si inserisce un’immagine a colori come in una qualsiasi delle rivendicazioni da 1 a 9.
12. 12. Apparato comprendente mezzi di elaborazione delle immagini atti a generare un flusso video comprendente una sequenza di immagini a colori, ottenuta utilizzando un metodo secondo una delle rivendicazioni precedenti.
13. 13. Metodo per la ricostruzione di almeno una mappa di profondità o disparità (DM1, DM2) a partire da una immagine a colori composta da una pluralità di componenti (Y, U, V), in cui vengono inseriti in detta almeno una mappa di profondità o disparità un primo insieme di pixel prelevati dalla componente di luminanza (Y), un secondo insieme di pixel prelevati da una delle componenti di crominanza (U) e un terzo insieme di pixel prelevati dall’altra componente di crominanza (V) di detta immagine a colori (Y, U, V).
14. 14. Metodo come nella rivendicazione 13, in cui ricopiando detti primo, secondo e terzo insieme di pixel si ottengono tutti i pixel di detta almeno una mappa di profondità o disparità.
15. 15. Metodo come nella rivendicazione 13 o 14, in cui ricopiando detti primo, secondo e terzo insieme di pixel si ottengono alcuni pixel di detta almeno una mappa di profondità o disparità, e i pixel mancanti vengono ottenuti mediante operazioni di interpolazione dai pixel ricopiati.
16. 16. Metodo come una qualsiasi delle rivendicazioni da 13 a 15, in cui ricopiando detti primo, secondo e terzo insieme di pixel si ottengono due mappe di profondità o disparità (DM1, DM2) aventi le stesse dimensioni (WxH) di detta immagine a colori (Y,U,V).
17. 17. Metodo come una qualsiasi delle rivendicazioni da 13 a 16, in cui i pixel di detti secondo e terzo insieme vengono ricavati effettuando una somma o una differenza dei valori dei pixel selezionati da un gruppo di pixel rispetto a un valore di riferimento predetto o interpolato, detto valore di riferimento interpolato essendo ricavato da valori di pixel appartenenti a detto primo insieme.
18. 18. Metodo come una qualsiasi delle rivendicazioni da 13 a 17, comprendente il passo di utilizzare i valori w0, w1, wd prelevati dal detto primo, secondo e terzo insieme di pixel dell’immagine a colori, al fine di ricostruire i valori (a,b,c,d) da copiare in almeno una mappa di profondità o disparità (DM1, DM2).
19. 19. Metodo come una qualsiasi delle rivendicazioni da 13 a 17, comprendente il passo di utilizzare i valori w0, w1, w2, w3 prelevati dal detto primo, secondo e terzo insieme di pixel dell’immagine a colori, al fine di ricostruire i valori (a,b,c,d) da copiare in almeno una mappa di profondità o disparità (DM1, DM2).
20. 20. Metodo come una qualsiasi delle rivendicazioni da 13 a 18, in cui dopo aver ricopiato detti insiemi di pixel di dette componenti (Y, U, V) dell’immagine a colori viene effettuata una trasformazione di dominio inversa rispetto a quella effettuata in fase di generazione per ottenere detta almeno una mappa di profondità (DM1,DM2).
21. 21. Metodo per la ricostruzione di un flusso video facente uso del formato di frame-packing tileformat, comprendente passi per la ricostruzione di almeno una mappa di profondità o disparità (DM1, DM2), a partire da una immagine a colori presente nella parte di frame libera da pixel di immagini relative alle due viste stereoscopiche, secondo una qualsiasi delle rivendicazioni da 13 a 20.
22. 22. Apparato per la ricostruzione di almeno una mappa di profondità o disparità (DM1, DM2) a partire da una immagine a colori composta dalle componenti Y, U, V, comprendente mezzi per la realizzazione del metodo secondo una qualsiasi delle rivendicazioni da 13 a 21.