ITTO20110439A1 - Method for generating, transmitting and receiving stereoscopic images, and related devices - Google Patents

Description

“METODO PER LA GENERAZIONE, TRASMISSIONE E RICEZIONE DI IMMAGINI STEREOSCOPICHE E RELATIVI DISPOSITIVIâ€

DESCRIZIONE

CAMPO TECNICO

La presente invenzione si riferisce alla generazione, memorizzazione, trasmissione, ricezione e riproduzione di flussi video stereoscopici, ossia flussi video che, elaborati in modo opportuno in un dispositivo di visualizzazione, producono sequenze di immagini del tipo che vengono percepite come tridimensionali da un osservatore.

Come noto, la percezione della tridimensionalità può essere ottenuta riproducendo due immagini destinate rispettivamente all’occhio destro e all’occhio sinistro dell’osservatore.

Un flusso video stereoscopico trasporta quindi le informazioni di due sequenze di immagini corrispondenti alle prospettive destra e sinistra di un oggetto o una scena.

L’invenzione si riferisce in particolare ad un metodo ed un relativo dispositivo per multiplexare le due immagini relative alla prospettiva destra e sinistra (di seguito indicate come immagine destra e immagine sinistra) all’interno di un’immagine composita che costituisce un fotogramma del flusso video stereoscopico, e per questo nel seguito viene detta anche fotogramma contenitore.

L’invenzione si riferisce, inoltre, a un metodo ed un relativo dispositivo per de-multiplexare tale immagine composita, ovvero per estrarre da questa le immagini destra e sinistra inserite dal dispositivo di multiplexing.

ARTE NOTA

Onde ridurre la banda necessaria per trasmettere un flusso video stereoscopico, Ã ̈ noto multiplexare le immagini destra e sinistra in un'unica immagine composita di un flusso video stereoscopico.

Un primo esempio di multiplexing à ̈ costituito dal cosiddetto side-by-side, in cui l’immagine destra e l’immagine sinistra vengono sotto-campionate orizzontalmente e collocate una di fianco all’altra nello stesso fotogramma di un flusso video stereoscopico.

Questo tipo di multiplexing presenta l’inconveniente di dimezzare la risoluzione orizzontale lasciando invariata la risoluzione verticale.

Un altro esempio di multiplexing à ̈ costituito dal cosiddetto top-bottom, in cui l’immagine destra e l’immagine sinistra vengono sotto campionate verticalmente e collocate una sopra all’altra nello stesso fotogramma di un flusso video stereoscopico.

Questo tipo di multiplexing presenta l’inconveniente di dimezzare la risoluzione verticale lasciando invariata la risoluzione orizzontale.

Esistono poi metodi più sofisticati come ad esempio quello noto dalla domanda di brevetto WO03/088682. Questa domanda descrive l’uso di un campionamento a scacchiera per la decimazione del numero di pixel che compongono le immagini destra e sinistra. I pixel selezionati per i fotogrammi delle immagini destra e sinistra vengono compressi “geometricamente†nel formato side-by-side (le lacune create nella colonna 1 dall’asportazione dei pixel vengono riempite con i pixel della colonna 2, e così via). Al momento della decodifica per la presentazione sul display, i fotogrammi delle immagini destra e sinistra vengono riportati al loro formato originale e i pixel mancanti vengono ricostruiti applicando opportune tecniche d’interpolazione. Questo metodo permette di mantenere costante il rapporto tra risoluzione orizzontale e verticale, tuttavia riduce la risoluzione diagonale ed inoltre altera la correlazione tra i pixel dell’immagine introducendo componenti spettrali spaziali ad alta frequenza altrimenti assenti. Questo può causare una diminuzione di efficienza della successiva fase di compressione (ad esempio una compressione MPEG2 o MPEG4 o H.264), con un corrispondente aumento del bit-rate del flusso video compresso.

Ulteriori metodi di multiplexing delle immagini destra e sinistra sono noti dalla domanda di brevetto WO2008/153863. Uno di questi metodi prevede di effettuare uno scaling al 70% dell’immagine destra e sinistra; successivamente le immagini scalate vengono spezzettate in blocchi di 8x8 pixel.

I blocchi di ciascuna delle immagini scalate possono essere compattati in un’area pari a circa metà dell’immagine composita.

Questo metodo presenta l’inconveniente che la ridistribuzione dei blocchi modifica la correlazione spaziale tra i blocchi componenti l’immagine introducendo componenti spettrali spaziali ad alta frequenza e riduce quindi l’efficienza della compressione.

Inoltre, le operazioni di scaling e la segmentazione di ogni immagine in un elevato numero di blocchi comportano un elevato costo computazionale e conseguentemente una maggiore complessità dei dispositivi di multiplexing e demultiplexing.

Un altro di questi metodi prevede di applicare uno scaling diagonale ad ogni immagine destra e sinistra, cosicché l’immagine originale à ̈ deformata in un parallelogramma. Successivamente i due parallelogrammi vengono scomposti in regioni triangolari e si compone un’immagine composita rettangolare in cui vengono riorganizzate e disposte le regioni triangolari ottenute dalla scomposizione dei due parallelogrammi. Le regioni triangolari dell’immagine destra e di quella sinistra vengono organizzate in modo tale da essere separate da una diagonale dell’immagine composita.

Come le soluzioni top-bottom e side-by-side, questa soluzione presenta lo svantaggio di alterare il rapporto (balance) tra risoluzione orizzontale e verticale. Inoltre la suddivisione in un numero elevato di regioni triangolari ridisposte all’interno del fotogramma stereoscopico fa sì che la successiva compressione (ad es. MPEG2, MPEG4 o H.264), precedente alla trasmissione sul canale di comunicazione, generi degli artefatti nelle zone di confine tra le regioni triangolari. Tali artefatti possono, ad esempio, essere prodotti da una procedura di motion estimation prevista da una compressione secondo lo standard H.264.

Ulteriore svantaggio di questa soluzione à ̈ legato alla complessità computazionale richiesta dalle operazioni di scaling delle immagini destra e sinistra, e delle successive operazioni di segmentazione e rototraslazione delle regioni triangolari.

Il richiedente ha depositato la domanda di brevetto internazionale PCT/IB2010/055918, divulgando un metodo, come definito nella rivendicazione 1 come depositato, per generare un flusso video stereoscopico comprendente immagini composite, dette immagini composite comprendono informazioni riguardanti un’immagine destra ed un'immagine sinistra, in cui i pixel di detta immagine destra ed i pixel di detta immagine sinistra vengono selezionati,e detti pixel vengono inseriti in un’immagine composita di detto flusso video stereoscopico, il metodo à ̈ caratterizzato dal fatto che tutti i pixel di detta immagine destra e tutti i pixel di detta immagine sinistra vengono inseriti in detta immagine composita lasciando inalterata una delle due immagini e rompendo l’altra in due regioni comprendenti una pluralità di pixel ed inserendo dette regioni in detta immagine composita. Detto metodo si riferisce in particolare alla suddivisione dell’altra immagine in tre regioni rettangolari, e a come organizzare dette tre regioni nell’immagine composita.

Comunque il metodo sopra descritto lascia un certo spazio ai miglioramenti, dovuti principalmente ai seguenti problemi. Se il numero delle regioni potesse essere ridotto, ciò permetterebbe di ridurre le risorse computazionali necessarie entrambe al lato di codifica ed al lato di decodifica. Inoltre, dato che gli antefatti introdotti dalla tecnica di compressione sono sostanzialmente concentrati lungo i confini interni, se la lunghezza di detti confini interni potesse essere ridotta, potrebbe essere ridotto anche il degrado della qualità dell’immagine ricostruita, specialmente in caso di tassi di compressione elevati.

BREVE DESCRIZIONE DELL’INVENZIONE

Scopo della presente invenzione à ̈ di presentare un metodo di multiplexing ed un metodo di de-multiplexing (e relativi dispositivi) delle immagini destra e sinistra che permettano di superare gli inconvenienti dell’arte nota.

In particolare à ̈ scopo della presente invenzione quello di presentare un metodo di multiplexing ed un metodo di demultiplexing (e relativi dispositivi) delle immagini destra e sinistra che permettano di preservare l’equilibrio (balance) fra la risoluzione orizzontale e verticale.

E’ ulteriore scopo della presente invenzione quello di presentare un metodo di multiplexing (e relativo dispositivo) delle immagini destra e sinistra che permetta poi l’applicazione di un’elevata compressione minimizzando la generazione di distorsioni o di artefatti.

E’ ancora scopo della presente invenzione quello di presentare un metodo di multiplexing ed un metodo di demultiplexing (e relativi dispositivi) caratterizzati da un ridotto costo computazionale.

Ulteriore oggetto di questa invenzione à ̈ fornire un metodo multiplexing e un metodo de-multiplexing (ed i relativi dispositivi) caratterizzati da una minor presenza di artefatti e degradazione della qualità dell’immagine nell’immagine riassemblata.

Questi ed altri scopi della presente invenzione sono raggiunti mediante un metodo di multiplexing ed un metodo di de-multiplexing (e relativi dispositivi) delle immagini destra e sinistra, incorporanti le caratteristiche delle rivendicazioni allegate, le quali formano parte integrante della presente descrizione.

L’idea generale alla base della presente invenzione à ̈ quella di inserire due immagini all’interno di un’immagine composita il cui numero di pixel sia maggiore o uguale alla somma dei pixel delle due immagini da multiplexare, ad esempio l’immagine destra e quella sinistra.

I pixel della prima immagine (ad es. immagine sinistra) vengono inseriti all’interno dell’immagine composita senza alterazione, mentre la seconda immagine viene suddivisa in regioni i cui pixel vengono disposti in aree libere dell’immagine composita.

Questa soluzione offre il vantaggio che una delle due immagini viene lasciata inalterata, con conseguente miglioramento della qualità dell’immagine ricostruita.

La seconda immagine viene scomposta in due regioni, in modo tale da massimizzare la correlazione spaziale tra pixel e da ridurre la generazione di artefatti in fase di compressione. Suddividendo una delle due immagini stereoscopiche in tre regioni si impedisce alla maggior parte dei decoder esistenti di ricostruire l’immagine senza l’aggiunta di funzioni ad hoc, a causa della mancanza di risorse appropriate; riducendo la suddivisione in due regioni può permettere ai decoder esistenti provvisti della funzione Picture in Picture (PIP) di usarla per riassemblare l’immagine così da ridurre la quantità di modifiche software necessarie per attuare l’invenzione nei decoder attuali.

Particolare oggetto della presente invenzione à ̈ un metodo per generare un flusso video stereoscopico comprendente immagini composite, dette immagini composite comprendono informazioni riguardanti un immagine destra ed un immagine sinistra, in cui vengono selezionati i pixel di detta immagine destra (R) ed i pixel di detta immagine sinistra, e detti pixel selezionati sono inseriti in un immagine composita di detto flusso video stereoscopico, il metodo à ̈ caratterizzato dal fatto che tutti i pixel di detta immagine destra e tutti i pixel di detta immagine sinistra sono inseriti in posizioni differenti di detta immagine composita, lasciando una di dette due immagini immutata e suddividendo l’altra in due regioni (R1, R2) comprendendo una pluralità di pixel ed inserendo dette regioni in un’immagine composita.

Ulteriori oggetti della presente invenzione sono un metodo per la ricostruzione di un paio di immagini partendo da un’immagine composita, ed un flusso video stereoscopico.

Ulteriori scopi e vantaggi della presente invenzione appariranno maggiormente chiari dalla descrizione che segue di alcuni esempi di realizzazione forniti a titolo esplicativo e non limitativo.

BREVE DESCRIZIONE DELLE FIGURE

Tali esempi di realizzazione vengono descritti con riferimento ai disegni allegati, in cui:

La figura 1 mostra uno schema a blocchi di un dispositivo per multiplexare l’immagine destra e l’immagine sinistra in un’immagine composita;

La figura 2 Ã ̈ un diagramma di flusso di un metodo eseguito dal dispositivo di figura 1;

La figura 3 mostra una prima fase di costruzione di un’immagine composita secondo una forma di realizzazione della presente invenzione;

La figura 4 mostra una prima forma di smontaggio di un’immagine da inserire in un’ immagine composita;

Fig. 5a e 5b mostrano una prima ed una seconda forma di un’immagine composita che include l’immagine della Fig.4.

La figura 6 mostra una seconda forma di scomposizione di un’immagine da inserire in un’immagine composita.

Fig. 7a e 7b mostrano una prima ed una seconda forma di un’immagine composita in cui à ̈ inserita l’immagine di figura La figura 8 mostra una terza forma di scomposizione di un’immagine da inserire in un’immagine composita.

Fig. 9a e 9b mostrano una prima ed una seconda forma di un’immagine composita in cui à ̈ inserita l’immagine di figura 8.

Fig. 10 mostra una quarta forma di smontaggio di un’immagine da inserire in un’immagine composita.

Fig. 11a e 11b mostra una prima ed una seconda forma di un’immagine composita che include l’immagine di Fig. 10.

Fig. 12 mostra una regione di confine dell’immagine di smontaggio da replicare nell’immagine composita.

Fig. 13 – mostra un metodo possible per posizionare la Fig. 12 nell’immagine composita.

Fig. 14 mostra che la sub-regione della regione di confine delle figure 12 e 13 può essere estratta dall’immagine composita.

Fig. 15 mostra come la sub-regione della Fig. 14 può essere sovrascritta nell’immagine riassemblata per eliminare gli artefatti nell’immagine ricostruita dopo il riassemblaggio. Fig. 16 mostra uno schema a blocchi di un ricevitore per ricevere un’immagine composita generata secondo il metodo della presente invenzione.

Fig. 17 mostra alcune fasi di ricostruzione delle immagini destra e sinistra contenute in un’immagine composita seconda qualsiasi forma mostrata nelle figure precedenti.

Dove appropriato, strutture, componenti, materiali e/o elementi simili mostrati in figure differenti sono indicati da identificativi simili.

DESCRIZIONE DETTAGLIATA DELL’INVENZIONE

In figura 1 viene mostrato lo schema a blocchi di un dispositivo 100 per generare un flusso video stereoscopico 101.

In figura 1, il dispositivo 100 riceve in ingresso due sequenze d’immagini 102 e 103, ad esempio due flussi video, destinate rispettivamente all’occhio sinistro (L) ed all’occhio destro (R).

Il dispositivo 100 permette di realizzare un metodo di multiplexing di due immagini delle due sequenze 102 e 103.

Al fine di eseguire il metodo di multiplexing delle immagini destra e sinistra, il dispositivo 100 comprende un modulo di scomposizione 104 per scomporre un’immagine ricevuta in ingresso (nell’esempio di figura 1 l’immagine destra) in due sottoimmagini corrispondenti ognuna ad una regione dell’immagine ricevuta in ingresso, ed un modulo di assemblaggio 105 in grado di inserire i pixel d’immagini ricevute in ingresso in un’unica immagine composita che viene fornita in uscita.

Un esempio di un metodo di multiplexing eseguito dal dispositivo 100 viene ora descritto con riferimento alla figura 2.

Il metodo inizia al passo 200, successivamente (passo 201) una delle due immagini (destra o sinistra) in ingresso, viene scomposta in due regioni come mostrato in figura 3. Nell’esempio di figura 3 l’immagine scomposta à ̈ un fotogramma R di un flusso video 720p, ossia formato progressivo con risoluzione 1280 x 720 pixel.

Il frammento R della Fig. 3 proviene dal flusso video 103 che trasporta le immagini destinate all’occhio destro, ed à ̈ smontato in due regioni R1 e R2.

Lo smontaggio dell’immagine R si ottiene dividendola in due parti.

La regione rettangolare R1 misura 640x360 pixel e si ottiene prendendo i primi 640 pixel delle prime 360 file. La regione R2 Ã ̈ a forma di L, e si ottiene prendendo i pixel da 641 a 1280 delle prime 360 file e tutti i pixel delle rimanenti 360 file.

Nell’esempio della Fig. 1, l’operazione di smontaggio dell’immagine R viene effettuata dal modulo 104, che riceve un’immagine input R (in questo caso il frammento R) e due sub-immagini output (per esempio due gruppi di pixel)che corrispondono alle due regioni R1, e R2.

Successivamente (passi 202 e 203) viene costruita l’immagine composita C comprendente le informazioni delle due immagini destra e sinistra ricevute in ingresso; nell’esempio qui di seguito descritto tale immagine composita C costituisce un fotogramma del flusso video stereoscopico in uscita, e pertanto viene anche detta fotogramma contenitore.

Innanzi tutto (passo 202) l’immagine ricevuta in ingresso dal dispositivo 100 e non scomposta dal dispositivo 104 (nell’esempio di figura 1 l’immagine sinistra L) viene inserita senza alterazioni all’interno di un fotogramma contenitore di dimensioni tale da comprendere tutti i pixel delle due immagini ricevute in ingresso. Ad esempio, se le immagini ricevute in ingresso hanno dimensione 1280x720 pixel, allora un fotogramma contenitore adatto a contenerle entrambe à ̈ un fotogramma con 1920x1080 pixel, ad esempio un fotogramma di un flusso video di tipo 1080p (formato progressivo 1920 x 1080 pixel).

Nell’esempio di figura 4, l’immagine sinistra L viene inserita nel fotogramma contenitore C posizionandola in alto a sinistra. Ciò à ̈ ottenuto copiando i 1280x720 pixel dell’immagine L in un’area C1 costituita dai primi 1280 pixel delle prime 720 righe del fotogramma contenitore C.

Nel prosieguo della presente descrizione, quando si fa riferimento all’inserimento di un’immagine all’interno di un fotogramma, o al trasferimento o copiatura di pixel da un fotogramma ad un altro, s’intende fare riferimento ad una procedura per cui si genera (con mezzi hardware e/o software) un nuovo fotogramma comprendente dei pixel uguali a quelli dell’immagine sorgente.

Ai fini della presente descrizione le tecniche (software e/o hardware) per riprodurre in un’immagine destinazione un’immagine sorgente (o un gruppo di pixel di un’immagine sorgente) sono ritenute irrilevanti e non vengono qui approfondite in quanto di per sé note ad un tecnico del settore.

Successivamente, passo 203, l’immagine scomposta al passo 201 dal modulo 104 viene inserita nel fotogramma contenitore. Ciò viene ottenuto dal modulo 105 copiando i pixel dell’immagine scomposta all’interno del fotogramma contenitore C nelle aree non occupate dall’immagine L, ossia esterne all’area C1.

Al fine di garantire la miglior compressione possibile e ridurre la generazione di artefatti in fase di decompressione del flusso video, i pixel delle sottoimmagini in uscita dal modulo 104 vengono copiati mantenendo le rispettive relazioni spaziali. In altre parole le regioni R1 ed R2 vengono copiate in rispettive aree del fotogramma C senza alcuna deformazione.

Un esempio del fotogramma contenitore C in uscita dal modulo 105 Ã ̈ mostrato in figura 5a.

La regione rettangolare R1 viene copiata negli ultimi 640 pixel delle prime 360 file del frammento composito C (area C2), per esempio accanto all’immagine precedentemente copiata. La regione R2 a forma di L viene copiata sotto la zona C2, ovvero nella zona C3, che comprende gli ultimi 640 pixel delle righe dalla 361 alla 720 più gli ultimi 1280 pixel delle ultime 360 file.

Le operazioni d’inserimento delle immagini L ed R nel fotogramma contenitore non comportano alcuna alterazione del bilanciamento tra risoluzione orizzontale e verticale.

Rimane una regione rettangolare nel quadro C composta dai primi 640 pixel delle ultime 360 file (regione C2’) che può essere utilizzata per altri scopi: per esempio per i dati accessori o di segnalazione: à ̈ rappresentato leggermente oscurato nella figura 5a e anche nelle altre figure.

Se tale regione di ricambio non viene utilizzata, i medesimi valori RGB vengono assegnati ai rimanenti pixel del frammento C; per esempio detti pixel rimanenti possono essere tutti neri.

Completato il trasferimento delle due immagini ricevute in ingresso (ed eventualmente della segnalazione) nel fotogramma contenitore, il metodo realizzato dal dispositivo 100 termina ed il fotogramma contenitore può essere compresso e trasmesso su un canale di comunicazione e/o registrato su un opportuno supporto (ad es. CD, DVD, Blu-ray, memorie di massa, ecc…). Dato che le operazioni di multiplexing sopra esposte non alterano le relazioni spaziali tra i pixel di una medesima regione o immagine, à ̈ possibile comprimere notevolmente il flusso video in uscita dal dispositivo 100 mantenendo alta la possibilità di ricostruire l’immagine in modo molto fedele rispetto a quella trasmessa senza creare artefatti significativi.

Prima di passare alla descrizione di ulteriori forme di realizzazione, si sottolinea che la divisione del fotogramma R in due regioni R1 ed R2, corrisponde alla divisione del fotogramma nel numero minimo possibile di regioni tenuto conto dello spazio disponibile nell’immagine composita e dello spazio occupato dall’immagine sinistra inserita senza alterazioni nel fotogramma contenitore.

Tale numero minimo à ̈, in altre parole, il numero minimo di regioni necessario per occupare lo spazio lasciato libero dall’immagine sinistra nel fotogramma contenitore C.

In generale, quindi, in funzione del formato delle immagini sorgenti (immagini destra e sinistra) e dell’immagine composita (fotogramma contenitore C) di destinazione, s’individua il numero minimo di regioni in cui dividere l’immagine da scomporre.

In altre parole, secondo l’invenzione, l’immagine R può essere suddivisa solo in due regioni R1 e R2, nel modo illustrato in Fig.4. In pratica, le due immagini L e R vengono posizionate agli angoli opposti dell’immagine composita C, in particolare rispettivamente all’apice dell’angolo sinistro e al fondo dell’angolo destro. La parte R1 dell’immagine R che à ̈ sovrapposta all’immagine L può essere spostata sia all’apice dell’angolo destro, sia al fondo dell’angolo sinistro.

La parte R2 dell’immagine non sovrapposta all’immagine L, situata al fondo dell’angolo destro, ha la forma di un poligono irregolare con sei lati. In questo modo la seconda immagine viene suddivisa in un minimo numero di regioni (due).

Il vantaggio di questa soluzione à ̈ che la lunghezza totale dei confini interni viene minimizzata, ciò contribuisce a diminuire la generazione di artefatti durante la fase di compressione, e a massimizzare la correlazione spaziale tra i pixel.

In aggiunta vengono ridotti i costi computazionali richiesti dalla suddivisione dell’immagine R e dalla copiatura delle due sub-immagini nel frammento C composito, semplificando così la struttura degli apparati multiplexing e demultiplexing e la complessità delle procedure di montaggio e smontaggio.

L’organizzazione mostrata in Fig. 5a rappresenta solo un primo modo per disporre le due immagini nel frammento composito C secondo la presente invenzione: la Fig.5b mostra una struttura alternativa a quella della Fig.5a in cui la regione R1 viene posizionata nei primi 640 pixel delle ultime 360 file di C (area C2’), mentre l’area C2 rimane libera da informazioni video.

L’organizzazione della Fig. 5a e 5b può essere considerata un’alternativa tra loro (duplice disposizione) dato che essi differenziano solo nell’assegnazione di R1, che viene posizionato nella parte superiore dell’angolo destro di C nel primo caso e nella parte inferiore dell’angolo sinistro nell’ultimo caso.

Un altro modo per dividere l’immagine R al fine di essere posizionata nel frammento composito C à ̈ mostrato in Fig.6; R1 si ottiene estraendo gli ultimi 640 pixel dalle ultime 360 file di R. La sub-immagine a forma di L R2 à ̈ composta dai rimanenti pixel di R, ossia le prime 360 file più i primi 640 pixel delle ultime 360 file.

Le Fig. 7a e 7b mostrano la duplice disposizione nella quale le regioni R1 e R2 come ottenuto in Fig.6 possono essere situate nel frammento composito C dopo aver posizionato l’immagine L sul fondo del suo angolo destro (area C1’’), composto dagli ultimi 1280pixel delle ultime 720 file di C. La regione a forma di L R2 à ̈ situata nella parte alta dell’angolo sinistro di C. L’unica differenza tra le due figure à ̈ che l’area C occupata dalla sub-immagine R1, che à ̈ situata rispettivamente nella parte inferiore (area C2’)e nella parte superiore destra dell’angolo (area C2’’). Invece la regione di ricambio rettangolare occupa rispettivamente la parte superiore destra dell’angolo (area C2) e la parte inferiore sinistra dell’angolo (area C2’).

Un terzo modo per assemblare l’immagine R al fine di essere posizionata nel frammento composito C viene mostrato in Fig.8; R1 si ottiene estraendo i primi 640 pixel delle ultime 360 file di R.

La sub immagine a forma di L R2 à ̈ composta dai rimanenti pixel di R, ossia le prime 360 file più gli ultimi 640 pixel delle ultime 360 file.

Le Fig. 9a e 9b mostrano la duplice disposizione nella quale le regioni R1 e R2 come ottenuto in Fig.6 possono essere situate nel frammento composito C dopo aver posizionato l’immagine L sul fondo del suo angolo sinistro (area C1’’), composto dagli ultimi 1280 pixel delle ultime 720 file di C. La regione a forma di L R2 à ̈ situata nella parte alta dell’angolo destro di C. Le due figure si differenziano nella posizione della regione rettangolare R1, che à ̈ situata rispettivamente nella parte destra bassa (area C6) e nella parte alta sinistra (C4) dell’angolo. Invece la regione di ricambio rettangolare occupa rispettivamente la parte superiore sinistra dell’angolo (area C2)e la parte inferiore destra dell’angolo (area C2’).

In fine, un quarto modo per smontare l’immagine R à ̈ raffigurato nella Fig.10. Gli ultimi 640 pixel delle prime 360 file vengono estratti per formare la sub-immagine R1. La regione a forma di L R2 à ̈ composta dai rimanenti pixel di R, ossia i primi 640 pixel delle prime 360 file più le ultime 360 file.

Le Fig. 11a e 11b mostrano la duplice disposizione nella quale le regioni R1 e R2 come ottenuto in Fig.6 possano essere situate nel frammento composito C dopo aver posizionato l’immagine L sulla cima del suo angolo destro (area C1’’), composto dagli ultimi 1280 pixel delle ultime 720 file di C. Le due figure si differenziano nella posizione della regione rettangolare R1, che à ̈ situata rispettivamente nella parte alta destra (area C6) e nella parte bassa sinistra (C4) dell’angolo. Invece la regione di ricambio rettangolare occupa rispettivamente la parte superiore destra dell’angolo (area C2) e la parte inferiore sinistra dell’angolo (area C2’).

Con quest’ultima coppia di figure sono state mostrate tutte le possibili combinazioni delle due regioni delle immagini R e L nel frammento dell’immagine composita C. Ci sono in totale otto possibili combinazioni. Altre otto combinazioni sono possibili suddividendo l’immagine L in due sub-immagini L1 e L2 e lasciando l’altra immagine R intatta. Queste otto combinazioni possono facilmente derivare da quelle mostrate nelle figure descritte finora semplicemente scambiando rispettivamente le immagini R con L e le regioni R1 e R2 con L1 e L2. Dato che queste combinazioni derivate sono abbastanza banali ed immediate non verranno trattate nella presente descrizione.

Anche se le combinazioni mostrate sono in grado di minimizzare gli artefatti causati dai confini introdotti dalla fase di divisione R, alcuni testi eseguiti dal richiedente mostrano che, in caso di indici di compressione elevati, degli antefatti visibili possono essere presenti nell’immagine ricostruita dopo la decodifica.

Vantaggiosamente, al fine di ridurre ulteriormente la presenza di artefatti sulle regioni di confine, Ã ̈ possibile adottare la tecnica mostrata nelle figure 12 e 13, applicabile, come un esempio, nello schema di smontaggio della Fig. 5a.

Come prima forma, un’ulteriore regione a forma di L R3 comprendente le regioni di confine tra R1 e R2 come mostrato in Fig.12, può essere replicata e inserita nell’area libera C2’ come mostrato in Figura 13. Tale regione R3 può avere una larghezza costante o due differenti larghezze, h e k, rispettivamente per le braccia orizzontali e verticali. I parametri h e k sono numeri interi maggiori di zero. La regione R3 può eventualmente essere collocata simmetricamente in rispetto ai confini interni di R.

Secondo i testi prodotti dal richiedente gli artefatti appaiono prevalentemente vicini ai confini interni all’interno dell’immagine ricostruita Rout. Così i pixel di R1’ (corrispondenti a R1 dopo la compressione e decompressione) posti vicini ai confini interni di Rout possono essere scartati nella replicazione e possono essere rimpiazzati dai pixel interni della regione R3 ottenuta dopo le operazioni di compressione e decopressione di R3. I pixel alle estremità di R3’ potrebbero essere scartati, dato che sono vicini ad un altro confine interno e per questo possono essere influenzati da artefatti.

Considerando le rispettive dimensioni di R, L e C o C’, una striscia di un certo insieme di confini può essere situata in una zona di riserva dell’area C2’, ma questa striscia a forma di L non include i pixel della regione di confine tra R1 e R2 vicino ai limiti esterni di R, come appare chiaramente dalle figure 12 e 13.

Questo non à ̈ un grande inconveniente, dato che gli artefatti situati vicino ai bordi esterni di un’immagine sono scarsamente visibili.

Tuttavia, se desiderato, anche le due piccole regioni che non possono essere corrette nel modo che à ̈ stato descritto possono essere replicate e poste nello spazio vuoto del frammento composito. Questo comunque aumenta la complicazione nelle procedure di assemblaggio e smontaggio e quindi non à ̈ una soluzione preferenziale.

Vantaggiosamente la regione a forma di L R3 viene posta nella zona di riserva C2’ adiacente alla parte inferiore dell’angolo destro, al fine di massimizzare la lunghezza delle braccia R3 che possono essere posizionate nella regione disponibile. Come esempio, la larghezza del braccio orizzontale di R3 può essere di h=48 pixel, e solo per l’interno n=16 pixel vengono usati per ricostruire l’immagine R, mentre gli adiacenti 32 pixel vengono scartati, dato che possono essere influenzati dagli antefatti, essendo vicini ad una discontinuità entro il frammento composito C. Allo stesso modo il braccio verticale di R può essere largo K= 32 pixel, in cui solo m= 16 di essi vengono usati per la ricostruzione di R.

Ovviamente le particolari tecniche mostrate in figura 12 e 13 possono essere applicate, mutatis mutandis, anche alla duplice disposizione mostrata in figura 5b. L’unica differenza à ̈ che la regione a forma di L R3 à ̈ posizionata nella zona di riserva C2 invece che C2’. Allo stesso modo le particolari tecniche mostrate nelle figure 12 e 13 possono essere applicate, mutatis mutandis, a tutte le combinazioni dell’immagine R del frammento composito C come mostrato nelle figure 6-11. L’unica differenza à ̈ che le regioni interne di confine circondate da R3 sono disposte differentemente e che detta regione R3 à ̈ posizionata in differenti aree di riserva di C. Lo stesso vale per le altre combinazioni non mostrate nelle figure ottenibili dalla sostituzione di R con L e R1 con R2 con L1 e L2.

Inoltre, dato dal fatto che alcuni test mostrano che gli artefatti sono più pronunciati sui confini orizzontali interni tra R1 e R2, invece di utilizzare una regione interna a forma di L, à ̈ possibile utilizzare una regione R3 che include solo pixel attorno ai confini orizzontali interni. Certamente, se si desidera eliminare solo gli artefatti nel confine verticale interno, la regione a forma R3 può essere verticale. Queste forme di realizzazione non vengono mostrate nelle figure, dato che sono ovvie, data la spiegazione di cui sopra. Il frammento C così ottenuto in uno dei modi descritti fino ad ora viene successivamente compresso e trasmesso o salvato su un supporto (ad esempio un DVD). A questo fine vengono previsti mezzi di compressione atti a comprimere un’immagine o un segnale video e mezzi per registrare e/o trasmettere l’immagine o il segnale video così compresso.

In figura 16 viene mostrato lo schema a blocchi di un ricevitore 1100 che decomprime il fotogramma contenitore, eventualmente compresso, ricevuto e ricostruisce le due immagini destra e sinistra rendendole disponibili ad un dispositivo di visualizzazione (ad esempio un televisore) che permette la fruizione di contenuti 3D. Il ricevitore 1100 può essere un set-top-box o un ricevitore integrato in un televisore.

Considerazioni analoghe a quelle che vengono ora qui fatte per il ricevitore 1100 si applicano ad un lettore (ad es. un lettore DVD) che legge un fotogramma contenitore, eventualmente compresso, e lo elabora al fine di ottenere una coppia di fotogrammi corrispondenti alle immagini destra e sinistra inserite nel fotogramma contenitore, eventualmente compresso letto dal lettore.

Tornando ora alla figura 17, il ricevitore riceve (via cavo o antenna) un flusso video stereoscopico compresso 1101, e lo decomprime mediante un modulo di decompressione 1102, ottenendo così un flusso video comprendente una sequenza di fotogrammi C’ corrispondenti ai fotogrammi C. Nel caso di canale ideale o in caso di lettura di fotogrammi contenitori da una memoria di massa o da un supporto di dati (Blu-ray, CD, DVD), a parte eventuali artefatti introdotti dalla compressione, i fotogrammi C’ corrispondono ai fotogrammi contenitore C che trasportano le informazioni relative alle due immagini destra e sinistra.

Questi fotogrammi C’ vengono forniti ad un modulo di ricostruzione 1103 che esegue un metodo di ricostruzione delle immagini qui di seguito descritto.

Chiaramente se il flusso video non fosse compresso, il modulo di decompressione 1102 può essere omesso ed il segnale video essere fornito direttamente al modulo di ricostruzione 1103. Il processo di ricostruzione inizia nel passo 1300, quando viene ricevuto il frammento contenitore decompresso C1. Il processo di ricostruzione dipende da una particolare disposizione decisa durante il processo di assemblaggio. Consideriamo per esempio il frammento composito mostrato in Fig. 5a. In tal caso il modulo di ricostruzione 1103 estrae (passo 1301)l’immagine sinistra L’ (corrispondente all’immagine fonte L) copiando i primi 720X1280 pixel del frammento decompresso in un nuovo frammento Lout che à ̈ più piccolo del frammento contenitore, per esempio un frammento di un flusso di 720p. L’immagine Lout così ricostruita viene emessa al ricevente 1100 (passo 1302).

Successivamente, il metodo prevede l’estrazione dell’immagine R dal frammento contenitore C’.

La fase di estrazione dell’immagine destra inizia copiando (passo 1303) l’area C2 inclusa nel frammento C’. Più nel dettaglio, gli ultimi 640 pixel delle prime 360 file di C’ vengono copiate nelle corrispondenti 640 colonne delle prime 360 file del nuovo frammento 720X1280 rappresentando l’immagine ricostruita Rout.

Poi l’area C3 contenente la regione decompressa R2’ (che era R2 prima delle operazioni di compressione e decompressione) viene estratta (passo 1305). Dal frammento decompresso C’ (che, come suddetto, corrisponde al frammento C della Fig.5a), i pixel dell’area C3 (corrispondente alla regione fonte R2) vengono copiati nella rimanente forma a L di Rout, ossia nelle 360 ultime colonne delle prime 360 file più nelle ultime 360 file di Rout, ottenendo così l’immagine ricostruita corrispondente all’immagine R come assemblato in Fig.3.

A questo punto l’immagine destra Rout à ̈ stata completamente ricostruita e può essere fornita in uscita (passo 1306).

Operazioni simili vengono eseguite dal ricevente 1100, mutatis mutandis, per tutte le altre combinazioni mostrate nelle figure 5b, 7a e 7b, 9a e 9b, 11a e 11b. L’immagine decompressa L contenuta nell’area rettangolare in questione di dimensioni 720X1280 di C’ viene estratta come un intero e messa nell’immagine ricostruita Lout. Le aree del frammento composito C’ contenendo le sub-immagini decompresse R1 e R2 vengono posizionate di nuovo nelle loro rispettive posizioni di Rout nelle corrispondenti combinazioni che avevano nell’immagine fonte R come mostrato nelle figure 4,6,8 e 10, come il caso.

Nel caso in cui le tecniche particolari delle Fig.12 e 13 vengano usate il ricevente 1100 prima esegue le stesse operazioni già descritte per ricostruire Lout e Rout e poi, come un passo aggiuntivo (1305 nella Fig.17) estrae la regione interna di R3’ (chiamato Ri3) e sovrascrive i pixel corrispondenti intorno ai confini esterni di Rout, usando almeno un po’ dei pixel di R3’.

Nell’esempio mostrato in Fig. 14 e 15 una striscia di m pixel verticali e n orizzontali situati nella parte interna di R3 formano una regione chiamata Ri3 che viene copiata nella corrispondente regione di confine interna di Rout. Tipicamente m e n possono essere interi maggiori di zero che possono assumere valori inferiori tipicamente in una gamma tra 3 e 16; possono essere uguali tra loro o no, dando a Ri3 una larghezza costante o no. La stessa tecnica può essere utilizzata, mutatis mutandis, nel caso in cui una forma rettangolare R3 sia utilizzata solo per ricoprire una delle sue braccia , sia orizzontali che verticali.

Va sottolineato che ciò à ̈ necessario solo in caso di rapporti di compressione forti, solitamente non utilizzati da emittenti televisive nelle quali à ̈ obbligatoria un’elevata qualità di immagine, ma potrebbe essere utilizzata in caso di streaming video attraverso Internet o in generale per la distribuzione attraverso una rete o un canale con una limitata larghezza di banda.

Quindi, sia a lato encoder che decoder, l’uso della regione R3’ e Ri3 à ̈ opzionale. Una possibilità potrebbe essere trasmettere la regione R3 e lasciare la libertà, al lato decoder, di utilizzarla o no: ciò condurrebbe a due tipi di decoder, uno semplificato ed uno più complesso con miglior rendimento.

In una più complessa forma di realizzazione la regione R3’ può essere mixata all’apice dell’immagine ricostruita Rout con la cosiddetta tecnica “soft edge†che consiste in una dissolvenza incrociata dei valori dei pixel della regione di confine interna di Rout con i valori corrispondenti dei pixel di R3’ così che il contributo di R3’ sia massimizzato ai confini tra R1’ e R2’ e minimizzato ai confini R3’.

Il processo di ricostruzione delle immagini destra e sinistra presenti nel fotogramma contenitore C’ termina (passo 1307). Tale processo viene ripetuto per ogni fotogramma del flusso video ricevuto dal ricevitore 1100, cosicché in uscita si hanno due flussi video 1104 e 1105 rispettivamente per le due immagini destra e sinistra.

Nonostante la presente invenzione si stata illustrata con riferimento ad alcuni esempi di realizzazione preferiti e vantaggiosi, à ̈ chiaro che essa non à ̈ limitata a tali esempi di realizzazione e molte varianti possono essere apportate dal tecnico del settore che volesse combinare in un’immagine composita due immagini relative a due diverse prospettive (destra e sinistra) di un oggetto o una scena.

Ad esempio i moduli elettronici che realizzano i dispositivi sopra descritti, in particolare il dispositivo 100 ed il ricevitore 1100, possono essere in vario modo scomposti e distribuiti; inoltre essi possono essere realizzati come moduli hardware o essere degli algoritmi software implementati da un processore, in particolare un processore video provvisto di opportune aree di memoria per la memorizzazione temporanea dei fotogrammi ricevuti in ingresso. Questi moduli possono quindi eseguire in parallelo o in serie una o più delle elaborazioni video previste dai metodi di multiplexing e demultiplexing delle immagini secondo la presente invenzione.

E’ poi chiaro che nonostante gli esempi di realizzazione preferiti si riferiscano al multiplexing di due flussi video 720p in un flusso video 1080p, à ̈ chiaro che altri formati possono essere utilizzati.

L’invenzione non à ̈ poi limitata al particolare modo di composizione dell’immagine composita, anche se differenti soluzioni di generazione dell’immagine composita possono presentare diversi vantaggi.

Infine, à ̈ poi chiaro che l’invenzione si riferisce a qualsiasi metodo di de-multiplexing che permetta di estrarre un’immagine destra ed un’immagine sinistra a partire da un’immagine composita invertendo uno dei processi di multiplexing sopra descritti e rientranti nell’ambito di protezione della presente invenzione.

L’invenzione si riferisce quindi ad un metodo per generare una coppia d’immagini a partire da un’immagine composita, comprendente i passi di:

- generare una prima (ad esempio l’immagine sinistra) di dette immagine destra e sinistra copiando un unico gruppo di pixel contigui da una regione di detta immagine composita, - generare una seconda immagine (ad esempio l’immagine destra) copiando altri gruppi di pixel contigui da due regioni diverse di detta immagine composita.

Claims (12)

1. RIVENDICAZIONI 1. Metodo per la generazione di un flusso video stereoscopico (101) comprendente immagini composite (C), dette immagini composite (C) comprendendo informazioni riguardanti un’immagine destra (R) ed un’immagine sinistra (L), in cui i pixel di detta immagine destra (R) e i pixel di detta immagine sinistra (L) vengono selezionati, e detti pixel selezionati vengono inseriti in un’immagine composita (C) di detto flusso video stereoscopico, il metodo essendo caratterizzato dal fatto che tutti i pixel di detta immagine destra (R) e tutti i pixel di detta immagine sinistra (L) vengono inseriti in posizioni differenti di detta immagine composita (C), lasciando una di dette due immagini immutata e dividendo l’altra in due regioni (R1, R2) che comprendono una pluralità di pixel ed inserendo dette regioni in detta immagine composita(C).
2. 2. Metodo secondo una qualsiasi delle rivendicazioni precedenti, in cui una prima (R2) di dette due regioni ha una forma a L, una seconda (R1)di dette due regioni ha una forma rettangolare.
3. 3. Metodo secondo la rivendicazione 2, in cui detta una (L) di dette due immagini immutata viene posizionata all’angolo di detta immagine composita (C), detta prima (R2) di dette due regioni viene posizionata all’angolo opposto di detta immagine composite (C) nei confronti di detto angolo, detta seconda (R1) di dette due regioni viene posizionato in una porzione dello spazio libero rimanente nell’immagine composita (C).
4. 4. Metodo secondo una qualsiasi rivendicazione precedente, in cui una regione aggiuntiva (R3) comprendente almeno parte della regione di confine tra dette prima e seconda (R1 e R2) regioni viene inserita in detto spazio lasciato libero nell’immagine composita.
5. 5. Metodo secondo una qualsiasi rivendicazione precedente, in cui dette regioni comprendono gruppi contigui di colonne di pixels di detta immagine.
6. 6. Metodo secondo una qualsiasi rivendicazione precedente, in cui vengono ricevute una sequenze di immagini destre (R) ed una sequenza di immagini sinistre (L), una sequenza di immagini composite viene generata iniziando da dette sequenze di immagini destre e sinistre, detta sequenza di immagini composite (C) viene compressa.
7. 7. Metodo per ricostruire un paio di immagini incominciando da un’immagine composita (C1) come in una qualsiasi delle precedenti rivendicazioni, comprendente i passi di: -generare una prima di dette immagini destra (Rout) e sinistra (Lout) copiando un gruppo singolo di pixel contigui da una regione di detta immagine composita, -generare una seconda immagine di dette immagini destra (Rout) e sinistra (Lout) copiando un altro gruppo di pixel contigui da due regioni differenti (R1’ e R2’) di detta immagine composita (C’).
8. 8. Metodo secondo la rivendicazione 7, in cui almeno una parte (Ri3) di una regione aggiuntiva (R3’) comprendente almeno parte della regione di confine tra dette prima e seconda (R1’, R2’) regioni, viene sovrascritta in una regione di confine corrispondente di detta seconda immagine (Rout).
9. 9. Metodo secondo la rivendicazione 7, in cui una regione aggiuntiva (R3’) comprendente almeno parte della regione di confine tra dette prima e seconda (R1’, R2’) regioni, viene mixata in cima a detta seconda immagine (Rout), mediante dissolvenza incrociata dei valori dei pixel della regione interna di confine di detta seconda immagine (Rout) con i corrispondenti valori dei pixel di detta regione aggiuntiva (R3’).
10. 10. Dispositivo (100) per la generazione di immagini composite (C), comprendente mezzi (104) per ricevere un’immagine destra e un’immagine sinistra e mezzi (105) per generare un’immagine composita (C) che comprende informazioni su detta immagine destra e detta immagine sinistra, caratterizzato dal comprendere mezzi adatti all’attuazione del metodo secondo una qualsiasi delle rivendicazioni dalla 1 alla 6.
11. 11. Dispositivo (1100) per la ricostruzione di un paio di immagini partendo da un’immagine composita, caratterizzato dal comprendere mezzi adattati per implementare il metodo secondo una delle rivendicazioni dalla 7 alla 9.
12. 12. Flusso video stereoscopico (1101) caratterizzato dal comprendere almeno un’immagine composita (C) generata mediante il metodo secondo una delle rivendicazioni dalla 1 alla 6.