ITTO20120208A1 - Metodo di generazione, trasporto e ricostruzione di un flusso video stereoscopico - Google Patents

Metodo di generazione, trasporto e ricostruzione di un flusso video stereoscopico Download PDF

Info

Publication number
ITTO20120208A1
ITTO20120208A1 IT000208A ITTO20120208A ITTO20120208A1 IT TO20120208 A1 ITTO20120208 A1 IT TO20120208A1 IT 000208 A IT000208 A IT 000208A IT TO20120208 A ITTO20120208 A IT TO20120208A IT TO20120208 A1 ITTO20120208 A1 IT TO20120208A1
Authority
IT
Italy
Prior art keywords
images
video stream
stereoscopic video
image
interval
Prior art date
Application number
IT000208A
Other languages
English (en)
Inventor
Amato Damato Paolo D
Original Assignee
Sisvel Technology Srl
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sisvel Technology Srl filed Critical Sisvel Technology Srl
Priority to IT000208A priority Critical patent/ITTO20120208A1/it
Priority to CN201380013377.4A priority patent/CN104205824A/zh
Priority to PCT/IB2013/051865 priority patent/WO2013132469A1/en
Priority to US14/378,546 priority patent/US20150130897A1/en
Priority to EP13720061.4A priority patent/EP2823640A1/en
Publication of ITTO20120208A1 publication Critical patent/ITTO20120208A1/it

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

Descrizione dell'Invenzione Industriale dal titolo:
“METODO DI GENERAZIONE, TRASPORTO E RICOSTRUZIONE DI UN FLUSSO VIDEO STEREOSCOPICOâ€
DESCRIZIONE
La presente invenzione si riferisce ad un metodo di generazione, trasporto e ricostruzione di un flusso video stereoscopico.
Per la trasmissione di segnali video in 3D sono comunemente usati i formati cosiddetti “frame compatible†. Tali formati consentono di inserire in un frame Full HD, usato come contenitore, le due immagini che compongono la coppia stereoscopica. In questo modo il segnale 3D, costituito da due flussi video (quello per l’occhio sinistro e quello per l’occhio destro) diventa un segnale costituito da un solo flusso video e può quindi transitare nelle infrastrutture di produzione e distribuzione usate per la TV 2D, e soprattutto può essere fruito dai ricevitori 2D o 3D attualmente presenti sul mercato, in particolare per la TV ad Alta Definizione.
Nelle Figure 1a e 1b vengono riprodotti schematicamente due frame HD composti da 1920 colonne per 1080 righe di pixel (detto 1080p), appartenenti rispettivamente al flusso video dell’occhio sinistro L e destro R. Le due immagini sinistra L (Left) e destra R (Right) possono essere inserite in un frame composito l’una a fianco dell’altra, selezionandone i rispettivi pixel, dando luogo al formato cosiddetto “side by side†, oppure l’una sopra l’altra, dando luogo al formato cosiddetto “top and bottom†, ovvero “over-under†(si vedano le Figure 2a e 2b). Entrambi questi formati hanno l’inconveniente di dimezzare la risoluzione in una delle due direzioni, quella orizzontale nel caso del side by side e quella verticale nel caso del top and bottom.
È stato anche proposto un terzo formato, detto “tile format†, in cui due immagini 720p (1280x720 pixel a scansione progressiva) vengono inserite in un frame contenitore 1080p. Secondo tale formato, una delle due immagini viene inserita nel contenitore invariata, mentre l’altra viene divisa in tre parti che vengono a loro volta inserite nello spazio lasciato libero dalla prima immagine (vedi Figura 2c).
Queste operazioni di inserimento vengono compiute con la frequenza di scorrimento dei frame del flusso video interessato, che tipicamente assume i valori di circa 24, 50 o 60 Hz (o fps, frames per second) a seconda dello standard adottato.
Usualmente le immagini del flusso vengono quindi compresse mediante una opportuna codifica ed eventualmente sottoposte ad altri trattamenti (multiplazione, codifica di canale, e così via) per adattarle a essere memorizzate o trasmesse per una loro successiva riproduzione.
Tutti e tre questi formati possono essere usati, come si à ̈ detto, per la generazione e per il trasporto (trasmissione o memorizzazione su un supporto fisico), mentre per la visualizzazione si usano altri formati, inadatti al trasporto, e precisamente i formati cosiddetti “line alternate†e “frame alternate†.
Nel formato “line alternate†le due immagini L ed R sono interlacciate (interleaved), ad esempio, facendo riferimento alla Figura 3, l’immagine L 320 occupa tutte le righe dispari e l’immagine R 330 le righe pari del frame composito 350. Questo formato à ̈ usato nei display ad occhiali passivi, in cui le due lenti sono polarizzate in modo diverso. Se davanti allo schermo viene posto un filtro polarizzato a righe alternate, accade che l’occhio sinistro vede solo le righe corrispondenti all’immagine L e l’occhio destro solo le righe corrispondenti all’immagine R. È ovvio che in questo modo si dimezza la risoluzione verticale di entrambe le immagini, ma il sistema visivo umano può in parte compensare questa perdita mettendo assieme nell’immagine tridimensionale i dettagli appartenenti all’immagine L e quelli appartenenti all’immagine R.
Al contrario, nel sistema di visualizzazione “frame alternate†, vengono visualizzate sullo schermo alternativamente l’immagine L e l’immagine R (si veda la Figura 4, ove la sequenza 450 à ̈ costituita da un’alternanza di frame L 420 ed R 430). Per effettuare la separazione, cioà ̈ per inviare a ciascun occhio l’immagine corrispondente, si deve fare uso di occhiali ad otturatore, cosiddetti “attivi†: l’otturatore oscura alternativamente una delle due lenti, sulla base di un segnale di sincronismo trasmesso agli occhiali, ad esempio mediante raggi infrarossi, dal televisore.
Il motivo per cui i segnali 3D non vengono trasmessi direttamente con i due formati usati comunemente per la visualizzazione risiede nel fatto che tali formati non consentono una efficace compressione del segnale video, in quanto distruggono la correlazione fra righe adiacenti ovvero fra frame consecutivi. Di conseguenza, per ottenere una qualità soddisfacente, occorrerebbe un bit rate notevolmente più elevato di quello necessario per trasmettere il segnale HD che funge da contenitore. In conclusione, pertanto, i formati di trasmissione e quelli di visualizzazione sono diversi e trattati come se fossero indipendenti fra loro. Tuttavia, questa indipendenza di trattamento non consente di ottimizzare la qualità delle immagini. In altri termini, se si usa per la visualizzazione il formato frame alternate, il formato ottimale per il trasporto à ̈ diverso da quello che sarebbe ottimale nel caso di display line alternate e viceversa. Questo fatto viene generalmente ignorato, con la conseguenza che o non si sfrutta al meglio la banda disponibile, oppure si introducono nell’immagine stereoscopica delle alterazioni. In altre parole, gli attuali formati di frame packing utilizzati per il trasporto dei flussi video non sono ottimizzati ai fini della loro visualizzazione sugli apparati di riproduzione.
In caso di display di tipo frame alternate tutti e tre i suddetti formati frame compatible sono utilizzabili per il trasporto del segnale video, ed il migliore à ̈ il tile format, in quanto preserva il bilanciamento tra risoluzione orizzontale e verticale. Tuttavia, tutti e tre i formati soffrono di un inconveniente, vale a dire le due immagini L ed R inserite nello stesso frame composito si riferiscono allo stesso istante temporale (in quanto le due telecamere sono sincronizzate, in termine tecnico inglese “gen-locked†, dallo stesso segnale di sincronismo detto gen-lock, contrazione di generator lock), ma sono visualizzate in successione temporale.
Se si hanno a disposizione telecamere 1080p le due immagini in questione vengono riprese simultaneamente a intervalli temporali prefissati ∆t, mentre invece vengono visualizzate in modo ritardato e alternato a intervalli dimezzati ∆t/2. Se per esempio il sistema televisivo utilizzato à ̈ quello europeo a 50 Hz (una coppia di fotogrammi L-R ogni 20 ms), il display mostra una successione di immagini a 100 Hz (un fotogramma L o R ogni 10 ms), con l’alternanza L,R,L,R, e così via. La Figura 5a mostra schematicamente come verrebbero catturati secondo l’arte nota i fotogrammi L ed R temporalmente successivi comprendenti un oggetto rettangolare che si muove orizzontalmente rispetto al punto di vista delle telecamere. La Figura 6a mostra invece come gli stessi fotogrammi verrebbero visualizzati su un display frame alternate tradizionale. L’oggetto rettangolare viene mostrato ai due occhi nella stessa posizione in coppie di istanti temporali differenti, invece che nelle posizioni in cui esso si troverebbe a causa del suo movimento orizzontale. Si crea un’alterazione della successione temporale delle immagini, che il sistema visivo umano traduce in errori di profondità.
Tali errori sono simili a quelli prodotti dal cosiddetto “effetto Pulfrich†, che risulta visibile su immagini di prova contenenti oggetti che si muovono orizzontalmente, ad esempio un pendolo oscillante in un piano perpendicolare alla congiungente occhi-pendolo (si faccia riferimento alla Figura 7). Se un osservatore indossa uno speciale paio di occhiali che contiene una lente parzialmente oscurata, l’immagine dell’occhio oscurato ha una latenza superiore a quella dell’occhio non oscurato, e quindi il cervello vede con un certo ritardo la relativa immagine. Il sistema visivo umano converte questo ritardo di percezione in un “errore di disparità†(o di profondità), per cui l’osservatore vede il pendolo muoversi non sul piano q su cui effettivamente oscilla, ma secondo una traiettoria ellittica giacente sul piano r perpendicolare a q, per cui il pendolo, se si muove in una direzione, sembra sporgere dallo schermo, mentre quando si muove nell’altra direzione sembra andare dietro lo schermo.
Il senso di rotazione apparente del pendolo dipende da quale occhio viene oscurato; nel caso di Figura 7 si suppone che sia stato parzialmente oscurato l’occhio destro, il che produce una rotazione apparente antioraria.
L’effetto Pulfrich à ̈ molto suggestivo in quanto fa vedere immagini tridimensionali sullo schermo di un normale televisore 2D che visualizza una normale immagine 2D. Si tratta di un’illusione ottica, che qualcuno ha pensato di utilizzare per creare volutamente effetti tridimensionali, ma che in pratica à ̈ poco sfruttabile perché l’effetto tridimensionale si manifesta in modo incontrollato e solo in presenza di oggetti che si muovono orizzontalmente rispetto all’osservatore.
Scopo della presente invenzione à ̈ pertanto quello di indicare un metodo di generazione, trasporto e ricostruzione di un flusso video stereoscopico che, riprodotto su un display di tipo frame alternate, sia privo di errori di profondità.
In sintesi, per eliminare l’illusione ottica sopra descritta, occorre che le due immagini L ed R inserite nello stesso frame composito non siano catturate simultaneamente, ma ritardate l†̃una rispetto all’altra di mezzo frame (nel caso di formati progressivi) o di mezzo field (nel caso di formati interlacciati), e cioà ̈ di 10 ms se si usa il sistema televisivo europeo a 50 Hz, in cui à ̈ catturato un frame o un field ogni 20 ms. Ciò vale per tutti e tre i formati frame compatible (per esempio: side by side, top and bottom, tile format). Si vedano le figure 5b e 6b e le si confrontino con le figure 5a e 6a, in cui queste ultime si riferiscono al caso in cui le due immagini sono riprese simultaneamente e visualizzate con ritardo di mezzo frame o field.
Naturalmente, se viene effettuato questo shift temporale in fase di cattura, à ̈ opportuno che ci sia nel segnale video un’apposita segnalazione che specifichi quale delle due viste à ̈ stata catturata prima dell’altra nell’ambito di una coppia stereoscopica. Infatti se tali coppie vengono visualizzate in ordine invertito rispetto alla cattura, per cui per esempio le immagini sinistre vengono visualizzate alternativamente sullo schermo dopo quelle destre, essendo però state catturate prima, si produce nella visione dello spettatore una esaltazione dell’errore di profondità, anziché la sua eliminazione.
Questa segnalazione à ̈ particolarmente semplice poiché esistono solo due possibilità: à ̈ stata catturata prima l’immagine sinistra L oppure à ̈ stata catturata prima l’immagine destra R. Quindi, a titolo esemplificativo, si potrebbe assegnare un solo bit a questa segnalazione il cui valore 0 (zero) indica che si à ̈ verificato il primo dei casi suddetti, mentre il valore 1 (uno) indica che si à ̈ verificato il secondo.
Se si vuole, però, segnalare anche il caso in cui le due immagini sono riprese contemporaneamente, cioà ̈ il caso in cui la presente invenzione non viene utilizzata (ad esempio perché si prevede l’esistenza di display del tipo line alternate), à ̈ chiaro che la segnalazione deve comprendere almeno due bit, uno dei quali può indicare, ad esempio, la contemporaneità o non contemporaneità delle due immagini, e l’altro bit quale delle due immagini à ̈ anticipata rispetto all’altra immagine. Il primo bit può essere utilizzato dal ricevitore per comprendere se il segnale trasmesso à ̈ ottimizzato per il tipo di display adottato: si ricorda che la trasmissione di immagini riprese non contemporaneamente à ̈ ottimale per i display del tipo frame alternate, mentre per i display del tipo line alternate à ̈ ottimale la trasmissione di immagini riprese contemporaneamente. Nel caso di trasmissione non ottimale, il ricevitore può fare varie cose: ad esempio può segnalare all’utente, mediante un messaggio che appare sullo schermo, la probabile presenza di errori di profondità e/o può consigliare all’utente la visione 2D oppure può addirittura commutare automaticamente sulla visione 2D. Un’altra possibilità per il ricevitore à ̈ quella di tentare di correggere gli errori di profondità mediante un’elaborazione in locale delle immagini L ed R ricevute: si ritiene che questa elaborazione sia piuttosto pesante dal punto di vista del lavoro computazionale necessario, ed inoltre la correzione non potrà mai essere perfetta.
Ulteriori caratteristiche e scopi dell’invenzione sono oggetto delle allegate rivendicazioni che si intendono parte integrante della presente descrizione, i cui insegnamenti risulteranno maggiormente chiari dalla descrizione dettagliata di una forma preferita di realizzazione fatta a titolo esemplificativo, ma non limitativo, con riferimento alle Figure allegate in cui:
- la Figura 1 rappresenta due frame HD in formato 1080p appartenenti rispettivamente ad un flusso video di un occhio sinistro e ad un flusso video di un occhio destro di un flusso video stereoscopico;
- le Figure 2a, 2b e 2c rappresentano una coppia di immagini stereoscopiche rispettivamente in formato side by side, over-under e tile;
- le Figure 3 e 4 rappresentano un formato di visualizzazione di un flusso video stereoscopico rispettivamente di tipo line alternate e frame alternate;
- le Figure 5a e 6a mostrano schematicamente un procedimento di cattura e di visualizzazione secondo l’arte nota di fotogrammi sinistro e destro temporalmente successivi comprendenti un oggetto rettangolare che si muove orizzontalmente rispetto al punto di vista di telecamere che lo riprendono;
- le Figure 5b e 6b mostrano schematicamente un procedimento di cattura e di visualizzazione secondo l’invenzione dei fotogrammi sinistro e destro temporalmente successivi delle Figure 5a e 5b;
- la Figura 7 rappresenta una schematizzazione dell’effetto Pulfrich;
- le Figure 8 e 9 rappresentano rispettivamente un sistema di produzione ed un sistema di elaborazione di flussi video stereoscopici secondo l’invenzione.
In Figura 8 à ̈ rappresentato un possibile sistema di produzione 800 di flussi video stereoscopici secondo l’invenzione, realizzata mediante componenti discreti interconnessi, per esempio in uno studio di produzione televisiva o in un set cinematografico. Una coppia di telecamere 2D 830’ e 830’’ riprende la scena da due diversi punti di vista in modo simile a quanto avviene nel sistema visivo umano. Una prima telecamera 830’ riprende la scena corrispondente all’occhio sinistro L e una seconda telecamera 830’’ riprende la scena corrispondente all’occhio destro R.
Un apparato di generazione del sincronismo di ripresa genlock 810 genera un segnale di sincronizzazione comune per le due telecamere per dettare i tempi di cattura delle immagini video, che tipicamente avviene nel sistema video europeo a una frequenza 1/∆t di 50 Hz ovvero di una immagine ogni 20 ms, pari all’intervallo ∆t intercorrente tra la cattura di due immagini stereoscopiche appartenenti a coppie L-R successive. Uno di questi due segnali di genlock, per esempio quello fornito alla seconda telecamera 830’’, viene ritardato di un intervallo di tempo sostanzialmente pari a ∆t/2, ovvero 10 ms nel caso di standard video a 50 Hz, da un dispositivo ritardatore 820 interposto tra l’apparato genlock 810 e la seconda telecamera 830’’. Nel caso in cui il dispositivo ritardatore 820 sia di tipo multistandard, cioà ̈ funzionante sia con lo standard europeo a 50 Hz che con lo standard statunitense a 60 Hz, à ̈ possibile prevedere che tale di intervallo di tempo sia regolabile o programmabile mediante opportuni mezzi di regolazione o programmazione.
Di conseguenza le immagini sinistre L vengono catturate con la stessa frequenza 1/∆t (tipicamente 50 o 60 Hz) di quelle destre, ma con un anticipo di ∆t/2 rispetto alle immagini R della medesima coppia stereoscopica (si veda Figura 5b). Il ritardo introdotto dal dispositivo ritardatore 820 à ̈ preferibilmente pari, a meno delle incertezze indesiderate dovute a ineliminabili fenomeni intrinseci dei componenti elettronici, alla metà del reciproco della frequenza di cattura delle telecamere, in modo da garantire l’uniformità degli intervalli temporali intercorrenti tra la cattura dell’immagine per un certo occhio e quella successiva per l’altro; tale uniformità si traduce in una percezione più fluida e più aderente alla realtà dei movimenti presenti nella scena inquadrata dalle telecamere 830’ e 830’’.
La presente invenzione può essere applicata indifferentemente a qualsiasi tipo di telecamera. In particolare, essa può essere in grado di funzionare a diverse risoluzioni video, per esempio a risoluzione Full HD ovvero 1920x1080 pixel (risoluzione detta brevemente 1080) oppure a 1280x720 pixel (denominata brevemente 720). Essa inoltre può fornire in uscita un segnale video di tipo progressivo (p) o interallacciato (i), a 50 o 60 Hz o fps. In particolare, essa può essere applicata per esempio a una coppia di telecamere 2D in grado di catturare un flusso video secondo almeno una delle seguenti modalità: 1080p@50Hz, 1080p@60Hz, 720p@50Hz, 720p@60Hz, 1080i@50Hz e 1080i@60Hz. Altri formati notevoli utilizzati per le riprese e le proiezioni cinematografiche prevedono 24 immagini al secondo.
Nel caso di formati di tipo interlacciato 1080i, le telecamere 830’ e 830’’ forniscono flussi video costituiti da una alternanza di semiquadri dispari e pari a dimensioni 1920x540 pixel costituiti rispettivamente dalle 540 righe dispari e 540 righe pari di uno stesso frame Full HD 1080p. Sulle due linee 83’ e 83’’ sono quindi presenti i semiquadri dispari e pari alternati nel tempo rispettivamente delle viste L ed R appartenenti a una coppia stereoscopica, in cui la cattura di una delle due viste avviene in modo ritardato nel tempo.
In caso di applicazione dell’invenzione a uno studio di produzione TV le telecamere 830’ e 830’’ forniscono in uscita due segnali video formattati secondo uno degli standard della famiglia SDI (Serial Digital Interface), normati dall’ente SMPTE (Society of Motion Picture and Television Engineers).
Le immagini generate dalle telecamere 830’ e 830’’ vengono successivamente impacchettate da un frame packer 840, o impacchettatore, in uno dei formati precedentemente citati, e cioà ̈ side by side, top and bottom o tile. Il flusso video stereoscopico così ottenuto viene compresso da un codificatore 850, che eventualmente aggiunge anche la segnalazione, sulla base di un’informazione proveniente ad esempio dall’apparato genlock 810 (si veda nella Figura 8 il collegamento tratteggiato 81) che indica quale delle due immagini presenti nel frame composito à ̈ stata ripresa prima.
In alternativa, la segnalazione può essere inserita da una delle telecamere 830’ o 830’’ in un campo dati del flusso video 83’ o 83’’, per esempio un campo dati del flusso SDI. In un’altra forma di realizzazione, essa può essere inserita dall’impacchettatore 840 o, alternativamente, da una apposita unità di inserimento della segnalazione non mostrata in Figura 8. In questo caso il codificatore 850 può leggere la segnalazione presente nel flusso video entrante 84 e, a seconda della particolare scelta implementativa, lasciarla immutata dove si trova oppure reinserirla opportunamente in base alle modalità previste dallo standard di compressione che lo governa. Nel caso dello standard di compressione MPEG AVC, detto anche ITU-T H.264, la segnalazione in questione può vantaggiosamente far parte della cosiddetta SEI (Supplemental Enhancement Information) che à ̈ già in grado di trasportare informazioni relative al formato frame packing utilizzato in sede di generazione del flusso video stereoscopico frame compatible.
La Figura 8 à ̈ del tutto esemplificativa di un sistema di produzione di un flusso stereoscopico secondo l’invenzione: in essa si sono evidenziati i diversi blocchi funzionali che compiono una o più operazioni del sistema. In realtà alcuni o anche tutti i blocchi funzionali possono essere accorpati tra loro in un singolo apparato che esegue le operazioni descritte per ciascun blocco della figura.
Esistono già dispositivi di ripresa, sia consumer che professionali, che incorporano in un unico contenitore le due telecamere necessarie per una ripresa stereoscopica. In questo caso il dispositivo ritardatore del genlock 810 può vantaggiosamente essere anch’esso incorporato nel dispositivo di ripresa in questione.
La presente invenzione, come si à ̈ detto, à ̈ adatta a essere utilizzata in combinazione con dispositivi di visualizzazione funzionanti secondo la tecnica cosiddetta frame alternate, in cui le immagini sinistre e destre di ciascuna coppia stereoscopica vengono visualizzate alternativamente nel tempo sullo schermo. Se il dispositivo di visualizzazione funziona secondo la tecnica line alternate, la presente invenzione non si applica.
La segnalazione inserita nel flusso video trasmesso, indicante quale delle due immagini presente in un determinato frame composito à ̈ posticipata rispetto all’altra, deve essere utilizzata dal dispositivo di visualizzazione al fine di ricostituire la corretta sequenza frame alternate. Infatti, se la sequenza à ̈ ricostruita nel modo sbagliato, cioà ̈ se viene visualizzata prima l’immagine che in ripresa era ritardata, l’errore di profondità invece di annullarsi viene esaltato. La Figura 9 illustra una possibile forma di realizzazione di un sistema di elaborazione video 900 secondo l’invenzione. Esso può in generale far parte di un sistema di ricezione e/o riproduzione video comprendente opzionalmente altre unità operative anch’esse almeno parzialmente raffigurate in Figura 9, quali un processore video 960 e uno schermo 970.
Il sistema di riproduzione e/o ricezione può comprendere per esempio un sintonizzatore televisivo 910 (di tipo DVB-T/T2, DVB-S/S2 o DVB-C/C2, ATSC, e così via) in grado di sintonizzare un segnale televisivo comprendente un flusso video stereoscopico generato da un sistema di generazione di flussi stereoscopici secondo l’invenzione (per esempio può trattarsi di un sistema come quello rappresentato in Figura 8), flusso video che à ̈ stato successivamente opportunamente elaborato (tramite per esempio codifica di canale, multiplazione, e così via) per essere trasmesso a distanza su un qualsiasi canale di telecomunicazione, per esempio radiodiffuso tramite una unità di radio trasmissione 860 (Figura 8). In questo caso il sintonizzatore 910 compie le operazioni inverse a quelle effettuate dall’unità 860 per ottenere in uscita un flusso video 92, che à ̈ molto simile a quello entrante nell’unità 860, dal quale differisce solo per alterazioni indesiderate dovute a errori di ricezione, interferenze e/o disturbi.
Alternativamente o in aggiunta, il flusso video 92 può provenire da una unità di lettura (non mostrata in Figura 9) di un qualsiasi supporto di memorizzazione 870 (hard disk, DVD, disco blu-ray, memoria flash a semiconduttore, e così via) in grado di leggere un flusso video precedentemente memorizzato su di esso tramite per esempio una unità di memorizzazione o registrazione facente parte di un sistema di generazione di un flusso video stereoscopico secondo Figura 8. Il flusso video a cattura stereoscopica ritardata 92 viene inviato a un decodificatore 930, per esempio di tipo MPEG4-AVC (H.264), che provvede a effettuare l’operazione di decompressione inversa a quella effettuata in sede di produzione dal codificatore 850. Inoltre esso provvede a leggere la segnalazione inserita dal codificatore 850 indicante quale tra le immagini L ed R presenti in un frame composito C à ̈ stata catturata prima dell’altra.
Successivamente il flusso video decodificato 93 viene sottoposto a una eventuale operazione di deinterlacciamento nel caso in cui il flusso video di ingresso provenga da sistemi di ripresa che funzionano con il sistema di cattura interlacciato. Questa operazione può essere effettuata da una apposita unità 940 che riceve il flusso decodificato 93 interlacciato e produce un flusso video progressivo 94 a cattura stereoscopica ritardata. Se le immagini del flusso provengono da sistemi di cattura progressiva l’operazione di deinterlacciamento non à ̈ necessaria e il flusso decodificato 93, che à ̈ già in forma progressiva, può essere fornito direttamente all’unità spacchettatrice 950 che compie l’operazione inversa a quella eseguita dall’unità di impacchettamento 840.
Il flusso video stereoscopico decodificato e progressivo 93, o rispettivamente 94, viene scomposto nei due flussi video a immagine singola 95’ L ed 95’’ R, estraendo da ciascun frame composito C le relative immagini sinistre L e destre R. I due flussi video per l’occhio sinistro e l’occhio destro non devono necessariamente essere forniti allo stadio successivo 960 su due linee di collegamento separate in forma di flussi video distinti, come mostrato in via esemplificativa in Figura 9, ma possono essere anche trasmessi in un unico flusso multiplato 95 (non mostrato in Figura 9) comprendente entrambi i flussi componenti secondo un qualsiasi formato che lo stadio successivo à ̈ in grado di distinguere ed elaborare.
Lo stadio successivo 960 comprende un processore video in grado di creare la sequenza frame alternate ove le due immagini destra e sinistra sono nell’ordine giusto, deducibile dalla segnalazione ricevuta dal decodificatore 930, che in qualche modo deve essere trasmessa al dispositivo 960. A puro titolo di esempio, in figura 9 à ̈ indicata una linea di comunicazione 98 su cui detta segnalazione di ordine di cattura viene trasmessa dal decodificatore 930 al processore video 960.
In modo alternativo a quanto mostrato in Figura 9 à ̈ possibile che nel sistema di riproduzione e ricezione 900 sia presente una unità a microprocessore (non mostrata) che coordina e controlla il funzionamento delle operazioni del sistema 900, fungendo anche da centrale di raccolta delle segnalazioni nonché di tutti segnali di controllo. In questa forma di realizzazione dell’invenzione l’unità a microprocessore riceve dal decodificatore 930 la segnalazione indicante l’ordine di cattura e istruisce il processore video 960 a visualizzare il flusso video sullo schermo alternando le immagini L ed R nell’ordine corrispondente mediante appositi segnali di controllo trasmessi su una linea di collegamento dati.
Si noti che il sistema di elaborazione video 900 può essere incorporato per esempio in un ricevitore di segnali televisivi, sia esso dotato o meno di uno schermo incorporato 970; può quindi essere utilizzato per esempio all’interno di un set-top-box o di un televisore.
Allo stesso modo il sistema 900 può essere incorporato all’interno di un qualsiasi apparato riproduttore multimediale in grado di visualizzare contenuti video tridimensionali, quali per esempio un lettore di dischi DVD o blu–ray, un tablet, eccetera, sia esso dotato o meno di uno schermo incorporato per la visualizzazione delle immagini.
Si rileva che la presente invenzione può essere impiegata anche per la generazione e la riproduzione di immagini virtuali con l’ausilio di mezzi software e hardware in grado di simulare in tutto e per tutto la ripresa dal vero di scene stereoscopiche tridimensionali (computer graphics). Queste riprese virtuali sono di comune impiego per la realizzazione di video o film di animazione che basano l’effetto di tridimensionalità sugli stessi principi generali di riprendere una stessa scena da due punti di vista in modo da simulare il sistema visivo umano.
Dunque à ̈ facilmente comprensibile che quanto precedentemente descritto à ̈ passibile di varie modificazioni, perfezionamenti, sostituzioni di parti ed elementi equivalenti senza però allontanarsi dall’idea dell’invenzione, così come à ̈ precisato meglio nelle seguenti rivendicazioni.

Claims (23)

  1. RIVENDICAZIONI 1. Metodo per generare un flusso video stereoscopico (84) comprendente frame compositi (C), detti frame compositi comprendendo informazioni relative a una immagine sinistra (L) e una immagine destra (R) per la visualizzazione tridimensionale di una scena, in cui si selezionano i pixel di dette immagini sinistra (L) e destra (R) e si inseriscono detti pixel selezionati all’interno del frame composito (C) di detto flusso video stereoscopico, caratterizzato dal fatto che una di dette immagini (L,R) à ̈ ripresa in istanti temporali che sono ritardati rispetto all’altra immagine (R,L) di un intervallo (60) sostanzialmente costante e predeterminato.
  2. 2. Metodo secondo la rivendicazione 1, in cui detto intervallo (60) Ã ̈ regolabile o programmabile.
  3. 3. Metodo secondo la rivendicazione 1, in cui à ̈ possibile rendere detto intervallo (60) sostanzialmente pari alla metà del tempo (65) intercorrente tra la ripresa di due immagini sinistre (L) o destre (R) successive.
  4. 4. Metodo secondo la rivendicazione 1, in cui viene inserito nel flusso video stereoscopico (84) un primo dato di segnalazione indicante quale di dette due immagini (L,R) à ̈ ripresa in istanti temporali ritardati rispetto all’altra immagine (R,L).
  5. 5. Metodo secondo la rivendicazione 1, in cui viene inserito nel flusso video stereoscopico (84) un secondo dato di segnalazione indicante la contemporaneità o non contemporaneità della ripresa di dette immagini (L,R).
  6. 6. Dispositivo per la generazione di un flusso video stereoscopico (84) comprendente frame compositi (C), detti frame compositi comprendendo informazioni relative a una immagine sinistra (L) e una immagine destra (R) per la visualizzazione tridimensionale di una scena, comprendente mezzi atti a selezionare i pixel di dette immagini sinistra (L) e destra (R) e a inserire detti pixel selezionati all’interno del frame composito (C) di detto flusso video stereoscopico, detto dispositivo essendo caratterizzato dal fatto di comprendere mezzi atti a fare in modo che una di dette immagini (L,R) sia ripresa a istanti temporali ritardati di un intervallo (60) sostanzialmente costante e predeterminato rispetto all’altra immagine (R,L).
  7. 7. Dispositivo secondo la rivendicazione 6, in cui sono previsti mezzi per regolare o programmare detto intervallo (60).
  8. 8. Dispositivo secondo la rivendicazione 6, comprendente mezzi atti a fare in modo che sia possibile rendere detto intervallo (60) sostanzialmente pari alla metà del tempo (65) intercorrente tra la ripresa di due immagini sinistre (L) o destre (R) successive.
  9. 9. Dispositivo secondo la rivendicazione 6, comprendente mezzi in grado di inserire in detto flusso video stereoscopico (84) un primo dato di segnalazione indicante quale di dette due immagini (L,R) à ̈ ripresa in istanti temporali ritardati rispetto all’altra immagine destra (R,L).
  10. 10. Dispositivo secondo la rivendicazione 6, in cui sono previsti mezzi per inserire nel flusso video un secondo dato di segnalazione indicante la contemporaneità o non contemporaneità della ripresa di dette immagini (L,R).
  11. 11. Metodo per riprodurre un flusso video stereoscopico (92) comprendente frame compositi (C), detti frame compositi comprendendo informazioni relative a una immagine sinistra (L) e una immagine destra (R) per la visualizzazione tridimensionale di una scena, caratterizzato dal fatto di estrarre dette immagini sinistra (L) e destra (R) da uno di detti frame compositi (C) e rendere visibile una di dette immagini (L,R) in istanti temporali ritardati rispetto all’altra immagine (R,L) di un intervallo (70) sostanzialmente costante e predeterminato, nonché nello stesso ordine temporale nel quale dette due immagini (L,R; R,L) sono state riprese.
  12. 12. Metodo secondo la rivendicazione 11, in cui detto intervallo (70) à ̈ sostanzialmente uguale all’intervallo (60) con il quale sono ritardate le riprese di dette due immagini sinistra (L) e destra (R).
  13. 13. Metodo secondo la rivendicazione 11, in cui detto intervallo (70) à ̈ sostanzialmente pari alla metà del tempo (65) intercorrente tra la ripresa di due immagini sinistre (L) o destre (R) successive.
  14. 14. Metodo secondo la rivendicazione 11, in cui viene letto da detto flusso video stereoscopico (92) un primo dato di segnalazione indicante quale di dette due immagini (L,R), à ̈ ripresa in istanti temporali ritardati rispetto all’altra immagine (R,L), e in cui dette due immagini sinistra (L) e destra (R) sono rese visibili nello stesso ordine temporale nel quale dette due immagini (L,R; R,L) sono state riprese.
  15. 15. Metodo secondo la rivendicazione 11, in cui viene letto da detto flusso video stereoscopico (92) un secondo dato di segnalazione indicante la contemporaneità o non contemporaneità della ripresa di dette immagini (L,R), detto secondo dato di segnalazione essendo utilizzato per determinare se detto flusso video stereoscopico (92) à ̈ ottimizzato per un dispositivo associato ad un display che visualizza detto flusso (92).
  16. 16. Metodo secondo la rivendicazione 15, in cui, se detto secondo dato di segnalazione indica che detto flusso video stereoscopico (92) non à ̈ ottimizzato per il display che visualizza detto flusso (92), detto dispositivo svolge una o più delle seguenti procedure: segnala all’utente la probabile presenza di errori di profondità; consiglia all’utente di visualizzare detto flusso video stereoscopico (92) in modalità 2D e/o commuta automaticamente in modalità 2D; corregge errori di profondità tramite un’elaborazione locale di dette immagini (L,R).
  17. 17. Dispositivo per riprodurre un flusso video stereoscopico comprendente frame compositi (C), detti frame compositi comprendendo informazioni relative a una immagine sinistra (L) e una immagine destra (R) per la visualizzazione tridimensionale di una scena, caratterizzato dal fatto di comprendere mezzi atti a estrarre dette immagini sinistra (L) e destra (R) da uno di detti frame compositi (C) e a rendere visibile una di dette immagini (L,R) in istanti temporali ritardati rispetto all’altra immagine (R,L) di un intervallo (70) sostanzialmente costante e predeterminato, nonché nello stesso ordine temporale nel quale dette due immagini (L,R; R,L) sono state riprese.
  18. 18. Dispositivo secondo la rivendicazione 17, comprendente mezzi per fare in modo che detto intervallo (70) sia sostanzialmente uguale all’intervallo (60) con il quale sono ritardate le riprese di dette due immagini sinistra (L) e destra (R).
  19. 19. Dispositivo secondo la rivendicazione 17, comprendente mezzi atti a fare in modo che detto intervallo (70) sia sostanzialmente pari alla metà del tempo (65) intercorrente tra la ripresa di due immagini sinistre (L) o destre (R) successive.
  20. 20. Dispositivo secondo la rivendicazione 17, comprendente mezzi atti a leggere un primo dato di segnalazione presente in detto flusso video stereoscopico (92) indicante quale di dette due immagini (L,R) à ̈ ripresa in istanti temporali ritardati rispetto all’altra immagine (R,L) e atti a rendere visibili dette immagini sinistra (L) e destra (R) in un ordine temporale che dipende da detto dato di segnalazione letto.
  21. 21. Dispositivo secondo la rivendicazione 17, comprendente mezzi atti a leggere un secondo dato di segnalazione presente in detto flusso video stereoscopico (92) indicante la contemporaneità o non contemporaneità della ripresa di dette immagini (L,R), e mezzi per determinare se detto flusso video stereoscopico (92) à ̈ ottimizzato per un display, associato a detto dispositivo, che visualizza detto flusso (92).
  22. 22. Dispositivo secondo la rivendicazione 21, in cui, se detto secondo dato di segnalazione indica che detto flusso video stereoscopico (92) non à ̈ ottimizzato per il display che visualizza detto flusso (92), detto dispositivo svolge una o più delle seguenti procedure: segnala all’utente la probabile presenza di errori di profondità; consiglia all’utente di visualizzare detto flusso video stereoscopico (92) in modalità 2D e/o commuta automaticamente in modalità 2D; corregge errori di profondità tramite un’elaborazione locale di dette immagini (L,R).
  23. 23. Flusso video stereoscopico comprendente frame compositi (C), detti frame compositi comprendendo informazioni relative a una immagine sinistra (L) e una immagine destra (R) per la visualizzazione tridimensionale di una scena, caratterizzato dal fatto di comprendere un dato di segnalazione indicante quale di dette due immagini (L,R) à ̈ ripresa in istanti temporali ritardati rispetto all’altra immagine (R,L).
IT000208A 2012-03-09 2012-03-09 Metodo di generazione, trasporto e ricostruzione di un flusso video stereoscopico ITTO20120208A1 (it)

Priority Applications (5)

Application Number Priority Date Filing Date Title
IT000208A ITTO20120208A1 (it) 2012-03-09 2012-03-09 Metodo di generazione, trasporto e ricostruzione di un flusso video stereoscopico
CN201380013377.4A CN104205824A (zh) 2012-03-09 2013-03-08 产生、传送和重构立体视频流的方法
PCT/IB2013/051865 WO2013132469A1 (en) 2012-03-09 2013-03-08 Method for generating, transporting and reconstructing a stereoscopic video stream
US14/378,546 US20150130897A1 (en) 2012-03-09 2013-03-08 Method for generating, transporting and reconstructing a stereoscopic video stream
EP13720061.4A EP2823640A1 (en) 2012-03-09 2013-03-08 Method for generating, transporting and reconstructing a stereoscopic video stream

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT000208A ITTO20120208A1 (it) 2012-03-09 2012-03-09 Metodo di generazione, trasporto e ricostruzione di un flusso video stereoscopico

Publications (1)

Publication Number Publication Date
ITTO20120208A1 true ITTO20120208A1 (it) 2013-09-10

Family

ID=46028084

Family Applications (1)

Application Number Title Priority Date Filing Date
IT000208A ITTO20120208A1 (it) 2012-03-09 2012-03-09 Metodo di generazione, trasporto e ricostruzione di un flusso video stereoscopico

Country Status (5)

Country Link
US (1) US20150130897A1 (it)
EP (1) EP2823640A1 (it)
CN (1) CN104205824A (it)
IT (1) ITTO20120208A1 (it)
WO (1) WO2013132469A1 (it)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10958965B2 (en) * 2014-10-31 2021-03-23 Telefonaktiebolaget Lm Ericsson (Publ) Video stream synchronization
US9894342B2 (en) * 2015-11-25 2018-02-13 Red Hat Israel, Ltd. Flicker-free remoting support for server-rendered stereoscopic imaging
CN110192391B (zh) * 2017-01-19 2020-11-06 华为技术有限公司 一种处理的方法及设备
US11729442B2 (en) * 2017-12-29 2023-08-15 Sling Media L.L.C. Multiplexed place shifting device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6040852A (en) * 1993-12-29 2000-03-21 Leica Microsystems Ag Method and device for the recording and reproduction of stereoscopic video images
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1172267A (zh) * 1996-07-29 1998-02-04 冯有纲 新型立体视觉图象技术及装置
US6798390B1 (en) * 1997-08-29 2004-09-28 Canon Kabushiki Kaisha 3D image reconstructing apparatus and 3D object inputting apparatus
JP2003199126A (ja) * 2001-12-25 2003-07-11 Canon Inc 画像処理装置およびその方法
WO2004049734A1 (ja) * 2002-11-28 2004-06-10 Seijiro Tomita 立体映像信号生成回路及び立体映像表示装置
JP4638783B2 (ja) * 2005-07-19 2011-02-23 オリンパスイメージング株式会社 3d画像ファイルの生成装置、撮像装置、画像再生装置、画像加工装置、及び3d画像ファイルの生成方法
US8558830B2 (en) * 2008-12-18 2013-10-15 3D Fusion, Inc. System and method for adaptive scalable dynamic conversion, quality and processing optimization, enhancement, correction, mastering, and other advantageous processing of three dimensional media content
MX2011007317A (es) * 2009-01-19 2011-09-06 Minoru Inaba Sistema de captacion y visualizacion de imagenes de video tridimensionales.
JP5299111B2 (ja) * 2009-06-19 2013-09-25 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5413184B2 (ja) * 2009-12-24 2014-02-12 ソニー株式会社 カメラシステム及びカメラ制御方法
KR101291071B1 (ko) * 2010-06-08 2013-08-01 주식회사 에스칩스 입체 영상 오류 개선 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6040852A (en) * 1993-12-29 2000-03-21 Leica Microsystems Ag Method and device for the recording and reproduction of stereoscopic video images
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system

Also Published As

Publication number Publication date
CN104205824A (zh) 2014-12-10
EP2823640A1 (en) 2015-01-14
WO2013132469A1 (en) 2013-09-12
US20150130897A1 (en) 2015-05-14

Similar Documents

Publication Publication Date Title
US11012680B2 (en) Process and system for encoding and playback of stereoscopic video sequences
US9161023B2 (en) Method and system for response time compensation for 3D video processing
JP5429034B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US8836758B2 (en) Three-dimensional image processing apparatus and method of controlling the same
US8830301B2 (en) Stereoscopic image reproduction method in case of pause mode and stereoscopic image reproduction apparatus using same
US20130315472A1 (en) Image processing device and image processing method
TWI428007B (zh) 視訊處理裝置及方法
US20120050476A1 (en) Video processing device
TWI539790B (zh) 用於產生及重建一視訊串流之裝置、方法與軟體產品
JPWO2012111325A1 (ja) 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム
WO2012147354A1 (ja) 映像処理装置及び映像処理方法
US8780186B2 (en) Stereoscopic image reproduction method in quick search mode and stereoscopic image reproduction apparatus using same
JP5415217B2 (ja) 三次元映像処理装置
ITTO20120208A1 (it) Metodo di generazione, trasporto e ricostruzione di un flusso video stereoscopico
US20110150355A1 (en) Method and system for dynamic contrast processing for 3d video
JP2013021683A (ja) 映像信号処理装置及び映像信号処理方法、映像表示装置及び映像表示方法、並びに映像処理システム