ES2885250T3 - Sistemas y métodos para la entrega de vídeo multicapa compatible de trama - Google Patents

Abstract

Un método de codificación para la entrega de vídeo multicapa compatible de trama, que comprende: a) una capa (1102) de base que procesa imágenes o tramas de vídeo de múltiples vistas a través de una capa de base, que comprende: multiplexar las múltiples vistas en la capa de base para crear una representación compatible de trama de capa de base de las imágenes o de las tramas de vídeo de las múltiples vistas; almacenar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; y codificar la representación compatible de trama de la capa de base al realizar la compensación de disparidad en el nivel compatible de trama utilizando las fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; b) una capa (1152) de perfeccionamiento que procesa las imágenes o tramas de vídeo de múltiples vistas a través de una o más capas de perfeccionamiento, comprendiendo, el procesamiento de la capa (1152) de perfeccionamiento para cada una de la una o más capas de perfeccionamiento: multiplexar las múltiples vistas en la capa de perfeccionamiento respectiva para crear una representación compatible de trama de la capa de perfeccionamiento de las imágenes o de las tramas de vídeo de las múltiples vistas para la capa de perfeccionamiento respectiva, teniendo, la representación de capa de perfeccionamiento compatible de trama de la capa de perfeccionamiento respectiva, una resolución espacial superior a la representación compatible de trama de la capa de base; demultiplexar fotografías decodificadas de referencia compatibles de trama para la capa de perfeccionamiento respectiva; demultiplexar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; almacenar las fotografías demultiplexadas de referencia en múltiples memorias intermedias (1162) de fotografías de referencia de capa de perfeccionamiento, una para cada vista de las múltiples vistas; generar una fotografía de referencia compatible de trama multiplexando las fotografías de referencia a partir de las memorias intermedias (1162) de fotografías de referencia de la capa de perfeccionamiento múltiple; y codificar la capa de perfeccionamiento realizando una compensación (1168) de movimiento o disparidad utilizando la fotografía de referencia compatible de trama.

Description

DESCRIPCIÓN

Sistemas y métodos para la entrega de vídeo multicapa compatible de trama

Referencia cruzada a aplicaciones relacionadas

Esta solicitud reivindica la prioridad de la solicitud de patente provisional de los Estados Unidos núm. 61/366512 presentada el 21 de julio de 2010.

Tecnología

La presente divulgación se refiere al procesamiento de imágenes y a la compresión de vídeo. Más particularmente, una realización de la presente invención se refiere a sistemas y métodos de codificación y decodificación para la entrega de vídeo multicapa compatible de trama.

Antecedentes

Recientemente, ha habido un interés y una tracción considerables en la industria hacia la entrega de vídeo estereoscópico (3D). Las películas de gran recaudación han llevado el vídeo estereoscópico 3D a la corriente principal, a la vez que los principales eventos deportivos se están también produciendo y difundiendo en 3D. Las películas animadas, en particular, se generan y renderizan cada vez más en formato estereoscópico.

Aunque ya existe una base instalada suficientemente grande de pantallas de cine con capacidad 3D, no ocurre lo mismo con las aplicaciones 3D para consumidores. Los esfuerzos en este espacio aún se encuentran en sus preliminares, pero varias partes de la industria están invirtiendo un esfuerzo considerable en el desarrollo y el marketing de dispositivos de representación visual con capacidad 3D para consumidores [Referencia 1].

La tecnología de representación visual estereoscópica y la creación de contenido estereoscópico son cuestiones que deben abordarse adecuadamente para garantizar una experiencia de calidad suficientemente alta. La entrega de contenido 3D es igualmente crítica. La entrega de contenido comprende varios componentes, incluida la compresión. La entrega estereoscópica supone un desafío, porque un sistema de entrega estereoscópico maneja el doble de información que un sistema de entrega 2D. Además, los requisitos de rendimiento informático y de memoria aumentan asimismo considerablemente.

En general, existen dos canales principales de distribución a través de los cuales se puede entregar contenido estereoscópico al consumidor: medios fijos, tales como discos Blu-Ray, y soluciones de streaming en las que el contenido se entrega en primer lugar a un decodificador y en segundo lugar a un PC.

La mayoría de los reproductores de Blu-Ray y decodificadores actualmente desarrollados soportan sólo códecs tales como los basados en los perfiles del Anexo A de ITU-T/ISO/IEC H.264/14496-10 [Referencia 2] del estándar de codificación de vídeo del estado de la técnica (también conocido como MPEG-4 Parte 10 AVC) y el estándar SMPTE VC-1 [Referencia 3].

Cada una de estas soluciones de códec permite a un proveedor de servicios entregar una única secuencia de imágenes HD con una resolución de 1920 x 1080 píxeles. Sin embargo, entregar contenido estereoscópico implica transmitir información para dos secuencias, una izquierda y otra derecha. Un enfoque sencillo es codificar dos flujos de bits separados, uno para cada vista, un enfoque también conocido como emisión simultánea.

En primer lugar, los enfoques de emisión simultánea o similares tienen una baja eficiencia de compresión. Además utilizan un gran ancho de banda para mantener un nivel aceptable de calidad. Esto se debe a que las secuencias de vista izquierda y derecha se codifican de manera independiente aunque estén correlacionadas.

En segundo lugar, los dos flujos de bits separados se demultiplexan y decodifican en paralelo en dos decodificadores debidamente sincronizados. Para implantar tales decodificadores, se pueden usar dos decodificadores del momento existentes. Además, la decodificación paralela encaja con las arquitecturas de unidades de procesamiento de gráficos.

Los códecs que soportan múltiples capas pueden proporcionar una alta eficiencia de compresión para vídeo estereoscópico, mientras que mantienen, al mismo tiempo, la compatibilidad con versiones anteriores.

Los flujos de bits de multicapa o escalables se componen de múltiples capas que se caracterizan por relaciones de dependencia predefinidas. Una o más de esas capas son las denominadas capas de base que se decodifican antes que cualquier otra capa y que se pueden decodificar de manera independiente.

Otras capas se conocen habitualmente como capas de perfeccionamiento, ya que su función es mejorar el contenido obtenido analizando y decodificando la capa o las capas de base. Estas capas de perfeccionamiento son también capas dependientes en el sentido de que dependen de las capas de base. Las capas de perfeccionamiento utilizan algún tipo de predicción entre capas, y, a menudo, una o más de las capas de perfeccionamiento pueden también depender de la decodificación de otras capas de perfeccionamiento de mayor prioridad. De este modo, la decodificación también puede terminar en una de las capas intermedias.

Los flujos de bits escalables o de multicapa permiten la escalabilidad en términos de relación calidad/señal a ruido (SNR), resolución espacial y/o resolución temporal y/o incluso disponibilidad de vistas adicionales. Por ejemplo, si se utilizan códecs basados en los perfiles del anexo A de H.264/MPEG-4 Parte 10, VC-1 o VP8, se pueden producir flujos de bits que sean temporalmente escalables.

Una primera capa de base, si se decodifica, puede proporcionar una versión de la secuencia de imágenes a 15 tramas por segundo (fps), mientras que una segunda capa de perfeccionamiento, si se decodifica, puede proporcionar, junto con la capa de base ya decodificada, la misma secuencia de imágenes a 30 fps.

También son pertinentes SNR y escalabilidad espacial. Por ejemplo, cuando se adopta la extensión de codificación de vídeo escalable (SVC) del estándar de codificación de vídeo AVC H.264/MPEG-4 Parte 10 (anexo G), la capa de base (codificada en el anexo A) genera una versión de calidad rudimentaria de la secuencia de imágenes. La capa o capas de perfeccionamiento pueden proporcionar aumentos adicionales en términos de calidad visual. De manera similar, la capa de base puede proporcionar una versión de baja resolución de la secuencia de imágenes. La resolución se puede mejorar decodificando capas adicionales de perfeccionamiento, espaciales y/o temporales. Los flujos de bits escalables o de múltiples capas también son útiles para proporcionar escalabilidad de múltiples vistas. El perfil alto estéreo de la extensión de codificación de múltiples vistas (MVC) (anexo H) de H.264/AVC se finalizó recientemente y se adoptó como el códec de vídeo para la próxima generación de discos Blu-Ray (Blu-Ray 3D) que cuenten con contenido estereoscópico. Este enfoque de codificación intenta abordar, hasta cierto punto, los requisitos de alta velocidad de bits de un flujo de vídeo estereoscópico.

El perfil alto estéreo utiliza una capa de base que cumple con el perfil alto del anexo A de H.264/AVC y que comprime una de las vistas (habitualmente, la izquierda) que se denomina vista de base. Luego, una capa de perfeccionamiento comprime la otra vista, que se denomina vista dependiente. Si bien la capa de base es por sí misma un flujo de bits válido de H.264/AVC y se puede decodificar independientemente a partir de la capa de perfeccionamiento, puede que no sea así, y habitualmente no lo es, para la capa de perfeccionamiento. Esto se debe a que la capa de perfeccionamiento puede utilizar, como referencias de predicción compensadas por movimiento, fotografías decodificadas a partir de la capa de base. Como resultado, la vista dependiente (capa de perfeccionamiento) puede beneficiarse de la predicción entre vistas, y la compresión puede mejorar considerablemente para escenas con alta correlación entre vistas (es decir, baja disparidad estéreo). Por consiguiente, el enfoque de extensión de MVC intenta abordar el problema del aumento del ancho de banda explotando la disparidad estereoscópica.

Sin embargo, tal enfoque podría no proporcionar compatibilidad con el decodificador y la infraestructura del reproductor de Blu-Ray desarrollados existentes. Aunque un decodificador de H.264 existente pudiera decodificar y mostrar la vista de base, simplemente descartaría e ignoraría la vista dependiente (derecha). Como resultado, los decodificadores existentes no proporcionan la capacidad de decodificar y de representar visualmente contenido 3D codificado usando MVC. Por consiguiente, mientras la MVC conserve la compatibilidad 2D, la MVC no entregará contenido 3D en dispositivos heredados. La falta de compatibilidad con versiones anteriores es una barrera adicional hacia la rápida adopción del vídeo estereoscópico 3D para consumidores.

El documento WO 2007/047736 A2 divulga una técnica para la codificación de vídeo estereoscópica. Un codificador de vídeo escalable codifica al menos dos vistas correspondientes al contenido de vídeo de múltiples vistas, codificando una vista particular de las al menos dos vistas como una capa de base, y codificando cada una de al menos otra vista de las al menos dos vistas como una capa de perfeccionamiento usando una predicción a partir de una capa inferior correspondiente a al menos una de entre la vista particular y la al menos otra vista. Las al menos dos vistas se codifican en base a una selección de al menos dos técnicas de entre escalabilidad temporal, espacial y de relación señal a ruido.

El texto de Pandit P. et al. "H.264/AVC extension for MVC using SEI message", Joint Video Team (JVT) de ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 y ITU-T SG16 Q6), n° JVT-X061, 29 de junio de 2007, páginas 1­ 14, divulga un mensaje de información suplementaria de perfeccionamiento (SEI) para señalizar información de vista múltiple en un flujo de bits compatible con H.264/MPEG-4 AVC donde cada fotografía contiene fotografías subordinadas que pertenecen a diferentes vistas. El mensaje de SEI proporciona una alternativa de codificación de vídeo de múltiples vistas colocando en mosaico las tramas de diferentes vistas en una súpertrama, en lugar de codificar cada vista con un único codificador que cree flujos de bits separados para cada vista.

El texto de Ohm J.-R. "Advances in Scalable vídeo Coding", Proceedings of the IEEE, IEEE New York, vol. 93, n° 1, 1 de enero de 2005, páginas 42-56, divulga una técnica de codificación de vídeo escalable con operaciones de decodificación de una capa de base y generación de residuos entre una capa de perfeccionamiento y una capa de base. Este concepto de decodificar una capa inferior y de generar un residuo entre una capa superior y la capa inferior puede repetirse para mejorar la calidad de la imagen hasta el nivel deseado.

El texto de Walt Husak "Stereoscopic delivery of 3D content to the home", 2010 Spring Technical Forum, 11 de mayo de 2010, página 10-19, divulga una codificación de 3D en una representación compatible de trama tanto en una capa de base como en una capa de perfeccionamiento. La capa de base contiene una versión compatible de trama de media resolución del vídeo en 3D, mientras que las capas de perfeccionamiento contienen datos complementarios para obtener una versión compatible de trama de resolución completa del vídeo en 3D.

El texto de Yang Lei et al. "An improved multiview stereo video FGS scalable scheme", 3DTV Conference: The true vision - capture, transmission and display of 3D video, 2009, IEEE, Piscataway, Nueva Jersey, EE. UU., 4 de mayo de 2009, páginas 1-4, divulga la codificación de múltiples vistas con una vista en la capa de base y vistas adicionales que están codificadas cada una en capas de perfeccionamiento separadas.

Sumario

La presente invención está definida por las reivindicaciones independientes. Las reivindicaciones dependientes se refieren a características opcionales de algunas realizaciones de la invención.

Breve descripción de los dibujos

Los dibujos adjuntos, que se incorporan y constituyen una parte de esta especificación, ilustran una o más realizaciones de la presente divulgación, y, junto con la descripción de las realizaciones de ejemplo, sirven para explicar los principios e implantaciones de la divulgación.

La figura 1 representa una disposición en damero con intercalación para la entrega de material estereoscópico. La figura 2 representa una disposición horizontal de muestreo/de columnas intercaladas para la entrega de material estereoscópico.

La figura 3 representa una disposición vertical de muestreo/de filas intercaladas para la entrega de material estereoscópico.

La figura 4 representa una disposición horizontal de muestreo/de lado a lado para la entrega de material estereoscópico.

La figura 5 representa una disposición vertical de muestreo/de por encima y por debajo para la entrega de material estereoscópico.

La figura 6 representa una disposición quincunce de muestreo/de lado a lado para la entrega de material estereoscópico.

La figura 7 representa un ejemplo de un sistema de codificación de vídeo escalable estereoscópico 3D de resolución completa compatible de trama con procesamiento de referencia para la predicción entre capas que es útil para comprender la presente invención.

La figura 8 representa un ejemplo de un sistema de decodificación de vídeo escalable estereoscópico 3D de resolución completa compatible de trama con procesamiento de referencia para la predicción entre capas que es útil para comprender la presente invención.

La figura 9 representa un ejemplo de un sistema de codificación de vídeo escalable con una unidad de procesamiento de referencia para la predicción entre capas que es útil para comprender la presente invención. La figura 10 representa un ejemplo de un módulo de reconstrucción para un sistema de entrega de dos capas de resolución completa compatible de trama que es útil para comprender la presente invención.

La figura 11 representa un codificador de vídeo estéreo 3D escalable de resolución de multicapa, donde la capa de perfeccionamiento mantiene dos memorias intermedias de fotografías de referencia, cada una con una resolución de perfeccionamiento, y realiza compensación de movimiento/disparidad en una resolución reducida (compatible de trama), de acuerdo con una realización de la presente divulgación.

La figura 12 representa un decodificador de vídeo estéreo 3D escalable en resolución de multicapa, donde la capa de perfeccionamiento mantiene dos memorias intermedias de fotografías de referencia, cada una con una resolución de perfeccionamiento, y realiza una compensación de movimiento/disparidad en alguna resolución reducida (compatible de trama), de acuerdo con una realización de la presente divulgación.

La figura 13 representa un ejemplo de un codificador de vídeo estéreo 3D escalable en resolución de multicapa que es útil para comprender la presente invención, donde la capa de perfeccionamiento mantiene dos memorias intermedias de fotografías de referencia, cada una con una resolución de perfeccionamiento, y realiza una compensación de movimiento/disparidad con una resolución de perfeccionamiento.

La figura 14 representa un ejemplo de un decodificador de vídeo estéreo 3D escalable en resolución de multicapa que es útil para comprender la presente invención, donde la capa de perfeccionamiento mantiene dos memorias intermedias de fotografías de referencia, cada una con una resolución de perfeccionamiento, y realiza una compensación de movimiento/disparidad con una resolución de perfeccionamiento.

La figura 15 representa un codificador de vídeo escalable de resolución de multicapa, donde la capa de base codifica una versión compatible de trama de los datos, y donde las dos capas de perfeccionamiento codifican cada una de las vistas de resolución de perfeccionamiento (cada vista para la entrega de vídeo estereoscópico 3D), de acuerdo con una realización de la presente divulgación.

La figura 16 representa un decodificador de vídeo escalable de resolución de multicapa, donde la capa de base codifica una versión compatible de trama de los datos y las dos capas de perfeccionamiento codifican cada una de las vistas de resolución de perfeccionamiento (cada vista para la entrega de vídeo estereoscópico 3D), de acuerdo con una realización de la presente divulgación.

La figura 17 representa un codificador de vídeo estéreo 3D escalable de resolución de multicapa, donde la capa de perfeccionamiento codifica los residuos y mantiene dos memorias intermedias de fotografías de referencia, cada una con una resolución de perfeccionamiento, y realiza una compensación de movimiento/disparidad en alguna resolución reducida (compatible de trama), de acuerdo con una realización de la presente divulgación.

La figura 18 representa un decodificador de vídeo estéreo 3D escalable de resolución de multicapa, donde la capa de perfeccionamiento codifica los residuos y mantiene dos memorias intermedias de fotografías de referencia, cada una con una resolución de perfeccionamiento, y realiza una compensación de movimiento/disparidad en alguna resolución reducida (compatible de trama), de acuerdo con una realización de la presente divulgación.

La figura 19 representa un codificador de vídeo escalable de resolución de multicapa, donde la capa de base codifica una versión compatible de trama de los datos, y donde las dos capas de perfeccionamiento codifican residuales para cada una de las vistas de resolución de perfeccionamiento (cada vista para la entrega de vídeo estereoscópico 3D), de acuerdo con una realización de la presente divulgación.

La figura 20 representa un decodificador de vídeo escalable de resolución de multicapa, donde la capa de base codifica una versión compatible de trama de los datos, y las dos capas de perfeccionamiento codifican residuos para cada una de las vistas de resolución de perfeccionamiento (cada vista para la entrega de vídeo estereoscópico 3D), de acuerdo con una realización de la presente divulgación.

Descripción de ejemplos de realización

De acuerdo con un primer aspecto de la presente divulgación, se proporciona un método de codificación para la entrega de vídeo multicapa compatible de trama, comprendiendo dicho método de codificación: a) una capa de base que procesa imágenes o tramas de vídeo de múltiples vistas a través de una capa de base, que comprende: multiplexar las múltiples vistas en la capa de base para crear una representación compatible de trama de capa de base de las imágenes o de las tramas de vídeo de las múltiples vistas, almacenar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base, y codificar la representación compatible de trama de capa de base mediante la realización de compensación de disparidad a un nivel compatible de trama utilizando las fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; y b) una capa de perfeccionamiento que procesa las imágenes o tramas de vídeo de múltiples vistas a través de una o más capas de perfeccionamiento, comprendiendo el procesamiento de la capa de perfeccionamiento para cada una o más capas de perfeccionamiento: multiplexar las múltiples vistas en la capa de perfeccionamiento respectiva para crear una representación compatible de trama de capa de perfeccionamiento de las imágenes o de las tramas de vídeo de las múltiples vistas para la capa de perfeccionamiento respectiva, teniendo la capa de perfeccionamiento la representación compatible de trama de capa de perfeccionamiento respectiva una resolución espacial más alta que la representación compatible de trama de capa de base, demultiplexar fotografías decodificadas de referencia compatibles de trama para la capa de perfeccionamiento respectiva, demultiplexar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base, almacenar las fotografías demultiplexadas de referencia en memorias intermedias de fotografías de referencia de capas de perfeccionamiento múltiples, una para cada vista de las múltiples vistas, generar una fotografía de referencia compatible de trama multiplexando las fotografías de referencia de las memorias intermedias de fotografías de referencia de capa de perfeccionamiento múltiples, y codificar la capa de perfeccionamiento realizando una compensación de movimiento o disparidad utilizando la fotografía de referencia compatible de trama.

De acuerdo con un segundo aspecto de la presente divulgación, se proporciona un método de codificación para la entrega de vídeo multicapa compatible de trama, comprendiendo dicho método de codificación: a) una capa de base que procesa imágenes o tramas de vídeo de múltiples vistas a través de una capa de base, que comprende: multiplexar las múltiples vistas en la capa de base para crear una representación compatible de trama de capa de base de las imágenes o de las tramas de vídeo de las múltiples vistas, almacenar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base, y codificar la representación compatible de trama de capa de base mediante la realización de compensación de disparidad a un nivel compatible de trama utilizando las fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; y b) una capa de perfeccionamiento que procesa las imágenes o tramas de vídeo de múltiples vistas a través de una o más capas de perfeccionamiento, donde cada una de las múltiples vistas se procesa por separado en una capa de perfeccionamiento separada, comprendiendo el procesamiento de la capa de perfeccionamiento para cada una o más capas de perfeccionamiento: proporcionar una representación de capa de perfeccionamiento de imágenes o vídeos para una vista de las múltiples vistas correspondiente a la capa de perfeccionamiento respectiva, teniendo la representación de capa de perfeccionamiento de la vista una resolución espacial más alta que la misma vista codificada en la representación compatible de trama de capa de base, proporcionar fotografías de decodificadas referencia para la capa respectiva de perfeccionamiento para recuperar fotografías decodificadas de referencia para la vista, demultiplexar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base para recuperar fotografías decodificadas de referencia para la vista, almacenar las fotografías decodificadas de referencia para la vista en una memoria intermedia de fotografías de referencia de capa de perfeccionamiento correspondiente a la vista, y codificar la capa de perfeccionamiento realizando una compensación de movimiento o disparidad utilizando las fotografías de referencia almacenadas en la memoria intermedia de fotografías de referencia de capa de perfeccionamiento correspondiente a la vista.

De acuerdo con un tercer aspecto de la presente divulgación, se proporciona un método de decodificación para la entrega de vídeo multicapa compatible de trama, comprendiendo dicho método de decodificación: a) una capa de base que procesa una señal de flujo de bits de capa de base a través de una capa de base, donde la señal de flujo de bits de capa de base codifica imágenes o tramas de vídeo de múltiples vistas en una representación compatible de trama, comprendiendo el procesamiento de capa de base: almacenar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base y decodificar la señal del flujo de bits de capa de base para crear una trama de vídeo o una imagen compatible de trama de capa de base de decodificación al realizar una compensación de disparidad a un nivel compatible de trama utilizando las fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; y b) una capa de perfeccionamiento que procesa una pluralidad de señales de flujo de bits de capa de perfeccionamiento a través de una o más capas de perfeccionamiento, donde una señal de flujo de bits de capa de perfeccionamiento codifica imágenes o tramas de vídeo de múltiples vistas en una representación compatible de trama que tiene una resolución espacial más alta que la representación compatible de trama de capa de base, comprendiendo el procesamiento de capa de perfeccionamiento para cada una o más capas de perfeccionamiento: demultiplexar fotografías decodificadas de referencia compatibles de trama para la capa de perfeccionamiento respectiva, demultiplexar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base, almacenar las fotografías demultiplexadas de referencia en múltiples memorias intermedias de fotografías de referencia de capa de perfeccionamiento, una para cada vista de las múltiples vistas, generar una fotografía de referencia compatible de trama multiplexando las fotografías de referencia de las memorias intermedias de fotografías de referencia de capa de perfeccionamiento múltiples, y decodificar la señal de flujo de bits de capa de perfeccionamiento correspondiente a la respectiva capa de perfeccionamiento para crear una trama de vídeo o una imagen de decodificación de capa de perfeccionamiento realizando una compensación de movimiento o disparidad utilizando la fotografía de referencia compatible de trama de referencia.

De acuerdo con un cuarto aspecto de la presente divulgación, se proporciona un método de decodificación para la entrega de vídeo multicapa compatible de trama, comprendiendo dicho método de decodificación: a) una capa de base que procesa una señal de flujo de bits de capa de base a través de una capa de base a través de una capa de base, donde la señal de flujo de bits de capa de base codifica imágenes o tramas de vídeo de múltiples vistas en una representación compatible de trama, comprendiendo el procesamiento de capa de base: almacenar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base y decodificar la señal de flujo de bits de capa de base para crear una trama de vídeo o una imagen de decodificación compatible de trama de capa de base realizando una compensación de disparidad en el nivel compatible de trama utilizando las fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; y b) una capa de perfeccionamiento que procesa una pluralidad de señales de flujo de bits de perfeccionamiento a través de una o más capas de perfeccionamiento para múltiples vistas a través de una o más capas de perfeccionamiento, donde cada una de las múltiples vistas se procesa por separado en una capa de perfeccionamiento separada, donde una señal de flujo de bits de capa de perfeccionamiento codifica imágenes o tramas de vídeo de una vista en una representación de capa de perfeccionamiento que tiene una resolución espacial más alta que la misma vista codificada en la representación compatible de trama de la capa de base, comprendiendo el procesamiento de la capa de perfeccionamiento para cada una o más capas de perfeccionamiento: proporcionar fotografías decodificadas de referencia para que la capa de perfeccionamiento respectiva recupere fotografías decodificadas de referencia para la vista, demultiplexar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base para recuperar fotografías decodificadas de referencia para la vista, almacenar las fotografías decodificadas de referencia para la vista en una memoria intermedia de fotografías de referencia de capa de perfeccionamiento correspondiente a la vista, y codificar la señal de flujo de bits de capa de perfeccionamiento correspondiente a la capa de perfeccionamiento respectiva para crear una trama de vídeo o una imagen de decodificación de capa de perfeccionamiento para la vista realizando una compensación de movimiento o disparidad utilizando las fotografías de referencia almacenadas en la memoria intermedia de fotografías de referencia de capa de perfeccionamiento correspondiente a la vista.

A la luz de la falta de compatibilidad con versiones anteriores de los códecs existentes, la explotación de la base instalada de decodificadores, reproductores de Blu-Ray y televisores de alta definición puede acelerar la implantación 3D para consumidores. La mayoría de los fabricantes de dispositivos de representación visual ofrecen televisores de alta definición que soportan la representación visual estereoscópica 3D. Estos televisores incluyen modelos de todas las principales tecnologías de representación visual: LCD, plasma y DLP [Referencia 1]. La clave es proporcionar contenido al dispositivo de representación visual que contenga ambas vistas, pero que se ajuste todavía a los límites de una sola trama, a la vez que se siguen utilizando códecs existentes e implantados como VC-1 y H.264/AVC. Este enfoque es el llamado enfoque compatible de trama, que formatea el contenido estéreo para que encaje dentro de una sola imagen o trama. El tamaño de la representación compatible de trama no tiene por qué ser el mismo que el de las tramas de representación visual originales.

De manera similar a la extensión MVC de H.264, el sistema de entrega al consumidor 3D estereoscópico de Dolby [Referencia 4] presenta una base y una capa de perfeccionamiento. A diferencia del enfoque de MVC, las vistas se pueden multiplexar en ambas capas para proporcionar a los consumidores una capa de base que sea compatible de trama al llevar versiones submuestreadas de ambas vistas, y una capa de perfeccionamiento que, cuando se combina con la capa de base, da como resultado reconstrucción de resolución completa de ambas vistas.

Un sistema de entrega de vídeo 3D compatible con versiones anteriores puede entregar vídeo 3D a hogares u otros recintos a través de equipo físico informático (hardware) y de sistemas de vídeo 2D existentes o heredados. Los sistemas de vídeo 3D compatibles de trama proporcionan tal arquitectura de entrega compatible con versiones anteriores. En ese caso, se puede utilizar un enfoque en capas en el que la capa de base proporciona una versión de baja resolución de los ojos izquierdo y derecho dispuestos en un formato "compatible de trama". Los formatos compatibles de trama incluyen de lado a lado, por encima y por debajo y quincunce/damero con intercalación. Las figuras 1-6 muestran algunos ejemplos indicativos. Además, puede estar presente una etapa de procesamiento previo adicional que predice la trama de capa de perfeccionamiento dada la trama decodificada de capa de base antes de usarla como referencia de movimiento compensado para la predicción de la capa de perfeccionamiento. Las figuras 7 y 8 muestran un codificador y un decodificador para el sistema divulgado en [Referencia 4], respectivamente, que son útiles para comprender la presente invención.

Incluso una disposición de codificación no compatible de trama, como la de la MVC, se puede también perfeccionar con un procesador previo (por ejemplo, una unidad de procesamiento de referencia (RPU)/agente de predicción) que mejora la referencia tomada de la vista de base antes de usarla como referencia para la predicción de la vista dependiente. Esta arquitectura se describe también en [Referencia 4] y se ilustra en la figura 9.

Las técnicas compatibles de trama de [Referencia 4] aseguran una capa de base compatible de trama. Mediante el uso del elemento de procesador previo/RPU, estas técnicas reducen la sobrecarga para realizar una reconstrucción de resolución completa de las vistas estereoscópicas. La figura 10 muestra un proceso de ejemplo de reconstrucción de resolución completa que es útil para comprender la presente invención.

En base a la disponibilidad de la capa de perfeccionamiento, existen varios métodos para obtener las vistas reconstruidas finales. Algunos de los métodos pueden considerar la codificación de datos de píxeles reales en la capa de perfeccionamiento, o pueden considerar datos residuales de codificación o, en general, diferentes de los datos de la capa de base (por ejemplo, altas frecuencias frente a bajas frecuencias) que, si se combinan de cierta manera, pueden permitir una representación de mayor calidad/resolución de la señal reconstruida. Se puede utilizar cualquier resolución para estos métodos; así, por ejemplo, algunos de estos métodos pueden tener la mitad de resolución, mientras que algunos otros de ellos pueden tener una resolución completa o incluso más baja, más alta o en algún punto intermedio. Se pueden interpolar a partir de la salida compatible de trama de la capa de base (V^{fc, bl}(1002) de la figura 10), y, opcionalmente, procesarse ulteriormente para producir V⁰,BL,salida (1004) y V¹,BL,salida (1006). Alternativamente, se pueden multiplexar con las muestras adecuadas de la capa de perfeccionamiento para producir un V⁰,FR,salida (1008) y un V¹,FR,salida (1010) de reconstrucción de representación superior de cada vista. Las vistas reconstruidas resultantes en ambos casos pueden tener la misma resolución. Sin embargo, en el segundo caso se codifica información para todas las muestras, mientras que, en el primer caso, la mitad de la información de las vistas reconstruidas se obtiene por interpolación con algoritmos inteligentes, como se divulga en [Referencia 4]. En la figura 10 se puede observar que, después de la decodificación de las capas de base y de perfeccionamiento, se utilizan operaciones adicionales y potencialmente intensivas en memoria y en ancho de banda con el fin derivar las vistas reconstruidas finales de resolución completa.

La presente divulgación proporciona técnicas que permiten que los sistemas de vídeo 3D compatibles de trama consigan una entrega 3D de resolución completa. La presente divulgación proporciona también métodos para mejorar la precisión de la predicción interna en las capas de perfeccionamiento mediante la realización de compensación de disparidad estéreo y de movimiento en algunos dominios de muestra de mayor representación/resolución. Tales dominios pueden tener una resolución espacial o de frecuencia más alta que las muestras en la representación compatible de trama. En algunas realizaciones, estos dominios pueden tener una resolución igual a la resolución completa, esto es, la resolución original de las tramas para cada vista antes de que esas tramas se filtren, se muestreen y se multiplexen en la representación compatible de trama. En [Referencia 5] se pueden encontrar métodos adicionales para el procesamiento de datos comprimidos por estas disposiciones. Para las realizaciones de la presente divulgación relacionadas con la entrega de imágenes o vídeos en 3D o estereoscópicos, el término "vista" se refiere a una sola vista para imágenes o vídeos en 3D.

La figura 11 muestra un codificador de vídeo estéreo 3D escalable en resolución de multicapa en el que la capa de perfeccionamiento mantiene dos memorias intermedias de fotografías de referencia, cada una con resolución de perfeccionamiento, y realiza compensación de movimiento/disparidad en alguna resolución reducida (por ejemplo, resolución media horizontal o vertical), de acuerdo con una realización de la presente divulgación. La figura 12 muestra un decodificador correspondiente al codificador mostrado en la figura 11, de acuerdo con la realización de la presente divulgación. De acuerdo con esta realización, se proporciona un códec multicapa para la compresión de una secuencia de vídeo que consta de tramas que pertenecen a múltiples vistas para un caso de tiempo dado.

De acuerdo con esta realización de la presente divulgación, la capa (1102) de base de la figura 11 proporciona una representación compatible de trama de múltiples vistas. La representación compatible de trama se refiere aquí a muestrear y multiplexar las diferentes vistas en una sola trama. Es posible que esta única trama no tenga el mismo tamaño que el de las tramas que componen las vistas originales. De acuerdo con una realización adicional de la presente divulgación, la capa (1102) de base de la figura 11 puede implantarse y codificarse usando cualesquiera códecs de vídeo disponibles o futuros, tales como H.264/AVC, VP8 y VC-1.

Continuando en referencia a la figura 11, antes de enviar los datos al codificador de la capa (1104) de base, los datos se muestrean con muestreadores (1106) y se multiplexan con un multiplexor (1108). En una realización adicional, el muestreo también puede comprender filtrado. Además, el filtrado puede ser asimétrico entre las diferentes vistas. Por ejemplo, en otras realizaciones más, se puede filtrar y muestrear una vista de modo que se conserve menos de la mitad de la información (por ejemplo, el contenido de frecuencia). Y se puede filtrar y muestrear otra vista de tal modo que se conserve más de la mitad de la información. Las figuras 1-6 muestran disposiciones indicativas de muestreo y multiplexación para dos vistas de datos de imagen.

De acuerdo con la realización mostrada en la figura 11, se proporciona una capa (1152) adicional de perfeccionamiento. De acuerdo con otras realizaciones, el número de capas adicionales de perfeccionamiento depende del número de vistas de los datos de trama, y de los datos ya muestreados e intercalados dentro de la capa de base. Los datos que se muestrean e intercalan en una capa de perfeccionamiento se seleccionan de tal manera que, cuando se combinan con los datos que ya están en la capa de base, los datos muestreados e intercalados conducen a una representación y reconstrucción eficientes de los datos de la mayoría de las vistas. De acuerdo con la realización mostrada en la figura 11, que implica dos vistas de datos, se usa una capa (1152) de perfeccionamiento para codificar todos los datos originales. De acuerdo con esta realización, la capa (1102) de base podría llevar la mitad de las muestras de cada vista, y la capa (1152) de perfeccionamiento podría proporcionar la otra mitad de las muestras faltantes de cada vista.

De acuerdo con otra realización de la presente divulgación, la capa de base comprime un tercio de las muestras de una vista, y los dos tercios restantes se almacenan en la capa de perfeccionamiento. También es posible lo contrario. De manera similar, al igual que con la capa de base, el contenido de datos de cada vista en una capa de perfeccionamiento puede no ser el mismo que el de otra vista. Esto puede notarse mediante el uso de diferentes tipos de filtrado o de diferente número y disposición de muestras (por ejemplo, quincunce frente a submuestreo basado en filas). De acuerdo con esta realización, la operación de muestreo deriva muestras para el procesamiento de capa de perfeccionamiento, y la operación de muestreo puede incluir el filtrado de estas muestras.

De acuerdo con la realización mostrada en la figura 11, la capa (1152) de perfeccionamiento adopta un modelo de codificación de vídeo híbrido que se puede encontrar en los códecs de vídeo modernos, tales como VC-1 y H.264/AVC. Los datos de entrada se predicen o bien a partir de muestras vecinas en la misma fotografía o trama (usando predicción interna) o bien a partir de muestras a partir de tramas pasadas decodificadas (predicción cruzada) que pertenecen a la misma capa, y se almacenan en memoria intermedia como referencias de predicción compensadas por movimiento dentro de la denominada memoria intermedia de fotografías de referencia. La predicción entre capas también puede tener lugar si la información decodificada de las capas de menor prioridad (tales como la capa de base) está disponible para la capa de perfeccionamiento. Una manera de tener acceso a tal información es considerar las fotografías decodificadas de la capa de menor prioridad como referencias para la compensación de movimiento. Después de la predicción, los residuos (1154) de predicción se someten a transformación (1156) y cuantificación (1158), y los coeficientes cuantificados se codifican entonces utilizando codificación (1160) de entropía. La capa (1252) de perfeccionamiento del decodificador mostrado en la figura 12 invierte este proceso.

A diferencia de la capa (1102) de base de la figura 11, que tiene una única memoria intermedia (1110) de fotografías de referencia que contiene imágenes/tramas pasadas decodificadas, las capas (1152) de perfeccionamiento mantienen múltiples memorias intermedias internas (1162) de fotografías de referencia, una para cada vista. En la realización de la figura 11, la generación de las fotografías de referencia que se almacenan en esas memorias intermedias se logra mediante el uso de un demultiplexor y de un procesador (1164) de RPU. El demultiplexor y el procesador (1164) de RPU procesan la suma de la predicción residual y la trama pronosticada (obtenida mediante predicción interna o cruzada).

El demultiplexor (1164) de la figura 11 realiza también muestreo ascendente e interpolación de muestras faltantes para cada vista. Cada memoria intermedia (1162) de fotografías de referencia contiene sólo tramas que pertenecen a la misma vista. Las memorias intermedias (1162) almacenan imágenes o tramas a una resolución más alta que la resolución de las muestras que se introducen en la capa (1102) de perfeccionamiento, u opcionalmente en la resolución de perfeccionamiento. Además, las resoluciones utilizadas para almacenar tramas en cada memoria intermedia de fotografías de referencia pueden diferir entre sí. Una memoria intermedia puede almacenar fotografías con una resolución, mientras que una segunda memoria intermedia de fotografías puede almacenar fotografías con otra resolución. Antes de realizar la compensación (1168) de disparidad (es decir, la compensación de movimiento o predicción interna), las referencias seleccionadas a partir de cada memoria intermedia (1162) de fotografías de referencia se muestrean con muestreadores (1170) y se multiplexan con un multiplexor (1172) para generar una sola fotografía de referencia que ahora puede formatearse en una disposición compatible de trama. De acuerdo con una realización adicional, la operación de muestreo descendente y de multiplexación en el formato compatible de trama puede incluir operaciones más sofisticadas tales como combinaciones lineales o no lineales de las dos referencias en la fotografía de referencia final compatible de trama. De acuerdo con otra realización más, la resolución de las tramas en las memorias intermedias internas puede coincidir con la resolución de perfeccionamiento.

De acuerdo con la realización mostrada en la figura 11, la predicción cruzada dentro de la capa (1152) de perfeccionamiento tiene lugar después de muestrear (1170) y multiplexar (1172) las fotografías de referencia proporcionadas desde las múltiples memorias intermedias internas de fotografías de referencia (opcionalmente, la resolución de perfeccionamiento). De este modo, la predicción cruzada tiene lugar en un dominio "compatible de trama", aunque no necesariamente en el mismo dominio que el de la capa de base. De acuerdo con una realización adicional para vídeo estereoscópico, el formato compatible de trama de la capa de base puede comprender las columnas pares de la vista izquierda y las columnas impares de la vista derecha, mientras que en la capa de perfeccionamiento el formato compatible de trama puede comprender las columnas impares de la vista izquierda y las columnas pares de la vista derecha. También son posibles disposiciones similares para otras disposiciones de intercalación tales como de por encima y por debajo, de lado a lado, etc. Los métodos de disposición adecuados se seleccionan así de modo que la combinación de las muestras codificadas en la fotografía de capa de base compatible de trama y las muestras codificadas en la capa de perfeccionamiento o las capas de perfeccionamiento tenga que producir reconstrucciones de resolución de perfeccionamiento de las vistas. Tal técnica puede extenderse a cualquier número de capas o vistas, de acuerdo con otra realización de la presente divulgación. Además, el proceso cruzado de predicción comprende estimar un conjunto de parámetros de movimiento para cada capa de perfeccionamiento, que se codifican y transmiten al decodificador.

De acuerdo con la realización mostrada en la figura 11, las memorias intermedias (1162) de fotografías de referencia de capa de perfeccionamiento contienen fotografías que no están limitadas a fotografías decodificadas demultiplexadas y con muestreo ascendente (1164) de la capa (1152) de perfeccionamiento. Una unidad de procesamiento de referencia (RPU) de capa de base a capa de perfeccionamiento/un módulo de procesador previo (RPU de BL a EL) (1166) toma, como entrada, fotografías decodificadas compatibles de trama de la memoria intermedia (1110) de fotografías de referencia de la capa (1102) de base, y luego demultiplexa y toma muestras ascendentes de los datos de trama para estimar las tramas de representación más alta (opcionalmente, de resolución de perfeccionamiento) que pertenecen a diferentes vistas.

De acuerdo con una realización adicional, el proceso (1166) de RPU de BL a EL puede comprender filtrado, escalada, interpolación de muestras faltantes y recuperación o estimación del contenido de frecuencia. La recuperación o estimación del contenido de frecuencia se usa cuando, por ejemplo, la capa de base codifica bajas frecuencias y la capa de perfeccionamiento codifica altas frecuencias. Estas imágenes procesadas de RPU de BL a EL (1166) se colocan luego y utilizan como referencias adicionales de predicción compensadas por movimiento en las memorias intermedias (1162) de fotografías de referencia de representación superior (opcionalmente, la resolución de perfeccionamiento) de la capa (1152) de perfeccionamiento. El módulo de RPU de BL a EL (1166) en el codificador genera información del proceso de predicción/muestreo ascendente y comunica esta información ("flujo de bits de RPU") (1174) a la RPU de BL a EL (1254) idéntica de figura 12, que se encuentra en el módulo de decodificador mostrado en la figura 12. De esta manera, la operación de predicción de codificador puede duplicarse en el decodificador. La interpolación y la predicción utilizando este módulo de RPU pueden comprender técnicas que se divulgan en [Referencia 6].

De acuerdo con una realización adicional de la presente divulgación, las memorias intermedias internas almacenan tramas en la resolución de perfeccionamiento, y el decodificador reconstruye internamente y almacena, en las memorias intermedias de fotografías de referencia, las tramas de resolución de perfeccionamiento para cada vista. Como resultado, esta realización no usa, para los fines de representación visual de los datos de resolución de perfeccionamiento, el módulo de procesamiento de la figura 10. En cambio, de acuerdo con esta realización, las tramas reconstruidas de resolución de perfeccionamiento se pueden extraer y representar visualmente directamente de las memorias intermedias de fotografías de referencia de la capa de perfeccionamiento. De acuerdo con otra realización de la presente divulgación, las resoluciones de perfeccionamiento para cada vista no son iguales. En esta realización, el codificador y el decodificador reajustan el escalado de las fotografías en las memorias intermedias de la capa de perfeccionamiento a alguna resolución común de perfeccionamiento.

En una realización adicional, la trama codificada en la capa de base puede tener el mismo tamaño que el de las tramas que pertenecen a cada vista. En una realización adicional, las memorias intermedias de fotografías de referencia en las capas de perfeccionamiento contienen tramas con la resolución de las tramas originales (resolución completa).

De acuerdo con una realización de la presente divulgación, el dominio compatible de trama, en el que se aplica la compensación de movimiento, puede ser idéntico al de la capa de base. En una realización adicional, la capa de base se puede intercalar en un formato de lado a lado, y la capa de perfeccionamiento codifica también una trama con intercalación en el mismo formato de lado a lado.

De acuerdo con una realización de la presente divulgación, el formato compatible de trama de la capa de base puede comprender las columnas pares de la primera vista y las columnas impares de la segunda vista, mientras que, en la capa de perfeccionamiento, el formato compatible de trama puede comprender las columnas impares de la primera vista y las columnas pares de la segunda vista.

De acuerdo con una realización de la presente divulgación, las capas pueden codificar tramas en diferentes resoluciones espaciales, en cuyo caso se podría construir un sistema con escalabilidad espacial. De acuerdo con una realización adicional, el sistema de códec tiene una capa de base compatible de trama de lado a lado a 1280x720 y una capa de perfeccionamiento que puede reconstruir ambas vistas a 1920 x 1080. En esta realización, la RPU de BL a EL demultiplexa primero los datos compatibles de trama en vistas separadas y luego puede realizar una de las siguientes operaciones. En un esquema, la RPU de BL a EL interpola primero las muestras faltantes de esa vista y luego ajusta la escala de la trama resultante (1280x720) a la resolución espacial deseada (1920x1080) antes de almacenar esa trama resultante en la memoria intermedia de fotografías de referencia correspondiente en la capa de perfeccionamiento. En un segundo esquema, las muestras disponibles y demultiplexadas se ajustan a escala desde una resolución más baja hasta una resolución más alta, por ejemplo, de 640x720 a 960x1080. Luego, una operación de interpolación adicional determina las columnas que faltan y, opcionalmente, filtra también las muestras existentes para derivar la trama de resolución completa.

De acuerdo con una realización de la presente divulgación, las múltiples memorias intermedias de fotografías de referencia en la capa de perfeccionamiento pueden controlarse a través de operaciones de control de gestión de memoria (MMCO), como las descritas en [Referencia 2]. Las operaciones de MMCO controlan cómo se añaden y eliminan las fotografías de referencia de las memorias intermedias. De acuerdo con una realización adicional, las operaciones MMCO se transmiten para la capa de perfeccionamiento. En esta realización, o bien los conjuntos de MMCO para cada memoria intermedia de fotografías de referencia son los mismos, o bien se señaliza un conjunto de operaciones de MMCO. Esto se aplica tanto a ambas memorias intermedias de fotografías de referencia. Como resultado, el funcionamiento de las memorias intermedias de imágenes permanece sincronizado. Otra realización más puede utilizar enfoques similares para la señalización de la modificación/reordenación de la lista de fotografías de referencia, incluidos, pero sin limitarse a, los métodos descritos en [Referencia 2].

La información de señalización controla la generación de las listas de las fotografías de referencia en las memorias intermedias. Estas listas se utilizan luego en la predicción compensada por movimiento. De acuerdo con otra realización, la información de modificación es idéntica para las listas de fotografías de referencia de cada vista. En otra realización más, se transmite un único conjunto de información de modificación, y se aplicará a todas las listas en la capa de perfeccionamiento. De acuerdo con realizaciones adicionales de la presente divulgación, se utilizan enfoques similares en códecs que utilizan señalización que controla el contenido de las memorias intermedias de fotografías de referencia, y señalización que controla la inicialización y modificación de sus listas de fotografías de referencia.

De acuerdo con una realización de la presente divulgación, la RPU de demultiplexor y de muestreador ascendente, que deriva las tramas de vista única con resolución de perfeccionamiento antes de que sean almacenadas en las memorias intermedias de fotografías de referencia, puede implantarse como una unidad de procesamiento de referencia como se divulga en [Referencia 6].

De acuerdo con otra realización de la presente divulgación, la capa de base puede codificar una representación con un primer rango de contenido de frecuencia, mientras que las capas adicionales de perfeccionamiento pueden proporcionar un segundo rango de contenido de frecuencia. Su salida se puede combinar en el decodificador para proporcionar una mejor representación de las vistas originales.

La figura 13 muestra un ejemplo de un codificador de vídeo estéreo 3D escalable en resolución de multicapa que es útil para comprender la presente invención, donde la capa de perfeccionamiento mantiene dos memorias intermedias de fotografías de referencia, cada una en resolución de perfeccionamiento, y realiza compensación de movimiento/disparidad en resolución de perfeccionamiento, de acuerdo con una realización de la presente divulgación. La figura 14 muestra un ejemplo de un decodificador útil para comprender la presente invención y que corresponde al codificador mostrado en la figura 13.

Los ejemplos mostrados en las figuras 13 y 14 son similares a la realización mostrada en las figuras 11 y 12. Pero, a diferencia de la realización mostrada en las figuras 11 y 12, los muestreadores (1354) y el multiplexor (1356), de acuerdo con los ejemplos mostrados en la figura 13, se colocan después de los módulos (1358) de compensación de disparidad. De hecho, hay tantos módulos (1358) de compensación por disparidad como vistas. De acuerdo con el ejemplo mostrado en la figura 13, que es para la entrega de vídeo estereoscópico, hay dos módulos (1358) de compensación de disparidad, uno para cada vista. Después de realizar la compensación de disparidad en cada referencia de representación superior, las tramas resultantes se pasan a los muestreadores (1354) que realizan un proceso de muestreo descendente que puede ser precedido y/o sucedido por filtrado (en el caso de dos vistas, se conservará la mitad de las muestras). Los datos muestreados de cada vista se envían luego al multiplexor (1356), que genera una fotografía (1360) compatible de trama. Esta fotografía (1360) compatible de trama se utiliza luego como la predicción a la que se añaden los residuos (1362) de predicción dentro del bucle de codificación de vídeo híbrido de capa de perfeccionamiento.

De acuerdo con el ejemplo mostrado en la figura 13, el módulo de compensación de disparidad (1358) tiene más muestras disponibles (fotografías de mayor representación) y puede producir mejores agentes de predicción. Además, el módulo de compensación de disparidad puede tener particiones más espacialmente precisas en la compensación de movimiento. Por ejemplo, cuando se utiliza el formato de lado a lado, un tamaño de partición de 4x4 en una fotografía de referencia compatible de trama es equivalente a un tamaño de partición de 8x4 en la fotografía de resolución completa. De manera similar, una partición de 16x16 es efectivamente una partición de 32x16 en la fotografía de resolución completa. Como resultado, el módulo (1358) de compensación de disparidad tendría particiones más grandes y más precisas en esta realización.

De acuerdo con el ejemplo mostrado en la figura 13, la estimación de disparidad y la compensación se pueden realizar múltiples veces (por ejemplo, dos veces) en la capa de perfeccionamiento, y, de este modo, aumentar la complejidad del sistema. Además, los beneficios obtenidos por la precisión espacial aumentada para la compensación de movimiento están sujetos a cómo se muestrearon las fotografías de referencia de mayor representación de la fotografía compatible de trama obtenida al añadir el residuo de predicción al V^fc,pred (1362) de fotografías de predicción compatible de trama de la figura 13. Además, de acuerdo con este ejemplo, la capa de perfeccionamiento comprime el doble de la cantidad de información del vector de movimiento. De acuerdo con otro ejemplo útil adicional para comprender la presente invención, las memorias intermedias de fotografías de referencia adoptan la resolución de perfeccionamiento, y la reconstrucción final de cada vista se realiza como parte de la generación de las referencias que se almacenan en las memorias intermedias de fotografías de referencia de la capa de perfeccionamiento. En consecuencia, este ejemplo no procesa adicionalmente la salida de las capas de base y de perfeccionamiento, a diferencia del decodificador que se muestra en la figura 10.

De acuerdo con una realización adicional de la presente divulgación, el códec de multicapa puede considerar la escalabilidad espacial, de manera similar a nuestra realización adicional para el primer método. Otra realización adicional más, de manera similar a la realización mostrada en las figuras 11 y 12, proporciona la modificación de la lista de fotografías de referencia y las operaciones MMCO señaladas al decodificador.

De acuerdo con una realización adicional de la presente divulgación, dado que existe suficiente correlación en los parámetros de movimiento utilizados en los múltiples estimadores de disparidad/movimiento y módulos de compensación, estos parámetros de movimiento se seleccionan para permitir la predicción eficiente de los parámetros de un módulo a partir de los parámetros del otro. En otra realización adicional más, los parámetros de movimiento se seleccionan para que sean idénticos, y, para cada capa de perfeccionamiento, sólo se envía un conjunto de parámetros. En otra realización, se señaliza un conjunto de parámetros para cada módulo. La predicción de parámetros de movimiento puede también utilizar información de parámetros vecinos o colocados que se señalan desde módulos de estimación/compensación de disparidad de mayor prioridad.

De acuerdo con una realización adicional de la presente divulgación, la trama codificada en la capa de base puede tener el mismo tamaño que el de las tramas que pertenecen a cada vista. De acuerdo con otra realización, las memorias intermedias de fotografías de referencia en las capas de perfeccionamiento contienen tramas con la resolución de las tramas originales (resolución completa). De acuerdo con otra realización más, el demultiplexor y el muestreador ascendente que derivan las tramas de vista única con resolución de perfeccionamiento antes de almacenarse en las memorias intermedias de fotografías de referencia pueden implantarse como una unidad de procesamiento de referencia como se divulga en [Referencia 6]. En otra realización más, la capa de base puede codificar una representación con un primer rango de contenido de frecuencia, mientras que las capas de perfeccionamiento adicionales pueden proporcionar un segundo rango de contenido de frecuencia. Su salida se puede combinar en el decodificador para proporcionar una mejor representación de las vistas originales.

La figura 15 muestra un codificador de vídeo de multicapa escalable en resolución, donde la capa (1502) de base codifica una versión compatible de trama de los datos, y las dos capas (1532, 1562) de perfeccionamiento múltiples codifican cada una de las dos vistas de resolución de perfeccionamiento (cada vista para el caso de entrega de vídeo estereoscópico 3D), de acuerdo con una realización de la presente divulgación. La figura 16 muestra un decodificador correspondiente, de acuerdo con la realización de la presente divulgación.

De acuerdo con la realización mostrada en la figura 15, la arquitectura para la capa de base (1502) es idéntica a la de las realizaciones mostradas en las figuras 11-14. De acuerdo con la realización mostrada en la figura 15, la capa (1502) de base puede codificar una versión compatible de trama de las múltiples vistas. En esta realización, se proporciona una capa (1532, 1562) de perfeccionamiento para cada vista. Cada capa (1532, 1562) de perfeccionamiento proporciona una reconstrucción de resolución de perfeccionamiento de cada vista, de acuerdo con una realización adicional para la entrega de vídeo estereoscópico. De acuerdo con esta realización, cada capa (1532, 1562) de perfeccionamiento contiene una única memoria intermedia (1534, 1564) de fotografías de referencia, y usa una arquitectura muy similar a la de la capa (1502) de base. En esta realización, las capas (1532, 1562) de perfeccionamiento reciben directamente la trama de resolución (por ejemplo, completa) de perfeccionamiento de cada vista. Por el contrario, de acuerdo con la realización mostrada en las figuras 11-14, la entrada a las capas de perfeccionamiento consiste en representaciones compatibles de trama de todas las vistas.

De acuerdo con la realización mostrada en la figura 15, la memoria intermedia (1534, 1564) de fotografías de referencia de cada capa (1532, 1562) almacena referencias que pueden usarse para la predicción (1536, 1566) de movimiento compensado. Estas referencias incluyen tramas pasadas decodificadas de esa misma capa. De acuerdo con una realización adicional, se pueden insertar referencias adicionales en las capas (1532, 1562) de perfeccionamiento desde la capa (1502) de base, como se hizo con la extensión de MVC de H.264. En esta realización, antes de insertarse, estas referencias se procesan con la RPU/el procesador previo (1538, 1568) para derivar referencias procesadas que corresponden a las tramas almacenados en la memoria intermedia de fotografías de referencia de destino. De acuerdo con una realización adicional para la entrega de vídeo estereoscópico, la imagen compatible de trama de la capa de base se demultiplexa en muestras que pertenecen a diferentes vistas. Luego, las muestras se muestrean en la RPU/el procesador previo (1538, 1568) para perfeccionar la resolución (por ejemplo, completa) antes de ser almacenadas en las memorias intermedias (1534, 1564) de fotografías de referencia de cada capa (1532, 1562) de perfeccionamiento. De acuerdo con esta realización, los procesos de predicción, interpolación y muestreo ascendente dentro de la RPU/el procesador previo (1538, 1568) pueden adoptar técnicas divulgadas en [Referencia 6].

De acuerdo con la realización mostrada en la figura 15, se pueden implantar RPU (1538, 1568) separadas para producir cada referencia que se almacenará en cada una de las memorias intermedias (1534, 1564) de fotografías de referencia de las capas de perfeccionamiento. De acuerdo con otra realización, puede proporcionarse un único módulo para optimizar y realizar conjuntamente la demultiplexación y el muestreo ascendente de la fotografía compatible de trama decodificada de la capa de base en múltiples fotografías de referencia completas, una para cada capa de perfeccionamiento.

De acuerdo con otra realización de la presente divulgación, se proporcionan dependencias adicionales para la capa de perfeccionamiento aparte de la capa de base. En esta realización, una capa de perfeccionamiento puede depender del análisis sintáctico y decodificación de otra capa de perfeccionamiento. Continuando con la referencia a la figura 15, el proceso de decodificación de la capa 1 (1562) de perfeccionamiento puede también depender de la capa 0 (1532) de perfeccionamiento, aparte de depender de la capa (1502) de base. Las fotografías (1572) almacenadas en la memoria intermedia (1534) de fotografías de referencia de la capa 0 (1532) de perfeccionamiento para representación visual se introducen en un módulo (1570) de procesador previo/RPU adicional. El procesador previo/RPU adicional (1570) procesa las entradas (1572) de referencias introducidas para que sean similares al formato de la capa 1 (1562) de perfeccionamiento. Los resultados procesados (1574) se almacenan luego en la memoria intermedia (1564) de fotografías de referencia de la capa 1 (1562) de perfeccionamiento y están disponibles para la predicción (1566) de movimiento compensado. De acuerdo con una realización adicional para la entrega de vídeo estereoscópico, cada capa de perfeccionamiento codifica una de las vistas, y la RPU procesará una vista usando procesamiento espacial y de movimiento, con el fin de producir una fotografía de referencia que sea más cercana a otra vista. De acuerdo con otras realizaciones más, el procesamiento de movimiento podría incluir modelos de movimiento de orden superior tales como el modelo de movimiento afín y en perspectiva.

De acuerdo con una realización adicional, el códec de multicapa puede considerar la escalabilidad espacial, de manera similar a las realizaciones mostradas en las figuras 11 y 12. En esta realización, los módulos de procesador previo (por ejemplo, 1538 y 1568 de la figura 15), que realizan la predicción de las capas de perfeccionamiento de la capa de base, comprenderán también el ajuste de escala a la resolución de la capa de destino. El módulo de procesador previo que predice una capa de perfeccionamiento a partir de una segunda capa de perfeccionamiento (por ejemplo, 1570 de la figura 15) también puede comprender el ajuste de escala si las capas de perfeccionamiento no tienen la misma resolución espacial.

La figura 17 muestra un codificador de vídeo estéreo 3D escalable en resolución de multicapa, donde la capa de perfeccionamiento codifica los residuos y mantiene dos memorias intermedias de fotografías de referencia, cada una con una resolución de perfeccionamiento, y realiza una compensación de movimiento/disparidad en alguna resolución reducida (compatible de trama), de acuerdo con una realización de la presente divulgación. La figura 18 muestra el decodificador correspondiente, de acuerdo con la realización de la presente divulgación.

De acuerdo con la realización mostrada en la figura 17, una capa (1702) de base codifica una señal compatible de trama, que puede mejorarse adicionalmente (en términos de resolución o contenido de frecuencia espacial, entre otros) al decodificar la una o más capas (1752) de perfeccionamiento y combinarlas con la salida de la capa (1702) de base. De acuerdo con esta realización, la capa (1752) de perfeccionamiento codifica un residuo filtrado, muestreado y multiplexado (1754) [Referencia 7] que es el resultado de restar una predicción (1756) de la trama de vista de resolución completa original. Esta predicción (1756) es el resultado del uso de un procesador (1758) de RPU que tiene como entrada fotografías decodificadas (1760) de la capa (1702) de base compatible de trama y que emite predicciones (1756) de las vistas de la trama original en las resoluciones originales (completas). En una realización adicional, la RPU (1758) puede usar técnicas tales como las descritas en [Referencia 6], que incluyen filtrado, interpolación, cambio de escala, etc. De acuerdo con la realización mostrada en la figura 17, las memorias intermedias (1762) de fotografías internas de la capa (1752) de perfeccionamiento no reciben referencias procesadas desde la memoria intermedia (1704) de capa de base mediante una RPU.

En el decodificador mostrado en la figura 18, una RPU similar (1854) toma como entrada la fotografía decodificada de capa de base de la memoria intermedia (1804) de fotografías de la capa (1802) de base, la procesa a la resolución original (completa) para derivar tramas (1856) de resolución completa para cada categoría y luego añade esas tramas (1856) a las tramas (1858) ya decodificadas en las memorias intermedias (1860) de fotografías de referencia de capa de perfeccionamiento para producir la trama reconstruida final (1862) para cada vista.

Todas las realizaciones adicionales de acuerdo con la realización mostrada en las figuras 11 y 12 que no entran en conflicto con las diferencias entre la realización mostrada en las figuras 11 y 12 y la realización mostrada en las figuras 17 y 18 aplican también para otra realización adicional de acuerdo con la realización mostrada en las figuras 17 y 18. De acuerdo con una realización adicional, las resoluciones de la capa de base y las de las capas de perfeccionamiento y de las memorias intermedias internas de fotografías de referencia de las capas de perfeccionamiento pueden ser diferentes.

En un ejemplo adicional útil para comprender la presente invención, la capa de perfeccionamiento proporciona múltiples módulos de compensación de disparidad, uno para cada memoria intermedia de fotografías de referencia de cada vista, de manera similar a los ejemplos mostrados en las figuras 13 y 14. Todos los ejemplos adicionales aplicables de acuerdo a los ejemplos mostrados en las figuras 13 y 14 también aplican aquí.

La figura 19 muestra un codificador de vídeo escalable en resolución de multicapa, donde la capa de base codifica una versión compatible de trama de los datos, y las dos capas de perfeccionamiento codifican residuos para cada una de las vistas de resolución de perfeccionamiento (cada vista para entrega de vídeo estereoscópico 3D), de acuerdo con una realización de la presente divulgación. La figura 20 muestra el decodificador correspondiente, de acuerdo con la realización de la presente divulgación.

De acuerdo con la realización mostrada en la figura 19, las capas (1932, 1962) de perfeccionamiento adoptan una codificación residual, similar a la realización mostrada en las figuras 17 y 18. De acuerdo con esta realización, cada capa (1932, 1962) de perfeccionamiento corresponde a cada vista y codifica un residuo (1934, 1964) [Referencia 7] que es el resultado de restar una predicción (1936, 1966) de la trama de vista original de resolución completa. Esta predicción es el resultado del uso de un procesador de RPU (1938, 1968) para cada capa (1932, 1962) de perfeccionamiento que tiene como entrada fotografías decodificadas de la capa (1902) de base compatible de trama y que emite predicciones (1936, 1966) de las vistas de tramas originales con la resolución original (completa) de la capa dada. De acuerdo con una realización adicional, la RPU (1938, 1968) puede utilizar técnicas tales como las descritas en [Referencia 6], que incluyen filtrado, interpolación, ajuste de escalada, etc. De acuerdo con la realización mostrada en la figura 19, la memoria intermedia interna (1940, 1970) de fotografías de la capa (1932, 1962) de perfeccionamiento no recibe referencias procesadas desde la memoria intermedia (1904) de capa de base mediante una RPU.

En el decodificador mostrado en la figura 20, para cada capa (2032, 2062) de perfeccionamiento, una RPU similar (2034, 2064) toma como entrada la fotografía decodificada de capa de base de la memoria intermedia (2004) de fotografías de la capa (2002) de base, la procesa hasta la resolución original (completa) para derivar una trama (2036, 2066) de resolución completa para la categoría dada y luego añade esta trama (2036, 2066) a la trama (2038, 2068) ya decodificada en la memoria intermedia (2040, 2070) de fotografías de referencia de capa de perfeccionamiento para producir la trama reconstruida final (2042, 2072) para la categoría dada de datos.

Todas las realizaciones adicionales de acuerdo con la realización mostrada en las figuras 15 y 16 que no entran en conflicto con las diferencias entre la realización mostrada en las figuras 15 y 16 y la realización mostrada en las figuras 19 y 20 aplican también a otra realización adicional de acuerdo con la realización mostrada en las figuras 19 y 20. De acuerdo con una realización adicional, las resoluciones de la capa de base y la de las capas de perfeccionamiento y de las memorias intermedias internas de fotografías de referencia de las capas de perfeccionamiento pueden ser diferentes. Y las resoluciones de cada capa de perfeccionamiento pueden diferir. Los métodos y sistemas descritos en la presente divulgación pueden implantarse en equipo físico informático (hardware), equipo lógico informático (software), soporte lógico inalterable (firmware) o una combinación de los mismos. Las características descritas como bloques, módulos o componentes pueden implantarse juntas (por ejemplo, en un dispositivo lógico tal como un dispositivo lógico integrado) o por separado (por ejemplo, como dispositivos lógicos conectados separados). La parte de software de los métodos de la presente divulgación puede comprender un medio legible por ordenador que comprende instrucciones que, cuando se ejecutan, realizan, al menos en parte, los métodos descritos. El medio legible por ordenador puede comprender, por ejemplo, una memoria de acceso aleatorio (RAM) y/o una memoria de sólo lectura (ROM). Las instrucciones pueden ser ejecutadas por un procesador (por ejemplo, un procesador de señales digitales (DSP), un circuito integrado específico de aplicación (ASIC) o una matriz lógica programable en campo (FPGA)).

Todas las patentes y publicaciones mencionadas en la especificación pueden ser indicativas de los niveles de experticia del experto en la técnica a la que pertenece la divulgación.

Los ejemplos expuestos anteriormente se proporcionan para dar al experto en la técnica la divulgación y la descripción completas de cómo realizar y utilizar las realizaciones de los sistemas y métodos para la entrega de vídeo multicapa compatible de trama de la divulgación, y no pretenden limitar el alcance de lo que los inventores consideran su divulgación. El experto en la técnica puede utilizar modificaciones de los modos descritos anteriormente para poner en práctica la divulgación, y se pretende que estén dentro del alcance de las siguientes reivindicaciones. Todas las patentes y publicaciones mencionadas en la especificación pueden ser indicativas de los niveles de experticia del experto en la técnica a la que pertenece la divulgación.

Debe entenderse que la divulgación no se limita a métodos o sistemas particulares, que, por supuesto, pueden variar. También debe entenderse que la terminología utilizada en este documento tiene el fin de describir únicamente realizaciones particulares, y no pretende ser limitante. Como se usa en esta especificación y en las reivindicaciones adjuntas, las formas singulares "un", "una" y "el" y “la” incluyen sus referentes plurales a menos que el contenido indique claramente lo contrario. El término "pluralidad" incluye dos o más referentes a menos que el contenido indique claramente lo contrario. A menos que se defina de otro modo, todos los términos técnicos y científicos usados en el presente documento tienen el mismo significado que el comúnmente entendido por el experto en la técnica a la que pertenece la divulgación.

Se han descrito varias realizaciones de la divulgación. No obstante, se entenderá que se pueden realizar diversas modificaciones sin apartarse del alcance de la presente divulgación. Por consiguiente, existen otras realizaciones que están dentro del alcance de las siguientes reivindicaciones.

LISTA DE REFERENCIAS

[1] D.C. Hutchison, "Introducing DLP 3-D TV", http://www.dlp.com/downloads/Introducing DLP 3D HDTV Whitepaper.pdf

[2] Advanced video coding for generic audiovisual services, http://www.itu.int/rec/recommendation.asp?type=folders&lang=e&parent=T-REC-H.264, marzo de 2010.

[3] SMPTE 421M, "VC-1 Compressed Video Bitstream Format and Decoding Process", abril de 2006.

[4] A. Tourapis, P. Pahalawatta, A. Leontaris, K. Stec y W. Husak, " Encoding and Decoding Architecture for Format Compatible 3D Video Delivery", solicitud de patente provisional n° 61/223,027, julio de 2009.

[5] A. Leontaris, A. Tourapis y P. Pahalawatta, "Enhancement Methods for Sampled and Multiplexed Image and Video Data", solicitud de patente provisional de EE.UU. n° 61/365,743, julio de 2010.

[6] A. Tourapis, A. Leontaris, P. Pahalawatta y K. Stec, “Directed Interpolation/Post-processing methods for video encoded data", solicitud de patente provisional de EE.UU. n° 61/170,995, abril de 2009.

[7] P. Pahalawatta, A. Tourapis, W. Husak, "Systems and Methods for Multi-layer Image and Video Delivery Using Reference Processing Signals", solicitud de patente provisional de EE.UU. n° 61/362,661, julio de 2010.

Claims (10)

REIVINDICACIONES

1. Un método de codificación para la entrega de vídeo multicapa compatible de trama, que comprende:

a) una capa (1102) de base que procesa imágenes o tramas de vídeo de múltiples vistas a través de una capa de base, que comprende:

multiplexar las múltiples vistas en la capa de base para crear una representación compatible de trama de capa de base de las imágenes o de las tramas de vídeo de las múltiples vistas;

almacenar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; y codificar la representación compatible de trama de la capa de base al realizar la compensación de disparidad en el nivel compatible de trama utilizando las fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base;

b) una capa (1152) de perfeccionamiento que procesa las imágenes o tramas de vídeo de múltiples vistas a través de una o más capas de perfeccionamiento, comprendiendo, el procesamiento de la capa (1152) de perfeccionamiento para cada una de la una o más capas de perfeccionamiento:

multiplexar las múltiples vistas en la capa de perfeccionamiento respectiva para crear una representación compatible de trama de la capa de perfeccionamiento de las imágenes o de las tramas de vídeo de las múltiples vistas para la capa de perfeccionamiento respectiva, teniendo, la representación de capa de perfeccionamiento compatible de trama de la capa de perfeccionamiento respectiva, una resolución espacial superior a la representación compatible de trama de la capa de base;

demultiplexar fotografías decodificadas de referencia compatibles de trama para la capa de perfeccionamiento respectiva;

demultiplexar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; almacenar las fotografías demultiplexadas de referencia en múltiples memorias intermedias (1162) de fotografías de referencia de capa de perfeccionamiento, una para cada vista de las múltiples vistas;

generar una fotografía de referencia compatible de trama multiplexando las fotografías de referencia a partir de las memorias intermedias (1162) de fotografías de referencia de la capa de perfeccionamiento múltiple; y

codificar la capa de perfeccionamiento realizando una compensación (1168) de movimiento o disparidad utilizando la fotografía de referencia compatible de trama.

2. Un método de codificación para la entrega de vídeo multicapa compatible de trama, que comprende:

a) una capa (1502) de base que procesa imágenes o tramas de vídeo de múltiples vistas a través de una capa de base, que comprende:

multiplexar las múltiples vistas en la capa de base para crear una representación compatible de trama de la capa de base de las imágenes o de las tramas de vídeo de las múltiples vistas;

almacenar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; y codificar la representación compatible de trama de capa de base realizando la compensación de disparidad en el nivel compatible de trama utilizando las fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base;

b) una capa (1532, 1562) de perfeccionamiento que procesa las imágenes o tramas de vídeo de múltiples vistas a través de una o más capas de perfeccionamiento, donde cada una de las múltiples vistas se procesa por separado en una capa de perfeccionamiento separada, procesando, la capa (1532, 1562) de perfeccionamiento, para cada una de la una o más capas de perfeccionamiento, comprendiendo:

proporcionar una representación de capa de perfeccionamiento de imágenes o vídeos para una vista de las múltiples vistas correspondientes a la capa de perfeccionamiento respectiva, teniendo, la representación de capa de perfeccionamiento de la vista, una resolución espacial más alta que la misma vista codificada en la representación compatible de trama de capa de base;

proporcionar fotografías decodificadas de referencia para la capa de perfeccionamiento respectiva para recuperar fotografías decodificadas de referencia para la vista;

demultiplexar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base para recuperar fotografías decodificadas de referencia para la vista;

almacenar las fotografías decodificadas de referencia para la vista en una memoria intermedia (1534, 1564) de fotografías de referencia de capa de perfeccionamiento correspondiente a la vista; y

codificar la capa de perfeccionamiento realizando una compensación (1536, 1566) de movimiento o disparidad usando las fotografías de referencia almacenadas en la memoria intermedia (1534, 1564) de fotografías de referencia de capa de perfeccionamiento correspondiente a la vista.

3. El método según la reivindicación 1 o la reivindicación 2, en el que la multiplexación de las múltiples vistas en la capa de base para crear la representación compatible de trama de la capa de base de las imágenes o de las tramas de vídeo de las múltiples vistas comprende:

muestreo (1106) de capa de base y multiplexación (1108) de capa de base de las imágenes o de las tramas de vídeo de múltiples vistas en una sola trama.

4. El método según la reivindicación 3,

en el que el procesamiento de muestreo (1106) de capa de base comprende un filtrado simétrico o asimétrico de las imágenes o de las tramas de vídeo de las múltiples vistas.

5. El método según la reivindicación 3 o la reivindicación 4,

en el que el muestreo de capa (1106) de base comprende un muestreo horizontal, un muestreo vertical o un muestreo de quincunce.

6. El método según cualquiera de las reivindicaciones 3-5,

en el que la multiplexación (1108) de capa de base usa cualquier disposición de empaquetamiento compatible de trama de disposición en damero con intercalación, disposición de columnas intercaladas, disposición de filas intercaladas, disposición de lado a lado y disposición de por encima y por debajo.

7. Un método de decodificación para la entrega de vídeo multicapa compatible de trama, que comprende:

a) una capa de base que procesa una señal de flujo de bits de capa de base a través de una capa de base, donde la señal de flujo de bits de capa de base codifica imágenes o tramas de vídeo de múltiples vistas en una representación compatible de trama, comprendiendo el procesamiento de la capa de base:

almacenar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; y decodificar la señal de flujo de bits de capa de base para crear una imagen de decodificación de la capa de base compatible de trama o una trama de vídeo realizando una compensación de disparidad en un nivel compatible de trama usando las fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; b) una capa (1252) de perfeccionamiento que procesa una pluralidad de señales de flujo de bits de capa de perfeccionamiento a través de una o más capas de perfeccionamiento, donde una señal de flujo de bits de capa de perfeccionamiento codifica imágenes o tramas de vídeo de múltiples vistas en una representación compatible de trama que tiene una resolución espacial más alta que la representación compatible de trama de capa de base, comprendiendo, el procesamiento de la capa (1252) de perfeccionamiento para cada una de la una o más capas de perfeccionamiento:

demultiplexar fotografías decodificadas de referencia compatibles de trama para la capa de perfeccionamiento respectiva;

demultiplexar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; almacenar las fotografías demultiplexadas de referencia en múltiples memorias intermedias de fotografías de referencia de capa de perfeccionamiento, una para cada vista de las múltiples vistas;

generar una fotografía de referencia compatible de trama multiplexando las fotografías de referencia a partir de las memorias intermedias de fotografías de referencia de capas de perfeccionamiento múltiples; y

decodificar la señal de flujo de bits de capa de perfeccionamiento correspondiente a la capa de perfeccionamiento respectiva para crear una trama de vídeo o una imagen de decodificación de capa de perfeccionamiento realizando una compensación de movimiento o disparidad usando la imagen de referencia compatible de trama de referencia.

8. Un método de decodificación para la entrega de vídeo multicapa compatible de trama, que comprende:

a) una capa de base que procesa una señal de flujo de bits de capa de base a través de una capa de base, donde la señal de flujo de bits de capa de base codifica imágenes o tramas de vídeo de múltiples vistas en una representación compatible de trama, comprendiendo, el procesamiento de capa de base:

almacenar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; y decodificar la señal de flujo de bits de capa de base para crear una imagen de decodificación de capa de base compatible de trama o una trama de vídeo realizando una compensación de disparidad en un nivel compatible de trama usando las fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base; b) una capa de perfeccionamiento que procesa una pluralidad de señales de flujo de bits de capa de perfeccionamiento a través de una o más capas de perfeccionamiento para múltiples vistas a través de una o más capas de perfeccionamiento, donde cada una de las múltiples vistas se procesa por separado en una capa de perfeccionamiento separada, donde una señal de flujo de bits de capa de perfeccionamiento codifica imágenes o tramas de vídeo de una vista en una representación de capa de perfeccionamiento que tiene una resolución espacial más alta que la misma vista codificada en la representación compatible de trama de capa de base, comprendiendo, el procesamiento de capa de perfeccionamiento para cada una de la una o más capas de perfeccionamiento: proporcionar fotografías decodificadas de referencia para la capa de perfeccionamiento respectiva para recuperar fotografías decodificadas de referencia para la vista;

demultiplexar fotografías pasadas decodificadas de referencia compatibles de trama para la capa de base para recuperar fotografías decodificadas de referencia para la vista;

almacenar fotografías decodificadas de referencia para la vista en una memoria intermedia de fotografías de referencia de capa de perfeccionamiento correspondiente a la vista; y

decodificar la señal de flujo de bits de capa de perfeccionamiento correspondiente a la capa de perfeccionamiento respectiva para crear una trama de vídeo o una imagen de decodificación de capa de perfeccionamiento para la vista al realizar una compensación de movimiento o disparidad usando las fotografías de referencia almacenadas en la memoria intermedia de fotografías de referencia de capa de perfeccionamiento correspondiente a la vista.

9. El método según cualquiera de las reivindicaciones 1 a 8,

donde las múltiples vistas comprenden múltiples vistas para imágenes o vídeos estereoscópicos.

10. El método según cualquiera de las reivindicaciones 1 a 9,

donde las múltiples vistas comprenden múltiples vistas para imágenes o vídeos estereoscópicos, y el procesamiento de capa (1102, 1502, 1702, 1902) de base comprende adicionalmente procesar una cantidad igual o desigual de muestras de las imágenes o de las tramas de vídeo de las múltiples vistas.