ES2389458T3

ES2389458T3 - Métodos y dispositivos para la compresión de datos de vídeo HDR

Info

Publication number: ES2389458T3
Application number: ES08012452T
Authority: ES
Inventors: Francesco Banterle; Alessandro Artusi; Kurt Debattista; Patrick Ledda; Alan Chalmers; Gavin John Edwards; Gerhard Bonnet
Original assignee: University of Warwick
Current assignee: University of Warwick
Priority date: 2008-07-10
Filing date: 2008-07-10
Publication date: 2012-10-26
Anticipated expiration: 2028-07-10
Also published as: US20110235720A1; WO2010003692A1; US9406112B2; EP2144444B1; EP2144444A1

Abstract

Método para producir un flujo de datos de vídeo comprimidos (12) comprimiendo un flujo (1) de tramas devídeo de alto rango dinámico (2) dispuestas como una pluralidad de diferentes escenas que comprenden,cada una, una pluralidad de las tramas de vídeo, en las que se aplican operaciones de mapeo tonal a lastramas, difiriendo las operaciones de mapeo tonal aplicadas a tramas en una de la pluralidad de escenas delas operaciones de mapeo tonal aplicadas a tramas en otra de la pluralidad de escenas, y difiriendo entre sílas operaciones de mapeo tonal aplicadas a algunas tramas en la misma escena;caracterizado porque para al menos algunas tramas de vídeo de alto rango dinámico (2) en el flujo (1), elmétodo comprende las etapas de:(a) desde la trama de alto rango dinámico en el flujo, usar un filtro (3) para extraer una trama de base (4);(b) determinar una trama de detalle (5) en respuesta tanto a la trama de alto rango dinámico (2) como ala trama de base (4), estando relacionada la trama de detalle (5) con detalles precisos en la trama de altorango dinámico;(c) generar (6) una operación de mapeo tonal (TMO*) para la trama de base (4) y aplicar la operación demapeo tonal a la trama de base para generar una trama de base de bajo rango dinámico (8);(d) almacenar (11) las propiedades de la operación de mapeo tonal (TMO*) aplicadas a la trama de base(4);(e) someter a la trama de base de bajo rango dinámico (8) a compresión temporal (9) y someter a latrama de detalle (5) a compresión temporal (10);(f) crear datos de trama final (12) que consisten en la trama de base de bajo rango dinámico comprimida(8), la trama de detalle comprimida (5) y las propiedades de la operación de mapeo tonal (TMO*)aplicadas a la trama de base; y(g) incluir los datos de trama final en el flujo de datos de vídeo comprimidos.

Description

Métodos y dispositivos para la compresión de datos de vídeo HDR

La presente invención se refiere al manejo de datos de vídeo de alta calidad.

La calidad de las imágenes digitales ha mejorado enormemente durante los últimos años. El número de píxeles en una imagen ha aumentado debido a mejoras tanto en cámaras como en pantallas. Por ejemplo, la resolución de pantallas planas comerciales usadas para televisión ha aumentado poco a poco desde una resolución VGA de 640 x 480 píxeles hasta una alta definición total que tiene 1920 x 1080 píxeles. Esto ya ha ocasionado un cambio en la cantidad de datos que es necesario manejar para presentar visualmente una imagen. Además, no sólo se ha mejorado la resolución espacial, sino también la resolución dinámica. Para una imagen en blanco y negro esto significaría que un píxel individual podría representar cualquier número grande de diferentes tonos de gris en lugar de ser sólo en blanco y negro. El rango dinámico global se compara fácilmente con el ojo humano. Un ser humano puede distinguir objetos tanto a la luz de las estrellas durante la noche como a la luz solar brillante, incluso si en una noche sin luna los objetos reciben sólo aproximadamente 1/1.000.000.000 de la iluminación que recibirían en un día soleado brillante: esto corresponde a un rango dinámico de 90 db. Sin embargo, el ojo necesita tiempo para ajustarse a diferentes niveles de luz. Por tanto, el rango dinámico del ojo humano sin ajuste de la pupila es de sólo aproximadamente 30 db. En cambio, las diferencias entre puntos muy oscuros y muy claros en una imagen tomada por un sistema de cámara moderna pueden ser fácilmente mayores que las que el ojo humano puede distinguir sin adaptación; con un sistema de cámara moderna, por tanto, es posible determinar detalles precisos en puntos muy oscuros incluso aunque también estén presentes puntos muy claros en una imagen. El rango dinámico de un sistema de cámara moderna también puede superar fácilmente el rango dinámico de una pantalla convencional.

También debe observarse que no sólo el rango dinámico de una imagen que va a (re)producirse necesita modificación sino también es necesaria una corrección debido a numerosas limitaciones tecnológicas tales como gama y contraste de color limitados, resolución espacial limitada, habitualmente campo de visión limitado y soluciones temporales no triviales para conseguir una capacidad estéreo. Además, con el fin de reproducir el aspecto correcto, a menudo es necesario simular el comportamiento del sistema visual humano. En este caso, debe observarse que las condiciones de visualización de un observador, que observa o bien la escena o bien una pantalla, pueden ser completamente diferentes. El mapeo tonal es muy útil en la producción de imágenes realistas y se han propuesto varios operadores. Sin embargo, aún es prohibitivo tener un operador de mapeo tonal complejo que produzca resultados de alta calidad en tiempo real debido a la restricción de la capacidad de procesamiento de datos, en particular para imágenes grandes de alta definición. Existen dos clases principales de operador de mapeo tonal, concretamente curvas de reproducción tonal (TRC) y operadores de reproducción tonal (TRO). Ambos se denominarán funciones de mapeo tonal en la presente solicitud.

Los algoritmos de TRC son eficaces porque la operación se aplica a píxeles de manera independiente y, por tanto, pueden realizarse en paralelo usando una tabla de consulta sencilla. Además, también existen modelos que pueden capturar algunos aspectos importantes, tales como la adaptación visual. Sin embargo, las TRC no capturan la información importante en el contraste local que podría representarse en el contexto espacial de píxeles de imágenes vecinas que es de gran importancia para el sistema visual humano.

Los algoritmos basados en TRO en comparación con TRC pueden capturar la información importante en un contraste local. Desafortunadamente, introducen normalmente artefactos en algunas partes de la imagen, tales como halos oscuros, y son más exigentes desde el punto de vista computacional.

Ahora, las imágenes, que tienen un alto rango dinámico, tienen una mayor profundidad de píxeles que las imágenes de bajo rango dinámico más convencionales. La profundidad de bits por píxel aumentada presentada por formatos de imagen HDR puede representar todo el rango dinámico visible por el sistema visual humano. Tanto el número de píxeles aumentado en una imagen de alta definición (HD) como la información dinámica mejorada en una imagen de alto rango dinámico (HDR) aumentan la cantidad de datos relacionados con una imagen. Esto plantea varios problemas técnicos. El tamaño de los datos da lugar a problemas cuando se transmiten y/o se almacenan datos de imagen. Estos problemas se vuelven más graves cuando es necesario que se manejen datos de vídeo que consisten en una pluralidad de tramas en lugar de imágenes digitales individuales. Para imágenes fijas de alto rango dinámico, el mapeo tonal mencionado anteriormente reduce el rango dinámico de una imagen de manera que intenta permitir que el usuario observe todos los detalles relevantes para el ojo humano aunque esto no sea posible en una escena y/o adaptación convencional. La reducción del rango dinámico también puede usarse para reducir la cantidad de datos necesarios para describir totalmente la imagen. Además, para flujos de vídeo que consisten en una secuencia de imágenes digitales (tramas), se han descrito métodos que permiten la reducción (compresión) de datos tales como la norma MPEG.

Sin embargo, a pesar del hecho de que tanto la alta definición como la información de alto rango dinámico pueden comprimirse, los resultados cuando se aplican tales esquemas de compresión convencionales a un flujo de datos de vídeo aún no son satisfactorios para un usuario.

Las imágenes de alto rango dinámico (HDRI) consumen una cantidad considerable de memoria, y los métodos de

comprensión eficaces no son fáciles de implementar. Una imagen de bajo rango dinámico típica consiste en datos RGB de 24 bits por píxel (bpp) que pueden comprimirse considerablemente. Por otro lado, una imagen HDR no comprimida usa normalmente 96 bpp para una imagen RGB. Por consiguiente, una imagen HDR no comprimida consume cuatro veces la memoria de una imagen LDR no comprimida.

El primer intento para comprimir los datos HDR se introdujo por G. WARD en REAL PIXELS, Graphics Gems, 2:1531, 1991. Se sugirió que la imagen de 96 bpp se comprima a 32 bpp usando una mantisa de bits ligera para cada canal y un exponente de bits ligero compartido. Sin embargo, la representación de RGBE resultante no cubre toda la gama de color visible puesto que no permite valores negativos. Se han sugerido otros formatos, por ejemplo, en G.

W. LARSON: LOGLUV ENCODING FOR FULL-GAMUT, HIGH DYNAMIC RANGE IMAGES, Journal of Graphics Tools, 3(1):15-31, 1998. Sugerencias adicionales, usando diferentes formatos de datos, pueden hallarse en INDUSTRIAL LIGHT & MAGIC, OpenEXR., http://www.openexr.org, 2002 y G. McTAGGERT, C. GREEN y J. MITCHELL: HIGH DYNAMIC RANGE RENDERING IN VALVE’S SOURCE ENGINE, en SIGGRAPH ‘06: ACM SIGGRAPH 2006 Courses, página 7, Nueva York, NY, EE.UU., 2006, ACM Press. Además, se han presentado varios algoritmos de extensión a la compresión convencional tales como, por ejemplo, en G. WARD: JPEG-HDR: A BACKWARDS-COMPATIBLE, HYGH DYNAMIC RANGE EXTENSION TO JPEG, en: CIC 13th: Proceedings of the Thirteenth Color Imaging Conference, The Society for Imaging Science and Technology, 2005; G. WARD: A GENERAL APPROACH TO BACKWARDS-COMPATIBLE DELIVERY OF HYGH DYNAMIC RANGE IMAGES AND VIDEO en: CIC 14th: Proceedings of the Fourteenth Color Imaging Conference, The Society for Imaging Science and Technology, 2006; G. WARD y M. SIMMONS: SUB BAND ENCODING OF HYGH DYNAMIC RANGE IMAGERY en: APGV ‘04: Proceedings of the 1st Symposium on Applied Perception in Graphics and Visualization, páginas 83-90, Nueva York, NY, EE.UU., 2004, ACM Press.

En este caso, el HDR-JPEG retrocompatible extiende la norma JPEG manteniendo la retrocompatibilidad. En primer lugar, se mapea de manera tonal una imagen HDR usando una curva de reproducción tonal convencional y se almacena como JPEG normal. En segundo lugar, se almacena una subbanda correspondiente a la información HDR en los “marcadores de aplicación” de la norma para un máximo de 64 Kbytes que es una restricción para codificar imágenes HDR de alta resolución. El HDR-JPEG 2000 es una extensión para JPEG 2000 que explota el soporte de la norma para datos enteros de 16 bits. Con este método, los datos HDR se transforman en el dominio logarítmico, se cuantifican en números enteros y se comprimen usando una codificación JPEG 2000 convencional.

Aunque los esquemas de compresión sugeridos conocidos en la técnica son útiles para imágenes fijas, dejan espacio para la mejora y apenas son aplicables para vídeos HDR.

Existen dos aplicaciones importantes para flujos de datos de vídeo que proporcionan datos de vídeo HDR. La primera aplicación son imágenes de vídeo tales como las producidas por videocámaras; la segunda son aplicaciones gráficas tales como en videojuegos, etc. En este caso, existe una necesidad particular de comprimir el alto rango dinámico de texturas. Las texturas HDR se usan normalmente en aplicaciones interactivas; debido al tamaño de las imágenes HDR, es necesario que se compriman. Pueden diseñarse métodos relacionados con una compresión de textura de alto rango dinámico o bien para un hardware de gráficos de propósito general o bien para procesadores hechos a medida que permiten decodificar las texturas HDR en tiempo real.

El problema de la compresión de textura HDR se ha tratado por numerosos autores, compárese, por ejemplo, J. MUNKBERG, P. CLARBERG, J. HASSELGREN, y T. AKENINE-MÖLLER: HIGH DYNAMIC RANGE TEXTURE COMPRESSION FOR GRAPHICS HARDWARE en: ACM Trans. Graph., 25(3):698-706, 2006; K. ROIMELA, T. AARNIO y J. ITÄRANTA: HIGH DYNAMIC RANGE TEXTURE COMPRESSION en: ACM Trans. Graph., 25(3):707712, 2006; K. ROIMELA, T. AARNIO y J. ITÄRANTA: EFFICIENT HIGH DYNAMIC RANGE TEXTURE COMPRESSION en: S13D’08: Proceedings of the 2008 Symposium on Interactive 3D Graphics and Games, páginas 207-214, ACM Press, Nueva York, NY, EE.UU., 2008. Un problema de los métodos descritos en la técnica anterior es que requieren un hardware complejo.

Para vídeos HDR, se han propuesto esquemas de compresión de HDR-MPEG en: R. MANTIUK, A. EFREMOV, K. MYSZKOWSKI, y H.-P. SEIDEL: BACKWARD COMPATIBLE HIGH DYNAMIC RANGE MPEG VIDEO COMPRESSION, ACM Trans. Graph., 25(3):713-723, 2006; R. MANTIUK, G. KRAWCZYK, K. MYSZKOWSKI, y H.-

P. SEIDEL: PERCEPTION-MOTIVATED HYGH DYNAMIC RANGE VIDEO ENCODING, ACM Trans. Graph., 23(3):733-741, 2004. Los esquemas sugeridos pueden usarse como una extensión para MPEG-4. Dado que los vídeos retrocompatibles HDR-JPEG se mapean de manera tonal, para cada trama se calcula una función de reconstrucción cuando se almacenan los datos HDR. Para mejorar la calidad, se guardan residuales de tramas en el flujo de vídeo. Aunque estos algoritmos presentan razones de alta calidad y alta compresión, no son adecuados de manera ideal para aplicaciones en tiempo real puesto que su falta de soporte de hardware da como resultado implementaciones complejas, particularmente debidas a los mecanismos de captura complejos requeridos para su decodificación.

Se ha adoptado un enfoque adicional por L. WANG, X. WANG, P-P SLOAN, L-Y WEI, X. TONG y B. GUO: RENDERING FROM COMPRESSED INTERVALO HYGH DYNAMIC RANGE TEXTURES ON PROGRAMMABLE GRAPHICS HARDWARE, I3D ’07: Proceedings of the 2007 symposium on Interactive 3D graphics and games, 1724, ACM Press, Nueva York, 2007. En este artículo se ha sugerido separar las partes HDR y LDR de las imágenes y

cuantificar dos texturas de 8 bits comprimidas usando S3TC con sus residuales. La reconstrucción (decodificación) se realizó combinando las partes HDR y LDR usando un sombreador sencillo. Se ha propuesto recientemente un esquema de compresión más general en S. LEFEBVRE y H. HOPPE: COMPRESSED RANDOM-ACCESS TREES FOR SPATIALLY COHERENT DATA en: Rendering techniques (Proceedings of the Eurographics Symposium on Rendering), Eurographics, 2007. El método descrito en el mismo se basa en una estructura de datos jerárquicos que representa datos de gráficos espacialmente coherentes. A pesar de la buena compresión, el sombreador es complejo y aproximadamente veinte veces más lento que una captura con respecto a una textura comprimida usando S3TC.

Debe observarse que también se han sugerido soluciones de hardware para filtrado RGBE, etc., compárese M. KILGARD, P. BROWN y J. LEECH: GLEXT TEXTURE SHARED EXPONENT en: OpenGL Extension, http://www.opengl.org/registry/specs/EXT/texture_shared_exponent.txt, 2007 así como en D. BLYTHE: THE DIRECT3D 10 SYSTEM en: ACM Trans. Graph., 25(3):724-734, 2006.

También se ha sugerido ya el uso de un mapeo tonal inverso para compresión. En este caso, se ha propuesto una técnica de procesamiento de imagen multiescala tanto para mapeo tonal como para compansión por Y. LI, L. SHARAN y E. H. ADELSON: COMPRESSING AND COMPANDING HYGH DYNAMIC RANGE IMAGES WITH SUB BAND ARCHITECTURES en: SIGGRAPH ’05: ACM SIGGRAPH 2005 Papers, páginas 836-844, Nueva York, NY, EE.UU., 2005, ACM Press. Sin embargo, la operación no es eficaz en el hardware actual dado el hecho de que el bajo rango dinámico comprimido debe descomponerse en subbandas. Se presentó un método de compresión basado en un operador de mapeo tonal inverso y JPEG en M. OKUDA y N. ADAMI: RAW IMAGE ENCODING BASED ON POLYNOMIAL APPROXIMATION, IEEE International Conference on Acoustics, Speech and Signal Processing, 2007, ICASSP 2007, páginas 15-31, 2007. Se calculan los operadores de mapeo tonal basados en funcionales de Hill para un mapeo tonal inverso usando técnicas de minimización y luego se codifican usando JPEG. Los residuales se calculan para una calidad aumentada y se comprimen usando ondículas. Sin embargo, las ondículas y la descompresión DCT son caras de evaluar desde el punto de vista computacional y no proporcionan un tiempo de descompresión constante, lo que es particularmente desfavorable en aplicaciones críticas en tiempo real.

Se presentó un esquema de compresión para imágenes y vídeos fijos usando un operador de mapeo tonal basado en un modelo de conos humanos en J.H.V. HATEREN: ENCODING OF HIGH DYNAMIC RANGE VIDEO WITH A MODEL OF HUMAN CONES, ACM Trans. Graph., 25(4):1380-1399, 2006.

La explicación anterior muestra que a pesar de los numerosos intentos para comprimir imágenes de alto rango dinámico, los resultados conseguidos hasta ahora no son completamente satisfactorios en vista de la eficacia de compresión, calidad de las imágenes resultado y las cargas computacionales. Estos problemas aumentan cuando es necesario que se manejen flujos de datos de tramas de vídeo. Siempre que el flujo de datos de vídeo corresponda a una presentación de diapositivas sólo de imágenes fijas, será obvio que puede alterarse una función de mapeo tonal usada para compresión en cualquier momento que cambie la imagen fija (y por tanto, en un contexto de un flujo de vídeo, la escena). Sin embargo, en un flujo de vídeo convencional, existen varios casos en los que la escena no cambia bruscamente, por ejemplo, en los casos en los que se produce una toma panorámica, una inclinación o una aplicación de zoom en una cámara y/o uno o una pluralidad de objetos se mueven dentro de una imagen dada y/o la iluminación cambia, por ejemplo en los casos en los que se muestra una sala en la que las luces se encienden y se apagan. En los casos como éste, es necesario proporcionar una compresión eficaz así como una compresión que no conduzca a artefactos graves en un vídeo reproducido.

La presente invención tiene como objetivo proporcionar un método mejorado de compresión de un flujo de datos de tramas de vídeo así como dispositivos para implementar el método.

En el documento EP-A-1 827 024 se da a conocer un método de producción de un flujo de datos de vídeo comprimidos comprimiendo un flujo de tramas de vídeo de alto rango dinámico dispuestas como una pluralidad de diferentes escenas que comprenden, cada una, una pluralidad de las tramas de vídeo, en las que se aplican operaciones de mapeo tonal a las tramas, difiriendo las operaciones de mapeo tonal aplicadas a tramas en una de la pluralidad de escenas de las operaciones de mapeo tonal aplicadas a tramas en otra de la pluralidad de escenas, y difiriendo entre sí las operaciones de mapeo tonal aplicadas a algunas tramas en la misma escena.

La presente invención se caracteriza porque para al menos algunas tramas de vídeo originales en el flujo, el método comprende las etapas de: a) desde la trama de alto rango dinámico en el flujo, usar un filtro para extraer una trama de base; (b) determinar una trama de detalle en respuesta tanto a la trama de alto rango dinámico como a la trama de base, estando relacionada la trama de detalle con detalles precisos en la trama de alto rango dinámico; (c) generar una operación de mapeo tonal para la trama de base y aplicar la operación de mapeo tonal a la trama de base para generar una trama de base de bajo rango dinámico; (d) almacenar las propiedades de la operación de mapeo tonal aplicada a la trama de base; (e) someter la trama de base de bajo rango dinámico a compresión temporal, y someter la trama de detalle a compresión temporal; (f) crear datos de trama final que consisten en la trama de base de bajo rango dinámico comprimida, la trama de detalle comprimida y las propiedades de la operación de mapeo tonal aplicada a la trama de base; y (g) incluir los datos de trama final en el flujo de datos de vídeo comprimidos.

Se ha hallado que es claramente ventajoso determinar una función de mapeo tonal diferente no sólo para cada escena sino para cambiar la función de mapeo tonal incluso mientras se muestra la misma escena en un flujo de vídeo. Las realizaciones del método de la presente invención proporcionan un flujo de datos de vídeo que tiene una calidad significativamente mejor en comparación con un flujo de vídeo en el que sólo se efectúa un cambio de función de mapeo tonal para un cambio de escena. Es posible y se prefiere aplicar el método de compresión del flujo a datos de vídeo de alta definición, es decir, imágenes que comprenden un gran número de píxeles. En este caso, la presente invención proporciona ventajas ya que los detalles espaciales precisos ofrecidos por datos de vídeo de alta definición pueden identificarse más claramente mientras que dura la escena.

En la presente invención, es muy preferible alterar la función de mapeo tonal dentro de una escena sólo de manera gradual. Alterando la función de mapeo tonal sólo de manera gradual, las diferencias de trama a trama serán pequeñas y, por tanto, la imagen recibida parecerá más natural. Debe observarse que en los casos en los que, sin un cambio de escena, se altera la iluminación de una escena, por ejemplo, encendiendo o apagando una luz, pueden realizarse excepciones a la regla general de que la función de mapeo tonal va a alterarse sólo de manera gradual.

Por consiguiente, es posible evaluar la luminancia global de una imagen y permitir cambios mayores cuando hay un cambio significativo de luminancia de trama a trama. Sin embargo, es obvio que también podrían explicarse cambios como éste manejando la luminancia por separado.

El cambio gradual de la función de mapeo tonal puede conseguirse evaluando una trama dada así como una pluralidad de tramas observadas previamente y/o tramas que seguirán posteriormente dentro del flujo de datos. Esto puede efectuarse o bien calculando el promedio de datos de imagen y/o calculando datos derivados de tramas originales tales como tramas de base filtradas bilateralmente y/o determinando una función de mapeo tonal para cualquier trama dada en respuesta a funciones de mapeo tonal determinadas para tramas previas.

Relacionando la función de mapeo tonal actual tanto con una trama dada como con varias funciones de mapeo tonal obtenidas previamente en lugar de las tramas de las que se derivan, la cantidad de datos se reduce significativamente en comparación con casos en los que ha de evaluarse una pluralidad de tramas de vídeo con el fin de determinar una función de mapeo tonal individual. En este caso, debe observarse que una vez que se determina una trama de base que tiene una resolución espacial reducida, a partir de una trama HDR inicial usando, por ejemplo, filtrado bilateral, se reduce significativamente la cantidad de datos que es necesario manejar para determinar la función de mapeo tonal, permitiendo así incluso el cálculo de promedios, etcétera. Dado que la determinación de una función de mapeo tonal para una trama de base es más sencilla desde el punto de vista computacional sin degradar la calidad de imagen, es muy preferible separar la información de trama de base de una trama HDR dada antes de determinar la función de mapeo tonal y determinar la función de mapeo tonal en respuesta a la información de trama de base extraída de la trama HDR inicial. También es posible determinar información de trama de base sólo para algunas tramas del flujo de vídeo; sin embargo, se prefiere obviamente determinar una trama de base para la mayoría de tramas de las tramas HDR iniciales y operar en esta mayoría de tramas con el fin de determinar la función de mapeo tonal. En particular, se prefiere determinar una trama de base para cada trama del flujo de vídeo HDR inicial.

Es posible determinar una trama de base de bajo rango dinámico en respuesta a una trama de base extraída de la trama HDR inicial e información relativa a la función de mapeo tonal para la trama de base respectiva. Debe observarse que se prefiere incluir información referente a la función de mapeo tonal actual usada para cualquier trama dada en el flujo de datos de vídeo comprimidos. Esto puede realizarse de una pluralidad de maneras sin aumentar significativamente la cantidad de datos necesarios. En particular, es posible hacer referencia a un número de funciones de mapeo tonal predefinidas y seleccionar una de un número funciones de mapeo tonal predefinidas para cualquier trama dada. Este número y cualquier parámetro asociado pueden estar incluidos en el flujo comprimido de datos de tramas de vídeo. El decodificador habitualmente tendrá acceso a o comprenderá una tabla de consulta para funciones de mapeo tonal.

Es posible predefinir cada función de mapeo tonal individual y proporcionar información sobre la función de mapeo tonal para el decodificador. En el proceso de decodificación, es posible modificar una función de mapeo tonal inicial para tener en cuenta directamente las propiedades particulares de un dispositivo para visualizar los datos de tramas de vídeo reales. Por tanto, las tablas de consulta para diferentes dispositivos de visualización pueden estar relacionadas con diferentes funciones de mapeo tonal inverso para una entrada de tabla de consulta dada. Debe observarse que el número de diferentes funciones de mapeo tonal predefinidas puede ser comparativamente pequeño y que entre 16 y 512 funciones de mapeo tonal predefinidas deben ser suficientes generalmente para codificar y comprimir cualquier flujo de datos de tramas de vídeo HDR dado.

Sin embargo, también es posible permitir que el usuario defina una función de mapeo tonal o una pluralidad de funciones de mapeo tonal según sea necesario. Puesto que estar incluida cualquier información de una función de mapeo tonal definida por un usuario en el flujo comprimido de datos de tramas de vídeo, es posible transferir la información de funciones de mapeo tonal definidas por el usuario del codificador al decodificador.

Debe observarse que una vez que se ha determinado la trama de base a partir de la trama de alto rango dinámico

inicial, es posible determinar una trama de detalle en respuesta tanto a la trama inicial como a la trama de base. La trama de detalle puede obtenerse preferiblemente mediante la sustracción de la trama de base de la trama HDR y/o mediante la división de la trama de base.

Debe observarse que generalmente la trama de detalle tiene un rango dinámico significativamente menor que la trama de base incluso sin compresión dinámica. La trama de base de bajo rango dinámico puede someterse a compresión adicional, en particular a esquemas de compresión temporal tal como se conocen en la técnica. También debe observarse que la trama de detalle también puede comprimirse usando adicionalmente esquemas de compresión temporal (convencionales). Por consiguiente, una trama final en el flujo de datos HDR comprimidos comprenderá generalmente información sobre la función de mapeo tonal usada para la trama particular, así como información de trama de base comprimida e información de trama de detalle comprimida. Obviamente puede estar incluida información adicional tal como cabeceras de datos, etcétera. Cuando se decodifica el flujo de vídeo, pueden obtenerse la información de trama de base de bajo rango dinámico y la información de trama de detalle de bajo rango dinámico tal como se conoce per se en la técnica. Luego, aplicando la información de mapeo tonal, puede reconstruirse la trama de base de alto rango dinámico inicial y puede añadirse la información de trama de detalle según se obtiene de nuevo a partir de la trama de detalle temporalmente comprimida y/o de otras maneras combinadas con la información de trama de base no comprimida para obtener una trama HDR reproducida de alta calidad. Un flujo de vídeo obtenido de esta manera proporcionará imágenes de alta calidad aunque no se impongan cargas computacionales altas en cualquier hardware de gráficos que procesa los datos de tramas de vídeo HDR iniciales.

Debe observarse que es posible y se prefiere incluir en el flujo de datos de vídeo comprimidos, entre otros, información de luminancia que se refiere a la luminosidad global de una trama y/o de partes de la misma por separado de la información de mapeo tonal.

Debe observarse que aunque la presente solicitud se refiere en general a tramas y a una función de mapeo tonal usada para una trama individual, sería posible usar diferentes funciones de mapeo tonal para diferentes zonas de una trama dada sin apartarse de la descripción de la presente invención. En los casos en los que se determina diferente información de función de mapeo tonal para diferentes zonas, existe una pluralidad de posibilidades y debe indicarse que puede aplicarse exclusivamente cualquier posibilidad o en combinación con otras. En particular, es posible determinar una información de función de mapeo tonal para una zona fija, por ejemplo, un rectángulo fijo en una trama dada. Esta zonas puede estar relacionada o no con un objeto dado; en particular, es posible proporcionar una función de mapeo tonal para objetos en movimiento en el flujo inicial de datos de tramas de vídeo. Esto permite mantener un mapeo tonal para un objeto dado que se mueve a través de una escena. Debe observarse que esto puede requerir la identificación de objetos dentro del flujo de datos de vídeo que va a comprimirse. Sin embargo; puesto que es posible identificar objetos en movimiento dentro de las tramas de base, la cantidad de datos que es necesario manejar puede ser comparativamente pequeña incluso para imágenes de alta definición. Si se determina una pluralidad de funciones de mapeo tonal para una trama; entonces se prefiere obviamente alterar de manera gradual cada función de mapeo tonal individual para cualquier zona dada de trama a trama. Sin embargo, esto puede mantenerse para casos especiales, por ejemplo, cuando una escena muestra una sala con un televisor en el que se muestra una película; ahora, aunque la sala permanezca sin cambios por lo demás y las funciones de mapeo tonal para cualquier lugar en la sala distinta de la mostrada por el televisor cambiasen sólo de manera gradual, puede haber grandes cambios en el televisor requiriendo así cambios no graduales en la función de mapeo tonal.

La presente invención también se refiere a un codificador de vídeo para codificar un flujo de datos de vídeo tal como se describió con respecto a los métodos anteriormente. Un codificador de vídeo puede implementarse en software o en hardware, por ejemplo como ASIC. Será obvio para el experto habitual cómo debe diseñarse un decodificador.

Además, es posible proporcionar una videocámara que almacena y/o transmita un flujo de datos de vídeo obtenido según un método tal como se describió anteriormente.

Es posible proporcionar flujos de datos de vídeo según la presente invención, por ejemplo, en DVD o/como flujos de datos de vídeo descargables.

La presente invención también se refiere a una portadora de datos que porta datos de vídeo comprimidos según la presente invención.

Ahora se describirá la presente invención a modo de ejemplo sólo con referencia al dibujo, figura 1, que muestra un esquema de compresión según la presente invención.

Según la figura 1, se proporciona un flujo de datos de tramas de vídeo 1 que consiste en tramas de vídeo de alto rango dinámico de alta definición. Se introduce una trama HDR 2 individual del flujo de vídeo 1 en un filtro 3 que puede implementarse mediante o bien un software o bien un hardware y que se usa para extraer una trama de base 4 de la trama HDR 2. El filtro 3 puede ser un filtro bilateral.

La trama de base 4 se combina en una fase de combinación con la trama HDR inicial, por ejemplo, sustrayendo la trama de base 4 de la trama HDR 2 y/o dividiendo la trama HDR 2 entre la trama de base 4 para proporcionar una trama de detalle 5 relacionada con los detalles precisos de la trama HDR 2. La trama de base 4 se alimenta

adicionalmente a una fase de operación de mapeo tonal 6 en la que se selecciona una de una pluralidad de, en este caso funciones de mapeo tonal predefinidas almacenadas en una tabla de consulta de mapeo tonal 7 para la trama de base.

La función de mapeo tonal 6 seleccionada para una trama de base 4 dada se altera a una función de mapeo tonal TMO* con respecto a las propiedades temporales de tramas HDR y/o funciones de mapeo tonal previas tal como se describirá más adelante. La función de mapeo tonal TMO* se aplica entonces a la trama de base 4 para obtener una trama de base de bajo rango dinámico 8. La trama de base de bajo rango dinámico 8 y la trama de detalle 5 se someten a algoritmos de compresión temporal por separado en las fases 9 y 10, respectivamente. Los esquemas de compresión temporal pueden conocerse per se en la técnica y pueden estar relacionados, entre otros, con la codificación MPEG, etc.

A partir de las tramas de detalle temporalmente comprimidas y las tramas de base 9 y 10 y la función de mapeo tonal TMO* corregida temporalmente, se construye una trama final. Con el fin de obtener un flujo de vídeo comprimido de alta calidad, se sugiere en la realización descrita determinar la función de mapeo tonal con respecto a funciones de mapeo tonal obtenidas previamente para tramas previas. Por tanto, la función de mapeo tonal para una trama de base dada se alimenta a una fase de propiedad temporal 11 que almacena las propiedades de un número de funciones de mapeo tonal previas obtenidas para tramas previas de la misma escena. Esto puede realizarse almacenando el número de las funciones de mapeo tonal previas en una tabla de función de mapeo tonal 7 y/o almacenando toda la función de mapeo tonal. Debe observarse que puede proporcionarse una fase de identificador de cambio de escena para volver a establecer la fase de propiedad temporal en cualquier cambio de escena (no mostrado). La fase de propiedad temporal 11 al recibir una función de mapeo tonal inicial, tal como se determina inicialmente para una trama de base 4, determina si el cambio en la función de mapeo tonal en comparación con la función de mapeo tonal anterior es grande o no. Será obvio para el experto que puede ponderarse cualquier desviación de modo que partes particulares de la curva de mapeo tonal tengan un peso mayor que otras.

También sería posible almacenar funciones de mapeo tonal en una tabla de función de mapeo tonal 7 de manera que pequeños cambios del número de entrada de la tabla de consulta correspondan a pequeños cambios en la función de mapeo tonal, permitiendo una manera particularmente sencilla de determinar si el cambio de una función de mapeo tonal de una trama de base dada a tramas de base previas es grande o no. Si el cambio en la función de mapeo tonal 6 es gradual, entonces la función de mapeo tonal TMO* real corresponde a la función de mapeo tonal inicial determinada para una trama de base 4. Si los cambios de la función de mapeo tonal determinada para una trama de base 4 dada son demasiado grandes, entonces la función de mapeo tonal inicial se corrige con respecto a una función de mapeo tonal que corresponde de una manera más aproximada a funciones de mapeo tonal previas. Esto puede determinarse mediante comparadores sencillos. Por consiguiente, el cambio de funciones de mapeo tonal es pequeño dentro de una escena y, por tanto, la secuencia de tramas puede mostrarse basándose en el flujo de datos de vídeo comprimidos 12 que es de alta calidad.

Claims

REIVINDICACIONES

1. Método para producir un flujo de datos de vídeo comprimidos (12) comprimiendo un flujo (1) de tramas de vídeo de alto rango dinámico (2) dispuestas como una pluralidad de diferentes escenas que comprenden, cada una, una pluralidad de las tramas de vídeo, en las que se aplican operaciones de mapeo tonal a las

5 tramas, difiriendo las operaciones de mapeo tonal aplicadas a tramas en una de la pluralidad de escenas de las operaciones de mapeo tonal aplicadas a tramas en otra de la pluralidad de escenas, y difiriendo entre sí las operaciones de mapeo tonal aplicadas a algunas tramas en la misma escena;

caracterizado porque para al menos algunas tramas de vídeo de alto rango dinámico (2) en el flujo (1), el método comprende las etapas de:

10 (a) desde la trama de alto rango dinámico en el flujo, usar un filtro (3) para extraer una trama de base (4);

(b) determinar una trama de detalle (5) en respuesta tanto a la trama de alto rango dinámico (2) como a la trama de base (4), estando relacionada la trama de detalle (5) con detalles precisos en la trama de alto rango dinámico;

(c) generar (6) una operación de mapeo tonal (TMO*) para la trama de base (4) y aplicar la operación de 15 mapeo tonal a la trama de base para generar una trama de base de bajo rango dinámico (8);

(d)

almacenar (11) las propiedades de la operación de mapeo tonal (TMO*) aplicadas a la trama de base (4);

(e)

someter a la trama de base de bajo rango dinámico (8) a compresión temporal (9) y someter a la trama de detalle (5) a compresión temporal (10);

20 (f) crear datos de trama final (12) que consisten en la trama de base de bajo rango dinámico comprimida (8), la trama de detalle comprimida (5) y las propiedades de la operación de mapeo tonal (TMO*) aplicadas a la trama de base; y

(g) incluir los datos de trama final en el flujo de datos de vídeo comprimidos.
2. Método según la reivindicación 1, caracterizado porque la generación de una operación de mapeo tonal

25 (TMO*) para una trama de base (4) comprende seleccionar una función de mapeo tonal (TMO) de una pluralidad de funciones de mapeo tonal predefinidas (7).
3. Método según la reivindicación 2, caracterizado porque la operación de mapeo tonal (TMO*) aplicada a la trama de base (4) se obtiene alterando la función de mapeo tonal (TMO) seleccionada de la pluralidad de funciones de mapeo tonal predefinidas (7), con respecto a propiedades almacenadas (11) de al menos una

30 función de mapeo tonal previa obtenida para una trama de base previa (4) de la misma escena.
4. Método según la reivindicación 3, caracterizado porque si la diferencia entre la operación de mapeo tonal (TMO) determinada para una trama de base (4) dada y la al menos una función de mapeo tonal previa es grande, la operación de mapeo tonal (TMO) inicial se corrige a una operación de mapeo tonal (TMO*) que corresponde de manera más aproximada a la al menos una función de mapeo tonal previa.

35 5. Método según la reivindicación 1, caracterizado porque la generación de una operación de mapeo tonal (6) para una trama de base (4) comprende seleccionar una de varias funciones de mapeo tonal predefinidas (7) y están incluidos la función de mapeo tonal seleccionada y cualquier parámetro asociado en el flujo de datos de vídeo comprimidos.
6. Método según la reivindicación 1, caracterizado porque la trama de detalle (5) se obtiene mediante la

40 sustracción de la trama de base (4) de la trama de alto rango dinámico (2) y/o mediante la división de la trama de alto rango dinámico (2) entre la trama de base (4).
7. Método según la reivindicación 1, caracterizado porque la compresión (9) de la trama de base de bajo rango dinámico (8) y la compresión (10) de la trama de detalle (5) se llevan a cabo por separado.
8. Método según la reivindicación 1, caracterizado porque el filtro (3) usado para extraer la trama de base (4) a 45 partir de la trama de alto rango dinámico (2) es un filtro bilateral (3).
9.

Método según la reivindicación 1, caracterizado porque las etapas (a) a (g) se llevan a cabo para todas las tramas de vídeo de alto rango dinámico (2) en el flujo (1).
10.

Método según la reivindicación 1, caracterizado porque la información de función de mapeo tonal para una

trama en el flujo de datos de vídeo comprimidos está incluida por separado de la información de luminancia 50 relacionada con la misma trama.
11.

Método según la reivindicación 2, caracterizado porque la pluralidad de funciones de mapeo tonal predefinidas (7) comprenden al menos una función de mapeo tonal fija.
12.

Método según la reivindicación 2 u 11, caracterizado porque la pluralidad de funciones de mapeo tonal predefinidas (7) comprenden al menos una función de mapeo tonal definida por el usuario.

5 13. Codificador de vídeo configurado para producir un flujo de datos de vídeo comprimidos (12) llevando a cabo un método según cualquier reivindicación anterior.
14.

Decodificador de vídeo configurado para decodificar un flujo de datos de vídeo comprimidos llevando a cabo el método según la reivindicación 17.
15.

Decodificador de vídeo según la reivindicación 14, caracterizado porque el decodificador está configurado

10 de modo que, en el proceso de decodificación, es posible modificar una función de mapeo tonal inicial para tener en cuenta las propiedades particulares de un dispositivo para visualizar los datos de tramas de vídeo.
16. Decodificador de vídeo según la reivindicación 15, caracterizado porque el decodificador está configurado para que haya tablas de consulta para diferentes dispositivos de visualización que están relacionados con diferentes funciones de mapeo tonal inverso para una entrada de tabla de consulta dada.

15 17. Método para decodificar un flujo de datos de vídeo comprimidos obtenido llevando a cabo un método según cualquiera de las reivindicaciones 1 a 12, caracterizado porque usando los datos de trama final (12) en el flujo de datos de vídeo, se obtiene la trama de base de bajo rango dinámico (8) a partir de la trama de base de bajo rango dinámico comprimida, se obtiene la trama de detalle (5) a partir de la trama de detalle comprimida (5), y usando la información con respecto a la operación de mapeo tonal (TMO*) aplicada a la

20 trama de base, se reconstruye la trama de base (4); y se combina la trama de base (4) con la trama de detalle (5) para obtener una trama de alto rango dinámico que va a reproducirse.