ES2684432T3

ES2684432T3 - Codificación de rango dinámico para imágenes y vídeo

Info

Publication number: ES2684432T3
Application number: ES16806189.3T
Authority: ES
Inventors: Jeroen Hubert Christoffel Jacobus STESSEN
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2015-12-17
Filing date: 2016-12-12
Publication date: 2018-10-02
Anticipated expiration: 2036-12-12
Also published as: WO2017102606A1; PL3235236T3; JP6495552B2; EP3235236A1; RU2017126189A; MX2017009282A; EP3235236B1; US10152777B2; US20180276801A1; CN107211079B; HUE040383T2; CN107211079A; ZA201704982B; BR112017016037A2; JP2019504548A; RU2720446C2; RU2017126189A3; MX364488B

Abstract

Un decodificador (250) de vídeo de HDR que comprende un aparato (200) de procesamiento de color de imagen dispuesto para transformar un color de entrada (Y'UV_LDR) de un pixel de una imagen de entrada (Im_in), imagen de entrada que tiene un primer rango dinámico de luminancia (DR_1), en un color de salida de componente de color rojo, verde y azul (R'o, G'o, B'o) de un pixel de una imagen de salida (Im res; REC_HDR), imagen de salida que tiene un segundo rango dinámico de luminancia (DR_2), mediante el cual la luminancia pico del primer rango dinámico es al menos 2 veces inferior que la luminancia pico del segundo rango dinámico o viceversa, que comprende una unidad (202; 552) de mapeo aproximado dispuesta para aplicar una curva de re-gradación de brillo de tres segmentos que consiste en un segmento lineal para un sub-rango oscuro (SR_d) del rango de lumas de los colores de imagen de entrada que comprende los valores de luma de entrada más oscuros, que se determina por una variable de pendiente (InvBet), un segundo segmento lineal para los valores de luma de entrada más luminosos en un sub-rango de brillo (SR_br), que se controla por una segunda variable de pendiente (InvAlph), y un segmento parabólico entre los dos segmentos lineales.

Description

5

10

15

20

25

30

35

40

45

50

55

60

65

DESCRIPCION

Codificación de rango dinámico para imágenes y vídeo Campo de la invención

La invención se refiere a aparatos y métodos y productos resultantes como almacenamiento de datos (por ejemplo disco blu-ray) o productos o señales de transmisión, que posibilitan la conversión de una imagen, o un vídeo de imágenes, de un primer rango dinámico de luminancia a una imagen o vídeo de segundo rango dinámico de luminancia (que en la mayoría de las realizaciones a continuación será inferior que el primer rango de la imagen de entrada en un lado de codificación, y superior en un lado de decodificación), en particular empezando desde una imagen (por ejemplo brillo pico de 1000 nits, que es el brillo pico de su pantalla de referencia asociada) de alto rango dinámico (HDR) maestra que puede ser no limitante, por ejemplo, una gradación de HDR maestra creada con una apariencia de color particular definida por un elemento de gradación de color, o una captura de programa de televisión sin procesar lista para difusión, etc., y a continuación la codificación y comunicación mediante una segunda imagen de rango dinámico, o en particular el conjunto de imágenes (un vídeo), que se codifican en otro rango dinámico distinto al maestro de entrada, y típicamente pueden codificarse, por ejemplo, como unas imágenes de rango dinámico convencional SDR; que se definen con la Rec. 709 OETF heredada; y se gradúan para parecer óptimas en un monitor de referencia de 100 nits brillo pico (PB)), o también cualquier codificación de imagen de LDR (bajo rango dinámico), y por otro lado de cualquier sistema de comunicación de imágenes que corresponde a decodificadores de imágenes o de vídeo para producir una imagen decodificada, por ejemplo apropiado para representar en una pantalla del lado de recepción de HDR disponible de 3000 nits PB. Las realizaciones del método y aparato son adecuadas en particular para cualquier codificación de vídeo, decodificación respectivamente, que necesita poder manejar requisitos de luminancia superiores que la codificación (que también puede denominarse en este texto codificación SDR convencional) de vídeo heredada (LDR). La codificación de vídeo SDR (LDR) se codificará típicamente con la Rec. 709 EOTF, que se adapta bien con capacidades de visualización de LDR típicas que tienen un brillo pico de aproximadamente el valor convencional de 100 nits, y nivel de negro de 0,1 nits, y supondremos que se realizará una graduación de LDR con estos valores convencionales. Una imagen de alto rango dinámico es cualquier imagen no codificable solamente por medio de una codificación de SDR heredada (aunque algunas de las herramientas y aparatos en su lugar pueden volverse a usar como se explica a continuación), puesto que típicamente tiene características de calidad de imagen superiores, en particular el brillo pico de la imagen puede ser superior (al menos 2 veces superior a 100 nits, pero para imágenes de HDR de calidad superior típicas, por ejemplo 1000 nits PB, o 5000 nits PB, etc.). En caso que no mencionemos detalles específicos adicionales en el extremo inferior del rango dinámico de luminancia, asumimos tácitamente que al menos para entender las realizaciones de esta solicitud el experto en la materia supondrá que es de 0 nits.

Antecedentes de la invención

En la actualidad han aparecido un número de pantallas muy diferentes en el mercado, en particular pantallas de recepción de señal de televisión (televisiones) con brillo pico muy diferente. Mientras que en el pasado el brillo pico (PB) de las denominadas pantallas de bajo rango dinámico (LDR) heredadas se diferenciaban como mucho en algo similar a un factor de 2 (en algún lugar entre 80 y 150 nits), la tendencia reciente a cada vez brillo pico más alto ha dado como resultado las denominadas televisiones de alto rango dinámico (HDR) de 1000 nits y superiores, y pantallas de 5000 nits PB, y se supone que pronto diversas pantallas de tales PB superiores estarán en el mercado. Incluso en las salas de cine se está buscando en la actualidad maneras para aumentar el rango dinámico de brillo final percibido por el espectador. En comparación con una TV heredada convencional de LDR de 100 nits, una pantalla de, por ejemplo 2000 nits, tiene un factor de 20 más brillo pico, que equivale a más de 4 escalas adicionales disponibles, es decir más maneras de representar objetos más brillantes en diversas imágenes. Por otra parte, con la condición de que se use un nuevo sistema de generación o captura de imagen de HDR de nueva generación, esto permite mucha mejor representación de escenas o efectos de HDR. Por ejemplo, en lugar de recortar (ligeramente) el mundo soleado fuera de un edificio o vehículo (como ocurriría en una gradación de LDR heredada), se puede usar el brillo disponible adicional en el eje de luminancia de la gama de TV de HDR para visualizar áreas exteriores brillantes y coloridas. Esto significa que el creador de contenido, que le denominaremos de manera no limitante el graduador de color (aunque puede realizarse de diversas maneras, por ejemplo en una producción de televisión en directo alguien tal vez únicamente ajustando un único selector que afecte algunas propiedades de color, en particular de la codificación, en algunos momentos), tiene margen para hacer la imagen o el contenido de vídeo de HDR especializado muy bonito (típicamente más brillante, tal vez con más contraste y más colorido). Por otra parte sin embargo, esto crea un problema: la codificación de imagen de LDR se diseñó empezando relativamente desde el blanco, y bien iluminado de acuerdo con un gris medio del 18 % de reflejo, que significa que típicamente las luminancias de visualización-representadas por debajo del 5 % de un PB relativamente bajo, es decir 100 nits, típicamente se observarán por el espectador como difíciles de discriminar grises oscuros, o incluso dependiendo de la iluminación circundante negros que no pueden discriminarse. En una pantalla de 5000 nits no habrá problema con esta imagen de HDR óptimamente graduada: el 5 % de 5000 nits es aún 250 nits, por lo que esto parecerá como un interior normal, por ejemplo, y el 95 % más alto del rango de luminancia podría usarse puramente para efectos de HDR, como por ejemplo lámparas, o regiones cerca de tales lámparas, es decir iluminadas de manera brillante. Pero en una LDR la representación de esta graduación de HDR irá totalmente incorrecta (ya que no se creó para una

5

10

15

20

25

30

35

40

45

50

55

60

65

pantalla de este tipo), y el observador por ejemplo, puede únicamente ver puntos calientes que corresponden a las regiones más brillantes en una región cerca del negro.

En general, son necesarias re-graduaciones para crear imágenes óptimas para pantallas que son suficientemente diferentes (al menos una diferencia de factor 2 en PB). Eso ocurriría cuando tanto se re-gradúe una imagen para hacer una pantalla de rango dinámico inferior adecuada para representación en una pantalla de rango dinámico superior (que sería graduar de manera ascendente, por ejemplo una imagen o imágenes de entrada de visualización de referencia de 1000 nits, es decir que parecerían óptimas en una pantalla real de 1000 nits PB, que a continuación se procesan en color para representar en una pantalla real de 5000 nits PB), como a la inversa, es decir graduar de manera descendente una imagen de modo que fuera adecuada para visualización en una pantalla real de PB inferior que la pantalla de referencia asociada con la graduación que se codifica como imágenes de vídeo (e imágenes que se transmiten típicamente de alguna manera a un lado de recepción). Por claridad describiremos únicamente el escenario donde una imagen o imágenes de HDR se van a degradar a LDR.

La tecnología de HDR (mediante la cual queremos decir una tecnología que debería poder manejar al menos algunas imágenes de HDR, que pueden ser de considerable complejidad, es decir, alto brillo pico, por ejemplo 10000 nits, pero puede funcionar con imágenes de LDR, o imágenes de rango dinámico medio, etc., también) filtrará diversas áreas de uso tanto de consumidor como profesional (por ejemplo cámaras, dispositivos de manejo de datos como reproductores de blu-ray, televisiones, software informático, sistemas de proyección, sistemas de seguridad o de conferencia de vídeo, etc.) que necesitarán tecnología que pueda manejar los diversos aspectos de diferentes maneras.

En el documento Wo2013/144809 (y el documento WO2014/056679) el solicitante formuló de manera genérica una técnica para realizar procesamiento de color para producir una imagen (Im res) que es adecuada para otro rango dinámico de visualización (típicamente el PB es suficiente para caracterizar los rangos dinámicos de visualización diferentes y por lo tanto imágenes óptimamente graduadas, debido a que para varios escenarios se puede despreciar el punto negro y suponer que es de manera pragmática 0) distinto al rango dinámico de pantalla de referencia asociado con la imagen de entrada (Im-in), es decir que básicamente formula el PB de una pantalla para la que se creó la imagen según parece de manera óptima, que forma buena técnica anterior para la invención que se aclara a continuación para mejorarla acto seguido. Reformulamos los principios de manera concisa de nuevo en la Figura 1. Sin embargo, el lector debería entender que algunas de las propiedades de la técnica anterior ejemplar son relevantes en el contexto de las presentes realizaciones, y algunas no están presentes en una codificación de HDR general, y sin limitación de nuestras presentes realizaciones y enseñanzas, ya que pueden funcionar con diversas tales diversas tecnologías de códec de vídeo (o imagen) de hDr.

En particular lo que es relevante es que se tienen dos apariencias de rango dinámico diferentes en una escena, que pueden estar relacionadas entre sí mediante una transformación de color (por ejemplo, como aclara la Figura 4, se puede elegir reducir considerablemente la luminancia, o de manera equivalente la luma (que son los códigos que codifican las correspondientes lumas en una representación, por ejemplo, típicamente de 10 o 12 bits), de una luz de la calle, y comprimir todos tales objetos de imagen de alta luminancia en un pequeño sub-rango del rango de LDR de luminancias). Aunque nuestras realizaciones pueden funcionar también en sistemas que transmiten alguna codificación de la imagen de HDR maestra a cualquier lado de recepción, supondremos en las aclaraciones a continuación que usamos la realización de comunicación de la gradación de LDR en lugar de las imágenes de HDR, pero, junto con metadatos que codifican las funciones de transformación de color (algunas de las cuales pueden funcionar en un plano de cromaticidad, aunque nos centraremos en las transformaciones de luminancia principalmente) que permiten que un receptor recalcule una reconstrucción estrecha de la imagen graduada de HDR maestra (Im_in_HDR) de la escena de HDR. Esto permite que el receptor con capacidad de HDR represente imágenes de HDR en una pantalla de HDR conectada, pero también la representación de imágenes de LDR heredadas para personas que aún tienen una tv o monitor informático, proyector, pantalla portátil, etc., de LDR.

Este principio es aplicable (construible) de manera genérica, es decir lo que no debería suponerse es que hay limitaciones particulares con respecto al formato de color de la imagen de entrada, ni a la imagen de salida, ni al espacio de color en el que está ocurriendo el procesamiento de color, en particular donde la técnica anterior menciona algún procesamiento de RGB linear específico, para este texto establecemos explícitamente que inventamos y describimos algunos procesamientos de espacio de color no lineales, y las estrategias de codificación basadas en los mismos.

Los diversos píxeles de una imagen de entrada Im_in se procesan por color consecutivamente por un transformador de color 100 (que suponemos en este punto que reside en un codificador de vídeo, que obtiene vídeo de HDR para codificarse como entrada, y que emite imágenes de LDR, que, sin embargo, aún contienen de manera óptima la información de HDR también, aunque estarían en una apariencia de LDR re-graduada), multiplicando sus valores de RGB lineales por un factor de multiplicación (a) por un multiplicador 104, para obtener colores de salida RsGsBs de píxeles en una imagen de salida Im res. El factor de multiplicación se establece desde alguna especificación de mapeo de tono, que puede crearse típicamente por un graduador de color humano, pero podría provenir también desde un algoritmo de auto-conversión que analiza las características de la imagen o imágenes (por ejemplo el histograma, o las propiedades de color de objetos especiales como las caras, etc.). La función de mapeo puede ser

5

10

15

20

25

30

35

40

45

50

55

60

65

de manera aproximada, por ejemplo, similar a gamma, de modo que se potencian los colores más oscuros (que es necesario para hacerlos más brillantes y con más contraste para representación en la pantalla de LDR), a coste de unas reducciones de contraste para las áreas brillantes, que se volverán más pastel en pantallas de LDR. El graduador puede haber identificado adicionalmente algún objeto especial como una cara, para la que él ha creado luminancias con una parte de contraste aumentado en la curva. Específicamente esta curva se aplica al máximo del componente de color de R, G, y B de cada píxel, nombrado M (determinado por la unidad de evaluación máxima 101), por la unidad de aplicación de curva 102 (que puede ser de manera económica, por ejemplo, una LUT, que puede calcularse, por ejemplo, por toma de imágenes en un lado de recepción que hace el procesamiento de color, típicamente después de haber recibido parámetros que codifican la forma funcional del mapeo, por ejemplo un factor de gamma), aunque los mismos principios pueden funcionar también si M es una luminancia, o alguna representación no lineal de una luminancia o brillo, como por ejemplo una luma, o una potencia de 1/N de una luminancia, siendo N por ejemplo, algún número entero, etc. A continuación una unidad de cálculo de factor de multiplicación 103 calcula un factor de multiplicación adecuado (a) para cada píxel actualmente procesado. Esto puede ser, por ejemplo, la salida de la función de mapeo de tono F aplicada a M, es decir F(M), dividido por M, si la imagen se ha de representar en una primera pantalla objetivo, es decir, por ejemplo una pantalla de LDR de 100 nits. Si es necesaria una imagen para, por ejemplo, una pantalla intermedia, por ejemplo 800 nits PB (u otro valor, puede ser superior que la pantalla de referencia PB de la imagen de entrada de HDR Im_in), entonces puede aplicarse una función adicional G a F(M)/M que re-escala la cantidad de mapeo multiplicativo del color de entrada al valor apropiado para el rango dinámico de visualización para el que la imagen es adecuada (ya se represente directamente en la pantalla, o se comunique o almacene en alguna memoria para uso posterior). Esta es una manera para representar alguna transformación de brillo, que puede ser bastante compleja, como una multiplicación. Aunque la técnica anterior que mencionamos para aclarar el conocimiento de los antecedentes para esta invención puede típicamente multiplicar componentes lineales RGB, destacamos que las realizaciones de la presente invención pueden funcionar también, por ejemplo, en representaciones de color de RGB típicamente no lineales, por ejemplo componentes de R'G'B' transformados de la Rec. 709 OETF, o potencias de R, G, y B con típicamente un valor de potencia menor que 1, por ejemplo 1.

La parte que hemos descrito hasta ahora constituye un procesamiento de color global. Esto significa que podemos hacer el procesamiento basándose solamente en los valores particulares de los colores (y nos centraremos únicamente en las luminancias de estos colores) de un conjunto de píxeles consecutivo. Por lo que, si solamente se obtienen píxeles desde, por ejemplo, un conjunto de píxeles en una sub-selección circular de una imagen, el procesamiento de color puede hacerse de acuerdo con el principio anteriormente formulado. Sin embargo, puesto que la visión humana es muy relativa, también espacialmente relativa, mediante la cual los colores y brillos de los objetos se determinan en relación con propiedades colorimétricas de otros objetos en la imagen (y también en vista de diversas limitaciones técnicas), los sistemas de codificación de HDR más avanzados tienen una opción para hacer procesamiento local. En alguna imagen o imágenes se desearía aislar uno o más objeto u objetos, como una lámpara o una cara, y hacer un procesamiento especializado en ese objeto. Sin embargo, de nuevo destacando el punto, en la tecnología presentada en este punto, esto forma parte de una codificación de al menos una graduación adicional derivable de una imagen de píxeles de una graduación maestra (en este punto LDR derivada de HDR), no simplemente algún procesamiento de color aislado. Puesto que las variantes más sencilla en el mercado no usarán procesamiento local (aunque es conceptualmente similar, pero conduce a, entre otros, circuitos integrados más complejos), y los principios a continuación pueden explicarse sin estos detalles específicos, no daremos detalles adicionales de ese aspecto.

Ya sea la graduación maestra o la graduación derivada pueden comunicarse realmente a un lado de recepción, ya que las imágenes que codifican la estructura espacial, es decir los objetos de la escena digitalizada, y si las funciones de transformación de color que codifican la relación entre las dos apariencias se comunican también en metadatos, entonces las otras graduaciones pueden a continuación re-calcularse en un lado de recepción. Es decir, el procesamiento de color es necesario, por ejemplo, para reconstruir decodificando una imagen de LDR si fuera necesario, en caso de que se hayan recibido imágenes de HDR, o viceversa una reconstrucción de imágenes de HDR en caso de que se haya comunicado o almacenado el par de apariencias como imágenes de LDR. El hecho de que se use el principio de procesamiento local en una tecnología de codificación tiene implicaciones técnicas, entre otras que se necesita un conjunto sencillo de métodos de procesamiento matemático, puesto que todos los CI o software de decodificación en el campo necesitan implementar esto, y a un precio asequible, para poder entender la codificación y crear la imagen o imágenes del decodificador LDR.

Cuando se diseñan tecnologías de codificación pragmáticamente útiles para los diversos mercados de uso de imagen o vídeo, una limitación técnica es que desde un punto de vista de CI (puesto que también aparatos económicos pueden necesitar CI sencillos o partes de área de un CI o software), las herramientas de función de codificación deberían ser pocas, y elegirse de manera inteligente, para hacer lo que sea más necesario para la creación y codificación de diversas imágenes de apariencia de rango dinámico en una escena (de modo que cualquier "graduador" o creador de contenido en cualquier variante de creación de contenido obtenga el resultado deseado de crear un par de apariencia de imagen HDR/LDR (suficientemente cercano a sus deseos) y la correspondiente codificación para almacenamiento o comunicación de la misma). Por otra parte, otro problema con eso es que con la filosofía anteriormente explicada, donde por ejemplo un graduador de color humano especifica la re-graduación, según se codifica por, por ejemplo una imagen de LDR y funciona para re-graduar una imagen

5

10

15

20

25

30

35

40

45

50

55

60

65

adecuada de HDR en cualquier receptor del lado del receptor, en un conjunto de parámetros óptimos para la apariencia específica de una escena dada, el graduador debe tener también las herramientas de graduación/codificación correctas y en el orden correcto de modo que pueda funcionar de manera conveniente con ellas (no únicamente necesita obtener la buena precisión de la apariencia de color deseada, sino que necesita hacer eso con tan pocas operaciones como sea posible, para obtener rápida y eficazmente la apariencia que desea puesto que el tiempo también es esencial). Este conjunto de restricciones de doble oponente necesita proporcionarse de una manera elegante. Adicionalmente en caso de que se transmitan imágenes de LDR a cualquier receptor existe incluso un tercer criterio que se debe observar, y las soluciones tecnológicas como las siguientes deben satisfacer al menos aproximadamente, en concreto aquellas cuando han diseñado alguna imagen o imágenes de apariencia de LDR, la reconstrucción de las imágenes de HDR por un decodificador de HDR de receptor debe aún ser de suficiente precisión, de modo que también tenga un impacto de las unidades de aparato técnico óptimas resultantes para codificadores y decodificadores de HDR genéricos a medida que se inventan.

Hattori et al: "HLS: SEI message for Knee Function Information", 16. JCT-VC MEETING; 9-1-2014, San Jose, describe un nuevo mensaje de SEI para especificar una relación entre luminancias de HDR de entrada, en un rango dinámico de entrada, hasta por ejemplo el 1200 % de un nivel de blanco de la escena (es decir codifica hasta 1200 nits), y lumas de LDR, basándose en uno o más puntos de inflexión. El punto de inflexión fue un truco para resolver el problema de que los sensores digitales, cuando se iluminan de acuerdo con una suposición de mundo en gris promedio, tenían una tendencia problemática a recortar de manera intensa objetos de escena que eran únicamente un poco más brillantes que el blanco de la escena (lo que sería aproximadamente 5 veces más brillante que el gris promedio de la escena). La idea sería que si se tuviera un mejor sensor, con menos ruido para las luminancias de la escena más oscura, entonces podría sub-exponerse la escena un poco, permitiendo una discriminación de diversas luminancias de escena más brillantes que el blanco de la escena (por ejemplo un vestido blanco de una novia bajo la iluminación de escena óptima), por ejemplo hasta 4 veces blanco de escena (en lugar de recortar directamente para codificar el blanco, luma Y'=255 en 8 bits, todo por encima de, por ejemplo 1,2 veces el blanco de la escena). Por supuesto capturando tales luminancias de escena más brillantes de manera precisa en el sensor de la cámara era únicamente parte de la solución, ya que puede aún ser necesario todavía un truco para asignar código de luma de 8 bits real a las luminancias de escena determinadas por sensor analógico (con relación a la luminancia de escena máxima grabable aún, o 1,0), cuando se calcula una imagen de SDR para consumo, por ejemplo representando con una buena calidad de imagen en una pantalla SDR 100 nits PB. No sería una solución elegante simplemente comprimir todos los colores en el eje de luma de salida de SDR para poder ajustarse al rango superior de 4 veces o incluso 12 veces, puesto que entonces los objetos más oscuros, que deberían también exponerse para ser bien visibles, pueden ser demasiado oscuros para buena calidad de imagen de SDR. Por lo que puede surgir una técnica que mantenga la asignación de luma clásica (Rec. 709) de las lumas más oscuras, hasta un punto de inflexión, y por encima de ese punto de inflexión puede usarse una estrategia de asignación de código de luma típicamente logarítmica, más comprimida de modo que podría mapearse un rango bastante más superior de luminancias de entrada (por ejemplo el rango de 1 vez el blanco de escena a 4 veces el blanco de escena) a un rango superior de los códigos de luma, por ejemplo el 10 % superior, dependiendo de la posición del punto de inflexión (o en caso de que se desee comprimir una cantidad significativa de luminancias blancas más brillantes que la escena en la imagen de SDR, podría elegirse un punto de inflexión al 50 % del rango de luma, es decir 128 en 8 bits, o 512 en 10 bits, pero a continuación la apariencia de color de la imagen, aunque aún visible, puede empezar a deteriorarse significativamente). Hattori introduce una técnica, y una manera práctica para transportar rápidamente toda la información necesaria a los decodificadores, que necesita que esa información aplique la función inversa para hacer la reconstrucción de la imagen de HDR cuando recibe la imagen de SDR, basándose en uno o más de tales puntos de inflexión. Un mecanismo de inflexión no es una buena manera para controlar de manera precisa la apariencia de una imagen de SDR. Es una manera fácil el pensamiento de curvar un rango dinámico superior (input_d_range) con una función rápida sencilla que curva de manera continua subrangos de brillo más altos en subrangos más pequeños de la luma de SDR (suponiendo que esto no será problemático, que no se cumple necesariamente si se tiene un contenido de imagen importante, por ejemplo, en las regiones más brillantes, como por ejemplo nubes que pueden tener valores de gris brillante bonitos, que pueden destruirse por una parte de una función de inflexión logarítmica sencilla incorrecta), especialmente cuando el factor Kx que especifica hasta cuántas veces deberían ser aún codificables las luminancias blancas de la escena anterior, no es demasiado alto (es decir escenas de alto rango dinámico medias). Es evidente que este documento no enseña una función de gradación aproximada usable altamente sencilla, que puede usarse especialmente cuando un graduador humano desea optimizar de manera precisa la apariencia de la imagen (en contraste con Hattori, que es simplemente la especificación matemática de algún mapeo de luminancia a luma que funciona razonablemente, que puede usarse de manera ciega por cualquier aparato automático, puesto que su único fin es codificar simplemente una imagen de apariencia de HDR, es decir puede reconstruirse en un lado de recepción, y no necesaria y artísticamente es la imagen de SDR de mejor apariencia, el solicitante desea diseñar un sistema que, aunque en algunas realizaciones también funciona (semi)automáticamente, con los mismos principios de codificación debería abastecer mercados que tienen deseos artísticamente precisos, como graduación de color precisa por un graduador de color humano en una película de Hollywood). Más específicamente, incluso cuando también no se conoce el control de una sub-región de oscuros y brillos precisa de la escena de imagen de HDR, claramente no existe la enseñanza del segmento medio parabólico, ni Hattori inspira que haciendo la investigación de HDR sea necesario darse cuenta de tal realización.

5

10

15

20

25

30

35

40

45

50

55

60

65

El documento US 2015/010059 también contiene esta misma curva de punto de inflexión (modelo 3: número de puntos de pivote) comunicada como una enseñanza de imagen de SEI, y también contiene una enseñanza de una curva S, que es simplemente otra curva de mapeo de HDR a SDR posible, no relacionada con nuestras presentes enseñanzas de la solicitud.

Zicong Mai et al.: "Optimizing a Tone Curve for Backward-Compatible High Dynamic Range Image and Video Compression",

IEEE Transactions on image processing, vol. 20, n.° 6, junio de 2011, es también una manera para comunicar imágenes de HDR que pueden reconstruirse realmente como imágenes de SDR, pero de una manera muy diferente, en concreto calculando una forma de función de mapeo de imagen óptima, que se determina basándose en el histograma de luminancia de la imagen de entrada (para no asignar demasiados pocos códigos a grandes regiones, que podrían introducir efectos de bandas, véase la Figura 3).

El documento WO2014/178286 también es de nuevo un codificador de tipo de inflexión (Figura 3), que permite la inclusión en el código de SDR de luminancias de escena (Nx) algo más brillantes que las luminancias de blancos. Esto puede usarse a continuación para representar imágenes de HDR (que hacen brillar de manera bonita objetos más brillantes) en pantallas de HDR que tienen un brillo pico Nx más brillante que las pantallas de SDR, por ejemplo cuando N es 8 o 10 (Figura 7).

El documento WO 2014/128586 también contiene diversas enseñanzas técnicas para comunicar imágenes de HDR de una escena de HDR realmente como imágenes de SDR, usables para representación directa en pantallas de SDR heredadas ya desplegadas en gran número en las instalaciones del observador. Enseña que en ocasiones una forma de curva de mapeo de luminancia altamente personalizada específica de imagen puede ser útil (Figura 8), pero no enseña nada como que la presente función aproximada puede ser una función particularmente útil en una HDR comunicada conjuntamente práctica con una correspondiente tecnología de SDR graduada.

Nada de la técnica anterior inspira incluso en la dirección del sistema de codificación de HDR sencillo elegante de la presente solicitud, que permite que incluso graduadores de color críticos obtengan de manera eficaz una imagen de SDR de buena calidad, para todos los fines prácticos.

Sumario de la invención

El problema anterior de tener un sistema de codificación prácticamente usable que es tanto computacionalmente suficientemente sencillo para CI para ejecutarlo a velocidad de vídeo, también además suficientemente versátil y manejable para que un graduador especifique cualquier apariencia de color detallada para visualizar en cualquier pantalla pretendida (al menos en una pantalla de HDR, y en otra, típicamente una pantalla de LDR heredada, aunque las codificaciones preferentemente parezcan buenas en una gama de pantallas, al menos entre la pantalla de HDR para la que se codifica la apariencia de HDR, y la pantalla de LDR para la que se codifica conjuntamente la apariencia de lDr, por medio de los parámetros que especifican la transformación de color de re-graduación funcional que empieza desde la imagen de HDR, definiéndose ambas imágenes típicamente como palabras de 10 bits escaladas a [0,1]) se resuelve por el decodificador (250) de vídeo de HDR que comprende un aparato (200) de procesamiento de color de imagen dispuesto para transformar un color de entrada (Y'UV_LDR) de un pixel de una imagen de entrada (Im_in), imagen de entrada que tiene un primer rango dinámico de luminancia (DR_1), en un color de salida de componente de color rojo, verde y azul (R'o, G'o, B'o) de un pixel de una imagen de salida (Im_res; REC_HDR), imagen de salida que tiene un segundo rango dinámico de luminancia (DR_2), mediante el cual la luminancia pico del primer rango dinámico es al menos 2 veces inferior que la luminancia pico del segundo rango dinámico o viceversa, que comprende una unidad (202; 552) de mapeo aproximado dispuesta para aplicar una curva de re-graduación de brillo de tres segmentos que consiste en un segmento lineal para un sub-rango oscuro (SR_d) del rango de lumas de los colores de imagen de entrada que comprende los valores de luma de entrada más oscuros, que se determina por una variable de pendiente (InvBet), un segundo segmento lineal para los valores de luma de entrada más luminosos en un sub-rango de brillo (SR_br), que se controla por una segunda variable de pendiente (InvAlph), y un segmento parabólico entre los dos segmentos lineales.

El lado de creación, por ejemplo una persona que ajusta los parámetros, puede determinar las pendientes necesarias dependiendo de las propiedades de la escena de HDR o de la misma imagen, y en segundo lugar cuando se deseen las propiedades de la codificación en las que se va a codificar la imagen. Típicamente, si la imagen de salida de una codificación (que es la imagen de entrada que los receptores y sus comprendidos decodificadores recibirán) es una codificación 100 nits PB Rec. 709 SDR, por ejemplo el graduador (o el algoritmo de determinación de curva automática basado en características de imagen medidas) puede determinar por ejemplo la forma de la curva en el PB de la imagen de HDR maestra de entrada (por ejemplo 5000 nits frente a 1000 nits PB). Pero puede determinar también la forma exacta basándose en el contenido. Por ejemplo, si hay mucho contenido oscuro como la motocicleta en la Figura 4, el graduador puede desear tener este como unas luminancias relativamente profundas en una imagen de HDR que se representa en una pantalla de HDR (por ejemplo 2000 nits PB), pero como con relativamente alto brillo en la codificación de imagen de LDR de la escena de HDR (que debe parecer visible cuando se representa en una pantalla de SDR típica). El creador ya puede tener en cuenta también

5

10

15

20

25

30

35

40

45

50

55

60

65

detalles específicos de codificación de imagen de LDR típicos, como por ejemplo el número de bits que el códec de HEVC, por ejemplo, usará para codificar las imágenes de LDR. Algunas realizaciones del decodificador pueden determinar de manera autónoma la región parabólica entre los segmentos lineales, por ejemplo siempre fijados al 20 % del rango de luma de entrada, o un porcentaje que depende de la pendiente de los dos segmentos (por ejemplo más si la diferencia en pendiente es mayor), o incluso basándose en las características de la toma actual de imágenes, por ejemplo si hay mucho detalle en el rango medio de brillo o por encima del rango oscuro, o si hay gradientes suaves, etc.

Sin embargo, en otras realizaciones el graduador o, en general, el creador, pueden especificar la anchura de la región parabólica, por ejemplo puede especificar dos anchuras (que son qué punto cambia la parte parabólica en una parte lineal) W1 y W2 desde algún punto definido que el decodificador puede establecer, por ejemplo donde intersecarían las partes lineales cuando continuaran. O puede comunicar esto como un único valor de anchura. El único requisito necesario es que el decodificador pueda aplicar la función de re-graduación de brillo de tres segmentos inversa para obtener desde la imagen o imágenes de LDR recibidas la imagen de apariencia de HDR reconstruida de la escena de HDR. En diversas realizaciones pueden enviarse los parámetros de la función de curvatura cóncava hacia arriba como se muestra en la Figura 2 (es decir InvBet, InvAlph) o de manera similar pueden enviarse los parámetros de curva de degradación (alph, bet). Una curva puede convertirse fácilmente en la otra, por ejemplo se puede establecer una LUT a una precisión deseada y a continuación intercambiar los ejes, por lo que el experto lector entenderá que por simplicidad de aclaración hablaremos acerca de ambas posibilidades en las realizaciones reales. En general puede haber dos parámetros adicionales si se desea, por ejemplo un desplazamiento de blanco Wh o, que prescribe dónde en el rango de código de luma de LDR de salida cae el código de HDR más brillante (o típicamente en otras realizaciones puede definirse también en el eje vertical desde la luminancia o luma de entrada más brillante de HDR, caso en el que los colores de HDR por encima de este valor se recortan en la representación de LDR, que puede ser útil o indeseable dependiendo de la aplicación particular de la codificación de la imagen. De manera similar puede haber un desplazamiento oscuro B_o, que el graduador puede determinar basándose en otros principios, puesto que el color oscuro que se representa en pantallas se diferencia de la representación de color brillante. Por lo que puede ser útil en un sistema general tener una realización de codificador que suministra 5 parámetros, alph, bet, W (=W1+W2, y que se define de una manera pre-acordada, por ejemplo el 50 % en cualquier lado del punto de cruce 303), B_o y Wh o.

Realizaciones sencillas será suficiente con la curva de tres segmentos. Realizaciones más avanzadas pueden aplicar transformaciones de color adicionales. Por ejemplo, una primera unidad 224 de pre transformación de color puede aplicar una transformación antes de la aplicación de la curva de tres partes, que puede distribuir, por ejemplo, los colores de la imagen o imágenes más uniformemente, por ejemplo para un observador humano. Una unidad 203 de post transformación de color puede aplicar otra función de transformación de color, por ejemplo el graduador podría oscurecer alguna parte específica del rango de luma en comparación con la apariencia de brillo resultante de la curva de tres partes. Una unidad 204 de transformación de color de dominio puede hacer transformaciones de espacio de color adicionales, por ejemplo en lugar de obtener una Y'o como resultado de una raíz cuadrada o dominio de Rec. 709, de manera similar podrían hacerse cálculos en, por ejemplo, un dominio perceptualmente linealizado, etc. Por supuesto, los dominios de color de entrada y salida pueden influenciar típicamente la forma exacta de la curva de tres partes y sus 2, 3 o 5 parámetros caracterizadores como se ha descrito anteriormente. Finalmente, después de haber hecho las transformaciones de color requeridas, que produce un resultado en, por ejemplo, una Rec. 709, alguna definición de luma de HDR, por ejemplo con especificación de componente de color PQ o incluso un R'o, G'o, B'o lineal, una unidad 226 de formateo de color puede especificar adicionalmente los colores en un espacio de color de RGB final, por ejemplo Rd,Gd,Bd adecuado para controlar directamente una pantalla conectada, que puede ser típicamente una pantalla de HDR que espera en su conexión de imagen (cable o inalámbrica) alguna imagen de definición de HDR, por ejemplo típicamente de acuerdo con alguna función de transferencia opto-electrónica (OETF) pre-especificada, que puede ser una convencional o una específica de la pantalla. La unidad (203) de aplicación de función personalizada permite que se pueda diseñar una función precisa muy específica, basándose en las necesidades de esta escena de HDR actual (en particular cómo de complejo es encajar las piezas de todos los brillos de objeto en el rango de luminancia de LDR mucho más pequeño), en un lugar donde eso pueda hacerse (con por ejemplo suficiente tiempo, recursos de cálculo, etc.), es decir típicamente en el lado de creación (y la información de la forma de esta función comunicándose a un aparato de lado de recepción). En particular, un graduador de color humano puede ajustar de manera precisa la forma no lineal para curvarla en las piezas apropiadas que corresponden a las luminancias de objetos o regiones principales de la imagen de partida. Puede dar brillo, por ejemplo, a una pequeña parte, a cualquier luminancia en la imagen derivada como desee. En particular, por ejemplo, si la mayoría de una escena de interiores tiene ya la luminancia correcta, pero alguna pequeña pieza del cielo que se observa a través de una ventana está demasiado brillante u oscura, puede diseñarse la curva personalizada CC para transformar el color únicamente en aquellos colores de píxel. Para algunas realizaciones específicas la curva personalizada puede incluso estar así diseñada que su gradiente no vaya por debajo de un valor mínimo en cualquier parte a lo largo del rango de entrada. Diseñamos nuestro sistema para que pueda ajustarse en diversas clases de sistemas de manejo de imagen de HDR o de vídeo en el mercado futuro (por ejemplo difusión basada en LDR sobre canales de satélite existentes; frente a entrega de Internet), y diversa clase de contenido (imágenes artísticas de HDR muy espectaculares de Hollywood, frente a una en el campo de producción, que pasa a tener el rango dinámico que pasa a tener), por lo que nuestra unidad de curva personalizada permite implementar sea cual sea el comportamiento de luminancia (brillo) específico para sea cual sea las partes de

5

10

15

20

25

30

35

40

45

50

55

60

65

una imagen que lo necesiten, y en las diversas implementaciones, sin embargo, con el poco o muy poco esfuerzo de implementación en el lado de creación con el que esto puede haberse realizado.

Las siguientes realizaciones no exhaustivas tienen utilidad particular.

Un decodificador (250) de vídeo de HDR de acuerdo con la reivindicación 1, en el que el aparato (200) de procesamiento de color de imagen está dispuesto para aplicar la curva de tres segmentos a lumas de bajo rango dinámico (Y'_LDR). Puede ser útil para funcionar en algunos dominios particulares, por ejemplo un dominio de luma de uno de los dos graduadores, por ejemplo típicamente lumas de SDR.

Un decodificador (250) de vídeo de HDR en el que el aparato (200) de procesamiento de color de imagen está dispuesto para producir como resultado de aplicar la curva de tres segmentos una luma de salida (Y'o) que está relacionada con la luminancia del color que es el resultado de salida de aplicar la curva de tres segmentos al color de entrada por una función de potencia con una potencia de 1/N, en el que N es preferentemente 2.

Un decodificador (250) de vídeo de HDR en el que el aparato (200) de procesamiento de color de imagen está dispuesto para determinar el color de salida comprendiendo un multiplicador (225) dispuesto para aplicar una multiplicación como un factor multiplicativo a la luma de salida (Y'o) a una representación de color preferentemente no lineal (R's, G's, B's) del color del píxel actualmente procesado.

Un decodificador (250) de vídeo de HDR en el que el aparato (200) de procesamiento de color de imagen está dispuesto para obtener la representación de color no lineal (R's, G's, B's) que se define técnicamente desde componentes de color de R,G,B lineales por una función no lineal, que está cerca en forma a una función de raíz cuadrada, y que preferentemente es una función de potencia con una potencia 1/N con N un valor entero.

Un decodificador (250) de vídeo de HDR que comprende una unidad (277) de lectura dispuesta para leer desde metadatos recibidos la primera y segunda variables de pendiente, y dispuesta para suministrarlas a la unidad (202; 552) de mapeo aproximado.

Un decodificador (250) de vídeo de HDR en el que la unidad (277) de lectura está dispuesta adicionalmente para leer una anchura de una región parabólica (W_par) entre los dos segmentos lineales desde metadatos recibidos, y dispuesta para suministrarlos a la unidad (202; 552) de mapeo aproximado.

Un método de decodificación de vídeo para producir un decodificador de vídeo de HDR de imágenes consecutivas, que comprende aplicar una curva de re-gradación de brillo de tres segmentos que consiste en un segmento lineal para un sub-rango oscuro (SR_d) del rango de lumas de los colores de imagen de entrada que comprenden los valores de luma de entrada más oscuros, que se determina por una variable de pendiente (InvBet), un segundo segmento lineal para los valores de luma de entrada más luminosos en un sub-rango de brillo (SR_br), que se controla por una segunda variable de pendiente (InvAlph), y un segmento parabólico entre los dos segmentos lineales, que produce una luma de salida (Y'o) a suministrarse a una multiplicación con una representación preferentemente de color de RGB no lineal (R's,G's'B's) del color de entrada que es color transformado.

Un codificador (501) de vídeo de HDR que comprende un aparato (200) de procesamiento de color de imagen dispuesto para transformar un color de entrada de un pixel de una imagen de entrada (Im_in), imagen de entrada que tiene un segundo rango dinámico de luminancia (DR_2), en un color de salida (Y'UV) de un pixel de una imagen de salida (IMED), imagen de salida que tiene un primer rango dinámico de luminancia (DR_1), mediante el cual la luminancia pico del primer rango dinámico es al menos 2 veces inferior que la luminancia pico del segundo rango dinámico o viceversa, que comprende una unidad (503) de mapeo aproximado dispuesta para aplicar una curva de re-gradación de brillo de tres segmentos que consiste en un segmento lineal para un sub-rango oscuro (SR_d) del rango de lumas de los colores de imagen de entrada que comprende los valores de luma de entrada más oscuros, que se determina por una variable de pendiente (InvBet), un segundo segmento lineal para los valores de luma de entrada más luminosos en un sub-rango de brillo (SR_br), que se controla por una segunda variable de pendiente (InvAlph), y un segmento parabólico entre los dos segmentos lineales.

Un codificador (501) de vídeo de HDR en el que el aparato (200) de procesamiento de color de imagen está dispuesto para aplicar la curva de tres segmentos a una representación de color del color de entrada que está en un dominio no lineal, caracterizado por que sus componentes de color se definen por funciones no lineales basándose en componentes de color aditivos rojo, verde y azul lineales.

Un codificador (501) de vídeo de HDR en el que el aparato (200) de procesamiento de color de imagen está dispuesto para aplicar la curva de tres segmentos a una representación del color de entrada rojo, verde y azul lineal.

Un codificador (501) de vídeo de HDR en el que el aparato (200) de procesamiento de color de imagen está dispuesto para determinar el color de salida en una representación que comprende una luma no lineal (Y'o) que está relacionada con la luminancia del color de salida por una función no lineal.

5

10

15

20

25

30

35

40

45

50

55

60

65

Un codificador (501) de vídeo de HDR en el que el aparato (200) de procesamiento de color de imagen está dispuesto para determinar el color de salida en una representación definida por una codificación de vídeo de rango dinámico convencional, caracterizado por que el componente de color de la luma de salida (Y'o) se define por una función de transferencia opto-eléctrica Rec. 709 o una raíz cuadrada.

Un método de codificación de vídeo de HDR, que produce un conjunto de imágenes de HDR codificadas en

imágenes de bajo rango dinámico, que comprende transformar un color de entrada de un pixel de una imagen de

entrada (Im_in), imagen de entrada que tiene un segundo rango dinámico de luminancia (DR_2), en un color de

salida (Y'UV) de un pixel de una imagen de salida (IMED), imagen de salida que tiene un primer rango dinámico de

luminancia (DR_1), mediante el cual la luminancia pico del primer rango dinámico es al menos 2 veces inferior que la luminancia pico del segundo rango dinámico o viceversa, que comprende aplicar una curva de re-graduación de brillo de tres segmentos que consiste en un segmento lineal para un sub-rango oscuro (SR_d) del rango de lumas de los colores de imagen de entrada que comprenden los valores de luma de entrada más oscuros, que se determina por una variable de pendiente (InvBet), un segundo segmento lineal para los valores de luma de entrada más luminosos en un sub-rango de brillo (SR_br), que se controla por una segunda variable de pendiente (InvAlph), y un segmento parabólico entre los dos segmentos lineales.

Una memoria legible por ordenador que comprende código que cuando se ejecuta por un procesador aplicará todas las etapas como se definen en cualquiera de las reivindicaciones del método anterior, y señaliza si en las memorias u otros medios técnicos que comprenden la información permiten que un receptor funcione técnicamente para decodificar y reconstruir las imágenes de HDR recibidas (como LDR), es decir recibiendo algunos datos de componente de color en píxeles, y metadatos que especifican la curva de tres segmentos, es decir típicamente los al menos dos superiores, o preferentemente 5 parámetros (alph, bet, W, Wh_o, B_o).

Breve descripción de los dibujos

Estos y otros aspectos de cualquier variante del método y aparato de acuerdo con la invención serán evidentes a partir de y se aclararán con referencia a las implementaciones y realizaciones descritas en lo sucesivo, y con referencia a los dibujos adjuntos, dibujos que sirven simplemente como ilustraciones específicas no limitantes y que ejemplifican el concepto más general, y en el que las líneas discontinuas se usan para indicar que un componente es opcional, los componentes no en línea discontinua no son necesariamente esenciales. Las líneas discontinuas pueden usarse también para indicar esos elementos, que se explican que son esenciales, están ocultos en el interior de un objeto, o por cosas intangibles tales como, por ejemplo, selecciones de objetos/regiones, indicaciones de niveles de valor en gráficos, etc.

En los dibujos:

La Figura 1 ilustra esquemáticamente un posible aparato de procesamiento de color previamente inventado y patentado por el solicitante para hacer transformación de rango dinámico que incluye procesamiento de color local, procesamiento de color que típicamente incluirá al menos cambiar las luminancias de objetos en una imagen de entrada, que aclarará algunos conceptos, sin embargo, las realizaciones preferidas de la presente invención se aplicarán con las modificaciones pertinentes en espacios de color de RGB no lineales y típicamente con su luma Y' correspondiente; y

La Figura 2 ilustra esquemáticamente un ejemplo de un sistema que está dispuesto para hacer transformación de rango dinámico para un sistema que puede decodificar de una manera paramétrica y producir una imagen de HDR desde una imagen de LDR recibida, es decir mediante el cual aunque también con una apariencia de HDR, se haya recibido una escena de HDR mediante metadatos que caracterizan funciones de transformación de color para derivar la imagen de apariencia de HDR recibida desde la imagen de apariencia de LDR recibida, únicamente se transmiten realmente los colores de píxel de LDR a un lado de recepción y se reciben;

La Figura 3 muestra una forma funcional del lado de codificación de un mapeo de luma inicial aproximado de tres segmentos típico para codificar LDR desde datos de color de píxel de imagen de HDR, donde la entrada puede ser por ejemplo en un dominio de luminancia lineal de HDR, y la salida (eje vertical) por ejemplo típicamente en un dominio de luma de LDR de raíz cuadrada de LDR;

La Figura 4 aclara con un par de ejemplos que los problemas técnicos y artísticos típicamente son con contenido de HDR que necesita ser visible en pantallas de rango dinámico inferior, incluso una base instalada de pantallas de SDR de 100 nits brillo pico (PB) heredadas; y

La Figura 5 aclara esquemáticamente un pequeño sistema de codificación de vídeo ejemplar adicionalmente que las realizaciones del aparato y método del solicitante pueden usar ventajosamente.

Descripción detallada de los dibujos

La Figura 1 muestra esquemáticamente una posible transformación de color de un sistema para codificar (al menos) dos imágenes graduadas (HDR, por ejemplo 5000 nits PB, y SDR LDR convencional con PB=100 nits) para representar en pantallas de rango dinámico considerablemente diferente (PB), y en particular una unidad de núcleo de transformación de color de las mismas. El experto lector entiende que este sistema puede residir tanto en un lado de creación de contenido, en el que el graduador humano hará los cálculos para comprobar en pantallas calibradas

5

10

15

20

25

30

35

40

45

50

55

60

65

lo que él realmente está haciendo cuando al mismo tiempo especifica de acuerdo con su gusto valores de parámetros óptimos de nuestras funciones de graduación en el kit de herramientas de función de codificación, y en un lado de recepción, donde el aparato puede estar incluido, por ejemplo, en un dispositivo de recepción de vídeo y procesamiento de color como un decodificador de salón, un reproductor de BD, o un ordenador o una pantalla de los mismos, o un sistema profesional en una sala de cine, etc.

Aclaramos que el lado de recepción, donde ya tenemos los datos que especifican las dos graduaciones (HDR y LDR, que pueden optimizarse adicionalmente por cálculos adicionales por cualquier pantalla de MDR de rango dinámico intermedio de por ejemplo PB = 800 nits).

Por lo que de acuerdo con nuestros principios de codificación novedosos, el aparato de recepción realmente tiene únicamente una imagen realmente codificada (por ejemplo de manera clásica en una codificación de HEVC de 10 bits, aunque de manera entendible es decodificable a una imagen normalizada [0,1]), ImJnJHDR, por ejemplo recibida en un disco de blu-ray, o mediante una conexión a Internet a un servidor de vídeo, o a través de un cable de HDMI desde algunos otros aparatos, etc. Esto a continuación tiene que calcularse en una graduación de LDR, por ejemplo puesto que una pantalla de LDR está conectada, y necesita la imagen de LDR correctamente graduada (por ejemplo el observador decide detener la visualización de la pantalla de HDR de su comedor pero puede continuar viéndola en la cama en su PC de teclado portátil).

Para poder hacer el procesamiento de color, el aparato de transformación de color también necesita los parámetros (CF) que especifican las funciones. El experto en la materia entiende que, por ejemplo, podría especificarse una parábola por un punto de inicio y punto de final, y una pendiente de inicio lineal y curvatura, etc.

Típicamente ambos del control de saturación del mapeo de HDR a LDR pueden verse implicados como también al menos un mapeo que afecta a las luminancias de los objetos de salida (aunque matemáticamente aplicamos típicamente ese mapeo de luminancia escalando de manera multiplicativa componentes de color de RGB lineales).

La Figura 2 muestra en más detalle cómo preferentemente se puede hacer esa re-graduación de luminancia.

Suponemos que las imágenes vienen en SDR, es decir Y'UV (o Y'CbCr) codificadas. Pueden convertirse a matriz a componentes de RGB escalados R'sG'sB's de los píxeles de imagen de entrada. Suponemos que estos están, por ejemplo, en el dominio de luma de raíz cuadrada (es decir los correspondientes componentes de color lineales surgirían elevando al cuadrado). La correspondiente luma Y'_LDR se divide fácilmente desde la representación de Y'UV. Estos valores R'sG'sB's son realmente alguna versión escalada de los finalmente a obtener componentes de color de HDR (R'o, G'o, B'o) que pueden observarse en la Figura 4B, en la que mostramos un color de ambas de las graduaciones de LDR y HDR en la misma luma de normalizada a máxima = 1,0 de gama de color de RGB (por ejemplo de Rec. 2020 primarios, etc.). Si la motocicleta debe representarse a la misma luminancia absoluta (5 nits) en una pantalla de LDR cuando se controla con la imagen de LDR como se haría en una pantalla de HDR cuando se controla con la imagen de HDR, que significa que su luma de LDR (relativa, normalizada a uno, o a 1023 para códigos de 10 bits) debe ser superior. Es decir, la transformación de color entre componentes de color R'o, G'o. B'o y R's, G's, B's, o viceversa, también corresponde a un escalamiento de sus luminancias o lumas respectivas correspondientes Y'_HDR respectivamente Y'_LDR, y que es lo que se realizará por el multiplicador 225. En algunas realizaciones los R's, G's, B's pueden calcularse directamente desde la representación de color Y'UV de entrada, aunque en otras realizaciones puede haber transformaciones de color adicionales implicadas para llegar a diferentes valores de R's, G's, B's, que se aplicarán por el transformador de color 223 (obsérvese que todas las partes de línea discontinua de las figuras son opcionales, no para las realizaciones más sencillas en el mercado, sino para algunas otras realizaciones). Esto puede aplicar un brillo adicional y/o ajuste preciso cromático, por ejemplo algún ajuste de apariencia, etc.

La unidad (277) de lectura a continuación suministra los datos para permitir que la unidad 202 de mapeo aproximado aplique la función apropiada que se usó para codificar el par de imágenes de apariencia HDR/LDR, es decir también cómo reconstruir la imagen de HDR desde la LDR recibida, por ejemplo puede pasar los parámetros, o suministrar la función como una LUT. A continuación se usa una luma escalada correctamente Y'o obtenida aplicando (al menos) el mapeo de curva de tres segmentos como un multiplicador de entrada, para multiplicar cada uno de los tres componentes de color escalados, produciendo el color de salida correcto, que puede transformarse adicionalmente en otra representación de color por la unidad 226 de formateo de color.

Una buena realización de la unidad (202) de mapeo aproximado aplicará una función como, por ejemplo, en la Figura 3. La posición del segmento parabólico puede determinarse codificando un valor de luma de inicio y fin, aunque la parábola puede codificarse también como una anchura de ella, como en la Figura 3. La entrada es, en este ejemplo no limitante, una luminancia de la representación de RGB lineal, en concreto u_HDR_in, y la salida TU_LDR_out es lo que puede, si se desea en un sistema de uso particular, ajustarse posteriormente de manera precisa por la curva conformada personalizada de la unidad 203, o se envía de otra manera al multiplicador para obtener el color de HDR correcto para este píxel que se está procesando.

5

10

15

20

25

30

35

40

45

50

55

60

65

En esta realización la curva de mapeo de tono de "parábola" básica consiste en 3 segmentos:

- un segmento oscuro a través de (0, 0), que se controla por la pendiente de parámetro bet o bg (ganancia de base)

- un segmento de brillo a través de (u_max, TU_max), con pendiente alph, o dg (ganancia diferencial)

- segmento de parábola que conecta los dos, con anchura xp (parábola de anchura x)

Sin la parábola, los 2 segmentos lineales se conectan en el punto

um = (TU_max - dg*u_max) / (bg - dg),

TUm = bg * um = TU_max - (u_max - um) * dg.

Hacemos una curva continuamente diferenciable añadiendo una parábola que se centra alrededor de este (um, TUm), y debe comenzar con la pendiente = bg y finalizar con la pendiente = dg. A partir del cálculo matemático obtenemos a continuación que únicamente queda 1 (de 3) grado de libertad: la anchura de la parábola xp.

Dependiendo de la anchura, el valor y para u = um cae de

TU = TUm para up = 0 a

TU = TUm - delta_TU = TU - up * (bg - dg) / 8.

Puede invertirse esta relación calculando desde delta_TU:

up = 8 * delta_TU / (bg - dg).

Por lo que típicamente puede iniciarse con up = 0, entonces obsérvese que la distancia máxima delta _TU se encuentra entre la curva curvada y la curva de mapeo de luminancia de referencia (representación de dispersión), y se calcula up a partir de esta.

Por lo que en esta realización la anchura (típicamente entre 0,0 y 1,0) del segmento parabólico será el tercer parámetro que especifica esta forma funcional que se comunica a cualquier aparato del lado de recepción, además de la pendiente de ganancia de base (por ejemplo con valores típicos entre 0,5 para imágenes brillantes y 1,0 para imágenes oscuras), y las entradas más luminosas varían la pendiente (típicamente entre 0,0 y 0,25).

En la Figura 4 observamos solamente dos ejemplos de las muchas posibles escenas de HDR que un sistema de HDR del futuro (por ejemplo conectado a una pantalla de 1000 nits PB) puede necesitar para manejar correctamente, es decir creando las luminancias apropiadas para todos los objetos/píxeles en la imagen, en la imagen a representarse finalmente en cualquier pantalla conectada o que se prevea que se conecte. Por ejemplo ImSCN1 es una imagen de exteriores soleada de una película de vaqueros que se desarrolla en Texas, y ImSCN2 es una imagen nocturna. Lo que hace que la imagen de HDR se represente diferente de cómo era siempre en la era de LDR que terminó hace poco (o realmente va a empezar a hacerlo en el mercado los próximos años), es que LDR tenía un rango dinámico limitado de este tipo (aproximadamente PB=100 nits, y nivel de negro +- 1 nits, o incluso superior en entorno de visualización más brillante debido a reflejos de pantalla), que en su mayoría podría mostrarse únicamente las reflectividades de los objetos (que podría caer entre el 90 % para buen blanco y el 1 % para buen negro). Por lo que se podían tener que mostrar los objetos independientes de su iluminación, y no podrían al mismo tiempo mostrar fidedignamente todas las iluminaciones muy bonitas en ocasiones con alto contraste de la escena que pudieran tener lugar. En la práctica eso significa que la escena soleada altamente brillante tendría que representarse como las mismas luminancias de visualización (0-100 nits) que una aburrida escena de día lluvioso. E incluso las escenas nocturnas no podrían representarse demasiado oscuras, o el espectador no podría discriminar bien las partes más oscuras de la imagen, por lo que de nuevo estos brillos nocturnos se representarían abarcando el rango entre 0 y 100 nits. Por lo que se tendría que colorear de manera convencional las escenas nocturnas a azul, de modo que el observador entendería que no estaba mirando una escena diurna. Ahora, por supuesto, la visión humana de la vida real también se adaptaría a la cantidad disponible de luz, pero no tanto (la mayoría de las personas en la vida real reconocen que está oscureciendo). Por lo que se podría representar las imágenes con todos los efectos de iluminación local espectaculares que se pueden diseñar en ellas de manera artística, al menos si se tiene una pantalla de HDR disponible.

Pero eso no cambia el hecho de que para algunas personas necesitaríamos aún que graduar de manera descendente una nueva película de HDR fantástica a la pantalla de LDR limitada (el rango de la cual se muestra, no exactamente a escala, a la derecha de la Figura 4).

Por lo que a la izquierda observamos qué luminancias de objeto nos gustaría observar en una graduación de HDR maestra de 5000 nits PB (es decir optimizada para representación en una pantalla de 5000 nits PB). Si deseamos transportar no solo una ilusión, sino una sensación real de que el vaquero está en un entorno iluminado brillante,

5

10

15

20

25

30

35

40

45

50

55

60

65

debemos especificar y representar sus luminancias alrededor de por ejemplo 500 nits. A partir de estos ejemplos en solitario podemos obtener ya una sensación de que encajando todos los objetos juntos en un rango de luminancia de LDR más pequeño no sería una cuestión de compresión sencilla (por ejemplo con una función lineal que mapea el HDR PB al LDR PB, y con ello todas las luminancias inferiores también). Por el contrario, proporcionamos dos ejemplos de diferentes clases de mapeo-comportamiento de luminancia. Para la escena diurna, si deseáramos calcular la imagen de HDR desde una imagen de LDR recibida, podríamos aplicar de hecho una función de estiramiento, que estira todas las luminancias de tal manera que en particular el vaquero se representaría alrededor de un gris medio de LDR de 18 nits que se mapea a 500 nits en HDR (es decir aproximadamente un aumento en brillo de 30 veces). Pero no se desearía hacer eso para la escena nocturna, o se haría ridículamente brillante en el monitor de HDR (realmente sumergiéndose en los detalles, puesto que algunos detalles específicos de imagen, el cerebro aún podría imaginar que está observando una escena nocturna incluso cuando tiene demasiado brillo, pero está lejos de ser lo ideal, si se desea una representación de HDR espectacular y de alta calidad, ahora se hace posible). Para este ImSCN2, se desea que todas las luminancias de todos los objetos oscuros en la noche sean las mismas en las dos pantallas (y todas las pantallas de PB intermedio). Más bien la luz del poste de luz, y tal vez la luna que se les da brillo a una luminancia mucho más brillante en la imagen de HDR. Por lo que la forma de la función de mapeo de luminancia será muy diferente. Se puede imaginar que si se tienen aspectos de estas dos imágenes arquetípicas juntas en una imagen, por ejemplo tomadas dentro de una caverna y se observa el exterior soleado a través de un pequeño orificio, se puede desear diseñar curvas de mapeo de luminancia complejas de hecho, para obtener ambas luminancias de objeto de LDR y HDR de acuerdo con el deseo artístico de cada uno. Cómo ocurrían típicamente tales situaciones en la era de LDR que simplemente se recortaba todo lo que estaba fuera de la cueva a blanco. O, dado que en la era de LDR solo se consideraba lo que la cámara capturaba como luminancias relativas, independientemente de su significado y lo que implicaría para su representación final en cualquier pantalla, algunas partes de la imagen a menudo se volvían demasiado oscuras. Por ejemplo, si alguien pasea a través del pasillo y observa el sol brillando, estos puntos iluminados por el sol parecen muy brillantes. Las otras partes del pasillo son relativamente más oscuras, pero eso no significa que la persona que pasee allí las vea algo más oscuras que lo normal (realmente, debido a la iluminación adicional incluso las partes en la sombra parecerán algo más brillantes que si el sol se moviera detrás de las nubes). Pero una representación de LDR que pone estos colores soleados cerca del blanco, puede representar únicamente las partes sombreadas del pasillo demasiado oscuras, puesto que de otra manera la única cosa que puede hacer en su rango limitado es representar las sombras a una luminancia razonable, pero entonces en clips de sol por encima del código de luma máximo, por ejemplo 255, respectivamente se representan a 100 nits.

Por lo que la representación de LDR óptima de una escena de este tipo es un problema de diseño complejo, pero ahora, al menos con las pantallas de HDR podríamos representar las partes soleadas realistas, es decir por encima de una cierta luminancia. Por ejemplo si el entorno de visualización corresponde aproximadamente a 200 nits, podemos representar las partes sombreadas de la imagen alrededor de 200 nits. Y podemos representar las partes iluminadas por el sol - dependiendo del PB de la pantalla - a por ejemplo 2000 nits. Incluso si eso no es siempre exactamente la misma cantidad relativa por encima de la luminancia de sombra que en la vida real, al menos parecerá mucho más realista que un pasillo que es mucho más oscuro, o que recortar.

Pero el lector entiende el porqué de toda esta complejidad, en particular las muchas clases de una imagen que se puede encontrar, y la enorme diferencia entre al menos algunos rangos de HDR de calidad superior (por ejemplo PB=10.000 nits) y el rango de SDR de 100 nits, solicitado para un sistema que permite la especificación precisa de los diversos colores de píxel y en particular sus luminancias. Y el solicitante, en particular, tiene la filosofía de que se debería permitir al creador del contenido influenciar en cómo cualquier otra imagen de rango dinámico se calculará a partir de la imagen o imágenes recibidas, al menos para aquellos que lo deseen, y hasta el punto que deseen hacerlo, y hasta el punto de que mínimamente necesiten especificarlo.

La Figura 5 muestra una posible incorporación de nuestro aparato (o método) de cambio de luminancia básico, en algún sistema completo típico o cadena para comunicación y consumo de imagen o imágenes de HDR. El experto en la materia entiende cómo, por ejemplo, un graduador puede usar componentes de UI para cambiar la forma de cualesquiera funciones, por ejemplo sus parámetros caracterizadores, de acuerdo con sus necesidades o deseos. Nos gustaría enfatizar que aunque aclararemos un ejemplo de modo-ii (en el que la imagen de LDR graduada de manera descendente desde la imagen de HDR maestra MAST_HDR que hizo el creador de contenido, por ejemplo desde sus capturas sin procesar, se comunica realmente, y a continuación en un lado de recepción cuando sea necesario se reconstruye a una aproximación cercana de la imagen de HDR MAST), las realizaciones de nuestro sistema y aparato pueden usarse también en una operación de modo-i, en la que la imagen de HDR MAST se comunica realmente, y el aparato aplica las luminancias graduando de manera descendente un receptor en caso de que sea necesaria una imagen de LDR para suministrar a una pantalla de SDR. Cada una de estas imágenes de LDR o HDR recibidas puede convertirse también a imágenes de diferente rango dinámico, por ejemplo 1499 nits PB. Y, las realizaciones del aparato pueden incorporarse también en unos aparatos del lado de creación, por ejemplo un codificador, por ejemplo para permitir que un graduador de color compruebe lo que ocurrirá en el lado de recepción, y cómo con las funciones dadas parecerá la imagen de LDR calculada desde el MAST HDR, y los aparatos y métodos pueden usarse también en transcodificadores en cualquier localización intermedia, por ejemplo, una cabina de visualización de un distribuidor de contenido local, etc.

5

10

15

20

25

30

35

40

45

50

55

60

65

Un codificador 501 de vídeo en este esquema ejemplar obtiene mediante una entrada 509 una imagen de entrada IM_IN, que por simplicidad de aclaración supondremos que es una graduación de HDR maestra ya creada artísticamente, pero puede ser también una imagen de HDR desde alguna fuente de imágenes sin procesar, que necesita procesarse en color mínimamente con poca interferencia en tiempo real, puede ser simplemente seleccionando un botón un par de veces durante la captura, etc.

Puede haber también procesamiento cromático implicado calculado en los colores de píxel por la unidad de procesamiento cromático, por ejemplo un cambio de saturación que reduce la saturación de modo que en la conversión de LDR a los clores más brillantes de, por ejemplo, una ventana de vidriera puede darse brillo adicional al empujarlos en la parte superior estrecha de la gama de color de LDR cerca del blanco, pero no explicaremos estos detalles. A continuación una unidad 503 de mapeo de luminancia hará las diversas cosas que hace cualquiera de nuestras realizaciones del aparato como se muestra en la Figura 2, por ejemplo una uniformización de luminancia y a continuación la curva de tres partes, y donde sea aplicable alguna función CC conformada de manera óptima, determinada para el conjunto de imágenes actual, y por ejemplo cargada por la interacción de interfaz de usuario o desde metadatos que codifican una función previamente determinada. Algunas realizaciones determinarán la forma de la curva de tres partes teniendo una unidad 566 de análisis de imagen que analiza las características de la imagen, tal como dónde son la mayoría de las luminancias de píxeles, el tamaño y la dispersión de los parches resaltados, etc. Un medio 508 de entrada de función puede entenderse por el lector como, por ejemplo, herramientas de graduación de color típicas, o una conexión a una base de datos que almacena al menos una función, o una conexión a un graduador humano remoto, etc. Entonces esta imagen intermedia IMED, que ahora en este ejemplo es una imagen de LDR con luminancias de píxel distribuidas a lo largo del rango 0-100 nits LDR y sus correspondientes lumas Rec. 709 (es decir, representándose Y'o UV), se codifica con tecnología de codificación de LDR heredada típica como, por ejemplo, HEVC mediante la unidad 505 de codificación de imagen o de vídeo. Esto se debe a que "parece" como una imagen de LDR normal, al menos para las siguientes tecnologías, como la tubería de distribución de imagen que atravesará, a pesar de codificar realmente una imagen de HDR de escena de HDR. Indicamos a cualquier receptor esto transmitiendo también las funciones de transformación de color (o sus funciones inversas) usadas para generar la imagen de LDR desde la imagen de HDR maestra, que indica al receptor no únicamente que él realmente recibe una imagen de HDR en lugar de una imagen de LDR normal, sino también que el receptor reconstruye una aproximación cercana de la imagen de HDR MAST, aplicando estas funciones inversas recibidas a la imagen o imágenes de LDR recibidas. Por lo que la imagen o vídeo codificado LDR_oenc realmente funciona como un vídeo de LDR normal para el resto del sistema, y recorrerá a través del mismo medio 510 de comunicación, que puede ser, por ejemplo, una difusión aérea, o una conexión a Internet, o una memoria física que se transporta a cualquier localización de consumidor o profesional (por ejemplo cine), etc.

En el extremo de recepción esta imagen de salida codificada (LDR_oenc) se vuelve una imagen o vídeo de entrada LDR_ienc (puede aún haber experimentado transformación adicional, pero suponemos por fines de explicación que es la misma imagen o imágenes en bucle a través). Deberíamos observar brevemente que si usamos un sistema de comunicación de HDR de modo-i en LDR_oenc, podemos haber usado una forma diferente de las funciones que en modo-ii, dando a la imagen diferentes brillos y estadísticas de objeto, pero ambas se codificarán, por ejemplo, por HEVC.

Un decodificador 550 de vídeo obtiene mediante su entrada 556 tanto las imágenes como los metadatos MET(F) que codifican las funciones, en particular la curva personalizada óptima que se eligió en el lado de creación, por ejemplo, por un graduador de color o alguna otra persona como un director técnico de una producción en directo, etc. Una unidad (555) de decodificación de imagen o de vídeo decodifica el vídeo de HEVC, y a continuación su color procesado por un mapeador 552 de luminancia que incorpora cualquiera de nuestras realizaciones del aparato o método (es decir aplicando la función de tres partes inversa apropiada para reconstruir la imagen de HDR, al menos de manera aproximada). Finalmente el REC_HDR graduado correctamente, por ejemplo, la imagen o imágenes de 5000 nits PB pueden enviarse a una pantalla 580, por ejemplo una pantalla de 5000 nits de manera ideal (en caso de desajuste de PB entre el contenido de HDR y la pantalla, este decodificador de vídeo, por ejemplo embebido en un STB puede ya visualizar-sintonizar la imagen mediante transformación de color apropiada a la pantalla de, por ejemplo 2500 nits PB necesaria, o la pantalla puede hacer eso internamente teniendo su propia versión de nuestros aparatos/métodos pensados). Por supuesto, si se ha de suministrar una pantalla de SDR 100 nits heredada con el contenido graduado apropiadamente, el decodificador 550 de vídeo puede suministrar una imagen de LDR LDR_rnd a ella, que en este ejemplo puede ser simplemente las imágenes de LDR recibidas del decodificador sin una necesidad de transformación de color adicional, pero en caso de recibir imágenes de HDR en contenedores de HEVC de LDR, el decodificador 550 de vídeo haría aún una gradación de manera descendente apropiada de acuerdo con cualquiera de nuestras realizaciones del aparato/método.

Los componentes algorítmicos desvelados en este texto pueden realizarse (completamente o en parte) en la práctica como hardware (por ejemplo partes de un CI específico de aplicación) o como software que se ejecuta en un procesador de señales digitales especial, o un procesador genérico, etc. Pueden ser semiautomáticos en el sentido que al menos alguna entrada de usuario puede estar/haber estado (por ejemplo en fábrica, o introducida por consumidor, u otra entrada humana) presente.

5

10

15

20

25

30

35

40

45

50

55

Debería ser entendible para el experto en la materia a partir de nuestra presentación qué componentes pueden ser mejoras opcionales y pueden realizarse en combinación con otros componentes, y cómo las etapas (opcionales) de los métodos corresponden a respectivos medios de aparatos, y viceversa. El hecho de que algunos componentes se desvelan en la invención en una cierta relación (por ejemplo en una única figura en una cierta configuración) no significa que no sean posibles otras configuraciones como realizaciones bajo el mismo pensamiento inventivo según se desvelan para patentar en el presente documento. También, el hecho de que por razones pragmáticas únicamente se haya descrito un espectro limitado de ejemplos, no significa que otras variantes no puedan caer bajo el alcance de las reivindicaciones. De hecho, los componentes de la invención pueden realizarse en diferentes variantes junto con cualquier cadena de uso, por ejemplo todas las variantes de un lado de creación como un codificador pueden ser similares como, o corresponder a aparatos correspondientes en un lado de consumo de un sistema descompuesto, por ejemplo un decodificador y viceversa. Varios componentes de las realizaciones pueden codificarse como datos de señal específicos en una señal para transmisión, o uso adicional tal como coordinación, en cualquier tecnología de transmisión entre codificador y decodificador, etc. La palabra "aparato" en esta solicitud se usa en su sentido más amplio, en concreto un grupo de medios que permiten la realización de un objetivo particular, y puede ser, por ejemplo (una pequeña parte de) un CI, o un dispositivo especializado (tal como un dispositivo con una pantalla), o parte de un sistema en red, etc. "Disposición" o "sistema" también se pretende que se use en el sentido más amplio, por lo que puede comprender entre otros, un único aparato comprable físico único, una parte de un aparato, una colección de (partes de) aparatos cooperativos, etc.

La indicación de producto de programa informático debería entenderse que abarca cualquier realización física de una colección de comandos que posibilitan que un procesador genérico o de fin especial, después de una serie de etapas de carga (que pueden incluir etapas de conversión intermedias, tales como traducción a un lenguaje intermedio, y un lenguaje de procesador final) introduzca los comandos en el procesador, para ejecutar cualquiera de las funciones características de una invención. En particular, el producto de programa informático puede realizarse como datos en un soporte tal como, por ejemplo un disco o cinta, datos presentes en una memoria, datos que viajan mediante una conexión de red -alámbrica o inalámbrica-, o código de programa en papel. Aparte del código de programa, los datos característicos requeridos por el programa pueden realizarse también como un producto de programa informático. Tales datos pueden suministrarse (parcialmente) de cualquier manera.

La invención o cualquier dato usable de acuerdo con cualquier filosofía de las presentes realizaciones como datos de vídeo, puede usarse como señales en soportes de datos, que pueden ser memorias extraíbles como discos ópticos, memorias flash, discos duros extraíbles, dispositivos portátiles escribibles mediante medios inalámbricos, etc.

Algunas de las etapas requeridas para la operación de cualquier método presentado pueden estar ya presentes en la funcionalidad del procesador o cualesquiera realizaciones del aparato de la invención en lugar estar descritas en el producto de programa informático o cualesquiera unidades, aparatos o métodos descritos en el presente documento (con detalles específicos de las realizaciones de la invención), tales como etapas de entrada y salida de datos, típicamente etapas de procesamiento bien conocidas incorporadas tales como control de visualización convencional, etc. También deseamos protección de los productos resultantes y similares resultantes, como por ejemplo las señales novedosas específicas implicadas en cualquier etapa de los métodos o en cualquier subparte de los aparatos, así como cualesquiera nuevos usos de tales señales, o cualesquiera métodos relacionados.

Debería observarse que las realizaciones anteriormente mencionadas ilustran en lugar de limitar la invención. Donde el experto en la materia pueda realizar fácilmente un mapeo de los ejemplos presentados a otras regiones de las reivindicaciones, no hemos mencionado por claridad todas estas opciones en profundidad. Aparte de las combinaciones de elementos de la invención según se combinan en las reivindicaciones, son posibles otras combinaciones de los elementos. Cualquier combinación de elementos puede realizarse en un único elemento especializado.

Cualquier signo de referencia entre paréntesis en la reivindicación no se pretende para limitar la reivindicación, ni es algún símbolo particular en los dibujos. La expresión "que comprende" no excluye la presencia de elementos o aspectos no enumerados en una reivindicación. La palabra "un" o "una" que precede un elemento no excluye la presencia de una pluralidad de tales elementos.

Claims

5

10

15

20

25

30

35

40

45

50

55

60

65

REIVINDICACIONES

1. Un decodificador (250) de vídeo de HDR que comprende un aparato (200) de procesamiento de color de imagen dispuesto para transformar un color de entrada (Y'UV_LDR) de un pixel de una imagen de entrada (Im_in), imagen de entrada que tiene un primer rango dinámico de luminancia (DR_1), en un color de salida de componente de color rojo, verde y azul (R'o, G'o, B'o) de un pixel de una imagen de salida (Im res; REC_HDR), imagen de salida que tiene un segundo rango dinámico de luminancia (DR_2), mediante el cual la luminancia pico del primer rango dinámico es al menos 2 veces inferior que la luminancia pico del segundo rango dinámico o viceversa, que comprende una unidad (202; 552) de mapeo aproximado dispuesta para aplicar una curva de re-gradación de brillo de tres segmentos que consiste en un segmento lineal para un sub-rango oscuro (SR_d) del rango de lumas de los colores de imagen de entrada que comprende los valores de luma de entrada más oscuros, que se determina por una variable de pendiente (InvBet), un segundo segmento lineal para los valores de luma de entrada más luminosos en un sub-rango de brillo (SR_br), que se controla por una segunda variable de pendiente (InvAlph), y un segmento parabólico entre los dos segmentos lineales.
2. Un decodificador (250) de vídeo de HDR de acuerdo con la reivindicación 1, en el que el aparato (200) de procesamiento de color de imagen está dispuesto para aplicar la curva de tres segmentos a lumas de bajo rango dinámico (Y'_LDR).
3. Un decodificador (250) de vídeo de HDR de acuerdo con una de las reivindicaciones anteriores, en el que el aparato (200) de procesamiento de color de imagen está dispuesto para producir como resultado de aplicar la curva de tres segmentos una luma de salida (Y'o) que está relacionada con la luminancia del color que es el resultado de salida de aplicar la curva de tres segmentos al color de entrada por una función de potencia con una potencia 1/N, en la que N es preferentemente 2.
4. Un decodificador (250) de vídeo de HDR de acuerdo con una de las reivindicaciones anteriores, en el que el aparato (200) de procesamiento de color de imagen está dispuesto para determinar el color de salida comprendiendo un multiplicador (225) dispuesto para aplicar una multiplicación con, como un factor multiplicativo la luma de salida (Y'o), a una representación de color preferentemente no lineal (R's, G's, B's) del color del píxel actualmente procesado.
5. Un decodificador (250) de vídeo de HDR de acuerdo con una de las reivindicaciones anteriores, en el que el aparato (200) de procesamiento de color de imagen está dispuesto para obtener la representación de color no lineal (R's, G's, B's) que se define técnicamente a partir de componentes de color R,G,B lineales por una función no lineal, que está cerca en forma a una función de raíz cuadrada, y que es preferentemente una función de potencia con una potencia 1/N con N un valor entero.
6. Un decodificador (250) de vídeo de HDR de acuerdo con una de las reivindicaciones anteriores, que comprende una unidad (277) de lectura dispuesta para leer desde metadatos recibidos la primera y segunda variables de pendiente, y dispuesta para suministrarlas a la unidad (202; 552) de mapeo aproximado.
7. Un decodificador (250) de vídeo de HDR de acuerdo con una de las reivindicaciones anteriores, en el que la unidad (277) de lectura está dispuesta adicionalmente para leer una anchura de una región parabólica (W_par) entre los dos segmentos lineales desde metadatos recibidos, y dispuesta para suministrarla a la unidad (202; 552) de mapeo aproximado.
8. Un método de decodificación de vídeo para producir un decodificador de vídeo de HDR de imágenes consecutivas, que comprende aplicar una curva de re-gradación de brillo de tres segmentos que consiste en un segmento lineal para un sub-rango oscuro (SR_d) del rango de lumas de los colores de imagen de entrada que comprenden los valores de luma de entrada más oscuros, que se determina por una variable de pendiente (InvBet), un segundo segmento lineal para los valores de luma de entrada más luminosos en un sub-rango de brillo (SR_br), que se controla por una segunda variable de pendiente (InvAlph), y un segmento parabólico entre los dos segmentos lineales, que produce una luma de salida (Y'o) a suministrarse a una multiplicación con una representación preferentemente de color de RGB no lineal (R's,G's'B's) del color de entrada que es color transformado.
9. Un codificador (501) de vídeo de HDR que comprende un aparato (200) de procesamiento de color de imagen dispuesto para transformar un color de entrada de un pixel de una imagen de entrada (Im_in), imagen de entrada que tiene un segundo rango dinámico de luminancia (DR_2), en un color de salida (Y'oUV) de un pixel de una imagen de salida (IMED), imagen de salida que tiene un primer rango dinámico de luminancia (DR_1), mediante el cual la luminancia pico del primer rango dinámico es al menos 2 veces inferior que la luminancia pico del segundo rango dinámico o viceversa, que comprende una unidad (503) de mapeo aproximado dispuesta para aplicar una curva de re-gradación de brillo de tres segmentos que consiste en un segmento lineal para un sub-rango oscuro (SR_d) del rango de lumas de los colores de imagen de entrada que comprende los valores de luminancia de entrada más oscuros, que se determina por una variable de pendiente (InvBet), un segundo segmento lineal para los valores de luma de entrada más luminosos en un sub-rango de brillo (SR_br), que se controla por una segunda variable de pendiente (InvAlph), y un segmento parabólico entre los dos segmentos lineales.

5

10

15

20

25

30

35
10. Un codificador (501) de vídeo de HDR de acuerdo con cualquiera de las reivindicaciones del codificador anteriores, en el que el aparato (200) de procesamiento de color de imagen está dispuesto para aplicar la curva de tres segmentos a una representación de color del color de entrada que está en un dominio no lineal, caracterizado por que sus componentes de color se definen por funciones no lineales basándose en componentes de color aditivos rojo, verde y azul lineales.
11. Un codificador (501) de vídeo de HDR de acuerdo con la reivindicación 9, en el que el aparato (200) de procesamiento de color de imagen está dispuesto para aplicar la curva de tres segmentos a una representación del color de entrada rojo, verde y azul lineal.
12. Un codificador (501) de vídeo de HDR de acuerdo con cualquiera de las reivindicaciones del codificador anteriores, en el que el aparato (200) de procesamiento de color de imagen está dispuesto para determinar el color de salida en una representación que comprende una luma no lineal (Y'o) que está relacionada con la luminancia del color de salida por una función no lineal.
13. Un codificador (501) de vídeo de HDR de acuerdo con cualquiera de las reivindicaciones del codificador anteriores, en el que el aparato (200) de procesamiento de color de imagen está dispuesto para determinar el color de salida en una representación definida por una codificación de vídeo de rango dinámico convencional, caracterizado por que el componente de color de luma de salida (Y'o) se define por una función de transferencia opto-eléctrica Rec. 709 o una raíz cuadrada.
14. Un método de codificación de vídeo de HDR, que produce un conjunto de imágenes de HDR codificadas en imágenes de bajo rango dinámico, que comprende transformar un color de entrada de un pixel de una imagen de entrada (Im_in), imagen de entrada que tiene un segundo rango dinámico de luminancia (DR_2), en un color de salida (Y'UV) de un pixel de una imagen de salida (IMED), imagen de salida que tiene un primer rango dinámico de luminancia (DR_1), mediante el cual la luminancia pico del primer rango dinámico es al menos 2 veces inferior que la luminancia pico del segundo rango dinámico o viceversa, que comprende aplicar una curva de re-gradación de brillo de tres segmentos que consiste en un segmento lineal para un sub-rango oscuro (SR_d) del rango de lumas de los colores de imagen de entrada que comprende los valores de luma de entrada más oscuros, que se determina por una variable de pendiente (InvBet), un segundo segmento lineal para los valores de luma de entrada más luminosos en un sub-rango de brillo (SR_br), que se controla por una segunda variable de pendiente (InvAlph), y un segmento parabólico entre los dos segmentos lineales.
15. Una memoria legible por ordenador que comprende código que cuando se ejecuta por un procesador aplicará todas las etapas según se definen en cualquiera de las reivindicaciones del método anteriores.