ES2951773T3 - Codificación y decodificación de vídeos HDR - Google Patents

Codificación y decodificación de vídeos HDR Download PDF

Info

Publication number
ES2951773T3
ES2951773T3 ES17710008T ES17710008T ES2951773T3 ES 2951773 T3 ES2951773 T3 ES 2951773T3 ES 17710008 T ES17710008 T ES 17710008T ES 17710008 T ES17710008 T ES 17710008T ES 2951773 T3 ES2951773 T3 ES 2951773T3
Authority
ES
Spain
Prior art keywords
luminance
hdr
luma
image
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES17710008T
Other languages
English (en)
Inventor
Johannes Tichelaar
Mourik Johannes Van
Jeroen Stessen
Roeland Goris
Mark Mertens
Patrick Vandewalle
Rutger Nijland
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Priority claimed from PCT/EP2017/056055 external-priority patent/WO2017157977A1/en
Application granted granted Critical
Publication of ES2951773T3 publication Critical patent/ES2951773T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Picture Signal Circuits (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

Para permitir una comunicación de vídeo HDR de alta calidad, que puede funcionar enviando imágenes LDR correspondientes potencialmente a través de tecnologías de comunicación de vídeo LDR establecidas, que funcionan bien en situaciones prácticas, el solicitante ha inventado un decodificador de vídeo HDR (600, 1100) dispuesto para calcular una imagen HDR. (Im_RHDR) basado en aplicar a una imagen de rango dinámico estándar de 100 nit recibida (Im_RLDR) un conjunto de funciones de transformación de luminancia 5, comprendiendo las funciones al menos un mapeo de luminancia aproximado (FC), que se aplica mediante un optimizador de rango dinámico (603) y un mapeo del valor más oscuro (0) de una luma intermedia (Y'HPS), que es emitido por el optimizador de rango dinámico, a un valor de compensación de negro recibido (Bk_off) mediante un extensor de rango (604), comprendiendo el decodificador de video un limitador de ganancia (611, 1105) dispuesto para aplicar una función de transformación de luminancia alternativa para calcular un subconjunto (502) de las luminancias más oscuras de la imagen HDR, a partir de las luminancias más oscuras correspondientes (Y'_in) de la imagen de rango dinámico estándar. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Codificación y decodificación de vídeos HDR
Campo de la invención
La invención se refiere a procedimientos y aparatos para codificar y decodificar respectivamente un conjunto temporalmente sucesivo de imágenes de alto rango dinámico, denominado en la presente memoria vídeo HDR. Antecedentes de la invención
Hasta hace un par de años, todo el vídeo se codificaba de acuerdo con la filosofía del llamado bajo rango dinámico (LDR), también llamado rango dinámico estándar (SDR). Esto significa que, cualquiera que sea la escena capturada, el máximo del código (típicamente luma de 8 bits Y'=255; o 100 % de tensión para la conducción de pantallas analógicas) debería corresponder por definición estándar, es decir, renderizarse en una pantalla con un pico de brillo PB (es decir, el color blanco más brillante que puede representar) que sea, por acuerdo estándar, 100 nit. Si la gente compraba una pantalla real que era un poco más oscura o más brillante, se suponía que el sistema visual del espectador se adaptaría de modo que la imagen todavía pareciera apropiada e incluso igual que en la pantalla de referencia de 100 nit, en lugar de, por ejemplo, demasiado brillante (en caso de que se tenga, por ejemplo, una escena nocturna en una película de terror que debería tener un aspecto oscuro).
Por supuesto, para la realización práctica de programas esto significaba típicamente mantener un control estricto de la configuración de la iluminación de la escena, ya que incluso con una iluminación perfectamente uniforme, el porcentaje de reflexión difusa de varios objetos ya puede dar una relación de contraste de 100:1. El negro de tal una pantalla SDR puede ser típicamente de 0,1 nit en buenas circunstancias, pero de 1 nit o incluso varios nits en las peores circunstancias, por lo que el rango dinámico de la pantalla SDR (el blanco más brillante dividido por el negro más oscuro visible) sería 1.000:1 en lo mejor o lo peor, lo que se corresponde muy bien a tales escenas iluminadas uniformemente, y una codificación de 8 bits para todos los valores de gris o brillos de los píxeles que se requieren renderizar, que tienen una gamma de aproximadamente 2,0, o una gamma inversa de codificación de 0,5. Rec. 709 era la codificación de vídeo SDR típicamente usada. Típicamente, las cámaras también tenían problemas para capturar simultáneamente tanto regiones muy brillantes como más bien oscuras, es decir, una escena vista fuera de una ventana o en la ventanilla de un automóvil se recortaría típicamente a blanco (dando componentes de color aditivos rojo, verde y azul R=G=B=máx., correspondientes a sus valores codificados de raíz cuadrada R -G -B -255). Obsérvese que si en la presente solicitud un rango dinámico se especifica primero solo con un pico de brillo (es decir, la luminancia más brillante renderizada o renderizable), se supone que el valor de luminancia más bajo es pragmáticamente cero (mientras que en la práctica puede depender de las condiciones de visualización, tal como la placa frontal de la pantalla o la reflexión de la luz de la pantalla de cine, por ejemplo, 0,1 nit), y que esos detalles adicionales son irrelevantes para la explicación particular. Obsérvese también que hay varias maneras de definir un rango dinámico, y que la más natural que se usa típicamente en las explicaciones a continuación es un rango dinámico de luminancia renderizado en pantalla, es decir, la luminancia del color más brillante frente a la del más oscuro.
Obsérvese también, algo que se ha vuelto más claro durante la investigación HDR, y que se menciona aquí para asegurarse de que todos lo comprenden, que un sistema de código en sí mismo no tiene de manera nativa un rango dinámico, a menos que uno le asocie una pantalla de referencia, lo que establece que, por ejemplo, R -G -B -Y -255 debería corresponder con un PB de 100 nit, o alternativamente 1.000 nit, etc. En particular, contrariamente a lo que generalmente se presupone, el número de bits usados para los componentes de color de los píxeles, como sus lumas, no es un buen indicador del rango dinámico, ya que, por ejemplo, un sistema de codificación de 10 bits puede codificar o bien un vídeo HDR, o un vídeo SDR, determinado por el tipo de codificación, y en particular la función de transferencia electro-óptica EOTF de la pantalla de referencia asociada con la codificación, es decir, la que define la relación entre los códigos luma [0, 1023] y las luminancias correspondientes de los píxeles, a medida que necesitan renderizarse en una pantalla.
En este texto se supone que cuando se menciona una imagen o un vídeo HDR, tiene un pico de brillo correspondiente o una luminancia máxima para el código luma más alto (o equivalentemente los valores R', G', B' más altos en el caso de una codificación RGB, por ejemplo en lugar de una codificación YCbCr) que es más alto que el valor SDR de 100 nit, típicamente al menos 4 veces más alto, es decir, la luminancia de visualización máxima a renderizar para que la imagen HDR tenga una apariencia óptima puede ser, por ejemplo, 1.000 nit, 5.000 nit o 10.000 nit (obsérvese que esto no debe confundirse con el concepto complejo a primera vista que se detallará a continuación de que se puede codificar tal una imagen o vídeo HDR como una imagen o vídeo SDR, en cuyo caso la imagen es renderizable en una pantalla de 100 nit, pero, lo que es más importante, también contiene toda la información -cuando tiene metadatos asociados correspondientes que codifican una transformación de color para recuperar la imagen HDR- para crear una imagen HDR con un PB de, por ejemplo, 1.000 nit!).
Por lo tanto, una codificación de alto rango dinámico de una imagen de alto rango dinámico es capaz de codificar imágenes con luminancias a renderizar de, por ejemplo, hasta 1.000 nit, para poder mostrar-renderizar HDR de buena calidad, con, por ejemplo, explosiones brillantes en comparación con la escena renderizable circundante, o relucientes superficies de metal brillantes, etc.
En la práctica, hay escenas en el mundo que pueden tener un rango dinámico muy alto (por ejemplo, una captura en interiores con objetos tan oscuros como 1 nit, mientras que simultáneamente se ven a través de la ventana exterior objetos iluminados por el sol con luminancias superiores a 10.000 nit, lo que da un 10.000:1, que es 10 veces más grande que un DR de 1.000:1 e incluso 100 veces más grande que un rango dinámico de 100:1 y, por ejemplo, el visionado de televisión puede tener un DR de menos de 30:1 en algunas situaciones típicas, por ejemplo, el visionado a la luz del día). Dado que las pantallas son cada vez mejores (un par de veces más brillante de PB que 100 nit, con 1.000 nit apareciendo actualmente, y varios miles de nits de PB previstos), un objetivo es ser capaz de renderizar estas imágenes bellamente, y aunque no sean exactamente idénticas a el original debido a factores tales como diferentes condiciones de visualización, al menos muy natural, o al menos agradables. Y esto necesita lo que faltaba en la era de la codificación de vídeo SDR: una buena tecnología pragmática de codificación de vídeo HDR.
El lector también debe comprender que debido a que un espectador típicamente ve el contenido en una situación diferente (por ejemplo, sentado en una sala de estar con poca luz por la noche, o en una casa oscura o en una sala de cine, en lugar de estar realmente de pie en el brillante paisaje africano capturado), no hay identidad entre las luminancias de la escena y las que finalmente se renderizan en el televisor (u otra pantalla). Esto puede manejarse, entre otras cosas, al hacer que un graduador de color humano decida manualmente sobre los colores óptimos en la codificación DR disponible, es decir, de la pantalla de referencia asociada, por ejemplo, al prescribir que el sol en la escena debe representarse en la imagen a 5.000 nit (en lugar de su valor real de 1.000 millones de nit). Alternativamente, los algoritmos automáticos pueden hacer tal conversión, por ejemplo, una captura de cámara en bruto a lo que en el texto se denominará (genéricamente) una graduación (maestra) HDR. Esto significa que se puede renderizar esta graduación maestra en una pantalla HDR con PB de 5.000 nit, en aquellas ubicaciones donde esté disponible.
Al mismo tiempo, sin embargo, en los próximos años habrá una gran base instalada de personas que tienen una pantalla SDR heredada con PB de 100 nit, o alguna pantalla que no puede hacer 5.000 nit blanco, por ejemplo, porque es portátil, y esas personas necesitan ser capaces de ver la película HDR también. Por lo tanto, se necesita tener algún mecanismo para convertir de una imagen HDR de 5.000 nit a una imagen SDR de 100 nit de la misma escena.
La Figura 1 muestra un par de ejemplos ilustrativos de las muchas escenas HDR posibles que un sistema HDR del futuro (por ejemplo, conectado a una pantalla con PB de 1.000 nit) puede necesitar ser capaz de manejar correctamente, es decir, mediante la renderización de las luminancias apropiadas para todos los objetos/píxeles en la imagen. Por ejemplo: ImSCN1 es una imagen exterior soleada de una película del oeste, mientras que ImSCN2 es una imagen nocturna. Lo que hace que la renderización de imágenes h Dr sea diferente de cómo siempre fue en la era LDR que terminó hace solo un par de años, es que LDR tenía un rango dinámico tan limitado (alrededor de PB = 100 nit y nivel de negro - 0,1 a 1 nit ), que en su mayoría solo se podían mostrar las reflectividades de los objetos (que caerían entre el 90 % para un buen blanco y el 1 % para un buen negro). Por lo tanto tenía que mostrar los objetos independientemente de su iluminación, y al mismo tiempo no podía mostrar fielmente todas las iluminaciones a veces muy contrastadas de la escena que podían darse. En la práctica, eso significaba que la escena soleada muy brillante tenía que renderizarse con aproximadamente las mismas luminancias de pantalla (0­ 100 nit) que una escena aburrida de día lluvioso. E incluso las escenas nocturnas no podrían renderizarse demasiado oscuras, o el espectador no sería capaz de discriminar bien las partes más oscuras de la imagen, por lo que de nuevo esos brillos nocturnos se representarían abarcando un rango entre 0 y 100 nit. Por lo tanto tenía que colorear convencionalmente de azul las escenas nocturnas, de modo que el espectador comprendiera que no estaba viendo una escena diurna. Ahora, por supuesto, en la vida real, la visión humana también se adaptaría a la cantidad de luz disponible, pero no tanto (la mayoría de las personas en la vida real reconocen que está oscureciendo). Por lo tanto, a uno le gustaría renderizar las imágenes con todos los espectaculares efectos de iluminación local que se pueden diseñar artísticamente, para conseguir imágenes renderizadas mucho más realistas, al menos si uno tiene una pantalla HDR disponible.
Por lo tanto, en el eje izquierdo de la Figura 1, están las luminancias de los objetos como a uno le gustaría verlas en una graduación HDR maestra con PB de 5.000 nit para una pantalla con PB de 5.000 nit. Si se quiere transmitir no solo una ilusión, sino una sensación real de que el vaquero se encuentra en un entorno brillante iluminado por el sol, se debe especificar y renderizar esas luminancias de píxeles suficientemente brillantes (aunque tampoco demasiado), alrededor de, por ejemplo, 500 nit. Para la escena nocturna, se quiere luminancias oscuras en su mayoría, pero el personaje principal de la motocicleta debe ser bien reconocible, es decir, no demasiado oscuro (por ejemplo, alrededor de 5 nit), y al mismo tiempo puede haber píxeles de luminancia bastante alta, por ejemplo, de las farolas, por ejemplo, alrededor de 3.000 nit en una pantalla de 5.000 nit, o alrededor del pico de brillo en cualquier pantalla HDR (por ejemplo, 1.000 nit). El tercer ejemplo, ImSCN3, muestra lo que ahora también es posible en las pantallas HDR: uno puede renderizar simultáneamente píxeles muy brillantes y muy oscuros. Se ve una cueva oscura, con una pequeña abertura a través de la cual se ve el exterior soleado. Para esta escena, es posible que se desee hacer que los objetos iluminados por el sol, como el árbol, sean algo menos brillantes que en una escena que quiere dar la impresión de un paisaje soleado y brillante, por ejemplo, alrededor de 400 nit, que debería estar más coordinado con el carácter esencialmente oscuro del interior de la cueva. Un graduador de color puede querer coordinar óptimamente las luminancias de todos los objetos, de modo que nada parezca inapropiadamente oscuro o brillante y el contraste sea bueno, por ejemplo, la persona que está de pie en la oscuridad en esta cueva puede codificarse en la imagen HDR maestra graduada alrededor de 0,05 nit (si se supone que los renderizados HDR no solo son capaces de renderizar reflejos brillantes, sino también regiones oscuras).
Puede comprenderse que no siempre será una tarea trivial mapear todas las luminancias del objeto para todos estos tipos muy diferentes de escenas HDR a las luminancias óptimas disponibles en el rango dinámico SDR o LDR (DR_1) mucho más pequeño que se muestra a la derecha de la Figura 1, razón por la cual, preferentemente, un graduador de color humano puede estar involucrado para determinar la transformación de color (que comprende al menos una transformación de luminancia, o transformación de luma cuando se realiza de manera equivalente en los códigos de luma). Sin embargo, siempre se puede elegir usar transformaciones determinadas automáticamente, por ejemplo, en base al análisis de las propiedades de color del contenido de la imagen, tal como su histograma de luminancia, y esto puede, por ejemplo, ser una opción preferida para tipos más simples de vídeo HDR, o aplicaciones donde la graduación humana es menos preferida, por ejemplo, como en la producción de contenidos en tiempo real (en esta patente se supone que, sin limitación, la graduación también podría implicar la configuración rápida de algunos parámetros de la función de transformación de color, por ejemplo, para toda la producción rápidamente antes del inicio de la captura).
El solicitante ha diseñado un sistema de codificación, que no solo puede manejar la comunicación (codificación) de solamente un único vídeo HDR estandarizado, para un único tipo típico de pantalla en el campo (con cada espectador final que tiene, por ejemplo, una pantalla con PB de 1.000 nit), sino que al mismo tiempo puede comunicar y manejar los vídeos que tienen una apariencia óptima para varios otros tipos de pantallas posibles con varios otros picos de brillo en el campo, en particular la imagen SDR para una pantalla SDR con PB de 100 nit.
Codificar solo un conjunto de imágenes HDR, es decir, con la apariencia correcta, es decir, las luminancias de objetos de imagen para una renderización en, digamos, un monitor HDR de 1.000 nit, por ejemplo, un MPEG heredado de 10 bits o una tecnología de codificación de vídeo similar, no es tan difícil. Solo es necesario establecer una OETF (función de transferencia optoelectrónica) óptima para el nuevo tipo de imagen con un rango dinámico considerablemente mayor, específicamente, una que no muestre bandas en las muchas regiones relativamente oscuras en comparación con el blanco, y luego calcular los códigos de luma para todas las luminancias de los píxeles/objetos.
Sin embargo, el solicitante diseñó un sistema que es capaz de comunicar imágenes HDR realmente como imágenes LDR, es decir, realmente se comunican imágenes LDR (o más precisamente SDR, rango dinámico estándar con el que nos referimos a una codificación heredada basada en Rec. 709 referida a una pantalla de referencia con PB de 100 nit y, a menudo, con una graduación de color óptima en tal pantalla de referencia), que entonces ya se pueden usar inmediatamente para renderizar la apariencia SDR correcta en pantallas SDR heredadas con PB de 100 nit. Para ello, se define un conjunto de funciones de transformación de color reversibles apropiadas F_ct, como se ilustra con la Figura 2. Estas funciones pueden definirse por un graduador de color humano, para conseguir una imagen SDR de apariencia razonable (Im_LDR) correspondiente a la imagen maestra HDR MAST_HDR, mientras que al mismo tiempo garantiza que mediante el uso de las funciones inversas IF_ct la imagen HDR maestra original (MAST_HDR) puede reconstruirse con suficiente precisión como una imagen HDR reconstruida (Im_RHDR), o pueden usarse algoritmos de análisis automático en el lado de la creación de contenido para la determinación adecuada de tales funciones de transformación de color F_ct. Se supondrá, a menos que las enseñanzas necesiten aclaraciones más específicas, que se usan un par de funciones estándar en el lado de la creación, por ejemplo, un mapeo inicial de HDR-a-SDR en forma de loggamma como en el documento WO2015007505 (por ejemplo, con la forma específica de la función que se elige según la distancia entre el lóbulo de los colores más brillantes (véanse las lámparas) en la imagen HDR y el lóbulo de los colores promedio (dígase, por ejemplo, una vista de la ciudad al atardecer)), y donde sea útil una curva adicional por ejemplo de 3 partes, ajusta al menos una de las subregiones más oscuras de los colores, o el medio o el más brillante, por ejemplo, sin limitación, solamente para aclaración, se supone que un algoritmo detector de caras en el lado de la creación puede determinar un parámetro de esa función que controla la pendiente oscura en caso de que haya al menos una cara en la oscuridad. O algunas realizaciones serán aclaradas con el ejemplo en el que ya se dispone de dos imágenes graduadas (para un instante de tiempo de la película o del contenido de vídeo en general) en el lado de la creación antes de codificar esas dos como una imagen a comunicar de acuerdo con los principios de la presente invención, sin limitación para la comprensión, se supondrá que son una imagen HDR (por ejemplo, con una codificación de 1.000 nit de pico de brillo PB_C, es decir, la luminancia blanca más brillante que puede codificarse con esa representación de color de esa codificación elegida), y una imagen SDR (PB_C de 100 nit), ambas graduadas previamente por un graduador de color humano. Obsérvese que en lugar de depender de un lado receptor para invertir las funciones F_ct en IF_ct, también se pueden enviar ya las funciones necesarias para calcular Im_RHDR a partir de la imagen SDR Im_RLDR recibida y decodificada. Entonces, lo que hacen realmente las funciones de transformación de color es cambiar las luminancias del píxel en una imagen HDR (MAST_HDR) en luminancias LDR, es decir, la compresión óptima de luminancia como se muestra en la Figura 1 para ajustar todas las luminancias en el rango dinámico LDR Dr_1 con PC de 100 nit. El solicitante ha inventado un procedimiento que puede mantener constantes las cromaticidades de los colores, al cambiar eficazmente solo sus luminancias, como se aclarará a continuación.
Una cadena de codificación típica, como se muestra en la Figura 2, trabaja como sigue. Alguna fuente de imagen 201, que puede ser, por ejemplo, un ordenador de graduación que da una imagen con graduación óptima, o una cámara que da una imagen de salida HDR, suministra una imagen HDR maestra MAST_HDR, para que se transforme el color y se codifique. Un transformador de color 202 aplica una transformación de color determinada, por ejemplo, una función de flexión cóncava, que por simplicidad de aclaración, se supondrá que es una función gamma con un coeficiente gam = 1/k y k un número mayor que 2,0. Por supuesto, pueden emplearse funciones de mapeo de luminancia más complejas, con la condición de que sean suficientemente reversibles, es decir, la imagen Im_RHDR tiene bandas insignificantes o aceptables. Al aplicar estas funciones de transformación de color F_ct que comprenden al menos funciones de transformación de luminancia, resulta una imagen de salida Im_LDR. Esta imagen o conjunto de imágenes se codifica con un codificador de imagen LDR heredado, que potencialmente puede modificarse algo, por ejemplo, las tablas de cuantificación para las transformaciones DCT-ed de las diferencias de predicción pueden haberse optimizado para adaptarse mejor a las imágenes con características HDR (aunque las transformaciones de color típicamente ya pueden hacer que las estadísticas de Im_LDR se parezcan mucho más a una imagen LDR típica que a una imagen HDR típica, cuya imagen HDR tiene típicamente relativamente muchos píxeles con luminancias relativamente oscuras, ya que la parte superior del rango puede contener a menudo pequeñas lámparas, etc.). Por ejemplo, puede usarse un codificador de tipo MPEG como HEVC (H265), que produce una imagen SDR Im_COD codificada. Este codificador de vídeo 203 pretende entonces que consigue una imagen SDR normal, aunque también consigue las funciones F_ct que permiten la reconstrucción de la imagen HDR maestra, es decir, lo que hace eficazmente que se trate de una codificación doble de una apariencia tanto SDR como HDR, y su correspondiente conjunto de imágenes (Im_RLDR, respectivamente Im_RHDR). Puede haber varias maneras de comunicar estos metadatos que comprenden toda la información de las funciones F_ct, por ejemplo, pueden comunicarse como mensajes SEI. Entonces, un formateador de transmisión 204 aplica todas las transformaciones necesarias para formatear los datos para que vayan por algún medio de transmisión 205 de acuerdo con algún estándar, por ejemplo, una transmisión por satélite o cable o Internet, por ejemplo, de acuerdo con ATSC 3.0, o DVB, o cualquier principio de comunicación de señales de vídeo, es decir, se realiza la paquetización de los datos, la codificación de canales, etc. En cualquier lado del consumidor o del profesional, un receptor 206, que puede incorporarse en varios aparatos físicos como, por ejemplo, un decodificador, un televisor o un ordenador, deshace la codificación del canal mediante la aplicación del desformateo y la decodificación del canal. Entonces, un decodificador de vídeo 207 aplica, por ejemplo, decodificación HEVC, para producir una imagen LDR Im_RLDR decodificada. Entonces se dispone un transformador de color 208 para transformar la imagen SDR en una imagen de cualquier rango dinámico que no sea LDR. Por ejemplo, la imagen maestra original de 5.000 nit Im_RHDR puede reconstruirse mediante la aplicación de las transformaciones de color inversas IF_ct de las transformaciones de color F_ct usadas en el lado de codificación para hacer la Im_LDR a partir de la MAST_HDR. Se puede comprender una unidad de sintonización de pantalla 209 que transforma la imagen SDR Im_RLDR a un rango dinámico diferente, por ejemplo, Im3000 nit se gradúa óptimamente en caso de que la pantalla 210 sea una pantalla con PB de 3.000 nit, o una imagen con PB de 1.500 nit o 1.000 nit, etc.
La Figura 3 muestra cómo se puede diseñar solo una codificación ilustrativa (no limitativa) basada en la transformación de color de un par de imágenes HDR y SDR, que tiene como propiedad particular no siempre necesaria pero útil en este ejemplo un recálculo de luminancia que conserva la cromaticidad, el ejemplo se ha tomado del documento WO2014056679. Se puede comprender este procedimiento cuando se ve en la gama normalizada a 1,0 la luminancia relativa máxima tanto para la imagen SDR como para la HDR (es decir, se supone que SDR y HDR tienen los mismos, por ejemplo, Rec. 2020 primarios, tienen entonces exactamente la misma gama en forma de carpa); como se muestra en la Figura 1 del documento WO2014056679). Si se condujera cualquier pantalla con, por ejemplo, el vaquero que tiene en la imagen de conducción un código de luma correspondiente a una luminancia del 10 % del pico de brillo de la pantalla, entonces ese vaquero se renderizaría más brillante cuanto mayor sea el PB de la pantalla. Eso puede ser indeseable, ya que es posible que se quiera renderizar al vaquero con (aproximadamente) la misma luminancia en todas las pantallas, por ejemplo, 60 nit. Entonces, por supuesto, su luminancia relativa (o el código luma de 10 bits correspondiente) debería ser menor cuanto mayor sea el PB de la pantalla, para conseguir la misma luminancia final renderizada. Es decir, se podría representar tal deseo como un mapeo de degradación, por ejemplo, desde el código luma 800 para la imagen SDR, a, por ejemplo, el código luma 100 para la imagen HDR (en función de la forma exacta de la EOTF que define los códigos que se usan), o en luminancias, se mapea la luminancia SDR del 60 % a, por ejemplo, 1/40 de eso para una pantalla HDR de 4.000 nit o su correspondiente imagen graduada óptimamente. En este texto, degradar significa cambiar los códigos de luma de los píxeles (o sus correspondientes luminancias a renderizar) de una representación de mayor pico de brillo (es decir, para renderizar en una pantalla de mayor PB, por ejemplo, con PB de 1.000 nit) a las lumas de una imagen de la misma escena en una imagen de menor PB para renderizar en una pantalla de menor PB, por ejemplo, una pantalla SDR de 100 nit, y la actualización es la transformación de color opuesta para convertir una imagen de menor PB en una imagen de mayor PB, y no debe confundirse esto con la ampliación y reducción de escala espacial, que consiste en añadir respectivamente nuevos píxeles o eliminar algunos píxeles o algunos componentes de color de esos píxeles. Se puede hacer esto para cualquier color, en el que un triplete (RGB) corresponda a alguna cromaticidad (x,y) en la gama de códigos de visualización o codificación, de una manera que se escale automáticamente a la luminancia máxima disponible (renderizable) para esa cromaticidad Lmáx(x,y), por el aparato de la Figura 3. Realmente, se puede demostrar que esto corresponde a aplicar un mapeo de luminancia similar, que en el eje acromático (es decir, de colores que no tienen un matiz particular) que toma la luminancia de entrada L del color en la imagen SDR, a la luminancia de salida relativa necesaria L* de la imagen graduada HDR óptima. Sin entrar en detalles, lo relevante de esta enseñanza es que la transformación de color correspondiente puede realizarse entonces como una transformación multiplicativa en los componentes RGB (preferentemente lineales), en cada componente por separado, mediante un multiplicador 311, con una constante g mayor o menor que 1,0, que corresponde a cualquier forma de la función de transformación de luminancia L_out=TM(L_in) que se elija, que también puede formularse como una transformación funcional del máximo de los valores de color rojo, verde y azul de entrada de un píxel. Por lo tanto, para cada color de entrada (R, G, B), se calcula el valor g apropiado para aplicar la transformación de color deseada que transforma Im_RLDR en Im_RHDR (o de una manera apropiadamente escalada en cualquier otra imagen graduada, como Im3000nit), cuando el mapeador de luminancia 307 consigue alguna función de mapeo de luminancia SDR a luminancia HDR, por ejemplo, una función loggamma o sigmoide especificada paramétricamente, o una curva multilineal recibida como una LUT. Los componentes del circuito de la realización ilustrativa son: 305: calculador de máximos, que emite el máximo (máxRGB) de los valores R, G y B de un color de píxel que se está procesando; 301: convertidor de luminancia, que calcula la luminancia de un color de acuerdo con algún estándar de definición de color con el que trabaja actualmente el sistema, por ejemplo Rec. 2020; 302: divisor, que produce Lmáx(x,y) como L/max(R,G,B); 307 mapeador de luminancia que realmente funciona como un mapeador en máxRGB, lo que produce m*=TM(máxRGB), con TM como alguna función que define la parte de transformación de luminancia de F_ct; 308: un multiplicador, que produce L*=(m*)xLmáx(x,y) y 310 una unidad de determinación de ganancia, que en esta realización es en realidad un divisor, que calcula g=L*/L, es decir, la luminancia relativa HDR de salida dividida por la luminancia relativa L SDR de entrada; y 311 es un multiplicador que se dispone para multiplicar los tres componentes de color R, G, B con el mismo factor g.
Este circuito puede ser apropiado para algunas codificaciones de color. Sin embargo, lo ideal sería trabajar en codificaciones SDR típicas tal como se usan típicamente. Im_LDR tal y como saldría del decodificador HEVC 207, sería típicamente en una codificación Y'CbCr no lineal (en el que se puede suponer que la no linealidad Rec. 709 de la luma Y' es una raíz cuadrada aproximadamente, es decir, si se ignoran los problemas de luminancia no constante entonces: Y'=sqrt(L) aproximadamente).
La Figura 4 muestra una posibilidad de realizar el mismo procesamiento de color de cambio de luminancia previsto, como una estrategia multiplicativa en los componentes de color de los píxeles Y', Cb y Cr directamente. Además, en lugar de comunicar una función TM() en la que todavía es necesario hacer la división (por la luminancia lineal L o la luma de entrada sqrt Y', respectivamente, de acuerdo con el caso de realización seleccionado) para obtener el valor de ganancia g para las multiplicaciones, en este caso, ya se comunican los varios valores de g requeridos para los posibles valores de luma Y' de los píxeles en la imagen, por ejemplo, como una tabla de consulta g_ct, o cualquier codificación equivalente que necesite menos datos, siempre que el lado receptor reciba la memoria descriptiva de transformación funcional correcta, para, en este ejemplo, reconstruir la imagen HDR maestra a partir de la imagen de apariencia SDR que se recibe de la escena HDR codificada. El lector experto debería comprender cuando se dice que los varios aspectos pueden combinarse intercambiados en varias realizaciones. Por ejemplo, también puede haber otras realizaciones que realicen un escalado de una codificación independiente de la luminancia del color (por ejemplo, una cromaticidad) con una luminancia final correcta para el color de píxel presente a calcular en HDR, es decir, L_out_HDR.
Se puede ver de nuevo en el decodificador 400 (después de los escaladores 401 y 402, que son opcionales en algunas realizaciones, por ejemplo, codificaciones 4:4:4) una conversión de YCbCr a RGB por la unidad de transformación del espacio de color 403, para conseguir (ahora no lineal, es decir, la raíz cuadrada de los componentes aditivos lineales del color; indicado por los trazos primos) los valores R', G' y B', para calcular el máximo de esos tres componentes de color por la unidad de cálculo máxima 404 (obsérvese que algunas realizaciones alternativas pueden usar versiones ponderadas, por ejemplo, Wr*R', y otras entradas para maximizar, por ejemplo, luma Y' o un valor reconstruido o aproximación de la luminancia L del color del píxel, pero no explicaremos esos detalles para mantener los conceptos centrales suficientemente simples). La unidad de determinación de ganancias 405 recibirá del lado de la creación (por ejemplo, como metadatos en un disco BD, o una señal de vídeo comunicada, por ejemplo, como mensajes SEI o un mecanismo similar) una memoria descriptiva de las ganancias deseadas en función del color del píxel (es decir, el contenido particular de la imagen), específicamente, por ejemplo, g_ct como LUT, y se dispone para emitir el valor g para este píxel que se está procesando, para ser usado por los multiplicadores 409, 410 y 411, para multiplicar los componentes de color con, por ejemplo, Y'4H que es la luma HDR = g*Y'4L, es decir, la luma de entrada de la imagen SDR que se recibió, etc. En este ejemplo también se muestra la posibilidad opcional de tener un factor de ganancia gs diferente para los componentes de crominancia Cb y Cr, en caso de que haya escaladores opcionales 407 y 408 que determinarán esos valores en base a que valor g se determinó.
También se muestra para información que un transformador de color adicional 412 puede transformar ese color YCbCr (por ejemplo, internamente en el núcleo de procesamiento de decodificación) en otro formato adecuado para un propósito, por ejemplo, valores R", G" y B" codificados de acuerdo con un SMPTE ST.2084 EOTF o función de asignación de código, por ejemplo, porque la pantalla 420 a servirse con las imágenes graduadas correctamente exige tal formato como el formato de comunicación de color de imagen, por ejemplo, a través de una conexión HDMI.
Por lo tanto, todas estas topologías de codificador y decodificador resp. son posibles para habilitar la codificación HDR, la comunicación y la decodificación correcta. Eso no significa que uno tenga todo lo que desearía. De hecho, es necesario especificar una buena pantalla HDR, por ejemplo, capaz de renderizar luminancias de píxeles entre, por ejemplo, 0,01 nit y 1.000 nit (o 5.000 nit). Eso no significa que uno tenga imágenes de buena apariencia para mostrar en él. Si se considera que ese es el problema del artista creador, hay que darse cuenta, sin embargo, de que todavía tenemos la tecnología de codificación intermedia, y aunque para una única codificación de imagen HDR sería suficiente cualquier asignación de código reversible decodificable adecuada, las tecnologías de codificación que permiten al menos codificar al mismo tiempo varias apariencias de rango dinámico de una escena HDR (es decir, al menos dos, típicamente un SDR y un h Dr , aunque se podrían aplicar los mismos principios al codificar, por ejemplo, dos aspectos HDR, por ejemplo, una versión HDR de 1.000 nit y una imagen HDR de 10.000 nit ), tienen algunas limitaciones prácticas adicionales, que deben manejarse con un cuidado técnico detallado, o limitarán la utilidad del sistema de codificación. Más específicamente, puede haber una compensación entre lo que el graduador puede realizar, en particular la calidad de la apariencia de la imagen SDR, y la calidad de la imagen HDR, que idealmente debería (dadas todas las restricciones prácticas, como por ejemplo, la falta de tiempo de un graduador humano para afinar su apariencia, o la complejidad reducida de un cierto IC que no admite algunas funciones de color, etc.) ser ambas de buena o al menos suficiente calidad. Pero al menos uno esperaría que la imagen HDR fuera de buena calidad, de cualquier otra manera, para qué molestarse en hacer un nuevo sistema de alta calidad. En particular, aunque el HDR puede tratarse de partes de las imágenes renderizadas con un brillo significativamente mayor, también se debe tener un buen cuidado técnico con las regiones oscuras de la imagen, y ese es otro problema práctico que se abordará con las siguientes realizaciones.
Rocco Goris y otros: "Philips response to Cfe for HDR and WCG, 112, reunión MPEG 23-JUNIO-2015/julio de 2015 Varsovia no. MPEG2015/m36266 describe una de las posibles maneras desarrolladas por el solicitante para permitir una conversión estructurada entre las graduaciones HDR y SDR de una imagen, y viceversa, y en particular la codificación y comunicación conjunta funcional de la misma. Sin embargo, lo que no se enseña es la manera específica diferencial de tratar de manera segura los negros profundos HDR.
También se han propuesto codificaciones HDR complejas, por ejemplo, "Paul Lauga, y otros.: Segmentation-based optimized tone mapping for HDR image and vídeo coding; 2013 Picture Coding Symposium IEEE 8DEC2013, pp.
257-260", pero no se traducen bien en sistemas prácticos de manejo de vídeo ya desplegados (como la codificación HEVC heredada), en particular para esa enseñanza porque necesita la comunicación de un mapa de bits para indicar dónde están los píxeles en los que el decodificador tiene que tener especial cuidado, porque se ha usado el truco de codificación particular.
CVETKOVIC y otros: "Adaptive Tone-Mapping Transfer Functions for High Dynamic Range vídeo Cameras", ELECTRÓNICA DE CONSUMO, 2008. ICCE 2008. COMPENDIO DE DOCUMENTOS TÉCNICOS. CONFERENCIA INTERNACIONAL SOBRE, IEEE, PISCATAWAY, Nueva Jersey, Estados Unidos, 9 de enero de 2008 (2008-01-09), páginas 1-2, describe algunas posibles curvas de mapeo de tonos para una cámara, que quizás puedan funcionar adecuadamente como una o más del conjunto de funciones de mapeo de luma de la pista superior de la Figura 7. FRANCOIS EDOUARD y otros: "High Dynamic Range and Wide Color Gamut video Coding in HEVC: Status and Potential Future Enhancements", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR vídeo TECHNOLOGY, IEEE SERVICE CENTER,
PISCATAWAY, Nueva Jersey, Estado Unidos, vol. 26, número 1, 1 de enero de 2016 (2016-01-01), páginas 63-75, es un documento general sobre cómo funciona HDR en HEVC (es decir, mensajería SEI de funciones de mapeo de tonos).
El documento WO2015/007505 describe una familia de funciones para calcular lumas perceptualmente uniformes a partir de luminancias, y se puede usar como el componente 701 de la Figura 7, o su inversa.
Sumario de la invención
Un sistema muy ventajoso de codificación pragmática de imágenes de escenas HDR como imágenes SDR comunicadas es el que se reivindica en la reivindicación independiente 1.
El decodificador de vídeo (600, 1100) se configura para calcular una imagen HDR (Im_RHDR) que tiene un píxel que tiene una luminancia, en base a la aplicación a una luma (Y'_in) de un píxel de una imagen de rango dinámico estándar de 100 nit recibida (Im_RLDR) un conjunto de funciones de transformación de luminancia, las funciones que comprenden al menos un mapeo de luminancia grueso (FC), que se aplica mediante un optimizador de rango dinámico (603) a la luma del píxel (Y'_in) de la imagen de rango dinámico estándar que produce una luma ajustada al rango dinámico (Y'HPS) y, subsecuentemente, mediante un extensor de rango (604) la aplicación de una segunda función que es un mapeo del valor más oscuro (0) de la luma ajustada de rango dinámico (Y'HPS) sobre un valor de desplazamiento de negro recibido (Bk_off) que produce una luminancia HDR intermedia (L_HDR_IM) o luma (Y'HP); caracterizado porque el decodificador de vídeo HDR comprende además un limitador de ganancia (611, 1105) que se dispone para aplicar, como un cálculo de luminancia alternativo que se realiza sobre los colores más oscuros de la escena HDR en paralelo a la aplicación del conjunto de funciones de transformación de luminancia para obtener una luminancia alternativa para un píxel de dichos colores más oscuros de la escena HDR de la imagen HDR (Im_RHDR), una función de transformación de luminancia alternativa a la luminancia de píxel (Y'_in) de la imagen de rango dinámico estándar que mapea en un subconjunto (502) de las luminancias más oscuras de la imagen HDR correspondientes a las lumas más oscuras (Y'_in) de la imagen de rango dinámico estándar, en el que el limitador de ganancia se dispone para calcular un mínimo de uno de ellos, como primera entrada la luminancia HDR intermedia (L_HDR_iM) o luma obtenida mediante la aplicación del conjunto de funciones de transformación de luminancia, y como segunda entrada la función de transformación de luminancia alternativa de la luma de entrada (Y'_in),
en el que el decodificador de vídeo HDR recibe al menos un mapeo de luminancia grueso (FC) y el valor de desplazamiento del negro (Bk_off) como metadatos de la imagen de rango dinámico estándar de 100 nit recibida (Im RLDR) y
en el que la función de transformación de luminancia alternativa es la inversa de la función de transformación de luminancia alternativa que fue usada por el codificador que creó la imagen de rango dinámico estándar de 100 nit recibida.
El extensor de rango trabajará típicamente con un mapeo lineal en el espacio perceptualmente uniforme (o la estrategia correspondiente en otro espacio de color).
Esta estrategia de limitador de ganancia es útil cuando se tiene un graduador de color humano que puede ser algo salvaje al seleccionar sus funciones de graduación para obtener la apariencia SDR correspondiente a la imagen HDR como él desea (lo que garantiza buenas propiedades técnicas de la codificación, es decir, suficiente calidad de reconstrucción de las imágenes HDR, por ejemplo, al empujar parte de la imagen HDR hacia los negros SDR profundos), pero también especialmente para los algoritmos automáticos, que, por ejemplo, estiman las formas o parámetros de la función en base a 2 graduaciones disponibles previamente creadas, específicamente, imágenes HDR e imágenes de apariencia SDR correspondientes o imágenes SDR que se calculan automáticamente a partir de las imágenes HDR como imágenes SDR razonables, en base al análisis de las características de la imagen HDR, etc. El graduador puede ver en una pantalla de referencia lo que está haciendo (por ejemplo, en la pantalla de ref. SDR y verificar con la imagen HDR maestra en la pantalla h Dr ), pero un algoritmo automático que se ejecuta en tiempo real durante la producción de televisión no puede. La (des)codificación paralela de ganancia limitada de los colores más oscuros de la escena HDR asegura una buena calidad de la reconstrucción HDR. Ahora hay un buen control sobre todo el rango de lumas SDR, tanto con respecto a las necesidades de los aspectos artísticos de la apariencia SDR como a la calidad de reconstrucción de la imagen de entrada HDR comunicada como una imagen SDR correspondiente, y el sistema es simple, conforme a lo que cabría esperar de una imagen SDR, también con respecto al procesamiento posterior (por ejemplo, codificación/decodificación MPEG) en sistemas de comunicación de vídeo ya desplegados, sin necesidad de trucos exóticos, y codificación adicional más allá de la(s) función(es) de mapeo de luminancia. En caso de que el primer mapeo de luminancia de nuestro cálculo de estrategia paralela sea bueno, se seleccionará, ya que típicamente contendrá la graduación deseada por, por ejemplo, un graduador humano en el lado de la creación, pero de cualquier otra manera, si es peor que el mínimo requerido para la reconstrucción HDR por decodificadores en un lado receptor, se seleccionará la estrategia de limitación de ganancia, que se diseñará para que sea al menos lo suficientemente buena para el nivel de calidad mínimo necesario desde la perspectiva de la reconstrucción HDR.
Breve descripción de los dibujos
Estos y otros aspectos del procedimiento y aparato de acuerdo con la invención serán evidentes y se aclararán con referencia a las implementaciones y realizaciones descritas a continuación, y con referencia a los dibujos acompañantes, que sirven solamente como ilustraciones específicas no limitantes que ejemplifican los conceptos más generales, y en las que los guiones se usan para indicar que un componente es opcional, los componentes sin guiones no necesariamente son esenciales. Los guiones también pueden usarse para indicar que los elementos, que se explican como esenciales, pero ocultos en el interior de un objeto, o para cosas intangibles tales como, por ejemplo, selecciones de objetos/regiones (y cómo pueden mostrarse en una pantalla).
En los dibujos:
La Figura 1 ilustra esquemáticamente un número de transformaciones de color típicas que ocurren cuando se mapea óptimamente una imagen de alto rango dinámico a una imagen correspondiente con una graduación de color óptima de apariencia similar (tan similar como se desee y sea factible dadas las diferencias en el primer y segundo rango dinámico DR_1 resp. DR_2), que en caso de reversibilidad también correspondería a un mapeo de una imagen LDR de la escena HDR, a una imagen HDR de esa escena;
La Figura 2 ilustra esquemáticamente una tecnología para codificar imágenes de alto rango dinámico, es decir, imágenes capaces de tener luminancias de al menos 700 nit típicamente o más (típicamente 1.000 nit o más), que el solicitante desarrolló recientemente, que realmente comunica la(s) imagen(es) HDR como una imagen LDR más metadatos que codifican funciones de transformación de color que comprenden al menos una transformación de luminancia determinada apropiada para los colores de los píxeles, que serán usados por el decodificador para convertir la(s) imagen(es) LDR recibida(s) en imagen(es) HDR que son una reconstrucción fiel de la(s) imagen(es) HDR maestra(s) original(es) creada(s) en el lado de la creación de la imagen;
La Figura 3 ilustra esquemáticamente una primera versión de la tecnología del solicitante que puede usarse para permitir una transformación de luminancia que conserva el color dentro de la gama (es decir, la cromaticidad) para cambiar el brillo de los objetos o píxeles de la imagen y hacerlos más conformes a lo que se necesita en una imagen de un rango dinámico que es diferente y específicamente más grande que el rango dinámico de la imagen de entrada, que funciona bien para tipos particulares de situaciones;
La Figura 4 muestra esquemáticamente otra posible realización de las transformaciones de luminancia del núcleo necesarias en el codificador o decodificador para transformar la imagen del primer rango dinámico en la imagen del segundo rango dinámico, en particular, reconstruir una imagen HDR a partir de una imagen SDR recibida en el lado de la decodificación y viceversa en el lado de la codificación, útil para las presentes tecnologías;
La Figura 5 muestra esquemáticamente cómo, por ejemplo, un algoritmo automático puede hacer coincidir, en función de la imagen, con las estadísticas de la imagen una curva de transformación de luminancia de tres partes como miembro ilustrativo del conjunto de herramientas de funciones de codificación de imágenes basadas en la regraduación estándar tal como se diseñaron pragmáticamente para la codificación de vídeo HDR, los parámetros que codifican la forma de esta función se comunican a un receptor, de modo que pueda reconstruir y aplicar la función;
La Figura 6 muestra esquemáticamente una primera realización básica del núcleo de nuestro decodificador de vídeo HDR de acuerdo con los principios de la presente invención;
La Figura 7 muestra esquemáticamente una primera realización posible de un codificador correspondiente; La Figura 8 muestra esquemáticamente otro posible decodificador de acuerdo con nuestros nuevos principios actualmente enseñados;
La Figura 9 muestra esquemáticamente un tercer decodificador más complejo, que tiene la posibilidad de elegir entre estrategias de decodificación, típicamente en base a cómo se codificó el contenido y cómo eso es determinable a partir de las variantes particulares de los metadatos que codifican la transformación de luminancia que define la decodificación de la(s) segunda(s) imagen(es) de rango dinámico a partir de la(s) primera(s) imagen(es) de rango dinámico recibida(s); y
La Figura 10 se centra en el área de las luminancias HDR más bajas (respectivamente, las lumas SDR más bajas correspondientes) que necesitan un manejo más cuidadoso que una mera transformación artística, para aclarar cómo ambas formas de transformación de luminancia de codificación y decodificación se relacionan entre sí a través del reflejo con respecto a la diagonal, y cómo se puede definir una asignación de código segura a través de un segmento parcial de función de mapeo de luminancia de pendiente suficientemente grande que comienza desde cero, y una estrategia de maximización;
La Figura 11 muestra esquemáticamente para su aclaración otra realización de una realización de decodificador útil;
La Figura 12 muestra esquemáticamente una realización de codificador correspondiente; y
La Figura 13 muestra esquemáticamente las constantes multiplicativas gP para la parte inferior lineal para los colores más oscuros en el dominio de luma perceptual de la estrategia de limitación de ganancia, para varios posibles picos de brillo de código PB_C.
Descripción detallada de las realizaciones
La Figura 5 muestra un ejemplo de cómo se puede modelar típicamente la transformación entre la imagen SDR y la imagen HDR con curvas, curvas de mapeo de luminancia (o luma). Es decir, también al recibir una imagen SDR, ser capaz de reconstruir la imagen HDR maestra del lado de la creación aproximadamente mediante la aplicación de la curva inversa. En algunas realizaciones, puede haber varias transformaciones de color involucradas para calcular una región de píxeles (por ejemplo, correspondiente a un objeto) en la imagen secundaria regraduada (es decir, en nuestra aclaración, una imagen HDR, con PB_C = 1.000 nit, solo como un ejemplo para ser claro) sobre la base de los píxeles geométricamente correspondientes en la imagen primaria, la imagen SDR PB_C = 100 nit. Por ejemplo, las transformaciones de color locales pueden aplicarse solo a algunas regiones y no al resto de la imagen. Sin embargo, por razones prácticas, en muchos escenarios se quiere transformaciones simples (generalmente globales, es decir, dependientes de la luma del píxel, y no de su ubicación geométrica en la imagen u otras de tales propiedades no relacionadas con el color), ya sea por razones de la complejidad de un IC en un sistema de realización particular que necesita ser económico, o el tiempo disponible para la participación de la graduación humana, etc. Típicamente, se quiere comenzar con una forma convexa (como puede verse, la mayor parte de esta curva entre 1 y 1.000 nit en el eje x de entrada tiene "forma de r de carácter pequeño") como se ve en la Figura 5, y para algunos contenidos eso puede estar ya suficientemente modelado. La reconstrucción de la imagen HDR es casi perfecta, salvo para los errores de cuantificación y DCT, si se permite la selección de solo funciones de mapeo de luminancia reversibles. La calidad de la imagen SDR tal como se envía a los receptores (que se forma de manera que pueda servir para la reconstrucción óptima de la imagen HDR maestra original) puede desviarse algo de la imagen de apariencia SDR (artística) prevista, pero para varias aplicaciones eso puede ser suficiente (por ejemplo, para un programa de noticias, no es crítico que cada sombra en la pared detrás del lector de noticias tenga en cada píxel exactamente el valor de gris correcto, mientras que el objeto principal de la imagen tenga suficiente calidad, como, por ejemplo, la cara del lector de noticias, etc.; es decir, se relajan las exigencias artísticas y de precisión técnica correspondientes). Se supone para nuestra aclaración que se codifica automáticamente una imagen representativa SDR a comunicar, sobre la base de dos graduaciones anteriores existentes, específicamente, una imagen HDR maestra graduada con PB_C = 1.000 nit, y su correspondiente imagen SDR de apariencia óptima. Es decir, un algoritmo de análisis de imágenes en lugar de un ser humano determina la forma de la función de la transformación de luminancia de HDR a SDR (o viceversa). Por apariencia artística óptima, se entiende que a todos los objetos de la imagen se les han dado las luminancias apropiadas en el rango dinámico de luminancia ahora 10 veces más pequeño (0-PB_C_SDR=100 nit en lugar de 0-PB_C_HDR=1.000 nit) que para la imagen HDR maestra, de modo que como una apariencia aproximada a la apariencia HDR maestra, todos los objetos aún se ven razonablemente brillantes y los contrastes entre regiones e intraobjetos parecen apropiados. Si se usa solo una función de compresión lineal correspondiente, por ejemplo, a la reutilización de las luminancias relativas HDR reescaladas a PB_C_SDR = 100 nit, las regiones más oscuras de la imagen serían incómodamente oscuras. Este mapeo de luminancia óptimo dependerá en general del tipo de escena y sus varias imágenes de apariencia de rango dinámico (por ejemplo, también una imagen MDR con p B_C_MDR=500 nit), ya que, por ejemplo, la legibilidad de un logotipo comercial blanco grabado en vidrio en algún lugar de la imagen puede ser un objeto a representar en buena calidad en todas las apariencias DR para cumplir obligaciones con un patrocinador comercial de esa película y dueño de ese logo. Por lo tanto, se supone ahora, sin pérdida de generalidad con respecto a las realizaciones menos críticas y más automáticas, que un graduador de color humano se ha tomado el tiempo suficiente para graduar con precisión el HDR maestro y una imagen SDR derivada (de apariencia óptima correspondiente).
Ahora, la codificación de ese par de imágenes graduadas se puede realizar automáticamente o con la participación del graduador. Para simplificar las cosas, solo se explicará el ejemplo de un sistema de codificación automática, pero nuevamente, eso no debe verse como una limitación de nuestra invención, ya que cuando un graduador humano está involucrado en la creación de la imagen SDR para la transformación del color basada en la codificación del par HDR/SDR (es decir, en la que solo una de las imágenes graduadas se comunica realmente como una matriz de colores de píxeles, junto con los metadatos de las funciones para recalcular la otra imagen graduada), se aplicarán principios técnicos similares cuando se seleccione secuencialmente a partir de un conjunto limitado de funciones de base (es decir, primero hace una graduación SDR aproximada mediante el uso de una función simple "en forma de r", y luego ajusta fino la transformación necesaria si todavía lo encuentra necesario, también en vista de su tiempo y presupuesto para procesar la película, como se aclara, entre otros, con la cadena de procesamiento de la Figura 7). Sin pérdida de generalidad, se explicarán los principios con el ejemplo donde la determinación automática de la función de transformación de luminancia (en base a la comparación del histograma de la imagen SDR frente a la imagen HDR, en una especie de dominio "logarítmico", que se determina por una transformación perceptual del espacio de brillo que se desarrolla por el solicitante para este procesamiento HDR, véase a continuación) es del siguiente tipo.
Se ha demostrado que es muy útil, como puede verse también por el ajuste a los datos en el gráfico del espacio perceptual pseudologarítmico (véase las escalas de los ejes x e y de la Figura 5, que el lector puede considerar que proporcionan posiciones que cuando son equidistantes parecen de manera perceptual aproximadamente de una misma diferencia, es decir, gris uno, gris_2 = 20 % de gris más claro, gris_3 = 20 % más claro que gris_2, etc.), si un graduador o una unidad de cálculo de curva de coincidencia óptima automática usa una curva de tres partes para al menos la determinación inicial de una imagen SDR correspondiente a la imagen HDR maestra como entrada, que se define por un ángulo a_H de una parte de la pendiente lineal para los píxeles brillantes o resaltados en la imagen (región 505), y un ángulo a_d para una aproximación lineal (al menos para la determinación aproximada de la imagen SDR regraduada sobre la base de la imagen HDR maestra) del mapeo para los colores más oscuros (región 503). Esta curva solo necesita tres parámetros de imagen muy útiles y que transmiten mucho, porque como tercera parte de la curva se usa un segmento curvo, que se encuentra igualmente estirado sobre un ancho WP a ambos lados del punto donde se cruzan los dos segmentos de línea (es decir, solo a_d, a_H y WP necesitan comunicarse a un receptor, lo cual es importante para los sistemas que no pueden permitirse demasiada comunicación de metadatos, o graduadores que no pueden permitirse dedicar demasiado tiempo a la graduación de al menos algunas tomas de imágenes consecutivas, etc.). La curva de forma fija de la parte curva que conecta las dos partes lineales en cada extremo que se usa es típicamente un segmento de parábola (región 504).
Ahora hay una propiedad interesante de determinar imágenes graduadas SDR, que puede verificarse experimentalmente. Una imagen con apariencia SDR de muchas escenas HDR no parece cualitativamente muy bien, si no hay una cantidad suficiente de píxeles oscuros, es decir, negros SDR (con una curva Rec. 709, los códigos más bajos, por ejemplo, 0,1 y 2 en la codificación luma de 10 bits, corresponden a luminancias renderizadas en pantalla de aproximadamente 1/1.000del pico de brillo, es decir, 1/1.000de 100 nit, y esto corresponde a algunos de los objetos o regiones de la imagen de la escena HDR). Por lo tanto, es de esperar que sea necesario continuar la función (en nuestro ejemplo, la parte lineal para los píxeles del objeto oscuro de la curva de tres partes, pero de manera similar, en las realizaciones que usan otras funciones para determinar la imagen graduada SDR) hasta aproximadamente 0,1 nit, como se ve por la flecha en la Figura 5 (en contraste con una graduación con luminancias SDR más altas para esos objetos, que parecerían inapropiadas). Eso daría una versión de imagen SDR de buena apariencia de esas escenas HDR. Sin embargo, las escenas HDR tienen, por supuesto, la propiedad de que contienen luminancias de píxeles en un rango dinámico potencialmente muy grande (negros profundos). El lector debe observar que se habla de luminancias relativas en comparación con el pico de brillo de la pantalla de referencia típica para la que se destina el código, o de hecho PB_C (de hecho, esto tiene que ver con eso, aunque se prefiere trabajar con codificaciones absolutas de las luminancias, en cualquier graduación de rango dinámico de buena apariencia, esas luminancias se refieren a alguna capacidad típica de la pantalla por ejemplo, una pantalla de 1.000 nit vista en una sala de estar oscura y no la escena original; para decirlo en términos simples: el sol se codificará y renderizará a 1.000 nit, en lugar de su valor real de 1.000 millones de nit). Por lo tanto, una escena HDR típica de, por ejemplo, una escena nocturna puede tener en el mundo real, por ejemplo, luminancias en las esquinas oscuras que están muy por debajo de 1 nit (por ejemplo, 0,01 nit, o incluso menos), mientras que al mismo tiempo una farola puede estar en la imagen, con luminancias de 10,000 nit o más, es decir, un rango dinámico de 1.000.000:1 o más, que es, por su propia naturaleza simplemente no renderizable o representable en una representación SDR. Obsérvese que en la graduación óptima (maestra) HDR y SDR, el contraste puede ser algo menor, ya que el artista graduador puede haber iluminado algo las partes más oscuras de la escena y oscurecido los píxeles más brillantes, pero aún puede desear una buena representación (codificación per se, para todos los usos) y su renderización de esa escena HDR ilustrativa entre, por ejemplo, 0,05 nit y 5.000 nit (siempre que tal una pantalla esté disponible), es decir, una RD deseada renderizada en pantalla de 100.000:1, que está claramente por encima de las capacidades SDR, es por eso que se ha introducido la tecnología HDR en primer lugar, por supuesto.
Por lo tanto, si no puede renderizarse (o incluso codificar, con tecnología basada en Rec. 709) en la graduación SDR nada por debajo del punto de luminancia HDR 501, esto significa que todos los valores HDR de la región 502 en la representación SDR de la misma se recortarán al mismo negro (por ejemplo, código luma 0, ya sea en representación de 8, 10 o 12 bits). Eso no sería realmente un problema para los sistemas que comunican imágenes HDR solo a los receptores (es decir, que usarían la función en el lado receptor solo para calcular una graduación SDR de una imagen pixelada HDR recibida), es decir, que pueden renderizar directamente esos datos de imagen perfectamente codificados en una pantalla HDR de 1.000 nit (por ejemplo, si se codifica mediante el uso la OETF SMPTE 2084), y que solo necesitarían las funciones de transformación de color para obtener graduaciones óptimas para los espectadores que tienen pantallas con picos de brillos de pantalla PB_D inferiores a 1.000 nit. Por ejemplo, se podría hacer una graduación SDR mediante el uso de estas funciones de recorte para degradar las imágenes HDR recibidas, lo que de hecho produciría la apariencia SDR óptima correcta.
Pero los sistemas que codifican dos apariencias de rango dinámico diferentes de la escena HDR (es decir, dos graduaciones diferentes), por ejemplo, sistemas que necesitan comunicar imágenes SDR para permitir, por ejemplo, que una gran base instalada de espectadores vea las imágenes SDR cuando se renderizan directamente sin procesamiento de luminancia con buena calidad, y que derivan de ello una reconstrucción de imagen HDR de muy buena calidad para aquellos clientes que han comprado una pantalla HDR, tienen muchas más restricciones. Si se recortan algunos de los colores HDR más oscuros en la imagen SDR a comunicar, no se pueden reconstruir de forma reversible los colores de píxeles HDR necesarios en el lado receptor.
Podría pensarse entonces que la solución podría ser más inteligente al elegir el segmento lineal para el negro, de tal manera que se acerque y se aproxime al lugar de los puntos de las luminancias correspondientes en la imagen SDR frente a la HDR (la nube de puntos más gruesa en forma de r), pero luego la calidad de la apariencia SDR se deteriora gravemente. Cuando, por ejemplo, se acerca a esa nube con un segmento lineal para los negros a partir de (0,0), entonces muchas de las regiones más oscuras se vuelven demasiado brillantes, y eso ya no parece bien contrastado (personas que deberían ser una silueta contra un fondo brillante, por ejemplo, se convierten en siluetas más claras de color gris oscuro). Donde eso ya daría una calidad menor para escenas LDR normales (es decir, por ejemplo, un conjunto de estudio con reflectancias de objetos entre el 1 % y el 95 % bajo una iluminación cuidadosamente uniforme), especialmente para escenas h Dr , uno quisiera ver también en la variante SDR de la escena un contraste interregional suficientemente impresionante. La representación SDR de escenas HDR puede ser bastante crítica y compleja, porque al mismo tiempo se puede querer transmitir que un área oscura de una cueva es bastante algo más oscura que las regiones iluminadas promedio, por ejemplo, cerca de la entrada de la cueva, pero en lugar de simplemente hacer estas regiones oscuras muy oscuras, también se puede desear ver, por ejemplo, a una persona de pie allí todavía algo bien. Problemáticamente, el problema a menudo se extiende incluso a las regiones más brillantes (ya que, por supuesto, las curvas de transformación de luminancia de regraduación como, por ejemplo, una curva de tres partes debido a su simplicidad, extienden cualquier desviación paramétrica a un gran subrango de luminancia), lo que tiene un grave impacto en varios contrastes locales en la imagen SDR que deben controlarse cuidadosamente, por ejemplo, los haces de luz que se dispersan en el polvo, que pueden haber sido cuidadosamente elegidos por el director para la apariencia de la escena, podrían casi desaparecer en el aspecto descolorido que resulta si uno no usa la estrategia en la que la parte inferior de la curva de mapeo de luminancia se dobla hacia un buen punto de recorte de luminancia HDR 501, pero más bien el punto cero absoluto HDR_luminance= 0.
Por lo tanto, para este problema se necesita un componente adicional (en la graduación o al menos en la codificación), y especialmente uno que pueda manejar esto fácilmente en todos los escenarios prácticos (solo se tiene una tecnología de codificación y manejo HDR realmente buena, si no se trata de una especie diferente para varias aplicaciones, pero cuando un único sistema puede, potencialmente después de una configuración afinada, manejar las variadas necesidades de las aplicaciones que van desde la graduación sin conexión de alta calidad para películas de, por ejemplo, Hollywood, hasta difusión de televisión muy barata sobre la marcha, donde no se solicitan demasiados cambios, por ejemplo, no hay demasiada participación adicional de expertos humanos más allá de los procesos de producción de televisión tal como existen actualmente, y las personas se han especializado para, etc.; de todos modos, en todos los casos solo se tiene un sistema de manejo HDR realmente bueno, si se domina la creación, comunicación y uso tanto de la graduación HDR maestra como de la graduación SDR correspondiente). La Figura 6 muestra la parte del núcleo de transformación de luminancia de un decodificador (en base a los conceptos recientemente inventados por los inventores del solicitante) que tiene el manejo correcto de los colores HDR más oscuros, ya que puede incorporarse en varias realizaciones de las realizaciones del decodificador explicadas con las Figuras anteriores.
La entrada es una Y'_in luma Rec. 709 clásica (es decir, por ejemplo, los valores 0-1.023). Una unidad de conversión del espacio perceptual 601 convierte esas luminancias en un espacio perceptual (como ya se ha introducido en la Figura 5). Puede ser útil para el lector tener en cuenta que si uno tiene un espacio de color RGB, dígase Rec. 2020, o una derivación del mismo como su variante Y'CbCr, entonces la gama de todos los colores representables es una carpa triangular con una punta puntiaguda, que se puede normalizar a 1,0, y las transformaciones de color pueden verse entonces como cambios de las posiciones de los puntos de color dentro de esa carpa (luminancias o lumas relativas HDR que caen en diferentes alturas que sus correspondientes luminancias o lumas SDR).
Por ejemplo, el cambio a una representación perceptual también modifica las alturas de los varios colores (es decir, su "brillo" representado en varias unidades), ya que, por ejemplo, redefine la métrica en el eje de luminancia (el polo vertical de la carpa a través del blanco) para volverse logarítmico, significa que la altura de un color que tiene una luminancia relativa de, por ejemplo, el 90 % debería cambiar a la posición de dondequiera que cae esa posición en el eje logarítmico.
Se cambia a una representación logarítmica porque tiene varias ventajas para manejar la regraduación SDR de las imágenes de escenas HDR. En primer lugar, esta uniformización de las luminancias de una manera más perceptual, significa que ya se tiene una representación de rango dinámico menor algo razonable muy gruesa de la imagen HDR. Sin embargo, si uno se preocupa artísticamente, por ejemplo, en una escena que necesita una oscuridad nocturna para tener el modo correcto, si se fuera a usar esa imagen logarítmica para renderizarla directamente en una pantalla LDR, la escena nocturna puede parecer incorrecta o demasiado, ya que puede ser demasiado brillante, y no es fácil decir cómo puede verse en cualquier pantalla HDR con un pico de brillo de pantalla particular PB_D, pero sería de esperar que, al menos para escenas HDR críticas, un manejo tan simplista no parecería óptimo en ninguna pantalla. En una gama de colores normalizada y su eje de luminancia, las imágenes HDR pueden tener típicamente objetos brillantes cerca del máximo (1,0), y entonces el resto de las luminancias de píxeles caen muy por debajo de este. Para comprimir este gran rango dinámico en un rango de luminancia SDR, esas dos luminancias deben acercarse, ya que las lámparas solo pueden ser, por ejemplo, 2 veces más brillantes que la luminancia promedio de píxeles 512 = 18 % (en lugar de, por ejemplo, 10.000:500 = 20 veces en HDR). Esto ya puede lograrse aproximadamente mediante una función que es aproximadamente un logaritmo, o alguna función mejor similar en forma (que de hecho haga "algo" de aumento).
Pero esas graduaciones SDR aún no son muy adecuadas para servir como graduaciones SDR de buena calidad de la imagen HDR, ya que parecerán muy opacas, sin contraste y, a menudo, descoloridas. Para una buena graduación, hay que tener muy en cuenta que tiene que sucederle al menos a uno y, típicamente, a ambos de un rango determinable de los píxeles más brillantes de la escena y de un subrango de las luminancias más oscuras. Incluso las versiones más simples pueden entonces dejar algo en el medio lo que sucede en el rango medio, por ejemplo, solo usar un comportamiento de conexión suave, o los sistemas podrían hacer un control más preciso allí (pero para eso tenemos en nuestra topología de códec la función de graduación fina típicamente).
Philips ha inventado una función para hacer la transformación de luminancias lineales a lumas perceptuales Y'P:
Y'P=log[(1+(rho-1)*potencia(L,1/2,4)]/log(rho) [EC. 1]
en la que L es la luminancia normalizada y rho es una constante que depende del PB_C de la imagen HDR, y que es para 10.000 nit típicamente 33. La función inversa puede usarse como función de linealización, es decir, para convertir del dominio luma perceptualmente uniforme al dominio lineal, es decir, de luminancias. Por lo tanto, nuestras realizaciones pueden trabajar con cualquier curva de uniformización perceptual de luminancia en esa unidad de conversión del espacio perceptual, lo que crea códigos de luma que se dispersan perceptualmente de manera más equidistante que las luminancias, y en particular se sabe que la imagen de entrada era una imagen HDR, con un rango dinámico considerable necesario para ser representado por valores de brillo equidistantes (que técnicamente se pueden llamar lumas en la presente solicitud; en la era de la codificación SDR, dado que solo había una única manera de codificar las luminancias, las lumas se calculaban mediante la OETF Rec. 709, que es aproximadamente una raíz cuadrada, pero para los códigos de luma HDR pueden definirse mediante cualquier OETF HDR aplicada, que es una función que es más pronunciada que la raíz cuadrada cerca de los negros, por ejemplo, una función SMPTE 2084 PQ), pero para simplificar la aclaración se supondrá que es la función de Philips anterior (la función loggamma parametrizada rho de la Ec. 1, donde rho puede tomarse fijo o variable; típicamente, será fijo si el codificador y el decodificador funcionan con un máximo fijo preestablecido PB_C para todo el contenido de vídeo comunicado, por ejemplo, 1.000 nit, y variable si se usan codificaciones con diferentes PB C).
En esta realización, sin embargo, una luma SQRT Y' como entrada se transforma en la luma perceptual, por lo que, la forma de la función de transformación de la unidad de conversión de espacio perceptual 601 se ajustará para eso (se pueden combinar dos funciones parciales, lo que equivale primero a elevar al cuadrado la Y', y luego aplicar la forma de la función de perceptualización Philips anterior).
A partir de aquí, el procesamiento es en el espacio perceptual (como los ejes de la Figura 5), y puede comenzar el real realce del objeto dependiente del contenido de la imagen/escena. Como puede ver el lector, las realizaciones simples de la codificación HDR funcional pueden tener solo tres bloques (y algunas codificaciones baratas ni siquiera los usan todos).
Los tres bloques de procesamiento (unidad de graduación fina 602, optimizador de rango dinámico 603 y extensor de rango 604) están en el orden inverso de lo que sucedió en el codificador (pero no la perceptualización de la unidad 601 y la linealización del linealizador 605, ya que tanto la codificación como la transformación de luminancia de decodificación inversa trabajan en el dominio pseudologarítmico perceptualizado, cuya transformación se realiza siempre de la misma manera).
Por lo tanto, es más fácil para el lector comenzar la explicación con el codificador de la Figura 7, ya que puede razonarse entonces a partir de lo que un graduador humano (o un sistema automático que lo emule) querría hacer al crear una apariencia SDR a partir de la apariencia HDR maestra. La unidad de conversión del espacio perceptual 701 es similar a la unidad 601, solo saber que la conversión comienza a partir de luminancias HDR lineales (sin pérdida de generalidad con este mero ejemplo, algunos otros codificadores también podrían comenzar a partir de otras caracterizaciones de color para la imagen HDR, pero esos son detalles innecesarios) para la comprensión de los presentes conceptos técnicos). Es decir, la unidad 701 aplica la Ec. 1. Por lo tanto, las luminancias de color de salida se representan ahora como lumas perceptuales Y'HP. Un estirador de luma 702 estira el contenido al rango máximo en SDR. Esta es una etapa importante de regraduación para muchas realizaciones, porque al tener solo un pequeño rango dinámico de SDR, ciertamente no se quiere tener códigos sin usar mientras tiene que renderizar un SDR razonable representativo de lo que esencialmente era una imagen de escena HDR. Por lo tanto, si se tiene una película o una escena con luminancias solo hasta, por ejemplo, el 70 % del máximo, el estirador puede asignar típicamente ese valor al 100 % (o al menos cerca de eso, por ejemplo, el 95 %). De manera similar, puede suceder un mapeo en el extremo oscuro, a Y'HPS=0. El lector debe observar que algunas escenas y sus imágenes HDR pueden tener un rango dinámico considerablemente grande, pero no el rango dinámico más alto posible codificable. Por ejemplo, si el HDR maestro está en una representación PB_C de 10.000 nit, se debe tener cuidado al asignar píxeles a las luminancias más altas alrededor de 10.000 nit, o las personas pueden quejarse de que la imagen es demasiado brillante (es decir, en su entorno de visualización típico, parece antinaturalmente brillante en comparación con cómo sería una escena así en la vida real, o simplemente se ve desagradablemente brillante). Por ejemplo, una pequeña farola podría tener píxeles de 10.000 nit, pero el píxel más brillante que se ve a través de una ventana desde un entorno interior puede ser solo de, por ejemplo, 1.500 nit, lo que significa que para esa imagen los códigos entre 1.500 nit y 10.000 nit no se utilizan. El estirador de luma 702 mapeará entonces este color 1.500 nit más brillante en la imagen al máximo de la representación de color intermedia Y'HPS, la representación de color estirada (que puede verse como el máximo de la imagen SDR, ya que puede a partir de entonces centrarse en corregir la distribución de luminancias de objetos por debajo de un blanco fijo = 1,0). Algunas realizaciones pueden desviarse de eso y, por ejemplo, mapear al 90% del rango dinámico de la segunda imagen, por ejemplo, si se usa la misma tecnología para las regraduaciones de HDR1 a HDR2. Por supuesto, los metadatos necesitan enviar el punto de 1.500 nit que se estiró originalmente, de modo que en el lado de la decodificación, un extensor de rango 604 pueda mapear este pico de brillo SDR (1,0 correspondiente a 1023) de vuelta a 1.500 nit en la reconstrucción HDR.
También en el lado negro puede suceder tal estiramiento, pero en algunas realizaciones se debe tener cuidado ya que los negros se comportan de manera diferente a los brillantes (con respecto a la semántica del contenido, el entorno de visualización, la apariencia psicovisual, etc.). También se podría eliminar esta etapa de procesamiento del estiramiento del negro y simplemente manejar la asignación de la transformación de luminancia de todas las luminancias más oscuras de la imagen HDR a la imagen SDR a través de una forma de función de transformación de luminancia.
En general, puede haber un par de modos. Para el modo profesional, en el que un graduador mira las imágenes graduadas resultantes de sus elecciones para los parámetros de las curvas de transformación de luminancia (por ejemplo, puede usar un dial para disminuir o aumentar el ángulo de las luminancias brillantes a_H de la curva de tres partes de la unidad 703, etc.), no solo la imagen SDR, sino también la reconstrucción HDR en un monitor de referencia HDR, de modo que pueda ver cuál es el impacto de sus elecciones en la calidad de la reconstrucción, se puede esperar que la selección de esta curva (en particular, la curva de graduación fina de la unidad 704 que se discutirá a continuación) sea puntera. Algunas realizaciones de aparatos de graduación en los que se incluye el codificador pueden ofrecer una advertencia en caso de que el graduador realice una pendiente muy baja para la aproximación lineal de su curva en los valores HDR más oscuros alrededor de 0 (lo que resultará en una pendiente alta para los errores de reconstrucción y codificación, como errores de bandas o DCT), y entonces el aparato podría, previo acuerdo del graduador, proponer su propia curva parcial para los colores HDR más oscuros y enviarla a los receptores en los metadatos. Los sistemas de graduación automáticos (por ejemplo, la codificación a partir de una(s) imagen(es) HDR maestra pregraduada y la(s) imagen(es) SDR maestra(s) graduada(s) correspondiente(s) puede(n) necesitar un enfoque más seguro y grueso, por ejemplo, varios sistemas automáticos pueden tener solo la (por ejemplo, basada en una curva de tres segmentos) determinación gruesa de la transformación de luminancia para relacionar las dos graduaciones (de la unidad 703), y sin curva de ajuste fino (de la unidad 704), en cuyo caso es deseable un escenario simple para la determinación de esa parte inferior de la curva de mapeo de luminancia (que luego sirve en su mayoría como curva de asignación de código para la reconstrucción de la imagen HDR en lugar de una elección de curva de graduación SDR). Obsérvese que esos sistemas automáticos también tendrán típicamente el comportamiento de desplazamiento del negro, por ejemplo, mediante la coincidencia de curvas en las estadísticas de distribución de luminancia como se muestra en la Figura 5.
Para simplificar la comprensión, se supone que la unidad de determinación de la graduación SDR gruesa 703 aplica la curva de contenido optimizado de la imagen mencionada anteriormente, por ejemplo, mediante estimación automática en base a los datos del histograma como en la Figura 5 (o de manera equivalente, esto podría basarse en la optimización del graduador humano). En general, si un ser humano está implicado, la graduación gruesa puede usar una redistribución gruesa de los píxeles más oscuros frente a los píxeles más brillantes, es decir, los subrangos de luminancia que abarcan respectivamente en el subrango de luminancia HDR frente al SDR. Por lo tanto, típicamente estará involucrada una curva como la curva de tres partes que se muestra, que controla al menos los intervalos de luminancia de las partes más brillantes y más oscuras de la escena. El lector puede comprender un escenario de uso y comportamiento típico, por ejemplo, a partir del control de contraste interregional de una escena nocturna con un escaparate. Dígase que en la tienda algunos maniquíes con ropa están bien iluminados, o incluso la tienda puede vender lámparas encendidas, y en el exterior, en la oscuridad, puede haber otros objetos, como por ejemplo, las baldosas de la acera. Con los controles gruesos, el graduador puede optimizar tales aspectos visuales como la visibilidad de los objetos en la región oscura de la imagen, como las baldosas de la acera exterior, y puede controlar lo bien que brillan las lámparas del escaparate iluminado, etc. El lector, a partir de su conocimiento de las matemáticas, puede comprender cómo una unidad automática de determinación de la función de mapeo de luminancia puede determinar una función de graduación gruesa, si la distribución de luminancia de las luminancias de píxeles en las graduaciones maestras SDR y HDR muestra un comportamiento en "forma de r" como en la Figura 5 (y también puede comprender la coincidencia de curva óptima si la forma de la nube de distribución de luminancia es algo diferente, y por qué se trata entonces de un mapeo de luminancia grueso, que ya se comporta de manera razonable al calcular una graduación SDR a codificar y comunicar correspondiente a la imagen HDR maestra, aunque no es tan perfecta como una función que con la curva optimizable de ajuste fino se aproxima mejor a la relación entre las graduaciones SDR y HDR de la escena HDR particular, y sus necesidades de regraduación colorimétrica).
Entonces, para algunas realizaciones, en su mayoría las que requieren una graduación de color de alta calidad que implica a graduadores humanos -pero también algunos sistemas automáticos podrían determinar tal una curva de ajuste fino, por ejemplo, en base a identificar una región del rango de luma HDR de entrada para el cual la curva de 3 partes mapeada se desvía demasiado de, por ejemplo, el lugar de los puntos medios por luma HDR de entrada de la nube de puntos (luminance_SDR, luminance_HDR) (lo que determinaría una curva libre en lugar de una de 3 puntos)- se puede determinar una curva de graduación fina. Esta curva se aplica a las lumas Y'R aproximadas de cada píxel que se procesa por la unidad de graduación fina 704 (después de haberse procesado por el mapeo grueso). Cuando esta curva de mapeo de luminancia de graduación fina oscila alrededor de la diagonal, el resultado neto es que en la imagen de salida SDR final, algunos subconjuntos de píxeles con brillos particulares serán graduados SDR más brillantes o más oscuros que las lumas SDR aproximadas Y'R, específicamente, con lumas precisos Y'P (la salida de la unidad 704). Esta curva puede cumplir varios requisitos artísticos, por ejemplo, crear contrastes más altos para algunos objetos de luminancia de rango medio, pero a continuación se verá cómo se puede usar elegantemente para prescribir buenas apariencias SDR para las regiones más oscuras mientras se mantiene una buena calidad de reconstrucción HDR.
Finalmente, la unidad de linealización 705 convierte las lumas de píxeles totalmente graduadas -como se deseepara la imagen de apariencia SDR en el dominio de luminancia lineal, de modo que se pueda usar este F (L_in) en la determinación posterior del factor de ganancia g (en las realizaciones que usan la transformación basada en el factor de ganancia) necesaria para realizar en última instancia la transformación de color requerida en los tres componentes de color de manera multiplicativa (como ya se aclaró con la Figura 3).
Para comprender mejor algunas de las invenciones técnicas a continuación, se analiza más a fondo un mapeo típico de un algoritmo automático que determina los parámetros para los bloques codificadores (que se usarán cuando la codificación realmente suceda, es decir, se generará una imagen SDR al aplicar las funciones de transformación de luminancia con esos parámetros, y los parámetros usados (o equivalentemente las propias formas de las funciones, por ejemplo como LUT) se codificarán junto con las imágenes SDR, por ejemplo, en mensajes SEI, de modo que un receptor pueda hacer el procesamiento inverso del color y reconstruir la(s) imagen(es) HDR a partir de la(s) imagen(es) SDR recibida(s). Y como se dijo, no se pretende que esta aclaración sea una limitación de nuestro ámbito reivindicable, porque un graduador humano puede hacer consideraciones similares.
El algoritmo automático podría usar varias heurísticas para llegar a un buen valor del desplazamiento del negro Bk_off, pero los algoritmos simples solo lo determinarán al mapear las partes inferiores de la curva siguiendo la nube de puntos de luminancia SDR-HDR. Es decir, en el ejemplo de la Figura 5 se ve que gran parte de esta nube sigue una cierta dirección y, por tanto, el segmento lineal bajo de la curva de tres partes continuará hacia el eje x (Y'_SDR=0) como lo indica la flecha, y esta intersección definirá el desplazamiento del negro Bk_off. De cualquier otra manera, el mapeo al ir con una parte lineal a través de (0,0) estaría bastante por encima de la nube real para esta escena HDR en particular, pero eso debería tener un error mayor, es decir, típicamente no sale de la estimación de función automática. Como se ha dicho, esto de bajar directamente a L_SDR=0 para L_HDR= Bk_off puede crear una hermosa apariencia SDR, pero: una mala reconstrucción de la imagen HDR para las regiones oscuras (porque, por ejemplo, el mapeo inverso de 1-a-muchos de las lumas Y'_SDR comunicadas no puede producir las luminancias HDR correctas).
Ahora, la parte interesante es que se ha incorporado un limitador de ganancia 707 en la estrategia de codificador/codificación, que se asegurará de que, independientemente de lo que hagan al menos los codificadores de graduación automática (es decir, tratar de ajustarse al menos a la curva de tres partes, después de determinar un desplazamiento del negro) la parte más baja de la curva final (para la comunicación a los receptores, que permite una buena comunicación dual de una graduación HDR como una graduación SDR) sea una curva segura para la reconstrucción. Es decir, debería codificar al menos aproximadamente lo que hay en las regiones más oscuras de la escena HDR y la imagen HDR maestra de la misma. Puede haber varias maneras de determinar tal curva, que típicamente en las realizaciones simples sucederá mediante la inserción de una curva parcial y, a menudo, una curva parcial fija para las oscuras. Es interesante, ya que los IC y el software deberían ser lo más baratos posible. Al menos, aunque en teoría los codificadores podrían ser complejos, se quiere que los decodificadores tengan un principio de reconstrucción de imágenes HDR relativamente simple. Es decir, no se prefiere nada tan complejo como estrategias de codificación extrañas que necesitan información adicional complicada. Como se puede ver en las Figuras 5 y 7, se puede incorporar esta estrategia de codificación como un cálculo máximo entre el valor SDR determinado por la transformación de luminancia óptima (es decir, la curva en forma de r F(L_HDR), que sería mala por debajo del punto 501), y la curva segura para las regiones más oscuras. Y para la mayoría de los casos se pude usar un principio de curva segura relativamente simple. Porque se ve desde la línea de puntos que continúa la curva inferior (aquí en el ejemplo solo una línea) que por encima del punto 501 la curva correcta de transformación de luminancia F(L_HDR) saldrá del cálculo máximo, y por debajo del punto 501 porque la pendiente respectivamente la altura de la transformación de luminancia F(L_HDR) es demasiado baja (en el ejemplo, incluso recortada a cero), cualquier curva parcial elegida adecuadamente con suficientes códigos SDR para representar cualquier dato de imagen semánticamente importante que se encuentre en estas regiones HDR más oscuras saldrá del cálculo máximo.
Para simplificar aún más la comprensión, se supone que la realización pragmáticamente simple de usar una curva parcial lineal para transformar los píxeles HDR más oscuros en la región 502 en colores SDR adecuados (que pueden no ser artísticamente óptimos, pero al menos bien reversibles una imagen de reconstrucción HDR, y en muchos casos también pragmáticamente aceptable, desde el punto de vista de la calidad visual). Esto se puede realizar al multiplicar en el multiplicador 706 las luminancias de los píxeles entrantes L_in por una constante que es dg. Obsérvese que en esta realización particular, las luminancias lineales se multiplican y se comparan - para la determinación máxima- con las luminancias lineales de la pista superior de procesamiento paralelo que tiene el mapeado artísticamente optimizado por completo, después de la relinealización por la unidad 705. Tal multiplicador puede manejar cualquier escenario, cualquiera que sea el espacio de color en el que se definiría L_in de la imagen HDR, y en particular es PB_C. Sin embargo, el factor dg debe elegirse adecuadamente. Pero la ventaja es que no es necesario codificarlos y transmitirlos como metadatos al (a los) receptor(es), si se supone que los decodificadores solo usarán buenas opciones inteligentes estándar para el valor de dg, o más bien a su lado 1/dg. También se puede determinar una elección adecuada en base a las propiedades globales del vídeo HDR como (co)comunicado, como su PB y valor mínimo, y potencialmente incluso en otros aspectos colorimétricos, tales como el uso previsto de las imágenes, etc.
Eso se puede ver mejor con la Figura 10. Un mapeo lineal de un número de colores oscuros puede verse como un aumento (o, si el factor de aumento es menor que 1, un aumento de atenuación). Obsérvese que en luminancias absolutas se puede esperar que la imagen HDR sea (al menos algo) más brillante que la imagen SDR (un aumento con k; k>=1), pero también puede que para las regiones oscuras tenga las mismas luminancias que la imagen SDR, ya que la pantalla SDR no puede renderizar colores brillantes, pero ambas pantallas pueden renderizar colores oscuros de manera similar típicamente. Y en algunas situaciones, la pantalla HDR podría incluso mostrar colores renderizados más oscuros para esos colores más oscuros (por ejemplo, una OLED HDR en una habitación oscura en comparación con una pantalla LCD LDR heredada). Pero en un sistema relativo (es decir, las luminancias tanto HDR como SDR son fracciones de un máximo de 1,0), para mantener los oscuros HDR aproximadamente igual de brillantes que los colores SDR, mientras se hace referencia a un PB_C que puede ser 10 o 100 veces más brillante que 100 nit, se haría una atenuación al mapear de SDR a HDR en un sistema de coordenadas relativo, y un aumento al crear la transformación de entrada HDR a SDR como en la Figura 5 (donde se puede ver, por ejemplo, el valor absoluto de 1 nit en ambos ejes). Por lo tanto, el aumento local para los colores más oscuros para el mapeo HDR-a-SDR que es la curva 1002 puede estar bien, y corresponde a una reconstrucción SDR a HDR parcial (lineal) de la curva 1001 que es el espejo con el mismo ángulo con respecto a la diagonal. Cuando se usa la curva 1002 para generar los códigos SDR para la región HDR más oscura, aún se pude tener una buena reconstruibilidad de la imagen HDR. Pero el sistema automático o el graduador puede seleccionar alguna curva que tenga un segmento local más bajo, es decir, más cercano a la diagonal. El graduador puede hacer eso porque, de cualquier otra manera, se usan demasiados códigos (SDR) para la región HDR más oscura, y esto tiene dos efectos que puede no desear para la imagen actual: 1) Algunos de los píxeles de esa región 502 que se supone que es muy oscura (por ejemplo, una habitación de fondo donde las luces están apagadas como se ve a través de la abertura de una puerta) pueden volverse demasiado brillantes y también muy inconvenientes: 2) puede que no haya suficientes códigos SDR para codificar con suficiente calidad todas las luminancias por encima del punto 501 (donde podría haber muchas regiones de luminancia HDR para estar bien representadas, por ejemplo, alguna parte más clara de una vista en un armario oscuro sin luz, un pasillo interior mal iluminado y lejos de las ventanas al mundo exterior, una región de luminancia promedio que sea una oficina conectada al pasillo a través de una ventana de cristal, y el mundo exterior soleado visto a través de las ventanas del otro lado de la oficina). De modo que por eso elige una curva 1003 tan baja (y el algoritmo automático puede hacerlo porque sigue ciegamente los datos como en la Figura 5, cualquiera que sea la forma que pueda tener la nube de puntos de luminancia).
Por lo tanto, si en el codificador se elige un valor mínimo permitido de dg (correspondiente en este gráfico que muestra la reconstrucción de la imagen HDR a partir de la imagen SDR, o más precisamente como entrada de los valores Y'_SDR de su píxel, con el correspondiente valor 1/dg del lado del receptor/decodificador), entonces nunca se seleccionará un valor inferior de una curva más cercana a la diagonal que la curva 1002 si el limitador de ganancia 707 calcula el máximo de lo que sea F(L_in) que calcule esa curva elegida y que dg*L_in.
En el lado de la decodificación, las curvas parciales que se aumentan demasiado, es decir, más cerca de la diagonal que por debajo de ella, no pueden salir de un cálculo mínimo con como segunda entrada la curva lineal 1001, es decir (1/dg)*Y'_SDR. Finalmente (ya que se ha adaptado y explicado esta realización para trabajar con imágenes de salida SDR clásicas, interpretables Rec709), una calculadora de raíz cuadrada 708 (o un convertidor de OETF Rec 709) calcula a partir de la representación de luminancia lineal L_SDR_out de la luminancia de píxel correctamente graduada para el píxel que procesa una luma SDR Y'_SDR, que puede usarse como de costumbre, por ejemplo, en la compresión de vídeo h Ev C cuando esta imagen se comprime para la comunicación de vídeo. Es decir, esta imagen comunicada es usable, y los sistemas heredados la tratarán como una imagen SDR de buena calidad visual directamente renderizable, es decir, con las lumas que se definen como aproximadamente la raíz cuadrada de las luminancias SDR renderizables. Pero, como se explicó, esta imagen es también una codificación de una imagen HDR, reconstruible al aplicar inversamente los mapeos matemáticos de la pista superior en la Figura 7 junto a la pista inferior, como se muestra en el decodificador SDR-2-HDR ilustrativo de la Figura 6. Como se muestra, las luminancias HDR en guiones también pueden representarse por medio de una operación de raíz cuadrada u otra función de asignación de código luma adecuada para la aplicación, por ejemplo, comunicar la(s) imagen(es) desde el decodificador a una pantalla en una conexión con propiedades del protocolo de comunicación preestablecidas.
El parámetro dg depende del pico de brillo de la graduación HDR maestra en comparación con la de la segunda graduación, que en el caso de que sea una graduación SDR es siempre de 100 nit (pero HDR PB_C puede, en algunas realizaciones, como la graduación para disco BD, ser de 1.000 nit, y en otras 5.000 o 10.000 nit, etc.).
Un buen valor pragmático de g en función de PB_C_HDR está en el dominio lineal dg_lin=0,05*PB_C_HDR/100 (es decir, en el lado del codificador, y en el lado del decodificador, nuestras realizaciones correspondientes usarían 1/dg). Este valor lineal de 0,05 corresponde en el dominio pseudologarítmico con un valor de 0,287. Si el codificador conoce que el decodificador esperará que las luminancias HDR más oscuras se codifiquen en la imagen SDR (por ejemplo, linealmente en las realizaciones simples) de acuerdo con este valor, puede crear las lumas SDR de tal manera y el decodificador las decodificará correctamente con los valores 1/dg, sin necesidad de más información. Aunque eso funciona bien para la mayoría de las imágenes y situaciones, en particular en los sistemas de codificación automática, algunas imágenes o situaciones pueden requerir más precisión y una optimización dependiente de la imagen de la codificación segura de las luminancias HDR más bajas, como se refleja en la curva de mapeo de luminancia parcial para las luminancias HDR más oscuras en la región 502. A continuación, se mostrará cómo puede hacerse de una manera práctica a través de la curva de graduación fina, por ejemplo, el graduador dará forma a su parte más baja de acuerdo con sus preferencias, de modo que brinde una mejor apariencia de las subregiones SDR de esas regiones HDR oscuras, pero sigue siendo una buena reconstrucción automática de la imagen HDR, dado que la curva personalizada seleccionada se comunica en los metadatos (la curva que se aplicará en el decodificador por la unidad 602).
Después de esta explicación del codificador, las unidades de una posible realización del decodificador de la Figura 6, pueden ser comprendidas por el lector experto, ya que es la inversa de la codificación. Ahora, la unidad de graduación fina 602 restablece los brillos de píxeles de los lumas precisos de la imagen de entrada SDR a los lumas de curso Y'R (es decir, como esto también puede formularse: hace una regraduación en el rango dinámico SDR). Subsecuentemente, el optimizador de rango dinámico 603 calcula una versión escalada Y'HPS de las lumas HDR (que aún sucede típicamente en el rango completo 0,0-1,0, ahora sin embargo es una representación relativa de un rango dinámico HDR). Y finalmente, el extensor de rango 604 posiciona estas versiones escaladas correctamente en el eje de luminancias HDR de, por ejemplo, una representación HDR PB_C = 5.000 nit, como se ha dicho, por ejemplo, al mapear la luma escalada máxima a 1.500 nit (es decir, el punto 1,0 de la representación de imagen Y'HPS resultante del optimizador de rango dinámico 603, mapea a 1.500 nit, y no a 5.000 nit, porque ese fue el píxel más brillante en, por ejemplo, esa toma de imágenes de esa escena que se está procesando actualmente). Finalmente, la unidad de linealización 605 crea una representación de luminancia de la luminancia HDR correctamente reconstruida, pero aún una intermedia L_HDR_IM, porque el limitador de ganancia 611 aún necesita aplicar la estrategia correcta de codificación segura (alternativa a la pista superior del procesamiento de regraduación secuencial) para las luirías SDR más oscuras (que corresponden a las luminancias HDR más oscuras originales en la región 502 de la imagen HDR maestra en el lado de creación/codificación).
En general, este limitador de ganancia 611 aplicará la inversa de cualquier estrategia de mapeo que se haya aplicado en el lado de la creación. Para simplificar la comprensión, se supondrá de nuevo que se ha usado la estrategia lineal, con una ganancia adecuada dg que puede calcularse por cualquier receptor en base al PB_C de la imagen HDR original que representa la imagen SDR recibida (que también se comunica siempre en metadatos, de cualquier otra manera, el receptor no puede determinar el rango de luminancia correcto de la representación Y'CbCr o RGB de la imagen HDR), como se describió anteriormente. En esa realización útil muy pragmáticamente simple, el multiplicador 610 multiplicará Y'_in con 1/dg (en el caso de que se use un algoritmo de protección de codificación HDR genérico en el codificador y decodificador, cualquier escala que se necesite puede tenerse en cuenta directamente en el limitador de ganancia 611). Por lo tanto, en la realización simple, el limitador de ganancia en el decodificador calcula el mínimo de L_HDR_IM y (1/dg)*Y'_in, lo que produce L_HDR_out. Algunas realizaciones del decodificador usarán directamente ese valor para realizar la transformación final del color, por ejemplo, en caso de que las cromaticidades de la imagen HDR se conviertan en colores 3D mediante el uso de L_HDR_out correcto. Otras realizaciones pueden desear una versión de raíz cuadrada de esto (que es una interpretación Rec. 709 de las luminancias de la imagen HDR), y en ese caso puede estar presente una calculadora 612 de raíz cuadrada opcional.
Debido a que también se ha enseñado un número de ejemplos que hacen la transformación de color/luminancia de la decodificación (reconstrucción a HDR) por medio de un factor multiplicativo g para multiplicar los tres componentes de color por este g (en cualquier forma que puedan ser, por ejemplo RGB lineal o no lineal, YCbCr, etc.), se da otra realización aclaratoria en la Figura 8. Mientras que el decodificador anterior usó el principio de seleccionar una luminancia, que aún se usará en el cálculo de un factor g a partir de entonces, se puede aprender de la Figura 8 que se puede hacer la estrategia de minimización (o cualquier estrategia de decodificación correcta de buena calidad para los píxeles oscuros en general), también en base a los valores de g. Todos los componentes de la rama superior son de nuevo como se ha explicado. Entonces, la calculadora de ganancia 801 calcula la ganancia al dividir el valor F(Y'_in), que se calculó al aplicar las varias formas de función de transformación de luminancia según lo determinado por su codificación en los metadatos recibidos (es decir, por ejemplo, imágenes SEI que contienen a_d, a_H y WP para la conversión aproximada, por ejemplo, una función lineal basada en puntos de control de 8 formas para la función de graduación fina de la unidad 602, o una LUT más precisa, etc.), es decir, sin tener en cuenta el comportamiento particular (seguro de codificación) para las luminancias más oscuras. En esta representación, la unidad de cálculo mínimo 802 calcula ahora el mínimo de la ganancia g determinada por la calculadora de ganancia 801 y 1/dg como se conoce (o en algunas realizaciones también se podría comunicar un valor para este dg como se usó en el lado de la creación, en caso de que se desvíe del estándar de la ecuación anterior), que produce un g_fin final para la multiplicación con los tres componentes de color. El lector experto puede imaginar un codificador correspondiente, o cómo pueden usarse, mutatis mutandis, otras estrategias para llegar a buenos valores g_fin, por ejemplo, recibir una LUT de valores g desde el lado de la creación para las luminancias más oscuras.
Más interesante aún, la Figura 9 da una realización más compleja de un decodificador HDR, ya que puede ponerse en sistemas que pueden conseguir varios contenidos que se han creado de varias maneras, en particular en cuanto a las posibilidades de determinar una buena estrategia para codificar las luminancias más oscuras de la región 502 de la imagen HDR como un buen subconjunto de las lumas SDR más oscuras. Tal IC o software puede residir, por ejemplo, en un televisor o STB que pueden obtener material de película graduado de alta calidad, por ejemplo, un conjunto de imágenes SDR (o HDR) comunicadas junto con los metadatos de las funciones de transformación de color necesarias (en general, aparte de lo que se ha explicado para aclarar la presente invención, también puede haber transformaciones de color específicas, por ejemplo, modificar la saturación de los colores de los píxeles), a través de Internet desde un servidor de suministro de películas, o una simple difusión de televisión a través de una conexión satelital. En este ejemplo, se supone que, por ejemplo, un graduador humano ha creado una mejor estrategia para mapear las luminancias HDR más oscuras que la estrategia lineal anterior. Se puede hacer esto a través de una función parcial F_bk. Aunque la lineal es una estrategia que es pragmáticamente simple pero que trabajará bien en la mayoría de los casos, con la estrategia alternativa/paralela, más compleja pero aún segura para la codificación, para los píxeles más oscuros de la escena HDR, el graduador podría incorporar un comportamiento de graduación específico para los ultraoscuros, en caso de que esa escena HDR aún lo necesite. En varias realizaciones hay varias maneras de hacerlo, por ejemplo, puede comunicar esta forma parcial a través de la codificación LUT del mapeo de luminancia de graduación fina para cargarlo en la unidad 602, es decir, como una única función. Alternativamente, puede comunicar una función parcial que debe anular la forma de la parte más baja de la función de mapeo de luminancia de graduación fina, etc. Ahora, el comportamiento de la limitación de ganancia debería, en ese caso, determinarse por ejemplo, por la forma determinada por el graduador de la parte más baja de esa función de graduación fina, es decir, debería obviarse el cálculo del Mínimo (es decir, el decodificador debe tener un mecanismo de control que detecte la situación, ya sea el primero con la estrategia simple para la decodificación alternativa/paralela de los ultraoscuros, o los oscuros más oscuros, o si se usó la estrategia alternativa más sofisticada para los ultraoscuros en el lado de la codificación), sin embargo, si entra, por ejemplo, otro contenido con graduación automática más gruesa (por ejemplo, porque el espectador cambia a un programa de vídeo suministrado por cable o satélite), debe aplicarse (de nuevo) la versión lineal explicada en la Figura 6. Una realización útil es realizar este enfoque basado en la curva de graduación fina al establecer el desplazamiento del negro (BK_off) en cero y luego determinar en la curva de graduación fina un mapeo para todas las luminancias HDR a SDR a partir de L_HDR=0 (es decir, en el lado del decodificador, cualquiera que sea la forma de la función de graduación fina, los valores de L_in que son cero (de la imagen HDR) se mapearían típicamente a lumas Y'_SDR que son cero, y no como en la Figura 5, donde la luminancia HDR del punto 501 ya se mapearía a cero, es decir, si sólo se aplica la rama superior del procesamiento basado en la transformación de luminancia, y no la limitación de ganancia con la parte lineal con pendiente dg). Un procesador 901 que ejecuta un programa de verificación verificará esta situación: en caso de que el desplazamiento del negro Bk_off sea cero, debería suceder la decodificación basada en la curva de graduación fina para las lumas SDR más oscuras, y en caso de que no sea así, la estrategia que calcula el mínimo de F(Y'_in) -respectivamente g en la otra realización del decodificador- y debería ocurrir la decodificación SDR con pendiente lineal de 1/dg. Por tanto, el procesador 901 envía una señal de control al conmutador 902, que selecciona cualquier variante que sea apropiada para la situación dada.
La Figura 12 muestra otra realización del codificador (1200), cuya investigación ha demostrado que es particularmente interesante, especialmente si se usa con nuestra curva de percepción de Philips, por ejemplo, con rho=25. Nuestra ecuación 1 tiene un valor de rho dependiente de PB_C, para el cual se puede usar una función de asignación que también usa (es decir, conoce) el decodificador, por tanto, solo se necesita comunicar el valor de PB_C, por ejemplo, PB_C = 33 para 10.000 nit, PB_C, 25 para 5.000, 13,2 para 1.000 (un PB_C de 100 nit correspondería a 5,7, aunque obviamente ese no es un valor de PB_C para codificaciones de imágenes HDR, solo para mapear imágenes s Dr a nuestro dominio de luma perceptual de Philips). Una ecuación para conseguir rho para cualquier PB_C puede ser:
Rho(PB_C)=1+(33-1)*potencia(PB_C/10.000;1/(2,4)), y para codificaciones HDR, PB_C estaría típicamente por encima de 800 nit.
Las varias unidades (graduación fina basada en la forma de la curva personalizada, graduación gruesa de la curva de tres partes basada en el control de los contrastes para los oscuros y los brillos de la imagen, y el desplazamiento de blanco y negro) pueden comprenderse de nuevo como iguales o similares a las realizaciones anteriores. Es decir, por ejemplo, un graduador (o aparato de graduación automática) decide que quiere mapear la luminancia más brillante (realmente técnicamente implementada como la luma más brillante correspondiente) de la imagen HDR al máximo de las lumas SDR (es decir, 1.023 en codificación de 10 bits), y tal vez también se desplaza el negro, típicamente al código SDR más bajo (0). Luego, se realiza un ajuste de la apariencia gruesa de los brillos y los oscuros, al asignar rangos, brillos promedio y contrastes a esas partes de la imagen al seleccionar la forma de la curva, por ejemplo, iluminar las partes más oscuras de una escena nocturna que, de cualquier otra manera, con sus valores de luma de imagen HDR, se verían demasiado oscuras en las pantallas SDR. Por lo tanto, por ejemplo, se especifica el rango 0-M1_HDR para los ultraoscuros, y lo mapea con una curva lineal en la representación perceptual a 0-M1_SDR, y de manera similar mapea M2_HDR-1 a M2_SDR-1 correspondiente de nuevo a un mapeo lineal en ese subrango de las luminancias más brillantes. Luego especifica, o ese dispositivo/codificador de graduación especifica por sí mismo, alguna función de conexión suave para los valores de luminancia intermedios. Entonces, el graduador desplaza las luminancias de algunos objetos, o realmente sus lumas correspondientes (que se sitúan a lo largo de los respectivos subrangos de luminancia) a posiciones más apropiadas para hacer que, por ejemplo, una cara parezca más limpia, o alguna lámpara en la escena algo más brillante, etc., con la curva de graduación fina elegida. Esto produce "brillo" SDR, o más precisamente lumas en la representación de brillo perceptualmente uniforme (Y'P).
La diferencia ahora es que el cálculo máximo (o, en general, la determinación equivalente de la más adecuada de las estrategias de codificación para las lumas Y'_SDR de SDR más oscuras Y'_SDR a emitir) se realiza en el dominio perceptualizado. Para ello, debe determinarse una constante óptima gP en este dominio, para multiplicar con las lumas HDR Y'HP perceptualizadas (calculadas mediante la unidad de conversión de espacio perceptual 1201) por el multiplicador 1203. En tales realizaciones de codificadores, la unidad de linealización 1205 viene en el orden de conexión del circuito después del limitador de ganancia (1204), en lugar de antes, porque el cálculo máximo también sucede en el espacio perceptual.
A partir de la investigación, los inventores demostraron que funcionaba bien en todas las imágenes de prueba HDR típicas si esta estrategia hacía una asignación independiente del pico de brillo del código (PB_C, es decir, de la imagen HDR maestra a codificar) de un subrango de los colores h Dr más oscuros [0-HDRL] a un subrango de los colores SDR más oscuros [0-SDRL], de manera lineal en el espacio perceptual, es decir, que puede representarse mediante una constante multiplicativa, específicamente, gP.
A partir de la experimentación se demostró que la luma perceptual correspondiente a una luminancia HDR de 1 nit (siempre, independientemente de cuál sea el pico de brillo de la imagen h Dr a codificar) es buena para usar para el valor HDRL, y una luma perceptual correspondiente a 0,1 para el umbral superior SDRL.
El valor multiplicativo gP puede codificarse entonces como:
gP=PH(0,1/100, 100)/PH(1/PB C,PB C). [Ec. 2]
En esta notación, PH es la fórmula de nuestra ecuación 1 anterior y, más precisamente, el valor de la función relativa que sale si la entrada es el primer valor antes de la coma. Por lo tanto, el primer PH es la forma funcional cuando se usa hasta un código de pico de brillo máximo para SDR que es típicamente 100 nit (y, de cualquier otra manera, en lugar de 100, se rellena PB_C_SDR, por ejemplo, 200, pero se mantienen las cosas simples en esta aclaración de los principios de la realización), y se toma el valor de salida para una entrada de 0,1, por lo que 1/1000 de la luminancia SDR máxima posible (100). De manera similar, la segunda parte, el denominador de la división, es el valor de luma que resulta de introducir en la función perceptual PH de Philips (que, sin embargo, ahora se supone que cubre un rango hasta lo que necesita la imagen de entrada HDR, por ejemplo, PB_C = 5.000 nit, que se indica con el PB_C después de la coma), el valor correspondiente a las luminancias h Dr de 1 nit, es decir, un valor relativo de 1/PB_C, por ejemplo, 1/5.000 en el caso de un PB_C de 5.000 nit. Se podría aproximar esto por gP+-= 0,67log(PB_C)/log(1.000).
De manera interesante, las realizaciones en las que elegimos el valor rho de la función PH fijo (y el valor gamma también, típicamente 2,4), no necesitan comunicación del valor gP seleccionado desde el sitio de codificación a ningún lado receptor (aunque algunas realizaciones podrían hacerlo), y el decodificador puede calcular su constante inversa necesaria 1/gP por sí mismo con solamente conseguir comunicar cuál es el pico de brillo del código HDR (o la imagen SDR que realmente comunica esta imagen HDR), que se necesita haber comunicado de todos modos, ya que uno necesita conocer con qué luminancia blanca se va a renderizar, corresponde realmente el código R=G=B=1.023. Por lo tanto, se puede ahorrar en bits de comunicación, lo que también significa que si los metadatos no son necesarios, no se pueden perder ni corromper, con las consiguientes consecuencias erróneas. Eso es siempre que el codificador y el decodificador también hayan preestablecido (debido al algoritmo de codificación que usan, por ejemplo, HEVC-profile-X) por ejemplo, 1 nit y 0,1 nit del mapeo de los oscuros.
Los experimentos han conducido a los resultados de que si se usa la inversa de la recientemente estandarizada EOTF de Rec. 1886 (en lugar de usar la OETF de Rec. 709 como se hacía clásicamente) en la unidad de codificación de luma SDR (1206) para calcular las lumas SDR reales Y'_SDR que se pondrán en la señal de imagen SDR y se comunicarán a los receptores, entonces se tiene alrededor de 50 códigos de luma para codificar cualquier estructura de imagen que esté presente en los ultraoscuros de la imagen de la escena HDR, es decir, píxeles con luminancias por debajo de 1 nit. La EOTF que típicamente se usa para esto será L_out=a*power((Y'_SDR+b); 2,4), con a=1,0 y b=0. Los lumas Y'_SDR son los que se escriben en el archivo y representan al mismo tiempo los brillos de los píxeles de la apariencia SDR que se ha creado para la(s) imagen(es) HDR maestra(s), así como también los brillos en esas imágenes HDR maestras, siempre que, por supuesto, se calculen mediante la aplicación de nuestras funciones de transformación de color, en particular, nuestras funciones de transformación de luminancia. Lo que Rec. 1886 define como una luminancia de salida renderizada L_out en un monitor SDR estándar, como se dijo para nosotros, será la entrada para el inverso de esta EOTF, es decir, una OETF que convierte las luminancias en códigos luma. Las luminancias serán las representativas de las luminancias maestras HDR, después de que se hayan convertido a un rango de luminancia de 0-100 nit, o cualquier rango de luma equivalente correspondiente, es decir, son los valores Lo de la Figura 12 son luminancias contenidas en el rango dinámico SDR, correspondiente a las lumas HDR de entrada Y'_in, que son, por ejemplo, exactamente o aproximadamente la raíz cuadrada de las luminancias de píxeles de la imagen HDR maestra original.
Hay que prever varios escenarios de uso, ya que nuestro codificador puede usarse tanto para el consumo directo como para el almacenamiento maestro del vídeo original que puede usarse años más tarde en sistemas de renderizado de mayor calidad. Los ultraoscuros podrían renderizarse tanto en sistemas de televisión clásicos, donde cualquier cosa por debajo de 0,1 nit no es generalmente tan interesante, o ni siquiera se ve debido al reflejo de la luz de la habitación en la placa frontal de la pantalla, pero las imágenes también pueden renderizarse en entornos oscuros en pantallas capaces de renderizar negros profundos como las OLED, e incluso puede ser que la pantalla o los aparatos que le suministran imágenes utilicen algoritmos de brillo internos que aumentan en algo la luminancia de los colores más oscuros. Sin embargo, a pesar de que las imágenes HDR bien pueden, además de muchos objetos muy brillantes, contener también regiones muy oscuras (por ejemplo, en escenas nocturnas), alrededor de 50 códigos luma deberían ser suficientes para tales regiones que, debido a que son oscuras, no serán perfectamente visibles ni típicamente, la parte más importante de la imagen (y todos los detalles de la imagen aún se representan con alrededor de una quinta parte de la cantidad de códigos que se usaban para representar "perfectamente" todo tipo de imágenes en la era LDR/SDR). El lector también debe observar que en esta realización el procesamiento comienza en las luminancias HDR de entrada L_in, es decir, si se usan simplemente las luminancias HDR o si aún se introducen como alguna función de las luminancias lineales, por ejemplo, una raíz cuadrada, es una opción técnica de diseño de circuitos que se puede variar libremente combinada con todas las demás partes de las presentes enseñanzas de aplicación.
Debido a que el lector experto ahora puede comenzar a comprender cómo diseñar las varias variantes alternativas combinatorias de nuestro principio, la Figura 11 muestra dos realizaciones intercaladas de un decodificador (1100) que corresponde al(a los) tipo(s) de codificador(es) de la Figura 12. Se ha mostrado con guiones que algunas realizaciones pueden tener una verificación condicional de la situación por el procesador 1101 (como ya se aclaró de manera similar con la Figura 9), en cuanto a si la decodificación de los píxeles más oscuros de la imagen SDR recibida se decodificaría con la estrategia de minimización, o si un conmutador 1102 obviaría eso, y toda la decodificación se manejaría puramente desde las funciones recibidas, que funcionan como una determinación de código, capaz de convertir las lumas SDR recibidas Y'_in en las luminancias HDR reconstruidas Lo, como se necesitarían. El multiplicador 1103 ahora usa la constante inversa 1/gP, que como se dijo, en muchas realizaciones prácticas puede calcularse (típicamente una vez por película, o en general nuevo contenido recibido, tal como después de un conmutador de canal) por el dispositivo receptor, ya que sabe lo que el codificador habría usado de manera similar. Por lo tanto, algunas realizaciones usarían siempre el circuito con el limitador de ganancia 1105, sin que esté presente el lazo de control opcional del procesador 1101. El lector experto también debe comprender que nuestros principios no impiden que un valor de 1/gP se comunique realmente, por ejemplo, almacenado en un sector de un disco, o en metadatos co-comunicados con una señal recibida, etc.
Para ser capaces de usar nuestra función de perceptualización de Philips con rho=5,7, primero aplicamos la EOTF Rec. 1886 (con b = 0 y a = 0) a las lumas SDR recibidas Y'_in (como se comunicaron en, por ejemplo, la señal codificada de imagen HEVC), para conseguir luminancias SDR lineales normalizadas L_SDR_in como punto de partida (por supuesto, en algunas realizaciones, esas dos unidades podrían combinarse, ya que será una LUT fija, puesto que debido al PB_C estandarizado de 100 nit de SDR, rho es siempre 5,7 si tales codificaciones se usan como entrada, que es la manera probable en que se usará nuestra realización, al menos en un futuro previsible). La conversión lineal de la unidad 1111 tendrá de nuevo un rho que depende del valor recibido de PB_C que indica qué codificación HDR se usó.
La Figura 13 muestra algunos valores típicos de g, para posibles picos de brillo del código PB_C (es decir, no necesariamente la luminancia más brillante de la imagen, sino lo que la imagen podría contener (si se usaran todos los códigos, es decir, el píxel más brillante estuviera al máximo), y la codificación debería ser capaz de manejar). Se puede codificar esto, por ejemplo, como un LUT y ponerlo en el hardware del decodificador.
Los componentes algorítmicos divulgados en este texto pueden (en su totalidad o en parte) realizarse en la práctica como hardware (por ejemplo, partes de un IC de aplicación específica) o como software que se ejecuta en un procesador de señal digital especial, o un procesador genérico, etc.
Debe ser comprensible para el experto de nuestra presentación qué componentes pueden ser mejoras opcionales y pueden realizarse en combinación con otros componentes, y cómo las etapas (opcionales) de los procedimientos corresponden a los medios respectivos de los aparatos, y viceversa. La palabra "aparato" en la presente solicitud se usa en su sentido más amplio, específicamente, un grupo de medios que permiten la realización de un objetivo particular y, por tanto puede ser, por ejemplo, (una pequeña parte del circuito de) un IC, o un aparato dedicado (tal como un aparato con pantalla), o parte de un sistema en red, etc. "Disposición" también se destina a usarse en el sentido más amplio, por lo que puede comprender, entre otras cosas, un único aparato, una parte de un aparato, una colección de (partes de) aparatos cooperantes, etc.
Debe comprenderse que la denotación del producto de programa informático abarca cualquier realización física de una colección de comandos que permiten a un procesador genérico o de propósito especial, después de una serie de etapas de carga (que pueden incluir etapas de conversión intermedias, tal como la traducción a un idioma intermedio y un lenguaje final del procesador) ingresar los comandos en el procesador, para ejecutar cualquiera de las funciones características de una invención. En particular, el producto de programa informático puede realizarse como datos en un soporte tal como, por ejemplo, un disco o una cinta, datos presentes en una memoria, datos que viajan a través de una conexión de red -cableada o inalámbrica-, o código de programa en papel. Además del código del programa, los datos característicos requeridos para el programa también pueden incorporarse como un producto de programa informático.
Algunas de las etapas necesarias para la operación del procedimiento pueden estar ya presentes en la funcionalidad del procesador en lugar de estar descritos en el producto de programa informático, tal como las etapas de entrada y salida de datos.
Se debe señalar que las realizaciones mencionadas anteriormente ilustran más que limitan la invención. Cuando el experto puede realizar fácilmente un mapeo de los ejemplos presentados a otras regiones de las reivindicaciones, por concisión, no hemos mencionado todas estas opciones en profundidad. Aparte de las combinaciones de elementos de la invención como se combinan en las reivindicaciones, son posibles otras combinaciones de los elementos. Cualquier combinación de elementos puede realizarse en un solo elemento dedicado.
Cualquier signo de referencia entre paréntesis en la reivindicación no pretende limitar la reivindicación. La palabra "que comprende" no excluye la presencia de elementos o aspectos no mencionados en una reivindicación. La palabra "un" o "uno" que precede un elemento no excluye la presencia de una pluralidad de tales elementos.

Claims (12)

REIVINDICACIONES
1. Un decodificador de vídeo (600, 1100) que se dispone para calcular una imagen HDR (Im_RHDR) que tiene un píxel que tiene una luminancia, en base a la aplicación a una luma (Y'_in) de un píxel de una imagen de rango dinámico estándar de 100 nit recibida (Im_RLDR) un conjunto de funciones de transformación de luminancia, las funciones que comprenden al menos un mapeo de luminancia grueso (FC), que se aplica mediante un optimizador de rango dinámico (603) a la luma del píxel (Y'_in) de la imagen de rango dinámico estándar que produce una luma ajustada al rango dinámico (Y'HPS) y, subsecuentemente, mediante un extensor de rango (604) la aplicación de una segunda función que es un mapeo del valor más oscuro (0) de la luma ajustada de rango dinámico (Y'HPS) sobre un valor de desplazamiento del negro recibido (Bk_off) que produce una luminancia HDR intermedia (LJHDRJM) o luma (Y'Hp );
caracterizado porque el decodificador de vídeo HDR comprende además un limitador de ganancia (611, 1105) que se dispone para aplicar, como un cálculo de luminancia alternativo que se realiza sobre los colores más oscuros de la escena HDR en paralelo a la aplicación del conjunto de funciones de transformación de luminancia para obtener una luminancia alternativa para un píxel de dichos colores más oscuros de la escena HDR de la imagen HDR (Im_RHDR), una función de transformación de luminancia alternativa a la luminancia de píxel (Y'_in) de la imagen de rango dinámico estándar que mapea en un subconjunto (502) de las luminancias más oscuras de la imagen HDR correspondientes a las lumas más oscuras (Y'_in) de la imagen de rango dinámico estándar, en el que el limitador de ganancia se dispone para seleccionar un mínimo de uno de ellos, como primera entrada la luminancia HDR intermedia (Lj HDRj IM) o luma obtenida mediante la aplicación del conjunto de funciones de transformación de luminancia, y como segunda entrada la función de transformación de luminancia alternativa de la luma de entrada (Y'_in),
en el que el decodificador de vídeo HDR recibe al menos un mapeo de luminancia grueso (FC) y el valor de desplazamiento del negro (Bk_off) como metadatos de la imagen de rango dinámico estándar de 100 nit recibida (Im RLDR) y
en el que la función de transformación de luminancia alternativa es la inversa de la función de transformación de luminancia alternativa que fue usada por el codificador que creó la imagen de rango dinámico estándar de 100 nit recibida.
2. Un decodificador de vídeo HDR (600) como se reivindicó en la reivindicación 1, en el que la transformación de luminancia alternativa se define como una multiplicación de una constante prefijada o recibida (1/gP) por el valor de una luma perceptualizada (Y'P), cuya luma perceptualizada (Y'P) se calcula mediante la aplicación de una función no lineal a la luma de entrada, cuya función no lineal se caracteriza porque un conjunto de valores de luma perceptualizados en posiciones equidistantes entre sí tiene una apariencia de brillo visualmente uniforme.
3. Un decodificador de vídeo HDR (600) como se reivindicó en la reivindicación 2, en el que la función no lineal tiene una definición de
Y'P=log[(1+(rho-1)*potencia(L_SDR in,1/2,4)]/log(rho), en el que L_SDR_in son luminancias lineales de la imagen de rango dinámico estándar (Im RLDR), y en el que rho es una constante prefijada o comunicada.
4. Un decodificador de vídeo HDR (600) como se reivindicó en la reivindicación 2 o 3, en el que la constante (1/gP) se determina por el decodificador de vídeo HDR en función de un valor recibido de un pico de brillo de codificación (PB_C) de la imagen HDR.
5. Un decodificador de vídeo HDR (600) como se reivindicó en cualquiera de las reivindicaciones anteriores, que comprende un procesador (901) para controlar la selección de la transformación de luminancia alternativa o una transformación sobre la base del conjunto de funciones de transformación de luminancia para al menos las luminancias más oscuras de la imagen de rango dinámico estándar (Im_RLDR), en el que el conjunto de funciones de transformación de luminancia comprende una función de graduación fina que comprende la memoria descriptiva de la transformación para las luminancias HDR más oscuras en las luminancias más oscuras de la imagen de rango dinámico estándar (Im_RLDR).
6. Un decodificador de vídeo HDR (600) como se reivindicó en 5, en el que ese procesador (901) se dispone para determinar qué transformación de luminancia aplicar en base a la verificación de si el valor recibido de un desplazamiento del negro (Bk_off) es cero o no.
7. Un codificador de vídeo HDR que se dispone para calcular una luminancia (L_SDR out) de un píxel de una imagen de rango dinámico estándar de 100 nit (Im_RLDR) que representa una imagen HDR de entrada (Im_RHDR), el codificador de vídeo HDR aplica un conjunto de funciones de transformación de luminancia que comprende:
- un extensor de rango (702) que se dispone para mapear un valor de una luminancia o luma HDR de entrada (Y'HP) a un valor mínimo de negro (Bk_off), lo que produce como salida una luminancia o luma de representación de color estirada (Y'HPS); y
- un optimizador de rango dinámico (703) que se dispone para aplicar un mapeo de luminancia grueso a la luminancia o luma (Y'HPS) de representación de color estirada que produce una luma (Y'R) o luminancia resultante, que especifica la asignación de una subregión de luminancia oscura y brillante de la imagen HDR a una subregión oscura respectivamente brillante correspondiente del rango de la luminancia o luma (Y'R) resultante;
caracterizado porque el codificador de vídeo HDR comprende además
un limitador de ganancia (707) que se dispone para aplicar, como un cálculo alternativo sobre la luminancia o luma comprendida en un subconjunto de los colores más oscuros de la escena HDR de la imagen HDR de entrada, que se realiza en paralelo a la aplicación del conjunto de funciones de transformación de luminancia, una función de transformación de luminancia alternativa para transformar un subconjunto (502) de dichas luminancias más oscuras de la imagen HDR en un rango de lumas más oscuras correspondientes (Y'_in) de la imagen de rango dinámico estándar, lo que produce una luminancia o luma alternativa,
en el que el limitador de ganancia se dispone para calcular un máximo de uno de ellos, como primera entrada el luma (Y'R) o luminancia resultante (Y'R) y como segunda entrada el luma o luminancia alternativa, como un luma o luminancia de salida.
8. Un codificador de vídeo HDR como se reivindicó en la reivindicación 7, en el que la transformación de luminancia alternativa se define como una multiplicación de una constante prefijada o recibida (gP) por el valor de una luma perceptualizada (Y'HP), cuya luma perceptualizada (Y'HP) se calcula mediante la aplicación de una función no lineal a la luminancia de entrada HDR (L_in), cuya función no lineal se caracteriza porque un conjunto de valores de luma perceptualizados en posiciones equidistantes entre sí tiene una apariencia de brillo visualmente uniforme, y en el que el limitador de ganancia (1204) calcula un valor máximo de como primera entrada el luma perceptualizado multiplicado por la constante prefijada o recibida (gP), y como segunda entrada el valor de una luma perceptual (Y'P) resultante de aplicar sucesivamente a la luma perceptualizada (Y'HP) un estiramiento de rango por el extensor de rango y un mapeo de luminancia grueso por el optimizador de rango dinámico.
9. Un procedimiento de decodificación de vídeo HDR que se dispone para calcular una imagen HDR (Im_RHDR) que tiene un píxel que tiene una luminancia, en base a aplicar a un luma de un píxel de una imagen de rango dinámico estándar de 100 nit recibida (Im_RLDR) un conjunto de funciones de transformación de luminancia, las funciones que comprenden al menos un mapeo de luminancia grueso (FC), y comprendiendo el procedimiento:
- aplicar el mapeo de luminancia grueso (FC) a un luma de entrada (Y'P), lo que produce una luma ajustada al rango dinámico (Y'HPS); y subsecuentemente
- aplicar una segunda función que realiza un mapeo del valor más oscuro (0) de la luma ajustada al rango dinámico (Y'HPS) sobre un valor de desplazamiento del negro recibido (Bk_off), lo que produce una luminancia o luma HDR intermedia; el procedimiento caracterizado porque comprende además:
aplicar como cálculo en paralelo a la aplicación de un conjunto de funciones de transformación de luminancia una estrategia de limitación de ganancia, mediante la determinación de una función de transformación de luminancia alternativa, como una alternativa para los colores más oscuros de la escena HDR a la transformación de luminancia aplicada con el conjunto de funciones de transformación de luminancia que comprende el mapeo grueso, para calcular las luminancias que caen en un subconjunto (502) de las luminancias más oscuras de la imagen HDR a partir de las lumas más oscuras correspondientes (Y'_in) de la imagen de rango dinámico estándar,
mediante la aplicación de la función de transformación de luminancia alternativa a la luma de entrada, y
- seleccionar el mínimo de uno de ellos, como primera entrada la luminancia calculada a través del conjunto de funciones de mapeo de luminancia y como segunda entrada la luminancia alternativa o luma que es la salida de la estrategia de limitación de ganancia,
en el que el procedimiento comprende recibir al menos un mapeo de luminancia grueso (FC) y el valor de desplazamiento del negro (Bk_off) como metadatos de la imagen de rango dinámico estándar de 100 nit recibida (Im RLDR) y
en el que la función de transformación de luminancia alternativa es la inversa de la función de transformación de luminancia alternativa que fue usada por el codificador que creó la imagen de rango dinámico estándar de 100 nit recibida.
10. Un procedimiento de decodificación de vídeo HDR como se reivindicó en la reivindicación 9, en el que la determinación de una función de transformación de luminancia alternativa comprende la determinación de una función lineal sobre al menos las lumas de entrada más oscuras (Y'_in) de la imagen de rango dinámico estándar que se define en un espacio perceptual uniforme, que se calcula al multiplicar una constante prefijada o recibida (1/gP) por los valores de lumas perceptuales (Y'P) correspondientes a las respectivos lumas de entrada (Y'_in).
11. Un procedimiento de codificación de vídeo HDR para calcular una luminancia (L_SDR out) o luma (Y'_SDR) de un píxel de una representación de imagen de rango dinámico estándar de 100 nit (Im_RLDR) de una imagen HDR de entrada (Im_RHDR) mediante la aplicación de un conjunto de funciones de transformación a una luminancia o luma de entrada (Y'HP) de un píxel de la imagen HDR de entrada, comprendiendo el procedimiento:
- aplicar un mapeo que mapea un valor de la luminancia o luma HDR de entrada (Y'HP) a un valor mínimo de negro (Bk_off) de una luma ajustada al rango (Y'HPS), lo que produce como salida dicha luma ajustada al rango (Y'HPS) ; y
- aplicar subsecuentemente a la luma ajustada al rango (Y'HPS) un mapeo de luminancia grueso (FC) que produce una luma resultante (Y'R) o luminancia, cuyo mapeo de luminancia grueso (FC) especifica la asignación de un subrango de luminancia de las luminancias más brillantes y más oscuras de la imagen HDR a los respectivos subrangos correspondientes más brillantes y más oscuros del rango de las lumas resultantes (Y'R) o luminancia; caracterizado porque el procedimiento comprende además
- como una transformación de luminancia alternativa a la aplicación del conjunto de funciones de transformación de luminancia que se aplican a los colores más oscuros de la escena HDR una estrategia de limitación de ganancia que se dispone para aplicar una función de transformación de luminancia alternativa que se realiza en paralelo a la aplicación del conjunto de funciones de transformación de luminancias, para transformar un subrango (502) de las luminancias más oscuras de la imagen HDR en las correspondientes lumas más oscuras (Y'_in) de la imagen de rango dinámico estándar, lo que produce una luma o luminancia alternativa, y
calcular un máximo de una de, como primera entrada la luminancia o luma resultante (Y'R) y como segunda entrada la luminancia o luma alternativa, lo que produce una luma o luminancia de salida.
12. Un procedimiento de codificación de vídeo HDR como se reivindicó en la reivindicación 11, en el que la limitación de ganancia calcula la función de transformación de luminancia alternativa al multiplicar por un factor (gP) una luma perceptualmente uniformizada (Y'HP), obtenida mediante la aplicación de una función de perceptualización a una luminancia (L in) de la imagen HDR de entrada (Im RHDR).
ES17710008T 2016-03-18 2017-03-15 Codificación y decodificación de vídeos HDR Active ES2951773T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662310233P 2016-03-18 2016-03-18
EP16165406 2016-04-14
PCT/EP2017/056055 WO2017157977A1 (en) 2016-03-18 2017-03-15 Encoding and decoding hdr videos

Publications (1)

Publication Number Publication Date
ES2951773T3 true ES2951773T3 (es) 2023-10-24

Family

ID=65728953

Family Applications (1)

Application Number Title Priority Date Filing Date
ES17710008T Active ES2951773T3 (es) 2016-03-18 2017-03-15 Codificación y decodificación de vídeos HDR

Country Status (9)

Country Link
US (3) US10803562B2 (es)
JP (1) JP7061073B6 (es)
KR (1) KR102337438B1 (es)
AU (1) AU2017235369B2 (es)
ES (1) ES2951773T3 (es)
MX (1) MX2018011332A (es)
PL (1) PL3430806T3 (es)
RU (1) RU2728516C2 (es)
ZA (1) ZA201806927B (es)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3220645A1 (en) * 2016-03-18 2017-09-20 Thomson Licensing A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
JP7061073B6 (ja) * 2016-03-18 2022-06-03 コーニンクレッカ フィリップス エヌ ヴェ Hdrビデオの符号化及び復号
GB201611253D0 (en) * 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
WO2018035696A1 (zh) * 2016-08-22 2018-03-01 华为技术有限公司 一种图像处理方法以及装置
JP6729170B2 (ja) * 2016-08-23 2020-07-22 沖電気工業株式会社 画像処理システム及び画像復号装置
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
US10609424B2 (en) * 2018-03-09 2020-03-31 Dolby Laboratories Licensing Corporation Single-layer progressive coding for supporting multi-capability HDR composition
EP3764346A1 (en) * 2019-07-09 2021-01-13 Koninklijke Philips N.V. Adjustment of display optimization behaviour for hdr images
US11082473B1 (en) * 2020-03-15 2021-08-03 Tfi Digital Media Limited Method for complexity reduction in video coding by coding parameters reuse
US11388348B2 (en) * 2020-07-20 2022-07-12 Samsung Electronics Co., Ltd. Systems and methods for dynamic range compression in multi-frame processing
CN112040091B (zh) * 2020-09-01 2023-07-21 先临三维科技股份有限公司 相机增益的调整方法和装置、扫描系统
CN113691816A (zh) * 2021-08-16 2021-11-23 维沃移动通信(杭州)有限公司 图像显示方法、装置、显示设备及存储介质
US11468546B1 (en) 2021-11-29 2022-10-11 Unity Technologies Sf Increasing dynamic range of a virtual production display
KR102564447B1 (ko) * 2021-11-30 2023-08-08 엘지전자 주식회사 디스플레이 장치
CN114222072B (zh) * 2021-12-16 2023-10-27 影石创新科技股份有限公司 图像处理方法、装置、电子设备及存储介质
CN114363702B (zh) * 2021-12-28 2023-09-08 上海网达软件股份有限公司 Sdr视频转换为hdr视频的方法、装置、设备及存储介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7768533B2 (en) * 1998-05-27 2010-08-03 Advanced Testing Technologies, Inc. Video generator with NTSC/PAL conversion capability
KR100456017B1 (ko) 2002-02-06 2004-11-08 삼성전자주식회사 히스토그램 매칭을 이용한 콘트라스트 향상 장치 및 방법
US20070242880A1 (en) * 2005-05-18 2007-10-18 Stebbings David W System and method for the identification of motional media of widely varying picture content
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
WO2008019524A1 (en) * 2006-07-17 2008-02-21 Thomson Licensing Method and apparatus for encoding video color enhancement data, and method and apparatus for decoding video color enhancement data
US8330768B2 (en) * 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
US20110046761A1 (en) * 2009-08-19 2011-02-24 Paul Frederick Titchener Recorded Media Enhancement Method
US8831340B2 (en) * 2010-01-27 2014-09-09 Adobe Systems Incorporated Methods and apparatus for tone mapping high dynamic range images
EP2445214A1 (en) * 2010-10-19 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video coding using temporally coherent dynamic range mapping
US20120177111A1 (en) * 2011-01-12 2012-07-12 Matthias Narroschke Efficient clipping
US9292940B2 (en) * 2011-04-28 2016-03-22 Koninklijke Philips N.V. Method and apparatus for generating an image coding signal
JP6009538B2 (ja) * 2011-04-28 2016-10-19 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdr画像を符号化及び復号するための装置及び方法
EP2745290A1 (en) * 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
WO2013090120A1 (en) * 2011-12-15 2013-06-20 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
EP2632162A1 (en) * 2012-02-27 2013-08-28 Thomson Licensing Method and device for encoding an HDR video image, method and device for decoding an HDR video image
PT2880624T (pt) * 2012-03-26 2019-08-26 Koninklijke Philips Nv Aparelhos e métodos baseados em região de brilho para codificação e descodificação de imagens hdr
US9105078B2 (en) * 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US9031319B2 (en) * 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
MX338258B (es) 2012-10-08 2016-04-11 Koninkl Philips Nv Procesamiento de imagenes por cambio de luminancia con restricciones de color.
MX346011B (es) * 2013-02-21 2017-02-28 Dolby Laboratories Licensing Corp Gestion de exhibicion para video de alto intervalo dinamico.
US10194162B2 (en) * 2013-07-18 2019-01-29 Koninklijke Philips N.V. Methods and apparatuses for creating code mapping functions for encoding an HDR image, and methods and apparatuses for use of such encoded images
JP2016541140A (ja) * 2013-11-13 2016-12-28 エルジー エレクトロニクス インコーポレイティド Hdr放送サービスの提供のための放送信号送受信方法及び装置
WO2015124754A1 (en) * 2014-02-21 2015-08-27 Koninklijke Philips N.V. High definition and high dynamic range capable video decoder
US10567826B2 (en) * 2014-11-10 2020-02-18 Koninklijke Philips N.V. Method for encoding, video processor, method for decoding, video decoder
MX2017007451A (es) * 2014-12-11 2017-08-10 Koninklijke Philips Nv Optimizacion de imagenes de intervalo dinamico alto para unidades de visualizacion particulares.
CN107211077A (zh) * 2015-01-29 2017-09-26 皇家飞利浦有限公司 局部动态范围调整颜色处理
EP3051486A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
EP3051821A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing Method and apparatus for encoding and decoding high dynamic range (HDR) videos
US20160307368A1 (en) * 2015-04-17 2016-10-20 Lytro, Inc. Compression and interactive playback of light field pictures
EP3119088A1 (en) * 2015-07-16 2017-01-18 Thomson Licensing Method and device for encoding an image, method and device for decoding an image
JP6132006B1 (ja) * 2015-12-02 2017-05-24 日本電気株式会社 映像符号化装置、映像システム、映像符号化方法、及び映像符号化プログラム
JP7061073B6 (ja) * 2016-03-18 2022-06-03 コーニンクレッカ フィリップス エヌ ヴェ Hdrビデオの符号化及び復号

Also Published As

Publication number Publication date
PL3430806T3 (pl) 2023-10-09
ZA201806927B (en) 2020-07-29
KR20180119684A (ko) 2018-11-02
AU2017235369B2 (en) 2022-02-03
US20230177659A1 (en) 2023-06-08
JP2019512954A (ja) 2019-05-16
US20210019868A1 (en) 2021-01-21
JP7061073B6 (ja) 2022-06-03
MX2018011332A (es) 2019-01-31
US20190130542A1 (en) 2019-05-02
US11887285B2 (en) 2024-01-30
RU2018136345A (ru) 2020-04-20
KR102337438B1 (ko) 2021-12-09
JP7061073B2 (ja) 2022-04-27
US10803562B2 (en) 2020-10-13
RU2018136345A3 (es) 2020-05-27
US11593922B2 (en) 2023-02-28
AU2017235369A1 (en) 2018-11-08
RU2728516C2 (ru) 2020-07-30

Similar Documents

Publication Publication Date Title
ES2951773T3 (es) Codificación y decodificación de vídeos HDR
EP3430806B1 (en) Encoding and decoding hdr videos
JP6596125B2 (ja) Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
RU2720446C2 (ru) Простое, но гибкое кодирование динамического диапазона
US10902567B2 (en) Handling multiple HDR image sources
ES2825699T3 (es) Optimización e imágenes de alto rango dinámico para pantallas particulares
ES2694858T3 (es) Métodos y aparatos para codificar imágenes de HDR, y métodos y aparatos para el uso de tales imágenes codificadas
CN108605125B (zh) 对hdr视频进行编码和解码的方法及设备
ES2641371T3 (es) Procesamiento de imágenes con cambio de luminancia con restricciones de color
ES2703517T3 (es) Modulación de luz basada en la gestión de presentación global
RU2723676C2 (ru) Обработка множественных источников изображения hdr
ES2728053T3 (es) Métodos y aparatos para crear funciones de mapeo de códigos para codificar una imagen HDR, y métodos y aparatos para el uso de tales imágenes codificadas
EP4086841A1 (en) Display-optimized ambient light hdr video adaptation
EP4086844A1 (en) Display-optimized hdr video contrast adaptation
EP4086843A1 (en) Display-optimized hdr video contrast adaptation
ES2787827T3 (es) Aparatos y procedimientos para la codificación y decodificación de imágenes HDR