ES2825699T3 - Optimización e imágenes de alto rango dinámico para pantallas particulares - Google Patents

Optimización e imágenes de alto rango dinámico para pantallas particulares Download PDF

Info

Publication number
ES2825699T3
ES2825699T3 ES15762531T ES15762531T ES2825699T3 ES 2825699 T3 ES2825699 T3 ES 2825699T3 ES 15762531 T ES15762531 T ES 15762531T ES 15762531 T ES15762531 T ES 15762531T ES 2825699 T3 ES2825699 T3 ES 2825699T3
Authority
ES
Spain
Prior art keywords
image
brightness
peak
color
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES15762531T
Other languages
English (en)
Inventor
Mourik Johannes Gerardus Rijk Van
Mark Jozef Willem Mertens
Rutger Nijland
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Priority claimed from PCT/EP2015/069980 external-priority patent/WO2016091406A1/en
Application granted granted Critical
Publication of ES2825699T3 publication Critical patent/ES2825699T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4358—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen for generating different versions, e.g. for different peripheral devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

Un aparato (201) de transformación de color para calcular los colores resultantes (R2, G2, B2) de píxeles de una imagen de salida (IM_MDR) para una pantalla con un brillo pico de pantalla (PB_D) a partir de colores de entrada lineales (R,G,B) de píxeles de una imagen de entrada (Im_in) que tiene un código de luma máximo que corresponde a un primer brillo pico de imagen (PB_IM1) que es diferente del brillo pico de la pantalla, en el que el aparato de transformación de color comprende: - una unidad (102) de determinación de transformación de color dispuesta para determinar una transformación de color (TMF; g) a partir de datos de especificación de procesamiento de color (MET_1) recibidos a través de una entrada (116) de metadatos, dichos datos de especificación de procesamiento de color (MET_1) comprenden al menos una función de mapeo de tono (CC) para al menos un rango brillo máximo de luminancias de píxeles, dicha transformación de color especifica el cálculo de al menos algunos colores de píxeles de una imagen (IM_GRAD_LXDR) que tiene un código de luma máximo que corresponde a un segundo brillo pico de imagen (PB_IM2), que es diferente del brillo pico de la pantalla (PB_D) y el primer brillo pico de imagen (PB_IM1), y por lo cual la división del primer brillo pico de imagen por el segundo brillo pico de imagen es o bien mayor que 2 o menor que 1/2; caracterizada porque el aparato (201) de transformación de color adicionalmente comprende: - una unidad (200) de determinación del factor de escala dispuesta para determinar un factor multiplicativo común resultante (gt), que comprende: - una unidad (1303) de determinación métrica de capacidad dispuesta para determinar una métrica para localizar posiciones de brillos pico de la pantalla entre el primer brillo pico de imagen (PB_IM1), y el segundo brillo pico de imagen (PB_IM2) y fuera de ese rango, y - una unidad (1310) de determinación del multiplicador resultante dispuesta para determinar a partir del brillo pico de la pantalla (PB_D), la métrica, y la transformación de color, el factor multiplicativo común resultante (gt); y en la que el aparato (201) de transformación de color adicionalmente comprende - un multiplicador (114) de escala dispuesto para multiplicar los colores de entrada con el factor multiplicativo común resultante (gt) para obtener los colores resultantes (R2, G2, B2).

Description

DESCRIPCIÓN
Optimización e imágenes de alto rango dinámico para pantallas particulares
Campo de la invención
La invención se refiere a métodos y aparatos para optimizar los colores de los píxeles, y en particular sus luminancias, en una codificación de entrada de una imagen de escena de alto rango dinámico (HDR), en particular un video que comprende una serie de imágenes HDR consecutivas, para obtener un aspecto artístico correcto para una pantalla con un brillo pico de pantalla particular según lo desee un calificador de color que crea el contenido de la imagen, el aspecto que corresponde a un aspecto HDR de referencia de la imagen HDR según se califica para una pantalla de referencia, por ejemplo, una pantalla de masterización de brillo pico alto (PB), cuando la imagen optimizada se renderiza sobre cualquier pantalla real de un brillo pico (PB_D) diferente al de la pantalla de referencia correspondiente en la que se realizó la calificación de la imagen HDR. El lector comprenderá que un aspecto correspondiente no significa necesariamente un aspecto que sea exactamente el mismo para un espectador, ya que las pantallas de un brillo pico (o rango dinámico) más bajo nunca pueden renderizar todas las imágenes sobre una pantalla con un brillo pico más alto exactamente, sino que habrá algunas compensaciones en los colores de al menos algunos píxeles del objeto, ajustes de color que la tecnología siguiente permite que realice el calificador. Pero la imagen deseada codificada y la imagen realmente renderizada se verán suficientemente similares. Se describen tanto los métodos del lado de codificación como los aparatos para especificar dicho aspecto, así como los aparatos del lado de recepción, tal como por ejemplo una pantalla o televisión, dispuestos para calcular y renderizar el aspecto optimizado, así como métodos y tecnologías para comunicar la información utilizada para controlar la optimización al hacer transformaciones de color.
Antecedentes de la invención
Recientemente, varias empresas han comenzado a investigar y publicar (documento WO2007082562, un método de dos imágenes con una capa residual, documento WO2005104035, un método algo similar en el que se puede formar una imagen de relación para intensificar una recalificación de rango dinámico bajo (LDR) de una escena HDR) sobre cómo pueden codificar al menos una imagen fija, o un video de varias imágenes, las llamadas imágenes de alto rango dinámico, cuyas imágenes HDR se caracterizan porque normalmente codifican o pueden codificar al menos algunas luminancias de objeto de al menos 1000 nit, pero también luminancias oscuras de, por ejemplo, menos de 0.1 nit, y son de calidad suficiente para renderizarse sobre las llamadas pantallas HDR, que tienen un brillo pico (que es la luminancia de la pantalla blanca, es decir, el color más brillante que se puede renderizar) normalmente por encima de 800 nit, o incluso 1000 nit, y potencialmente, por ejemplo, 2000 o 5000 o incluso 10,000 nit. Por supuesto, estas imágenes de, por ejemplo, una película pueden y también mostrarse sobre una pantalla LDR con un brillo pico normalmente alrededor de 100 nits, por ejemplo, cuando el espectador quiere seguir viendo la película sobre su pantalla portátil, y normalmente se necesitan algunas luminancias de objetos diferentes y/o colores en el LDR frente a la codificación de imagen HDR (por ejemplo, la luminancia relativa en un rango [0,1] de un objeto en una calificación HDR puede necesitar ser mucho más bajo que en la imagen calificada LDR, porque se mostrará con una luz de fondo mucho más brillante). No hace falta decir también que la codificación de video puede tener requisitos adicionales en comparación con la codificación de imágenes fijas, por ejemplo, para permitir un procesamiento económico en tiempo real, etc.
Por lo general, el creador de contenido crea una versión o aspecto de la imagen HDR, que normalmente es la calificación maestra (el punto de partida desde el cual se pueden crear calificaciones adicionales, que se ven sobre la misma escena cuando se necesita renderizar sobre pantallas con diferentes capacidades de brillo pico, y que normalmente se hace al dar a los diversos objetos en una imagen directamente de la cámara bonitos colores artísticos, para transmitir, por ejemplo, algo de ánimo). Es decir, con “una calificación” indicamos que una imagen ha sido tan adaptada por un calificador de color humano que los colores de los objetos parecen artísticamente correctos para el calificador (por ejemplo, puede hacer un sótano oscuro en el que los objetos en las sombras son apenas visibles, sin embargo, también hay una sola lámpara en el techo que brilla intensamente, y es posible que esas diversas luminancias renderizadas se deban coordinar inteligentemente para brindar al espectador la experiencia óptima) para un escenario de renderizado previsto dado, y a continuación enseñamos los componentes técnicos para permitir dicho proceso de calificación que produce una imagen calificada también llamada una calificación, dadas nuestras limitaciones de la codificación h Dr . Y luego, el calificador normalmente también crea una imagen LDR heredada (también llamada imagen SDR estándar), que se puede utilizar para mantener las pantallas LDR heredadas, que aún pueden estar en el campo durante mucho tiempo. Estos se pueden transmitir alternativamente como comunicaciones de imágenes independientes sobre, por ejemplo, una red de comunicaciones de vídeo como Internet o un canal DVB-T. O bien, los documentos w O2007082562 y WO2005104035 enseñan métodos de codificación escalables, en los que la imagen HDR se puede reconstruir en un lado de recepción de la imagen LDR, con algún mapeo de tonos y una imagen HDR residual para acercarse lo suficiente a1HDR original. Dicha codificación escalable entonces se podría almacenar conjuntamente en un producto de memoria como, por ejemplo, un dispositivo de memoria de estado sólido, y el aparato del lado de recepción, por ejemplo, un televisor o un decodificador (STB), puede determinar cuál sería la versión más apropiada para su televisor conectado.
Es decir, se almacenan en un sector de la memoria las imágenes LDR básicas, y en otro sector las imágenes HDR, o las imágenes de corrección tales como la imagen de intensificación de luminancia a partir de la cual se puede partir de las imágenes LDR correspondientes para los mismos momentos de tiempo que calculan las imágenes HDR. Por ejemplo, para televisores de hasta 700 nits, cualquiera que sea la unidad que realice el cálculo de la imagen final que se renderizará en el televisor, puede utilizar la imagen calificada LDR, y por encima de 700 nits, puede utilizar la imagen HDR (por ejemplo, al sondear qué pantalla cuyo PB está conectado, o sabiendo si la pantalla hace la mejor selección de imagen por sí misma).
Si bien esto permite hacer dos calificaciones de referencia artísticamente perfectas de una escena HDR para dos escenarios de renderización específicos, por ejemplo, un televisor de 5000 nit y uno LDR (cuyo estándar tiene PB de 100 nit), se ha realizado y publicado poca investigación en cómo se pueden manejar los televisores intermedios de brillo pico intermedio con el brillo pico correspondiente a las dos imágenes de calificación artística que se pueden recuperar o determinar en un lado de recepción de datos de imagen (el brillo pico correspondiente de una codificación se define como la luminancia que se va a renderizar sobre una pantalla de referencia cuando se ingresa el código máximo, por ejemplo, 1023 para 10 bits, por ejemplo, 5000 nit para un aspecto calificado de 5000 nit) que sin duda pronto también se desplegará en el mercado, por ejemplo, un televisor de 1800 nit. El solicitante ha realizado experimentos que muestran que para tener un aspecto artístico realmente bueno y convincente para cualquier pantalla intermedia o fuera de rango (por ejemplo, obtener un aspecto de 50 nits que está por debajo de la calificación más baja que normalmente puede ser de 100 nits), ni la imagen HDR ni LDR es realmente buena para esa pantalla de brillo pico intermedio (que a continuación llamaremos pantalla de rango dinámico medio (m Dr )). También, podría ser que el consumidor tenga un televisor real u otra pantalla presente en su sala de estar que sea más brillante que el brillo pico de pantalla de referencia como una pantalla óptima para la calificación de imagen HDR recibida, es decir, por ejemplo, 10000 nit frente a 5000 nit, y luego puede ser deseable tener una calificación mejorada para estas pantallas de mayor brillo también, a pesar de que el creador de contenido pensó que solo era necesario especificar su aspecto sobre la escena HDR para pantallas de hasta PB de 5000 nit. Por ejemplo, el solicitante descubrió que, en escenas críticas, por ejemplo, la cara de una persona en la oscuridad puede volverse demasiado oscura cuando se utiliza la imagen HDR debido al contraste inapropiadamente alto de esa imagen HDR para una renderización de pantalla con un brillo pico más bajo, pero la imagen LDR es demasiado brillante en muchos lugares, cambiando drásticamente el ánimo, por ejemplo, una escena nocturna. La Fig. 14 muestra un ejemplo de un manejo típico de imágenes de escena HDR que queremos poder lograr. 1401 muestra la escena original, o al menos, cómo se ha aproximado en una calificación HDR maestra (porque normalmente uno no codificará el sol para que se muestre en una pantalla con su brillo original de mil millones de nit, sino como, por ejemplo, píxeles de 5000 nit). Vemos una escena que tiene algunos objetos interiores, que serán relativamente más oscuros, pero normalmente no muy oscuros, por ejemplo, entre 1 y 200 nit, y algunos objetos soleados al aire libre vistos a través de la ventana, como la casa, que en la vida real pueden tener luminancias de varios miles de nits, pero que para la pantalla nocturna de televisión en interiores se renderizan mejor, por ejemplo, alrededor de 1000 nit. En una primera calificación, a la que llamaremos una calificación HDR con un brillo pico de la primera imagen en este solo ejemplo PB_IM1 correspondiente a un brillo pico HDR PB_H de, por ejemplo, 5000 nit, nos resultará útil colocar los objetos interiores relativamente bajos sobre un eje de luminancia relativo (de modo que en un eje de luminancia absoluta se renderizaría con luminancias de alrededor de 30 nit), y los objetos exteriores estarían en algún lugar alrededor o por encima del medio del rango de luminancia, dependiendo de las preferencias del calificador para esta toma en, por ejemplo, la película, la transmisión, etc. (en el caso de la transmisión en vivo, la calificación puede ser tan simple como sintonizar solo unos pocos parámetros antes de salir al aire, por ejemplo, utilizando un mapeo en gran parte fijo entre el aspecto HDR y LDR, pero agregando, por ejemplo, un solo parámetro gpm para habilitar la sintonización de la pantalla). Qué códigos reales corresponden a las luminancias deseadas no solo depende del PB de la codificación, sino también de la forma de la función de asignación de código utilizada, que a veces también se denomina función de conversión o transferencia optoelectrónica (OECF; OETF), y que para la codificación HDR normalmente tiene una forma pronunciada, más pronunciada que las funciones gamma 1/2.2 de LDR (el experto entenderá que se pueden formular las tecnologías en cualquiera de las representaciones, por lo que, para simplificar, a continuación aclaramos nuestros conceptos en representaciones de luminancia, en al menos algunas de las etapas se pueden aplicar mutatis mutandis en lumas, es decir, por ejemplo, las codificaciones de 10 bits de las luminancias).
Se necesita un aspecto LDR correspondiente (en este solo ejemplo llamado IM_GRAD_LXDR), para lo cual, por supuesto, todos los diversos objetos del rango dinámico de luminancia más grande deben comprimirse en un rango dinámico más pequeño, correspondiente a un PB de 100 nit. El calificador definirá estrategias de transformación de color, normalmente funciones simples para mantener los circuitos integrados de comunicación de video simples al menos durante los próximos años, que definen cómo reposicionar las luminancias de todos los objetos (por ejemplo, como se puede ver, se necesitaría colocar la casa cerca hasta el máximo del rango de luminancia y el rango de código correspondiente para mantener un aspecto suficientemente brillante en comparación con el interior, lo que para ciertas realizaciones, por ejemplo, se puede hacer con un mapeo de tonos de recorte suave). Esto es lo que se especifica en el lado de creación de contenido, sobre un aparato 1402 de calificación, y un aparato de uso de contenido puede necesitar determinar, en base a la información de los aspectos calificados (S_im) que recibe a través de algún medio (1403) de comunicación de imágenes, qué luminancias óptimas deberían tener los diversos objetos para que una pantalla real tenga un brillo pico que no sea igual al brillo pico correspondiente a cualquiera de las dos calificaciones artísticas recibidas normalmente (o al menos datos de esas imágenes). En este ejemplo, eso puede involucrar varias estrategias. Por ejemplo, los objetos oscuros en interiores se pueden renderizar bien sobre pantallas de cualquier PB, incluso 100 nits, por lo que la optimización del color puede mantenerlos en o cerca de 30 nits para cualquier PB deseado. Es posible que la casa necesite obtener algo de luminancia para renderizar entre las calificaciones LDR y HDR, y se puede dar al sol el color más brillante posible (es decir, PB) sobre cualquier pantalla conectada o por conectar.
Ahora queremos enfatizar ya, como quedará claro más adelante, que hemos desarrollado una estrategia que sorprendentemente puede codificar una escena HDR (por eso introducimos la escena de redacción) en realidad como una imagen LDR (+ metadatos de transformación de color), por lo tanto, mientras que para simplificar la comprensión de varios de nuestros conceptos y metaestructuras técnicas se pueden aclarar con un escenario en el que Im_1, la imagen que se va a comunicar a un lado de recepción es una imagen HDR, que debería ser recalificable en una imagen LDR, los mismos principios también son utilizables y ser utilizados en otros escenarios de mercado importantes, en caso de que Im_1 sea realmente una calificación LDR (que en el lado de recepción puede ser recalificada en una imagen HDR, o cualquier imagen MDR de rango dinámico medio, o cualquier imagen fuera del rango de las calificaciones LDR y HDR comunicadas).
El solicitante ha enseñado genéricamente sobre el concepto de generar varias calificaciones adicionales sobre la base de imágenes calificadas disponibles en el documento WO2012127401, que enseña los conceptos principales necesarios en la sintonización de pantalla, necesarios para todas o al menos una clase más grande de realizaciones reales. Sin embargo, todavía era un problema encontrar variantes de codificación simples, que se ajustaran a las limitaciones prácticas de, por ejemplo, la complejidad del IC, la capacidad de trabajo del calificador, etc., que los inventores pudieron hacer después de fijar algunos principios básicos comunes para este manejo práctico de imágenes HDR. Otro documento de la técnica anterior que es simplemente tangencialmente relevante es el documento WO2013/046095, que divulga las características del preámbulo de la reivindicación independiente 1 y que simplemente enseña que puede haber varios tipos diferentes de codificación HDR entrando (es decir, con diferentes valores de PB_H, por ejemplo, variantes de 5000 nits o solo 2000 nits de la escena HDR original que fue capturada por la cámara), y varias pantallas de salida para ser mantenidas con varios valores de brillo pico de pantalla (PB_D), pero nuevamente esto simplemente enseña el marco técnico necesario, sin entrar en todos los detalles a continuación. En consecuencia, todavía existía el problema de cómo llegar con una tecnología simple coincidente para permitir al creador de contenido ajustar la calificación artísticamente optimizada a al menos una pantalla actual real en un lado de recepción.
La presentación en powerpoint del solicitante para la reunión de estandarización de DVB de abril de 2014 “Leon van de Kerkhof: alto rango dinámico, que presenta la solución de Philips” brinda una buena descripción general de alto nivel de la tecnología de manejo de HDR del solicitante y la necesidad de tener una posibilidad de sintonización de pantalla para tener la mejor calidad de renderización de cualquier imagen HDR para cualquier capacidad de luminancia de pantalla en particular que tenga la pantalla de cualquier espectador, sin embargo, sin dar los detalles de cómo se debe realizar dicha sintonización de pantalla.
Resumen de la invención
La invención está definida por las reivindicaciones independientes. Las reivindicaciones dependientes definen realizaciones ventajosas. Cualquier “aspecto”, “ejemplo” y “realización” de la descripción que no caiga dentro del alcance de las reivindicaciones no forma parte de la invención y se proporciona únicamente con fines ilustrativos. En particular, hemos desarrollado una tecnología de mapeo de luminancia muy útil (al menos mapeo de luminancia, donde ignoramos la dimensión cromática del enrojecimiento y el azul por el momento) que se basa en la multiplicación. Si se procesan señales de color RGB lineales, se pueden intensificar (al multiplicar los componentes con un único multiplicador resultante gt) de manera similar a como se intensificarían las luminancias de esos colores. Es decir, el creador de contenido puede especificar sus deseos en una estrategia de mapeo de luminancia, que puede estar formada por varias estrategias de mapeo, por ejemplo, una intensificación de brillo general, una función de sintonización fina de forma arbitraria (CC), etc. No hace falta decir eso, y ciertamente para nuestras técnicas actuales, sólo se necesita dicha especificación de función, en algunas realizaciones ni siquiera para todas las posibles luminancias de la imagen de entrada, y cuando lo llamamos CC, también puede ser alguna otra función.
Debido a que no se conoce comúnmente, aclaramos el principio en la Fig. 16. Supongamos que tenemos en este documento una función sigmoidea, para transformar cualquier posible luminancia de entrada Y_in (que corresponde a un código luma de la imagen de entrada recibida y procesada Im_in, por ejemplo, 950) en un valor de luminancia de salida, que por simplicidad también asumiremos que es un valor normalizado entre 0.0 y 1.0. Entonces se puede escribir esta función también como una multiplicación, que se puede derivar en comparación con la transformación unitaria (es decir, la diagonal). Si tuviéramos que transformar, por ejemplo, un HDR Im_in en sí mismo, aplicaríamos esa transformación unitaria. Si queremos transformar las luminancias relativas HDR en luminancias relativas LDR (o luminancias, en resumen), podemos aplicar la función sigmoidal. Pero podemos multiplicar de manera equivalente ese valor de Y_in por el factor g de la curva derecha. Dicha estrategia multiplicativa hace que la tecnología HDR sea relativamente más simple, por ejemplo, conectando en cascada varias transformaciones deseables, pero también, como es el tema de esta solicitud, muestra escenarios de sintonización, para llegar a una imagen de aspecto óptimo, que corresponde en gran medida al aspecto HDR maestro, para cualquier pantalla conectada realmente.
Entonces, como un método de codificación de imágenes HDR práctico (y de hecho al mismo tiempo un aspecto calificado LDR, utilizable para pantalla directa sobre pantallas LDR heredadas), el solicitante inventó un sistema que almacena (o transmite) solo una de las imágenes HDR y LDR como una imagen principal que en realidad está codificada de acuerdo con técnicas de compresión clásicas, es decir, que contiene las texturas de color de píxeles de los objetos capturados de la escena HDR, es decir, contiene la composición geométrica de todas las formas de los objetos y alguna codificación de las texturas en esos, y permite cualquier renderización deseada o ajuste de color correspondiente para reconstruir ese aspecto geométrico de las imágenes. Y adicionalmente, nuestra codificación de imágenes de escena HDR contiene al menos una (y normalmente en vista del coste de calificación, a menudo exactamente una) otra calificación, que normalmente se codifica no como una segunda imagen sino como un conjunto (normalmente limitado porque los IC de decodificación deben comprender e implementar todas las transformaciones de color) de transformaciones funcionales para los colores de píxeles de la imagen principal. Entonces, si la imagen principal (Im_in) fuera una imagen HDR (por ejemplo, referenciada a un brillo pico de 5000 nit), las funciones de transformación de color (o algoritmos) permitirían calcular a partir de ella una imagen LDR (normalmente como SDR estandarizado de 100 nit). Y el experto sabrá cómo se puede codificar fácilmente dicha transformación con los bits tan pequeños como se requiera, por ejemplo, una función con una primera parte lineal y luego una parte de flexión hacia (1.0, 1.0) se puede codificar mediante un parámetro de valor real u otro dando una pendiente (pendiente negra) y un punto de detención de la parte lineal, y los parámetros necesarios para definir la forma de la parte superior.
La Fig. 1 muestra una posible realización ilustrativa típica pero simplemente no limitante de dicha transformación de color y la codificación basada en transformación correspondiente de la (al menos una) calificación adicional, que el lector experto debe entender no es el único sistema que puede utilizar nuestras novedosas realizaciones mostradas a continuación.
Se supone en este ejemplo que una imagen HDR se codifica como imagen de textura (y se recibe como Im_in), y se puede construir una calificación LDR a partir de ella en cualquier lado de recepción de vídeo al aplicar transformaciones de color a sus colores de píxeles. Sin embargo, el mismo razonamiento técnico se aplica cuando, por ejemplo, se reconstruye una imagen h Dr sobre la base de una imagen principal que es una imagen LDR, es decir, adecuada para la renderización directa sobre una pantalla LDR, es decir, cuando se renderiza sobre una pantalla LDR que muestra los brillos y contrastes adecuados para los diversos objetos en la imagen dada la limitación de brillo pico de pantalla LDR. En ese caso, la transformación de color definirá una imagen HDR a partir de la imagen LDR. Tenga en cuenta que en algunas realizaciones (aunque no necesariamente) el orden de las unidades de procesamiento se puede invertir en el codificador y el decodificador, por ejemplo, cuando el codificador disminuye el rango dinámico y codifica la imagen principal como una imagen LDR, entonces el orden del procedimiento de luminancia (o luma) se puede invertir al reconstruir en el lado del decodificador la calificación HDR de la imagen principal LDR correspondiente, es decir, primero aplicar la curva personalizada, luego el ajuste de exposición de la unidad 110 aplicado en la dirección inversa, etc.
Suponga por ahora, con fines explicativos, que el aparato 201 de transformación de color es parte de cualquier aparato de recepción (que puede ser un televisor, un ordenador, un teléfono móvil, un servidor de cine digital en el teatro, una cabina de pantalla de una sala de control de sistema de seguridad, etc.), pero en un lado de codificación en cualquier aparato de codificación o transcodificación, los mismos componentes tecnológicos pueden estar presentes para verificar lo que es factible y se puede codificar para la transmisión. Una señal de imagen o más normalmente una señal de video S_im se recibe a través de una entrada 103, conectable a varias fuentes de imagen, como por ejemplo un lector de BD, una antena, una conexión a Internet, etc. La señal de video S_im comprende, por un lado, una imagen (o un video de varias imágenes para diferentes instantes de tiempo) de píxeles Im_in con colores de entrada y, por otro lado, metadatos MET, que pueden comprender varios datos, pero, entre otros, los datos para construir de manera única en un lado de recepción las funciones de mapeo de color, posiblemente algunos datos de descripción que se relacionan, por ejemplo, con qué brillo pico se califica la imagen de entrada, y lo que sea necesario para permitir las diversas realizaciones siguientes. La codificación de las imágenes de video se puede realizar normalmente en una estrategia de codificación similar a MPEG, por ejemplo, MPEG-HEVC existente, es decir, una codificación basada en DCT de colores de píxeles YCbCr, ya que nuestra codificación de aspecto de rango dinámico mediante tecnología de recalificación basada en transformación de color es esencialmente agnóstica de la estrategia de compresión realmente utilizada en la parte de la compresión que se encarga de formatear adecuadamente las imágenes para almacenamiento o transmisión. Por tanto, aunque las diversas realizaciones de nuestra invención pueden funcionar en varias otras definiciones de color de entrada como, por ejemplo, ventajosamente Yuv, en este ejemplo se dispone un primer convertidor 104 de color para convertir la representación YCbCr en una representación RGB lineal. Un segundo convertidor 105 de color puede hacer un mapeo desde una primera representación RGB hasta una segunda. Esto se debe a que el calificador de color puede realizar la calificación y observar lo que sucede en un primer espacio de color, decir, por ejemplo, Rec. 709, sin embargo, los datos de la imagen se codifican de acuerdo con un segundo espacio de color. Por ejemplo, se pueden utilizar las primarias de las Iniciativas de Cine Digital P3: Rojo = (0.68, 0.32), Verde = (0.265, 0.69), Azul = (0.15, 0.06), Blanco = (0.314, 0.351). O se podría codificar en el Formato de color Rec. 2020 reciente, etc. Por ejemplo, la imagen se puede transmitir en una representación de color definida en un espacio de color Rec. 2020, pero el calificador ha realizado su calificación de color en el espacio de color DCI-P3, lo que significa que los receptores primero convertirán al espacio de color P3 antes de realizar todas las transformaciones de color, por ejemplo, para obtener una calificación LDR a partir de una imagen HDR o viceversa. Dado que el calificador ha vuelto a calificar su imagen HDR en una imagen LDR (suponga que todos los valores normalizados a [0,1]) en su espacio de color de calificación que, como se dijo, fue, por ejemplo, Rec. 709, antes de que las matemáticas vuelvan a calcular la calificación en el extremo de recepción, el segundo convertidor 105 de color se transforma en este espacio de color Rec. 709 (el experto sabe que se pueden aplicar varias estrategias de transformación, por ejemplo, se puede utilizar un mapeo colorimétrico relativo en algunos casos, o se puede haber utilizado alguna estrategia de compresión de saturación que se puede invertir, etc.). Entonces, normalmente los metadatos aplican una estrategia de optimización de color, que asumimos en esta realización práctica simple es realizada por un procesador 106 de saturación de color. Puede haber varias razones para que el calificador aplique una estrategia de saturación particular (por ejemplo, para desaturar colores brillantes en una manera particular para hacerlos encajar en una posición de luminancia más alta en la gama RGB, o para aumentar el colorido de los colores que se han vuelto más oscuros debido al mapeo HDR a LDR, etc.). Por ejemplo, el calificador puede encontrar que los azules oscuros de dicha una escena nocturna en el cielo están un poco desaturados y, por lo tanto, es posible que ya aumente previamente su saturación en la imagen HDR lineal, antes de realizar la transformación de optimización de luminancia para obtener el aspecto de LDR (esto es particularmente interesante porque nuestras realizaciones típicas hacen transformaciones de luminancia que dejan la cromaticidad del color sin cambios, es decir, afectan puramente el aspecto de luminancia del color). En la realización de ejemplo simplificada, asumimos que la saturación es una escala simple para los colores (es decir, el mismo sea cual sea su tono, luminancia o saturación inicial), con un valor s que se lee a partir de los metadatos MET comunicados y recibidos. En las realizaciones más simples, nos centraremos solo en los aspectos de luminancia de las transformaciones de color, dejando el procesamiento de color como esta única etapa de procesamiento previo, pero el experto comprende que son posibles otras estrategias de saturación y pueden coordinarse inteligentemente con el procesamiento de luminancia. Los colores ahora tienen sus valores correctos (R, G, B) para realizar un procesamiento en la dirección de luminancia puro.
Una propiedad clave de dichas realizaciones de transformación de color como se muestra en la Fig. 1, es que se puede hacer una escala pura de los colores (es decir, cambiando solo la propiedad de color que es una correlación de la luminancia, es decir, cualquier medida que mida la longitud del vector de color, del color mientras se retienen las proporciones de los componentes de color que determinan la cromaticidad del color, en la que las matemáticas de la transformación de color pueden, por supuesto, ser incorporadas de varias maneras, por ejemplo, sobre los componentes RGB lineales como se muestra), cuya transformación de color podemos reformular, como se explica, como una transformación de escala múltiple común (con un número real g, por ejemplo, 0.753, o cualquier codificación del mismo que se pueda convertir en un número real, por ejemplo, INT (1000*g)) en los tres colores componentes de manera similar. Esto define nuestro mapeo de HDR a LDR (o de manera similar nuestro mapeo de LDR a HDR, o un mapeo de cualquier primera imagen calificada de un primer rango dinámico a un segundo rango dinámico significativamente diferente, los dos difieren en su brillo pico asociado de su pantalla de referencia asociada, es decir, la luminancia correspondiente al código máximo en la codificación de N bits, de normalmente al menos un factor de 4, es decir, 2 paradas, o al menos un factor 1,5 o 2, y posiblemente varias paradas más), al menos donde Se trata de los aspectos de luminancia de los objetos de la imagen, que es la preocupación dominante en las conversiones de rango dinámico.
En el ejemplo aclarador de la Fig. 1, el procesamiento es como sigue. La calculadora 107 máxima calcula para cada color de píxel cuál de los componentes RGB es el más alto, por ejemplo, el componente rojo es 0.7 (que llamaremos Rmax). Esta será una medida de la longitud del vector de color, es decir, una realización de una correlación de luminancia. El mapeador 102 de luminancia aplica una secuencia de transformaciones sobre ese componente máximo, la codificación de estas transformaciones es recibida en los metadatos MET, que en última instancia asciende a una transformación funcional de luminancia total. Esta transformación codifica cómo las luminancias normalizadas a 1 de la imagen HDR deberían cambiar todas para obtener la imagen LDR, con el aspecto LDR calificado artísticamente correcto. Por ejemplo, normalmente se aplican las siguientes transformaciones, que el calificador sobre el lado de la codificación/creación de contenido ha especificado que dan un buen aspecto lDr , al calificar en su software de calificación y al hacer clic en el botón guardar cuando esté satisfecho con el aspecto LDR. En primer lugar, un multiplicador 108 de ganancia multiplica el componente máximo (es decir, Rmax) por un factor de ganancia recibido (gai), produciendo Rmax_1, un valor diferente entre 0 y 1 para cada píxel (por ejemplo, en algunas realizaciones, el calificador podría establecer el nivel del 70% de las luminancias HDR al nivel del 100% de las luminancias LDR, o alguna otra calificación deseada). Tenga en cuenta que el procesamiento se realiza en realidad en el máximo de los tres componentes de color, no, por ejemplo, en la luminancia del color, a pesar de que se puede haber comunicado un comportamiento de transformación de luminancia. Entonces, una unidad 109 de aplicación de la función de potencia eleva el resultado actual Rmax_1 a una potencia gam, cuyo número gam se lee de nuevo de los metadatos recibidos, produciendo el resultado Rmax_2. Luego, una unidad 110 de ajuste de exposición aplica una transformación de modificación de exposición global como, por ejemplo, aplicando la siguiente ecuación:
R max_ 3 = ln(lg .1) * R max_ 2 1) / ln(lg),
donde Ig es de nuevo un número optimizado por calificador recibido y en el logaritmo neperiano con base 2.71, dando Rmax_4. Luego, el mapeador 111 de luminancia aplica una curva personalizada, lo que produce Rmax_4 = CC (Rmax_3). Es decir, esta curva se puede transmitir, por ejemplo, como un número de (digamos 6) puntos característicos (pares de coordenadas de luma de entrada/luma de salida), entre los cuales se pueden calcular puntos intermedios en el lado de recepción mediante alguna estrategia de interpolación transmitida o previamente acordada (por ejemplo, interpolación lineal), y luego se aplica esta función: por ejemplo, si Rmax_3=0.7, la función comunicada específica se proporciona para ese valor Rmax_4=0.78. Finalmente, un modelador 112 de transformación de pantalla se transforma de acuerdo con la gamma utilizada de una pantalla LDR típica (este último modelador de transformación de pantalla también puede ser opcional, para pantallas que obtienen entrada en coordenadas lineales), es decir, normalmente la gamma inversa de Rec. 709. El experto comprenderá cómo estas ecuaciones se pueden equiparar mediante estrategias equivalentes, por ejemplo, al formar una única LUT para aplicar a todos los posibles valores de entrada de max(R,G,B) en [0,1]. Se debe entender que algunas de las unidades se pueden omitir, por ejemplo, la ganancia gai se puede establecer en 1.0, lo que la elimina de manera efectiva ya que tiene un procesamiento de identidad como resultado. Por supuesto, también se pueden utilizar otras funciones de transformación, por ejemplo, aplicando solo una curva personalizada, pero nuestra investigación ha encontrado que el ejemplo parece ser una manera pragmática para que los calificadores logren de manera eficiente un buen aspecto lDr . Lo que es importante para las siguientes realizaciones es que se puede construir cualquier estrategia de procesamiento de luminancia que se desee, siendo la que se describe a continuación simplemente una muy buena en la práctica.
Entonces, finalmente, se calcula un factor multiplicativo común g al dividir el resultado de todas estas transformaciones, es decir, f(Rmax) por el máximo de los componentes RGB de entrada en sí mismos, es decir, por ejemplo, Rmax. Este factor g se calcula para poder presentar la transformación de luminancia como estrategia de multiplicación. Finalmente, para obtener el color de salida deseado y su brillo LDR deseado relativamente, un multiplicador 114 de escala multiplica los valores RGB de entrada, o en este ejemplo los valores resultantes del procesamiento de saturación (opcional) (procesador 106 de saturación de color), con el factor multiplicativo común g para producir los colores correctos de luminancia ajustada para todos los objetos de imagen o, de hecho, todos los píxeles de imagen de estos objetos. Es decir, en este ejemplo, esto produce el aspecto calificado LDR como una imagen RGB lineal, a partir de una imagen HDR ingresada en S_im, de la cual los colores de píxeles (R2, G2, B2) se emiten a través de una salida 115 de imagen. Por supuesto, el experto entiende que teniendo el aspecto colorimétrico correcto para la imagen LDR, sus colores aún pueden codificarse de acuerdo con cualquier principio para su uso posterior, al igual que la imagen en sí mismo (por ejemplo, una aplicación enviará la señal al controlador de válvulas LCD a través de un bus del IC de cálculo, pero otra aplicación puede enviar la imagen a través de una conexión HDMI a un televisor para su renderización, directamente o con un procesamiento adicional de sintonización fina específica del proveedor de pantalla, por lo que potencialmente se incluyen algunos metadatos adicionales con la señal de video comunicada para guiar la sintonización fina).
Ahora el lector debe comprender claramente un importante principio adicional de nuestra tecnología de codificación y uso de HDR. Hasta ahora, con la Fig. 1, solo hemos explicado cómo podemos codificar dos aspectos de diferente rango dinámico (es decir, con todos los brillos del objeto coordinados correspondientemente) de una escena HDR, es decir, cómo codificar dos imágenes originales calificadas por un creador de contenido. ¿Y por qué hicimos eso? Todo sería simple si solo hubiera una pantalla LDR (100 nits) y, en particular, solo un tipo de pantalla HDR (por ejemplo, 5000 nits) en el mundo en las instalaciones de los distintos espectadores de contenido. La pantalla LDR mostraría entonces la calificación LDR, y la pantalla HDR, fuera lo que fuera, mostraría “la calificación HDR”. Eso funcionaría bien para mostrar los brillos pico que se desvían moderadamente del pico de brillo de la imagen que recibe para la renderización, pero probablemente no daría buenos resultados para grandes desviaciones. En particular, qué imagen debería mostrar una pantalla de 1000 nits, la de 100 nits o la de 5000 nits. Ahora bien, se podría calificar al menos una imagen más con exactamente la misma tecnología que en la Fig. 1, por ejemplo, determinar las funciones de transformación de color para calcular realmente la calificación del mejor aspecto para pantallas de PB_D alrededor de 1000 nit. Quizás en alrededor de 500 nits o 2500 nits, el aspecto aún sería inapropiado, al menos para algunas escenas HDR críticas (por ejemplo, un monstruo en la oscuridad puede volverse demasiado oscuro para que aún se pueda ver, o por el contrario, puede volverse irrealmente brillante, o el contraste de otro monstruo en la niebla gris puede volverse tan bajo que se vuelve invisible, etc.). En muchos escenarios (y especialmente en aplicaciones de transmisión en tiempo real), es posible que al calificador no le interese realizar una tercera calificación con funciones de transformación de segundo color en MET_TR2, ni siquiera puede querer dedicar mucho tiempo a crear en detalle el segundo aspecto calificado (por ejemplo, el LDR de1HDR maestro). Por lo tanto, introdujimos el principio de que, por un lado, se sabe mucho sobre la semántica real de la escena HDR al observar dos calificaciones que normalmente se encuentran en los extremos, en lo que respecta al uso típico previsto, de la escala de brillo pico. Por ejemplo, se ve que una explosión intensifica el brillo en la escena HDR en comparación con la escena LDR, donde no hay muchos códigos disponibles por encima de aquellos necesarios para renderizar suficientemente el resto de la escena (o viceversa, se puede ver que la explosión es atenuada en LDR en comparación con su brillante e impresionante versión en la imagen HDR). Eso no necesariamente dice cómo se debe intensificar la explosión para un PB_D en particular, por ejemplo, si la intensificación debe comenzar inmediatamente de manera agresiva o solo para pantallas HDR de alta calidad, por ejemplo, por encima de PB de 2000 nit, pero al menos uno sabe que para calificaciones intermedias (MDR) uno necesitaría intensificar la explosión de la bola de fuego. Ahora bien, lo que se necesita en cuanto a tecnología depende de la situación, como la complejidad del tipo de escena HDR y la criticidad del usuario en particular, equilibrado con lo que es común en ese campo de aplicación, tiempo y coste asequibles, etc. El principio es que el lado de recepción, por ejemplo, el decodificador o TV IC, puede derivar por sí mismo las otras calificaciones necesarias (entre las dos calificaciones recibidas, o incluso fuera de ese rango), normalmente con alguna guía adicional desde el lado de la creación, con metadatos que son diferentes en la naturaleza a partir de las transformaciones de color utilizadas para crear una segunda calificación original real, es decir, según el material artístico original especificado y firmado por el calificador. Porque los requisitos físicos y técnicos para esta llamada fase de sintonización de pantalla también serán diferentes. Tenga en cuenta que, si bien describiremos versiones en las que el creador realmente comunica parámetros que son óptimos para la escena HDR actual de acuerdo con sus deseos particulares, también enseñamos que los mismos principios se pueden aplicar únicamente sobre el lado de recepción, por ejemplo, donde el aparato de recepción hace un análisis de imágenes para llegar a un valor de parámetro de sintonización de pantalla adecuado, por ejemplo, gpr o gpm. Para algunas escenas, no es tan crítico cuál es la luminancia renderizada final de los diversos objetos de la imagen, por ejemplo, la luz en una habitación puede ser también un poco más brillante en la vida real, y también la luz del mundo exterior vista a través de una ventana será relativamente más brillante o más tenue. En dicho caso, el aparato o el calificador pueden decidir con una herramienta técnica muy simple, ajustar el aspecto para que sea un poco más brillante (por ejemplo, 3 etapas unitarias en algún rango) en comparación con lo que saldría con un algoritmo de referencia, al menos para alguna parte del rango de luminancia. Para algunas escenas más críticas, el calificador o el fabricante de la pantalla, por ejemplo, para mejorar automáticamente la imagen, o darle al usuario un control de interfaz de usuario más inteligente que influya en el aspecto, puede querer un control más preciso sobre varias partes de la escena HDR (en particular, varios rangos de brillo, pero en algunos escenarios, por ejemplo, puede haber información que permita la identificación de objetos particulares, en cuyo caso se puede realizar una sintonización de pantalla dependiente del objeto), para varios subrangos del rango de posibles brillos de pico de pantalla, todo, por supuesto, en sintonización con las restricciones típicas de hardware para este tipo de tecnología.
La invención aclarada a continuación resuelve el problema, para dicho procesamiento de escalado común (multiplicativo) que define el aspecto colorimétrico de al menos dos imágenes calificadas, que las calificaciones intermedias (aspectos recalificados (semi)automáticamente de MDR de rango dinámico medio) para pantallas reales, que se conectarán y se suministrarán con una imagen optimizada para la renderización, se puede calcular en el lado de recepción mediante un aparato (201) de transformación de color para calcular los colores resultantes (R2, G2, B2) de píxeles de una imagen de salida (IM_MDR) para una pantalla con un brillo pico de pantalla (PB_D) a partir de los colores de entrada (R,G,B) de píxeles de una imagen de entrada (Im_in) que tiene un código de luma máximo que corresponde a un primer brillo pico de imagen (PB_IM1) que es diferente del brillo pico de pantalla, caracterizado porque el aparato de transformación de color comprende:
- una unidad (102) de determinación de transformación de color dispuesta para determinar una transformación de color (TMF; g) a partir de datos de especificación de procesamiento de color (MET_1) que comprende al menos una función de mapeo de tono (CC) para al menos un rango de luminancias de píxeles recibidas a través de una entrada (116) de metadatos, cuya transformación de color especifica el cálculo de al menos algunos colores de píxeles de una imagen (IM_GRAD_LXDR) que tiene que corresponder a su código de luma máximo de un segundo brillo pico de imagen (PB_IM2), que es diferente del brillo pico de pantalla (PB_D) y el primer brillo pico de imagen (PB_IM1), y por lo cual la división del primer brillo pico de imagen por el segundo brillo pico de imagen es o bien mayor que 2 o menor que 1/2;
- una unidad (200) de determinación del factor de escala dispuesta para determinar un factor multiplicativo común resultante (gt), al comprender:
- una unidad (1303) de determinación métrica de capacidad dispuesta para determinar una métrica para localizar posiciones de brillos pico de pantalla entre el primer brillo pico de imagen (PB_IM1), y el segundo brillo pico de imagen (PB_IM2) y fuera de ese rango; y
- una unidad (1310) de determinación del multiplicador resultante dispuesta para determinar a partir del brillo pico de pantalla (PB_D), la métrica, y la transformación de color el factor multiplicativo común resultante (gt), y en la que el aparato (201) de transformación de color adicionalmente comprende
- un multiplicador (114) de escala dispuesto para multiplicar una representación de color RGB lineal de los colores de entrada con el factor multiplicativo común resultante (gt).
Una realización de ejemplo de un cálculo del factor multiplicativo común resultante (gt) necesario para calcular los colores resultantes de la imagen de salida comprende primero calcular una relación (gp) de: el logaritmo de en primer lugar una relación de un brillo pico de una pantalla (PB_D), en particular la pantalla conectada sobre la que se renderizan las imágenes y un brillo pico de referencia (PB_IM1, por ejemplo, PB_H) que corresponde a la imagen de entrada, dividido por el logaritmo de una relación del brillo pico de referencia (PB_H) y un brillo pico (PB_IM2 por ejemplo, es un PB_L de una calificación LDR) que corresponde a una imagen (Im_LDR) de un rango dinámico de luminancia al menos un factor 1.5 diferente del rango dinámico de luminancia de la imagen de entrada, que es normalmente la segunda calificación recibida de la escena de HDR. Después de eso, el aparato de transformación de color calcula el factor multiplicativo común resultante (gt) como el factor multiplicativo común inicial g (que se determinó a partir de la totalidad de todas las transformaciones de colores parciales utilizadas para convertir entre la primera y la segunda calificación, que puede ser normalmente una imagen de aspecto HDR y LDR) elevada a una potencia que es la relación (gp).
Puede haber dichas métricas, pero la métrica no puede ser cualquier cosa: cuando se utiliza para ubicar dónde exactamente o aproximadamente el brillo pico intermedio de la pantalla (PB_D) debe caer entre PB_H y PB_L, de modo que el aspecto MDR es satisfactorio cuando se renderiza sobre una pantalla PB_D (y, en particular, también es útil si la métrica da buenos resultados al extrapolar aspectos fuera del rango [PB_IM1, PB_IM2]).
Entonces, el aparato o método determina primero cuál es la transformación de color entre las dos imágenes de aspecto codificadas/recibidas (Im_in e IM_GRAD_LXDR, en las que IM_GRAD_LXDR puede ser una imagen HDR o LDR, y la otra imagen tiene entonces un rango dinámico considerablemente diferente), cuya transformación de color se puede representar y comunicar en varias realizaciones a la unidad que realiza los cálculos como, por ejemplo, una función (entre una luminancia normalizada de entrada y salida), o uno o un conjunto de factores multiplicativos g.
En muchas realizaciones, solo se pueden calcular todos los colores de la imagen de salida MDR mediante este método, pero en otras realizaciones solo se recalculan algunos de los píxeles. Por ejemplo, el método puede copiar algunos de los escenarios, o algunos elementos de texto o gráficos, de dicha imagen LDR, y solo intensificar los píxeles correspondientes a una bola de fuego o una ventana que mira hacia el exterior, etc. En dicho caso, una función también se podría definir sobre sólo una parte del rango de posibles luminancias, etc.
En última instancia, cualquiera que sea el cálculo del procesamiento de color necesario para derivar la imagen MDR a partir de, digamos, la imagen HDR, el aparato convertirá esto en un conjunto de valores de multiplicación, para multiplicar con los colores de entrada, que normalmente pueden estar en una representación de color RGB lineal (o de manera similar se podría, por ejemplo, multiplicar el componente L de una representación Lu'v' en la que u' y v' son las coordenadas de cromaticidad CIE 1976, pero esos detalles son irrelevantes para comprender las diversas realizaciones de sintonización de pantalla).
Por tanto, el aparato necesita en primer lugar una unidad (1303) de determinación de métricas de capacidad, para determinar qué métrica se necesita para ubicar el valor PB_D entre los valores PB_IM1 y PB IM2. Esta métrica normalmente no es lineal y, con algunos de los parámetros de sintonización, el aparato, en algunos escenarios ventajosos bajo la guía del calificador de contenido, puede influir adicionalmente en la forma de la no linealidad. Esto se debe, entre otras cosas, a que la sintonización de la pantalla no es simplemente una adaptación basada en la física de la pantalla, incluso bajo la apariencia de una visión humana no lineal, sino porque, en particular, para moverse desde HDR (especialmente muy alto DR) hasta LDR, es posible que sea necesario realizar optimizaciones complejas para comprimir todas las luminancias de los objetos y aún así obtener un aspecto coordinado agradable (las cosas pueden ser más fáciles en caso de que la segunda imagen también sea una imagen HDR, o al menos una imagen MDR con PB suficientemente alto). No obstante, lo ideal es que las realizaciones de nuestro sistema sean razonablemente simples, para que con unos pocos parámetros obtengamos rápidamente al menos la mayor parte del control de sintonización de aspecto que se necesita para las clases de contenido HDR.
La unidad (1303) de determinación de métricas de capacidad puede hacer algo tan simple como utilizar una métrica prefijada (que, por ejemplo, está codificada en el IC), o en otras realizaciones puede determinar el aspecto necesario a partir de un indicador de tipo métrico (COD_METR) que recibe del creador del contenido a través de la señal recibida S im en un campo de metadatos previamente acordado. Como varias escenas HDR se pueden manejar de manera diferente, el calificador puede, por ejemplo, comunicar que para una primera escena en la película de un acto al aire libre soleado, la métrica que se utilizará es la relación logarítmica (y quizás la dirección, la dirección vertical, ortogonal al eje de luminancias de entrada, ver más abajo), pero luego, cuando la siguiente escena se convierte en una escena nocturna, para obtener un aspecto algo más brillante, el creador de contenido puede dictar que la sintonización de la pantalla debe realizarse con una métrica basada en OETF (y, por ejemplo, en la ortogonal a la dirección diagonal de identidad, o en otras palabras 135 grados desde el eje de luminancia de entrada). O, dependiendo de si el contenido debe volver a calificarse MDR en tiempo real (o, por ejemplo, procesarse para un espectador posterior y almacenarse sobre un disco duro en las instalaciones del espectador), el aparato de transformación de color en, por ejemplo, un STB puede hacer algunos cálculos, consulte en las estadísticas de imagen, y considere que la métrica se debe cambiar un poco, o el PB_D se debe cambiar, como si la pantalla deseada fuera solo un poco más oscura, lo que da como resultado una imagen algo más brillante, o cualquier cambio en la sintonización de la pantalla que influya en los parámetros hasta que El aspecto MDR se considera satisfactorio, ya sea por un humano o por un algoritmo de análisis de calidad de imagen automático. La unidad de determinación de métricas de capacidad del aparato del lado de recepción puede construir su propia métrica, por ejemplo, a partir del análisis estadístico de conjuntos de imágenes de la película, pero normalmente solo elegirá una un conjunto de opciones preprogramadas.
La unidad (1310) de determinación del multiplicador resultante, en general, como se aclarará en los ejemplos a continuación, colocará la métrica en el mapa de transformación de luminancia (o hará algo equivalente en sus cálculos), determinará dónde cae el brillo pico de pantalla entre las imágenes codificadas (es decir, si se necesita una imagen MDR más HDR-ish o más LDR-ish, al menos para algún subrango de colores de píxeles, o algún subconjunto de píxeles de la imagen de entrada Im_in), y luego al mirar la forma de la función de transformación de luminancia total determinar para cada posible luminancia de entrada qué factor multiplicativo común resultante gt es necesario calcular la luminancia de salida correspondiente o en el color de salida del factor para el píxel correspondiente en la imagen MDR.
Entonces, en lugar de utilizar el factor multiplicativo común inicial (g), que codifica un mapeo de luminancia para los objetos de la imagen de acuerdo con cualquier deseo artístico de un calificador en cuanto a cómo quiere que se vean dos aspectos de rango dinámico, al utilizar nuestros parámetros de función de transformación de color que se transforman desde un primer aspecto de rango dinámico de una escena capturada (por ejemplo, HDR de 5000 nits como imagen principal) hasta un segundo, por ejemplo, LDR (para controlar pantallas heredadas de 100 nits), y que se aclara con la Fig.1, que, por lo tanto, solo produce la segunda calificación de referencia artística a partir de las imágenes de la primera calificación de referencia, se calcula un nuevo factor multiplicativo común (gt) resultante, que caracteriza una versión sintonizada de pantalla o con escala de brillo adecuada de la recalificación que da una imagen MDR. Por ejemplo, el aparato o método puede degradar una imagen principa1HDR (que, como se dijo, puede formularse como una acción multiplicativa única en colores de píxeles RGB con un factor común). Esto produce una imagen de grado intermedio (MDR) que tiene un aspecto adecuado para una pantalla conectable de brillo pico intermedio, por ejemplo, 1250 nit, es decir, todos los objetos de escena HDR en la imagen capturada se renderizan sobre esa pantalla con un brillo razonable (como sería deseable para el creador del contenido, y agradable de ver, ya sean regiones de sombras frescas, estanques de ensueño, el rostro brillantemente iluminado de un criminal interrogado por la policía, etc.), y eso en cualquier pantalla, y potencialmente tomando otros factores en cuenta como el entorno de visualización, etc. Y en las realizaciones, además de los brillos de los colores de los píxeles de los objetos de la imagen, también se puede optimizar el colorido de los colores de los píxeles como se desee, al aplicar una versión adecuadamente escalada de, por ejemplo, una desaturación necesaria para crear objetos de colores brillantes en el grado LDR. Un requisito importante para obtener imágenes correctamente calificadas para pantallas de brillo pico considerablemente diferente es que al menos las luminancias de los diversos objetos estén correctamente optimizadas para cada pantalla. De lo contrario, el espectador puede ver, por ejemplo, algunas partes de una imagen que son demasiado oscuras e incluso pueden ser insuficientemente discriminables. O algunos objetos pueden tener un contraste incorrecto, por ejemplo, tener poco contraste. Pero debido a que hemos encontrado una manera de formular transformaciones de luminancia como una multiplicación con un factor g, los mismos conceptos también se pueden aplicar al procesamiento de saturación de color. Y la transformación de la saturación de color también es un procesamiento útil cuando se necesita convertir entre imágenes para pantallas de rango dinámico de luminancia considerablemente diferente, ya que, por ejemplo, el calificador puede querer aumentar el colorido de las partes más oscuras de una escena cuando se renderiza sobre pantallas de brillo pico bajo, por ejemplo, entre 100 y 600 nit.
El cálculo de gt se realiza en el lado de recepción, pero normalmente también se puede hacer en el lado de creación para verificar qué harían los receptores. Incluso en algunas realizaciones, el lado de la creación podría anular cualquier cálculo del lado de recepción de los valores de gt y especificarlos directamente para, por ejemplo, una o más tomas de una película, pero nos centraremos en las realizaciones de cálculo más simples en la aclaración.
Se puede hacer una distinción entre un aspecto “nativo”, o más precisamente una familia de aspectos para pantallas asociados de varios brillos pico (y/o rango dinámico), y un aspecto reajustado, que se ha ajustado adicionalmente de acuerdo con algunos principios. Puede haber varias razones para volver a sintonizar en un lado de recepción, por lo que los parámetros de visualización de la pantalla, el entorno, la adaptación del espectador, etc., determinan en última instancia cuál debería ser el aspecto, pero normalmente en las cadenas de manejo de imágenes o videos HDR al menos el brillo pico de pantalla sobre la que se van a renderizar las imágenes es de suma importancia. Por otro lado, varias partes de la cadena de creación de imágenes hasta el consumo podrían opinar sobre cuál será un aspecto óptimo (por ejemplo, el consumidor final puede tener una visión especial sobre el tema o la necesidad). Se puede suponer que algunos sistemas, que podemos utilizar para aclarar nuestras realizaciones, permitirán al creador de contenido tener algo que decir sobre cuál debería ser, en última instancia, el aspecto “nativo” óptimo en cualquier pantalla del extremo de recepción que mostraría el contenido, si así se desea. Nuestras realizaciones más simples permiten esto, porque una gran parte del aspecto ya está codificado en las especificaciones de transformación de color que se comunican en los primeros metadatos MET_1 asociados con la imagen (por ejemplo, sobre el mismo disco óptico o medio que contiene la imagen, o mediante una misma comunicación de conexión de imagen), y si uno simplemente lo ajusta al brillo pico particular de la pantalla receptora, la mayor parte de la vista del calificador en la escena de la imagen seguirá estando presente y será perceptible en el aspecto finalmente renderizado. De hecho, si el aparato de transformación de color solo aplica la métrica tal como está, es decir, sin más sintonizaciones finas con parámetros que definen la variabilidad del aspecto como gpr, y luego determina las funciones de transformación de color de HDR a MDR basadas en la transformación de color recibida (cuyo TMF determina el mapeo de, por ejemplo, HDR a LDR), entonces el MDR se determina únicamente por la diferencia en la calificación codificada en las funciones de transformación HDR-LDR.
Sin embargo, otras partes también podrían tener algo que decir sobre el aspecto, y esto se podría determinar exactamente con los mismos componentes técnicos de nuestras diversas realizaciones, típicas como una redeterminación del aspecto nativo. Por ejemplo, un fabricante de aparatos, digamos un fabricante de televisores, también puede tener mucho conocimiento y/o una opinión preferida sobre cómo deberían verse ciertos tipos de renderizaciones de escenas HDR (o las renderizaciones MDR correspondientes). Por ejemplo, es posible que desee hacer que los sótanos oscuros sean un poco más brillantes, o tal vez incluso más oscuros, porque quiere enfatizar las capacidades de renderización oscura por encima del promedio de su pantalla. O puede desear un aspecto más o, por el contrario, menos saturado que la media. O puede procesar el color para otras peculiaridades del hardware de la pantalla, o las preferencias del proveedor, como un aspecto de color típico del proveedor, etc. En el pasado, esto se hacía completamente a ciegas en la imagen recibida después de analizarla por el televisor, o simplemente con funciones fijas. que siempre dan un resultado razonable, por ejemplo, de una mayor saturación, independientemente de lo que el creador piense sobre cómo se ve en una misma escena de imagen debería variar entre varios escenarios de renderizado (por lo que los colores podrían volverse sobresaturados en lugar de agradables pasteles), pero con nuestro enfoque actual El procesamiento posterior del fabricante del aparato se puede coordinar con lo que el creador artístico piensa sobre la escena (como se codifica en sus transformaciones de color para pasar de un aspecto codificado en una imagen comunicada de primera vista, digamos HDR de 5000 nit, a una segunda vista de referencia, digamos LDR heredado de 100 nits). Y en particular, a partir de esta respecificación funcional de al menos una más de calificación de rango dinámico de la escena HDR, el fabricante de aparatos (por ejemplo, un fabricante de televisores) tiene información semántica mucho más relevante, porque el calificador humano tomó sus decisiones en base a particularidades inteligentes de la escena y sus imágenes, en base a la cual el aparato de recepción puede realizar cálculos de recalificación óptimos más inteligentes. Incluso existe un tercero de forma genérica al que se le podría ofrecer una opinión sobre el aspecto definitivo de la imagen mediante nuestra nueva tecnología de calificación de aspecto. El espectador puede ajustar el aspecto, por ejemplo, normalmente un poco (tal vez incluso con una gran etapa de, digamos, hasta 3 etapas de cambio, pero luego solo en una parte del rango de luminancia, por ejemplo, los colores 10% más oscuros), a través de su control 1122 remoto, si piensa, por ejemplo, que actualmente la imagen es en parte demasiado oscura, porque su esposa está leyendo un libro junto a él.
Entonces, nuestro aparato de transformación de color se basa predominantemente en lo que el calificador ha especificado como sus funciones de transformación de color (en metadatos MET, más precisamente MET_1 asociado con las imágenes comunicadas Im_in), y que son simples de implementar en un IC, y que Es posible que no necesite atención adicional de calificación por parte del calificador. Su única acción en algunas encarnaciones no tiene por qué ser más que comprobar (rápidamente) si dicha pantalla sintoniza el video MDR, por ejemplo, una película de ciencia ficción con planetas brillantes quemados por el sol, o un programa de televisión con varios efectos de luz, se ve bien en un pantalla de brillo de pico intermedio elegida por el calificador, por ejemplo, 1000 nits es una buena pantalla intermedia (MDR) para una codificación de 5000HDR/100LDR, porque está aproximadamente 2 paradas por debajo de 5000 y aproximadamente 3 paradas por encima de LDR, e incluso esa verificación podría prescindirse de, si el calificador se basa únicamente en el extremo de recepción para ajustar aún más su aspecto nativo (es decir, solo especifica sus transformaciones de color para calificar solo un aspecto de referencia adicional además de su aspecto principal maestro, digamos LDR 100 nit, y luego todas las calificaciones adicionales son tomadas en cuenta por un fabricante de aparatos, por ejemplo, software de mejora del color que se ejecuta sobre un ordenador, etc.).
En caso de que haga alguna verificación o especificación más o menos específica sobre cómo debería ocurrir la recalificación preferiblemente en un lado de recepción, el calificador acepta el método de optimización de calificación adicional seleccionado actualmente por él (o una sugerencia automática) que da imágenes MDR agradables, por ejemplo, almacenando las funciones de transformación de color y la imagen principal en un disco blu-ray, o en un servidor intermedio para su posterior suministro a los clientes, junto con cualquier información necesaria para aplicar en un lado de recepción el método de optimización de calificación sintonizado a una pantalla conectable particular (que en las realizaciones más simples serían únicamente las funciones para calificar la segunda imagen de la imagen principal, es decir, los datos para calcular el factor multiplicativo común (g) o la función de mapeo de luminancia t Mf correspondiente a la misma, pero en realizaciones más avanzadas serían parámetros adicionales que especifican estrategias de optimización más precisas). El lado de recepción puede entonces determinar de forma autónoma una tercera calificación para, por ejemplo, el brillo pico de 1250 nits y, por ejemplo, cuando el aparato de transformación de color se incorpora a un servidor de suministro de vídeo profesional a través de Internet, almacenar estas terceras imágenes calificadas para cuando sea necesario por un cliente, o un grupo o clase de clientes.
El aparato de transformación de color obtiene un valor de brillo pico PB_D para que una pantalla reciba imágenes MDR optimizadas, por ejemplo, si solo se conecta una pantalla (por ejemplo, el aparato está incorporado en un televisor) PB_D puede ser un número fijo almacenado en alguna parte de la memoria IC. Si el aparato es, por ejemplo, un STB, entonces puede sondear el PB_D del televisor conectado. El aparato de transformación de color evalúa entonces cómo se relaciona este PB_D con los brillos pico correspondientes a las dos imágenes HDR y LDR calificadas, es decir, el PB de las pantallas de referencia correspondientes para las que se crearon estas calificaciones para que parezcan óptimas. Esta relación puede calcularse, por ejemplo, como una relación logarítmica gp o, de manera equivalente, una diferencia relativa. Esta relación se utiliza para llegar a la estrategia de recalificación (semiautomática) intermedia óptima y atractiva. Por lo tanto, los principios de nuestra invención se pueden aplicar tanto en una ruta de transformación de luminancia únicamente, o solo en una ruta de procesamiento de saturación de color, o en ambos al aplicar el mismo principio de ajuste dependiente de la pantalla apropiado dos veces, pero con diferentes especificaciones de transformación de color, dependiendo de la situación o del calificador que necesita cualquier imagen o video HDR.
Ventajosamente, el aparato (201) de transformación de color comprende una entrada de datos (117) de pantalla, dispuestos para recibir el brillo pico de una pantalla (PB_D) desde una pantalla conectada, de modo que pueda determinar la calificación correcta para cualquier pantalla disponible y/o conectada en el lado de recepción, potencialmente al hacer los cálculos sobre la marcha cuando mira un video. Esta realización también puede residir dentro de una pantalla, por ejemplo, un televisor, de modo que esta pantalla pueda determinar su propia calificación optimizada a partir de los datos de nuestra codificación HDR (por ejemplo, PB_D almacenado en una memoria). De esta manera, nuestra tecnología de codificación HDR codifica un agrupamiento de aspectos en una escena HDR, que se puede comparar, por ejemplo, con la forma en que un sistema de múltiples vistas puede codificar varias vistas con ángulos diferentes en una escena, pero ahora las diferencias ocurren de manera muy diferente en el espacio de color. Las realizaciones contrastantes pueden residir, por ejemplo, en servidores de video profesionales, que calculan previamente una cantidad de calificaciones para varios tipos de pantalla con un brillo pico en torno a valores particulares de clase PB_D, para posterior suministro a un consumidor, o para ajustar su aspecto mediante calificadores de color adicionales, etc.
Las realizaciones pueden determinar otras variables de la sintonización de pantalla, por ejemplo, el aparato (201) de transformación de color puede comprender además una unidad (1304) de determinación de dirección dispuesta para determinar una dirección (DIR) con respecto al eje de luminancia de los colores de entrada. y hacer que la unidad (200) de determinación del factor de escala comprenda una unidad (1312) de interpolación direccional dispuesta para determinar una luminancia para un píxel de la imagen de salida (IM_MDR) a partir de una luminancia de un píxel de la imagen de entrada (Im_in) al posicionar la métrica a lo largo de la dirección (DIR). Como ejemplo útil, nuestra tecnología puede interpolar en la dirección horizontal, es decir, determinar en el mapa de la transformación de luminancia qué luminancia de salida corresponde a una luminancia de entrada en el eje x. Nuestra investigación posterior ha demostrado que puede ser útil rotar la dirección de interpolación para determinar dónde se debe ubicar un MDR intermedio correspondiente a PB_D y cómo se debe procesar el color, porque varias transformaciones de luminancia tienen varias definiciones y comportamientos, y dicha sintonización diferente puede crear, por ejemplo, un aspecto más brillante en al menos algún subrango de las luminancias (por ejemplo, algunas funciones pueden definirse con nodos entre segmentos que tienen varios comportamientos de transformación de luminancia, como el tramo de los grises oscuros, con una posición de luminancia de entrada fija, y luego una interpolación direccional puede cambiar esto). En particular, hemos encontrado que la posición de 135 grados desde el eje de luminancia de entrada es una posición interesante, ya que luego se sintoniza ortogonalmente en comparación con la transformación de identidad y, por ejemplo, las extrapolaciones pueden definirse inicialmente como en gran parte simétricamente reflejadas en comparación con esta diagonal). A continuación, mostraremos cómo desplegar la métrica a lo largo de esta dirección DIR, y el experto debería comprender cómo se pueden derivar ecuaciones matemáticas a partir de esto, al hacer geometría.
De nuevo, esta dirección puede, por ejemplo, ser determinada por el aparato del lado de recepción de forma autónoma, por ejemplo, en base a su clasificación del tipo de imagen HDR, o puede comunicarse como un indicador de dirección COD_DIR desde el lado de creación de contenido. Mostraremos una realización ventajosa que puede realizar los cálculos al aplicar una rotación del mapa que contiene la función de transformación de luminancia, realizada por la unidad de interpolación direccional 1312.
Una unidad (1311) de determinación de multiplicador común convertirá entonces la transformación de color requerida para obtener el aspecto MDR en los diversos factores gt necesarios para la multiplicación de los colores de entrada.
Ventajosamente, el aparato (201) de transformación de color tiene su unidad (200) de determinación de factor de escala dispuesta además para obtener un parámetro de sintonización (gpr; gpm) a partir de datos de especificación de procesamiento de segundo color (MET 2), y se dispone para calcular el factor multiplicativo común resultante (gt) correspondiente a una posición diferente en la métrica que la posición para el brillo pico de pantalla (PB_D) cuya posición diferente se basa en el valor del parámetro de sintonización. Como se dijo anteriormente, la métrica determina cuál debería ser un aspecto MDR en gran medida razonable, si no recibe nada más, por ejemplo, del creador de contenido o un análisis de imagen adicional y conocimientos genéricos de HDR específicos del proveedor, es decir, entonces el aspecto MDR ya es en gran medida bueno para muchos tipos de escena HDR, precisamente porque ya está óptimamente determinada en base a las funciones de transformación de color recibidas (por ejemplo, curva personalizada CC), que determinan cómo deben cambiar varias calificaciones de la escena HDR, al menos desde el primer criterio de valoración del rango PB (por ejemplo, PB_H) al segundo (PB_IM2 es, por ejemplo, PB_L). Sin embargo, es posible que se necesite un cambio más rápido y agresivo en el aspecto LDR para algunas imágenes, o incluso algunas partes de algunas imágenes correspondientes a algún tipo de regiones u objetos como sótanos oscuros, y un cambio menos agresivo que el “promedio” (según lo determinado por solo utilizando la métrica y la dirección) cambian dependiendo de la desviación de PB_D de PB_IM1 para otras situaciones. Esto debe ser especificado por el calificador de la manera más sencilla posible. En las realizaciones más simples de nuestra tecnología, el calificador puede utilizar un solo parámetro (gpr) para indicar cuánto el punto M_PB_U que se va a utilizar correspondiente al punto de cálculo MDR debe estar más cerca, por ejemplo, de PB_H sobre la métrica, que cuando se calcula “a ciegas” por el aparato del lado de recepción al poner PB_D en la métrica.
Por ejemplo, en algunas realizaciones, la unidad (200) de determinación del factor de escala se dispone para determinar la posición diferente al aplicar una función monótona que da como salida una posición normalizada en la métrica como una función de al menos un parámetro de entrada (gpr) que se encuentra entre un mínimo, por ejemplo, un mn_gpr negativo para la extrapolación o 0 y un máximo (mx_gpr) y, por supuesto, depende también de algún valor de entrada correlacionado con la situación de pantalla, es decir, p B_D (gpr podría ser, por ejemplo, una medida de curvatura de una flexión curva alrededor del lineal uno de la Fig.15, etc.). En caso de determinación directa de la posición sobre la métrica, el valor de entrada puede ser el propio PB_D, o puede ser alguna función de este PB_D, por ejemplo, la métrica que se utiliza. Este valor de gpr puede ser fijado por el calificador, por ejemplo, mediante un mando 1510, o calculado mediante análisis de imagen inteligente artificial en el extremo de recepción. Dado que se puede formular el cambio (al menos para la interpolación, y esto se puede adaptar correspondientemente cuando se necesita la extrapolación) necesario para obtener el aspecto MDR, como una transformación de color que es una identidad cuando se calcula teóricamente la calificación HDR, o en general la calificación principal recibida, de sí mismo, y el otro extremo del rango, es decir, el aspecto LDR de 100 nit se puede obtener al aplicar la transformación de luminancia comunicada (es decir, “en su totalidad”), uno puede ver esto como aplicar el cambio multiplicativo, entre o en absoluto, es decir, multiplicación por 1.0, o en toda su extensión, es decir, multiplicación por g correspondiente a los metadatos recibidos para calcular el aspecto LDR a partir de la imagen HDR recibida. A partir de esto, para cualquiera que sea el valor de multiplicación real para las diversas luminancias de entrada, se puede definir una función continua como la ejemplificada en la Fig.15, que aplica la transformación de color en la mayor medida posible (m_MT_norm=1) o no en absoluto, o cualquier cosa entre, dependiendo de una entrada que caracterice el escenario de pantalla, y el al menos un valor de gpr que caracteriza el tipo de recalificación que se desearía.
En caso de que se tenga una realización del aparato (201) de transformación de color en la que la unidad (200) de determinación del factor de escala utiliza la métrica en base logarítmica, y calcula el factor gt elevando el valor g a esa relación de corrección calculada, el lector experto comprenderá que puede resultar ventajoso corregir esta relación. Esto se puede hacer de forma pragmática al obtener un parámetro de sintonización (gpm), por ejemplo, a partir de los datos de especificación de procesamiento de color (MET), y luego calcular un valor de potencia sintonizada (gpp) que es la relación (gp) que sale del cálculo métrico logarítmico de que corresponde a PB_D, elevado a una potencia que es el parámetro de sintonización (gpm), y luego se calcula una versión más sintonizada del factor multiplicativo común (gtu) que es el factor multiplicativo común inicial (g) elevado a una potencia igual al valor de potencia sintonizada (gpp), cuyo gtu se utilizará como de costumbre por el multiplicador (114) de escala para multiplicar los colores de entrada RGB lineales. No hace falta decirlo, pero lo diremos para que quede completamente claro para el experto que, aunque este valor de potencia gpm parece un valor gamma, no tiene absolutamente nada que ver con las gammas conocidas de las pantallas o del brillo de imagen general, porque este es ahora un parámetro de control para la agresividad de la sintonización necesaria hacia el otro aspecto calificado para algún color de imagen MDR necesario correspondiente con algún PB_D, dependiendo de las particularidades de la escena HDR y, por ejemplo, el tipo de optimizaciones artísticas que eran necesarias para obtener una calificación LDR razonable. El hecho era solo que una función de potencia era una manera pragmática de diseñar un comportamiento de un tipo como el que se aclara en la Fig. 15, y el hecho de que algunas funciones matemáticas sean universalmente desplegables es una mera coincidencia matemática.
Preferiblemente, también ofrecemos una solución técnica que permite al creador de contenido tener una opinión aún más sobre cómo se verán las calificaciones intermedias. Por un lado, introdujimos para la solución una restricción de que el calificador no debería molestarse con demasiada calificación adicional, ya que el tiempo de calificación es costoso y, por ejemplo, algunas producciones pueden haber superado el presupuesto antes de la posproducción y el calificador ya ha pasado bastante tiempo creando la calificación HDR maestra (sin embargo, si casi nadie puede ver eso en su pantalla real, tiene sentido no ignorar por completo los problemas de renderizado final), y luego un aspecto LDR asociado con él (o un aspecto LDR desde, por ejemplo, una versión de cine, y luego un aspecto HDR correspondiente para la visualización de televisión en HDR u otras alternativas de flujo de trabajo). Por otro lado, aunque ya habiendo puesto algo de la complejidad en las calificaciones a ambos lados de un rango de calificaciones intermedias requeridas para varios valores de PB_D (nótese nuevamente que esta invención y sus realizaciones no se limitan a este escenario típico aclarador, ya que las tecnologías también pueden funcionar para, por ejemplo, calificar hacia arriba desde la calificación maestra de 5000 nits hasta, por ejemplo, 20,000 nits, iniciando desde las mismas funciones para degradarlas y cambiarlas adecuadamente, o con funciones adicionales para la actualización transmitida en los metadatos, etc.), es decir, cuando ya se tiene una calificación HDR y LDR, la determinación de calificaciones intermedias puede ser más simple. Sin embargo, prima facie y en general, la determinación de una calificación intermedia aún puede ser relativamente compleja, en particular si hay un mayor número de paradas entre el brillo pico de la calificación MDR y la calificación original en cualquier extremo, LDR y HDR. Entonces, idealmente, el calificador debería crear minuciosamente una tercera calificación MDR, o al menos lo suficientemente minuciosa, lo que puede hacer con nuestras realizaciones más avanzadas. Sin embargo, ofrecemos una serie de soluciones simples, que puede utilizar en su lugar, únicamente, o si es necesario con una pequeña sintonización fina adicional de, por ejemplo, una parte del mapeo de luminancia global para la generación de imágenes calificadas intermedias (o como poscorrección sobre la imagen resultante de nuestro método de optimización anterior con una función adicional), o la sintonización fina local de algún objeto que es crítica y no resultó simplemente como calificado correctamente por nuestras realizaciones simples, etc.
En esta realización, el calificador puede crear rápidamente MDR intermedios especificando solo un parámetro de sintonización adicional gpm o gpr, que también se comunica en los metadatos MET, y especifica cuánto se verán las calificaciones intermedias como la calificación LDR o HDR, o, en otras palabras, con qué rapidez, al pasar por los distintos brillos pico intermedios de una pantalla conectada prevista, la calificación intermedia MDR cambia de un aspecto HDR a un aspecto LDR o viceversa en la otra dirección (por ejemplo, qué tan brillante permanece un objeto oscuro particular cuando el brillo pico de pantalla sigue aumentando).
Por supuesto, además de una función de sintonización fina de 1 parámetro (para ir más rápido o más lento a la otra calificación cuando se elimina PB_D del punto de partida, por ejemplo, PB_H), se pueden definir parámetros adicionales que especifiquen exactamente cómo se debería producir una sintonización de pantalla más o menos agresiva que depende de la escena, por ejemplo, como con gptt de la Fig. 15. En principio, en nuestro marco técnico uno puede definir especificaciones arbitrariamente complejas de cómo debe moverse entre el aspecto HDR y el aspecto LDR para varias posiciones intermedias PB_D, como desviaciones desde el enfoque basado en métricas puro.
Ventajosamente, una realización adicional del aparato (201) de transformación de color tiene la unidad (200) de determinación del factor de escala dispuesta además para obtener al menos un valor de luminancia (Lt) que demarca un primer rango de luminancias de colores de píxeles (o lumas correspondientes) de la imagen de entrada desde un segundo rango de luminancias, y en el que la unidad (200) de determinación del factor de escala se dispone para calcular el factor multiplicativo común sintonizado (gtu), es decir, la realización determinada más específicamente del factor multiplicativo común resultante gt, para en al menos uno del primer y segundo rango de luminancias. Cuando decimos luma nos referimos a cualquier codificación de una luminancia o cualquier otra medida de brillo de píxeles (correlacionada con la longitud del vector de color), cuyos valores se pueden calcular de forma equivalente entre sí. Por ejemplo, en algunas realizaciones prácticas puede ser ventajoso hacer de este valor Lt un demarcador de Valor, donde el Valor se define como max(R,G,B), es decir, uno de los componentes de color de un color de entrada que es el más alto. Es decir, cuando el componente de color más alto, digamos el rojo, es superior a, por ejemplo, 0.3, el color se clasifica en un primer régimen y, de lo contrario, en un segundo régimen.
Con esta realización, el calificador puede seleccionar subrangos particulares interesantes del rango de luminancia de la imagen principal (y, en consecuencia, mediante la transformación de color también la imagen derivable, por ejemplo, la imagen LDR) y tratarlos de manera diferente. En la discusión anterior, nos centramos principalmente en qué tan rápido se debe pasar de la calificación HDR a la calificación LDR (o viceversa si la imagen principal Im_in era una imagen LDR) y cómo esto se puede lograr técnicamente en algunas realizaciones prácticas incluso en 1 parámetro de control único gpr o gpm. Esta adaptación se realizará normalmente para todos los colores de píxeles en la imagen de entrada, es decir, cualquiera que sea su brillo original, asumimos que se pueden ajustar de manera similar a la pantalla, porque la diferencia de enfoque ya está codificada en gran parte en la forma de la transformación de luminancia para calificar entre el aspecto HDR y LDR original del calificador. Sin embargo, puede haber varias partes semánticas en las escenas HDR, por ejemplo, las telas de colores en áreas relativamente más oscuras de un mercado y el exterior brillante que se ve a través de la entrada del mercado, y normalmente puede haber varias optimizaciones involucradas para mapear las diversas partes en, por ejemplo, un rango de luminancia LDR relativamente pequeño, sin dejar de hacer una imagen artísticamente convincente. O, las regiones oscuras pueden ser muy críticas en una escena nocturna, y el calificador puede desear mantenerlas bastante brillantes al mantener ese subrango de las luminancias cerca del aspecto LDR hasta alcanzar brillos picos relativamente altos como, por ejemplo, 800 nit, mientras que mantiene un buen contraste HDR en las regiones superiores, por ejemplo, una parte de las casas cerca de un poste de luz, o una parte de una cueva que está iluminada por el sol que cae a través de una grieta en el techo, o cajas comerciales de colores retroiluminados, etc. En nuestra forma de realización más avanzada, el calificador puede querer especificar la sintonización, en particular la agresividad con la que se mueve la calificación MDR hacia la calificación de la segunda imagen para las etapas PB_D sucesivas, de diferentes maneras para diferentes partes de la escena, en particular partes de las imágenes de diferentes luminancias de píxeles y, por lo tanto, sigue siendo ventajoso tener un mecanismo que permita al calificador especificar adicionalmente su control deseado en ese aspecto.
El calificador normalmente especifica un valor de gpm diferente para cada lado de al menos una región que demarca el valor de luma (Lt), y más valores si se especifican más regiones a lo largo del rango (por ejemplo, oscuros, medios y brillos, e hiperbrillantes). Una de las dos regiones puede utilizar un valor predeterminado, por ejemplo, gpm = 1, lo que significa utilizar la estrategia de nuestra primera realización, lo que significa que en algunas realizaciones el calificador solo necesita especificar un valor de gpm particular para una de las dos regiones con luminancias en cualquier lado del Lt. Pero también puede especificar y transmitir un valor de gpm dedicado para ambos lados: gpm_1 y gpm_2.
Una realización adicional del aparato (201) de transformación de color tiene la unidad (200) de determinación del factor de escala dispuesta adicionalmente para determinar un rango de suavizado de lumas situado alrededor del al menos un valor de luma (Lt), y se dispone para interpolar el factor multiplicativo común sintonizado (gtu) entre su valor determinado a cada lado del al menos un valor luma (Lt). Para garantizar un comportamiento de transición suave, que puede no ser necesario para cada escena HDR y escenario de cálculo de MDR, y que no haya luminancias de píxeles inapropiadas para ningún objeto de las calificaciones intermedias (que en particular podrían ser críticas para ciertos gradientes, por ejemplo, en el cielo o un objeto esférico iluminado), esta realización permite al calificador especificar una región de transición. Él puede especificar la interpolación dependiendo de cuánto difiere la estrategia de interpolación en cada lado de Lt, es decir, cuánto gpm_1 para, por ejemplo, las luminancias bajas difieren de gpm_2 para las luminancias altas (los valores buenos típicos para cualquiera pueden estar entre 1.5 y 1/1.5), determinar, entre otras cosas, el ancho de la región de interpolación como un parámetro adicional I_W, y si debe, por ejemplo, estar simétricamente alrededor de Lt o aplicarse asimétricamente solo a las luminancias por encima de Lt (alternativamente, el aparato de recepción podría determinar de forma autónoma una estrategia de interpolación al utilizar detalles en las curvas resultantes como que deberían ser monótonas crecientes, o restricciones deseadas en derivadas sobre un instante particular o sobre un intervalo particular, es decir, propondrá al menos una estrategia hasta que se cumplan las restricciones, etc.). También, en algunas realizaciones se puede especificar alguna estrategia de interpolación deseada al transmitir las funciones para calcular el valor de gpm requerido para cada posible luminancia en la imagen principal en los metadatos, pero por defecto esto será una interpolación lineal entre los valores de gpp transmitidos para cualquier lado de la región de interpolación.
Habiendo dado algunas realizaciones aclaratorias del aparato de transformación de color que se puede diseñar con los principios de nuestra invención, a continuación describimos algunas variantes de aparato adicionales en las que este aparato de cálculo de color básico puede estar comprendido, en varios escenarios de aplicación, por ejemplo, aparatos en un lado del consumidor, un lado del creador de contenido, en el sitio de una empresa de transmisión de contenido, por ejemplo, en una cabecera de cable o satélite, o por un servicio basado en Internet para volver a calificar videos, por ejemplo, de consumidores, por ejemplo, un video de bodas o vacaciones, etc.
En el lado del codificador, nuestras realizaciones se pueden utilizar en un sistema para crear una codificación de una imagen de alto rango dinámico (Im_src), que comprende:
- una entrada para recibir la imagen de alto rango dinámico (Im src);
- un convertidor (303) de imagen dispuesto para convertir la imagen de alto rango dinámico (Im_src) en una calificación maestra (M_XDR) de la imagen de alto rango dinámico (Im_src);
- un aparato (201) de transformación de color como se reivindica en cualquiera de las reivindicaciones anteriores del aparato de transformación de color dispuestas para calcular a partir de los colores de entrada de píxeles de una imagen de entrada (Im_in) que es la calificación maestra (M_XDR), los colores resultantes de píxeles de una segunda imagen calificada (M_X2DR), al aplicar la transformación de color (TMF; g);
- el aparato de transformación de color se dispone para obtener al menos un parámetro (gpm) y para calcular utilizando el parámetro y la transformación de color una segunda imagen (IM_MDR) que corresponde a un brillo pico que es diferente del brillo pico que corresponde a la calificación maestra (M_XDR) y el brillo pico que corresponde a la segunda imagen calificada (M_X2DR);
- una unidad (310) de formato de señal dispuesta para convertir la segunda imagen calificada (M_X2DR) junto con la calificación maestra (M XDR) en una imagen formateada de alto rango dinámico (SF_X2DR) adecuada para almacenamiento y/o transmisión de imágenes y que comprende datos de color de píxeles de la calificación maestra (M_XDR), metadatos que codifican la transformación de color, y al menos un parámetro (gpm); y
- una salida (320) de imagen para emitir la imagen formateada de alto rango dinámico (SF X2DR).
Normalmente, los componentes reflejarán aquellos del lado de recepción, pero ahora un calificador humano (o un sistema inteligente artificial de reprogramación automática) tiene componentes técnicos adicionales para determinar lo que debe hacer un receptor, para crear las calificaciones intermedias más perfectas de acuerdo con el deseo del calificador.
En este documento, el calificador normalmente comienza con material HDR original (Im src), digamos directamente desde una cámara HDR como una cámara RED, o incluso un sistema de dos cámaras expuestas de manera diferente suministradas por la misma imagen de escena a través de un divisor de haz. El calificador normalmente quiere hacer una calificación HDR maestra de esto, como se explica con el ejemplo de la Fig.14, quiere colocar las luminancias de los diversos objetos de imagen, y sus códigos de luma correspondientes, sobre el eje de luminancia de 5000 nit a la izquierda de la Fig. 14. También quiere hacer una calificación LDR correspondiente al mismo aspecto de imagen HDR maestra. Continuando con el ejemplo particular de la imagen principal (Im_in) que en realidad se comunica como un DCT comprimido normalmente o sin comprimir, siendo una imagen HDR, en ese escenario, la imagen calificada M_XDR que se genera en la primera calificación sería una imagen HDR, y luego esta imagen HDR se agregaría a la señal de imagen junto con los metadatos de la función de procesamiento del color y se escribiría, por ejemplo, en un BD u otra memoria física (321), o en cualquier otro medio de comunicación de imágenes. En ese escenario, el calificador crearía a partir de la calificación HDR maestra al menos una función de mapeo de luminancia (digamos, por ejemplo, CC) para obtener M_X2DR, en este caso una imagen LDR, es decir, una imagen para la cual los códigos se mapearían a un PB_L de 100 nit.
Sin embargo, también tenemos una versión y las correspondientes realizaciones de sintonización de pantalla, que llamamos modo 2, en el que la “imagen HDR” de la escena HDR se codifica realmente como una imagen LDR de 100 nit. En este caso, M_XDR que sale de la calificación inicial que determina la imagen principal, puede ser una imagen LDR. Y en este modo, las funciones que especifica el calificador (CC, etc.) mapearían esta imagen LDR a una imagen HDR, que normalmente es una aproximación muy cercana, casi idéntica, de la imagen de aspecto HDR maestra deseada. En este modo 2, el Im_in que se almacena en la imagen o la señal de video S_im sería una imagen LDR, y las funciones de transformación de luminancia (y transformación de saturación) serían funciones de actualización, para derivar en el lado de recepción una imagen HDR, y también M_X2DR sería una imagen HDR. En cualquier caso, el calificador normalmente verificaría el aspecto de tres imágenes, sus imágenes de aspecto LDR y HDR originales, y una imagen MDR, sobre tres pantallas típicas, con los brillos pico de pantalla elegidos adecuadamente correspondientes a aquellos de las imágenes.
Por tanto, la imagen SF_X2DR de alto rango dinámico formateada de acuerdo con nuestra tecnología HDR de hecho codifica efectivamente un aspecto HDR en una escena, independientemente de si realmente contiene una imagen principal HDR o LDR.
Este sistema normalmente también emite al menos un parámetro de sintonización (gpm).
Una de varias iteraciones puede estar involucrada, dependiendo de si el calificador quiere dedicar más o menos tiempo. Para las transmisiones en tiempo real, el calificador puede, por ejemplo, observar únicamente si los aspectos (para los que la calificación HDR y LDR normalmente también implicarán pocas operaciones, por ejemplo, una configuración de transformación de curva S o de tipo logarítmico único basada en las características de la escena justo antes del inicio del programa para generar la calificación maestra, y una segunda para obtener la segunda calificación dependiente, por ejemplo, LDR fuera de una calificación maestra HDR) son de calidad suficientemente razonable en tres pantallas de referencia, y ocasionalmente pueden sintonizar aproximadamente un dial simple que, por ejemplo, cambia un parámetro de gpm. Pero cuando se trata de una remasterización fuera de línea, el calificador puede invertir una cantidad significativa de tiempo para llegar a una codificación de varias calificaciones, por ejemplo, 2 calificaciones MDR adicionales entre HDR y LDR, y una a cada lado (una ultra-HDR UHDR, y un sub-LDR SLDR), etc., algunos de ellos por las realizaciones de sintonización de pantalla, o algunos de ellos por las realizaciones de codificación de imagen de aspecto de rango dinámico original, mediante transformaciones a todo color en los metadatos, y luego sintonización de pantalla en la parte superior de eso para posiciones intermedias PB_D entre más de dos calificaciones comunicadas originales. Especialmente para algunos programas más populares, en empresas intermedias en una cadena de comunicación de imagen, por ejemplo, empresas que tienen un negocio de venta, transmisión, optimización, etc. de contenido existente, en una acción de remasterización para varias categorías de receptores, puede haber un presupuesto de calificación adicional para que un calificador humano invierta más tiempo en la creación de varios escenarios de reevaluación más avanzados y los parámetros matemáticos de esas diversas transformaciones de color.
También es útil un método para calcular colores resultantes de píxeles a partir de los colores de entrada de píxeles de una imagen de entrada (Im_in), caracterizado porque el método comprende:
- determinar un factor multiplicativo común inicial (g) sobre la base de datos de especificación de procesamiento de color (MET) recibida a través de una entrada (116) de metadatos,
- determinar un factor multiplicativo común resultante (gt), por al primer lugar calcular una relación (gp) de los logaritmos de en primer lugar una relación de un brillo pico de una pantalla (PB_D) y un brillo pico de referencia (PB_H) que corresponde a la imagen de entrada, y en segundo lugar una relación del brillo pico de referencia (PB_H) y un brillo pico (PB_L) obtenido a partir de los datos de especificación de procesamiento de color (MET) y que corresponden a una imagen (Im_LDR) que resulta al aplicar los datos de especificación de procesamiento de color a los colores de píxeles de la imagen de entrada, y posteriormente calcular el factor multiplicativo común resultante (gt) como el factor multiplicativo común inicial (g) elevada a una potencia que es la relación (gp), y - multiplicar una representación de color RGB lineal de los colores de entrada con un factor multiplicativo que es el factor multiplicativo común resultante (gt).
También es útil un método para calcular colores resultantes de píxeles como se reivindica en la reivindicación 7, que comprende la etapa de recibir el brillo pico de una pantalla (PB_D) desde una pantalla conectada.
También es útil un método para calcular colores resultantes de píxeles que comprende obtener un parámetro de sintonización (gpm) a partir de los datos de especificación de procesamiento de color (MET), calcular un valor de potencia sintonizado (gpp) que es la relación (gp) elevada a una potencia que es el parámetro de sintonización (gpm), determinar un factor multiplicativo común sintonizado (gtu) que es el factor multiplicativo común inicial (g) elevado a una potencia igual al valor de potencia sintonizado (gpp), y multiplicar una representación de color RGB lineal de los colores de entrada con un factor multiplicativo que es el factor multiplicativo común sintonizado (gtu).
También es útil un método para calcular colores resultantes de píxeles que comprende obtener al menos un valor de luma (Lt) que demarca un primer rango de lumas de colores de píxeles de la imagen de entrada a partir de un segundo rango de lumas, y calcular el factor multiplicativo común sintonizado (gtu) para al menos uno del primer y el segundo rango de lumas. El otro subrango puede entonces, por ejemplo, utilizar el parámetro gt predeterminado determinado a partir de la relación de logaritmos que especifica la relación de luminancia de PB_D, PB_H y PB_L mencionada anteriormente para las realizaciones más amplias. Algunas realizaciones del método o aparato pueden utilizar cualquiera de las realizaciones prefijadas, o cualquiera de ellas seleccionable, dependiendo de la situación en cuestión, que normalmente se codificarán con códigos de caracterización adicionales en metadatos.
También es útil un método para calcular los colores resultantes de píxeles que comprende determinar un rango transitorio de lumas situado alrededor de al menos un valor de luma (Lt) e interpolar el factor multiplicativo común sintonizado (gtu) entre su valor determinado en cada lado de al menos un valor de luma (Lt).
Como comprenderá el lector experto, todas las realizaciones se pueden realizar como muchas otras variantes, métodos, señales, ya sean transmitidas a través de conexiones de red o almacenadas en algún producto de memoria, programas informáticos, y en diversas combinaciones y modificaciones, etc.
Por ejemplo, en algunas realizaciones, el lado de creación de contenido puede controlar como cualquier pantalla del lado de recepción debe renderizar el aspecto (intermedio) en base a lo que el calificador determina sobre cómo se deben ver varias calificaciones de rango dinámico, al comunicarlo como una señal de imagen codificada de alto rango dinámico (S_im) que comprende:
- datos de color de píxeles que codifican una imagen principal que es una calificación maestra (M_XDR);
- metadatos (MET) que comprenden parámetros que especifican transformaciones de colores para calcular una segunda imagen calificada (M_X2DR) a partir de la calificación maestra (M XDR), caracterizado porque la señal de imagen de alto rango dinámico codificada (S im) adicionalmente comprende un parámetro de sintonización (gpm) que se va a utilizar para calcular colores resultantes de píxeles a partir de los colores de entrada de píxeles de calificación maestra (M_XDR) al:
- determinar un factor multiplicativo común inicial (g) sobre la base de transformaciones de colores;
- calcular una relación (gp) de los logaritmos de en primer lugar una relación de un brillo pico de una pantalla (PB_D) y un brillo pico de referencia (PB_H) que corresponde a la imagen de entrada, y en segundo lugar una relación del brillo pico de referencia (PB_H) y un brillo pico (Pb_L) obtenido a partir de los metadatos (MET) y que corresponde a una imagen (Im LDR) que resulta al aplicar los datos de especificación de procesamiento de color a los colores de píxeles de la imagen de entrada;
- calcular un valor de potencia sintonizado (gpp) que es la relación (gp) elevada a una potencia que es el parámetro de sintonización (gpm);
- determinar un factor multiplicativo común sintonizado (gtu) que es el factor multiplicativo común inicial (g) elevado a una potencia igual al valor de potencia sintonizado (gpp); y
- multiplicar una representación de color RGB lineal de los colores de entrada de la calificación maestra (M XDR) con un factor multiplicativo que es el factor multiplicativo común sintonizado (gtu). Esta señal puede comprender adicionalmente especificar metadatos para permitir que cualquier aparato de lado de recepción aplique cualquiera de muestras realizaciones, tal como, por ejemplo, uno o más demarcadores de luminancia Lt, etc.
También es útil un sistema para crear una codificación de una imagen de alto rango dinámico que comprende una interfaz (330) de usuario que permite que un calificador humano especifique al menos un parámetro (gpm), y una salida (311) de imagen para conectar una pantalla (313) que tiene el brillo pico de la pantalla (PB_D).
También es útil un sistema (1130) para determinar los colores a renderizar, que comprende un aparato (201) de transformación de color y una interfaz (1120) de usuario para ingresar al menos un parámetro especificado por el usuario que cambia al menos una de la métrica, el parámetro de sintonización (gpr; gpm) o el brillo pico de la pantalla (PB_D) que se va a utilizar por el aparato de transformación de color.
También es útil un método para calcular colores resultantes (R2, G2, B2) de píxeles de una imagen de salida (IM_MDR) para una pantalla con un brillo pico de pantalla (PB_D) que empieza a partir de colores de entrada lineales de tres componentes (R,G,B) de píxeles de una imagen de entrada (Im_in) que tiene un código de luma máximo que corresponde a un primer brillo pico de imagen (PB_IM1) que es diferente del brillo pico de la pantalla, que comprende:
- determinar una transformación de color (TMF; g) a partir de datos de especificación de procesamiento de color (MET_1) que comprenden al menos una función de mapeo de tono (CC) para al menos un rango de luminancias de píxeles, cuya transformación de color especifica el cálculo de al menos algunos colores de píxeles de una imagen (IM_GRAD_LXDR) que tiene que corresponder a su código de luma máximo de un segundo brillo pico de imagen (PB_IM2), que es diferente del brillo pico de la pantalla (PB_D) y el primer brillo pico de imagen (PB_IM1), y por lo cual la división del primer brillo pico de imagen por el segundo brillo pico de imagen es o bien mayor que 2 o menor que 1/2;
- determinar un factor multiplicativo común resultante (gt), al:
- determinar una métrica para localizar posiciones de brillos pico de la pantalla entre el primer brillo pico de imagen (PB_IM1), y el segundo brillo pico de imagen (PB_IM2) y fuera de ese rango; y
- determinar a partir del brillo pico de la pantalla (PB_D), la métrica, y la transformación de color el factor multiplicativo común resultante (gt); y
- el método comprende adicionalmente multiplicar colores de entrada lineales de tres componentes (R,G,B) con el factor multiplicativo común resultante (gt) para obtener los colores resultantes (R2, G2, B2).
También es útil un método que comprende adicionalmente determinar una dirección (DIR) con respecto al eje de luminancia de los colores de entrada (R,G,B), y en la que la determinación de un factor multiplicativo común resultante (gt) comprende determinar una luminancia para un píxel de la imagen de salida (IM_MDR) a partir de una luminancia de un píxel de la imagen de entrada (Im_in) al posicionar la métrica a lo largo de la dirección (DIR). También es útil un método que comprende adicionalmente obtener un parámetro de sintonización (gpr; gpm) a partir de segundos datos de especificación de procesamiento de color (MET_2), y calcular el factor multiplicativo común resultante (gt) que corresponde a una posición diferente sobre la métrica que la posición para el brillo pico de la pantalla (PB_D) cuya posición diferente se basa en el valor del parámetro de sintonización.
También es útil un método que comprende obtener al menos un valor de luminancia (Lt, Ltr1) que demarca un primer rango de luminancias de colores de píxeles de la imagen de entrada a partir de un segundo rango de luminancias, y calcular el factor multiplicativo común resultante (gt) para al menos uno del primer y el segundo rango de luminancias.
Para poder comunicar la información requerida desde un lado de la creación en el que se generan aspectos artísticamente apropiados para cualquier sitio de uso de esas imágenes, es útil tener una especificación técnica de una señal de imagen de alto rango dinámico (S im) que comprende:
- datos de color de píxeles que codifican una imagen principal que es una calificación maestra (M_XDR) de una escena de alto rango dinámico;
- metadatos (MET) que comprenden parámetros que especifican una transformación de color para calcular una segunda imagen calificada (M_X2DR) a partir de la calificación maestra (M XDR); caracterizados porque la señal de imagen de alto rango dinámico codificada (S im) adicionalmente comprende un parámetro de sintonización (gpm) que se va a utilizar para calcular colores resultantes de píxeles a partir de los colores de entrada de píxeles de calificación maestra (M XDR) al determinar un factor multiplicativo común resultante (gt) que se determina en base a la transformación de color y el parámetro de sintonización y un brillo pico de pantalla (PB_D) para una pantalla que se va a proporcionar con una imagen que comprende píxeles que tienen los colores resultantes.
Esta señal puede viajar en cualquier tecnología de comunicación de señales, o residir en cualquier producto de memoria que comprenda los datos de color de los píxeles, los metadatos (MET) y el parámetro de sintonización (gpm).
Mientras que algunas realizaciones permiten al calificador un mayor o menor grado de control sobre cualquiera de las recalificaciones para cualquier situación de renderizado, lo que implica normalmente al menos un brillo pico de pantalla particular que no es igual al de la pantalla de referencia asociada con la imagen o imágenes comunicadas, otras realizaciones (independientemente de si el calificador desea comunicar alguna especificación de recalificación, es decir, cualquier cosa además de sus transformaciones de color para recalificar las imágenes comunicadas a un aspecto de rango dinámico adicional solo comunicada de forma paramétrica, por ejemplo, LDR a partir de HDR) permiten una aparato de recepción para por sí mismo recalificar aún más un aspecto de una característica de renderización prevista, tal como una pantalla MDR 1500 nit, en particular por medio de una realización del aparato (201) de transformación de color que comprende una unidad (1110) de análisis de imagen dispuesta para analizar los colores de objetos en la imagen de entrada (Im_in), y de allí determinar un valor para al menos uno de los parámetros de ajuste (gpm o gpr, etc.), o brillo pico de una pantalla (PB_D) que se utilizará en el cálculo del factor multiplicativo común resultante (gt), o métrica, o dirección, o cualquier parámetro o combinación de parámetros de acuerdo con cualquiera de nuestras realizaciones que permitan la especificación de un parámetro multiplicativo final g fin, para obtener los colores de una imagen recalificada final (R,G,B)_radj.
En particular, también puede ser útil si el aparato tiene medios para permitir que un espectador final (por ejemplo, un espectador de televisión en casa) que tiene influencia en el aspecto, por ejemplo, al reespecificar el parámetro gpr por sí mismo, por ejemplo, al dar un pequeño desplazamiento en cualquier dirección, por ejemplo, gpr_v = gpr k*0.1, k se selecciona de {-3, -2,...., 3}, o en general gpr k*N, siendo N un tamaño de etapa pequeño. Esto permite cambiar un poco el aspecto, pero en coordinación con lo que el calificador de contenido ha especificado como relevante para esta escena, al volver a calificarla, es decir, de acuerdo con sus funciones de transformación de color HDR-LDR que ha comunicado en los metadatos correspondientes a las imágenes (de video).
Breve descripción de los dibujos
Estos y otros aspectos del método y aparato de acuerdo con la invención resultarán evidentes y se aclararán con referencia a las implementaciones y realizaciones descritas a continuación, y con referencia a los dibujos acompañantes, que el lector entiende que sirven simplemente como ilustraciones ejemplares específicas no limitantes que ejemplifican los conceptos más generales que se pueden realizar de otras maneras, y en las que se utilizan guiones para indicar que un componente es opcional, no siendo necesariamente esenciales los componentes sin guiones. Los guiones también se pueden utilizar para indicar que los elementos, que se explican como esenciales, están ocultos en el interior de un objeto, o para cosas intangibles como, por ejemplo, selecciones de objetos/regiones (y cómo se pueden mostrar sobre una pantalla). Debe quedar claro para el lector experto que, dada la complejidad del asunto y las diversas realizaciones alternativas que se podrían hacer, para la concisión de las enseñanzas tenemos algunos componentes mostrados solo en algunas imágenes, pero que esos componentes también se pueden agregar mutatis mutandis a las otras diversas realizaciones. También debe quedar claro que algunas Figuras describen aspectos de las realizaciones en cualquier nivel superior de abstracción, por ejemplo, a nivel de marco técnico.
En los dibujos:
La Fig. 1 ilustra esquemáticamente un aparato ejemplar para crear una calificación secundaria (aspecto original del creador, que especifica cómo debería verse una escena si se renderiza sobre una pantalla de referencia que se ajuste a ciertas capacidades específicas como un brillo pico particular) de rango dinámico diferente de una calificación maestra de entrada (que para simplificar la comprensión puede ser, por ejemplo, una calificación maestra HDR), en la que el solicitante desea mejorar con componentes técnicos adicionales en esta aplicación, para permitir fácilmente la creación de calificaciones adicionales, es decir, aspectos correctos para otros rangos dinámicos;
La Fig. 2 ilustra esquemáticamente una parte de cálculo central ejemplar que permite la creación de al menos una calificación adicional (que llamaremos calificación MDR), a partir de la información que especifica dos calificaciones iniciales que se pueden recibir a través de algunos medios de comunicación de imágenes desde un lado de creación de contenido, o que es creado en el mismo lado, al menos uno es una calificación HDR;
La Fig. 3 ilustra esquemáticamente dicho sistema de cálculo para calcular una calificación adicional, cuando se incorpora en un sistema ejemplar para aclarar algunos aspectos de nuestra invención, cuyo sistema permite a un calificador especificar tales al menos tres calificaciones y codificar la información para ellas, lo que permite la reconstrucción de las tres calificaciones en un lado de recepción, por ejemplo, mediante un sistema informático o de televisión de consumidor;
La Fig. 4 ilustra esquemáticamente los resultados del uso de una realización simple para la creación de tres calificaciones intermedias ejemplares (entre una calificación LDR y HDR original creada por el calificador de color del creador de contenido), representado como las curvas de mapeo de luminancia (relativas, es decir, normalizadas a 1.0) para mapear una luminancia de calificación HDR de entrada Y_HDR a una luminancia de salida Y_L para una tercera calificación MDR deseada, en base a una curva de mapeo de luminancia para generar la segunda calificación a partir de la calificación maestra, la segunda calificación en este ejemplo es una Calificación LDR para una pantalla de 100 nits;
La Fig. 5 ilustra esquemáticamente una realización más avanzada, que permite un ajuste adicional de las formas de las curvas de calificación intermedias, en particular si se corresponden en la característica de distribución de luminancia a lo largo del eje de posible para hacer luminancias más como la calificación HDR, o más como la calificación LDR;
La Fig.6 ilustra esquemáticamente una realización aún más compleja, permitiendo una especificación más precisa de las curvas en al menos dos subregiones de luminancia, es decir, que permiten especificar el comportamiento de recalificación de manera diferente dependiendo de la luminancia de los objetos para los cuales se debe calcular una imagen de aspecto MDR óptimo;
La Fig. 7 ilustra esquemáticamente cómo nuestras realizaciones pueden hacer que la tercera calificación para cualquier pantalla, que se pueda conectar, por ejemplo, prevista con un aspecto de brillo pico particular, se parezca más al HDR, o más a la calificación LDR, al menos en algún subrango de las luminancias;
La Fig.8 ilustra esquemáticamente cómo las realizaciones también pueden encontrar una saturación de color intermedia apropiada de los colores de píxeles de una calificación MDR para una pantalla de brillo pico intermedio, comenzando desde una imagen calificada de entrada (además de la luminancia de los colores de píxeles, se podría mantener exactamente las mismas cromaticidades para todos los aspectos, pero en algunas realizaciones uno quisiera también sintonizar al menos la saturación del color, normalmente dejando los tonos sin cambios);
La Fig. 9 ilustra esquemáticamente otro ejemplo de aplicación de nuestras realizaciones a una relación de aspecto particular como un mapeo de tonos entre HDR y LDR según lo especificado por un calificador;
La Fig. 10 ilustra esquemáticamente otro ejemplo posible con nuestras realizaciones de recalificación particular para una serie de pantallas con brillo de pico intermedio, que combina un movimiento rápido hacia la búsqueda LDR para una primera región de píxeles con luminancias dentro de un primer subrango de luminancia, y un cambio más suave para una segunda región de píxeles con luminancias dentro de un segundo subrango de luminancia;
La Fig.11 ilustra esquemáticamente simplemente como un ejemplo adarador de algunas de las posibles aplicaciones de las tecnologías actuales, algunas posibles realizaciones de receptores que son capaces de determinar sus propias especificaciones de recalificación deseadas de acuerdo con nuestros principios (y en particular esta Figura también ejemplifica cómo en algunos de esos aparatos un usuario del lado de recepción podría influir en el aspecto de al menos una imagen MDR para al menos un escenario de renderización previsto);
La Fig. 12 ilustra esquemáticamente un procesamiento ejemplar para sintonizar rápidamente los contrastes aproximados de un aspecto recalificado.
La Fig. 13 ilustra esquemáticamente a nivel de componentes de alto nivel lo que comprenderá un aparato de sintonización de pantalla típico para derivar una imagen MDR;
La Fig. 14 muestra un ejemplo de una posible escena HDR, de digamos una película, para aclarar al lector algunos conceptos básicos necesarios de nuestra cadena técnica HDR y manejo de problemas;
La Fig. 15 muestra una posible realización de cómo se puede influir aún más en el aspecto de las imágenes MDR calculadas, por ejemplo, mediante un calificador de color humano desde el lado de la creación de contenido, es decir, normalmente algún tiempo antes de que se vean realmente las imágenes;
La Fig. 16 explica mediante un ejemplo cómo podemos, en nuestro marco, ver el procesamiento de color requerido como una formulación matemática multiplicativa;
La Fig. 17 muestra una aclaración de las posibilidades (por ejemplo, los deseos de que un calificador de color cree el contenido calificado artísticamente para las imágenes de escena HDR) que se pueden tener, para crear imágenes MDR recalificadas o sintonizadas en pantallas de varias maneras, por ejemplo, de acuerdo con las peculiaridades de la escena HDR;
La Fig. 18 muestra el mismo ejemplo, pero ahora visto en un sistema de coordenadas matemáticas correspondiente a la calificación LDR de los aspectos de imagen HDR y LDR recibidos sobre la escena HDR, y en este ejemplo se muestra una posible determinación de la función de transformación de luminancia MDR direccional;
La Fig. 19 muestra correspondientemente cómo se pueden formular dichas realizaciones de derivación de MDR particulares sobre una escala rotada, y explica las consecuencias técnicas consiguientes y las soluciones que ha decidido el inventor.
La Fig. 20 explica cómo se puede ver el significado de una métrica posible que se puede utilizar con la presente invención;
La Fig.21 aclara cómo se pueden tener en cuenta en el proceso de generación de MDR los parámetros de las funciones de procesamiento de color de HDR a LDR o LDR a HDR que se definen paramétricamente, y cómo se pueden variar de forma ciega o guiada esos parámetros cuando sea necesario, por ejemplo, las posiciones de los puntos demarcadores de luminancia específicos, y cómo sigue el cálculo de los colores MDR en dicha formulación técnica;
La Fig. 22 muestra otra posibilidad para especificar el comportamiento colorimétrico de generación de aspecto MDR, por ejemplo, mediante un calificador de color que puede comunicar esta información a cualquiera o varios sitios de recepción; y
La Fig.23 es un gráfico que muestra cómo se puede escalar entre representaciones normalizadas que hacen referencia a una luminancia relativa de 1.0 a diferentes valores de luminancia absoluta (normalmente PB_D de la pantalla para la cual se calcula una recalificación)
Descripción detallada de los dibujos
La Fig. 2 muestra una elucidación ejemplar de una posible realización de nuestros novedosos aparatos de transformación de color, que asumimos por ahora está comprendido en algún aparato del lado de recepción (por ejemplo, un televisor, un ordenador, etc.). Suponemos que la parte de mapeo de luminancia es la misma que en la Fig. 1, excepto que en este documento también divulgamos una posible opción de realización de realizar varios mapeos localizados espacialmente. Puede haber metadatos adicionales comunicados y recibidos, lo que permite que una unidad 222 de segmentación discrimine los píxeles del primer tipo de los píxeles del segundo tipo. Por ejemplo, una parte del cielo vista a través de una ventana lateral pequeña puede obtener un mapeo de luminancia algo diferente al del mismo cielo visto a través de una ventana principal grande. Es decir, en o cerca de píxeles en posición espacial (x,y)_1 con colores (Y_sky, u'_sky, v'_sky), es decir, en particular con luminancias que tienen valores de Y sky dentro de un rango, por ejemplo, más brillante que un umbral de luminancia, en el que x y y son coordenadas de píxeles espaciales, y Y es una luminancia y coordenadas uv CIE 1976 u' y v' de píxeles de cielo azul, obtiene otra transformación a otro Y_sky_out_2 que los píxeles que tienen incluso los mismos colores de entrada (Y_sky, u_sky, v_sky) pero residiendo en diferentes posiciones espaciales (x,y)_2. Si la unidad de segmentación solo clasifica los píxeles y carga diferentes parámetros de mapeo para llegar a un factor de ganancia común inicial dependiendo de si los píxeles se clasifican en la primera región o en la segunda región identificada, el resto del procesamiento puede ser idéntico a lo que se explica en la Fig. 1 (por ejemplo, se pueden utilizar dos rutas de cálculo paralelas con LUT calculados previamente, etc.). El lector debe comprender que el procesamiento para obtener la segunda imagen calificada original (por ejemplo, LDR) a partir de la imagen comunicada (digamos HDR), no necesita ser la misma que el procesamiento local para determinar una imagen MDR sintonizada en pantalla, por lo que no significa simplemente que, por supuesto, los valores exactos de las funciones y los parámetros pueden diferir, pero también las razones que conducen a formas de transformación de alto nivel en los impactos pueden diferir, pero al menos si uno ha recibido información en metadatos que permite la segmentación de conjuntos particulares de píxeles, normalmente, en objetos de imagen semánticamente especiales, también se puede hacer la sintonización de pantalla adaptado por separado a esas regiones u objetos, por ejemplo, intensificar una bola de fuego más rápido hacia un aspecto HDR, en caso de que el PB_D de la pantalla ya permita alguna renderización de efecto HDR, es decir, más rápidamente que el resto de la escena, que se puede sintonizar más gradualmente sobre los distintos valores intermedios posibles de PB_D. Nuevamente, los diversos parámetros gai, cc, etc. se leen a partir de los metadatos y se envían a las diversas unidades para realizar los cálculos de color (en particular, cálculos de cambio de luminancia), pero ahora, por ejemplo, la segunda región obtiene su propia curva de mapeo de luminancia cc_2 de forma general, mientras que la región principal (la mayor parte del cielo vista a través de la ventana y, por ejemplo, todos los píxeles del interior de una habitación) se transforma con la curva cc. PB_H y PB_L se almacenan ventajosamente como metadatos que especifican las dos calificaciones (en particular, qué significan exactamente los códigos de la calificación o, en otras palabras, para qué las condiciones de renderización de referencia se han realizado esas calificaciones), y también se leen a partir de de los metadatos y se envían a la unidad 200 de determinación del factor de escala que se dispone para calcular un factor multiplicativo común resultante (gt) basado en los valores de PB_L, y PB_H, y PB_D donde sea que el valor de PB_D provenga (por ejemplo, normalmente una pantalla conectada comunica su brillo pico a través de una entrada 117 de datos).
Las realizaciones avanzadas permiten al creador de contenido especificar y transmitir un parámetro adicional que determina la optimización de la calificación, a saber, un parámetro de sintonización (gpm), que normalmente será un número real, por ejemplo, 1.253 (o una codificación del mismo, por ejemplo, una multiplicación por 1000 y redondeando al número entero más cercano, etc.). Normalmente, los valores de hasta 1.5 y hasta 0.6 serán suficientes para las realizaciones que trabajan en la modificación de la métrica logarítmica al cambiar la potencia que determina el valor gt como se muestra a continuación, pero en general el software del calificador de color tendrá límites razonables más allá de los cuales el comportamiento de recalificación se vuelve demasiado extremo (uno no espera que para una pantalla de 300 nits se deba implementar inmediatamente el aspecto, es decir, conducirlo con las luminancias normalizadas de ese aspecto, de una imagen HDR de alta calidad, ya que dicha pantalla no puede renderizar fielmente esto, que el calificador verá como, por ejemplo, áreas que son demasiado oscuras, por lo tanto, sean cuales sean los límites en la práctica, de todos modos no querrá elegir los valores tan altos).
La Fig. 4 da un ejemplo de una realización muy simple de nuestra optimización de pantalla de una imagen HDR. Suponemos que necesitamos mapear las luminancias de entrada Y_HDR de una imagen HDR (es decir, la imagen principal es una calificación de 1600 nit) como luminancias de entrada a salida (llamadas Y_L en este gráfico) para cualquier calificación deseable. Por ejemplo, la curva 405 da la estrategia total (que corresponde a todas las unidades de la Fig. 1 que realizan su transformación de luminancia, es decir, las luminancias resultantes han comenzado a partir de las luminancias de entrada al comienzo de la cadena; n.b., la razón para tener tal cadena es que se investigó para que sea útil en la práctica para que el manejo de imágenes HDR tenga varias transformaciones de componentes en las que se puede jugar, y también en la sintonización de pantalla se podría hacer un uso específico de cualquier información de recalificación parcial específica, en cualquiera de las diversas realizaciones para varios escenarios) para mapeo de luminancia para crear una imagen agradable para una pantalla de 100 nits.
Vemos en este ejemplo una típica de las posibles estrategias, en la que se potencian las luminancias más oscuras (¡relativamente, en una escala normalizada!), de modo que habrá suficiente visibilidad de esas regiones en la pantalla oscura de 100 nit, porque estas regiones se calificaron como ultra oscuras en la calificación del principio HDR, porque se calificaron para pantallas brillantes, por ejemplo, de 1600 nits. Las luminancias brillantes restantes se distribuyen luego sobre el rango superior que todavía está disponible (en este ejemplo, por encima del 50% del brillo pico de salida renderizado, que se puede notar que debido a la naturaleza no lineal de la visión humana no es tanto, pero esto es simplemente una aclaración), en este ejemplo de manera lineal, pero por supuesto, el calificador podría utilizar, por ejemplo, una curva en S o una curva de recorte suave para las luminancias de entrada más altas, para crear, por ejemplo, más contraste en algunas regiones de las imágenes, etc. La imagen HDR cuando se convierte a sí misma (lo que en realidad no es necesario hacer, pero es un criterio de valoración teórico de todas las transformaciones de color reales a imágenes que no tienen un brillo pico PB_H) es equivalente a una transformación de identidad de pendiente de 45 grados, por lo que lo hemos dibujado en el mapa para poder mostrar calificaciones que permanecen cerca del aspecto HDR. Los factores multiplicativos comunes para cada luminancia de entrada Y_HDR se pueden leer en las curvas, por ejemplo, una intensificación b(0.2) mapea como el multiplicador g el valor Y_HDR = 0.2 al Y_LDR = 0.6 deseado, que corresponde a un factor multiplicativo común g de 3 para esta luminancia de entrada. Ahora, si uno quiere obtener la calificación óptima para un monitor de brillo pico de 800 nits (curva 402), porque esto está relativamente cerca en propiedades psicovisuales a un monitor de 1600 nits (para el cual la calificación HDR recibida en este ejemplo se vería óptima), y aún puede mostrar un contenido de rango dinámico relativamente alto, se calculará una recalificación de 800 nit (MDR 800) que está relativamente cerca de la transformada de identidad, es decir, el factor multiplicativo común resultante gt que está en este documento, b800(0.2), debería estar cerca de 1, y de manera similar para todas las demás luminancias de entrada. Las calificaciones óptimas para 400 nit (curva 403) y 200 nit (curva 404) de brillo pico de pantalla previsto o conectado PB_D deben tener curvas y factores multiplicativos comunes que se acerquen progresivamente al mapeo LDR (curva 405).
Las ecuaciones que utiliza nuestra realización para derivar cualquier calificación intermedia son:
gp = LOG(PB_ H / PB_ D ;2.71) / LOG(PB_ H / PB : L ;2.71)
gt = POTENCIA(g , gp) [Ecuaciones 1]
Como puede verificar el lector experto, esto permite calcular la salida requerida Y_L para cualquier entrada Y_HDR, porque el factor multiplicativo común resultante se puede determinar por un lado en base al lado de recepción o en la imagen utilizando la relación lateral fija gp (dependiendo de la pantalla en la que necesitamos renderizar, que asumimos en este momento normalmente será una sola en las instalaciones del consumidor) y, por otro lado, en base a la g inicial, que se puede calcular a partir de la entrada Y HDR y los metadatos para las funciones de transformación de color, es decir, en el aspecto LDR frente al HDR, tal como se recibieron. Como se puede verificar al llenar los valores, gp varía entre log (1) = 0 si PB_D=PB_H, y 1 si PB_D=PB_L, es decir, esto utilizará el valor completo de g si PB_D=PB_L, y realizará una transformación de identidad al multiplicar los valores RGB por 1 si PB_D=PB_H.
Queremos detenernos aquí por un ejemplo, para que el lector ya contemple y comprenda a partir de esta primera realización simple lo que sucede normalmente, y no se confunda con cosas que definitivamente no son lo mismo. Tenemos, por un lado, un comportamiento que (multiplicativamente) mapea luminancias de entrada de píxeles a luminancias de salida. Y este comportamiento se ha recibido del creador de contenido, en particular de su calificador de color, ya que normalmente cualquier receptor recibirá toda la información necesaria para determinar dos imágenes calificadas (normalmente un aspecto HDR y un aspecto LDR en la misma escena HDR). Y por lo tanto, el receptor puede conocer las transformaciones entre estas imágenes, en cualquier forma, pero en particular en una forma de multiplicación de la luminancia de entrada mientras mantiene constante la cromaticidad del color (en realidad, normalmente ya obtiene estas funciones, por lo que las utiliza en cualquier receptor para facilitar cualquier aplicación adicional). Por otro lado, dado que las calificaciones pueden no ser al menos completamente óptimas para renderización sobre pantallas que no tienen el mismo brillo pico que los PB asociados con las dos calificaciones, es posible que el receptor también necesite calcular una nueva recalificación intermedia MDR óptima de toda esa información. Esto también puede involucrar métricas, en las que se pueden determinar factores multiplicativos, y las funciones de transformación de luminancia se pueden transformar de manera similar en valores de gt multiplicativos, etc., pero esos dos factores de la codificación de calificación original versus el cálculo de una imagen MDR sintonizada en pantalla, aunque normalmente relacionados, algunas veces en menor medida, definitivamente no son los mismos, por lo tanto, muy diferentes filosofías de diseño técnico pueden llevar a soluciones muy diferentes (incluso si algunos componentes tienen el mismo nombre, como por ejemplo, un valor gamma en algunas realizaciones). Uno podría ver la sintonización de la pantalla como una sintonización fina en el par calificado, aunque lo fino y fácil que debería ser la recalificación depende de la situación, pero una de las vistas de diseño detrás de esto es que uno no debe molestar al calificador con la creación de una cantidad infinita de calificaciones originales para la misma escena HDR (es decir, uno quisiera que el creador de contenido esté presente en todos y cada uno de los televisores diferentes de un consumidor para crear sobre la marcha las imágenes personalizadas más bellas artísticamente, pero de una manera tanto como sea posible de materia automatizada con el mínimo trabajo adicional posible según sea necesario para el calificador, de nuevo dependiendo del escenario y sus deseos, es decir, sin embargo, con las diversas realizaciones al menos ofreciendo algo del control necesario para llegar al aspecto correcto, en el que hay un campo muy complejo de procesamiento de imágenes y el sistema de visión altamente no lineal de los consumidores de esas imágenes).
En la práctica, por supuesto, estos valores de gp y gt no necesitan calcularse todo el tiempo, pero normalmente como las calificaciones pueden cambiar, por ejemplo, por toma de N imágenes, las LUT se pueden construir justo antes de que sean necesarias para volver a calificar las imágenes entrantes., que aplican la función de mapeo requerida como en la Fig. 4, por ejemplo, para una pantalla de 400 nits conectada (y los metadatos se reciben al menos justo a tiempo, por ejemplo, 5 imágenes por adelantado).
En ese caso, la unidad 200 buscará el factor multiplicativo común resultante requerido gt, es decir, por ejemplo, b800(0,75).
En caso de que la imagen principal sea una imagen LDR, que necesita actualizarse a, por ejemplo, HDR de 6000 nit, o cualquier imagen recalificada para un brillo pico intermedio, se utilizan ecuaciones similares ligeramente diferentes en la realización:
gp = LOG(PB _ D / PB _ D ;2.71) / LOG(PB _ H / PB : L ;2.71)
gt = POTENCIA(g, gp) [Ecuaciones 2]
El multiplicador 114 de escala ahora funciona de manera similar como en la Fig. 1, pero multiplica los tres componentes de color RGB con gt en lugar de g, produciendo el aspecto de color deseado.
Sin embargo, puede ser que el calificador desee para una escena complicada o toma de imágenes de video una estrategia de recalificación diferente, por ejemplo, una que permanezca más tiempo (es decir, para obtener más brillo de pantalla por encima del LDR 100 nit) cerca a la forma funcional LDR. Él necesita especificar esto de una manera muy simple, por lo que, para no utilizar demasiado tiempo de calificación costoso, lo ideal es que determine, por ejemplo, solo 1 parámetro individual, a saber, el parámetro de sintonización gpm.
Por lo tanto, una realización más avanzada de nuestra unidad 200 de determinación de factor de escala aplica las siguientes ecuaciones:
gpp = POTENCIA( gp, gpm)
gtu = POTENCIA(g, gpp) [Ecuaciones 3]
Si gpm está por debajo de 1, entonces las recalificaciones de brillo d pico más bajas se comportan más como LDR en su aspecto (y curva de mapeo), y viceversa se comportan más como HDR para gpm por encima de 1, cuanto más alto es el gpm elegido por el creador o calificador de contenido.
Este comportamiento se ilustra en la Fig. 5. Se debe señalar nuevamente que el gpm no funciona en una dirección de detección de potencia (clásica) a lo largo del eje x (como la forma de las curvas, que representan la calificación es decir, la relación entre todas las luminancias del objeto para una escena, no debería cambiar significativamente, sin embargo, se permiten psicovisualmente cambios pequeños como un ligero aumento de alguna parte, ya que estos corresponden a modificaciones de aspecto de luminancia/contraste importantes deseados, siendo el resto de las pequeñas transformaciones aceptadas por adaptación de la interpretación visual en el cerebro), pero funciona según el valor Y_HDR, es decir, en la dirección del eje Y_L, por así decirlo. De hecho, lo que hace gpm es estirar o comprimir la familia de curvas hacia la función de calificación LDR, o viceversa, la función de mapeo unitario HDR, es decir, determina la “agresividad de los cambios de aspecto de recalificación necesarios”.
En la Fig. 5, hemos elegido un valor de gpm igual a 1.3, y vemos que la curva (503) resultante de mapeo de luminancia o factores multiplicativos comunes (ahora llamados factores multiplicativos comunes sintonizados gtu) se ha vuelto más similar a la curva de transformación de identidad HDR. De manera similar, con un factor de, por ejemplo, 0.8, la curva resultante estará por encima de la curva 403, es decir, más cerca de la curva 405 de aspecto LDR. Eso puede ser útil, por ejemplo, si hay objetos oscuros importantes en esta escena, por ejemplo, caras, para las que es prudente mantenerlas suficientemente brillantes durante un tiempo prolongado, es decir, hasta el momento en que se indique que la pantalla de renderizado es suficientemente brillante, por ejemplo, por encima de 800 nit.
Sin embargo, esto sigue siendo sintonización global (en el sentido de que todas las luminancias Y_HDR se manejan de una manera simplemente relacionada, solo determinada por la forma de la función de conversión de luminancia HDR a LDR y el parámetro gpm). Un mayor impacto de nuestras estrategias puede provenir de realizaciones que permitan diferentes sintonizaciones para diferentes subregiones de la luminancia de entrada (y, en consecuencia, mediante el mapeo también las luminancias de salida). Por ejemplo, si sintonizamos la curva 403 para que se vuelva más brillante (más similar a LDR) para las luminancias más oscuras, por necesidad también se vuelve más brillante para las luminancias más brillantes (porque para mantener el aspecto, estas deberían para cualquier recalificación tener luminancias de salida por encima de aquellas de las regiones oscuras de las imágenes), y esto puede ser inapropiadamente brillante. Por ejemplo, las regiones exteriores brillantes pueden perder demasiado contraste y el calificador puede percibirlas como molestas y descoloridas para algunas escenas críticas. Es decir, le gustaría hacer que las partes más oscuras de la escena sean más brillantes y, en consecuencia, contrastadas y visibles, manteniendo las regiones superiores, por ejemplo, cerca del aspecto HDR.
El comportamiento deseado se muestra de otra manera en la Fig. 7. En este documento mostramos cuánto de la imagen calificada LDR contribuye al aspecto de cualquier calificación MDR intermedia correspondiente a cualquier brillo pico de pantalla pretendido entre Pb_L y PB_H. El comportamiento predeterminado de las ecuaciones 1 es el gráfico 701. Se ve que podemos dar más peso a cualquiera de las calificaciones a lo largo de la ruta del cambio para varios brillos pico intermedios en la calificación MDR. Por ejemplo, la curva 702 muestra una situación en la que la calificación de MDR se mantiene cerca de la calificación de LDR hasta los brillos pico intermedios relativamente brillantes PB_D, y solo para las pantallas más brillantes comienza a mostrar el aspecto HDR (en la siguiente explicación basada en la métrica utilizada, esto corresponde al lugar donde caen las marcas de etiqueta para varios valores PB_D, es decir, si, por ejemplo, aquellos hasta (PB_H PB_L)/2 estarán todos juntos, es decir, cerca de la posición de calificación LDR PB_L). La elección de dicha curva y en qué medida dependerá de la relación entre las calificaciones HDR y LDR, es decir, las funciones de transformación de color entre las dos. El calificador puede haber hecho varias cosas, como, por ejemplo, aclarar las partes más oscuras en la calificación LDR, recortar suavemente las partes más brillantes, aumentar el contraste de alguna parte intermedia, realizar algún procesamiento de saturación específico en una vidriera de colores, etc., pero por ejemplo, si hay, por ejemplo, regiones oscuras críticas, el calificador puede elegir una curva como 702, y su valor en gpm transmitido a los diversos receptores, en o asociable con S im. Por otro lado, la curva 703, es una que introduce rápidamente una gran proporción del aspecto HDR, incluso para pantallas conectadas relativamente oscuras.
En el ejemplo de la Fig. 6, el calificador indica un régimen de optimización que demarca (luma o) valor de luminancia (Lt), en el ejemplo igual a 0.43. Por debajo de este valor Lt, ha especificado un primer valor de gpm, por ejemplo, gpm_1 = 0.3, es decir, para todos los colores de entrada con una luminancia Y_HDR <= Lt, la curva resultante se calcula como se explica en la Fig. 5, con este valor de gpm_1. Por encima de Lt, el calificador quiere pasar a un nuevo régimen de recalificación y, en este ejemplo, para los colores más brillantes, quiere tener el aspecto HDR. Determina un valor mayor que 1, en el ejemplo gpm_2=2.0, lo que hace que los píxeles más brillantes obtengan un aspecto HDR bastante fuerte, más fuerte de lo que normalmente es necesario, pero para este ejemplo. En el ejemplo, en lugar de utilizar inmediatamente gpm_2=2.0 para valores de Y_HDR por encima de Lt, especifica una interpolación para crear una región transitoria suave. Esto se puede especificar de varias maneras, en el ejemplo aclaratorio de una manera simple especificando una luminancia superior del régimen transitorio, Lt2 = 0,72. Por encima de 0,72, el factor multiplicativo común sintonizado gtu que se utilizará para, por ejemplo, crear la LUT de la curva se determinará utilizando gpm_2=2.0 o gpp_R=0.25 en este ejemplo. En la región transitoria se utilizará una estrategia de interpolación, incorporada, por ejemplo, al calcular primero los valores de potencia a cada lado de la transición que luego servirán para determinar el factor multiplicativo común gtu para las luminancias de entrada oscuras o brillantes, y luego interpolar las regiones transitorias al calcular, por ejemplo:
gpp _ L = POTENCIA( go, gpm _ 1)
gpp _ R = POTENCIA( go, gpm _ 2)
gpp _ i = gpp _ L (Y _ HDR - Lt ) * ( gpp _ R - gpp _ L)/(Lt 2 - Lt) (Ecuaciones 4)
Por supuesto, podrían utilizarse otras estrategias de interpolación si el calificador así lo desea.
Este valor de gpp_i se utilizará para determinar, de forma similar a como se explica en la Fig. 3, el valor de gtu para cada luminancia de entrada en el rango transitorio (es decir, gtu = POTENCIA(g, gpp_i)), mientras que en cualquier lado del transitorio el valor respectivo de gpp_L o gpp_R se utiliza en la función de potencia en g, y con esta formulación se puede calcular una curva resultante como, por ejemplo, 603 a partir de una curva 403 que resultaría del método explicado en la Fig.4, o en la práctica la curva resultante será calculada directamente. En correspondencia con la pantalla de 800 nits, el equivalente de una curva 402 más simple ahora sería la curva 602, que de hecho se comporta mucho más como LDR para los píxeles más oscuros, pero fuertemente como HDR para los píxeles más brillantes. Debe quedar claro que, para dicha realización, la unidad 200 producirá el equivalente de gtu para gt y, de lo contrario, todo puede ser similar para las diversas posibilidades de realización. En este ejemplo, hemos interpolado los valores de gtu que se utilizarán para la multiplicación común al interpolar de hecho los valores de gpp que la definen, pero realizaciones alternativas también podrían interpolar los valores de gtu que resultan a cada lado del transitorio en sí mismo. Normalmente, el codificador especificará qué método se utiliza. Por ejemplo, puede indicar que el decodificador debe calcular los valores de gtu en cualquier lado del intervalo [Lt1, Lt2], luego interpolar linealmente esa curva en los puntos faltantes en el intervalo y almacenar esto como un LUT final para el procesamiento de luminancia de la toma de imágenes actual.
Con estas realizaciones, el calificador puede, por tanto, definir simplemente una estrategia de recalificación de aspecto bastante avanzada para las diversas pantallas posibles en el campo para cualquier codificación de escena HDR incluso compleja. En casos simples, solo necesita codificar un valor de gpm, ya que, por ejemplo, por defecto, cualquier receptor puede entender el valor superior gpm_2 para dicho escenario como fijo 1.0. O, sin molestar al calificador, pero para estar seguro de que ningún receptor menos compatible malinterpreta la intención del calificador, en caso de que el calificador, por ejemplo, establezca el valor inferior de gpm_1 y un umbral Lt, el codificador por defecto llena gpm_2=1.0. En caso de que el calificador especifique solo un valor de potencia de gpm_2 para las luminancias por encima de Lt, el codificador completa 1.0 por defecto para gpm_1. Por lo general, el codificador también puede determinar automáticamente una estrategia de interpolación, que cree que debería verse bien (producir al menos curvas de grado MDR que aumentan monótonamente), y el calificador puede aceptar la codificación de esa estrategia en los metadatos (por ejemplo, como un valor Lt2) al hacer nada, o volver a especificar una estrategia de interpolación más hermosa en su lugar (si es necesario, el calificador también puede sintonizar los valores de gpm a ambos lados de Lt). En general, de acuerdo con nuestros principios novedosos, cada factor multiplicativo común g que codifica la diferencia de calificación entre el grado HDR y LDR se puede utilizar para determinar una recalificación optimizada, al definir un valor de potencia adecuado GP para cada entrada Y HDR, cuyo valor de potencia GP puede especificarse mediante cualquier curva codificada como metadatos de cualquier manera, por ejemplo, una curva con tres puntos Lt para regímenes de brillo interesantes en la toma actual de imágenes, y en lugar de, por ejemplo, valores fijos de gpm o gpp en ambos lados, por ejemplo, una evolución lineal o parabólica sobre el subrango de luminancias de entrada entre Lt2 y Lt3, etc., y luego la imagen recalificada se calcula utilizando gtu = POTENCIA(g, GT) para cualquier Y_HDR como entrada, y aplicando ese gtu a cualquier codificación de color lineal del color de píxel procesado actualmente.
Por tanto, como se explica en la Fig. 2, cualquier receptor que obtenga los diversos metadatos puede implementar la realización deseada de optimización sintonizada de pantalla según lo especificado por el lado de creación de contenido. Para resumir, se necesita al menos una imagen calificada con colores de píxeles como una imagen realmente codificada y transmitida y como punto de partida, por ejemplo, una calificación de 2000 nit (que realmente se transmitió y recibió, por ejemplo, normalmente MPEG comprimido, llamaremos la imagen principal). Luego habrá una definición de funciones para determinar al menos una calificación adicional (por ejemplo, LDR si la imagen principal era, por ejemplo, h Dr de 2000 o 5000 nit), tan precisa como el calificador la ha definido al utilizar varias funciones globales o locales posibles (hemos explicado principalmente el aspecto de procesamiento de luminancia, que es el aspecto principal de la recalificación del rango dinámico de luminancia, es decir, la determinación de otro aspecto en una escena para una pantalla con diferentes capacidades de rango dinámico que comprenden al menos el brillo pico, pero normalmente también se pueden producir transformaciones de color. involucrados, como el procesamiento de saturación de al menos algunos objetos de imagen, y potencialmente incluso cambios de tono). Esta transformación se puede comunicar, por ejemplo, mediante al menos un mapeo arbitrario de Y_HDR a Y_L, definido como una curva personalizada cc, por ejemplo, definiendo cómo transformar la calificación de 2000 nit en una calificación que es teóricamente óptima para una pantalla de brillo pico de 500 o 10000 nit (referencia o objetivo) o valores alrededor de eso. Entonces, si se requiere una transformación en la imagen HDR recibida, por ejemplo, porque una pantalla de brillo pico algo diferente está presente en el lado de recepción, o por ejemplo, porque un usuario utiliza su control remoto para controlar el brillo pico por debajo del máximo teórico de 10000 nit (similar a creando una especie de nueva pantalla), puede haber varias realizaciones de sofisticación sobre cómo crear una nueva recalificación, por ejemplo, para 8000 nit. Las versiones más simples pueden ser en gran parte automáticas, y hasta cierto punto ignoran los detalles colorimétricos y semánticos de una toma de imágenes de una escena HDR, y más precisamente lo que el calificador tiene o tendría que decir al respecto, es decir, cómo le gustaría ver cambios, por ejemplo, en un brillo más bajo, sobre la distribución de los brillos relativos de varios objetos a lo largo del eje de luminancia hasta el brillo pico disponible. Esta distribución de los distintos brillos de los objetos de la imagen determinará el llamado aspecto de la escena (por ejemplo, si se trata de una escena nocturna taciturna, en su mayoría oscura, pero que todavía transmite una visión suficiente de las formas de las casas), entre otras cosas debido a la efecto de los contrastes entre objetos (por ejemplo, una vidriera de colores que es colorida, pero aún lo suficientemente más brillante que el interior de la iglesia), y normalmente algunas optimizaciones requeridas estarán involucradas, porque incluso si hay suficiente rango dinámico sobre la pantalla para renderizar una escena de imagen particular, normalmente se trata de una determinación artística de una familia de aspectos, en lugar de la distribución exacta de las luminancias del objeto a lo largo del eje de luminancia como en la escena capturada original per se (es decir, el calificador puede optar por hacer el exterior soleado solo de una pareja de paradas más brillantes que el interior para tener una simulación suficiente del efecto exterior, en lugar de, por ejemplo, 5 paradas). Tenga en cuenta también que el arte está creando las apariencias apropiadas, y la visión humana es muy compleja, por lo que uno desea tener una tecnología que al mismo tiempo sea razonablemente simple (de lo contrario no se adoptará) pero lo suficientemente poderosa para manejar al menos la mayoría de los escenarios de una manera suficiente (de lo contrario, los creadores de contenido no pueden utilizarlo satisfactoriamente), y esto es en lo que los inventores deben ocupar. Como se enseñó anteriormente, el calificador puede utilizar diferentes parámetros para enseñar cómo las recalificaciones deben depender de la calificación en al menos un lado de un intervalo en el que se encuentra el brillo pico de pantalla deseada, es decir, cómo las curvas de calificación se transforman entre sí. Con uno o varios parámetros, el calificador tiene un control rápido pero poderoso sobre cómo los receptores calcularán las diversas recalificaciones potencialmente necesarias. Los receptores simplemente aplicarán las matemáticas sobre los colores de entrada de la imagen principal. Aunque enseñamos una realización pragmáticamente simple que trabaja con colores de píxeles RGB lineales, el experto comprende que nuestros principios también se pueden aplicar de manera equivalente en, por ejemplo, representaciones de color Yu'v', en las que, por ejemplo, los componentes uv se mantienen constantes y Y se transforma como se requiere, o al utilizar correlatos Y como Valor V = max(R,G,B), que son combinaciones lineales de los coeficientes de color lineales que se pueden escalar de manera similar multiplicativa, etc. Tenga en cuenta también que aclaramos los conceptos básicos de nuestras realizaciones basado en el PB_D de la pantalla deseada, en caso de que, por ejemplo, un proveedor de TV tenga una opinión sobre un procesamiento más complejo para la mejora de la espectacularidad del efecto HDR, como, por ejemplo, aumentos de contraste locales, etc., puede coordinar este procesamiento en la sintonización de pantalla resultante mutatis mutandis con la información del creador del contenido, por ejemplo, gradientes locales de las funciones de mapeo de luminancia, información de segmento de objeto, etc.
La Fig. 3 muestra un ejemplo de nuestra tecnología aplicada en el lado de la creación y codificación de imágenes o videos, por ejemplo, en una casa de posproducción de un estudio de cine, o una casa de producción para una emisora, o incluso en su forma más simple en un camión de producción de televisión de la vida, etc. Un servidor 301 de datos tiene almacenamiento para suministrar una imagen de inicio Im_src (que es una imagen HDR normalmente, es decir, con al menos objetos de alto brillo, por ejemplo, por encima de 1000 nit para renderizar luminancia, y a menudo también oscurecer objetos, aunque en algunas realizaciones el original podría ser una imagen de un rango dinámico más bajo en el que el calificador aún necesita crear efectos HDR, al calcular, por ejemplo, una bola de fuego con matemáticas gráficas por ordenador, cuya bola de fuego se puede representar como una o más imágenes pequeñas) o secuencia de vídeo a través de una entrada 302. Sin limitación, se puede asumir que esto es, por ejemplo, metraje de cámara sin procesar. Un convertidor 303 de imágenes está dispuesto para convertir estos datos sin procesar en, por ejemplo, una imagen principal HDR de 5000 nits, de la cual la relación entre las luminancias renderizables y los códigos de color (que comprenden lumas y otros dos componentes que codifican los aspectos cromáticos del color) está determinada por una función de transferencia electroóptica (EOTF) preseleccionada, normalmente fija pero potencialmente variable. Por lo general, el creador de contenido puede definir una imagen de una manera referida a la pantalla, es decir, definir cómo debe mostrarse en una pantalla de referencia de 5000 nits, y la conversión de las luminancias de la escena de la cámara, o las coordenadas de color equivalentes, normalmente implicará una calificación artística, que llamamos una calificación maestra M_XDR (por ejemplo, las lámparas de 20000 nit pueden codificarse como códigos para renderizar 5000 nit después de aplicar el EOTF, y dichos factores como la configuración de exposición relativa de la cámara tampoco son necesariamente importantes). Para ello, el convertidor 303 de imagen comprende una unidad 304 de transformación de color, dispuesta para realizar cualquier conjunto de transformaciones de color que se desee para realizar una calificación maestra agradable. No es necesario almacenar los parámetros para estas transformaciones, ya que el sistema a partir de ahí, es decir, también la decodificación en un lado de recepción, puede comenzar puramente a partir de esta calificación maestra (que normalmente se almacenará en la señal de imagen S_im, que se puede formatear de acuerdo con a, por ejemplo, tecnologías de codificación de video convencionales como MPEG_HEVC, es decir, con la calificación maestra como la imagen principal que se almacena como un conjunto de imágenes del componente YCbCr transformado en DCT, y los metadatos, por ejemplo, como mensajes SEI), pero algunas realizaciones también podrían almacenar algunos metadatos de esta calificación maestra. En segundo lugar, de acuerdo con nuestra invención, el calificador también calificará un segundo aspecto de rango dinámico IM_GRAD_LDR, por ejemplo, LDR para pantallas de 100 nits, ya que esta información es necesaria para las optimizaciones de pantalla reales posteriores. Las funciones para este mapeo necesitan ser almacenadas, es decir, la unidad 304 de transformación de color escribirá los parámetros correspondientes (por ejemplo, gai, cc) en los metadatos de S_im. La entrada requerida del calificador se puede ingresar a través de una entrada 331 de datos conectada a los medios 330 de interfaz de usuario de especificación de color, como por ejemplo un teclado, que puede ser una consola dedicada para la calificación de colores, etc. En la realización ejemplar asumimos que la calificación maestra HDR M_XDR se almacena o transmite como imagen principal junto con funciones de decalificación que permiten en un lado de recepción calcular la calificación LDR, pero alternativamente también se puede almacenar/transmitir la calificación LDR calificada secundaria como imagen principal, junto con funciones de actualización para reconstruir al menos una aproximación lo suficientemente cercana de la calificación maestra HDR en un lado de recepción, o se podría utilizar una calificación intermedia como imagen principal, con funciones para obtener las calificaciones LDR y HDR creadas en el lado de codificación, etc.
El procesamiento de la imagen principal en las unidades 104, 105, 106, 102, etc., es nuevamente similar a la que se explicó en la Fig. 2, porque el codificador necesita simular para el calificador lo que realmente sucederá en el lado de decodificación. Sin embargo, ahora normalmente los valores de los parámetros (gai, cc, etc.) de varias unidades de procesamiento de color se ingresan mediante la sintonización adecuada por parte del calificador humano, aunque otras realizaciones también podrían leerlos a partir de metadatos de manera similar a como ocurre en la Fig.1, por ejemplo, si algún calificador ha realizado la decalificación con otra unidad de transformación de color, posiblemente en otro momento. Por ejemplo, puede haber utilizado un programa de conversión de color con otras transformaciones matemáticas que definen la segunda calificación, y una unidad de conversión intermedia puede convertir esos procesamientos de color en procesamientos de resultado de aspecto aproximadamente igual con cualquiera de las subunidades de procesamiento de color combinado de cualquiera de nuestras realizaciones para realizar conversión de HDR a LDR u otra conversión de rango dinámico. La unidad 200 de determinación del factor de escala normalmente puede estar precargada inicialmente con un solo gpm igual a 1. En ese caso, la simulación aplica las Ecuaciones 1 o 2 para crear la calificación MDR. El calificador puede, por ejemplo, mirar en paralelo (o secuencialmente para adaptar su visión de manera diferente, etc.) a tres pantallas al emitir las imágenes relacionadas en una salida 311 de pantalla, es decir, una pantalla 312 HDR que muestra la calificación HDR que en este caso también era la imagen principal. denominada calificación maestra, una pantalla 314 LDR que muestra la calificación LDR de 100 nits y que normalmente es un monitor de referencia de 100 nits, y una pantalla 313 MDR elegida adecuadamente para mostrar la calificación intermedia óptima recalificada de acuerdo con cualquiera de nuestras realizaciones seleccionadas. Esta pantalla 313 MDR se puede, por ejemplo, elegir logarítmicamente cerca de la mitad de las dos calificaciones típicas disponibles LDR y HDR. Si el calificador, por ejemplo, trabaja en un formato que de forma estándar y normal utiliza un brillo pico de 2000 nits para la calificación HDR, puede elegir una pantalla MDR que tenga un brillo pico de 400 nits (4 x 100 y aproximadamente 2000/4). Dado que la optimización es aproximada como un ajuste de aspecto de segundo orden, no es crítico si la verificación se realiza, por ejemplo, en una pantalla MDR de 500 o 600 nits. También, el calificador puede optar por utilizar, por ejemplo, una pantalla popular en el momento de la creación del contenido. Si la mayoría de las pantallas en el campo tienen un brillo pico de alrededor de 800 nits, el calificador puede elegir una pantalla MDR de 800 nits (aunque puede ser la calificación de 5000 nits maestra para un futuro en el que habrá mejores pantallas, pero por supuesto, también le gustaría que sus películas se vieran bien en las pantallas actuales de 800 nits por el momento). Por lo general, es ventajoso estar en algún lugar cerca del punto medio de la pantalla MDR, ya que es allí donde se espera que se necesite la mayor cantidad de recalificación. Pero el calificador también puede, por ejemplo, elegir una segunda pantalla LDR para comprobar la criticidad de cualquier aspecto LDR-ish, también sobre pantallas que pueden ofrecer un aspecto algo más contrastante, por lo que en ese caso la pantalla MDR puede ser, por ejemplo, solo una o 1.5 paradas por encima de 100 nit. En caso de que el calificador esté satisfecho con el aspecto, puede presionar un botón de “finalizar”. En el ejemplo, esto puede, por ejemplo, almacenar la señal S im (es decir, la imagen principal y los metadatos para la decalificación), y en el ejemplo anterior un valor de gpm de 1.0, pero en realizaciones más avanzadas, datos de optimización de calificación MDR más avanzados en un producto 321 de memoria, como, por ejemplo, un disco blu-ray (BD), a través de una salida 320 de imagen. El experto en la materia debe comprender que, de forma similar, los datos pueden, por ejemplo, almacenarse en un servidor para su posterior suministro a través de, por ejemplo, Internet, o ser transmitidos en tiempo real, etc. En realizaciones más avanzadas, el calificador puede utilizar el cálculo de la calificación MDR, aplicando, por ejemplo, la función 503 como punto de partida. Luego, puede calificar más para obtener un tercera aspecto preciso, mejorando este simple principio de recalificación (es decir, volverá a utilizar al menos algunas herramientas de la tecnología de codificación de calificaciones original, pero puede comenzar con una recalificación MDR sintonizada en pantalla en lugar de una calificación maestra, para llegar a una tercera calificación original, y un conjunto de funciones de transformación de color, que se comunicarán a algún receptor). Por ejemplo, puede determinar una región de las imágenes de la toma y aplicarle una curva personalizada adicional para manejar específicamente estas subregiones/objetos. Esto se puede utilizar, por ejemplo, si un rostro en la oscuridad es crítico, las funciones simples de recalificación lo hacen razonable, de modo que todo, como los ojos y la impresión facial, se puede percibir bien, pero el calificador ahora bastante crítico no está satisfecho todavía (en todos los campos de actividad, algunas personas pueden ser menos críticas y otras incluso muy críticas). La función de recalificación simple elegida puede conducir a una buena calificación MDR para, por ejemplo, 500 nits en lo que respecta a los alrededores, por ejemplo, una calle oscura porque no se miran de manera tan crítica, pero el calificador puede querer hacer la cara más saludable y aplicar alguna función adicional. Los metadatos para esa tercera calificación (parcial) también pueden almacenarse como una o más funciones en el disco blu-ray, o transmitirse como metadatos adicionales, etc. Una o más unidades 310 de formateo de señales pueden estar involucradas para formatear todos los datos en el formato requerido. Por ejemplo, para controlar una pantalla se puede utilizar otra codificación siguiendo el ancho de banda limitado de la conexión de pantalla, que para el almacenamiento en, por ejemplo, un BD, en cuyo caso una imagen de alto rango dinámico formateada Sf X2DR puede codificarse de acuerdo con cualquier esquema de codificación HDR, pero preferiblemente un esquema en el que una imagen principal se complementa con metadatos que codifican transformaciones de color para calcular una segunda imagen de rango dinámico a partir de la imagen principal, siendo las dos imágenes para pantallas con un rango dinámico significativamente diferente, es decir, normalmente al menos un factor 2. En el ejemplo, ya asumimos que la tubería de procesamiento de luminancia (incorporada como 102) contiene un mapeo a un formato LDR típico (como el inverso 709 realizado por la unidad 112), pero la pantalla MDR puede tener otro formato de origen, etc., que la unidad 310 de formato puede cuidar. Esta no es la parte dominante de nuestras nuevas enseñanzas, debe quedar clara para el experto y no se desarrollará más.
La Fig. 8 describe cómo puede funcionar el principio de optimización para obtener la saturación de color correcta de los colores de los píxeles para controlar las pantallas MDR de brillo pico intermedio, de forma similar al procesamiento de luminancia explicado anteriormente. En algunas realizaciones, se puede preferir realizar tanto escalado de luminancia como de saturación optimizados, aunque otras realizaciones pueden utilizar únicamente escalado de luminancia. Los colores de entrada tienen una saturación de entrada, o más precisamente un croma C_in, que se refiere a que un valor cero es un blanco. Hay varias definiciones de saturación, por ejemplo, saturaciones normalizadas a [0,1] como en HVC, u otras saturaciones como en CIE 1976 uv, pero todas tienen la propiedad de que la saturación de un color está definida por un vector que comienza en un blanco predeterminado como D65 y se extiende sobre una distancia. Supongamos que tenemos en una imagen de entrada HDR un píxel que tiene una saturación Cs, y que se incrementará a un valor Cf. Esto se puede definir mediante un factor multiplicativo s, que es un factor similar a nuestro factor multiplicativo común inicial g descrito anteriormente. Si el LDR está más saturado que la imagen HDR (lo que, por ejemplo, puede deberse a que cada disminución en la luminancia de las regiones de la imagen renderizada debido a las capacidades de brillo de pico menores de una pantalla corresponde a una disminución en el colorido que tiene que ser corregido por un procesamiento de saturación especificado por el calificador), también es útil aumentar la saturación de las calificaciones MDR, pero en menor grado, es decir, con un factor st, que es una realización de gt. Los aparatos que tienen capacidad de procesamiento de saturación, normalmente tendrán un procesador 106 de saturación de color que no es un procesador simple que utiliza un multiplicador de saturación fijo s, sino que está dispuesto para proporcionar una saturación apropiadamente escalada. El procesamiento de saturación se puede fijar en todas las luminancias, lo que puede realizarse con un solo valor multiplicativo s, pero aún necesita optimización de pantalla a un valor óptimo para cada pantalla MDR conectada, pero normalmente para la conversión de rango dinámico se puede querer un procesamiento de saturación más sofisticado. Por ejemplo, la saturación puede variar dependiendo de la luminancia, o el valor menos la luminancia, y/o la saturación de entrada, etc. Sin embargo, es importante que la recalificación de saturación requerida (es decir, entre la imagen HDR y LDR) para cada píxel de entrada se especifique mediante el calificador y se comunique en los metadatos m Et , se puede determinar en el receptor y luego escalar adecuadamente. Normalmente, el procesador 106 de saturación de color tendrá algún mecanismo de tabla de búsqueda para determinar s. Por ejemplo, si el color de entrada (Ri,Gi,Bi) = (0.2,0.3,0.7), la LUT produce, por ejemplo, s = 1.1, o en caso de desaturación, por ejemplo, s = 0.5, y para otro color de entrada puede haber el mismo o un diferente valor de s. El procesador 106 de saturación de color comprende entonces una unidad para calcular un factor multiplicativo de saturación resultante (st) que es una realización de un factor multiplicativo común resultante gt, que es similar a la unidad 200, y calcula: st=POTENCIA(s, sp). La relación sp puede ser algo diferente para la saturación que para el procesamiento de luminancia, pero normalmente seguirá dependiendo de la relación entre PB_D, PB_H y PB_L, y a menudo no hay necesidad de diferenciarlo de cómo se calcula gp (pero, por supuesto, uno podría utilizar diferentes valores de gpm para la saturación y el procesamiento de luminancia, haciendo que las luminancias del aspecto MDR sean más como el aspecto LDR, por ejemplo, haciendo que las saturaciones se parezcan más a las saturaciones de la imagen HDR, etc.). Como se ve en la Fig.8, también puede tener sentido utilizar diferentes regímenes de saturación definidos por, por ejemplo, demarcadores de saturación Lts (que en realidad puede ser cualquier información de demarcación que permita clasificar los colores de los píxeles en dos o más clases diferentes para diferentes procesos de saturación), por ejemplo, para especificar una región de desaturación para manejar altos brillos en recalificaciones de brillo de pico bajo, y una región para intensificar el colorido de colores más oscuros, etc.
Es ventajoso realizar normalmente el procesamiento de saturación como:
Figure imgf000028_0001
en el que Ri, Gi, Bi son los componentes de color de entrada lineales, y Ro, Go, Bo los componentes de color de salida resultantes después del procesamiento de saturación, y Y es la luminancia lineal, es decir una combinación lineal a*Ri+b*Gi+c*Bi, con constantes predeterminadas a, b y c, aunque se pueden utilizar otros procesamientos equivalentes.
La Fig. 9 ofrece un ejemplo adicional, sobre cómo uno ya puede seguir las particularidades a veces complejas, dependientes de la escena, optimizadas del deseo de un calificador, incluso con la más simple de nuestras realizaciones, que residen únicamente en un simple cálculo de recalificación en un aparato de recepción, y sobre el cual el calificador, por ejemplo, no quiere verificar adicionalmente. Nosotros utilizamos para este ejemplo la escala dependiente del brillo pico de la pantalla de renderización logarítmica pretendida de las ecuaciones. 1. Vemos que este método ya puede establecer muy bien las luminancias y contrastes necesarios donde se necesitan en la escena. Por ejemplo, en este ejemplo, las regiones algo por encima del 60% (lineal) del máximo (es decir, blanco), que suponemos definidas en la imagen HDR, normalmente pueden necesitar algo de brillo en esta renderización. Por otro lado, en este ejemplo también hay una región de imagen crítica de alrededor del 50%, que puede ser, por ejemplo, la cara de un actor en una parte de la escena que está relativamente brillante. Por otro lado, en las regiones más oscuras de la imagen de este ejemplo no parece haber demasiados objetos de gran interés, porque el aspecto LDR se puede permitir recortar fuertemente esas regiones más oscuras. Esta puede ser una escena en la que tenemos, por ejemplo, muchas cosas sucediendo afuera en, por ejemplo, un paisaje iluminado por el sol, y algo dentro del cual podemos decidir artísticamente oscurecer un poco, digamos tal vez un granero o el interior de un templo que se ve a través de una puerta pequeña, y por lo tanto, no es demasiado relevante de todos modos lo que hay allí (debido al pequeño tamaño de la región, incluso en la renderización HDR sobre una pantalla HDR, el sistema visual puede descartar rápidamente esto como “negro poco interesante” y, por lo tanto, con la misma filosofía de calificación el calificador puede decidir hacerlo también en LDR aproximadamente lo que se ve como negro (tenga en cuenta que nuestros métodos deberían poder funcionar en variantes de calificación más precisas y menos críticas, y normalmente con escenas HDR más fáciles y más difíciles, la primera siendo, por ejemplo, dos regiones espaciales de la imagen cuya luminancia media exacta no es tan importante en cualquier renderizado MDR, y la última tiene, por ejemplo, requisitos de renderizado muy precisos, como por ejemplo un monstruo parcialmente oculto en la niebla). La propiedad importante es que incluso con la más simple de nuestras realizaciones, podemos obtener aproximadamente las buenas apariencias de brillo y todos los contrastes determinables correspondientes (es decir, entre la luminancia de los píxeles interesantes seleccionados 1 y 2, o la luminancia promedio de las regiones interesantes 1 y 2, por ejemplo un rincón oscuro y una parte del exterior vista a través de una ventana de una habitación), para todos los rangos dinámicos intermedios (MDR). En esta Fig.9, la curva 909 es la transformación de luminancia que se aplicará para transformar el aspecto HDR de 5000 nits en un aspecto LDR de 100 nits, el HDR transformado a sí mismo sin cambios correspondería, por supuesto, a la diagonal, y las otras curvas son las transformaciones necesarias para recalificar varias calificaciones MDR, para pantallas de varios brillos pico entre 5000 y 100 nit que se suministrarán con imágenes de aspecto optimizado.
La Fig. 10 muestra otro ejemplo más avanzado permitido por nuestras realizaciones (ya sea que esté (parcialmente) controlado por un calificador humano en el lado de la creación de contenido, o una recalificación automática realizada por un receptor particular, por ejemplo, un televisor HDR). Este ejemplo muestra cómo se puede recalificar inteligentemente si se tiene más información semántica sobre varias regiones de la imagen, determinada de manera simple (por ejemplo, por el calificador y comunicada, o por una unidad de análisis de imágenes que reside únicamente en un receptor) como un único demarcador de luminancia (o luma) Lrc. En este ejemplo, la región más brillante puede ser muy crítica y la región más oscura puede ser difícil de optimizar al mismo tiempo (es decir, mantener, por ejemplo, suficiente contraste para todo el rango oscuro de posibles luminancias de píxeles en una toma de imágenes, mientras que al mismo tiempo que necesita una parte suficientemente grande del rango de luminancia para que las imágenes MDR más bajas se rendericen con suficiente calidad visual la región de imagen más brillante), es decir, uno puede decidir rápidamente reducir su calidad de una manera particular. Rápidamente significa que incluso para los brillos máximos de MDR (PB) que están cerca de1HDR PB, por ejemplo, si PB_H = 2800 nit y PB_MDR es 2500 nit, el rango inferior se mapea total o principalmente de acuerdo con una estrategia que imita el aspecto LDR de 100 nit. Sin embargo, la región más brillante puede sintonizarse más gradualmente hacia el aspecto LDR, en los distintos PB MDR entre 2800 y 100 nit. Esta estrategia puede ser determinada por el calificador, al menos parcialmente, o como estrategia de guía inicial, pero también determinada (por ejemplo, al anular lo que haya especificado el calificador, por ejemplo, Podría haber especificado una recalificación suave hacia el aspecto LDR tanto para las regiones más oscuras y más brillantes de las imágenes de la toma) por el propio receptor.
Cuando hemos aclarado los ejemplos anteriores con el escenario de realización en el que estaba involucrado un calificador humano, es decir, se le permitió opinar en la renderización final de sus imágenes mediante esas realizaciones del sistema de comunicación de imágenes HDR, alternativamente también se podría utilizar un algoritmo informático como un calificador automático. Esto puede suceder en el lado de la creación, donde el algoritmo puede hacer un análisis de imagen muy inteligente en tiempo no real, por ejemplo, identificando regiones, tipos particulares de texturas, o incluso identificando clases de objetos como humanos, ciertos animales, autos al sol con reflexiones especulares sobre su metal, etc., y en base a información estadística sobre cómo un calificador normalmente desearía calificar este tipo de escenas y sus objetos. Sin embargo, una unidad de calificación automática también podría residir en un receptor y aplicar un procesamiento de mejora de imagen que codifique el conocimiento de calidad de imagen desarrollado por, digamos, un fabricante de televisores durante décadas (y tal vez constituyendo su aspecto característico). La nueva solución ahora es incorporar eso en nuestra actual tecnología de recalificación HDR. La Fig. 11 aclara esto con una realización ejemplar de una unidad 1130 de transformación de color de un receptor, digamos, incorporada en un televisor, un decodificador, o un ordenador que suministra una pantalla comercial en un supermercado o evento al aire libre, etc.
Las imágenes del video, y los metadatos para hacer la recalificación del color nativo (por ejemplo, desde HDR de 5000 nit como imágenes de entrada Im_in, hasta LDR de 100 nit, mediante la escala logarítmica explicada en la Fig. 1, con un parámetro lg elegido como óptimo para esta escena por un calificador humano del lado de la creación, y también los parámetros P_CC que definen, por ejemplo, una forma multilineal de una curva de mapeo de tonos personalizado) se reciben a través de una red 1101 de comunicación de imágenes en este ejemplo (digamos, por ejemplo, un video servidor conectado a través de Internet, o un servicio de televisión emitido o multidifundido a través de una red de telefonía móvil, etc.). Una unidad 1102 de determinación del factor de escala aplica entonces la especificación de mapeo de tonos especificada como óptima para mapear un aspecto en un extremo de un rango previsto (aunque los mismos principios en principio también pueden utilizarse para ir un poco fuera de los límites del rango), digamos HDR, para el otro aspecto de referencia final del rango, digamos LDR de 100 nits, y determina un factor de escala inicial g nat, por lo tanto, para hacer una escala RGB lineal (o potencialmente incluso no lineal). Una segunda unidad 1103 de determinación de factor de escala determina el factor de escala final g_fin a utilizar en la situación presente, pero ahora en esta realización, este factor puede ser determinado por el conocimiento de mejora de imagen del aparato de recepción. Para ello, se comprende una unidad 1110 de análisis de imágenes, que puede comprender varias unidades de análisis de imágenes (que pueden ser normalmente, por ejemplo, varios componentes de software de análisis de imágenes, o realizaciones de hardware de los mismos). En este sencillo ejemplo aclaratorio, describimos una unidad 1112 de análisis de histograma y una unidad 1112 de reconocimiento de objetos. La unidad 1112 de análisis de histograma se puede disponer para analizar la distribución de luminancia de las imágenes y determinar que, por ejemplo, hay una gran cantidad de los píxeles oscuros, o quizás los píxeles semánticamente importantes, son oscuros (porque las unidades pueden funcionar juntas). A continuación, puede determinar, por ejemplo, un demarcador de la región oscura y una estrategia de brillo prevista. La unidad 1112 de reconocimiento de objetos puede comprender, por ejemplo, un detector de rostros, que puede detectar rostros que tienen varios brillos porque los actores se encuentran en varias partes de la escena iluminadas de manera diferente. A partir de todo este conocimiento, una unidad 1113 de determinación de parámetros de estrategia determina los parámetros correspondientes, de acuerdo con cuál de las diversas realizaciones que divulgamos reside en la segunda unidad 1103 de determinación de factor de escala (tenga en cuenta que parte de esa funcionalidad podría residir en otros componentes en algunos aparatos o sistemas, pero lo describimos funcionalmente). Por ejemplo, una manera lógica de la unidad 1113 de determinación de parámetros de estrategia para comunicar que quiere, por ejemplo, iluminar la escena y, en particular, los colores más oscuros más que el método nativo del calificador (que podría ser tan simple como aplicar nuestra ecuación uno, sin ninguna información de recalificación específica del calificador humano, o una estrategia más avanzada, que puede seguirse parcialmente o anularse en gran medida), se puede realizar al especificar un nuevo valor de gpm (por supuesto, en algunas realizaciones el aparato también podría definir nuevos valores para las funciones que definen el mapeo entre las calificaciones HDR y LDR originales, por ejemplo, la pendiente de la parte inferior, pero algunas realizaciones podrían considerar que la información sagrada del proveedor de contenido, que tampoco necesita modificarse, porque su aspecto dedicado se puede lograr como un procesamiento posterior; si es que hay alguna función Se necesita una adaptación de forma, entonces al menos esto se puede implementar solo para la parte de cálculo de MDR, por ejemplo, en lugar del escalado multiplicativo puro descrito en la Fig.19 la televisión podría aplicar una flexión a la función de mapeo de luminancia MDR resultante para los valores más oscuros, o cualquier redefinición de función alternativa, por ejemplo, g. multiplicar por los valores de corrección de una función específica fija o dependiente de la imagen determinada por el TV). Si la unidad 1110 de análisis de imagen hubiera determinado -por ejemplo, con su análisis de histograma y la identificación de un actor en esa región más oscura- que, de acuerdo con el fabricante del receptor, las partes más oscuras son demasiado oscuras de forma nativa para renderizarlas, por ejemplo, sobre la pantalla de 1100 nit conectada, el gpm puede elevarse un poco hacia el aspecto LDR (ya que moverse hacia LDR normalmente puede tener un comportamiento que aproximadamente, y ahora dependiendo de la escena, corresponde a la iluminación). Se puede comunicar un demarcador de luminancia Ltr1 para realizar esa estrategia solo en el subrango más oscuro de las luminancias HDR. Hay otras formas en las que la unidad 1110 de análisis de imágenes puede comunicar su deseo de la recalificación necesaria, como segundos metadatos MET_2. Por ejemplo, podría pretender que la pantalla conectada no es 1100 nit, sino comunicar un valor de PBF de, por ejemplo, 1300 o 900, y utilizarlo de forma análoga a PB_D en el cálculo de la relación logarítmica. O ya podría comunicar una relación logarítmica y dejar que la unidad 1103 le aplique un valor en gpm, etc. O podría ajustar los valores PB_H y PB_L. Por lo tanto, cualquier combinación requerida de valores para calcular el g_fin final, con los valores correctos determinados por la unidad 1110 de análisis de imágenes, puede comunicarse en MET_2 a la unidad 1103. Además de analizar puramente las imágenes Im_in, puede ser muy ventajoso observar la elegancia que ha puesto el calificador en la forma de las funciones de transformación de color. Para ello, una unidad 1114 de análisis de mapeo de tonos puede estar comprendida en algunas realizaciones, dispuesta para analizar la forma funcional del mapeo de tonos total entre el primer y segundo aspecto de referencia, es decir, normalmente HDR y LDR. Por ejemplo, esta unidad puede ajustarse a tres regiones y comprobar qué procesamiento (por ejemplo, recorte suave) se realiza al color más brillante, qué procesamiento se realiza a los colores de rango medio (por ejemplo, una intensificación de contraste) y qué procesamiento se realiza a los oscuros. Si, por ejemplo, se encuentra una curvatura rápida en el mapeo de tonos, como en el ejemplo de la Fig. 9, la parte con fuerte pendiente alrededor del 50%, entonces la unidad 1114 de análisis de mapeo de tonos puede determinar un punto de demarcación Ltr1 allí. Esta información puede luego ser utilizada por la unidad 1113 para determinar una recalificación inteligente para esos medios tonos optimizando el contraste de acuerdo con las preferencias del fabricante del receptor, pero teniendo en cuenta tanto el conocimiento semántico sobre la escena presente en la especificación de calificación del calificador y, manteniendo al menos algo en línea en diversas realizaciones con esta intención de recalificación del calificador, porque estas realizaciones aplican la recalificación sobre las intenciones de recalificación originales tal como se codifica en g nat.
Tenga en cuenta que en este ejemplo más simple asumimos que no había más parámetros de metadatos que indicaran un deseo específico de volver a calificar por parte del calificador (por ejemplo, un valor en gpm), sin embargo, si el calificador especifica dichos metadatos en la señal de entrada S im, también se puede comunicar a la unidad 1110. Esta unidad puede entonces ocuparse bien de este deseo, por ejemplo, al cambiar el valor de gpm dentro de una pequeña tolerancia, por ejemplo, dentro del 5% o 10%, o solo en un subrango limitado del rango de luminancia, por ejemplo, solo cambie el aspecto de los colores 10% más oscuros, conservando los deseos originales del calificador de creación de contenido para los colores más brillantes, o alternativamente incluso ignore totalmente el valor de gpm del calificador y determine su propio valor de gpm para la unidad 1103.
Algunas realizaciones más avanzadas también pueden permitir que un espectador tenga voz sobre el aspecto final. Normalmente, a través de una conexión 1121 de entrada a un control 1122 remoto y a través de una interfaz 1120 de usuario, puede dar algunos comandos sencillos de recalificación. Por ejemplo, puede tener una escala de 5 puntos para iluminar la imagen. Esto se puede comunicar como una señal b_rel = {-2, -1, 0, 1, 2}, que se puede convertir por la unidad 1113 en, por ejemplo, un número de paradas de aumento de brillo en los colores más oscuros del 10% y, en última instancia, uno o más valores gpm, y tal vez uno o más demarcadores (Ltr1, Ltr2) para hacer el brillo correspondiente que creará un aspecto apropiado para el espectador. Cualquier dicho enlace se puede realizar mediante las diversas realizaciones del receptor, por ejemplo, -1 puede corresponder a un aumento del 10% en PB_D, transmitido como valor de PBF, etc.
Ya se ha aclarado anteriormente cómo con las presentes realizaciones podemos determinar recalificaciones que se correlacionan con el importante parámetro visual de brillo, y con la Fig. 12 aclararemos de forma simplificada un ejemplo de cómo se pueden determinar semánticamente por imagen varios cambios de contrastes del aspecto de renderizado MDR definitivo con nuestras diversas realizaciones. El rango dinámico o más bien la relación de contraste es un concepto simple: el color más oscuro de la imagen frente al más brillante. El contraste psicovisualmente relevante es un parámetro más complejo. Aún así, se puede determinar de forma relativamente sencilla con nuestras realizaciones adaptativas de imagen descritas anteriormente. Normalmente, el contraste final en una escena se puede estimar aproximadamente a partir de dos factores: los contrastes intraobjetos, que determinan qué tan bien son visibles las texturas de los objetos (por ejemplo, una expresión facial, o la aspereza de esa cara, o las vetas de una superficie de madera), y en particular cuando se trata de imágenes de alta relación de contraste: los contrastes entre objetos. En muchas escenas HDR, puede haber solo unas pocas, a menudo solo 2, regiones iluminadas de manera diferente. Por ejemplo, la luminancia media en interiores, frente a exteriores. O la luminancia media nocturna de la calle, frente a la de un par de lámparas. En HDR puede haber varios subrangos de luminancia promedio, ya que el rango de luminancia de, por ejemplo, una pantalla de 5000 nit es suficientemente grande. Por ejemplo, puede haber varios blancos diferentes, por ejemplo, blanco papel en interiores, blanco cerca de una lámpara y el blanco aún más brillante de la propia lámpara, y tal vez una lámpara aún más brillante. En LDR, no todas estas diferentes regiones de brillo pueden mapearse fielmente. En realidad, las codificaciones LDR heredadas son adecuadas para codificar todos los colores en relación con el blanco o, de manera similar, el 18% de gris medio relacionado (y terminan por muy profundos que podamos conseguir en el ruido y/o la cuantificación del código, por un lado, pero también por otro lado, lo que el sistema visual adaptado verá como negros, por ejemplo, por debajo del 5% lineal de blanco), pero no para tantas regiones iluminadas de manera diferente. Para algunas imágenes, es posible que el calificador para el aspecto LDR tenga que elegir recortar todas las regiones blancas diferentes al mismo blanco LDR (R = GB = 255), en lugar de arriesgarse a que algunas lámparas se vean grises. Por ejemplo, el equilibrio entre la apariencia de brillo promedio de los píxeles interiores en un monitor LDR de 100 nits y cuánto más brillante se percibe el exterior (donde este exterior también puede necesitar estar muy saturado en lugar de más brillante pero pastelizado), es decir, el contraste intraobjeto para esas dos regiones, puede ser crítico dependiendo de la imagen procesada.
La Fig. 12 explica cómo el receptor podría equilibrar los diversos contrastes en dichas regiones y, por tanto, la apariencia de contraste total de la imagen renderizada. La curva 1201 especifica cómo el calificador especificó el mapeo de tonos para obtener la imagen LDR de 100 nits. Vemos una región que se recorta suavemente para obtener los colores más brillantes, una región de rango medio donde parece que están sucediendo muchas cosas, es decir, puede haber varios objetos críticos allí (digamos 3 actores iluminados de manera diferente), porque hay una serie de puntos de flexión críticos en esa parte de la curva de mapeo de tonos, y un mapeo preferido para los colores más oscuros. Si la unidad 1110 de análisis de imagen determina dos demarcadores Ltr1 y Ltr2 para estas subregiones importantes, ahora puede proponer varios métodos de equilibrio de contraste. Por ejemplo, puede determinar que, para los colores más brillantes, la curva 1210 proporciona un contraste más óptimo. Eso puede cambiar el aspecto de esa región exterior soleada, por ejemplo, porque ahora los píxeles más oscuros de esta subregión podrían ser más oscuros para, por ejemplo, una imagen MDR de 1200 nits que lo que habría propuesto la recalificación nativa a MDR de 1200 nits, pero eso puede también ser deseable para el fabricante del receptor. En este ejemplo, el receptor ha optado por ignorar en gran medida los detalles de la calificación para el rango medio (lo que puede o no ser acertado para la calidad del aspecto finalmente renderizado, pero dependiendo del escenario de la aplicación, puede o no hacerse), pero todavía hay algo de adaptabilidad, porque la pendiente de la curva de mapeo de tonos propuesta por el receptor cambia aproximadamente a la mitad de la parte 1211 de rango medio. En este ejemplo, la relación de contraste para los píxeles más oscuros es la misma para el aspecto MDR propuesto por el receptor, como para el aspecto LDR propuesto por el calificador, sin embargo, el contraste se distribuye de manera diferente, ya que la forma de la curva de la parte 1212 inferior es muy diferente de la intención del calificador (en este ejemplo, porque idealmente el receptor puede querer seguir al menos en gran parte la forma original). Con estas técnicas se pueden optimizar los diversos contrastes entre objetos e intraobjetos, de acuerdo con lo que el receptor desee después de su análisis de las imágenes entrantes Im_in. Por ejemplo, la parte superior de la curva 1210 (ya sea que este sea el resultado para el MDR de 1200 nit propuesto por el calificador, o ya de una primera determinación de la unidad 1110) puede no ser lo suficientemente contrastada, es decir, el exterior parece demasiado suave. Entonces se puede determinar otra curva parcial 1220 de la parte brillante, con más relación de contraste y más contraste. Esto puede significar que la parte media deba tener un contraste menor, aunque, por supuesto, también se podría proponer una estrategia que mapee diferentes valores de Y_HDR a los mismos valores de Y_L. De esta manera, se pueden optimizar tanto el segundo contraste intraobjeto C_intR2 como el tercer contraste intraobjeto C_intR3. Pero también esto determinará los contrastes entre objetos, como el primer contraste entre objetos C_gl (por ejemplo, definido entre las luminancias del punto medio de la subregión más brillante y más oscura, o ponderado por ocurrencias de píxeles, etc.), que a la inversa también se puede optimizar principalmente por sí mismo, sacrificando potencialmente algún contraste entre objetos, por ejemplo, de C_intR3.
La Fig. 13 muestra una realización genérica para calcular el mapeo de tonos. Un deformador de señales 1301 obtiene toda la información necesaria. COD_DIR y COD_METR especifican qué dirección de interpolación (DIR) y métrica para calcular las posiciones de los brillos pico de la pantalla intermedia para utilizar (por ejemplo, según lo especificado en el lado de creación de contenido por un calificador), y asumiremos que esos tienen 135 grados, y el OETF- métrica basada que se explicará con más detalle a continuación. La unidad 1302 de determinación de mapeo de tonos obtiene a través de la entrada 116 de metadatos toda la información para construir un mapeo de tonos final entre las luminancias de la imagen de entrada (digamos una imagen HDR) y la segunda calificación correspondiente (LDR). Porque la segunda parte de nuestro método es que necesitamos establecer funciones de transformación de color entre dos aspectos típicos en la escena HDR, normalmente un HDR y, por ejemplo, un aspecto LDR de 100 nits. A través de la salida 1308 puede suministrar esta función de mapeo de luminancia en una forma adecuada (TMF), o en otras realizaciones un conjunto de multiplicador g, pero asumiremos en este documento que la forma funcional entre las luminancias de salida HDR de entrada y LDR calificadas se comunica, es decir, asumiremos que esto es solo una función, que explicaremos como un mapa gráfico entre las luminancias, pero que en tecnología se puede comunicar, por ejemplo, como una LUT. Este t Mf se ingresará para la unidad (200) de determinación del factor de escala, que hará el cálculo de la transformación necesaria para obtener la imagen MDR, y lo presentará para cada color de píxel a procesar como un factor gt adecuado para la multiplicación (por ejemplo, 1.53, o 0,872, etc.).
Antes de que podamos explicar los detalles, primero le daremos al lector una mayor comprensión de lo que está sucediendo.
La Fig. 17 muestra con un ejemplo de calificación bastante simplista, lo que queremos lograr con la sintonización de la pantalla. Hemos mostrado las matemáticas como una vista absoluta de los ejes de luminancia absolutos (referencia 5000 nit), sin embargo, tenga en cuenta que se han uniformizado perceptualmente de acuerdo con nuestra función de transferencia optoelectrónica (P-OETF). Entonces, somos lineales en el espacio de código en esta representación, no en el espacio de luminancia relativa como en otros gráficos. El lector puede pensar aproximadamente como si los ejes fueran logarítmicos, pero el mapeo exacto entre [0.0, 1.0] coordenadas de luma de una pantalla de referencia en este ejemplo de 5000 nit y la salida correspondiente real están determinadas por (Philips EOTF):
Y = Lm * potencia((rhoAv - 1)/(rho - 1); gam) [Ecuación 6]
En esta ecuación, v es el luma relativo (el lector puede comparar esto con las lumas de una señal LDR, es decir, por ejemplo, los valores de imagen [0, 255] divididos por 255), que asumimos que es un número de valor real, rho es una constante que es, por ejemplo, 33, gam es una constante que es 2.4, Lm es en este escenario el PB de la codificación de la imagen, a saber, 5000, y A y potencia indican la función de potencia. Tenga en cuenta que en caso de que queramos definir un EOTF que termine en otros, por ejemplo, valores de PH_H más altos (o en esta ecuación, Lm más altos, por ejemplo, 10000), entonces tenemos que calcular otro valor de rho mediante:
rho _2 = (33 - 1)* (PB _ H /5000)A (1/ gam) 1 [Ecuación 7]
Entonces, los valores equidistantes en [0.0, 1.0] en, por ejemplo, el eje x de la Fig. 17 se convierte en luminancias reales mediante el cálculo con la ecuación anterior. Esta función tiene como propiedad que los valores de v son más uniformes para el ojo humano no lineal en un rango típico de luminancias de pantalla HDR, es decir, uno puede ver esto conceptualmente como una aproximación de luminosidad psicológica.
Nuestro Philips HDR OETF (P-OETF) se define como el inverso de esta función:
v = 1 / log rho) * log(1 (rho - 1) * (Y / Lm)A (1 / gam) [Ecuación 8]
Ahora, si queremos hacer una calificación para, digamos, una pantalla de 100 nits, el lector puede ver esto conceptualmente como si se mostrara en una pantalla de 5000 nits, pero no crea ninguna luminancia por encima de 100 nits (lo cual es posible sobre una pantalla de 5000 nits, pero no sobre una pantalla de 100 nits). Una posible transformación de luminancia (de mala calidad, pero buena para fines de explicación) para lograr la imagen de aspecto LDR (originalmente calificada) es la curva 1702. Básicamente, renderizamos con esta curva todas las luminancias de píxeles (de una imagen HDR recibida como Im_in) hasta 100 nit exactamente lo mismo que los renderizaríamos si estuviéramos renderizando la imagen de entrada en su pantalla de referencia correspondiente, para la cual, y normalmente en la que se calificó, es decir, una pantalla de 5000 nit. Pero todas las luminancias más altas simplemente las recortamos a 100.
Si tuviéramos que aplicar (teóricamente) una transformación de luminancia para obtener una recalificación de 5000 nit, de exactamente los 5000 nit Im_in que ya hemos recibido del calificador de color, entonces, por supuesto, normalmente se aplicaría la transformación 1701 de identidad. Ahora bien, ¿qué sucede si queremos determinar una recalificación intermedia para, digamos, una pantalla MDR de 500 nits?
Por supuesto, podríamos recortar todas las luminancias por encima de 500, pero esa probablemente no sería la mejor recalificación que podríamos hacer para esa pantalla, incluso si tuviéramos una transformación de luminancia HDR a LDR de recorte mal definida por el creador de contenido. Tenemos información de todas las texturas de objetos más brillantes en HDR Im_in, por lo que para pantallas PB_D más altas, es decir, si tenemos la capacidad, nos gustaría mostrar algo de esa información, ya sea en una versión de calidad reducida en comparación con la renderización de 5000 nit (es decir, menos intensificación de brillo, contrastes menos impresionantes, menos centelleo y brillo dependiendo de la escena y la imagen HDR). Una opción sería calcular la curva 1711, si se considera que todos los objetos de hasta 100 nit se renderizaron perfectamente (y este “accidentalmente” fue un punto de demarcación interesante, debajo del cual los objetos deberían renderizarse con la misma luminancia en todas las pantallas reales). Pero también podríamos aplicar otra estrategia (que correspondería a calcular con otra métrica, y/o dirección de interpolación, y/o función de sintonización fina para recalificar la agresividad (gpm, gpr)), que desplaza el punto donde se deja de hacer el mapeo de luminancia igual, y comienza a exprimir los objetos HDR más brillantes a L_kn. Esto producirá una curva 1703 de mapeo de luminancia MDR para generar la calificación MDR para una pantalla real PB_D = 500 nit.
El lector comprenderá qué escenario queremos hacer, y cuánto nos gustaría cambiar L_kn por encima de 100 nit, dependerá de lo que haya en las imágenes. Si no hay demasiado interés en el exterior, como sucede a menudo con las transmisiones, para las cuales lo que uno ve a través de la ventana normalmente ya está recortado o recortado severamente en la actualidad, uno puede vivir con una menor cantidad de luminancias renderizables para esos objetos al aire libre. (rango R_sm). Esto puede ser especialmente cierto si las luminancias de los objetos interiores no terminaron exactamente en 100 nit (lo que, por supuesto, podrían depender de la cuidadosa calificación que hizo el calificador) pero, por ejemplo, necesitaba (en este ejemplo, el extremo de recorte duro) recortar algunas de las partes más brillantes de, digamos, algunos objetos reflectantes sobre la mesa. Como esta puede ser la parte principal de la escena, a la que el espectador está mirando atentamente, puede tener sentido dar también a esos objetos hermosas luminancias y contrastes de textura, al incluir en la parte de equi-luminancia (diagonal), hasta su luminancia máxima, o al menos más cercana a ella, a expensas de la calidad de los colores de las casas iluminadas por el sol vistas a través de la ventana como se ve en la Fig. 14. Esto puede ser especialmente cierto también si uno no sabe nada más sobre la imagen. (por supuesto, si el calificador especifica un COD_METR y COD_DIR para utilizar, esto ya transmite un poco la situación que se tiene, pero suponga que el calificador solo hizo un TMF, y el aparato de recepción tiene que determinar de manera autónoma todo lo demás, en una estrategia de sintonización de pantalla más simple, sin embargo, que debería proporcionar una calidad visual lo más razonable posible para las imágenes MDR), ya que entonces se puede suponer que probablemente habrá un par de luminancias interesantes por encima del valor de 100 nit de baja calidad, ya que esta es una escena HDR, por lo que también se podrían dividir los errores al poner el punto L_kn un poco más alto que el azaroso de 100 nit (el calificador podría haberse encargado de las luminancias interiores ya en su calificación maestra HDR, es decir, iluminarlas satisfactoriamente, y dado que eso no es tan fácil para que se ajusten exactamente al marco LDR/HDR, calificar el interior con las luminancias adecuadas, pero no siempre es seguro que habrá colocado los objetos interiores exactamente en el subrango LDR ya en la calificación HDR maestra).
Sin embargo, en un escenario alternativo en el que el calificador sabe que todas las regiones de píxeles más oscuras caen en la parte de 100 nits, y que hay texturas importantes en algún lugar de la parte de 100 nits anterior, que necesitan el máximo contraste o una cantidad máxima de códigos luma y luminancias utilizables (para funciones de mapeo de luminancia arbitrarias), el calificador puede querer mantener el punto L_kn en 100 nit para todas las recalificaciones de MDR. Por lo tanto, el lector comprende que la sintonización de la pantalla (también llamado capacidad de sintonización) se puede simplificar si se desea, pero es posible que desee contar con algunos medios técnicos adicionales para permitir la complejidad de las escenas e imágenes HDR también en los casos más difíciles, pero aún así en un de las maneras más simples posibles para el calificador que puede necesitar determinar todos los factores y parámetros.
Ahora, si queremos ver lo que sucede en el marco de referencia de una pantalla en particular, digamos una pantalla PB_D = 500 nit, podemos cortar del mapa en la Fig. 17 solo la parte que se ejecuta hasta Y_out = 500 nit. El máximo de esta representación es el máximo que se puede renderizar sobre una pantalla de 500 nits, es decir, lo que se debe hacer presentándole el código de luma máximo v = 1.0. Entonces, ignorando las etiquetas de nits que colocamos en el mapa para mayor claridad, uno puede ver la especificación de recalificación de la Fig.17 como una especificación en el espacio del código luma (ya sea que, aunque en el eje de entrada uno puede leer muy bien los códigos luma equidistantes, por supuesto en el eje y en esta representación, v = 1.0 caerá en diferentes alturas para diferentes pantallas con diferentes PB_D (el lector puede asumir, para su comprensión, que estas diferentes pantallas están todas emuladas sobre una pantalla de 5000 nit, que por lo tanto debe dejar de renderizarse en un cierto luma vx dependiendo de la capacidad PB_D de la pantalla emulada).
La Fig. 18 muestra las mismas transformaciones ejemplares, pero ahora en un sistema de ejes desde el que podemos comenzar a derivar la función de transformación de luminancia de HDR a MDR necesaria a partir de la especificación de transformación de color de HDR a LDR recibida en los metadatos asociados con la señal de video S_im. El eje horizontal es el mismo, ya que estas son las posibles luminancias de píxeles de nuestro Im_in de 5000 nit. El eje vertical debe determinar la luminancia relativa de un color de píxel MDR recalificado, nuevamente sobre una escala perceptivamente uniforme con nuestro P-OETF, es decir, entre cero y un valor L1 (o en otras palabras, su código luma correspondiente). Para la calificación de 100 nit, este valor L1, que corresponde al código de lima máxima, por ejemplo, 1023 en 10 bits o 4095 en 12 bits, será 100 nit. Vemos de nuevo que para luminancias HDR de hasta 100 nits, d acuerdo con el calificador, se deben renderizar en pantallas LDR de 100 nits con exactamente la misma luminancia que prescribe la imagen de 5000 nits, y por encima de eso, la calificación LDR recorta todo a PB_L = 100 nits.
También vemos, por ejemplo, que en esta representación, para obtener las mismas luminancias renderizadas para los grises oscuros sobre la pantalla LDR que en la pantalla HDR, será necesario aumentar las lumas de la imagen LDR (que en este gráfico también puede ser leído, uniformemente entre L1 que corresponde a v = 1.0 y 0), es decir, necesitamos aumentar la pendiente oscura o la ganancia en un ángulo b, en comparación con los valores relativos de HDR (en este documento en el eje “incorrecto” de 100 nit que se muestra como la diagonal, porque necesitarían un eje que termina en 5000 nit para saber qué corresponde al luma máximo, ya sea de la imagen de entrada o de la imagen de salida calculada teóricamente al hacer una transformación de identidad). ¿Cómo podemos ahora derivar la curva de mapeo de MDR necesaria 1803 para la conducción relativa entre el mínimo y el máximo (luma mínima y máxima que ahora corresponden a esta pantalla de PB_D = 500 nit a 0 respectivamente 500 nit, que se muestra como Y_out_MDR a la derecha del gráfico), es decir, este Y-out_MDR para cualquier Y_in de Im_in? Dibujamos la línea ortogonal a la diagonal (el mapeo 1701 de HDR5000 a HDR5000) y le colocamos una métrica (1850). Esta métrica tendrá valores entre ningún cambio de luminancia, o “0”, y un cambio “completo” (o “1”), lo que da como resultado la calificación LDR. Ahora podemos ubicar la posición M_PB_D correspondiente a cualquier PB_D en esta métrica (vea los ejemplos de cálculo a continuación). En caso de que queramos que el aspecto se vea (para esta pantalla real con PB_D, pero una escena crítica en particular, que debe verse más LDR-ish durante más tiempo cuando se mueve PB_D hacia arriba desde PB_L = 100 nit) más similar a LDR, se puede determinar otro punto M_PB_U, por ejemplo, con realizaciones como se describe a continuación. Se puede ver el punto “a mitad de camino” como correspondiente a una pantalla que está en lo que respecta a su PB_D (no linealmente) aproximadamente a medio camino entre una pantalla de referencia PB_H y PB_L, en lo que respecta a su aspecto, es decir, sus capacidades HDR. Ahora suponga que el punto de flexión PBE no es realmente como en este ejemplo, simplemente donde comienza el recorte debido al valor limitado de 100 nit de PB_L, sino un punto crítico especial en la calificación (que puede haber sido comunicado por al menos un parámetro (un parámetro en los metadatos que especifican la relación de transformación de color de la calificación original LDR y HDR del calificador), por ejemplo, su ubicación relativa sobre el eje Y_in entre 0.0 y 1.0, y su altura sobre el eje Y_out_LDR). Ahora vemos que en esta versión de interpolación rotada, este punto semánticamente importante no necesita permanecer en la misma posición Y_in que con las realizaciones de interpolación vertical, pero puede desplazarse sobre un desplazamiento dp, lo que hace que esta forma particular de sintonización de pantalla sea elegante para algunos escenarios ( Por ejemplo, también puede ser útil para funciones de HDR a LDR que recortan los negros por debajo de una luminancia HDR L_Hb a 0 en la calificación LDR).
En la Fig. 19 mostramos cómo podemos derivar la función 1803 de transformación de luminancia MDR completa para obtener la imagen MDR a partir de la función (1802) que define la calificación LDR, en un marco girado. Debería estar claro para el experto en la materia cómo la unidad (1312) de interpolación direccional puede calcular una nueva coordenada x de ejecución rc correspondiente a la coordenada de entrada Y, y cómo se puede rotar una función. Esta función puede guardarse, por ejemplo, en una memoria temporal. Ahora necesitamos determinar un valor de escala multiplicativo S, por ejemplo, 0.63 (la definición seguirá a continuación), y eso dará los puntos requeridos de la curva MDR. Tenemos como ejemplo que se muestra cómo el punto de flexión se mueve a la nueva ubicación (M_PB_D si colocamos la métrica allí), pero todos los demás puntos, cualquiera que sea la forma de la función, cambiarán por el mismo principio multiplicativo. Entonces, si uno toma una coordenada de ejecución rc, y la función de mapeo de luminancia LDR correspondiente es FR_L (rc), entonces el valor requerido para la función de transformación de color de HDR a MDR se determinará como FR_M(rc)=S*FR_L(rc). Posteriormente, la curva se puede girar nuevamente para que obtengamos los valores en el marco de la Fig. 18, y estos valores se pueden volver a guardar en la memoria. Lo que realmente se necesitará para el procesamiento por píxel son los valores de ganancia, por lo que las realizaciones de la unidad (200) de determinación del factor de escala normalmente almacenarán una LUT de valores de gt para todos los valores posibles de Y_in (o de hecho, en nuestras realizaciones preferidas utilizamos valores RGBmáx, pero varían de manera similar entre 0.0 y 1.0).
El cálculo de estos valores de gt se puede realizar al comparar la altura de la función de transformación de luminancia MDR calculada para la pantalla PB_D del servicio con la altura de la diagonal para todos los valores de entrada, y luego obtener el valor de multiplicación por la división de esos dos, como se muestra en la Fig.16.
Ahora, la Fig. 20 muestra cómo definir una métrica de buen rendimiento para obtener el factor de escala S.
Suponga que queremos derivar una imagen MDR (y la función determina los valores de luma que se requieren cuando se tiene una luminancia de imagen de entrada o un valor luma) para una pantalla de, por ejemplo, PB_D = 500 nit. Necesitamos escalar los valores de conducción para que todas las luminancias de los objetos sean correctas en relación con la curva de conducción para LDR. Por lo tanto, hacemos referencia a todo en siempre el marco de 100 nits normalmente (porque este es un valor estandarizado heredado, pero las cosas podrían cambiar en el futuro y nuestros principios técnicos permanecerían iguales) de esa función de mapeo de luminancia SDR 2002. Supongamos que ahora queremos, por ejemplo, mantener los brillos más oscuros con el mismo aspecto para las tres pantallas (h Dr , LDR y MDR), cuánto tenemos que mover un punto P1 o P2 hacia abajo, hacia la diagonal correspondiente a la calificación HDR, o hacia el eje de entrada horizontal, para obtener el punto P3 correcto en la curva MDR.
Debido a que es necesario leer esta curva MDR sobre el eje 500 de la derecha, presentaremos las siguientes ecuaciones matemáticas:
A = P _ OETF (Lm / PB _ L , PB _ L)
B = P _ OETF (Lm / PB _ D , PB _ D ) [Ecuaciones 9]
Estas son nuestras funciones loggamma HDR OETF definidas anteriormente, pero ahora no terminan en 5000 nit, sino en el segundo valor después de la coma, por ejemplo, PB_L = 100 nit (normalmente).
Es decir, esto genera un eje perceptual con una coordenada de ejecución que se detiene en 1,0 para, por ejemplo, 100 nit, que es el eje y de este mapa. En este escenario, Lm tiene un valor de 5000 nit de Im_in, pero podría ser diferente para otras codificaciones HDR maestras.
La Fig. 23 muestra el significado físico de los factores de escala de conversión elementales (A, B) de otra manera. También podemos ver el P_OETF como una función re-normalizada que no termina en 1, sino que va a por ejemplo 5.0 (y luego, ya que esto es solo una multiplicación del máximo, si se necesitan relaciones, se podría lograr lo mismo en una versión normalizada a 1). Por lo tanto, necesitamos transformar la curva 2303 de mapeo de luminancia de calificación de HDR a LDR para obtener la curva MDR adecuada. Esa no debería ser la curva 2304 porque se trata simplemente de aplicar la calificación LDR a una pantalla PB_D más brillante, lo que dará un aspecto demasiado brillante. Escalar las luminancias más oscuras en una imagen para un equi-aspecto (es decir, tener las mismas luminancias renderizadas para aquellos, por ejemplo, un 10% de colores más oscuros sobre cualquier pantalla MDR y las pantallas de referencia HDR y LDR), producirá el mismo factor de estiramiento para el eje perceptual para una nueva versión normalizada (es decir, 1.0 correspondiente a, por ejemplo, 500 nit) para determinar este valor a partir del blanco (1.0). En este documento ahora mostramos el comportamiento de nuestra transformación de color no en un sistema de eje relativo normalizado a 1.0, sino en uno absoluto en un eje de luminancia de referencia de 5000 nit. Para transformar de forma nativa (solo aplique la curva LDR sin tener en cuenta el PB_D más alto) una luminancia de 100 nit (por ejemplo, blanco), puramente en lo que respecta a la renormalización del eje, por lo que no se tienen en cuenta todavía los detalles de la curva de transformación de luminancia especificada por el calificador, o cualquier parámetro de control relativo a la interpolación de luminancias como gpr, tenemos que intensificar un color 2301 a su equivalente de 5000 nit (es decir, sin tener en cuenta todavía el adecuado contraataque de la recalificación inteligente).
Es decir, tenemos que determinar sobre el eje y perceptualizado por P-OETF con qué cantidad estirar el vector. Si las cien nit corresponden a 1.0, entonces encontramos el valor 2302 al multiplicarlo por digamos 1.7. Podemos hacer lo mismo si estuviéramos leyendo puntos sobre una representación referida de 500 nits de las curvas, es decir, una en la que 500 nits corresponden a la luma máxima posible (1.0). Si uno transforma esta luminancia en una versión representada de 5000 nit, entonces se obtiene el factor B de, por ejemplo, 1,3. Ahora lo que realmente nos interesa es cómo transformar un color 2305 que se determinó para la calificación LDR, es decir, en el sistema de 100 nits (por ejemplo, una luminancia HDR de entrada de 500 nits debería ser LDR renderizada como 30 nits) en el sistema de referencia de una pantalla de 500 nits. Por ejemplo, si no cambiamos los valores que salen de la transformación, ¿qué significarían aquellos en la nueva referencia a 500 nit (que es el eje del lado derecho en la Fig. 18, Y_out_MDR)?
Podemos ver que multiplicar el valor de y 2305 con SA-1 para obtener el valor 2306 corresponde a multiplicarlo por A/B. Pero esto no daría un equi-aspecto, porque entonces todo se vuelve 5 veces más brillante en una escala lineal y X veces en una escala perceptualizada. Entonces, para mantener la restricción de equi-aspecto, debemos multiplicar el valor 2305 con S = b/a (para tener la curva de conducción MDR correctamente escalada, al comenzar desde la LDR, pero ahora referenciada en el sistema de ejes donde 500 nit es 1.0 luma máxima o luminancia relativa, que no produce la curva de puntos 2304, sino la curva 2303, que será la curva de calificación MDR deseada, pero ahora interpretada en el eje 500, en lugar de su eje y original de 100 nit). Dado que todo esto son operaciones multiplicativas relativas, uno puede hacerlas fingiendo que todo sucede en un sistema de ejes donde 1.0 corresponde a 100 nit, pero si uno necesita una luminancia renderizada real, la leerá en el eje Y_out_MDR.
Por tanto, al escalar verticalmente hacia el eje x, se obtendría un factor de escala de S = B/A.
Es importante que sea cual sea el valor de PB_D, se puede definir el factor de escala (incluso se podría extrapolar si se desea) y, por lo tanto, se puede hacer una métrica.
Si nuestra pantalla diana fuera PB_D=PB_H = 5000 (= Lm), tendríamos que llegar al punto P4 de la calificación HDR (transformación de identidad), es decir, cuando lo miramos desde un punto de vista multiplicativo es necesario escalar el valor LDR para esta entrada (luminancia HDR Im_in 50 sobre el eje x), para esta calificación también A = 50 nit sobre el eje y LDR izquierdo, mediante una escala S=C/A, en la que C=P_OETF (Lm/PB_H, 5000). Podemos ver que debido a que esto produciría el valor v para una entrada de luminancia óptica de (normalizada) 1.0, y asumiendo que esta calificación HDR diagonal hace que todas las luminancias den luminancias iguales fuera (es decir, para luma 1.0 al obtener 5000 nit dentro y fuera de la calificación HDR, se obtendría correspondientemente el valor correcto para todos los demás puntos de la línea, es decir, también para esto, por ejemplo, 50 nits, que resulta ser el tamaño del vector de la escala HDR_5000 nits [no mostrada] en el punto de entrada que se va a transformar en color).
Ahora se puede demostrar matemáticamente que si se quiere interpolar diagonalmente, más específicamente a 135 grados, la función de escala se convierte en SS=[(B-1)/(B+1)/(A-1)/(A+1)].
También se puede asociar a esto una posición métrica en una línea entre el punto de luminancia HDR P4, y el punto de luminancia LDR PI, como hemos hecho en la Fig. 18. Esto correspondería a un desplazamiento métrico, o en general coordenada de ejecución MS, que en la realización vertical se puede establecer como Y_MDR = Y_HDR+MS*(Y_LDR-Y_HDR). También en la situación genérica, dicha coordenada MS se ejecutaría entre MS=0 para PB_D=PB_H, es decir, cuando se necesita una calificación MDR que es idéntica a la calificación HDR, y 1.0 cuando se necesita la calificación LDR.
Al igual que con esta simple aclaración, el lector puede entender que se aplicaría el mismo esquema de transformación si tuviéramos una función 2001 TMF general que defina la calificación LDR a partir de la calificación HDR como entrada.
Entonces, en nuestro esquema de construcción de la Fig. 13, la unidad (1312) de interpolación direccional rotará (hará las matemáticas correspondientes, por ejemplo, obteniendo una LUT de valores rotados para el eje de entrada de la Fig. 19) la función recibida, determinará los factores SS de escala apropiada, calculará la función correspondiente a la recalificación de MDR en el marco rotado como se explicó anteriormente, y volverá a rotar al marco en el que el eje Y_in es horizontal. Entonces uno tiene, por ejemplo, en una LUT, los valores de función Y_out_MDR para los valores de entrada Y_in. Luego, la unidad (1311) de determinación de multiplicador común convertirá esa función en un conjunto de multiplicadores gt correspondiente (LUT de), ya que nuestro marco de transformación de color típico funcionará con los que se explican.
Hasta ahora se han descrito realizaciones que son agnósticas de cómo se han definido las funciones de transformación de color y, en particular, se han parametrizado. El procesamiento anterior puede funcionar sobre cualquier valor de función, y los explicamos como si fueran una LUT pura.
Sin embargo, puede haber información semántica interesante en la forma en que el calificador define las funciones. Por ejemplo, puede definir una función de procesamiento de luminancia de múltiples segmentos con un segmento inferior para procesar los colores más oscuros, por ejemplo, colores en interiores, y un segundo segmento superior especificando lo que se debe hacer con un segmento más brillante, por ejemplo, colores en exteriores. Este comportamiento de transformación de luminancia se puede comunicar al receptor mediante, por ejemplo, un parámetro Lt, que entonces también es un demarcador entre las luminancias exterior e interior. Son posibles muchas filosofías alternativas de parametrización. Puede ser necesario cambiar la posición de luminancia de este umbral al menos en algunas calificaciones MDR, al menos para algunos tipos de imagen HDR (por ejemplo, en lugar de querer mantener los colores interiores con el mismo aspecto en todas las pantallas, el calificador puede decidir utilizar un poco de las capacidades más altas de las pantallas HDR digamos por encima de 1500 nit, también para iluminar un poco esos colores interiores). Ambos cambios a lo largo del eje xy a lo largo del eje y pueden ser ventajosos. Todo depende de qué colores estén presentes en la imagen y qué contrastes de apariencia desea el calificador, etc. Daremos un ejemplo interesante para dilucidar una posible realización paramétrica.
La Fig. 21 muestra un ejemplo de una interesante estrategia de transformación de luminancia de HDR a LDR que hemos incluido en el kit de herramientas básico que define nuestra tecnología de codificación de paquetes de aspecto HDR (esto correspondería a una realización particular de la curva personalizada de unidad 111, pero en lugar de comunicarnos como una LUT comunicaríamos esta función como 5 parámetros). Ahora hemos mostrado en este gráfico las lumas normalizadas (por ejemplo, 10 bits), y frente a ellas las luminancias correspondientes, en la parte superior para la imagen de entrada HDR de 5000 nit, y a la derecha inmediatamente las luminancias de la imagen de salida MDR 500 nit que se pueden calcular a partir de la imagen de entrada HDR, eliminando ahora los detalles de 100 nits (que se utilizaron anteriormente para explicar fácilmente nuestros conceptos).
El calificador especifica de nuevo una curva 2100 de HDR a LDR (es decir, 100 nits), pero ahora con esta formulación de función específica. Contiene una ganancia de oscuridad (pendiente dg) que determina qué tan brillantes se verían los colores más oscuros sobre la imagen calificada LDR. Esto es importante, porque si en la escena HDR hay objetos muy brillantes como lámparas que aún se capturan fielmente en las lumas HDR, las regiones en sombras de la misma escena pueden caer muy profundamente en el eje normalizado y, por lo tanto, pueden necesitar ser considerablemente intensificadas en la calificación LDR para poder ver lo que está sucediendo allí. El régimen de oscuridad termina en el punto 2101. Para los colores más brillantes, hay un segmento lineal similar con una ganancia de brillo hg. En el medio hay un segmento parabólico de ancho correspondiente a los criterios de valoración de las partes lineales. Esto puede controlar el contraste de los objetos grises intermedios. Ahora vemos que los puntos especiales comunicados paramétricamente tienen una ubicación cambiada sobre la curva 2103 de transformación de luminancia MDR. Se pueden calcular estas ubicaciones cambiadas utilizando la dirección DIR, y en particular la métrica
midx = (1 - hg )/(d g - h g )
luego se calcula un nuevo punto medio Pm2 con coordenadas newMidx y newMidY: x0 = midx; x1 = dg*midx; y0 = dg*midx; y1 = midx
m = (y1 - y 0 ) /( x1 - x0)
b = (x1 * y 0 - x0* y1) / ( x1 - x0 )
newMidx = ( ( x1 - x0 ) / 2) * (1 - S S ) x0
newMidy = m * newMidx b
A partir de esto, podemos calcular el nuevo ancho de la región parabólica y, por lo tanto, los dos puntos de terminación de los segmentos lineales:
newWidth : (1 - P - O E T F ( S S , PB _ H ) * old _ width
en el que old_width es un parámetro de esta curva según lo determinado por el calificador, es decir, el ancho del segmento parabólico, a saber, un ancho proyectado de forma asimétrica o simétrica a ambos lados desde donde las continuaciones de los segmentos lineales se encuentran en el llamado punto medio. Y luego, por supuesto, la nueva ganancia de oscuridad y la ganancia de iluminación también se pueden volver a calcular:
newGg = newMidy / newMidx
newHg = máx((newMidy - 1) /(newMidx - 1).0)
El lector puede comprender que se pueden diseñar estrategias de recálculo para puntos interesantes u otros parámetros de funciones de transformación de luminancia para otros escenarios.
Sabiendo cómo hacer los cálculos básicos (qué realizaciones simples se pueden aplicar que son en gran parte ciegas de los detalles de la imagen y los deseos del calificador, pero aún necesitan producir imágenes MDR recalificadas razonables para las pantallas disponibles), a continuación, ofrecerá un par de realizaciones más aclaradoras sobre cómo el calificador puede variar en esto, al incorporar algunos parámetros de control más técnicos adaptados a las particularidades de la escena HDR actual.
La Fig. 22 muestra cómo se podría, para una escena HDR específica, o una toma de imágenes, codificar inmediatamente qué valor de MS correspondería a qué PB_D disponible. Como se debe entender a partir de lo anterior, para nuestra derivación de mapeo de luminancia MDR (o en general transformaciones de color), se necesita en primer lugar un medio para posicionar en la métrica (es decir, entre 0.0 y 1.0 o incluso fuera de ese rango para la extrapolación) el punto M_Pb_U, que se puede hacer con la coordenada normalizada MS. Y luego, a partir de este valor, se puede convertir esa función de mapeo de luminancia con cualquier forma para realizar la transformación de color de HDR a LDR (o LDR a HDR en otros escenarios como el modo 2) en la función necesaria para calcular la imagen MDR. Ahora bien, si uno tiene una función (2201) de determinación de posición métrica explícita, por ejemplo, comunicada como una LUT, o una ecuación simple, en principio ni siquiera necesita la definición métrica básica. Puede ser ventajoso so el calificador puede determinar dicha función de una manera fácil, por ejemplo, se puede utilizar una ley de potencia para la cual el calificador puede cambiar la potencia, por ejemplo, girando un mando. Luego verá inmediatamente en su pantalla MDR cómo cambia el aspecto total de la imagen, o se enfocará en un área crítica, como, por ejemplo, en un monstruo en la oscuridad que le gusta que sea visible en un grado razonable, para asegurarse de que será de manera similar, razonablemente visible sobre todas las demás pantallas reales en las instalaciones del espectador.
Pero, cuando se tiene una buena métrica, también se pueden diseñar variaciones de sintonización fina como se muestra en la Fig. 15. En este documento m_MT_norm_in, es el valor de MS para nuestra métrica particular elegida, es decir, se ejecutará nuevamente entre 0.0 y 1.0. Entonces podemos calcular un valor para una pantalla particular de brillo pico PB_D. Si el calificador no especifica nada, la m_MT_norm resultante como salida sería la misma, y se aplicaría la sintonización automática estándar de la pantalla como en cualquiera de las realizaciones explicadas anteriormente. Sin embargo, el calificador puede especificar funciones que se desvíen de esta forma, preferiblemente sin problemas, y terminen en las coordenadas 0.0 y 1.0. Por ejemplo, puede diseñar una función de potencia, cuyo parámetro de potencia gpr determina qué tan fuerte debe verse una recalificación de MDR, por ejemplo, como una calificación de LDR como se muestra, incluso para pantallas de PB_D muy altas (es decir, m_MT_norm_in acercándose a 0), o al revés (como se ve por la posición del punto M_PB_U resultante compensado por dgr). Incluso puede formular para funciones complejas, que pueden tener, por ejemplo, un comportamiento diferente para pantallas por encima de un brillo pico particular, cuyo comportamiento se puede codificar por un segundo parámetro gptt, o incluso más parámetros, por ejemplo, que define una parte inferior lineal de la curva, etc.
Para que el lector comprenda que nuestra tecnología puede emplear varias métricas (por ejemplo, varias definiciones de OETF relativamente similares, que corresponden aproximadamente a etapas de luminosidad iguales, u otras funciones que modelan dicho comportamiento de luminosidad de las calificaciones), y también varias direcciones de interpolación y varias formas para determinarlos. Por ejemplo, en un aparato simple, se puede fijar en el hardware y determinarse como tal al realizar los cálculos en, por ejemplo, un procesador, y las realizaciones más complejas pueden, por ejemplo, cambiar entre la estrategia de cálculo de MDR, por ejemplo, por toma de imágenes en la película (o incluso para partes de una imagen, por ejemplo, los brillos más bajos se pueden interpola con una métrica, o incluso una dirección, y las más altas con otra, y dependiendo de la escena puede no ser tan crítico donde se proyectan todos los colores interpolados), por ejemplo, bajo los principios de control del calificador humano recibidos desde el lado de la creación de contenido, normalmente como uno o un par de parámetros sencillos, que tienen un gran impacto en el aspecto de las imágenes MDR.
Los componentes algorítmicos divulgados en este texto pueden (total o parcialmente) realizarse en la práctica como hardware (por ejemplo, partes de un IC específico de la aplicación) o como software que se ejecuta sobre un procesador de señal digital especial, o un procesador genérico, etc. Un producto de memoria puede ser, por ejemplo, una memoria portátil, como un disco blu-ray o un dispositivo de memoria de estado sólido, pero también, por ejemplo, una memoria en un servidor externo desde el cual se pueden descargar videos o imágenes a una ubicación remota de uso del video o imagen.
Debería ser comprensible para el experto en nuestra presentación qué componentes pueden ser mejoras opcionales y se pueden realizar en combinación con otros componentes, y cómo las etapas (opcionales) de los métodos corresponden a los respectivos medios de aparatos, y viceversa. La palabra “aparato” en esta solicitud se utiliza en su sentido más amplio, a saber, un grupo de medios que permiten la realización de un objetivo particular y, por lo tanto, puede ser, por ejemplo, (una pequeña parte del circuito) un IC, o un aparato dedicado (como un aparato con pantalla), o parte de un sistema en red, etc. “Disposición” también está destinada a ser utilizada en el sentido más amplio, por lo que puede comprender, entre otras cosas, un solo aparato, una parte de un aparato, una colección de (partes de) aparatos de cooperación, etc.
Se debe entender que la denotación de producto de programa informático abarca cualquier realización física de una colección de comandos que habilitan un procesador genérico o de propósito especial, después de una serie de etapas de carga (que pueden incluir etapas de conversión intermedias, tales como la traducción a un idioma intermedio y un lenguaje de procesador final) para introducir los comandos en el procesador y ejecutar cualquiera de las funciones características de una invención. En particular, el producto de programa informático se puede realizar como datos sobre un soporte tal como, por ejemplo, un disco o cinta, datos presentes en una memoria, datos que viajan a través de una conexión de red, cableada o inalámbrica, o código de programa en papel. Aparte del código de programa, los datos característicos necesarios para el programa también se pueden incorporar como un producto de programa informático.
Algunas de las etapas requeridas para la operación del método pueden estar ya presentes en la funcionalidad del procesador en lugar de estar descritos en el producto del programa informático, tales como las etapas de entrada y salida de datos.
Se debería observar que las realizaciones mencionadas anteriormente ilustran más que limitan la invención. Cuando el experto en la materia pueda realizar fácilmente un mapeo de los ejemplos presentados a otras regiones de las reivindicaciones, para concisión no hemos mencionado todas estas opciones en profundidad. Aparte de las combinaciones de elementos de la invención tal como se combinan en las reivindicaciones, son posibles otras combinaciones de los elementos. Cualquier combinación de elementos se puede realizar en un solo elemento dedicado.
Cualquier signo de referencia entre paréntesis en la reivindicación no pretende limitar la reivindicación. La palabra “que comprende” no excluye la presencia de elementos o aspectos no enumerados en una reivindicación. La palabra “un” o “una” que precede a un elemento no excluyen la presencia de una pluralidad de dichos elementos.

Claims (15)

REIVINDICACIONES
1. Un aparato (201) de transformación de color para calcular los colores resultantes (R2, G2, B2) de píxeles de una imagen de salida (IM_MDR) para una pantalla con un brillo pico de pantalla (PB_D) a partir de colores de entrada lineales (R,G,B) de píxeles de una imagen de entrada (Im_in) que tiene un código de luma máximo que corresponde a un primer brillo pico de imagen (PB_IM1) que es diferente del brillo pico de la pantalla, en el que el aparato de transformación de color comprende:
- una unidad (102) de determinación de transformación de color dispuesta para determinar una transformación de color (TMF; g) a partir de datos de especificación de procesamiento de color (MET_1) recibidos a través de una entrada (116) de metadatos, dichos datos de especificación de procesamiento de color (MET_1) comprenden al menos una función de mapeo de tono (CC) para al menos un rango brillo máximo de luminancias de píxeles, dicha transformación de color especifica el cálculo de al menos algunos colores de píxeles de una imagen (IM_GRAD_LXDR) que tiene un código de luma máximo que corresponde a un segundo brillo pico de imagen (PB_IM2), que es diferente del brillo pico de la pantalla (PB_D) y el primer brillo pico de imagen (PB_IM1), y por lo cual la división del primer brillo pico de imagen por el segundo brillo pico de imagen es o bien mayor que 2 o menor que 1/2; caracterizada porque el aparato (201) de transformación de color adicionalmente comprende:
- una unidad (200) de determinación del factor de escala dispuesta para determinar un factor multiplicativo común resultante (gt), que comprende:
- una unidad (1303) de determinación métrica de capacidad dispuesta para determinar una métrica para localizar posiciones de brillos pico de la pantalla entre el primer brillo pico de imagen (PB_IM1), y el segundo brillo pico de imagen (PB_IM2) y fuera de ese rango, y
- una unidad (1310) de determinación del multiplicador resultante dispuesta para determinar a partir del brillo pico de la pantalla (PB_D), la métrica, y la transformación de color, el factor multiplicativo común resultante (gt); y en la que el aparato (201) de transformación de color adicionalmente comprende
- un multiplicador (114) de escala dispuesto para multiplicar los colores de entrada con el factor multiplicativo común resultante (gt) para obtener los colores resultantes (R2, G2, B2).
2. Un aparato (201) de transformación de color como se reivindica en la reivindicación 1, en la que dicha unidad (200) de determinación del factor de escala adicionalmente comprende:
una unidad (1304) de determinación de dirección dispuesta para determinar una dirección (DIR) con respecto al eje de luminancia de los colores de entrada, y una unidad (1312) de interpolación direccional dispuesta para determinar una luminancia para un píxel de la imagen de salida (IM MDR) a partir de una luminancia de un píxel de la imagen de entrada (Im_in) al posicionar la métrica a lo largo de la dirección (DIR).
3. Un aparato (201) de transformación de color como se reivindica en la reivindicación 1 o 2, en el que la unidad (200) de determinación del factor de escala se dispone adicionalmente para obtener un parámetro de sintonización (gpr; gpm) a partir de segundos datos de especificación de procesamiento de color (MET_2), y se dispone para calcular el factor multiplicativo común resultante (gt) que corresponde a una posición diferente sobre la métrica que la posición para el brillo pico de la pantalla (PB_D), dicha posición diferente se basa en el valor del parámetro de sintonización.
4. Un aparato (201) de transformación de color como se reivindica en la reivindicación 3, en el que la unidad (200) de determinación del factor de escala se dispone para determinar la posición diferente al aplicar una función monótona que da como una salida una posición normalizada sobre la métrica como una función de al menos un parámetro de entrada (gpr) que se encuentra entre un mínimo (mn_gpr) y un máximo (mx_gpr).
5. Un aparato (201) de transformación de color como se reivindica en una de las reivindicaciones anteriores, en el que la unidad (200) de determinación del factor de escala se dispone adicionalmente para obtener al menos un valor de luminancia (Lt, Ltr1) que demarca un primer rango de luminancias de colores de píxeles de la imagen de entrada a partir de un segundo rango de luminancias, y en el que la unidad (200) de determinación del factor de escala se dispone para calcular el factor multiplicativo común resultante (gt) para al menos uno del primer y el segundo rango de luminancias.
6. Un aparato (201) de transformación de color como se reivindica en una de las reivindicaciones anteriores, que comprende una unidad (1110) de análisis de imagen dispuesta para analizar los colores de objetos en la imagen de entrada (Im_in), y de eso determinar un valor para al menos uno de los parámetros que es el parámetro de sintonización (gpm), y el brillo pico de una pantalla (PB_D) que se va a utilizar en el cálculo del factor multiplicativo común resultante (gt).
7. Un sistema para crear una codificación de una imagen de alto rango dinámico (Im_src), que comprende: - una entrada para recibir la imagen de alto rango dinámico (Im_src);
- un convertidor (303) de imagen dispuesto para convertir la imagen de alto rango dinámico (Im_src) en una calificación maestra (M_XDR) de la imagen de alto rango dinámico (Im_src);
- un aparato (201) de transformación de color como se reivindica en cualquiera de las reivindicaciones anteriores del aparato de transformación de color dispuestas para calcular a partir de los colores de entrada de píxeles de una imagen de entrada (Im_in) que es la calificación maestra (M_XDR), los colores resultantes de píxeles de una segunda imagen calificada (M_X2DR), al aplicar la transformación de color (TMF; g);
- el aparato de transformación de color se dispone para obtener al menos un parámetro (gpm) y para calcular utilizando el parámetro y la transformación de color una segunda imagen (IM_MDR) que corresponde a un brillo pico que es diferente del brillo pico que corresponde a la calificación maestra (M_XDR) y el brillo pico que corresponde a la segunda imagen calificada (M_X2DR);
- una unidad (310) de formato de señal dispuesta para convertir la segunda imagen calificada (M_X2DR) junto con la calificación maestra (M_XDR) en una imagen formateada de alto rango dinámico (SF _X2DR) adecuada para almacenamiento y/o transmisión de imágenes y que comprende datos de color de píxeles de la calificación maestra (M_XDR), metadatos que codifican la transformación de color, y al menos un parámetro (gpm); y
- una salida (320) de imagen para emitir la imagen formateada de alto rango dinámico (SF_X2DR).
8. Un sistema para crear una codificación de una imagen de alto rango dinámico como se reivindica en la reivindicación 7 que comprende una interfaz (330) de usuario que permite que un calificador humano especifique al menos un parámetro (gpm), y una salida (311) de imagen para conectar una pantalla (313) que tiene el brillo pico de la pantalla (PB_D).
9. Un sistema (1130) para determinar los colores a renderizar, que comprende un aparato (201) de transformación de color como se reivindica en cualquiera de las reivindicaciones 1 a 6, y una interfaz (1120) de usuario para ingresar al menos un parámetro especificado por el usuario que cambia al menos uno de la métrica, el parámetro de sintonización (gpr; gpm), la dirección (DIR) o el brillo pico de la pantalla (PB_D) que se va a utilizar por el aparato de transformación de color.
10. Un método para calcular los colores resultantes (R2, G2, B2) de píxeles de una imagen de salida (IM_MDR) para una pantalla con un brillo pico de pantalla (PB_D) a partir de colores de entrada lineales (R,G,B) de píxeles de una imagen de entrada (Im_in) que tiene un código de luma máximo que corresponde a un primer brillo pico de imagen (PB_IM1) que es diferente del brillo pico de la pantalla, que comprende:
- determinar una transformación de color (TMF; g) a partir de datos de especificación de procesamiento de color (MET_1) que comprenden al menos una función de mapeo de tono (CC) para al menos un rango de luminancias de píxeles, dicha transformación de color específica el cálculo de al menos algunos colores de píxeles de una imagen (IM_GRAD_LXDR) que tiene un código de luma máximo que corresponde a un segundo brillo pico de imagen (PB_IM2), que es diferente del brillo pico de la pantalla (PB_D) y el primer brillo pico de imagen (PB_IM1), y por lo cual la división del primer brillo pico de imagen por el segundo brillo pico de imagen es o bien mayor que 2 o menor que 1/2; ; caracterizado por:
- determinar un factor multiplicativo común resultante (gt), al:
- determinar una métrica para localizar posiciones de brillos pico de la pantalla entre el primer brillo pico de imagen (PB_IM1), y el segundo brillo pico de imagen (PB_IM2) y fuera de ese rango, y
- determinar a partir del brillo pico de la pantalla (PB_D), la métrica, y la transformación de color el factor multiplicativo común resultante (gt); y
- el método comprende adicionalmente multiplicar dichos colores de entrada lineales (R,G,B) con el factor multiplicativo común resultante (gt) para obtener los colores resultantes (R2, G2, B2).
11. Un método como se reivindica en la reivindicación 10, en el que la etapa de determinar un factor multiplicativo común resultante (gt) adicionalmente comprende determinar una dirección (DIR) con respecto al eje de luminancia de los colores de entrada (R,G,B), y determinar una luminancia para un píxel de la imagen de salida (IM MDR) a partir de una luminancia de un píxel de la imagen de entrada (Im_in) al posicionar la métrica a lo largo de la dirección (DIR).
12. Un método como se reivindica en la reivindicación 10 o 11, en el que la etapa de determinar un factor multiplicativo común resultante (gt) adicionalmente comprende obtener un parámetro de sintonización (gpr; gpm) a partir de segundos datos de especificación de procesamiento de color (MET_2), y calcular el factor multiplicativo común resultante (gt) que corresponde a una posición diferente sobre la métrica que la posición para el brillo pico de la pantalla (PB_D), dicha posición diferente se basa en el valor del parámetro de sintonización.
13. Un método como se reivindica en una de las reivindicaciones del método anteriores, en el que la etapa de determinar un factor multiplicativo común resultante (gt) adicionalmente comprende obtener al menos un valor de luminancia (Lt, Ltr1) que demarca un primer rango de luminancias de colores de píxeles de la imagen de entrada a partir de un segundo rango de luminancias, y calcular el factor multiplicativo común resultante (gt) para al menos uno del primer y el segundo rango de luminancias.
14. Una señal de imagen de alto rango dinámico codificada (S_im) que comprende:
- datos de color de píxeles que codifican una imagen principal que es una calificación maestra (M_XDR) de una escena de alto rango dinámico;
- metadatos (MET) que comprenden parámetros que especifican el cálculo de colores resultantes de una segunda imagen calificada (M_X2DR) a partir de colores de entrada lineales de la calificación maestra (M_XDR) de acuerdo con el método de la reivindicación 10; en el que dichos metadatos adicionalmente comprenden un parámetro de sintonización (gpm) que se va a utilizar en la determinación del factor multiplicativo común resultante de acuerdo con la reivindicación 10, en el que se calcula una posición diferente sobre la métrica que la posición para el brillo pico de la pantalla (PB_D), dicha posición diferente se basa en el valor del parámetro de sintonización (gpm).
15. Un producto de memoria que comprende los datos de color de píxeles, los metadatos (MET) y el parámetro de sintonización (gpm) como se reivindica en la reivindicación 14.
ES15762531T 2014-12-11 2015-09-02 Optimización e imágenes de alto rango dinámico para pantallas particulares Active ES2825699T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14197360 2014-12-11
US201562121028P 2015-02-26 2015-02-26
PCT/EP2015/069980 WO2016091406A1 (en) 2014-12-11 2015-09-02 Optimizing high dynamic range images for particular displays

Publications (1)

Publication Number Publication Date
ES2825699T3 true ES2825699T3 (es) 2021-05-17

Family

ID=67137057

Family Applications (1)

Application Number Title Priority Date Filing Date
ES15762531T Active ES2825699T3 (es) 2014-12-11 2015-09-02 Optimización e imágenes de alto rango dinámico para pantallas particulares

Country Status (4)

Country Link
US (2) US10878776B2 (es)
DK (1) DK3231174T3 (es)
ES (1) ES2825699T3 (es)
ZA (1) ZA201704623B (es)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3055993B1 (en) * 2013-10-10 2020-03-18 Dolby Laboratories Licensing Corp. Displaying dci and other content on an enhanced dynamic range projector
JP6686438B2 (ja) * 2014-01-24 2020-04-22 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN111667418B (zh) * 2016-08-22 2024-06-28 华为技术有限公司 用于图像处理的方法和装置
US11202050B2 (en) * 2016-10-14 2021-12-14 Lg Electronics Inc. Data processing method and device for adaptive image playing
JP6738972B2 (ja) * 2017-02-15 2020-08-12 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ画像のためのトーン曲線マッピング
EP3367659A1 (en) * 2017-02-28 2018-08-29 Thomson Licensing Hue changing color gamut mapping
JP6929373B2 (ja) * 2017-03-03 2021-09-01 ドルビー ラボラトリーズ ライセンシング コーポレイション 不均等な色空間における彩度調整
EP3451677A1 (en) * 2017-09-05 2019-03-06 Koninklijke Philips N.V. Graphics-safe hdr image luminance re-grading
US10659745B2 (en) * 2017-09-13 2020-05-19 Panasonic Intellectual Property Management Co., Ltd. Video display device and video display method
AU2018271424A1 (en) * 2017-12-13 2019-06-27 Playable Pty Ltd System and Method for Algorithmic Editing of Video Content
WO2020041882A1 (en) * 2018-08-29 2020-03-05 Uti Limited Partnership Neural network trained system for producing low dynamic range images from wide dynamic range images
US10970828B2 (en) * 2018-12-21 2021-04-06 Ricoh Company, Ltd. Image processing apparatus, image processing system, image processing method, and recording medium
JP7483747B2 (ja) * 2019-04-23 2024-05-15 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ画像のディスプレイ管理
CN115362687A (zh) * 2020-04-02 2022-11-18 杜比实验室特许公司 基于元数据的功率管理
CN115883810A (zh) * 2020-04-30 2023-03-31 华为技术有限公司 映射曲线参数的获取方法和装置
KR20220142751A (ko) * 2021-04-15 2022-10-24 삼성전자주식회사 비디오를 인코딩하는 전자 장치 및 그 제어 방법
TWI774459B (zh) * 2021-07-05 2022-08-11 緯創資通股份有限公司 亮度調整方法及其相關顯示系統
KR102564447B1 (ko) * 2021-11-30 2023-08-08 엘지전자 주식회사 디스플레이 장치
WO2023150193A1 (en) * 2022-02-01 2023-08-10 Dolby Laboratories Licensing Corporation Supporting multiple target display types
US20230274464A1 (en) * 2022-02-28 2023-08-31 Avid Technology, Inc. Low-Bitrate Encoding of High Dynamic Range Content
US12088922B2 (en) * 2022-05-30 2024-09-10 Arm Limited Method, apparatus and program for processing an image

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363131B2 (en) * 2009-01-15 2013-01-29 Aptina Imaging Corporation Apparatus and method for local contrast enhanced tone mapping
US8731287B2 (en) * 2011-04-14 2014-05-20 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
US11640656B2 (en) 2011-09-27 2023-05-02 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
JP6042583B2 (ja) * 2013-11-13 2016-12-14 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｅｄｒビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー
RU2689411C2 (ru) * 2014-11-10 2019-05-28 Конинклейке Филипс Н.В. Способ для кодирования, процессор видео, способ для декодирования, декодер видео
WO2017089146A1 (en) * 2015-11-24 2017-06-01 Koninklijke Philips N.V. Handling multiple hdr image sources

Also Published As

Publication number Publication date
DK3231174T3 (da) 2020-10-26
US11195492B2 (en) 2021-12-07
US20210174761A1 (en) 2021-06-10
ZA201704623B (en) 2019-01-30
US10878776B2 (en) 2020-12-29
US20190311694A1 (en) 2019-10-10

Similar Documents

Publication Publication Date Title
ES2825699T3 (es) Optimización e imágenes de alto rango dinámico para pantallas particulares
ES2808177T3 (es) Optimización de imágenes de alto rango dinámico para pantallas particulares
CN107111980B (zh) 针对特定显示器优化高动态范围图像
EP3235236B1 (en) Dynamic range coding for images and video
ES2641371T3 (es) Procesamiento de imágenes con cambio de luminancia con restricciones de color
ES2694858T3 (es) Métodos y aparatos para codificar imágenes de HDR, y métodos y aparatos para el uso de tales imágenes codificadas
JP7061073B2 (ja) Ｈｄｒビデオの符号化及び復号
KR20170044129A (ko) Hdr 이미지 인코딩 방법 및 장치
JP2020520145A (ja) 復号された高ダイナミックレンジ画像の彩度を最適化すること
US10217198B2 (en) Simple but versatile dynamic range coding
JP2019506817A (ja) 複数のｈｄｒ画像ソースの処理
EP3764346A1 (en) Adjustment of display optimization behaviour for hdr images
US20240257323A1 (en) Display-optimized hdr video contrast adaptation
US20240221135A1 (en) Display-Optimized HDR Video Contrast Adapation
US20240273692A1 (en) Display-Optimized Ambient Light HDR Video Adapation
ES2728053T3 (es) Métodos y aparatos para crear funciones de mapeo de códigos para codificar una imagen HDR, y métodos y aparatos para el uso de tales imágenes codificadas
BR112017002313B1 (pt) Codificador para codificar um vídeo de entrada de alto alcance dinâmico, método para codificar um vídeo de entrada de alto alcance dinâmico, decodificador de vídeo para decodificar um vídeo de alto alcance dinâmico, decodificador de vídeo para decodificar um conjunto de imagens de vídeo de alto alcance dinâmico e método de decodificação de vídeo de um conjunto de imagens de vídeo de alto alcance dinâmico
BR112018012456B1 (pt) Aparelho de transformação de cor, decodificador de imagem hdr e método para calcular cores resultantes
BR112018010367B1 (pt) Aparelho para combinar duas imagens ou dois vídeos de imagens, e método para combinar duas imagens ou dois vídeos de imagens