ES2913154T3 - Sistemas escalables para controlar la gestión del color que comprenden niveles variables de metadatos - Google Patents

Sistemas escalables para controlar la gestión del color que comprenden niveles variables de metadatos Download PDF

Info

Publication number
ES2913154T3
ES2913154T3 ES19190529T ES19190529T ES2913154T3 ES 2913154 T3 ES2913154 T3 ES 2913154T3 ES 19190529 T ES19190529 T ES 19190529T ES 19190529 T ES19190529 T ES 19190529T ES 2913154 T3 ES2913154 T3 ES 2913154T3
Authority
ES
Spain
Prior art keywords
metadata
video
screen
image
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES19190529T
Other languages
English (en)
Inventor
Neil W Messmer
Robin Atkins
Steve Margerm
Peter W Longhurst
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Application granted granted Critical
Publication of ES2913154T3 publication Critical patent/ES2913154T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)

Abstract

Un aparato que comprende: al menos una memoria no transitoria; y un flujo de bits de imágenes de video almacenadas en al menos una memoria no transitoria, el flujo de bits incluyendo un conjunto de metadatos que son indicativos de que los datos de imagen de origen han sido graduados en color en un dispositivo de pantalla de referencia para producir dichas imágenes de video, y un conjunto diferente de metadatos que proporcionan información adicional sobre las imágenes de video, en el que el conjunto de metadatos y los diferentes conjuntos de metadatos se dividen por separado en el flujo de bits, en el que las imágenes de video se han producido mediante la gradación de color de los datos de imagen de origen en un dispositivo de pantalla de referencia identificado por uno o más parámetros del dispositivo de pantalla de referencia; en el que el conjunto de metadatos, que está asociado con las imágenes de video, incluye uno o más parámetros del dispositivo de pantalla de referencia, que incluyen al menos: a. un punto blanco para la pantalla de referencia, b. tres primarios para la pantalla de referencia, en el que el conjunto diferente de metadatos incluye al menos un nivel máximo de luminancia de las imágenes de vídeo.

Description

DESCRIPCIÓN
Sistemas escalables para controlar la gestión del color que comprenden niveles variables de metadatos
Referencia cruzada a aplicaciones relacionadas
Esta solicitud reivindica la prioridad de la solicitud de patente provisional de Estados Unidos N.° 61/491.014 presentada el 27 de mayo de 2011.
Esta solicitud es una solicitud divisional europea de la solicitud de patente Euro-PCT EP 12792811.7 (referencia: D11035EP01), presentada el 17 de mayo de 2012.
Campo técnico
La presente invención se refiere al procesamiento de imágenes y, más particularmente, a la codificación y decodificación de señales de imagen y video empleando metadatos, y más particularmente, en varias capas de metadatos.
Antecedentes
Las técnicas de codificación y decodificación de video escalables conocidas permiten la expansión o contracción de la calidad del video, dependiendo de las capacidades de la pantalla de video de destino y la calidad de los datos de video de origen.
Sin embargo, se pueden realizar mejoras en el renderizado de imágenes y/o videos y en la experiencia de los espectadores en el uso y la aplicación de metadatos de imágenes en un solo nivel o en varios niveles de metadatos.
En el documento WO2010128962A1, se divulgan métodos y sistemas para optimizar el contenido multimedia o una visualización del contenido multimedia de acuerdo con una imagen óptima o ideal. Diferentes versiones de contenido que están optimizadas para diferentes dispositivos de visualización pueden generarse de forma remota y transmitirse a un receptor conectado al dispositivo de visualización. Además, se pueden transmitir al receptor conjuntos de ajustes de visualización de parámetros que están optimizados para diferentes dispositivos de visualización para permitir la visualización de una imagen óptima para contenido multimedia. Además, se puede transmitir una descripción o indicación de los parámetros del dispositivo de visualización a un servidor remoto para su uso en la generación de diferentes versiones de contenido o diferentes conjuntos de ajustes de visualización de parámetros.
Sumario
La invención está definida por las reivindicaciones independientes. Los aspectos adicionales de la invención se definen en las reivindicaciones dependientes.
En el presente documento, se divulgan varias realizaciones de sistemas y métodos de procesamiento de imágenes escalables mediante los cuales el procesamiento de la gestión del color de los datos de imagen de origen que se mostrarán en una pantalla de destino se cambia de acuerdo con niveles variables de metadatos.
En una realización, se divulga un método para procesar y renderizar datos de imagen en una pantalla de destino a través de un conjunto de niveles de metadatos en el que los metadatos están asociados con el contenido de la imagen. El método comprende introducir los datos de imagen; determinar el conjunto de niveles de metadatos asociados con los datos de imagen; si no hay metadatos asociados con los datos de imagen, realizar al menos uno de un grupo de pasos de procesamiento de imágenes, comprendiendo dicho grupo: cambiar a valores predeterminados y calcular de forma adaptativa valores de parámetros; si los metadatos están asociados con los datos de imagen, calcular los parámetros del algoritmo de gestión del color de acuerdo con un conjunto de niveles de metadatos asociados con los datos de imagen.
En otra realización más, se describe un sistema para decodificar y renderizar datos de imagen en una pantalla de destino a través de un conjunto de niveles de metadatos. El sistema comprende: un decodificador de video, recibiendo dicho decodificador de video datos de imagen de entrada y emitiendo datos de imagen intermedios; un decodificador de metadatos, recibiendo dicho decodificador de metadatos datos de imagen de entrada en el que dicho decodificador de metadatos es capaz de detectar un conjunto de niveles de metadatos asociados con dichos datos de imagen de entrada y generar metadatos intermedios; un módulo de gestión del color, recibiendo dicho módulo de gestión del color metadatos intermedios de dicho decodificador de metadatos, recibiendo datos de imagen intermedios de dicho decodificador de vídeo y realizando el procesamiento de imágenes sobre datos de imagen intermedios basados en dichos metadatos intermedios; y una pantalla de destino, recibiendo y mostrando dicha pantalla de destino los datos de imagen de dicho módulo de gestión del color.
Otras características y ventajas del presente sistema se presentan a continuación en la descripción detallada cuando se lee en relación con los dibujos presentados dentro de esta solicitud.
Breve descripción de los dibujos
Las realizaciones de ejemplo se ilustran en las figuras referenciadas de los dibujos. Se pretende que las realizaciones y figuras divulgadas en el presente documento se consideren ilustrativas en lugar de restrictivas.
Las figuras 1A, 1B y 1C muestran una realización de una canalización de video actual desde la creación hasta la distribución y el consumo de una señal de video.
La figura 2A representa una realización de una canalización de video que comprende una canalización de metadatos de acuerdo con las enseñanzas de la presente solicitud.
La figura 2B representa una realización de un bloque de predicción de metadatos.
La figura 3 muestra una realización de una curva sigmoidal que emplea metadatos de nivel 1.
La figura 4 muestra una realización de una curva sigmoidal que emplea metadatos de nivel 2.
La figura 5 muestra una realización de un gráfico de histograma basado en un análisis de imagen/escena que puede usarse para ajustar el mapeo de imagen/video en una pantalla de destino.
La figura 6 muestra una realización de un mapeo de imagen/video ajustado basado en metadatos de nivel 3 que incluye una segunda gradación de pantalla de referencia de los datos de imagen/video.
La figura 7 muestra una realización de un mapeo lineal que podría ocurrir si la pantalla de destino coincide sustancialmente con la segunda pantalla de referencia usada para graduar los colores de los datos de imagen/video. La figura 8 es una realización de una canalización de video/metadatos, hecha de acuerdo con los principios de la presente solicitud.
Descripción detallada
A lo largo de la siguiente descripción, se exponen detalles específicos con el fin de proporcionar una comprensión más completa a los expertos en la materia. Sin embargo, es posible que los elementos bien conocidos no se hayan mostrado o descrito en detalle para evitar oscurecer innecesariamente la divulgación. En consecuencia, la descripción y los dibujos deben considerarse en un sentido ilustrativo, más que restrictivo.
Visión de conjunto
Un aspecto de la calidad del video se refiere a tener imágenes o video renderizados en una pantalla de destino con la misma o sustancialmente la misma fidelidad que pretendía el creador de las imágenes o el video. Es deseable tener un esquema de gestión del color (CM) que intente mantener la apariencia original del contenido de video en pantallas con diferentes capacidades. Para llevar a cabo esta tarea, podría ser deseable que un algoritmo de CM de este tipo pueda predecir cómo aparece el video para los espectadores en el entorno de postproducción donde se finalizó. Para ilustrar los problemas relacionados con la presente aplicación y sistema, las figuras 1A, 1B y 1C representan una realización de una canalización 100 de video actual que sigue una señal de video desde la creación hasta la distribución y el consumo de esa señal de video.
La creación 102 de la señal de video puede ocurrir con la señal de video siendo graduada en color 104 por un graduador 106 de color que puede graduar la señal para diversas características de la imagen, por ejemplo, luminancia, contraste, reproducción cromática de una señal de vídeo de entrada. El graduador 106 de color puede graduar la señal para producir un mapeo 108 de imagen/video y tal gradación se puede realizar en un dispositivo 110 de pantalla de referencia que puede tener, por ejemplo, una curva 112 de respuesta gamma.
Una vez que se ha graduado la señal, la señal de video puede enviarse a través de una distribución 114, donde dicha distribución debe concebirse adecuadamente en términos generales. Por ejemplo, la distribución podría ser a través de Internet, DVD, proyecciones en salas de cine y similares. En el presente caso, la distribución se muestra en la figura 1A como llevando la señal a una pantalla 120 de destino de luminancia máxima de 100 cd/m2 y que tiene una curva 124 de respuesta gamma. Suponiendo que la pantalla de referencia 110 tuviera sustancialmente la misma luminancia máxima que la pantalla de destino y sustancialmente la misma curva de respuesta, entonces el mapeo aplicado a la señal de video puede ser tan simple como un mapeo 1:1 122, y hecho de acuerdo con, por ejemplo, Rec 709 STD para la gestión 118 de color. Manteniendo todos los demás factores iguales (como, por ejemplo, las condiciones de luz ambiental en la pantalla de destino), lo que uno podría ver en la pantalla de referencia es sustancialmente lo que vería en la pantalla de destino.
Esta situación puede cambiar, por ejemplo, como se muestra en la figura 1B, en la que la pantalla 130 de destino difiere de la pantalla 110 de referencia en varios aspectos, por ejemplo, luminancia máxima (500 cd/m2 frente a 100 cd/m2 para la pantalla de referencia). En este caso, el mapeo 132 podría ser un mapeo 1:5 para representar en la pantalla de destino. En tal caso, el mapeo es un tramo lineal a través del bloque Rec 709 de CM. Cualquier distorsión potencial de la visualización de la pantalla de referencia a la visualización de la pantalla de destino puede o no ser objetable para el espectador, dependiendo de los niveles de discriminación individual. Por ejemplo, los tonos oscuros y medios son estirados pero pueden ser aceptables. Además, puede hacer que los artefactos de bloqueo de MPEG sean más significativos.
La figura 1C muestra un ejemplo más extremo. Aquí, la pantalla 140 de destino puede tener diferencias más significativas con respecto a la pantalla de referencia. Por ejemplo, la pantalla 140 de destino tiene una luminancia máxima de 1000 cd/m2, a diferencia de los 100 cd/m2 de la pantalla de referencia. Si se aplicara el mismo mapeo 142 de extensión lineal a la señal de video que va a la pantalla de destino, entonces podrían estar presentes distorsiones mucho más perceptibles y objetables para el espectador. Por ejemplo, el contenido de video puede mostrarse a un nivel de luminancia significativamente más alto (proporción 1:10). Los tonos oscuros y medios se pueden estirar hasta el punto en que el ruido de la cámara de la captura original sea perceptible y las bandas en las áreas oscuras de la imagen se vuelvan más significativas. Además, los artefactos de bloqueo de MPEG pueden ser más significativos.
Sin explorar exhaustivamente todos los ejemplos posibles de cómo los artefactos objetables pueden parecerle al espectador, puede ser instructivo discutir algunos más. Por ejemplo, supongamos que la pantalla de referencia tuviera una luminancia máxima mayor (por ejemplo, 600 cd/m2) que la pantalla de destino (por ejemplo, 100 cd/m2). En este caso, si el mapeo es nuevamente una extensión lineal de 6:1, entonces el contenido puede mostrarse en un nivel de luminancia más bajo en general y la imagen puede parecer oscura y el detalle oscuro de la imagen puede tener un aplastamiento notable.
En otro ejemplo más, supóngase que la pantalla de referencia tiene una luminancia máxima diferente (digamos 600 cd/m2) a la pantalla de destino (digamos 1000 cd/m2). Aplicando un estiramiento lineal, aunque puede haber solo una pequeña diferencia de relación (es decir, cerca de 1:2), la diferencia de magnitud en la luminancia máxima es potencialmente grande y objetable. Debido a la diferencia de magnitud, la imagen puede ser demasiado brillante y resultar incómoda de ver. Los tonos medios pueden estirarse de forma no natural y pueden parecer desvaídos. Además, tanto el ruido de la cámara como el de la compresión pueden ser perceptibles y objetables. En otro ejemplo más, supóngase que la pantalla de referencia tiene una gama de colores igual a P3 y la pantalla de destino tiene una gama menor que REC. 709. Supóngase que el contenido se graduó en color en la pantalla de referencia, pero el contenido representado tiene una gama equivalente a la pantalla de destino. En este caso, la asignación del contenido de la gama de pantalla de referencia a la gama de destino podría comprimir innecesariamente el contenido y desaturar la apariencia.
Sin algún tipo de modelo inteligente (o al menos más preciso) de renderizado de imágenes en una pantalla de destino, es probable que algunas distorsiones o artefactos objetables sean evidentes para el espectador de las imágenes/video. De hecho, es probable que lo que experimente el espectador no sea lo que pretendía el creador de las imágenes o el vídeo. Si bien la discusión se ha centrado en la luminancia, se apreciaría que las mismas preocupaciones también se aplicarían al color. De hecho, si hay una diferencia en el espacio de color de la pantalla de origen y el espacio de color de la pantalla de destino y esa diferencia no se tiene en cuenta correctamente, entonces la distorsión del color también sería un artefacto notable. El mismo concepto se aplica a cualquier diferencia en el entorno ambiental entre la pantalla de origen y la pantalla de destino.
Uso de metadatos
Como se establece en estos ejemplos, puede ser deseable comprender la naturaleza y las capacidades de la pantalla de referencia, la pantalla de destino y el contenido de origen para crear la mayor fidelidad posible al video previsto originalmente. Hay otros datos, que describen aspectos y transmiten información de los datos de imagen sin procesar, llamados "metadatos" que son útiles en renderizados tan fieles.
Si bien los mapeadores de tono y gama generalmente funcionan adecuadamente para aproximadamente el 80-95% de las imágenes procesadas para una pantalla en particular, existen problemas al usar soluciones genéricas de este tipo para procesar las imágenes. Típicamente, estos métodos no garantizan que la imagen mostrada en la pantalla coincida con la intención del director o creador inicial. También se ha observado que diferentes mapeadores de tonos o gamas pueden funcionar mejor con diferentes tipos de imágenes o preservar mejor el estado de las imágenes. Además, también se observa que diferentes mapeadores de tono y gama pueden causar recortes y pérdida de detalles o un cambio en el color o la tonalidad.
Cuando se mapea el tono de una secuencia de imágenes graduada en color, los parámetros de gradación de color, como el nivel mínimo de negro y el nivel máximo de blanco del contenido, pueden ser parámetros deseables para activar el mapeo de tonos del contenido graduado en color en una pantalla en particular. El graduador de color ya ha hecho que el contenido (en una imagen por imagen, así como en una base temporal) se vea de la forma que prefiera. Al traducirlo a una pantalla diferente, se puede desear conservar la experiencia visual percibida de la secuencia de imágenes. Debe apreciarse que con niveles crecientes de metadatos, puede ser posible mejorar dicha preservación de la apariencia.
Por ejemplo, supóngase que un profesional ha filmado y ha graduado en color una secuencia de un amanecer en una pantalla de referencia de 1000 cd/m2. En este ejemplo, el contenido debe mapearse para mostrarse en una pantalla de 200 cd/m2. Es posible que las imágenes antes de que salga el sol no usen todo el rango de la pantalla de referencia (por ejemplo, 200 cd/m2 máximo). Tan pronto como sale el sol, la secuencia de imágenes podría usar todo el rango de 1000 cd/m2, que es el máximo del contenido. Sin metadatos, muchos mapeadores de tonos usan el valor máximo (como la luminancia) como guía sobre cómo mapear el contenido. Por lo tanto, las curvas de tono aplicadas a las imágenes previas al amanecer (un mapeo 1:1) pueden ser diferentes de las curvas de tono aplicadas a las imágenes posteriores al amanecer (una compresión de tono 5x). Las imágenes resultantes que se muestran en la pantalla de destino pueden tener el mismo pico de luminancia antes y después del amanecer, lo que es una distorsión de la intención creativa. El artista pretendía que la imagen fuera más oscura antes del amanecer y más brillante durante, tal como se produjo en la pantalla de referencia. En este escenario, se pueden definir metadatos que describan completamente el rango dinámico de la escena; y el uso de esos metadatos puede garantizar que se mantenga el efecto artístico. También se puede usar para minimizar los problemas temporales de luminancia de una escena a otra.
Para otro ejemplo más, considérese lo contrario de la situación anterior. Supóngase que la escena 1 está graduada para 350 cd/m2 y que la escena 1 se filma con luz natural al aire libre. Si la escena 2 se filma en una habitación oscura y se muestra en el mismo rango, la escena 2 parecerá demasiado oscura. El uso de metadatos en este caso podría usarse para definir la curva de tono adecuada y garantizar que la escena 2 sea visible de manera adecuada. En otro ejemplo más, supóngase que la pantalla de referencia tiene una gama de colores igual a P3 y la pantalla de destino tiene una gama menor que REC. 709. Supóngase que el contenido se graduó en color en la pantalla de referencia, pero el contenido renderizado tiene una gama equivalente a la pantalla de destino. El uso de metadatos que definen la gama del contenido y la gama de la pantalla de origen puede permitir que el mapeo tome una decisión inteligente y mapee la gama del contenido 1:1. Esto puede garantizar que la saturación de color del contenido permanezca intacta.
En ciertas realizaciones del presente sistema, no es necesario tratar el tono y la gama como entidades o condiciones separadas de un conjunto de imágenes/vídeo. Los "colores de memoria" son colores en una imagen que, aunque el espectador no se dé cuenta de la intención inicial, se verán mal si se ajustan incorrectamente. Los tonos de piel, el cielo y la hierba son buenos ejemplos de un color de memoria que, cuando se mapea el tono, su tonalidad puede cambiar para verse mal. En una realización, el mapeador de gama tiene conocimiento de un color protegido (como metadatos) en una imagen para garantizar que se mantenga su tonalidad durante el proceso de mapeo de tonos. El uso de estos metadatos puede definir y resaltar colores protegidos en la imagen para garantizar el manejo correcto de los colores de la memoria. La capacidad de definir parámetros localizados del mapeador de tono y gama es un ejemplo de metadatos que no son necesariamente un mero producto de los parámetros de pantalla de referencia y/o de destino.
Una realización de una gestión del color sólida
En varias realizaciones de la presente solicitud, se divulgan sistemas y métodos para proporcionar un esquema de gestión del color sólido, mediante el cual se emplean varias fuentes de metadatos para proporcionar una mejor fidelidad de imagen/video que coincida con la intención original del creador del contenido. En una realización, se pueden añadir varias fuentes de metadatos al procesamiento, de acuerdo con la disponibilidad de ciertos metadatos, como se discutirá con mayor detalle en el presente documento.
Como meramente un ejemplo, la figura 2A muestra un diagrama de bloques de alto nivel de una canalización 200 de imagen/video que emplea metadatos. La creación y postproducción de imágenes puede tener lugar en el bloque 202. La fuente 208 de vídeo se introduce en el codificador 210 de vídeo. Capturados así como fuente de video, los metadatos 204 se introducen en un codificador 206 de metadatos. Los ejemplos de metadatos 204 se han discutido previamente; pero puede incluir elementos tales como límites de gama y otros parámetros de la fuente y/o pantalla de referencia, el entorno de la pantalla de referencia y otros parámetros de codificación. En una realización, los metadatos acompañan a las señales de video, ya que un subconjunto de metadatos podría ubicarse temporal y espacialmente con las señales de video que se pretende reproducir en un momento dado. Juntos, el codificador 206 de metadatos y el codificador 210 de video pueden considerarse el codificador de imagen de origen.
La señal de video y los metadatos se distribuyen luego a través de la distribución 212, de cualquier manera adecuada, por ejemplo, multiplexado, en serie, paralelo o por algún otro esquema conocido. Debe apreciarse que la distribución 212 debe concebirse ampliamente para los fines de la presente solicitud. Los esquemas de distribución adecuados pueden incluir: Internet, DVD, cable, satélite, inalámbrico, alámbrico o similar.
Las señales de vídeo y los metadatos, así distribuidos, se introducen en un entorno 220 de visualización de destino. Los decodificadores de metadatos y video, 222 y 224 respectivamente, reciben sus respectivos flujos de datos y proporcionan una decodificación apropiada para las características de la pantalla de destino, entre otros factores. Los metadatos en este punto podrían enviarse preferiblemente a un bloque 220 de gestión del color (CM) de un tercero y/o a una de las realizaciones de un módulo 228 de CM de la presente solicitud. En el caso de que el video y los metadatos sean procesados por el bloque 228 de CM, el generador 232 de parámetros de CM puede tomar como entradas los metadatos del decodificador 222 de metadatos, así como el bloque 230 de predicción de metadatos.
El bloque 230 de predicción de metadatos puede hacer ciertas predicciones de un renderizado de mayor fidelidad basándose en el conocimiento de imágenes o escenas de vídeo anteriores. El bloque de predicción de metadatos recopila estadísticas de la transmisión de video entrante para estimar los parámetros de los metadatos. En la figura 2B se muestra una posible realización de un bloque 230 de predicción de metadatos. En esta realización, se puede calcular un histograma 262 del logaritmo de la luminancia de la imagen para cada trama. Un filtro de paso bajo opcional 260 puede preceder al histograma para (a) reducir la sensibilidad del histograma al ruido y/o (b) tener en cuenta parcialmente la borrosidad natural en el sistema de visión humana (por ejemplo, los humanos perciben un patrón difuminado como un parche de color sólido). De eso se capturan el mínimo 266, máximo 274. Los puntos de punta 268 y hombro 272 también se pueden capturar basándose en la configuración de percentiles (como 5% y 95%). La media geométrica 270 (media logarítmica) también se puede calcular y usar como punto medio. Estos valores se pueden filtrar temporalmente para que, por ejemplo, no se muevan demasiado rápido. Estos valores también se pueden restablecer durante un cambio de escena si lo desea. Los cambios de escena pueden detectarse a partir de la inserción de tramas negras o saltos radicales extremos en el histograma o cualquier otra técnica similar. Se apreciará que el detector 264 de cambio de escena podría detectar cambios de escena a partir de datos de histograma, como se muestra, o directamente de los datos de vídeo.
En otra realización más, el sistema podría calcular la media de los valores de intensidad de la imagen (luminancia). A continuación, la intensidad de la imagen se puede escalar mediante una ponderación perceptual, como un logaritmo, una función de potencia o una LUT. Luego, el sistema podría estimar las regiones de luces y sombras (por ejemplo, espacio superblanco y el espacio supernegro en la figura 5) a partir de percentiles predeterminados del histograma de la imagen (por ejemplo, 10 % y 90 %). Alternativamente, el sistema puede estimar las regiones de luces y sombras cuando la pendiente del histograma está por encima o por debajo de un cierto umbral. Son posibles muchas variaciones; por ejemplo, el sistema puede calcular los valores máximo y mínimo de la imagen de entrada, o de percentiles predefinidos (por ejemplo, 1 % y 99 %).
En otras realizaciones, los valores pueden estabilizarse a lo largo del tiempo (por ejemplo, trama a trama), como con una tasa fija de subida y bajada. Los cambios repentinos pueden ser indicativos de un cambio de escena, por lo que los valores pueden estar exentos de estabilización de tiempo. Por ejemplo, si el cambio está por debajo de cierto umbral, el sistema puede limitar la tasa de cambio; de lo contrario, va con el nuevo valor. Alternativamente, el sistema puede rechazar ciertos valores para que no influyan en la forma del histograma (como el buzón o los valores cero).
Además, el generador 232 de parámetros de CM podría tomar otros metadatos (es decir, no necesariamente basados en la creación de contenido) como parámetros de visualización, el entorno de visualización ambiental y las preferencias del usuario para tener en cuenta la gestión del color de las imágenes/datos de vídeo. Se apreciará que los parámetros de visualización podrían estar disponibles para el generador 232 de parámetros de CM mediante interfaces estándar, por ejemplo, EDID o similares a través de interfaces (como interfaces serie DDC, HDMI, DVI o similares). Además, los datos del entorno de visualización ambiental pueden ser suministrados por sensores de luz ambiental (no mostrados) que miden las condiciones de luz ambiental o la reflectancia de las mismas desde la pantalla de destino.
Habiendo recibido los metadatos apropiados, el generador 232 de parámetros de CM puede establecer parámetros en un algoritmo 234 de CM aguas abajo que puede ocuparse del mapeo final de datos de imagen/video en la pantalla de destino 236. Debe apreciarse que no es necesario que haya una bifurcación de funciones como se muestra entre el generador 232 de parámetros de CM y el algoritmo 234 de CM. De hecho, en algunas realizaciones, estas características pueden combinarse en un bloque.
Asimismo, se apreciará que los diversos bloques que forman las figuras 2A y 2B son opcionales desde el punto de vista de la presente realización y que es posible diseñar muchas otras realizaciones, con o sin estos bloques enumerados, que están dentro del alcance de la presente solicitud. Además, el procesamiento de CM puede tener lugar en diferentes puntos de la canalización 200 de imagen y no necesariamente como se muestra en la figura 2A. Por ejemplo, la CM de la pantalla de destino se puede colocar y contener dentro de la propia pantalla de destino, o dicho procesamiento se puede realizar en un decodificador. Alternativamente, dependiendo del nivel de procesamiento de metadatos disponible o que se considere apropiado, la CM de la pantalla de destino podría tener lugar en la distribución o en el punto de postproducción.
Gestión del color escalable usando diferentes niveles de metadatos
En varias realizaciones de la presente solicitud, se describen sistemas y métodos para proporcionar un esquema de gestión del color escalable, mediante el cual las diversas fuentes de metadatos pueden organizarse en un conjunto de niveles variables de metadatos para proporcionar un nivel aún mayor de fidelidad de imagen/video para la intención original del creador del contenido. En una realización, se pueden añadir varios niveles de metadatos al procesamiento, de acuerdo con la disponibilidad de ciertos metadatos, como se discutirá con mayor detalle en el presente documento.
En muchas realizaciones del presente sistema, los algoritmos de metadatos adecuados pueden considerar una gran cantidad de información, como, por ejemplo:
(1) el contenido de video codificado,
(2) un método para convertir el contenido codificado en luz lineal
(3) los límites de la gama (tanto de luminancia como de cromaticidad) del contenido de origen, y
(4) información sobre el entorno de postproducción.
El método para convertir a luz lineal puede ser deseable para que se pueda calcular la apariencia (luminancia, gama de colores, etc.) de la imagen real observada por los creadores de contenido. Los límites de la gama ayudan a especificar de antemano cuáles pueden ser los colores más externos, de modo que dichos colores más externos se puedan asignar a la pantalla de destino sin recortar ni dejar demasiada sobrecarga. La información sobre el entorno de postproducción puede ser deseable para modelar cualquier factor externo que pueda influir en la apariencia de la pantalla.
En los mecanismos de distribución de video actuales, solo el contenido de video codificado se proporciona a una pantalla de destino. Se supone que el contenido se ha producido en un entorno de estudio de referencia usando pantallas de referencia que cumplen con Rec. 601/709 y varios estándares SMPTE. Típicamente, se supone que el sistema de visualización de destino cumple con la Rec. 601/709, y el entorno de visualización de destino se ignora en gran medida. Debido a la suposición subyacente de que la pantalla de postproducción y la pantalla de destino cumplirán con la Rec. 601/709, ninguna de las pantallas puede actualizarse sin introducir algún nivel de distorsión de la imagen. De hecho, como Rec. 601 y Rec. 709 difieren ligeramente en la elección de los primarios, es posible que ya se haya introducido alguna distorsión.
En el presente documento se divulga una realización de un sistema escalable de niveles de metadatos que permite el uso de pantallas de referencia y de destino con un rango más amplio y mejorado de capacidades. Los diversos niveles de metadatos permiten que un algoritmo de CM adapte el contenido de origen para una pantalla de destino determinada con niveles de precisión cada vez mayores. Las siguientes secciones describen los niveles de metadatos propuestos:
Nivel 0
Los metadatos de nivel 0 son el caso predeterminado y esencialmente significa cero metadatos. Los metadatos pueden estar ausentes por varias razones, entre ellas:
(1) Los creadores de contenido no lo incluyeron (o se perdió en algún momento del proceso de postproducción) (2) La pantalla cambia entre contenido (es decir, navegación de canales o pausa comercial)
(3) Corrupción o pérdida de datos.
En una realización, puede ser deseable que el procesamiento de CM maneje el nivel 0 (es decir, donde no hay metadatos presentes) ya sea estimándolo basándose en el análisis de video o asumiendo valores predeterminados. En tal realización, los algoritmos de gestión del color pueden funcionar en ausencia de metadatos al menos de dos maneras diferentes:
Cambiar a los valores predeterminados
En este caso, una pantalla funcionaría de manera muy similar al sistema de distribución actual, donde se asumen las características de la pantalla de referencia de postproducción. Dependiendo del formato de codificación de video, la pantalla de referencia supuesta podría ser diferente. Por ejemplo, se podría suponer una pantalla de Rec. 601/709 para datos RGB de 8 bits. Si se gradúa el color en un monitor profesional (como un ProMonitor) en modo de 600 cd/m2, se podría asumir una gama P3 o Rec 709 para datos RGB de mayor profundidad de bits o datos codificados LogYuv. Esto podría funcionar bien si solo hay un estándar o un estándar de facto para contenido de mayor rango dinámico. Sin embargo, si el contenido de mayor rango dinámico se crea en condiciones personalizadas, es posible que los resultados no mejoren mucho y sean deficientes.
Calcular de forma adaptativa los valores de los parámetros
En este caso, el algoritmo de CM podría comenzar con algunas suposiciones predeterminadas y refinar esas suposiciones basándose en la información obtenida del análisis del contenido de origen. Por lo general, esto podría implicar analizar el histograma de las tramas de video para determinar cómo ajustar mejor la luminancia de la fuente entrante, posiblemente calculando los valores de los parámetros para un algoritmo de CM. Al hacerlo, puede existir el riesgo de que se produzca un tipo de aspecto de "exposición automática" en el vídeo en el que cada escena o trama se equilibra con el mismo nivel de luminancia. Además, algunos formatos pueden presentar otros desafíos; por ejemplo, actualmente no existe una forma automatizada de determinar la gama de colores si el contenido de origen está en formato RGB.
En otra realización, es posible implementar una combinación de los dos enfoques. Por ejemplo, se podría suponer que los parámetros de gama y codificación (como gamma) son un valor predeterminado estandarizado y se podría usar un histograma para ajustar los niveles de luminancia.
Nivel 1
En la presente realización, los metadatos de nivel 1 proporcionan información que describe cómo se creó y empaquetó el contenido de origen. Estos datos pueden permitir que el procesamiento de Cm prediga cómo apareció realmente el contenido de video para los productores de contenido. Los parámetros de metadatos de nivel 1 se pueden agrupar en tres áreas:
(1) parámetros de codificación de video,
(2) parámetros de visualización de origen,
(3) parámetros de gama de contenido de origen, y
(4) parámetros ambientales.
Parámetros de codificación de video
Como la mayoría de los algoritmos de gestión del color funcionan al menos parcialmente en un espacio de luz lineal, puede ser deseable tener un método para convertir el video codificado en una representación lineal (pero relativa) (X,Y,Z), ya sea inherente al esquema de codificación o proporcionado como metadatos en sí. Por ejemplo, los esquemas de codificación, como LogYuv, OpenEXR, LogYxy o LogLuv TIFF, contienen inherentemente la información necesaria para convertir a un formato de luz lineal. Sin embargo, para muchos formatos RGB o YCbCr, se puede desear información adicional como gamma y colores primarios. Como ejemplo, para procesar la entrada YCbCr o RGB, se puede proporcionar la siguiente información:
(1) las coordenadas de los puntos primarios y blancos usados para codificar el contenido de origen. Esto se puede usar para generar las coordenadas (x,y) de matriz de transformación del espacio de color RGB a XYZ para cada uno de rojo, verde, azul y blanco.
(2) los valores de código mínimo y máximo (por ejemplo, rango 'estándar' o 'completo'). Esto puede usarse para convertir valores de código en valores de entrada normalizados.
(3) la curva de respuesta global o por canal para cada primario (por ejemplo, 'gamma'). Esto puede usarse para linealizar los valores de intensidad al deshacer cualquier respuesta no lineal que pueda haber sido aplicada por la interfaz o la pantalla de referencia.
Parámetros de gama de visualización de origen
Puede ser útil que los algoritmos de gestión del color conozcan la gama de colores de la pantalla de origen. Estos valores corresponden a las capacidades de la pantalla de referencia usada para graduar el contenido. Los parámetros de la gama de visualización de origen, medidos preferiblemente en un entorno completamente oscuro, pueden incluir: 12
(1) Primarios, como los proporcionados como coordenadas de cromaticidad CIE x,y con luminancia máxima especificada o XYZ.
(2) Valor triestímulo para blanco y negro, como CIE XYZ.
Parámetros de gama de contenido de origen
Puede ser útil que los algoritmos de gestión del color conozcan los límites de la gama de colores usada para generar el contenido de origen. Típicamente, estos valores corresponden a las capacidades de la pantalla de referencia usada para graduar el contenido; sin embargo, pueden ser diferentes debido a la configuración del software o si solo se usó un subconjunto de las capacidades de la pantalla. En algunos casos, es posible que la gama del contenido de origen no coincida con la gama de los datos de vídeo codificados. Por ejemplo, los datos de video pueden estar codificados en LogYuv (o alguna otra codificación) que abarca todo el espectro visual. Los parámetros de gama de origen pueden incluir:
(1) Primarios, como los proporcionados como coordenadas de cromaticidad CIE x,y con luminancia máxima especificada o XYZ
(2) Valor triestímulo para blanco y negro, como CIE XYZ.
Parámetros ambientales
En determinadas circunstancias, el simple hecho de conocer los niveles de luz producidos por la pantalla de referencia puede no ser suficiente para determinar cómo "aparece" el contenido de origen a los espectadores en la postproducción. La información sobre los niveles de luz producidos por el entorno ambiental también puede ser útil. La combinación de la pantalla y la luz ambiental es la señal que llama la atención del ojo humano y crea una "apariencia". Se puede desear conservar esta apariencia a través de la canalización de video. Los parámetros ambientales, preferiblemente medidos en el entorno de gradación de color normal, pueden incluir:
(1) Color envolvente del monitor de referencia proporcionado como valor XYZ absoluto. Se puede estimar el nivel de adaptación del espectador a su entorno usando este valor.
(2) Valor XYZ absoluto para el nivel de negro del monitor de referencia en el entorno de gradación de color normal. El impacto de la iluminación ambiental en el nivel de negro puede determinarse usando este valor.
(3) La temperatura de color de la luz ambiental proporcionada como valor XYZ absoluto de la muestra reflectante blanca en el frente de la pantalla (como el papel). La adaptación del punto blanco del espectador se puede estimar usando este valor.
Como se señaló, los metadatos de nivel 1 pueden proporcionar los parámetros de gama, codificación y ambientales para el contenido de origen. Esto puede permitir que la solución de CM prediga cómo apareció el contenido de origen cuando se aprobó. Sin embargo, es posible que no brinde mucha orientación sobre cómo ajustar mejor los colores y la luminancia para adaptarse a la pantalla de destino.
En una realización, una sola curva sigmoidal aplicada globalmente a tramas de video en el espacio RGB puede ser una forma simple y estable de mapeo entre diferentes rangos dinámicos de origen y destino. Además, se puede usar una única curva sigmoidal para modificar cada canal (R, G, B) de forma independiente. Tal curva también podría ser sigmoidea en algún espacio de percepción, como funciones logarítmicas o de potencia. En la figura 3 se muestra una curva 300 de ejemplo. Se apreciará que también serían adecuadas otras curvas de mapeo, como un mapa lineal (como se muestra en las figuras 3, 4 y 6), u otros mapas, como gamma.
En este caso, los puntos mínimo y máximo de la curva se conocen a partir de los metadatos y la información del nivel 1 en la pantalla de destino. La forma exacta de la curva podría ser estática y se ha encontrado que funciona bien en promedio basándose en el rango de entrada y salida. También podría modificarse de forma adaptativa basándose en el contenido de origen.
Nivel 2
Los metadatos de nivel 2 brindan información adicional sobre las características del contenido de video de origen. En una realización, los metadatos de nivel 2 pueden dividir el rango de luminancia del contenido de origen en regiones de luminancia específicas. Más específicamente, una realización podría romper el rango de luminancia del contenido de origen en cinco regiones, donde las regiones pueden estar definidas por puntos a lo largo del rango de luminancia. Tales rangos y regiones pueden estar definidos por una imagen, un conjunto de imágenes, una escena de video o una pluralidad de escenas de video.
En aras de la exposición, las figuras 4 y 5 representan una realización del uso de metadatos de nivel 2. La figura 4 es un mapeo 400 de la luminancia de entrada a la luminancia de salida en la pantalla de destino. El mapeo 400 se representa aquí como una curva sustancialmente sigmoidal que comprende un conjunto de puntos de ruptura a lo largo de su curva. Estos puntos pueden corresponder a valores relevantes para el procesamiento de imágenes, etiquetados allí como: mínentrada, supernegroentrada, medentrada, superblancoentrada y máxentrada.
En esta realización, mínentrada y máxentrada pueden corresponder a los valores de luminancia mínimo y máximo para una escena. El tercer punto, medentrada, puede ser el valor medio que corresponde a un valor de luminancia perceptualmente 'promedio' o 'gris medio'. Los dos puntos finales, supernegroentrada y superblancoentrada, pueden ser los valores de espacio supernegro y espacio superblanco. La región entre los valores de espacio supernegro y espacio superblanco puede definir una parte importante del rango dinámico de la escena. Puede ser deseable que el contenido entre estos puntos se conserve tanto como sea posible. El contenido debajo del espacio supernegro se puede aplastar si se desea. El contenido por encima del espacio superblanco corresponde a los aspectos más destacados y se puede recortar si lo desea. Debe apreciarse que estos puntos tienden a definir una curva en sí mismos, por lo que otra realización podría ser una curva que mejor se ajuste a estos puntos. Además, dicha curva podría adoptar una forma lineal, gamma, sigmoidal o cualquier otra forma adecuada y/o deseable.
Además de esta realización, la figura 5 ilustra los puntos mínimo, espacio supernegro, medio, espacio superblanco y máximo, como se muestra en un gráfico 500 de histograma. Tal histograma se puede producir sobre la base de una imagen, una escena de video o incluso un conjunto de escenas de video, dependiendo del nivel de granularidad del análisis del histograma que se desee para ayudar a preservar la fidelidad del contenido. En una realización, los cinco puntos pueden especificarse en valores de código, en la misma representación de codificación que los datos de video. Téngase en cuenta que el mínimo y el máximo típicamente pueden corresponder a los mismos valores que el rango de la señal de video, pero no siempre.
Dependiendo de la granularidad y la frecuencia de dichos gráficos de histograma, el análisis de histograma se puede usar para redefinir puntos a lo largo del mapa de luminancia de la figura 4 de forma dinámica y, por lo tanto, alterar la curva con el tiempo. Esto también puede ser útil para mejorar la fidelidad del contenido que se muestra al espectador en una pantalla de destino. Por ejemplo, en una realización, pasar el histograma periódicamente permite que el decodificador obtenga potencialmente más información que solo el mínimo, el máximo, etc. El codificador también puede incluir solo un nuevo histograma cuando hubo un cambio significativo. Esto podría ahorrarle al decodificador el esfuerzo de calcularlo para cada trama sobre la marcha. En otra realización más, el histograma podría usarse para estimar metadatos, ya sea para reemplazar los metadatos que faltan o para complementar los metadatos existentes.
Nivel 3
En una realización, para metadatos de nivel 3, los parámetros de metadatos de nivel 1 y nivel 2 pueden emplearse para una segunda gradación de referencia del contenido de origen. Por ejemplo, el primer grado del contenido de origen puede haberse realizado en un monitor de referencia (por ejemplo, ProMonitor) usando una gama P3 a 600 cd/m2 de luminancia. Con los metadatos de nivel 3, se podría realizar información sobre una segunda gradación, por ejemplo, también se podría proporcionar una referencia CRT. En este caso, la información adicional indicaría primarios Rec.601 o Rec.709 y una luminancia más baja como 120 cd/m2. Los niveles mínimo, supernegro, medio, superblanco y máximo correspondientes también se proporcionarían al algoritmo de CM.
Los metadatos de nivel 3 pueden añadir datos adicionales, por ejemplo, gama, entorno, primarios, etc. e información de nivel de luminancia para una segunda gradación de referencia del contenido de origen. Esta información adicional puede luego combinarse para definir una curva sigmoidal 600 (como se muestra en la figura 6) que mapeará la entrada principal al rango de la pantalla de referencia. La figura 6 muestra un ejemplo de cómo se pueden combinar los niveles (salida) de pantalla de entrada y de referencia para formar una curva de mapeo adecuada.
Si las capacidades de la pantalla de destino coinciden bien con la pantalla de referencia secundaria, entonces esta curva se puede usar directamente para mapear el contenido de la fuente principal. Sin embargo, si las capacidades de la pantalla de destino se ubican entre las de la pantalla de referencia principal y la secundaria, entonces la curva de mapeo para la pantalla secundaria se puede usar como un límite inferior. La curva usada para la pantalla de destino real puede ser entonces una interpolación entre ninguna reducción (por ejemplo, un mapeo lineal 700 como se muestra en la figura 7) y la curva de reducción de rango completo generada usando los niveles de referencia.
Nivel 4
Los metadatos de nivel 4 son los mismos que los metadatos de nivel 3, excepto que los metadatos para la segunda gradación de referencia se adaptan a la pantalla de destino real.
Los metadatos de nivel 4 también podrían implementarse en un escenario de transmisión libre (OTT) (es decir, Netflix, transmisión móvil o algún otro servicio de VOD) donde la pantalla de destino real envía sus características al proveedor de contenido y el contenido se distribuye con las curvas más adecuadas disponibles. En una realización de este tipo, la pantalla de destino puede estar en comunicación con el servicio de transmisión de video, el servicio VOD o similar, y la pantalla de destino puede enviar información al servicio de transmisión, como sus datos EDID o cualquier otro metadato adecuado disponible. Tal ruta de comunicación se representa como la ruta 240 de línea de puntos en la figura 2A, ya sea al video y/o al codificador de metadatos (210 y 206 respectivamente), como se conoce en la técnica con servicios como Netflix y similares. Por lo general, Netflix y otros servicios de VOD similares monitorean la cantidad de datos y la velocidad de rendimiento de datos al dispositivo de destino, y no necesariamente los metadatos con fines de gestión del color. Sin embargo, es suficiente para los fines de la presente realización que los metadatos se envíen desde los datos de destino a la creación o postproducción, ya sea a través de la distribución 212 o de otro modo (en tiempo real o a priori), para cambiar el color, el tono u otras características de los datos de imagen a entregar a la pantalla de destino.
Con los metadatos de nivel 4, los niveles de luminancia de referencia proporcionados son específicos para la pantalla de destino. En este caso, podría construirse una curva sigmoidal como se muestra en la figura 6 y usarse directamente sin ninguna interpolación o ajuste.
Nivel 5
Los metadatos de nivel 5 mejoran el nivel 3 o el nivel 4 con la identificación de características destacadas como las siguientes:
(1) Colores protegidos: colores de la imagen que se han identificado como colores de memoria comunes que no deben procesarse, como los tonos de piel, el color del cielo, la hierba, etc. Tales regiones de una imagen que tienen colores protegidos pueden tener sus datos de imagen pasados a la pantalla de destino sin alteración.
(2) Resaltados salientes: identificar fuentes de luz, reflejos máximos emisivos y especulares
(3) Color fuera de la gama: características de la imagen que se han graduado deliberadamente por color fuera de la gama del contenido de origen.
En algunas realizaciones, si la pantalla de destino es capaz de una mayor luminancia, estos objetos de identificación podrían mapearse artificialmente al máximo de la pantalla. Si la pantalla de destino es capaz de tener una luminancia más baja, estos objetos podrían recortarse al máximo de la pantalla sin compensar los detalles. Estos objetos podrían ignorarse y la curva de mapeo definida podría aplicarse al contenido restante y mantener una mayor cantidad de detalles.
También debe apreciarse que, en algunas realizaciones, por ejemplo, en el caso de tratar de mapear VDR a una pantalla de rango dinámico más bajo, puede ser útil conocer las fuentes de luz y los puntos destacados porque uno podría recortarlos sin causar demasiado daño. Por ejemplo, una cara muy iluminada por otro lado (es decir, definitivamente no una fuente de luz) puede no ser una característica que sea deseable recortar. Alternativamente, tal característica podría comprimirse más gradualmente. En otra realización más, si la pantalla de destino es capaz de una gama más amplia, estos objetos de contenido se pueden expandir y hasta las capacidades completas de la pantalla. Además, en otra realización, el sistema podría ignorar cualquier curva de mapeo definida para garantizar un color altamente saturado.
Debe apreciarse que en varias realizaciones de la presente solicitud, los niveles mismos pueden no ser una jerarquía estricta de procesamiento de metadatos. Por ejemplo, el nivel 5 podría aplicarse a los datos del nivel 3 o del nivel 4. Además, es posible que no estén presentes algunos niveles con números más bajos; sin embargo, el sistema puede procesar niveles numerados más altos, si están presentes.
Una realización de un sistema que emplea múltiples niveles de metadatos
Como se discutió anteriormente, los diferentes niveles de metadatos brindan información cada vez mayor sobre el material de origen que permite que un algoritmo de CM proporcione mapeos cada vez más precisos para una visualización de destino. En la figura 8 se muestra una realización que emplea tales niveles escalables y variables de metadatos.
El sistema 800, como se representa, muestra una canalización completa de video/metadatos a través de cinco bloques: creación 802, contenedor 808, codificación/distribución 814, decodificación 822 y consumo 834. Se apreciará que son posibles muchas variaciones de diferentes implementaciones, algunas con más bloques y otras con menos bloques. El alcance de la presente solicitud no debe limitarse a la enumeración de las realizaciones en el presente documento y, de hecho, el alcance de la presente solicitud abarca estas diversas implementaciones y realizaciones.
La creación 802 toma ampliamente el contenido 804 de imagen/video y lo procesa, como se discutió anteriormente, a través de una herramienta 806 de gradación de color. El video y los metadatos procesados se colocan en un contenedor adecuado 810, por ejemplo, cualquier formato adecuado o estructura de datos que se conozca en la técnica para su posterior difusión. Por ejemplo, el video se puede almacenar y enviar como video graduado en color VDR y los metadatos como metadatos con formato XML VDR. Estos metadatos, como se muestra en 812, se dividen en los distintos niveles discutidos anteriormente. En el bloque de contenedor, es posible incrustar datos en los metadatos formateados que codifican en qué niveles de metadatos están disponibles y asociados con los datos de imagen/video. Debe tenerse en cuenta que no es necesario asociar todos los niveles de metadatos con los datos de imagen/video; pero que cualquiera que sea el nivel y los metadatos asociados, la decodificación y la representación aguas abajo pueden determinar y procesar adecuadamente dichos metadatos disponibles.
La codificación puede continuar tomando los metadatos y proporcionándolos al bloque 816 de determinación de parámetros del algoritmo, mientras que el video puede proporcionarse al codificador AVCVDR 818, que también puede comprender el bloque de CM para procesar el video antes de la distribución 820.
Una vez distribuidos (como se piensa ampliamente a través de, por ejemplo, Internet, DVD, cable, satélite, inalámbrico, alámbrico o similar), la decodificación de los datos de video/metadatos puede pasar al decodificador AVCVDR 824 (u opcionalmente a un decodificador heredado 826, si la pantalla de destino no está habilitada para VDR). Tanto los datos de video como los metadatos se recuperan de la decodificación (como bloque 830, 828 respectivamente, y posiblemente 832, si la pantalla de destino es heredada). El decodificador 824 puede tomar datos de imagen/video de entrada y recuperar y/o dividir los datos de imagen de entrada en un flujo de datos de imagen/video para ser procesado y renderizado, y un flujo de metadatos para calcular parámetros para el procesamiento posterior del algoritmo de CM en la imagen/flujo de datos de vídeo que se va a renderizar. El flujo de metadatos también debe contener información sobre si hay metadatos asociados con el flujo de datos de imagen/video. Si no hay metadatos asociados, entonces el sistema puede continuar con el procesamiento de nivel 0 como se discutió anteriormente. De lo contrario, el sistema puede continuar con el procesamiento adicional de acuerdo con los metadatos asociados con el flujo de datos de imagen/video, como se discutió anteriormente, de acuerdo con un conjunto de niveles variables de metadatos.
Se apreciará que puede determinarse en tiempo real si hay o no metadatos asociados con los datos de imagen/vídeo a reproducir. Por ejemplo, es posible que para algunas secciones de una transmisión de video no haya metadatos asociados con esas secciones (ya sea por corrupción de datos o porque el creador del contenido pretendía que no hubiera metadatos), y en otras secciones puede haber metadatos, quizás un rico conjunto de metadatos con diferentes niveles, ahora están disponibles y asociados con otras secciones de la transmisión de video. Esto puede ser intencional por parte del creador del contenido; pero al menos una realización de la presente solicitud debería ser capaz de realizar tales determinaciones en cuanto a si alguno, o qué nivel, de metadatos está asociado con la transmisión de vídeo en tiempo real o de forma sustancialmente dinámica.
En el bloque de consumo, el bloque 836 de determinación de parámetros del algoritmo puede recuperar los parámetros anteriores, tal vez realizados antes de la distribución, o puede volver a calcular los parámetros basándose en los metadatos de la pantalla de destino y/o el entorno de destino (quizás desde interfaces estándar, por ejemplo, EDID o interfaces VDR emergentes, así como entradas del visor o sensores en el entorno de destino, como se discutió previamente en el contexto de la realización de las figuras 2A y/o 2B). Una vez que se han calculado o recuperado los parámetros, se pueden enviar a uno o más de los sistemas de CM (838, 840 y/o 840) para el mapeo final de los datos de imagen/video de origen e intermedios en la pantalla 844 de destino de acuerdo con varias realizaciones divulgadas en el presente documento.
En otras realizaciones, no es necesario dividir finamente los bloques de implementación de la figura 8. Por ejemplo, y en términos generales, el procesamiento que implica la determinación de los parámetros del algoritmo y el propio algoritmo de gestión del color no tiene por qué estar bifurcado necesariamente como se muestra en la figura 8; pero puede concebirse y/o implementarse como un módulo de gestión del color.
Además, si bien se ha descrito en el presente documento un conjunto de niveles variables de metadatos para uso de una canalización de video/imagen, se debe tener en cuenta que, en la práctica, el sistema no necesita procesar los datos de imagen/video en el orden exacto en el que los niveles de metadatos están numerados. De hecho, puede darse el caso de que algunos niveles de metadatos estén disponibles en el momento del renderizado y otros niveles no estén disponibles. Por ejemplo, se puede realizar o no una segunda gradación de color de referencia y los metadatos de nivel 3 pueden o no estar presentes en el momento del renderizado. Un sistema realizado de acuerdo con la presente solicitud toma en consideración la presencia o ausencia de los diferentes niveles de metadatos y continúa con el mejor procesamiento de metadatos posible en ese momento.
Ahora se ha dado una descripción detallada de una o más realizaciones de la invención, junto con las figuras adjuntas, que ilustran los principios de la invención. Debe apreciarse que la invención se describe en relación con tales realizaciones, pero la invención no se limita a ninguna realización. El alcance de la invención está limitado únicamente por las reivindicaciones.
En esta descripción se han expuesto numerosos detalles específicos para proporcionar una comprensión completa de la invención. Estos detalles se proporcionan a modo de ejemplo y la invención se puede poner en práctica de acuerdo con las reivindicaciones sin algunos o todos estos detalles específicos. En aras de la claridad, el material técnico que se conoce en los campos técnicos relacionados con la invención no se ha descrito en detalle para que la invención no se complique innecesariamente.

Claims (1)

REIVINDICACIONES
1.- Un aparato que comprende:
al menos una memoria no transitoria; y
un flujo de bits de imágenes de video almacenadas en al menos una memoria no transitoria, el flujo de bits incluyendo un conjunto de metadatos que son indicativos de que los datos de imagen de origen han sido graduados en color en un dispositivo de pantalla de referencia para producir dichas imágenes de video, y un conjunto diferente de metadatos que proporcionan información adicional sobre las imágenes de video, en el que el conjunto de metadatos y los diferentes conjuntos de metadatos se dividen por separado en el flujo de bits, en el que las imágenes de video se han producido mediante la gradación de color de los datos de imagen de origen en un dispositivo de pantalla de referencia identificado por uno o más parámetros del dispositivo de pantalla de referencia;
en el que el conjunto de metadatos, que está asociado con las imágenes de video, incluye uno o más parámetros del dispositivo de pantalla de referencia, que incluyen al menos:
a. un punto blanco para la pantalla de referencia,
b. tres primarios para la pantalla de referencia,
en el que el conjunto diferente de metadatos incluye al menos un nivel máximo de luminancia de las imágenes de vídeo.
ES19190529T 2011-05-27 2012-05-17 Sistemas escalables para controlar la gestión del color que comprenden niveles variables de metadatos Active ES2913154T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201161491014P 2011-05-27 2011-05-27

Publications (1)

Publication Number Publication Date
ES2913154T3 true ES2913154T3 (es) 2022-05-31

Family

ID=47260176

Family Applications (1)

Application Number Title Priority Date Filing Date
ES19190529T Active ES2913154T3 (es) 2011-05-27 2012-05-17 Sistemas escalables para controlar la gestión del color que comprenden niveles variables de metadatos

Country Status (15)

Country Link
US (8) US9111330B2 (es)
EP (4) EP2716028B1 (es)
JP (9) JP5833233B2 (es)
KR (14) KR20190086036A (es)
CN (6) CN103563347B (es)
DK (1) DK3595281T3 (es)
ES (1) ES2913154T3 (es)
HK (3) HK1231652A1 (es)
HR (1) HRP20220617T1 (es)
HU (1) HUE058712T2 (es)
LT (1) LT3595281T (es)
PL (1) PL3595281T3 (es)
RS (1) RS63194B1 (es)
SI (1) SI3595281T1 (es)
WO (1) WO2012166382A2 (es)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3065724B2 (ja) * 1991-08-12 2000-07-17 大阪瓦斯株式会社 管修繕具
EP2716028B1 (en) 2011-05-27 2020-07-22 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
CN104240674B (zh) * 2013-06-14 2016-10-05 联想(北京)有限公司 一种调节显示单元的方法及一种电子设备
US9875724B2 (en) * 2012-08-21 2018-01-23 Beijing Lenovo Software Ltd. Method and electronic device for adjusting display
US10055866B2 (en) 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
US9521438B2 (en) * 2013-03-29 2016-12-13 Microsoft Technology Licensing, Llc Custom data indicating nominal range of samples of media content
CN105409203B (zh) 2013-07-30 2018-07-31 杜比实验室特许公司 用于产生场景稳定元数据的系统和方法
EP2989793B1 (en) * 2013-11-13 2017-04-05 Dolby Laboratories Licensing Corporation Workflow for content creation and guided display management of enhanced dynamic range video
JP6576018B2 (ja) * 2013-12-26 2019-09-18 キヤノン株式会社 画像処理装置および撮像装置
WO2015098669A1 (en) * 2013-12-26 2015-07-02 Canon Kabushiki Kaisha Image processing apparatus and imaging apparatus
US10271054B2 (en) 2014-02-25 2019-04-23 Apple, Inc. Display-side adaptive video processing
JP6439418B2 (ja) * 2014-03-05 2018-12-19 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
US20170249521A1 (en) * 2014-05-15 2017-08-31 Arris Enterprises, Inc. Automatic video comparison of the output of a video decoder
US20150334386A1 (en) * 2014-05-15 2015-11-19 Arris Enterprises, Inc. Automatic video comparison of the output of a video decoder
US11064204B2 (en) 2014-05-15 2021-07-13 Arris Enterprises Llc Automatic video comparison of the output of a video decoder
WO2015178598A1 (ko) 2014-05-20 2015-11-26 엘지전자 주식회사 디스플레이 적응적 영상 재생을 위한 비디오 데이터 처리 방법 및 장치
CN110460744B (zh) 2014-06-10 2022-03-08 松下知识产权经营株式会社 亮度变换装置和亮度变换方法
WO2015194101A1 (ja) * 2014-06-16 2015-12-23 パナソニックＩｐマネジメント株式会社 再生方法および再生装置
CN111901599B (zh) 2014-06-27 2024-05-14 松下知识产权经营株式会社 再现装置
JP6421504B2 (ja) * 2014-07-28 2018-11-14 ソニー株式会社 画像処理装置及び画像処理方法
JP2016538745A (ja) * 2014-08-08 2016-12-08 エルジー エレクトロニクス インコーポレイティド ディスプレイ適応的映像再生のためのビデオデータ処理方法及び装置
JP2016058848A (ja) 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
CN110992914B (zh) * 2014-10-06 2022-07-01 三星电子株式会社 显示设备及控制该显示设备的方法
KR102190233B1 (ko) 2014-10-06 2020-12-11 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
US9779691B2 (en) * 2015-01-23 2017-10-03 Dell Products, Lp Display front of screen performance architecture
EP3065127A1 (en) * 2015-03-02 2016-09-07 Thomson Licensing Method and device for processing image data
US10455240B2 (en) * 2015-04-15 2019-10-22 Sony Corporation Reproduction device, reproduction method, and program
KR101974137B1 (ko) * 2015-05-11 2019-08-23 삼성전자주식회사 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법
WO2016183234A1 (en) * 2015-05-12 2016-11-17 Dolby Laboratories Licensing Corporation Backlight control and display mapping for high dynamic range images
US10368105B2 (en) 2015-06-09 2019-07-30 Microsoft Technology Licensing, Llc Metadata describing nominal lighting conditions of a reference viewing environment for video playback
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
US10007412B2 (en) * 2015-06-24 2018-06-26 Samsung Electronics Co., Ltd. Tone mastering system with creative intent metadata
EP3323243B1 (en) * 2015-07-16 2022-01-19 Dolby Laboratories Licensing Corporation Signal reshaping and decoding for hdr signals
US10477176B2 (en) * 2015-08-24 2019-11-12 Sharp Kabushiki Kaisha Reception device, broadcast system, reception method, and program
US10902567B2 (en) * 2015-11-24 2021-01-26 Koninklijke Philips N.V. Handling multiple HDR image sources
EP3185571A1 (en) * 2015-12-22 2017-06-28 Thomson Licensing Hierarchical scene segmentation metadata transmission for content enhancement
US10516810B2 (en) 2016-03-07 2019-12-24 Novatek Microelectronics Corp. Method of gamut mapping and related image conversion system
US10019785B2 (en) * 2016-03-07 2018-07-10 Novatek Microelectronics Corp. Method of processing high dynamic range images using dynamic metadata
WO2017163685A1 (ja) * 2016-03-24 2017-09-28 シャープ株式会社 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体
JP2017184220A (ja) * 2016-03-24 2017-10-05 シャープ株式会社 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体
JP6682322B2 (ja) * 2016-03-31 2020-04-15 シャープ株式会社 階調値変換装置、テレビジョン受像機、階調値変換方法、制御プログラム、および記録媒体
US11102495B2 (en) 2016-05-17 2021-08-24 Qualcomm Incorporated Methods and systems for generating and processing content color volume messages for video
US9916638B2 (en) 2016-07-20 2018-03-13 Dolby Laboratories Licensing Corporation Transformation of dynamic metadata to support alternate tone rendering
PT3523970T (pt) * 2016-10-05 2022-10-07 Dolby Laboratories Licensing Corp Mensagens de informação de volume de cor de origem
WO2018132329A1 (en) * 2017-01-10 2018-07-19 Dolby Laboratories Licensing Corporation Display mapping for high dynamic range images
US10944974B2 (en) * 2017-01-11 2021-03-09 Raytheon Company Method for encoding and processing raw UHD video via an existing HD video architecture
JP2017143546A (ja) * 2017-03-21 2017-08-17 ソニー株式会社 再生装置、記録媒体、表示装置、および情報処理方法
EP3399497A1 (en) * 2017-05-05 2018-11-07 Koninklijke Philips N.V. Optimizing decoded high dynamic range image saturation
US10939158B2 (en) * 2017-06-23 2021-03-02 Samsung Electronics Co., Ltd. Electronic apparatus, display apparatus and control method thereof
EP3679716A2 (en) 2017-09-06 2020-07-15 Dolby Laboratories Licensing Corporation Tone-curve optimization method and associated video encoder and video decoder
US11244635B2 (en) 2017-10-12 2022-02-08 Saturn Licensing Llc Image processing apparatus, image processing method, transmission apparatus, transmission method, and reception apparatus
US10778979B2 (en) * 2018-01-11 2020-09-15 Qualcomm Incorporated Signaling mechanisms for equal ranges and other DRA parameters for video coding
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
JP6583501B2 (ja) * 2018-08-28 2019-10-02 ソニー株式会社 再生装置、表示装置、情報処理方法
US11158024B2 (en) * 2019-05-31 2021-10-26 Apple Inc. Configuring alpha channel video based on display settings
EP3984209A4 (en) * 2019-06-13 2023-01-04 Hewlett-Packard Development Company, L.P. COLOR MATCHING
KR20210083840A (ko) * 2019-12-27 2021-07-07 삼성전자주식회사 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법
US11301973B2 (en) * 2020-03-30 2022-04-12 Arm Limited Tone mapping method
US11769234B2 (en) * 2020-10-07 2023-09-26 Qualcomm Incorporated Methods and apparatus for histogram based tone mapping
CN117597913A (zh) * 2021-06-23 2024-02-23 交互数字Ce专利控股有限公司 用于应用查找表的设备和方法
US11734806B2 (en) * 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
CN116437162B (zh) * 2023-06-12 2023-08-22 美视信息科技(常州)有限公司 一种信息传输方法、装置、显示器及存储介质
CN116776237A (zh) * 2023-08-23 2023-09-19 深圳前海环融联易信息科技服务有限公司 一种元数据分类分级方法、装置、设备及介质

Family Cites Families (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0724424B2 (ja) 1986-09-02 1995-03-15 富士写真フイルム株式会社 画像処理方法及び装置
JP2501370B2 (ja) 1990-10-11 1996-05-29 三菱電機株式会社 テレビジョン受信機
US5276779A (en) 1991-04-01 1994-01-04 Eastman Kodak Company Method for the reproduction of color images based on viewer adaption
JP3561985B2 (ja) * 1994-11-28 2004-09-08 ソニー株式会社 画像処理装置
JP3134744B2 (ja) 1995-11-20 2001-02-13 日本電気株式会社 カラー画像システムにおける色管理方法およびシステム
US6075888A (en) 1996-01-11 2000-06-13 Eastman Kodak Company System for creating a device specific color profile
JPH10294853A (ja) 1997-04-21 1998-11-04 Fuji Photo Film Co Ltd 画像合成方法
US7382379B1 (en) 1997-06-27 2008-06-03 Eastman Kodak Company Arrangement for mapping colors between imaging systems and method thereof
US6411306B1 (en) 1997-11-14 2002-06-25 Eastman Kodak Company Automatic luminance and contrast adustment for display device
JP3565020B2 (ja) 1998-06-12 2004-09-15 松下電器産業株式会社 画像表示装置の補正データ生成方法
US6335983B1 (en) 1998-09-28 2002-01-01 Eastman Kodak Company Representing an extended color gamut digital image in a limited color gamut color space
US6847376B2 (en) 1998-11-13 2005-01-25 Lightsurf Technologies, Inc. Method and system for characterizing color display monitor output
JP4147655B2 (ja) 1998-12-07 2008-09-10 ソニー株式会社 画像処理装置及び画像処理方法
US6317153B1 (en) 1999-04-16 2001-11-13 Avid Technology, Inc. Method and system for calibrating color correction instructions between color correction devices
JP3708397B2 (ja) 2000-03-03 2005-10-19 三菱電機株式会社 色彩特性変換方法及び画像表示装置
JP3904841B2 (ja) 2000-05-15 2007-04-11 シャープ株式会社 液晶表示装置及びそれを用いた電子機器並びに液晶表示方法
JP4150490B2 (ja) * 2000-07-04 2008-09-17 株式会社リコー 画像処理システムおよび画像処理方法および記録媒体
JP2002092655A (ja) 2000-09-20 2002-03-29 Minolta Co Ltd ３次元仮想現実を表示するシステム及び方法
JP3620443B2 (ja) 2000-12-05 2005-02-16 日産自動車株式会社 自動車用表示装置
US6989859B2 (en) 2000-12-22 2006-01-24 Eastman Kodak Company Camera having user interface ambient sensor viewer adaptation compensation and method
US6947079B2 (en) 2000-12-22 2005-09-20 Eastman Kodak Company Camera having verification display with reverse white balanced viewer adaptation compensation and method
JP3679060B2 (ja) 2001-05-30 2005-08-03 シャープ株式会社 カラー表示装置
US7133070B2 (en) * 2001-09-20 2006-11-07 Eastman Kodak Company System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data
JP4372401B2 (ja) 2001-12-21 2009-11-25 シャープ株式会社 補正特性決定装置、補正特性決定方法および表示装置
US7206791B2 (en) * 2002-01-17 2007-04-17 International Business Machines Corporation System and method for managing and securing meta data
US6954543B2 (en) * 2002-02-28 2005-10-11 Ipac Acquisition Subsidiary I, Llc Automated discovery, assignment, and submission of image metadata to a network-based photosharing service
US6844881B1 (en) 2002-03-29 2005-01-18 Apple Computer, Inc. Method and apparatus for improved color correction
US7184057B2 (en) * 2002-06-24 2007-02-27 Microsoft Corpoartion Systems and methods for providing color management
KR100490405B1 (ko) 2002-07-02 2005-05-17 삼성전자주식회사 프린팅 시스템에 있어서 이미지의 색상 조정방법 및 이를위한 그래픽 사용자 인터페이스
US7289663B2 (en) 2002-07-24 2007-10-30 Eastman Kodak Company Producing an extended color gamut luminance-chrominance digital image from a captured image
CN1745570A (zh) 2003-01-30 2006-03-08 柯达彩色绘图有限责任公司 使用设备相关显示简档的颜色校正
JP2004282599A (ja) * 2003-03-18 2004-10-07 Matsushita Electric Ind Co Ltd 画像表示装置、画像表示方法、プログラム、および記録媒体
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US7643675B2 (en) * 2003-08-01 2010-01-05 Microsoft Corporation Strategies for processing image information using a color information data structure
US7840892B2 (en) * 2003-08-29 2010-11-23 Nokia Corporation Organization and maintenance of images using metadata
JP2006042294A (ja) 2003-09-11 2006-02-09 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理方法および画像処理プログラム
US7492375B2 (en) 2003-11-14 2009-02-17 Microsoft Corporation High dynamic range image viewing on low dynamic range displays
JP2005151147A (ja) * 2003-11-14 2005-06-09 Toshiba Corp 再生装置及び再生方法
JPWO2005048583A1 (ja) 2003-11-14 2007-06-14 三菱電機株式会社 色補正装置および色補正方法
GB2408872B (en) 2003-12-01 2008-12-31 Inventec Appliances Corp Method and apparatus for transforming a high dynamic range image into a low dynamic range image
JP2005210526A (ja) 2004-01-23 2005-08-04 Konica Minolta Photo Imaging Inc 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム
JP4729568B2 (ja) 2004-06-30 2011-07-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 非演色色空間を介して変換されたビデオコンテンツからの周囲光のためのドミナントカラーの抽出
JP5599138B2 (ja) 2004-09-29 2014-10-01 テクニカラー・インコーポレイテッド カラーデシジョンのメタデータ生成の方法及び装置
EP2242247A3 (en) * 2004-11-01 2012-07-25 Technicolor, Inc. Method and system for mastering and distributing enhanced color space content
JP4151643B2 (ja) 2004-11-16 2008-09-17 セイコーエプソン株式会社 色変換行列作成装置、色変換行列作成プログラム及び画像表示装置
KR100763178B1 (ko) 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
JP2006343957A (ja) 2005-06-08 2006-12-21 Canon Inc 色処理方法及びその装置
US7656462B2 (en) 2005-06-17 2010-02-02 Martin Weston Systems and methods for modifying master film for viewing at different viewing locations
US7548657B2 (en) * 2005-06-25 2009-06-16 General Electric Company Adaptive video compression of graphical user interfaces using application metadata
EP3247110B1 (en) 2005-07-18 2018-05-16 Thomson Licensing Method and device for handling multiple video streams using metadata
JP2007067559A (ja) * 2005-08-29 2007-03-15 Canon Inc 画像処理方法、画像処理装置、及び撮像装置の制御方法
US7265794B2 (en) * 2005-09-01 2007-09-04 Texas Instruments Incorporated Managing the color temperature for a light source array
US7809200B2 (en) 2005-11-15 2010-10-05 Teledyne Licensing, Llc Dynamic range compression of high dynamic range imagery
US7746411B1 (en) 2005-12-07 2010-06-29 Marvell International Ltd. Color management unit
JP4529888B2 (ja) 2005-12-07 2010-08-25 ブラザー工業株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2009521840A (ja) 2005-12-21 2009-06-04 トムソン ライセンシング 色空間における制限されたカラーパレット
US8537893B2 (en) 2006-01-23 2013-09-17 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. High dynamic range codecs
JP4810420B2 (ja) * 2006-02-24 2011-11-09 キヤノン株式会社 画像処理装置及び画像処理方法、サーバ及びその制御方法、プログラム並びに記憶媒体
CN100507917C (zh) * 2006-02-24 2009-07-01 佳能株式会社 图像处理设备、图像处理方法以及服务器及其控制方法
JP2007251891A (ja) 2006-03-20 2007-09-27 Matsushita Electric Ind Co Ltd コンテンツの撮影装置
US7869649B2 (en) * 2006-05-08 2011-01-11 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
JP4930781B2 (ja) 2006-05-17 2012-05-16 ソニー株式会社 画像補正回路、画像補正方法および画像表示装置
US7636496B2 (en) * 2006-05-17 2009-12-22 Xerox Corporation Histogram adjustment for high dynamic range image mapping
JP4967454B2 (ja) 2006-05-23 2012-07-04 ソニー株式会社 画像補正回路、画像補正方法および画像表示装置
KR101287481B1 (ko) * 2006-06-02 2013-07-19 톰슨 라이센싱 입력 색 공간으로부터 측색 변환을 출력 색 공간으로 변환하는 방법
JP4238881B2 (ja) 2006-06-02 2009-03-18 セイコーエプソン株式会社 画像補正装置、画像補正方法、画像補正プログラム、画像読み取り装置、画像読み取り方法および印刷装置
EP2030437B1 (en) 2006-06-07 2018-09-05 ATI Technologies ULC Display information feedback
KR100834762B1 (ko) 2006-09-29 2008-06-05 삼성전자주식회사 이 기종간 색역 사상 방법 및 장치
US7893975B2 (en) * 2006-10-13 2011-02-22 Apple Inc. System and method for processing images using predetermined tone reproduction curves
US7773127B2 (en) 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
US8441498B2 (en) 2006-11-30 2013-05-14 Entropic Communications, Inc. Device and method for processing color image data
US20080170031A1 (en) 2007-01-17 2008-07-17 Chia-Hui Kuo Method for performing chromatic adaptation while displaying image, and corresponding display circuit and device
JP5660658B2 (ja) * 2007-01-30 2015-01-28 ファーガソン パテント プロパティーズ リミテッド ライアビリティ カンパニー 画像捕獲表示システム、ビデオ画像内の関心領域を用いてシステム同期型輝度制御を実行する方法、およびメタデータの使用
JP4279318B2 (ja) * 2007-02-02 2009-06-17 三菱電機株式会社 映像表示装置
US8026908B2 (en) 2007-02-05 2011-09-27 Dreamworks Animation Llc Illuminated surround and method for operating same for video and other displays
US8502920B2 (en) 2007-03-14 2013-08-06 Vyacheslav Shyshkin Method and apparatus for extracting a desired television signal from a wideband IF input
US9185268B2 (en) 2007-04-03 2015-11-10 Thomson Licensing Methods and systems for displays with chromatic correction with differing chromatic ranges
US7995242B2 (en) 2007-05-31 2011-08-09 Sharp Laboratories Of America, Inc. Systems and methods for attenuation of near-neutral image colors
TWI466093B (zh) 2007-06-26 2014-12-21 Apple Inc 用於視訊播放的管理技術
WO2009002316A1 (en) 2007-06-27 2008-12-31 Thomson Licensing System and method for color correction between displays with and without average picture dependency
JP4835525B2 (ja) 2007-07-04 2011-12-14 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US8330768B2 (en) 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
US8295594B2 (en) 2007-10-09 2012-10-23 Samsung Display Co., Ltd. Systems and methods for selective handling of out-of-gamut color conversions
CN101953150A (zh) 2007-12-20 2011-01-19 Ati技术无限责任公司 用于描述视频处理的方法、设备及其机器可读取介质
BRPI0822105A2 (pt) * 2008-01-31 2015-06-30 Thomson Licensing "método e sistema para definição e transmissão de dados de exame através de uma interface de multimídia de alta definição."
US8593476B2 (en) * 2008-02-13 2013-11-26 Gary Demos System for accurately and precisely representing image color information
US8531379B2 (en) 2008-04-28 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for image compensation for ambient conditions
JP4623137B2 (ja) * 2008-05-14 2011-02-02 富士ゼロックス株式会社 色処理装置、方法及びプログラム
CN101600049A (zh) * 2008-06-06 2009-12-09 联咏科技股份有限公司 图像处理装置与方法
US8446961B2 (en) 2008-07-10 2013-05-21 Intel Corporation Color gamut scalability techniques
US8416179B2 (en) 2008-07-10 2013-04-09 Sharp Laboratories Of America, Inc. Methods and systems for color preservation with a color-modulated backlight
US9501963B2 (en) * 2008-07-18 2016-11-22 Hewlett-Packard Development Company, L.P. Color profiling of monitors
CN102216941B (zh) * 2008-08-19 2015-08-12 数字标记公司 用于内容处理的方法和系统
JP5690267B2 (ja) * 2008-08-22 2015-03-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ コンテンツ配信のための方法およびシステム
WO2010024782A1 (en) 2008-08-26 2010-03-04 Agency For Science, Technology And Research A method and system for displaying an hdr image on a ldr display device
EP2338278B1 (en) * 2008-09-16 2015-02-25 Intel Corporation Method for presenting an interactive video/multimedia application using content-aware metadata
US20100073362A1 (en) 2008-09-23 2010-03-25 Ike Ikizyan Method And System For Scene Adaptive Dynamic 3-D Color Management
JP2010114839A (ja) 2008-11-10 2010-05-20 Canon Inc 画像処理装置および画像処理方法
US20100149207A1 (en) 2008-11-21 2010-06-17 Madden Thomas E Grayscale characteristic for color display device
US8749570B2 (en) 2008-12-11 2014-06-10 International Business Machines Corporation Identifying and generating color and texture video cohorts based on video input
EP2200268B1 (en) * 2008-12-22 2012-02-08 Thomson Licensing Method of calibration of a target color reproduction device
KR101007101B1 (ko) * 2009-01-07 2011-01-10 한양대학교 산학협력단 적응형 톤 매핑 장치 및 방법, 그리고 이를 이용한 영상 처리 시스템
US8406569B2 (en) 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
US8831343B2 (en) 2009-01-19 2014-09-09 Dolby Laboratories Licensing Corporation Image processing and displaying methods for devices that implement color appearance models
WO2010088465A1 (en) 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US8290295B2 (en) 2009-03-03 2012-10-16 Microsoft Corporation Multi-modal tone-mapping of images
JP5436584B2 (ja) 2009-03-10 2014-03-05 ドルビー ラボラトリーズ ライセンシング コーポレイション 拡張ダイナミックレンジおよび拡張次元をもつ画像信号変換
JP5257158B2 (ja) 2009-03-11 2013-08-07 株式会社リコー 色変換装置、色変換方法およびプログラム
JP2010239498A (ja) * 2009-03-31 2010-10-21 Fujifilm Corp 画像入出力方法及びシステム
JP5517685B2 (ja) 2009-04-14 2014-06-11 キヤノン株式会社 画像処理装置および方法
US20120054664A1 (en) * 2009-05-06 2012-03-01 Thomson Licensing Method and systems for delivering multimedia content optimized in accordance with presentation device capabilities
US8483479B2 (en) 2009-05-11 2013-07-09 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
US8760461B2 (en) 2009-05-13 2014-06-24 Stmicroelectronics, Inc. Device, system, and method for wide gamut color space support
US20100329646A1 (en) 2009-06-26 2010-12-30 Loeffler Markus E System and method for remote film color correction
JP5552795B2 (ja) * 2009-10-26 2014-07-16 株式会社ニコン 撮像装置、画像処理装置およびプログラム
US8743178B2 (en) * 2010-01-05 2014-06-03 Dolby Laboratories Licensing Corporation Multi-view video format control
WO2011156074A2 (en) 2010-06-08 2011-12-15 Dolby Laboratories Licensing Corporation Tone and gamut mapping methods and apparatus
US8525933B2 (en) 2010-08-02 2013-09-03 Dolby Laboratories Licensing Corporation System and method of creating or approving multiple video streams
US20120066640A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Apparatus for providing multi-mode warping of graphical user interface objects
ES2694806T3 (es) 2011-03-02 2018-12-27 Dolby Laboratories Licensing Corporation Operador de correlación de tonos multiescala local
TWI538473B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
EP2697972B1 (en) 2011-04-14 2015-01-14 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
EP2716028B1 (en) 2011-05-27 2020-07-22 Dolby Laboratories Licensing Corporation Scalable systems for controlling color management comprising varying levels of metadata
US20140092004A1 (en) * 2012-09-28 2014-04-03 Ashok K. Mishra Audio information and/or control via an intermediary device
KR20160031466A (ko) * 2013-07-14 2016-03-22 엘지전자 주식회사 디지털 방송 시스템에서 고품질의 색감 표현을 위한 초고화질 방송 신호 송수신 방법 및 장치
JP7425599B2 (ja) 2019-12-26 2024-01-31 ダイハツ工業株式会社 インストルメントパネル

Also Published As

Publication number Publication date
CN105933573A (zh) 2016-09-07
KR20230161523A (ko) 2023-11-27
JP7145290B2 (ja) 2022-09-30
KR20190086036A (ko) 2019-07-19
EP3742715A1 (en) 2020-11-25
KR20200074229A (ko) 2020-06-24
KR102655945B1 (ko) 2024-04-11
KR101634090B1 (ko) 2016-06-29
JP2018029373A (ja) 2018-02-22
JP5833233B2 (ja) 2015-12-16
CN103563347B (zh) 2016-10-05
CN106101483B (zh) 2020-01-17
US20190289305A1 (en) 2019-09-19
SI3595281T1 (sl) 2022-05-31
KR20160054039A (ko) 2016-05-13
PL3595281T3 (pl) 2022-06-06
JP2021184602A (ja) 2021-12-02
EP3595281B1 (en) 2022-02-16
US11736703B2 (en) 2023-08-22
KR101405032B1 (ko) 2014-06-10
KR20210027500A (ko) 2021-03-10
DK3595281T3 (da) 2022-05-16
JP2024041932A (ja) 2024-03-27
KR20140017645A (ko) 2014-02-11
KR20170135977A (ko) 2017-12-08
LT3595281T (lt) 2022-05-25
CN106357955A (zh) 2017-01-25
KR20230093075A (ko) 2023-06-26
EP4009620A1 (en) 2022-06-08
RS63194B1 (sr) 2022-06-30
HK1231652A1 (zh) 2017-12-22
CN103873738A (zh) 2014-06-18
EP2716028A4 (en) 2015-10-07
KR20170094460A (ko) 2017-08-17
KR20220138866A (ko) 2022-10-13
US11218709B2 (en) 2022-01-04
CN106057168A (zh) 2016-10-26
JP6561098B2 (ja) 2019-08-14
US20220086467A1 (en) 2022-03-17
US9111330B2 (en) 2015-08-18
JP7422832B2 (ja) 2024-01-26
CN106101483A (zh) 2016-11-09
US11917171B2 (en) 2024-02-27
US20230353762A1 (en) 2023-11-02
KR20140035517A (ko) 2014-03-21
JP2022174254A (ja) 2022-11-22
CN106057168B (zh) 2020-05-12
US20150281707A1 (en) 2015-10-01
CN103563347A (zh) 2014-02-05
JP2024041933A (ja) 2024-03-27
KR102656330B1 (ko) 2024-04-12
JP7422833B2 (ja) 2024-01-26
EP3595281A1 (en) 2020-01-15
KR20240046318A (ko) 2024-04-08
JP6905010B2 (ja) 2021-07-21
WO2012166382A3 (en) 2013-03-07
JP2022174255A (ja) 2022-11-22
CN106357955B (zh) 2019-05-28
JP2016054496A (ja) 2016-04-14
JP2019208254A (ja) 2019-12-05
EP2716028B1 (en) 2020-07-22
EP2716028A2 (en) 2014-04-09
HK1223214A1 (zh) 2017-08-11
HUE058712T2 (hu) 2022-09-28
US20240155144A1 (en) 2024-05-09
KR20240046317A (ko) 2024-04-08
US20140078165A1 (en) 2014-03-20
US20240155143A1 (en) 2024-05-09
KR102553977B1 (ko) 2023-07-11
JP2014523661A (ja) 2014-09-11
HRP20220617T1 (hr) 2022-09-16
KR102602528B1 (ko) 2023-11-16
WO2012166382A2 (en) 2012-12-06
HK1225849A1 (zh) 2017-09-15
CN103873738B (zh) 2016-09-07
EP3595281B8 (en) 2022-05-04
US20180262767A1 (en) 2018-09-13
JP6224052B2 (ja) 2017-11-01
CN105933573B (zh) 2018-10-23
KR20140110071A (ko) 2014-09-16

Similar Documents

Publication Publication Date Title
ES2913154T3 (es) Sistemas escalables para controlar la gestión del color que comprenden niveles variables de metadatos