ES2556383T3

ES2556383T3 - Aparatos y procedimientos para definir regímenes de color

Info

Publication number: ES2556383T3
Application number: ES11711669.9T
Authority: ES
Inventors: Mark Jozef Willem Mertens
Original assignee: Koninklijke Philips NV
Current assignee: Koninklijke Philips NV
Priority date: 2010-03-03
Filing date: 2011-02-24
Publication date: 2016-01-15
Anticipated expiration: 2031-02-24
Also published as: US20120314129A1; EP2543181B1; RU2012141997A; BR112012021792B1; PL2543181T3; EP2543181A1; BR112012021792A2; JP5899120B2; US10134443B2; WO2011107905A1; JP2013526097A; RU2576484C2; US20160234472A1; JP2016119719A; CN102783132A; US9595297B2; US20160234515A1; JP6276794B2; CN102783132B; US10134444B2

Abstract

Un procedimiento de adición de información de especificación de representación de visualización (D) a una imagen de entrada (I) a partir de un conjunto de imágenes de vídeo, siendo la información utilizable por un aparato de procesamiento de imágenes de representación de color del lado de recepción (701) para controlar la representación de luminancias de la región de la imagen de respectivas imágenes para al menos dos visualizaciones de rango dinámico de luminancia diferentes, comprendiendo el procedimiento: - a) mostrar la imagen de entrada (I) a un operador humano; - b) recibir a través de una interfaz de usuario (303, 308) datos descriptivos (D) de una región de régimen en la imagen de entrada del operador humano, incluyendo los datos descriptivos (D): en primer lugar información de selección de región (F_sel ()_1) para permitir la extracción de una región de píxeles en un lado de recepción, cuya información de selección de región comprende al menos un valor de luminancia que desmarca los píxeles que tienen luminancias respectivamente por encima o por debajo del mismo, o información geométrica que delinea la región de píxeles, y en segundo lugar un descriptor de régimen (rd), que codifica una especificación de representaciónde color para esa región de píxeles para al menos dos de varias pantallas de vídeo del lado de recepción que tienen rangos dinámicos de luminancia de salida diferentes diferentes, cuyo descriptor de régimen (rd) comprende una formulación paramétrica de una representación destinada como una función de al menos una luminancia blanca de visualización, de manera que un aparato de procesamiento de imágenes de representación de color del lado de recepción (701) puede determinar una representación final destinada basada en un valor real de su luminancia blanca de pantalla y la formulación paramétrica; - c) codificar los datos descriptivos (D) que incluyen dicho descriptor de régimen (rd) en una señal de datos de descripción de salida (DDO) en una señal de codificación de transmisión de vídeo (S') adecuada para la comunicación de vídeo a un lado de recepción, tal como una codificación de la familia de MPEG, con una imagen (O) de píxeles derivados de la imagen de entrada y que se codifica de acuerdo con la codificación de la transmisión de vídeo y los datos descriptivos (D) que se codifican como metadatos.

Description

imagen1

imagen2

imagen3

imagen4

imagen5

5

15

25

35

45

55

65

algoritmos de análisis/comprensión de la escena en el lado de recepción. Por ejemplo, siempre ha sido una tarea de enormes proporciones separar la iluminación de la escena de las reflectancias de los objetos de la escena, y la selección de este área gris puede ayudar (que puede ser visto como el equivalente de un corrector McBeth posterior), en particular si se co-almacena en la señal de imagen de salida del lado de captura con propiedades de luz medidas en la escena, como por ejemplo, la luminancia real de las partes de la escena correspondientes después de la proyección con localizaciones de la imagen capturadas que caen en la región seleccionada, desequilibrios de la fusión de color (tal vez incluso medidos con un espectrómetro sencillo), etc. La cuantificación de lo que el gris era como en la escena original y/o lo que debe ser preferentemente como en la representación final, entonces se puede utilizar para, por ejemplo, representar de la manera más óptima los otros colores, o cambiar la luz ambiental (que puede ser del tipo de luz ambiental que rodea directamente la pantalla, o los altavoces ligeros que crean iluminaciones en varios lugares de la habitación en sincronía con las imágenes mostradas), etc.

Otros tipos importantes son los componentes difíciles de regímenes de color oscuro (que hasta ahora se han ignorado en gran medida). Pueden estar presentes (y deberían comportarse de manera diferente, es decir, llevar a diferentes procesamientos de visualización y representación), ya sea en escenarios normales de luz, como en la fig. 1 [neumáticos de moto negros y capa de Batman, pero con iluminación normal], o en las escenas oscuras (como las películas de terror, en las que toda la escena se procesa de manera óptima para dar un aspecto oscuro en general, haciendo hincapié sobre todo en la propiedad de visibilidad (véase el ejemplo del pasillo más adelante), y la coordinación preferentemente con la iluminación ambiental, tal como la reducción de los altavoces ligeros y el accionamiento coordinado con el contenido de la imagen). En este ejemplo, para la conveniencia del artista y para mantener los gastos de corrección de color bajos, se utiliza un código único de régimen para el régimen oscuro, a saber, "Negro profundo". Dependiendo de las propiedades de la pantalla (y preferiblemente también del entorno de visualización medido, véase más adelante), la pantalla se controlará para procesar esto de una manera equilibrada, de modo que por un lado la región se ve muy oscura, pero por otra parte cuando sea posible todavía muestra la textura. Para una pantalla de alta gama HDR en un salón cinemáticamente encendida, esto se traducirá en un procesamiento diferente (es decir, la asignación en una región oscura de luminancias, en el que todavía hay una serie de diferencias apenas perceptibles realmente visibles (JNDs) presentes) que en una televisión y sala de estar típica como hasta ahora, o incluso una pantalla de móvil al aire libre (que acaba de recortar toda la región al mínimo negro, por lo que se sugiere al menos algún intento de oscuridad).

Si uno empieza a "estirar" luminancias (o colores) a por lo menos muy brillante, y tal vez muy oscura, es importante tener alguna referencia (o al menos regiones que no están cambiado demasiado). Para esto, el artista puede utilizar códigos de "escena media", del que puede utilizar un solo defecto (al que la pantalla reacciona como si fuera, por ejemplo, un valor de Adams V, que por ejemplo puede ser asignado en la pantalla alrededor de lo que es el 18% típico de bajo rango dinámico de máximo bienestar blanco de 500 nit, o igual a unos tiempos de factores multiplicativos de la luminancia media de la envolvente de visión, etc.), o puede utilizar diversas variantes (de manera que se puede hacer una asignación compleja de grises más oscuros, en comparación con los grises más brillantes que se ajustan a la pantalla blanca brillante etc .; una pantalla HDR puede entonces utilizar estos diferentes grises, mientras que una pantalla de menor calidad pueden hacer como si no hubiera una sola referencia de gris). En la fig. 1 se utiliza "AverageScene_city", en la que el artista puede incorporar el conocimiento real de las ciudades típicas (que se componen de ladrillos de una determinada reflectancia), o su intento de representación (las casas pueden tener pintura brillante en los mismos, y el graduador de color puede querer especificar que esto se hace en la pantalla con una luminancia de salida entre Lmin y LMax, y una saturación entre Smin y Smax). Debe tenerse en cuenta que si bien el artista puede desear que las casas se vean brillantes de hecho, siguen siendo parte del fondo, es decir, aunque embellecen la película, no son los objetos predominantes, por lo que tampoco deben ser demasiado predominantes en cuanto a sus colores prestados (por ejemplo, luminancias), que el artista puede controlar mediante la especificación de que cualquiera que sea el algoritmo de la pantalla que quiera usar, no debe estar por encima del máximo (LMax, Smax). Por supuesto, se pueden dar especificaciones de representación más complicadas, en la que el artista puede especificar valores como "aproximación óptima para dar la media de la región un LAopt valor -y el máximo de píxeles LMopt", "en caso de intento de impulso para mantenerse por debajo o alrededor y la luminancia media deseada de la región LAint "," en cualquier caso permanecer por debajo de LAforb ", etc. Esto permite una mayor libertad en materia de tratamiento de color del fabricante de la pantalla (en sistemas avanzados, el artista puede incluso querer prescribir exactamente lo que realiza el procesamiento de una pantalla particular -permitir que el modo de "representación deseada"-pero en general, las pantallas no harán su propio procesamiento, que puede ser muy simple (y no permitir mucho ajuste)). Por ejemplo, "tratar de permanecer alrededor del máximo de color deseado LMint" entonces es suficiente para ambos lados, del creador y del fabricante de la pantalla, y la pantalla se puede medir, por ejemplo, de manera predictiva o iterativa si su representación ha dado a la región una luminancia/color suficientemente cercano.

Importante en HDR son también las regiones más brillantes, en particular, es importante que se puedan coordinar con relación a otras regiones (que no todo parece iluminado en la misma medida: como guía para discriminar, el artista puede utilizar propiedades tales como cromas locales, duración en el tiempo de la pantalla de la región [por ejemplo, para crear un efecto especial de destello brillante, cuando la región es una bola de fuego], etc.), es decir, que uno tiene disponibles los códigos de régimen correctos para discriminarlos. Una región puede tener un primer código de régimen para una primera duración instantánea o periodo de tiempo, y un segundo código de régimen para un segundo, por ejemplo, "bola de fuego" frente a "extinción de la bola de fuego". En el ejemplo de la fig. 1, se hace una discriminación especificando el código de "luces brillantes", que se pueden utilizar para los rayos láser de

7 5

15

25

35

45

55

65

Batman, y que tiene como parámetros adicionales que indican que la intención es que la pantalla los represente alrededor del 98% de la luminosidad máxima alcanzable (para ese color azul). Las farolas que están siempre en en el plano, y no deben dar un efecto picante de distracción (debe tenerse en cuenta que en una escena real, el espectador puede mirar a su alrededor de manera diferente que en una pequeña pantalla en diagonal, siendo la diagonal un factor que la pantalla puede utilizar para determinar su luminancia final, si se desea, también bajo control del artista), por lo que se les dará otro código de régimen "Luz", que se representará con una luminancia que es la luminancia máxima alcanzable dividida por un cierto factor, por ejemplo, k = 4 (dependiendo de lo brillante que la pantalla pueda ser, uno quiere reservar más o menos los píxeles del objeto de la escena que se reflejan respecto a los alejados, los píxeles de la fuente de luz).

Otro código de luz se puede utilizar para las regiones de píxeles de luz que dan una iluminación escénica, por ejemplo, la luz brilla a través de la ventana en una escena invernal. El artista puede querer dar a sólo algunas de las ventanas iluminadas un código "Scenic_Illum", por ejemplo, las que tienen una luz azulada en lugar de la incandescente caliente normal. Estos pueden ser reutilizados, por ejemplo, para conducir la iluminación ambiental, que ahora está coordinada no con un promedio heurístico de lo que está sucediendo en la escena, sino con una luz real en la escena. Por ejemplo, la calculadora de iluminación ambiente puede utilizar como entrada sólo las regiones incandescentes cálidas. Esta especificación de régimen puede reutilizarse, por ejemplo, de acuerdo con la invención de proyección de luz ambiental por patrones del documento WO2007/113754, mediante la creación de un punto del color de la luz de la ventana (y si es posible también la distribución geométrica), y continuando a moverse fuera de la pantalla con la velocidad del vídeo. A pesar de que las luces pueden no ser en realidad exactamente lo que está en el vídeo, si el artista selecciona una ventana típica de habitación, esto será suficiente para la simulación del entorno ambiental. También los regímenes de luces brillantes se pueden utilizar para parpadear, por ejemplo, el altavoz de luz que está a 90 grados en el lado del espectador, para simular reflexiones sobre las paredes del salón del espectador, etc.

Por último, un ejemplo se ha demostrado que demostrar que las codificaciones del régimen no están exclusivamente destinadas a parametrizar asignaciones de tipo multiplicativo (como la compensación y la ampliación de un rango de colores), sino que puede ser deseable un control del perfil espacial más complejo, y es compatible con lo que desean hoy en día los graduadores de color.

Las partes metálicas del manillar de la motocicleta se les da el código "metálico" para indicar que se comportan de manera muy diferente en un entorno real que los objetos de difusión Lambertiana que son relativamente fáciles, y debido a la modificación especialmente paramétrica puede introducir artefactos, que tienen preferencia para ser tratados de de una manera diferente, que se aclararán con la fig. 2.

La fig. 2 muestra esquemáticamente lo que se ve en una pantalla del graduador de color que ejecuta una herramienta de software para mejorar el vídeo capturado y haciendo especificación al régimen de color, y cómo se puede especificar el comportamiento de reproducción de colores más complejos para el manillar metálico de la moto de Batman. La vista 201 muestra un perfil de luminancia en sección transversal, y que el manillar (que se muestra geométricamente como subimagen en la vista 220) refleja principalmente la envolvente promedio (que no será tan crítica), sino también especularmente una de las luces del poste de luz que conduce al parachoques de perfil 205 (parche especular de píxeles 224), y los destellos de láser azul que llevan al parachoques 203 (parche 223). Sería extraño si el perfil se actualizara coordinándose con toda la escena, lo que probablemente se coordinará con la luz del poste de luz, sino para que la otra luz especular quede inactiva, aunque haya unos fuegos láser cerca. Preferiblemente, para poder artísticamente coordinar de manera óptima los objetos especulares con diferentes representaciones de la escena de visualización (por ejemplo, el usuario aumentando el brillo) se proporciona un aparato para el graduador de color (típicamente un módulo de software) que está dispuesto para crear y modificar los perfiles de luminancia (y, posiblemente, todo el color, incluyendo la cromaticidad) de las regiones de píxeles. Esto puede realizarse, por ejemplo, mediante el modelado de una parte de un perfil (ya sea explícitamente como valores de los píxeles adyacentes, o mediante el ajuste de las funciones paramétricas como, por ejemplo, descomposición multi-Gaussiana) y permitiendo que el grado de color sintonice esto, por ejemplo, cambiar la amplitud del bache. Un ejemplo de comportamiento del software es que el graduador puede indicar un rango 207 sobre el que el bache es visualmente predominante y necesita cambiar, qué rango se puede sacar con el curso de selección 209. A continuación, puede escalar el perfil del bache original a un nuevo perfil estirado 211 en pasos haciendo clic en el curso de selección 213, por lo que el nuevo aspecto está en sintonía con un brillo global o resalte o escena de luz cambiante. Se pueden observan, por ejemplo, los efectos en una pantalla HDR de alta calidad, y alternar en varios modos de emulación para pantallas de menor calidad. Diferentes opciones están disponibles. Cualquiera de una función sintonizable (que típicamente al menos tiene un parámetro de ajuste de la luminancia media de una de las zonas de la luz del poste de luz) se puede almacenar en la señal de vídeo (metadatos), que se emite para su uso (por ejemplo, en un disco Blu-ray), y la pantalla obligatoriamente utiliza esta función como el procesamiento de color para la región metálica (en función de las preferencias de brillo del espectador, etc.), o uno o más modelos de referencia (por ejemplo, perfiles resultantes de píxeles) se almacenan para la pantalla para utilizar como guía al aplicar sus algoritmos de color de propiedad. Por ejemplo, los perfiles espacio(temporales) para tres tipos de pantallas y 4 niveles de luminosidad de la pantalla de gama alta pueden ser codificados como punto de partida, y la pantalla HDR pueden copiar el perfil de brillo más alto (bache muy estirado) como señal de inicio, sobre la cual se puede a continuación, utilizar una cantidad limitada de procesamiento adicional. Aunque esto no es una representación exacta al 100% de la región metálica, los rendimientos controlables resultan mejor que hacer las

8

imagen6

imagen7

imagen8

imagen9

5

15

25

35

45

55

65

del usuario, como por ejemplo, clics en un botón para mover un cursor y convertirlo en datos descriptivos D útiles, tal como colores de plantilla regionales seleccionados. Se comunicará con los otros módulos, por ejemplo, el procesador de histograma 520, que puede entonces, por ejemplo, si se selecciona un nuevo rectángulo recalcular los histogramas de todos los píxeles del interior, asignar un conjunto de gaussianas a los datos, etc. Así, el manipulador de datos 505 está típicamente dispuesto para realizar toda la interacción de interfaz de usuario, mostrando los resultados de análisis de imagen para el usuario en de una manera comprensible (por ejemplo, destacando o presentando previamente las regiones especiales por análisis automático de la imagen de las propiedades de la imagen, no sólo basado en la luminancia, sino también el reconocimiento de contenido basado en más realizaciones avanzadas) (por ejemplo, regiones de muestra previa y su contenido multimodal mediante pseudo-colorización de la geometría de la imagen capturada, o pseudo-colorización de representaciones de propiedad -tal como histogramas o gráficos de propiedad de clasificación, tal como por ejemplo un gráfico bidimensional que muestra la extensión de la región en las propiedades de la textura numérica -), pero también de una manera que permite una fácil interacción con aquellos, por ejemplo, mostrando qué píxeles extra se seleccionan

o cómo conseguir un aspecto colorimétrico diferente, si el usuario manipula el histograma, y retroalimentar toda la interacción del usuario (no sólo para extraer parámetros del régimen, sino también para volver a programar los algoritmos de análisis de imágenes, por ejemplo, un segmentador de imágenes, basado en la nueva entrada de designación semántica del usuario en relación con el contenido y la estructura de la imagen y la forma en que debe ser artísticamente).

El módulo de modificación espacial 590 permite hacer todo tipo de acciones espaciales, por ejemplo, puede aplicar un perfil de resombreado paramétrico (sintonizado por el artista) a una región seleccionada.

El codificador de datos 510 formatea el conjunto de datos descriptivos D para una señal de datos de la descripción de salida final DDO, es decir, aunque se pueden usar transformaciones de codificación complejas, también se pueden simplemente copiar los parámetros de los parámetros del histograma/rango/color seleccionado (por ejemplo, una luminancia mínima y máxima, multiplicadores para especificar la relación de una primera y una segunda luminancia, por ejemplo, determinada por una fórmula matemática para dos conjuntos de píxeles, etc.), la información espacial seleccionada (por ejemplo, parámetros para una codificación de cadena lineal de una región de imagen seleccionada), algoritmos de procesamiento (por ejemplo, una curva de reproducción de tonos matemática para aplicar a los píxeles de la región seleccionada), etc. directamente en la señal DDO.

Típicamente, un formateador de señal 552 añadirá la señal que contiene datos de régimen DDO a los datos de señal de imágenes (potencialmente procesados de salida) O, para crear una señal de imagen final S', que puede ser almacenada en, por ejemplo, un disco bluray u otro medio de almacenamiento 550. Pero por supuesto, si la señal se transmite/emite directamente (desde un emisor de procesamiento de un estudio de televisión, donde la interferencia del régimen colorimétrico puede ser simple pero todavía producirse casi en tiempo real), entonces la señal DDO también puede ser transmitida, por ejemplo, a través de un canal separado de la imágenes emitidas O, por ejemplo, a través de Internet para un conjunto selectivo de espectadores, siendo esto en línea con la compatibilidad hacia atrás (por ejemplo, los clientes que no pagan sólo podrán obtener una señal O de baja calidad de color, sin embargo, los clientes de pago pueden obtener los datos adicionales DDO que les permite obtener una representación deseada por el artista mucho más perfecta en su pantalla de alta calidad, o de manera similar en un escenario escalable donde varios flujos de imágenes de calidad son posibles, un visor móvil puede seleccionar un flujo menor tasa de bits de menor precio, sino también un conjunto de régimen que le permita crear una representación óptima). Una segunda cámara (o dispositivo de medición óptica, por ejemplo, cámara de espectrometría) 543 puede estar presente para el análisis de datos de un objeto 544 (por ejemplo, propiedades de interacción luz-materia, u otras propiedades del objeto). Al capturar escenas dinámicas elevadas, por un lado, uno puede necesitar una cantidad excesiva de datos de codificación de imagen, y por otro lado uno puede capturar más de la escena que es deseable (por ejemplo, manchas de la decoración pueden ser capturadas, que al artista no le gusta representar, o la representación no es necesariamente muy crítica/importante, o ni siquiera es posible en algunas pantallas, por ejemplo, en regiones oscuras). Los regímenes también se pueden utilizar para cambiar las codificaciones o las codificaciones de modificación colorimétrica más complejas de las imágenes de píxeles subyacentes. Por ejemplo, una cámara "mala" (por ejemplo, en una película de los años 60 ya existente) puede haber capturado una región de sombra oscura en una pared con poco detalle de la textura (en su mayoría ruido, en realidad). Sin embargo, en las pantallas de alta calidad, uno puede querer/necesitar mostrar un poco de textura en esa región. Estos últimos bits pueden ser añadidos con una codificación diferente, por ejemplo, un patrón de gráficos por ordenador de las imperfecciones de la pared pueden codificarse para añadirse en los últimos bits de la imagen de la pared subyacente (potencialmente, también teniendo en cuenta la reducción de ruido optimizada del artista, lo que puede cuantificarse en la señal DDO, ya sea como un algoritmo de eliminación de ruido matemática posiblemente con un perfil residual,

o un perfil geométrico del propio valor de píxel; la pantalla receptora puede entonces tener esto en cuenta, por ejemplo, para sintonizar sus algoritmos de eliminación de ruido u otra mejora de la imagen), y estos gráficos por ordenador u otra codificación pueden determinarse en mediciones reales del objeto de la escena mediante una segunda cámara/medidor óptico 543, por ejemplo, medir finamente texturas finas, y cambios finos en la reflectancia. El código de régimen "Sombra_1" puede entonces inmediatamente estar vinculado a estos datos adicionales para la representación de la pantalla receptora. El manipulador de datos 505 también puede proporcionar al artista o a cualquier postoperator una interfaz de usuario para influir en la codificación de la imagen final de la imagen (y datos potencialmente adicionales) tales como, por ejemplo, cómo los arañazos en la pared, o cualquier codificación estructural pueden codificarse para permitir un aspecto o aspectos determinados al final de la pantalla receptora.

13

imagen10

imagen11

imagen12

Claims

imagen1

imagen2

imagen3