ES2702915T3

ES2702915T3 - Método, sistema y dispositivo para generar imágenes más naturales

Info

Publication number: ES2702915T3
Application number: ES15154172T
Authority: ES
Inventors: Barate Marcelo José Bertalmio; David Kane; Praveen Cyriac
Original assignee: Universitat Pompeu Fabra UPF
Current assignee: Universitat Pompeu Fabra UPF
Priority date: 2015-02-06
Filing date: 2015-02-06
Publication date: 2019-03-06
Anticipated expiration: 2035-02-06
Also published as: EP3054416B1; EP3054416A1

Abstract

Un método para procesar una imagen, comprendiendo el método las siguientes etapas realizadas en un aparato para procesar una imagen: a) recibir una imagen, dividir la por su valor máximo de modo que resulte una imagen normalizada (I) en el rango [0,1] (1) b) para cada canal R, G y B de dicha imagen: b1) calcular una luminancia (L) (2); b2) calcular un histograma normalizado (h) de dicha luminancia (L) (10); b3) calcular un histograma acumulativo (H) de dicho histograma normalizado (h) (10); b4) estimar un primer parámetro (Mid_X) relacionado con la media de dicho histograma acumulativo (H), un segundo parámetro de pendiente (Gamma_L) para valores pequeños de dicho histograma acumulativo (H) y un tercer parámetro de pendiente (Gamma_H) para valores grandes de dicho histograma acumulativo (H) (20); b5) estimar una función de corrección gamma (Gamma) a partir de dicho histograma acumulativo (H), en el que dicha función de corrección gamma es una función de (Mid_X), (Gamma_L) y (Gamma_H) (30); c) calcular dicha función de corrección gamma (Gamma) a cada canal de imagen (R, G o B) y obtener una imagen de salida (Isalida) (4); d) calcular un proceso de normalización de contraste a dicha imagen de salida (Isalida) y obtener una imagen final (Ifinal) (5).

Description

DESCRIPCIÓN

Método, sistema y dispositivo para generar imágenes más naturales

CAMPO TÉCNICO DE LA INVENCIÓN

La presente invención se refiere al procesamiento de imágenes digitales, y más particularmente a un método, un sistema y un dispositivo para generar imágenes que parecen más naturales a partir de imágenes previamente tomadas.

ANTECEDENTES DE LA INVENCION

Las imágenes digitales son cada vez más y más populares. Excepto en el caso de los efectos artísticos, es deseable que las imágenes, incluidas las imágenes digitales, revelen todos los detalles de una escena sin crear una apariencia poco natural; pero no es obvio como tener detalles y contraste visibles en la imagen procesada para que sea la misma que la que puede percibirse a simple vista por un observador presente en la escena.

Una imagen es una matriz bidimensional de valores de píxeles donde cada valor codifica el brillo. Una imagen en color tiene 3 valores de brillo por píxel codificados respectivamente, un valor rojo, un valor verde y un valor azul (RGB).

Uno de los problemas principales es como representar el rango muy grande de valores de intensidad de luz (las escenas naturales pueden abarcar fácilmente un rango de luminancia de 100,000:1) dentro del rango muy limitado de valores permitidos para formatos de archivo estándar como JPEG. 256: 1). Las cámaras digitales generalmente lo hacen por medio de la corrección gamma, como se puede encontrar en [1,2,3]. La corrección Gamma es un modelo matemático extremadamente simplista y generalista (es decir, imagen independiente) que ayuda a que el histograma de intensidad sea más uniforme y que está diseñado para producir buenos resultados de media sin que no esté a medida a las estadísticas concretas de imágenes individuales.

Además, hay soluciones más complejas para mejorar el contraste de las imágenes digitales basadas en la corrección gamma.

Algunas patentes publicadas y solicitudes de patentes que describen la corrección gamma y/o el procesamiento acumulado de histogramas son, por ejemplo:

La solicitud de patente US-5473373-A: describe una captura y visualización de imágenes, por ejemplo, para videocámaras, cámaras fotográficas, escáneres, etc., que utiliza un dispositivo de corrección gamma digital para realizar correcciones lineales de señales de alta y baja intensidad y correcciones no lineales ajustables de señales con un nivel de intensidad media con visualizador de señales corregidas.

La patente americana n° 8422815 B2: describe un aparato de procesamiento de imágenes que tiene una unidad de entrada que recibe la imagen original. Se calcula el histograma local relacionado con el brillo en la región de la imagen. La función monótonamente creciente se determina con respecto a un valor de frecuencia acumulado en clase de histograma acumulativo local. La función de ponderación se determina con respecto a la función monótonamente creciente. La función de conversión de brillo de píxeles se genera mediante una función de aumento monótono. El brillo del píxel se convierte según la función de conversión.

La patente US-7646931-B2 describe un método que implica el ajuste de los datos de exposición para una imagen digital, donde los datos de exposición comprenden un histograma de valor de luminiscencia. Datos de ajuste para la imagen digital basada en el ajuste de los datos de exposición se produce. Los datos de ajuste se almacenan en una tabla de consulta, y la tabla de consulta se almacena en el archivo de imágenes digitales, donde el almacenamiento de la tabla de consulta en el archivo de imágenes digitales facilita el archivado de una versión original de la imagen digital. Los datos que representan el histograma de valor de luminancia se presentan en el archivo de imagen digital antes del procesamiento.

La patente US-7289666-B2 describe un método que implica generar un histograma acumulativo de una imagen a partir de un histograma en bruto. La longitud de la trayectoria de histograma acumulada de la imagen se determina a partir del histograma acumulativo para estimar un parámetro para la corrección de color local. El parámetro estimado determina una cantidad de corrección de color cuando la imagen tiene que tener el color corregido. El parámetro es pequeño cuando ya se aplica un algoritmo de corrección de color local.

La patente US-7330287-B2: describe un método de procesamiento de datos de imagen digital en una impresora, que implica mover el nivel medio de datos de imagen digital hacia un valor esperado para la impresora o espacio de procesamiento, utilizando una etapa de corrección de gamma. La ganancia y desplazamiento de datos de la imagen de entrada se ajustan para ocupar el rango de entrada completo de una impresora o espacio de procesamiento. El sombreado y el resaltado de los datos de la imagen, se ajustan para mover la distribución de datos de imagen hacia el valor esperado para una imagen típica para la impresora. Se utiliza una etapa de corrección de gamma para mover el nivel medio de los datos de la imagen hacia el esperado para la impresora o el espacio de procesamiento. La solicitud de patente n° US-4931864-A describe un sistema que tiene un dispositivo para fijar un área dentro de la imagen general producida a partir de una señal de video. Un segundo dispositivo genera una imagen del área. Un convertidor gamma convierte la señal de video y las características de conversión del convertidor gamma se controlan de acuerdo con el área fijada. El control tiene una muestra para probar la señal de video que produce el área. Un dispositivo produce un histograma a partir de las muestras y determina una curva de distribución suma a partir del histograma para utilizar en el control de las características de conversión gamma.

La patente US-8358351-B2 describe un procesador que obtiene una imagen representativa de una escena física, calcula los parámetros de procesamiento de la imagen basándose en los metadatos de la imagen. Un valor de pendiente principal y un valor de pendiente secundaria de una curva de mapeo de tonos se determinan en función de los parámetros de procesamiento de imagen generados. El valor de la pendiente primaria y el valor de la pendiente secundaria son representativos de la pendiente de la curva de mapeo de tonos en dos puntos finales, respectivamente. La imagen se transforma de acuerdo a la curva de mapeo de tonos. Los valores de pendiente representativos de las condiciones de poca luz se interpolan.

La patente americana n° 8314847-B2: describe un procesador que obtiene una imagen representativa de escena física y que comprende metadatos de un histograma de imagen. Un parámetro de procesamiento de imágenes se calcula en función de la distribución de los metadatos del histograma de imágenes. Los valores de pendiente de la curva de mapeo de tonos se determinan en función del parámetro de procesamiento de imágenes calculado. Los valores de pendiente son representativos de la pendiente de la curva de mapeo de tonos en los respectivos puntos finales. La imagen se transforma de acuerdo a la curva de mapeo de tonos.

Chiu, Y.-S y otros, “Mejora de contraste eficiente usando una corrección Gamma adaptativa y distribución de intensidad acumulativa”, Proc. IEEE Intl. Conf en Sistemas, himbre y cibernética (SMC), pp. 2946-2950, 2011, enseña una mejora de contraste adaptativa que vincula la distribución de densidad acumulada (CDF) de luminiscencia con la corrección gamma.

El documento 2007/0104387 A1 describe una mejora de imágenes de contraste adaptativo que da lugar a imágenes más naturales. El análisis de la densidad acumulada función del histograma de luminiscencia da lugar a la generación de una densidad acumulada función de un segundo histograma de luminiscencia, basados en que la imagen original es mejorada.

Sin embargo, las soluciones de procesamiento de imágenes existentes presentan diferentes inconvenientes. En la mayoría de las otras soluciones, aunque los métodos aplicados a las imágenes se basan en técnicas simulares como diferentes enfoques para la corrección gamma o el cálculo de histogramas e histogramas acumulativos de diferentes maneras para ajustar los rangos de luminancia o valores de contraste, estos métodos se aplican de manera fija a cualquier imagen, sin tener en cuenta las particularidades de cada imagen. Lo más importante es que ninguna de las soluciones existentes en realidad toma en cuenta datos estadísticos, datos psicofísicos y modelos neurofisiológicos en como el humano percibe las imágenes y, por lo tanto, las soluciones actuales no tienen una adaptación natural de las imágenes suficientemente similar al sistema visual humano, que da lugar a aquellos métodos que producen imágenes que no parecen tan naturales como las obtenidos con la presente invención. Las realizaciones propuestas de la invención expuestas con anterioridad superarán al menos algunos de los inconvenientes de las soluciones de la técnica anterior, que proporcionan un método, sistema y dispositivo que permite grabar imágenes que parecen más naturales: detalles y contraste visibles en la imagen procesada son los mismos que las que pueden ser percibidas a simple vista por un observador presente en la escena. La invención se puede aplicar a imágenes fotográficas y de video y sobre cualquier ambiente que requiera o pueda aplicarse en el procesamiento de imágenes, por ejemplo, y de manera no limitativa, cámaras fotográficas, cámaras de video, software para la edición de imágenes, etc.

RESUMEN DE LA INVENCION

Los problemas encontrados en las técnicas del arte anterior se resuelven o eluden de forma general, y ventajas técnicas se consiguen en general, por las realizaciones descritas que proporcionan un método, sistema y dispositivo para generar imágenes más naturales.

Esta invención propone un método, sistema y dispositivo que permite ver la imagen en un estado natural: detalles y contraste visible en la imagen procesada son los mismos que los que pueden percibirse a simple vista por un observador presente en la escena. Funciona tanto para imágenes fijas (imágenes) como para imágenes en movimiento (video/cine).

Por lo tanto, uno de los problemas resueltos por esta invención es la representación del rango muy grande de valores de intensidad de luz dentro del rango muy limitado de valores permitidos para formatos de archivos estándar como JPEG, pero, a diferencia de la corrección gamma, y los enfoques relacionados mencionados anteriormente se encuentran en la técnica anterior, se adapta a las particularidades de cada imagen y produce resultados que parecen más naturales incluso para escenas difíciles. Este es el caso porque la invención propuesta se ha desarrollado para emular propiedades básicas del sistema visual humano: adaptación a las estadísticas de imágenes naturales, percepción de luminosidad, normalización de contraste. La invención ha sido validada por dos métricas de calidad de imagen estándar basada en la percepción visual humana, que muestra que nuestros resultados son más próximos a cualquier otro método a la imagen que un observador humano percibiría al mirar directamente en la escena.

En un primer aspecto, se propone un método para procesar una imagen según la reivindicación 1, siendo el método caracterizado por comprender las siguientes etapas realizadas en un aparato para procesar una imagen:

a) recibir una imagen normalizada (I) (1)

b) calcular una luminancia (L) de dicha imagen normalizada (I) (2);

c) calcular un histograma (h) de dicha luminancia (L) (10);

d) calcular un histograma acumulativo (H) de dicho histograma (h) (10);

e) estimar un primer parámetro (Mid_X) relacionado con la media de dicho histograma acumulativo (H), un segundo parámetro de pendiente (Gamma_L) para valores pequeños de dicho histograma acumulativo (H) y un tercer parámetro de pendiente (GammaJH) para valores grandes de dicho histograma acumulativo (H) (20); f) estimar una función de corrección gamma (gamma) a partir de dicho histograma acumulativo (H) en el que dicha función de corrección gamma es una función de (Mid_X), (Gamma_L) y (Gamma_H) (30);

g) aplicar dicha función de corrección gamma (Gamma) a cada canal de imagen (R, G o B) y obtener una imagen de salida (Isalida) (4);

h) aplicar un proceso de normalización de contraste a dicha imagen de salida (Isalida) y obtener una imagen final (Ifinal) (5);

En consecuencia, según la invención, se proporcionan un método, sistema, dispositivo, programa informático y medio de almacenamiento según las reivindicaciones independientes. Se definen realizaciones favorables en las reivindicaciones dependientes. Estos y otros aspectos de la invención resultarán evidentes y se aclararán con referencia a las realizaciones descritas de aquí en adelante.

La invención propuesta proporciona, entre otras, las siguientes ventajas:

• La invención se adapta a las particularidades de cada imagen y produce resultados que parecen naturales, un contraste y colores realistas, incluso en escenas desafiantes, como muestran las figuras 6 y 7.

• La invención ha sido validada por dos métricas de calidad de imagen estándar basados en la percepción visual humana, que muestra que los resultados son más cercanos que los de cualquier otro método a la imagen que un observador humano percibiría al mirar directamente en la escena.

• Los cálculos implicados por esta invención son muy simples así este método podría ponerse en práctica, como un ejemplo no limitativo, en la cámara para aplicaciones en tiempo real sin la necesidad de ningún hardware ni software especializado.

• La aplicación potencial de la invención propuesta es realmente bastante grande: cualquier dispositivo con cámara (teléfono móvil, foto, video, cine digital) podría adoptarla simplemente al añadir una etapa de software en el canal de procesado de imágenes de cámara, sin ninguna necesidad de modificar el hardware (sensor, ópticos) de cualquier manera.

• También puede ponerse en práctica, como un ejemplo no limitativo, una herramienta de post-procesado sobre un paquete de procesado de imagen tal como Adobe Photoshop® o un paquete de post producción de cine como Final Cut Pro® de Apple, que usa datos de imagen RAW o imágenes HDR como entrada.

DESCRIPCION DE LOS DIBUJOS

Para completar la descripción que se hace y con el objeto de ayudar a una mejor compresión de las características de la invención, de acuerdo con un ejemplo preferido de realizaciones prácticas, que acompañan dicha descripción como parte integrante de la misma, es un juego de dibujos en los que, a modo de ilustración y no de forma restrictiva, representan lo siguiente:

Figura 1: muestra un diagrama de cómo se puede conceptualizar el flujo visual a partir de la captura hasta la percepción de claridad utilizando dos no linealidades de acuerdo con una realización de la invención.

Figura 2: muestra un diagrama de flujo de las etapas principales del método propuesto de acuerdo con una realización de la invención.

Figura 3: muestra un diagrama de flujo de las etapas detalladas para estimar la gamma puntual de acuerdo con una realización de la invención.

Figura 4: muestra un diagrama ejemplar de un histograma acumulativo de registro de acuerdo con una realización de la invención.

Figura 5: muestra un diagrama ejemplar de una curva gamma final calculada después de estimar los parámetros Mid_X, Gamma_L y Gamma_H de acuerdo con una realización de la invención.

Figura 6: muestra alguna comparación de imágenes donde puede apreciarse que la presente invención muestra resultados más naturales y en particular un mejor contraste que otros métodos. La imagen (a) se obtiene mediante la interpolación y caracterización de la cámara de los datos del sensor RAW y se amplía linealmente al rango de visualización. Luego se aplica una transformada gamma con un valor gamma 2.2 en (a) para obtener la imagen (b). (c) es la imagen JPEG creada por la cámara Nikon D3100®. La imagen (d) es la salida del operador de mapeo de tonos Mantiuk como se explica en [10] y (e) es la salida de la invención propuesta cuando se aplica a las imágenes RAW.

Figura 7: Muestra otra comparación de imágenes HDR donde puede apreciarse que la presente invención muestra resultados más naturales y en particular mejor contraste que otros métodos. La imagen (a) es una imagen HDR lineal obtenida de un sensor de datos. Luego se aplica una transformada gamma con un valor gamma 2.2 en (a) para obtener la imagen (b). La imagen (d) es la salida del operador de mapeo de tonos Mantiuk de acuerdo con [10] y (e) es la salida de la invención propuesta cuando se aplica a la imagen HDR lineal.

DESCRIPCION DETALLADA DE LA INVENCION

La presente invención puede realizarse en otros dispositivos, sistemas y/o métodos específicos. Las realizaciones descritas deben considerarse en todos os aspectos como solamente ilustrativas y no restrictivas. En particular, el ámbito de la invención se indica mediante las reivindicaciones adjuntas más que con la descripción y figuras en esta memoria. Todos los cambios que se encuentren dentro del significado y rango de equivalencia de las reivindicaciones deben incluirse dentro de su alcance. En la siguiente descripción, con el propósito de explicación, hay numerosos detalles específicos que se exponen para proporcionar una comprensión completa de la presente invención. Sin embargo, resultará evidente para un experto en la materia que la presente invención puede ponerse en práctica sin estos detalles específicos. En otros casos, se muestran estructuras y dispositivos bien conocidos en forma de diagrama de bloques para evitar oscurecer innecesariamente la presente invención.

Por lo tanto, la invención propone un método, sistema y dispositivo capaz de generar imágenes más naturales a partir de una imagen inicial obtenida a partir de una cámara digital, video cámara digital, etc.

La invención encuentra, para cada imagen dada, la función transformada particular que produce una salida donde los niveles se distribuyen de manera más equitativa en el rango disponible, al tiempo que cumple con los datos estadísticos de una imagen natural, datos psicofísicos y modelos neurofisiológicos. El método consta de tres etapas principales:

1) Utilizando estadísticas de imágenes naturales, se computan algunas características clave del histograma acumulativo de la imagen de intensidad de entrada.

2) Estas características son explotadas para realizar una transformada sobre los valores de intensidad que cumplen con los datos de preferencia de los usuarios obtenidos a través de pruebas psicofísicas realizadas en nuestro laboratorio.

3) Finalmente, la salida de la etapa anterior pasa por un procedimiento de normalización de contraste que replica el comportamiento de codificación eficiente documentados en los niveles de la retina y cortical en trabajos de neurociencia.

Los cálculos implicados por esta invención son muy simples así este método podría ponerse en práctica en aplicaciones en tiempo real y con cámara sin la necesidad de ningún software o hardware especializado.

Cualquier fabricante de cámaras (teléfono móvil, foto, video, cine digital) podría adoptar esta invención simplemente agregando una etapa de software a la línea de procesamiento de imágenes de la cámara, sin necesidad de modificar el hardware (sensor, óptica) de cualquier manera. También puede ponerse en práctica como una herramienta de post-procesamiento en un conjunto de procesamiento de imágenes, utilizando datos de imagen RAW o imágenes HDR como entrada o cualquier otro formato de imagen. Por lo tanto, las perspectivas de explotación son bastante vastas.

Estadística de imágenes naturales

En la comunidad científica de la visión existe una visión prevalente, respaldada por un cuerpo sustancial de evidencia neurofisiológica, de que el sistema visual está organizado para representar de la manera más eficiente posible las imágenes que normalmente ve, denominadas imágenes naturales como se explica en [4]. Se puede decir que el sistema visual humano ha evolucionado para adaptarse mejor a las estadísticas de las imágenes naturales, proporcionando la mejor representación posible para ellos. Varios trabajos sobre estadísticas de imágenes naturales, por ejemplo, [5, 6] informan sobre la forma promedio del histograma para una imagen natural es triangular en coordenadas log-log: aumenta linealmente hasta un pico, obtenido para el valor de intensidad de imagen de M (relacionado con el promedio de la intensidad), a continuación, disminuye linealmente con una pendiente ligeramente diferente. Esto implica que el histograma acumulativo, que es simplemente la integral del histograma, será también una función lineal de amplitud en las coordenadas log-log, aumentando linealmente con cierta pendiente Gamma_L hasta el valor de intensidad Mid_X, luego aumentando linealmente con una pendiente diferente Gamma_H. En el método de esta invención se utiliza esta percepción a partir de los resultados anteriormente mencionados sobre estadísticas de la imagen natural a estimar, para la imagen de entrada, los valores particulares de Mid_X, Gamma_L y Gamma_H que mejor se ajustan al histograma específico de la imagen. Es decir, en lugar de usar valores fijos de Mid_X, Gamma_L y Gamma_H que pueden representar las estadísticas promedio de las imágenes naturales, adapta estos valores a la imagen en cuestión. Esto también está respaldado por la evidencia neurofisiológica [7] que muestra que la retina se adapta a la distribución de intensidad de luz sobre la imagen.

Ecualización de histogramas

Las escenas naturales tienden a tener una distribución de luminancia que se concentra de forma pesada en los niveles de luminancia baja. Esto es especialmente cierto para imágenes de alto rango dinámico según [9]. El resultado es que las imágenes de alto rango dinámico tienden a estar dominadas por regiones oscuras de bajo contraste. Este problema se puede mitigar mediante un proceso llamado ecualización de histograma que aplana la distribución de luminancia de una imagen. Esta técnica está bien establecida y es efectiva en contraste y, a su vez, el detalle visible en una imagen. La ecualización de histogramas se consigue al calcular el histograma acumulativo de una imagen y al aplicar esta como una no linealidad amplia de punto como sigue, donde H es el histograma acumulativo e i indica la intensidad de un píxel.

r= H(i)

Aunque la ecualización completa del histograma es altamente efectiva en incrementar el contraste de la imagen, puede provocar cambios bruscos en el contraste y, a menudo, produce imágenes de aspecto poco natural. Por lo tanto, es necesaria alguna forma de ecualización restringida de histograma. Un enfoque es aplicar una función suave que se aproxime al histograma acumulativo. En esta invención se aplica una función suave que se deriva de las estadísticas de escenas naturales. El beneficio de esta función es que la función es suave y proporciona una aproximación precisa de las estadísticas de cualquier imagen.

Percepción de la ligereza

La Figura 1 muestra que el canal visual desde la captura hasta la percepción se puede conceptualizar utilizando dos no linealidades. La primera es el sistema gamma: el exponente de extremo a extremo el descrito la relación entre la imagen capturada, y una visualizada en una pantalla dada. La segunda es la función perceptiva que describe la relación no lineal entre una luminancia visualizada y la percepción de esa luminancia.

I ^disp =IY ^sys

La segunda función es la relación entre la luminancia del mundo real (por ejemplo, como se muestra en un monitor) y la percepción. En esta invención, en una implementación preferida, se utiliza el modelo de color CIE que modela la percepción de la claridad utilizando un exponente de 0.45 como se explica en [8], aunque otros valores son posibles.

L=(Idisp)Y ^psy

Si el gamma del sistema es el inverso de la gamma perceptual, entonces la imagen inicial I puede decirse que es proporcional a la percepción final de la luminancia. Si no, entonces es necesaria una manipulación adicional para asegurar la equivalencia

L=j ^Yadj

donde

Y ^adj =1/Y ^sys Y ^psy

En el caso de las pantallas de cine, el sistema gamma es 2.2, que es el inverso del gamma perceptual 0.45. Así Yadj es igual a uno y no es necesaria ninguna corrección.

Normalización de contraste

En la literatura de neurociencia hay abundante evidencia neurofisiológica [1] de que el sistema visual está realizando una operación llamada normalización de contraste, en la cual la magnitud llamada contraste (la diferencia entre la intensidad de la luz y su valor medio) se divide por un factor que depende de la desviación estándar de la intensidad luminosa. Este cambio de escala ya se produce en la retina y optimiza la transmisión de información y a eficiencia d código de acuerdo con [1]. Dado que la normalización del contraste es un elemento clave del sistema visual humano, se ha incorporado en la invención con la siguiente etapa final:

I ^finaj (x)=I ^media (x)+(L ^sajida (x)-I ^media (x))*(k/sigma) o

I ^final (x)=I ^media (x)+(L ^salida (x)-I ^media (x))*(2-SÍgmd(x))

donde x es un píxel, Isalida (x) es el valor en pixel x calculado en la etapa anterior del método, Imedia(x) es la media local de I, k es una constante, sigma es la desviación estándar de I (calculada globalmente en la primera ecuación anterior y localmente en la segunda ), Ifinal(x) es el valor de salida final de nuestro método para pixel x.

La figura 2 muestra un diagrama esquemático de la invención propuesta. La imagen de entrada obtenida puede ser una imagen RAW, de alto rango dinámico (HDR) o cualquier otra imagen de formato. A continuación, se calcula la luminancia (L) de la imagen y se calcula una gamma puntual continua que depende de la intensidad de la imagen.

La Figura 3 muestra las etapas detalladas para estimar la gamma puntual. El histograma acumulativo se calcula de acuerdo con el pseudocódigo proporcionado a continuación

Index = logspace(-6,0,2*pow); pow = 12, 16 o 18

Histo = histograma(L, Index)

H = histograma_acumulativo(Histo)

logH = log 2(H)

logIndex = log2(Index)

donde 'Index' es el rango de intensidad en una escala logarítmica de 6 órdenes de magnitud(suficiente para la mayoría de escenas), con la imagen original codificada en bits 'pow' (normalmente 12, 16 o 18). Otros valores son posibles.

La figura 4 muestra un registro de histograma acumulativo. A lo largo del eje X se encuentra el logaritmo del componente de luminancia de la imagen de entrada. A lo largo del eje y está el logaritmo del recuento de píxeles de la imagen de entrada. El pseudo código para estimar Gamma_L, GammaJH, Mid_X se da a continuación.

Low_Y = max(1, min(logH))

Low_X = {x: logH(x) = Low_Y}.

High_Y = log2(0,9*N); N=número total de píxeles

High_X = {x: logHx = High_Y}.

Mid_X = High_X - (High_X - Low_X)/2

Mid_trans_X = High_X - (High_X - Mid_X)/3

Mid_trans_Y = logH(Mid_trans_X)

MinLy = Mid_trans_Y - 1

MinLx = {x: logH(x) = MinLy}.

Gamma_L = (M idtrans_Y- MinLy)/(Mid_trans_X-MinLx)

Gamma_H = (Mid_trans_X - max(logH)/(Mid_trans_X)

donde en el cálculo de High_Y usa un valor de 0.9 porque funciona bien en la práctica, pero también se pueden usar otros valores.

Los puntos calculados están marcados en la figura 4.

Ahora el Gamma continuo se calcula mediante la interpolación de Gamma_H y Gamma_L con una ecuación inversa de Naka-Rushton cuya semi saturación es Mid_X. El pseudo-código se da a continuación.

Index2 = linspace (0,1,2Apow)

Index_NR (Index2)= Index2/(Index 2 Mid_X)

Inv_Index_NR (Index2) = 1-Index_NR

Gamma (Index2) = Inv_Index_NR (Index)*(Gamma_L - Gamma_H) Gamma_H

donde 'Index2' es el rango original [0,1] (debido a que la imagen original se normalizó, su rango siempre es [0,1]) en escala lineal, cuantificada utilizando bits 'pow'.

La figura 5 muestra un diagrama ejemplar de una curva gamma final calculada después de estimar los parámetros MadjX, Gamma_L y Gamma_H de acuerdo con una realización de la invención. A lo largo del eje X se encuentra el logaritmo del componente de luminancia de la imagen de entrada. A lo largo del eje y están los valores Gamma.

Con los valores de Gamma dependientes de intensidad y continuos estimados, cada píxel x de la imagen de entrada se transforma como se muestra en la siguiente ecuación.

I ^sanda (X) = I ⁱⁿ (X)(Gamma(linx)); I = {R, G, B}

El enfoque se extiende a videos al controlar el cambio repentino en los valores de Gamma_L y Gamma_H y solamente permite una transición suave. Tambien el valor Mid_X puede cambiar sin problemas.

En la etapa final de la invención se realiza una mejora de contraste. La normalización del contraste puede realizarse mediante una desviación estándar global (sigma) como se muestra en la primera ecuación, o mediante una desviación estándar local (sigma (x)) como se muestra en la segunda ecuación.

I ^final (x) = I ^media (x)+(I ^salida (x)=L ^media (x))*(k/SÍgma) (1)

I ^final = I ^media (x)+(I ^salida (x)-L ^media (x))*(2-SÍgma)) (2)

Donde x es la posición del píxel, k tiene un valor preferido de 0.33 y Imedio es obtenido por convolución de la imagen Isalida con un kernel w, que es un promedio ponderado de dos kernels gaussianos con una desviación estándar preferida de 25 y 5 respectivamente. Se ha observado que estos valores numéricos están bien, pero otros valores son posibles.

Referencias

[1] Brenner, Naama, William Bialek y Rob de Ruyter van Steveninck. "El reescalamiento adaptativo maximiza la transmisión de información". Neuron 26.3 (2000): 695-702.

[2] Carandini, Matteo y David J. Heeger. "La normalización como una computación neural canónica". Nature Reviews Neuroscience 13.1 (2011): 51-62.

[3] Kastner, David B. y Stephen A. Baccus. "Información sobre la retina en los diversos y generales cálculos de adaptación, detección y predicción". Opinión actual en neurobiología 25 (2014): 63-69.

[4] Olshausen, Bruno A. y David J. Field. "La visión y la codificación de las imágenes naturales". American Scientist 88.3 (2000): 238-245.

[5] Ruderman, Daniel L. "Las estadísticas de imágenes naturales". Red: computación en sistemas neurales 5.4 (1994): 517-548.

[6] Huang, Jinggang y David Mumford. "Estadísticas de imágenes y modelos naturales". Visión por computadora y reconocimiento de patrones, 1999. IEEE Computer Society Conference on .. Vol. 1. IEEE, 1999.

[7] Smirnakis, Stelios M., et al. "Adaptación del procesamiento retiniano al contraste de imagen y escala espacial". Nature 386.6620 (1997): 69-73.

[8] Poynton, Charles. Video digital y HD: Algoritmos e interfaces. Elsevier, 2012.

[9] Kane, Bartalmio. ¿Existe una preferencia por la linealidad cuando se ven imágenes naturales? SPIE 2015

[10] Mantiuk, Rafa, Scott Daly y Louis Kerofsky. "Mostrar mapeo de tono adaptativo". Transacciones ACM en Gráficos (TOG). Vol. 27 No.3 ACM, 2008.

Claims

REIVINDICACIONES

1. Un método para procesar una imagen, comprendiendo el método las siguientes etapas realizadas en un aparato para procesar una imagen:

a) recibir una imagen, dividir la por su valor máximo de modo que resulte una imagen normalizada (I) en el rango [0,1] (1)

b) para cada canal R, G y B de dicha imagen:

b1) calcular una luminancia (L) (2);

b2) calcular un histograma normalizado (h) de dicha luminancia (L) (10);

b3) calcular un histograma acumulativo (H) de dicho histograma normalizado (h) (10);

b4) estimar un primer parámetro (Mid_X) relacionado con la media de dicho histograma acumulativo (H), un segundo parámetro de pendiente (Gamma_L) para valores pequeños de dicho histograma acumulativo (H) y un tercer parámetro de pendiente (Gamma_H) para valores grandes de dicho histograma acumulativo (H) (20);

b5) estimar una función de corrección gamma (Gamma) a partir de dicho histograma acumulativo (H), en el que dicha función de corrección gamma es una función de (Mid_X), (Gamma_L) y (Gamma_H) (30);

c) calcular dicha función de corrección gamma (Gamma) a cada canal de imagen (R, G o B) y obtener una imagen de salida (Isalida) (4);

d) calcular un proceso de normalización de contraste a dicha imagen de salida (Isalida) y obtener una imagen final (Ifinal) (5).

2. Un método de acuerdo con la reivindicación 1, donde la imagen recibida es una imagen RAW o una imagen de alto rango dinámico (HDR).

3. Un método de acuerdo con la reivindicación 1, donde el histograma normalizado (h) se calcula de acuerdo con un pseudo-código:

Index = logspace(-6,0,2*pow);

h = histograma(L, Index)

donde Index es el rango de intensidad en una escala logarítmica de 6 órdenes de magnitud, con la imagen original codificada en bits pow, preferentemente 12, 16 o 18.

4. Un método de acuerdo con la reivindicación 3, donde el parámetro Mid_X se estima de acuerdo con una fórmula:

logH = log 2(H)

Low_Y = max(1, min(logH))

Low_X = {x: logH(x) = Low_Y}.

High_Y = log2(0,9*N); N=número total de píxeles

High_X = {x: logHx = High_Y}.

Mid_X = High_X - (High_X-Low_X)/2

donde H se dice histograma acumulativo.

5. Un método de acuerdo con la reivindicación 1, donde la función de corrección de gamma (Gamma) se estima como una función de (Mid_X), (Gamma_L) y (Gamma_H) al generar Gamma_H y Gamma_L con una ecuación inversa de Naka-Rushton cuya semi saturación es Mid_X.

6. Un método de acuerdo con la reivindicación 5, donde la función de corrección de gamma (Gamma) se genera de acuerdo con un pseudo-código:

Index2 = linspace (0,1,2/'pow)

Index_NR (Index2)= Index2/(Index 2 Mid_X)

Inv_Index_NR (Index2) = 1-Index_NR

Gamma (Index2) = Inv_Index_NR (Index)*(Gamma_L - Gamma_H) Gamma_H

donde Index2 es el rango original [0,1] en la imagen original normalizada en escala lineal, cuantificada utilizando bits 'pow'.

7. Un método de acuerdo con la reivindicación 1, en el que el proceso de normalización de contraste para obtener la imagen final (Ifinal) se realiza mediante una desviación estándar global (sigma).

8. Un método de acuerdo con la reivindicación 7, donde el proceso de normalización de contraste se realiza de acuerdo con una fórmula:

I ^final (x) = I ^media (x)+(I ^salida (x)-L ^medio (x))*(k/sigma)

donde x es un píxel, Isalida (x) es el valor en el píxel x calculado en la etapa c), Imedio (X) es la media local de I, k es una constante y sigma es la desviación estándar de la imagen inicial I.

9. Un método de acuerdo con la reivindicación 8, donde la constante k es igual a 0,33.

10. Un método de acuerdo con la reivindicación 1, en el que el proceso de normalización de contraste se realiza mediante una desviación estándar local (sigma (x)).

11. Un método de acuerdo con la reivindicación 9, donde el proceso de normalización de contraste se realiza de acuerdo con una fórmula:

I ^final = I ^media (x)+(I ^salida (x)=L ^media (x))*(2-SÍQmd(x))

donde x es un píxel, Isalida (x) es el valor en el píxel x calculado en la etapa c), Imedio (X) es la media local de I y sigma es la desviación estándar de la imagen inicial I.

12. Un sistema de cálculo por ordenador para procesar una imagen, comprendiendo el programa de computadora:

a) medios de recepción para recibir una imagen, dividirla por su valor máximo de modo que resulte una imagen normalizada (I) en el rango [0,1]

b) para cada canal R, G y B de dicha imagen:

b1) medios para calcular una luminancia (L);

b2) medios para calcular un histograma normalizado (h) de dicha luminancia (L);

b3) medios para calcular un histograma acumulativo (H) de dicho histograma normalizado (h);

b4) medios para estimar un primer parámetro (Mid_X) relacionado con la media de dicho histograma acumulativo (H), un segundo parámetro de pendiente (Gamma_L) para valores pequeños de dicho histograma acumulativo (H) y un tercer parámetro de pendiente (Gamma_H) para valores grandes de dicho histograma acumulativo (H);

b5) estimar una función de corrección gamma (Gamma) a partir de dicho histograma acumulativo (H), en el que dicha función de corrección gamma es una función de (Mid_X), (Gamma_L) y (Gamma_H);

c) medios para calcular dicha función de corrección gamma (Gamma) a cada canal de imagen (R, G o B) y obtener una imagen de salida (Isalida);

d) medios para calcular un proceso de normalización de contraste a dicha imagen de salida (Isalida) y obtener una imagen final (I final)

13. Un medio de almacenamiento de datos digitales que almacena un programa de ordenador que comprende instrucciones ejecutables por ordenador para realizar el método de acuerdo con una cualquiera de las reivindicaciones 1-10, cuando el programa se ejecuta en un ordenador.