ES2697523T3

ES2697523T3 - Método y aparato para representar la granularidad de imagen mediante uno o más parámetros

Info

Publication number: ES2697523T3
Application number: ES04785461T
Authority: ES
Inventors: Cristina Gomila; Alexander Kobilansky
Original assignee: Dolby International AB
Current assignee: Dolby International AB
Priority date: 2003-05-15
Filing date: 2004-03-30
Publication date: 2019-01-24
Anticipated expiration: 2024-03-30
Also published as: ES2907226T3; JP2007514336A; ES2886351T3; ES2925988T3; CA2875894A1; JP2010206808A; EP3678097B1; DK3798988T3; CN100371955C; JP2011071998A; DK1627360T3; RU2005139138A; EP3913579B1; MY145597A; EP4083923A1; SI3798988T1; EP1627360A1; EP3457359A1; KR100991707B1; KR101017260B1

Abstract

Un método para proporcionar información del grano de película que comprende los pasos de: caracterizar un flujo de información de imagen antes de la codificación (23) para proporcionar información indicativa del grano de película dentro del flujo de imagen, la información del grano de película incluye al menos un parámetro que especifica un atributos del grano de película en el flujo de imagen; caracterizado por: codificar la información (27) del grano de película por separado de codificar (13) la información de imagen para su posterior transmisión en conjunto (25), para permitir la simulación del grano de película en el flujo de imagen tras decodificar utilizando la información del grano de película tras decodificar.

Description

DESCRIPCIÓN

Método y aparato para representar la granularidad de imagen mediante uno o más parámetros

CAMPO TÉCNICO

Esta invención se refiere a una técnica para simular grano de película.

ANTECEDENTES DE LA INVENCIÓN

Las películas cinematográficas comprenden cristales de haluro de plata dispersos en una emulsión, que está recubierta en capas delgadas sobre una base de película. La exposición y el revelado de estos cristales forman la imagen fotográfica que consiste en pequeñas partículas discretas de plata. En los negativos de color, donde la plata se elimina químicamente después del revelado, se producen pequeñas manchas de tinte en los sitios donde se forman los cristales de plata. Estas manchas pequeñas de tinte se denominan comúnmente ‘grano’ en la película de color. El grano aparece distribuido aleatoriamente en la imagen resultante debido a la formación aleatoria de cristales de plata en la emulsión original. Dentro de un área expuesta uniformemente, algunos cristales se desarrollan después de la exposición, mientras que otros no lo hacen.

El grano varía en tamaño y en forma. Cuanto más rápida es la película, más grandes son los grumos de plata que se forman y las manchas de colorante que se generan, y más tienden a agruparse en patrones aleatorios. El patrón de grano se conoce típicamente como ‘granularidad’. El ojo humano no puede distinguir los granos individuales, que varían de 0,0002 mm a alrededor de 0,002 mm. En cambio, el ojo resuelve grupos de granos, denominados manchas. Un espectador identifica estos grupos de manchas como grano de película. A medida que aumenta la resolución de la imagen, aumenta la percepción del grano de película. El grano de película se vuelve claramente perceptible en el cine y en imágenes de alta definición, mientras que el grano de película pierde progresivamente la importancia en SDTV y se vuelve imperceptible en formatos más pequeños.

La película cinematográfica típicamente contiene ruido dependiente de la imagen que resulta del proceso físico de exposición y revelado de la película fotográfica o de la posterior edición de las imágenes. La película fotográfica posee un patrón o textura cuasialeatorio característico, resultante de la granularidad física de la emulsión fotográfica. Alternativamente, se puede simular un patrón similar sobre imágenes generadas por computadora para fundirlas con película fotográfica. En ambos casos, este ruido dependiente de la imagen se denomina grano. Muy a menudo, la textura de grano moderado presenta una característica deseable en las películas cinematográficas. En algunos casos, el grano de película proporciona señales visuales que facilitan la correcta percepción de las imágenes bidimensionales. La calidad de la película a menudo varía dentro de una sola película para proporcionar diversas pistas en cuanto al tiempo de referencia, el punto de vista, etc. Existen muchos otros usos técnicos y artísticos para controlar la textura del grano en la industria cinematográfica. Por lo tanto, preservar el aspecto granuloso de las imágenes a lo largo del procesamiento de imágenes y de la cadena de entrega se ha convertido en un requisito en la industria cinematográfica.

Varios productos disponibles comercialmente tienen la capacidad de simular el grano de película, a menudo para mezclar un objeto generado por computadora en la escena natural. Cineon® de Eastman Kodak Co, Rochester New York, una de las primeras aplicaciones de película digital que implementa simulación de grano, produce resultados muy realistas para muchos tipos de grano. Sin embargo, la aplicación Cineon® no ofrece un buen rendimiento para muchas películas de alta velocidad debido a las marcadas franjas diagonales que produce la aplicación para configuraciones de granulometría alta. Además, la aplicación Cineon® no logra simular el grano con la fidelidad adecuada cuando las imágenes son objeto de procesamiento previo, por ejemplo, tal como cuando las imágenes se copian o procesan digitalmente.

Otro producto comercial que simula el grano de película es Grain Surgery™ de Visual Infinity Inc., que se utiliza como complemento de Adobe ® After Effects ®. El producto Grain Surgery™ parece generar grano sintético al filtrar un conjunto de números aleatorios. Este enfoque sufre la desventaja de una alta complejidad computacional.

Ninguno de estos esquemas anteriores resuelve el problema de restaurar el grano de película en la restauración de video comprimido. El grano de película constituye un fenómeno cuasialeatorio de alta frecuencia que normalmente no puede someterse a compresión utilizando métodos espaciales y temporales convencionales que aprovechan las redundancias en las secuencias de video. Los intentos de procesar imágenes originadas en película utilizando las técnicas de compresión MPEG-2 o ITU-T/ISO H.264, generalmente, resultan en un grado de compresión inaceptablemente bajo o en pérdida completa de la textura del grano.

El documento US 5641 596 A describe una técnica para ajustar el grano de película en una imagen eliminando primero el grano de película existente de la imagen y luego agregando el grano sintetizado. La película inicialmente se somete a escaneo para obtener información sobre el grano de película almacenada en un archivo de estadísticas. Las estadísticas almacenadas ayudan a limpiar la película de grano de película y en la síntesis de grano de película. El documento WO 02/33958 describe una técnica para operar en una imagen digital almacenada para agregar o modificar el grano de película en la imagen. En una realización, los datos de la imagen de origen digital se modifican directamente para proporcionar valores de parámetros de aspecto de imagen correspondientes a un aspecto de imagen final deseado. Los datos de imagen de salida digital se modifican posteriormente para proporcionar datos de imagen digital con valores de parámetros de aspecto de imagen correspondientes a un aspecto de imagen deseado distinto del aspecto de referencia definido.

Por lo tanto, existe una necesidad de una técnica para representar las características de grano de película a través de uno o más de un conjunto de parámetros.

RESUMEN DE LA INVENCIÓN

Brevemente, de acuerdo con una realización preferida de los presentes principios, se proporciona una técnica para simular grano de película. El método comienza por caracterizar en el flujo de información de la imagen, tal como por ejemplo, un flujo de video que contiene una imagen de película, para proporcionar información indicativa del grano de película dentro del flujo de información de la imagen. La información del grano de película incluye al menos un parámetro entre un conjunto de parámetros posibles que especifican diferentes atributos del grano de película en el flujo de imágenes. La información del grano de película se codifica entonces para su posterior transmisión.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

La FIGURA 1 ilustra un diagrama de bloques de una primera realización de un sistema de acuerdo con los principios presentes para simular grano de película de acuerdo con los principios presentes;

la FIGURA 2 ilustra un diagrama de bloques de una segunda realización de un sistema de acuerdo con los principios presentes para simular grano de película de acuerdo con los principios presentes; y

la FIGURA 3 ilustra un diagrama de bloques de una tercera realización de un sistema de acuerdo con los principios presentes para simular grano de película de acuerdo con los principios presentes.

DESCRIPCIÓN DETALLADA

La FIGURA 1 representa un diagrama de bloques esquemático de una primera realización de un sistema 10 de acuerdo con los principios presentes, para realizar la simulación de grano de película de acuerdo con los principios presentes. El sistema 10 incluye un Eliminador 22 del Grano de Película, que sirve para eliminar el grano de película de un flujo 12 de video de entrada para producir un flujo 24 de video filtrado recibido en un Codificador 13 de Video. La eliminación del grano de película constituye un caso particular de filtrado de ruido donde la señal de ruido aparece correlacionada con la señal de imagen. Por lo tanto, el Eliminador 22 del Grano de Película puede tomar la forma de un filtro de imagen clásico, aunque un filtro de este tipo no necesariamente proporcionará un rendimiento óptimo. El Codificador 13 de Video codifica el flujo 24 de video filtrado para producir un flujo 14 de video codificado para recibir en un Decodificador 15 de Video que decodifica el flujo codificado para producir un flujo 16 de video decodificado. El Codificador 13 de Video y el Decodificador 15 de Video utilizan el mismo esquema de codificación de video, como son bien conocidos en la técnica. Por ejemplo, el esquema de codificación de video podría comprender el estándar de codificación de video ITU-T H.264 u otro tipo de codificación basada en bloques. Los codificadores y decodificadores que utilizan el estándar MPEG-2 y el ITU-T H.264 son bien conocidos.

El sistema 10 también incluye un Caracterizador 23 del Grano de Película que recibe el flujo 12 de video de entrada y el flujo 24 de video filtrado. A partir de estos flujos de video, el Caracterizador 23 del Grano de Película emite un mensaje, en lo sucesivo denominado mensaje de grano, que contiene una identidad de un modelo para simular grano, así como al menos uno de un conjunto de varios parámetros, incluidos los parámetros de correlación, los parámetros independientes de la intensidad y los parámetros dependientes de la intensidad utilizados por el modelo identificado. Como se explica en detalle a continuación, los parámetros en el mensaje de grano de película permiten la simulación del ruido dependiente de la imagen original utilizando el modelo identificado. En ausencia de cualquiera de los parámetros, se asigna un valor predeterminado a ese parámetro faltante. De hecho, si no se identifica un modelo, se asume un modelo predeterminado para el grano de película. En una sola realización, el Caracterizador 23 del Grano de Película genera los parámetros de acuerdo con un modelo basado en el proceso físico de exposición y revelado de la película fotográfica o en procesos añadidos durante la posterior edición de las imágenes.

Después de la generación del mensaje de grano, un Codificador 26 de la información de caracterización del Grano de Película codifica el mensaje para su transmisión a un Decodificador 28 de la información de caracterización del Grano de Película en banda o fuera de banda, del flujo 14 de video codificado transmitido por el Codificador 13 de Video a el Decodificador 15 de Video. Tanto el Codificador 13 de Video como el Codificador 26 de la información de caracterización del Grano de Película utilizan el mismo esquema de codificación. Así, por ejemplo, cuando el Codificador 26 utiliza el estándar de codificación de video ITU-T H.264 para la codificación, el flujo 27 de información de caracterización del grano de película codificado, puede tomar la forma del mensaje de Información de Mejora Suplementaria (SEI) del grano de película como se define en el estándar de codificación de video ITU-T H.264. El Decodificador 28 de la información de caracterización del Grano de Película decodifica el mensaje 27 de grano de película codificado para producir un flujo 29 de información de caracterización del grano de película decodificado, para ingresar en un Procesador 30 de Restauración del Grano de Película. Como se describe en detalle en adelante, el Procesador 30 simulará el grano de película con un modelo identificado en el mensaje de grano utilizando parámetros en el mensaje. En ausencia de la identificación del modelo, el Procesador 30 asumirá un modo predeterminado. Del mismo modo, en ausencia de un valor específico de un parámetro dado, el Procesador 30 asumirá un valor predeterminado para ese parámetro.

En una realización preferida, el mensaje 25 de grano de la FIG. 1 incluirá típicamente uno o más parámetros de correlación que especifican la Correlación Espacial, la Relación de Aspecto, la Correlación de Color y la Correlación Temporal. Cada uno de estos parámetros se discute a continuación.

Correlación espacial

En una realización a modo de ejemplo, la correlación dependiente de la imagen del grano de película en el dominio espacial se puede modelar con al menos un parámetro, la Correlación Espacial. La correlación espacial medida, determina el tamaño de las manchas. De aquí en adelante, se describen un modelo de regresión automática de segundo orden y un modelo de convolución para la Correlación Espacial.

Relación de Aspecto

Idealmente, el grano de película debe aparecer isotrópico, con características idénticas tanto en la dirección X como en la Y. Sin embargo, en la práctica, el grano de película realmente puede aparecer estirado en una dirección, a menudo como resultado de factores relacionados con la grabación de película, como la utilización de ópticas anamórficas o de la geometría del detector no cuadrada. Por esta razón, al modelar el grano de película, un parámetro independiente de la intensidad, que representa el factor de relación de aspecto, complementará la medida de correlación espacial. La relación de aspecto de las manchas de grano se especifica con al menos un parámetro.

Correlación de Color

De acuerdo con los principios presentes, la dependencia de capa del grano de película en imágenes de color se representa utilizando la correlación de color. La correlación de color medida, determina el tinte percibido del grano. Una correlación de color débil, implica que las manchas de grano creadas en las diferentes capas de color se superponen aleatoriamente entre sí. En consecuencia, un espectador percibirá el grano como coloreado. Una alta correlación de color, implica que las manchas de grano en una componente de color dependan de otras componentes de color. En este caso, un espectador percibirá el grano como monocromático.

Correlación temporal

La correlación temporal del grano en secuencias está representada por al menos un parámetro. El grano, por sí solo, no puede mostrar una correlación temporal entre fotogramas, pero la introducción de un parámetro que representa la correlación temporal puede ayudar a simular otros efectos observados, causados por la edición de la película.

Intensidad de ruido

Junto con los parámetros descritos anteriormente, que representan la dependencia del grano de película con la imagen de película, existe una necesidad para representar la intensidad del ruido que surge de los procesos aleatorios que originan el grano de película. La intensidad del ruido puede variar para cada una de las componentes de color y será dependiente de la imagen de película. La intensidad del grano determina el nivel en el que se percibe el ruido en la imagen. Los niveles de intensidad de grano pequeños, introducen pequeñas variaciones en la imagen original y casi no se notan. Los niveles de intensidad altos se vuelven claramente visibles cuando los picos se superponen en la imagen.

Otros Parámetros

Además de los parámetros explicados anteriormente, el mensaje de grano también puede incluir parámetros que identifican el espacio de color en el que se agrega el grano de película y el modo de fusión utilizado para fusionar el grano con la señal de video. Señalar que, se podría transmitir un conjunto diferente de parámetros para cada una de las componentes de color y para los diferentes niveles de intensidad de la imagen de película. Es bien sabido, por ejemplo, que el grano de película depende de la intensidad local de la imagen y, que diferentes componentes de color, pueden tener diferentes granos dependiendo del tipo de material de película.

El Caracterizador 23 del Grano de Película de la FIG. 1 puede generar diferentes conjuntos de parámetros de acuerdo con los niveles de intensidad de la imagen. Si se desea, el decodificador 28 del grano de Película puede interpolar el conjunto de parámetros a diversos niveles de intensidad para obtener una transición suave de las características del grano de película.

Para interpretar el conjunto de parámetros, el decodificador 28 del grano de Película debe tener una especificación del modelo que genera los parámetros. Para comprender cómo se puede especificar un modelo de este tipo, las siguientes relaciones matemáticas resultarán útiles. Primero, el valor del píxel de imagen decodificado en la posición de la imagen (x, y), el canal de color c y el número t de fotograma se representa por I(x, y, c, t). Por conveniencia, asume que los valores de píxel se escalan para tener el valor máximo de uno. Además, asume una representación de imagen RGB (c = 1, 2 o 3), aunque este modelo puede ser directamente para representación de imágenes monocromáticas y, con modificaciones obvias, para YUV.

Con un modelo de grano aditivo, la simulación de grano cambia cada uno de los valores de píxel a J(x, y, c, t) donde J (x, y, c, t) viene dado por la relación:

(1) J(x, y, c, t) = I(x, y, c, t) G(x, y, c, t, L(x, y, t)),

donde L(x, y, t) es una medida de la intensidad local en la imagen y G(x, y, c, t, L(x, y, t)) define el valor de grano. Una posible implementación es definir L como luminancia o una suma ponderada de intensidades I(x, y, c, t) en todos los canales de color.

El modelo aditivo dado por la ecuación (1) es apropiado cuando se utiliza una escala de intensidad logarítmica. Para la escala lineal, el modelo de la ecuación (1) puede reemplazarse por el siguiente modo multiplicativo:

Si se implementa un modelo de grano aditivo o multiplicativo dependerá del formato de la imagen decodificada. En general, el grano debe comprender una pequeña fracción del valor máximo de píxeles.

Lo siguiente describe algunos ejemplos de diferentes tipos de modelos para extraer un conjunto de parámetros de acuerdo con la presente invención.

1. Simulación autorregresiva del patrón de grano de película

En una realización a modo de ejemplo, se puede utilizar un esquema de regresión automática de segundo orden para modelar la correlación espacial y, se puede utilizar un esquema de regresión de primer orden, para modelar las correlaciones entre colores y temporal. Todos los factores de correlación dependen de la intensidad de la imagen decodificada. Los factores de correlación espacial horizontal y vertical están relacionados por un factor de relación de aspecto constante. Bajo tales condiciones, la siguiente fórmula producirá valores de grano simulados,

(2) G(x, y, c, t, L) = p(c, L)*N

q(c, L) * (G(x-1, y, c, t, L) A * G(x, y-1, c, t, L))

r(c, L) * A * (G(x-1, y-1, c, t, L) G(x+1, y-1, c, t, L))

s(c, L) * (G(x-2, y, c, t, L) A * A * G(x, y-2, c, t, L)) u(c, L) * G(x, y, c-1, t, L)

v(c, L)*G(x, y, c, t-1, L)

donde N es un valor aleatorio con una distribución Gaussiana normalizada, A es una relación de aspecto de píxel constante, p, q, r, s, u y v son parámetros de correlación. El parámetro u siempre es cero para el primer canal de color y se supone que el valor G de grano es cero siempre que cualquier índice esté fuera de rango.

Como puede verse a partir de la estructura de la ecuación (2), los valores de grano para un píxel dado en un canal de color dado, se calculan recursivamente utilizando valores de grano previamente calculados. Específicamente, los fotogramas se calculan en orden creciente de número de fotograma (es decir, aumentando t). Dentro de cada uno de los fotogramas, el procesamiento de los canales de color se produce en orden creciente de número de canal de color (es decir, aumentando c). Dentro de cada uno de los canales de color, los píxeles se rasterizan horizontalmente y luego verticalmente para aumentar x e y. Cuando se sigue este orden, todos los valores de grano requeridos por la ecuación (2) se calculan automáticamente de antemano.

Bajo ciertas circunstancias, la rasterización vertical resulta más práctica, es decir, el procesamiento de píxeles se produce primero por columnas. En tales casos, la ecuación (2) requerirá una ligera modificación para utilizar solo los valores calculados previamente:

(2a) G(x, y, c, t, L) = p(c, L)*N

q(c, L) * (G(x-1, y, c, t, L) A * G(x, y-1, c, t, L))

r(c, L) * A * (G(x-1, y-1, c, t, L) G(x-1, y+1, c, t, L))

s(c, L) * (G(x-2, y, c, t, L) A * A * G(x, y-2, c, t, L))

u(c, L) * G(x, y, c-1, t, L)

v(c, L) * G(x, y, c, t-1, L).

La implementación de la ecuación (2) o de la ecuación (2a) requiere ciertas capacidades mínimas del decodificador. En primer lugar, el decodificador 28 de la Información del grano de película debe realizar todos los cálculos en tiempo real. En segundo lugar, el decodificador 28 de la Información del grano de película necesita mantener en memoria una serie de valores de grano calculados previamente. Específicamente, para implementar la correlación temporal (es decir, el último término en las ecuaciones (2) y (2a)), el decodificador 28 de la Información del grano de película necesita mantener los valores de grano para un fotograma completo anterior. Desde esta perspectiva, es importante que el modelo de la ecuación (2) permita reducción gradual de los requisitos con cierta degradación de la fidelidad.

Un sistema con una fidelidad ligeramente inferior, podría ignorar el último término (temporal) en la ecuación (2). Si lo hace, eliminaría la necesidad de tener un búfer de fotograma adicional para mantener los valores de grano del fotograma anterior. Se obtendrían ahorros adicionales de costos al despreciar esos términos en la ecuación (2) que dependen de s(c, L). Hacerlo, elimina la necesidad de almacenar una segunda fila anterior en memoria y reduce la cantidad de cálculos. Si se desprecian las correlaciones diagonales descritas por términos con r(c, L), etc., logrará una reducción adicional de la complejidad. El simulador de grano de menor calidad utilizará únicamente el término de ruido blanco.

Cuando se desprecia un término en un sistema reducido, se produce un beneficio si el decodificador 28 de la Información del grano de película ajusta los parámetros restantes, de modo que la correlación de primer orden efectiva y, aún más importante, la autocorrelación (potencia de ruido) permanece igual, como sería en una implementación a gran escala del modelo incorporado en la ecuación (2). Debería producirse el mismo ajuste para las primeras filas y columnas de cada uno de los fotogramas en ausencia de la disponibilidad de todos los valores de grano anteriores.

La flexibilidad del modelo incorporado en la ecuación (2) se hará más evidente al configurar los parámetros p, q, r, y s a cero para todos menos el primer canal de color y al configurar las correlaciones de color u(c, L) para c > 1 a 1. Bajo tales condiciones, el grano se vuelve completamente monocromático. Este conjunto de valores de parámetros puede describir el caso de las variaciones de color eliminadas por la transformación YUV 4:2:0 anterior del espacio de color.

Para un conjunto de tres colores, el modelo de la ecuación (2) describe el patrón de grano en términos de un grupo de diecisiete parámetros para cada uno de los niveles de luminancia, más una relación de aspecto que no depende de la luminancia. Los parámetros dependientes de la luminancia pueden codificarse para varios niveles de luminancia fijos. El decodificador interpolará los valores de parámetros para niveles de luminancia intermedios.

Los parámetros de grano no tienen que representarse exactamente en la forma de la ecuación (2). Por ejemplo, se podría utilizar cualquier transformación uno a uno de los parámetros. Además, se podrían utilizar diferentes conjuntos de niveles de intensidad de referencia para diferentes parámetros y se podrían utilizar diferentes esquemas de interpolación, etc.

2. Convolución en el dominio espacial para simular el patrón de grano de película

En otra realización a modo de ejemplo, el patrón de grano de película se puede simular convolucionando un conjunto de números x aleatorios mediante un filtro h digital lineal, invariante en el tiempo, definido en la forma: (3) h = (h0,hi,h2, h3, ... hn)

Esto indica que la salida del filtro que simula el grano y(n) de la película es la convolución de la entrada x(n) con la respuesta de impulso de filtro h(n):

(4) y{n) = /=0 x(i)h(n - i) = (x* h)(n)

Aunque la ecuación (4) produce una simulación en una dimensión, se podría obtener un patrón bidimensional concatenando las convoluciones verticales y horizontales en una dimensión. Bajo tales circunstancias, los coeficientes del filtro deben transmitirse además del factor de relación de aspecto.

Un decodificador 28 de la Información del grano de película con capacidades limitadas puede limitar el tamaño espacial del núcleo de convolución, lo que resultará en una disminución de los requisitos de memoria y de potencia de procesamiento.

3. Filtrado en un dominio transformado para simular el patrón del grano de película

Como se discutió anteriormente, la respuesta de impulso de un filtro h con un conjunto de números x aleatorios, puede caracterizar el patrón de grano de película. Esta misma operación, también, puede describirse multiplicando en el dominio de la frecuencia por la Transformada de Fourier de la respuesta H de impulso y la Transformada de Fourier del conjunto de números X aleatorios:

(5) Y(u) = X(u)H(u)

El filtrado en el dominio de la frecuencia ofrece una ventaja porque es computacionalmente más rápido si una transformada de Fourier de la imagen está disponible, por ejemplo, como parte del proceso de filtrado o de compresión.

El siguiente conjunto de parámetros produjo resultados satisfactorios para representar el grano dependiente de imagen de acuerdo con los principios presentes. Estos parámetros asumen un método autorregresivo de simulación de grano. Los parámetros para otros métodos serían representados por tablas similares.

Espacio de color: RGB logarítmico

Modo de mezcla: aditivo

Relación de aspecto: 1

Número de niveles de intensidad: 3

Parámetros para la componente R:

q r u v p

nivel [ 0, 84]: 0,1 ,01 0,0 0,2 0,02

nivel [ 85,168]: 0,1 ,01 0,0 0,15 0,03

nivel [169,255]: 0,3 -,01 0,0 0,15 0,05

Parámetros para la componente G:

q r u v p

nivel [ 0, 84]: 0,30,0 0,1 0,2 0,01

nivel [ 85,168]: 0,2 ,01 0,1 0,15 0,03

nivel [169,255]: 0,1 -,01 0,2 01, 0,05

Parámetros para la componente B:

q r u v p

nivel [ 0, 84]: 0,4 ,01 0,1 0,2 0,02

nivel [ 85,168]: 0,1 0,0 0,1 0,15 0,03

nivel [169,255]: 0,1 0,0 0,20,1 0,04

Los parámetros de correlación que no se muestran en esta tabla se establecen en 0.

Después de especificar el espacio de color, el modo de mezcla, la relación de aspecto y el número de niveles de intensidad para los que se definen diferentes parámetros, se codifica el grano de película en cada una de las componentes de color. Señalar que, solo deben transmitirse los datos en cursiva además de cierta información de nivel (intensidad).

La FIGURA 2 representa una segunda realización 10’ de un sistema para simular grano de película de acuerdo con los principios presentes. El sistema 10’ comparte muchos de los mismos elementos que el sistema 10 de la FIG. 1 y números de referencia iguales describen elementos iguales. De hecho, el sistema 10’ de la FIG. 2 difiere solo en la ausencia del Codificador 26 de la información de caracterización del Grano de Película y del decodificador 28 de la información de caracterización de Grano de Película de la FIG. 1. El sistema 10’ de la FlG. 2 utiliza el Codificador 13 de Video y el Decodificador 15 de Video para codificar y decodificar, respectivamente, la información 25 de caracterización de grano de película salida del Caracterizador 23 del Grano de Película. El sistema 10’ de la FIG. 2 requiere la utilización de un estándar de codificación de video que soporte la transmisión de información de caracterización de grano de película como información de mejora paralela.

La FIGURA 3 representa una tercera realización 10’’ de un sistema para simular grano de película de acuerdo con los principios presentes. El sistema 10’’ comparte muchos de los mismos elementos que el sistema 10’ de la FIG. 2 y números de referencia iguales describen elementos iguales. De hecho, el sistema 10’’ de la FIG. 3 difiere solo en ausencia del Eliminador 22 del Grano de Película de la FIG. 2. El sistema 10’’ de la FIG. 3 utiliza las imágenes reconstruidas disponibles en el Codificador 13 de Video para simular el resultado de eliminar el grano de película. El sistema 10’’ de la FIG. 3, ofrece dos ventajas en comparación con los sistemas 10 de la FIG 1 y 10’ de la FIG 2. En primer lugar, el sistema 10’’ de la FIG. 3 reduce la complejidad computacional relacionada con la eliminación del grano de película y, en segundo lugar, adapta la caracterización del grano de película a la cantidad de grano de película suprimida por el Codificador 13 de Video. Una vez que el Caracterizador de Grano de Película de la FIG. 3 dispone tanto del video 12 de entrada con grano de película, como de un video 24 reconstruido, resultante del Codificador 13 de Video, puede cumplir la tarea de caracterizar el grano de película observado.

Lo anterior describe una técnica para simular grano de película en una señal de video. Si bien, la técnica de simulación de grano de película se ha descrito en relación con la codificación y decodificación de una señal de video, la técnica tiene la misma aplicabilidad para otros fines, como por ejemplo, la postproducción de películas cinematográficas, por ejemplo. En este sentido, la imagen original podría existir como información de imagen en una forma diferente a una señal de video comprimida y, la información del grano de película, podría existir en una forma diferente a un mensaje, tal como un mensaje de SEI. Por ejemplo, la información de la imagen podría existir en uno de una variedad de formatos diferentes que existen en la técnica.

Claims

REIVINDICACIONES

1. Un método para proporcionar información del grano de película que comprende los pasos de:

caracterizar un flujo de información de imagen antes de la codificación (23) para proporcionar información indicativa del grano de película dentro del flujo de imagen, la información del grano de película incluye al menos un parámetro que especifica un atributos del grano de película en el flujo de imagen;

caracterizado por:

codificar la información (27) del grano de película por separado de codificar (13) la información de imagen para su posterior transmisión en conjunto (25), para permitir la simulación del grano de película en el flujo de imagen tras decodificar utilizando la información del grano de película tras decodificar.

2. El método de acuerdo con la reivindicación 1, en donde la información (27) del grano de película incluye un conjunto de parámetros, cada uno de los cuales especifica un atributo del grano de película diferente.

3. El método de acuerdo con la reivindicación 2, en donde el conjunto de parámetros incluye una pluralidad de parámetros de correlación y una pluralidad de parámetros independientes de la intensidad.

4. El método de acuerdo con la reivindicación 2, en donde al menos un parámetro de correlación define una correlación espacial en un patrón percibido del grano de película.

5. El método de acuerdo con la reivindicación 2, en donde al menos un parámetro de correlación define una correlación entre capas de color.

6. El método de acuerdo con la reivindicación 2, en donde al menos un parámetro de correlación define una correlación temporal resultante del procesamiento previo de la secuencia de imágenes.

7. El método de acuerdo con la reivindicación 2, en donde al menos un parámetro independiente de la intensidad define una relación de aspecto del grano de película.

8. El método de acuerdo con la reivindicación 1, en donde al menos un parámetro define la intensidad de una componente aleatoria del grano de película.

9. El método de acuerdo con la reivindicación 2, en donde al menos uno de los parámetros independientes de la intensidad define un espacio de color y una operación (30) de modo de fusión utilizada para fusionar el grano de película simulado con la imagen.

10. El método de acuerdo con la reivindicación 1, que comprende, además, el paso de transmitir la información del grano de película transmitida fuera de banda con respecto a la transmisión de información representativa de imagen.

11. El método de acuerdo con la reivindicación 1, que comprende, además, el paso de transmitir la información del grano de película transmitida en banda con respecto a la transmisión de información representativa de imagen.

12. El método de acuerdo con la reivindicación 2, en donde el conjunto de parámetros se establece de acuerdo con una representación de regresión automática de segundo orden de la correlación espacial y una representación de regresión de primer orden de las correlaciones entre colores y temporal.

13. El método de acuerdo con la reivindicación 1, en donde al menos un parámetro describe la correlación espacial del grano.

14. El método de acuerdo con la reivindicación 13, en donde el al menos un parámetro se establece de acuerdo con un modelo de convolución espacial.

15. El método de acuerdo con la reivindicación 14, en donde el al menos un parámetro describe la correlación espacial del grano.

16. El método de acuerdo con la reivindicación 15, en donde el al menos un parámetro se obtiene a partir de las frecuencias de corte de un filtro en el dominio de Fourier.

17. El método de acuerdo con la reivindicación 1, en donde el paso de codificar comprende codificar (26) la información del grano de película conforme a la norma de codificación de video ITU-T H.264.

18. Aparato para proporcionar grano de película, que comprende:

primeros medios (23) para caracterizar un flujo de información de imagen antes de codificar, para proporcionar información del grano de película dentro del flujo de imagen, la información que incluye al menos un parámetro que especifica un atributo del grano de película en el flujo de imagen;

caracterizado por:

segundos medios (26) que codifican la información del grano de película por separado de codificar la información de imagen para su posterior transmisión en conjunto, para permitir la simulación del grano de película en el flujo de imagen tras decodificar utilizando la información del grano de película tras decodificar.

19. El aparato de acuerdo con la reivindicación 18, en donde el conjunto de parámetros incluye una pluralidad de parámetros de correlación y una pluralidad de parámetros independientes de la intensidad.

20. El aparato de acuerdo con la reivindicación 19, en donde al menos un parámetro de correlación define una correlación espacial en un patrón percibido del grano de película.

21. El aparato de acuerdo con la reivindicación 19, en donde al menos un parámetro de correlación define una correlación entre capas de color.

22. El aparato de acuerdo con la reivindicación 19, en donde al menos un parámetro de correlación define una correlación temporal que resulta del procesamiento previo de la secuencia de imágenes.

23. El aparato de acuerdo con la reivindicación 19, en donde al menos un parámetro independiente de la intensidad define una relación de aspecto del grano de película.

24. El aparato de acuerdo con la reivindicación 18, en donde al menos un parámetro define la intensidad de una componente aleatoria del grano de película.

25. El aparato de acuerdo con la reivindicación 19, en donde al menos uno de los parámetros independientes de la intensidad define un espacio de color y una operación de modo de mezcla utilizada para mezclar el grano de película simulado con la imagen.

26. El aparato de acuerdo con la reivindicación 19, en donde el primer medio (23) calcula el conjunto de parámetros de acuerdo con una representación de regresión automática de segundo orden de la correlación espacial y una representación de regresión de primer orden de las correlaciones entre colores y temporales.

27. El aparato de acuerdo con la reivindicación 19, en donde el al menos un parámetro que describe la correlación espacial del grano se establece de acuerdo con un modelo de convolución espacial.

28. El aparato de acuerdo con la reivindicación 19, en donde el al menos un parámetro que describe la correlación espacial del grano se obtiene a partir de las frecuencias de corte de un filtro en el dominio de Fourier.

29. El aparato de acuerdo con la reivindicación 18, en donde los segundos medios (26) codifican la información del grano de película conforme a la norma de codificación de video ITU-T H.264.