ES2781093T3 - Método y aparato para representar granularidad de imagen mediante uno o más parámetros - Google Patents
Método y aparato para representar granularidad de imagen mediante uno o más parámetros Download PDFInfo
- Publication number
- ES2781093T3 ES2781093T3 ES18198246T ES18198246T ES2781093T3 ES 2781093 T3 ES2781093 T3 ES 2781093T3 ES 18198246 T ES18198246 T ES 18198246T ES 18198246 T ES18198246 T ES 18198246T ES 2781093 T3 ES2781093 T3 ES 2781093T3
- Authority
- ES
- Spain
- Prior art keywords
- film grain
- information
- video stream
- grain
- film
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000002156 mixing Methods 0.000 claims abstract description 8
- 230000000153 supplemental effect Effects 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 9
- 230000001419 dependent effect Effects 0.000 description 8
- 238000004088 simulation Methods 0.000 description 8
- 229910052709 silver Inorganic materials 0.000 description 6
- 239000004332 silver Substances 0.000 description 6
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 5
- 239000013078 crystal Substances 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000000654 additive Substances 0.000 description 4
- 230000000996 additive effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000000839 emulsion Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010000496 acne Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/87—Producing a motion picture film from a television signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20204—Removing film grain; Adding simulated film grain
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Television Systems (AREA)
- Crystals, And After-Treatments Of Crystals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Un método para simular grano de película, que comprende: recibir un flujo de vídeo codificado; recibir información codificada de grano de película, que incluye al menos un parámetro que especifica un atributo del grano de película en el flujo de vídeo; decodificar el flujo de vídeo codificado para producir un flujo de vídeo decodificado; decodificar la información codificada de grano de película para producir información decodificada de grano de película; simular grano de película utilizando la información decodificada de grano de película; y fusionar el grano de película simulado con el flujo de vídeo decodificado, en donde la información de grano de película incluye un conjunto de parámetros, cada uno especifica un atributo diferente de grano de película, caracterizado por que el conjunto de parámetros incluye una pluralidad de parámetros independientes de intensidad que incluyen un primer parámetro que determina un espacio de colores y un segundo parámetro que determina un modo de fusión para dicha fusión del grano de película simulado con el flujo de vídeo decodificado.
Description
DESCRIPCIÓN
Método y aparato para representar granularidad de imagen mediante uno o más parámetros
Campo técnico
Esta invención se refiere a una técnica para simular grano de película.
Antecedentes de la invención
Las películas cinematográficas comprenden cristales de haluro de plata dispersos en una emulsión, que está recubierta en capas delgadas sobre una base de película. La exposición y el revelado de estos cristales forman la imagen fotográfica que consiste en pequeñas partículas discretas de plata. En los negativos de color, donde la plata se elimina químicamente después del revelado, se producen pequeñas manchas de tinte en los sitios donde se forman los cristales de plata. Estas manchas pequeñas de tinte se denominan comúnmente ‘grano’ en la película de color. El grano aparece distribuido aleatoriamente en la imagen resultante debido a la formación aleatoria de cristales de plata en la emulsión original. Dentro de un área expuesta uniformemente, algunos cristales se desarrollan después de la exposición, mientras que otros no lo hacen.
El grano varía en tamaño y en forma. Cuanto más rápida es la película, más grandes son los grumos de plata que se forman y las manchas de tinte que se generan, y más tienden a agruparse en patrones aleatorios. El patrón de grano se conoce típicamente como ‘granularidad’. El ojo humano no puede distinguir los granos individuales, que varían de 0,0002 mm a alrededor de 0,002 mm. En cambio, el ojo resuelve grupos de granos, denominados manchas. Un espectador identifica estos grupos de manchas como grano de película. A medida que aumenta la resolución de la imagen, aumenta la percepción del grano de película. El grano de película se vuelve claramente perceptible en el cine y en imágenes de alta definición, mientras que el grano de película pierde progresivamente la importancia en SDTV y se vuelve imperceptible en formatos más pequeños.
La película cinematográfica típicamente contiene ruido dependiente de imagen que resulta del proceso físico de exposición y revelado de la película fotográfica o de la posterior edición de las imágenes. La película fotográfica posee un patrón o textura cuasialeatorio característico, resultante de la granularidad física de la emulsión fotográfica. Alternativamente, se puede simular un patrón similar sobre imágenes generadas por ordenador para fundirlas con película fotográfica. En ambos casos, este ruido dependiente de imagen se denomina grano. Muy a menudo, la textura de grano moderado presenta una característica deseable en las películas cinematográficas. En algunos casos, el grano de película proporciona señales visuales que facilitan la correcta percepción de las imágenes bidimensionales. La calidad de película a menudo varía dentro de una sola película para proporcionar diversas pistas en cuanto al tiempo de referencia, el punto de vista, etc. Existen muchos otros usos técnicos y artísticos para controlar la textura de grano en la industria cinematográfica. Por lo tanto, preservar el aspecto granuloso de las imágenes a lo largo del procesamiento de imágenes y de la cadena de entrega se ha convertido en un requisito en la industria cinematográfica.
Varios productos disponibles comercialmente tienen la capacidad de simular el grano de película, a menudo para fusionar un objeto generado por ordenador en escena natural. Cineon® de Eastman Kodak Co, Rochester New York, una de las primeras aplicaciones de película digital en implementar simulación de grano, produce resultados muy realistas para muchos tipos de grano. Sin embargo, la aplicación Cineon® no ofrece un buen rendimiento para muchas películas de alta velocidad debido a las franjas diagonales perceptibles que produce la aplicación para configuraciones de tamaño de grano alto. Además, la aplicación Cineon® no logra simular el grano con la fidelidad adecuada cuando las imágenes se someten a procesamiento previo, por ejemplo, tal como cuando las imágenes se copian o se procesan digitalmente.
Otro producto comercial que simula el grano de película es Grain Surgery™ de Visual Infinity Inc., que se utiliza como complemento de Adobe ® After Effects ®. El producto Grain Surgery™ parece generar grano sintético al filtrar un conjunto de números aleatorios. Este enfoque sufre la desventaja de una alta complejidad computacional.
Ninguno de estos esquemas anteriores resuelve el problema de restaurar el grano de película en la restauración de vídeo comprimido. El grano de película constituye un fenómeno cuasialeatorio de alta frecuencia que normalmente no puede someterse a compresión utilizando métodos espaciales y temporales convencionales que aprovechan las redundancias en las secuencias de vídeo. Los intentos de procesar imágenes originadas en película utilizando las técnicas de compresión MPEG-2 o ITU-T/ISO H.264, generalmente, resultan en un grado de compresión inaceptablemente bajo o en pérdida completa de la textura del grano.
El documento US 5641 596 A describe una técnica para ajustar el grano de película en una imagen eliminando primero el grano de película existente de la imagen y luego agregando el grano sintetizado. La película inicialmente se somete a escaneo para obtener información de grano de película almacenada en un archivo de estadísticas. Las estadísticas almacenadas ayudan a limpiar la película de grano de película y en la síntesis de grano de película.
El documento WO02/33958 describe una técnica para operar en una imagen digital almacenada para agregar o modificar el grano de película en la imagen. En una realización, los datos de imagen de origen digital se modifican directamente para proporcionar valores de parámetros de aspecto de imagen correspondientes a un aspecto de
imagen final deseado. Los datos de imagen de salida digital se modifican posteriormente para proporcionar datos de imagen digital con valores de parámetros de aspecto de imagen correspondientes a un aspecto de imagen deseado distinto del aspecto de referencia definido.
Por lo tanto, existe una necesidad de una técnica para representar las características de grano de película a través de uno o más de un conjunto de parámetros.
Compendio de la invención
Brevemente, de acuerdo con una realización preferida de los presentes principios, se proporciona una técnica para simular grano de película. El método comienza por caracterizar en el flujo de información de imagen, tal como por ejemplo, un flujo de vídeo que contiene una imagen de película, para proporcionar información indicativa del grano de película dentro del flujo de información de imagen. La información de grano de película incluye al menos un parámetro entre un conjunto de parámetros posibles que especifican diferentes atributos del grano de película en el flujo de imágenes. La información de grano de película se codifica entonces para su posterior transmisión.
Breve descripción de los dibujos
La FIGURA 1 ilustra un diagrama de bloques de una primera realización de un sistema de acuerdo con los principios presentes para simular grano de película de acuerdo con los principios presentes;
la FIGURA 2 ilustra un diagrama de bloques de una segunda realización de un sistema de acuerdo con los principios presentes para simular grano de película de acuerdo con los principios presentes; y
la FIGURA 3 ilustra un diagrama de bloques de una tercera realización de un sistema de acuerdo con los principios presentes para simular grano de película de acuerdo con los principios presentes.
Descripción detallada
La FIGURA 1 representa un diagrama de bloques esquemático de una primera realización de un sistema 10 de acuerdo con los principios presentes, para realizar la simulación de grano de película de acuerdo con los principios presentes. El sistema 10 incluye un Eliminador de Grano de Película 22, que sirve para eliminar el grano de película de un flujo de vídeo de entrada 12 para producir un flujo de vídeo 24 filtrado recibido en un Codificador de Vídeo 13. La eliminación de grano de película constituye un caso particular de filtrado de ruido donde la señal de ruido aparece correlacionada con la señal de imagen. Por lo tanto, el Eliminador de Grano de Película 22 puede tomar la forma de un filtro de imagen clásico, aunque un filtro de este tipo no necesariamente proporcionará un rendimiento óptimo. El Codificador de Vídeo 13 codifica el flujo de vídeo 24 filtrado para producir un flujo de vídeo codificado 14 para recibir en un Decodificador de Vídeo 15 que decodifica el flujo codificado para producir un flujo de vídeo decodificado 16. El Codificador de Vídeo 13 y el Decodificador de Vídeo 15 utilizan el mismo esquema de codificación de vídeo, como se conoce bien en la técnica. Por ejemplo, el esquema de codificación de vídeo podría comprender el estándar de codificación de vídeo ITU-T H.264 u otro tipo de codificación basada en bloques. Los codificadores y decodificadores que utilizan el estándar MPEG-2 y el ITU-T H.264 son bien conocidos.
El sistema 10 también incluye un Caracterizador de Grano de Película 23 que recibe el flujo de vídeo de entrada 12 y el flujo de vídeo filtrado 24. A partir de estos flujos de vídeo, el Caracterizador de Grano de Película 23 emite un mensaje, en lo sucesivo denominado mensaje de grano, que contiene una identidad de un modelo para simular grano, así como al menos uno de un conjunto de varios parámetros, incluidos parámetros de correlación, parámetros independientes de la intensidad y parámetros dependientes de la intensidad utilizados por el modelo identificado. Como se trata en detalle a continuación, los parámetros en el mensaje de grano de película permiten la simulación del ruido dependiente de imagen original utilizando el modelo identificado. En ausencia de cualquiera de los parámetros, se asigna un valor predeterminado a ese parámetro faltante. De hecho, si no se identifica un modelo, se supone un modelo predeterminado para el grano de película. En una realización, el Caracterizador de Grano de Película 23 genera los parámetros de acuerdo con un modelo basado en el proceso físico de exposición y revelado de la película fotográfica o en procesos añadidos durante la posterior edición de las imágenes.
Después de la generación del mensaje de grano, un Codificador de información de caracterización de Grano de Película 26 codifica el mensaje para su transmisión a un Decodificador de información de caracterización de Grano de Película 28 en banda o fuera de banda, del flujo de vídeo codificado 14 transmitido por el Codificador de Vídeo 13 al Decodificador de Vídeo 15. Tanto el Codificador de Vídeo 13 como el Codificador de información de caracterización de Grano de Película 26 utilizan el mismo esquema de codificación. Así, por ejemplo, cuando el Codificador 26 utiliza el estándar de codificación de vídeo ITU-T H.264 para la codificación, el flujo de información de caracterización del grano de película codificado 27 puede tomar la forma del mensaje de Información de Mejora Suplementaria (SEI) de grano de película como se define en el estándar de codificación de vídeo ITU-T H.264.
El Decodificador de información de caracterización de Grano de Película 28 decodifica el mensaje de grano de película codificado 27 para producir un flujo de información de caracterización de grano de película decodificado 29, para ingresar en un Procesador de Restauración de Grano de Película 30. Como se describe en detalle en adelante, el Procesador 30 simulará el grano de película con un modelo identificado en el mensaje de grano utilizando parámetros
en el mensaje. En ausencia de la identificación del modelo, el Procesador 30 asumirá un modo predeterminado. Del mismo modo, en ausencia de un valor específico de un parámetro dado, el Procesador 30 asumirá un valor predeterminado para ese parámetro.
En una realización preferida, el mensaje de grano 25 de la FIG. 1 incluirá típicamente uno o más parámetros de correlación que especifican la Correlación Espacial, la Relación de Aspecto, la Correlación de Color y la Correlación Temporal. Cada uno de estos parámetros se trata a continuación.
Correlación espacial
En una realización a modo de ejemplo, la correlación dependiente de imagen del grano de película en el dominio espacial se puede modelar con al menos un parámetro, la Correlación Espacial. La correlación espacial medida determina el tamaño de las manchas. De aquí en adelante, se describe un modelo de regresión automática de segundo orden y un modelo de convolución para la Correlación Espacial.
Relación de Aspecto
Idealmente, el grano de película debe aparecer isotrópico, con características idénticas tanto en la dirección X como en la Y. Sin embargo, en la práctica, el grano de película realmente puede aparecer estirado en una dirección, a menudo como resultado de factores relacionados con la grabación de película, como la utilización de ópticas anamórficas o de la geometría de detector no cuadrada. Por esta razón, al modelar grano de película, un parámetro independiente de la intensidad, que representa el factor de relación de aspecto, complementará la medida de correlación espacial. La relación de aspecto de las manchas de grano se especifica con al menos un parámetro.
Correlación de Color
De acuerdo con los principios presentes, la dependencia de capa del grano de película en imágenes de color se representa utilizando la correlación de color. La correlación de color medida determina el tinte percibido del grano. Una correlación de color débil implica que las manchas de grano creadas en las diferentes capas de color se superponen aleatoriamente entre sí. En consecuencia, un espectador percibirá el grano como coloreado. Una alta correlación de color implica que las manchas de grano en una componente de color dependan de otras componentes de color. En este caso, un espectador percibirá el grano como monocromático.
Correlación temporal
La correlación temporal del grano en secuencias está representada por al menos un parámetro. El grano, por sí solo, no puede exhibir una correlación temporal entre fotogramas, pero la introducción de un parámetro que representa la correlación temporal puede ayudar a simular otros efectos observados, causados por la edición de la película.
Intensidad de ruido
Junto con los parámetros tratados anteriormente, que representan la dependencia del grano de película con la imagen de película, existe la necesidad de representar la intensidad del ruido que surge de los procesos aleatorios que originan el grano de película. La intensidad de ruido puede variar para cada componente de color y será dependiente de la imagen de película. La intensidad del grano determina el nivel en el que se percibe el ruido en la imagen. Los niveles de intensidad de grano pequeños introducen pequeñas variaciones en la imagen original y difícilmente perceptibles. Los niveles de intensidad altos se vuelven claramente visibles cuando los picos se superponen en la imagen.
Otros Parámetros
Además de los parámetros tratados anteriormente, el mensaje de grano también puede incluir parámetros que identifican el espacio de color en el que se agrega el grano de película y el modo de fusión utilizado para fusionar el grano con la señal de vídeo. Señalar que, se podría transmitir un conjunto diferente de parámetros para componente de color y para diferentes niveles de intensidad de la imagen de película. Es bien sabido, por ejemplo, que el grano de película depende de la intensidad local de la imagen y, que diferentes componentes de color pueden tener diferentes granos dependiendo del tipo de material de película.
El Caracterizador de Grano de Película 23 de la FIG. 1 puede generar diferentes conjuntos de parámetros de acuerdo con los niveles de intensidad de la imagen. Si se desea, el decodificador de grano de Película 28 puede interpolar el conjunto de parámetros a diversos niveles de intensidad para derivar una transición suave de las características de grano de película.
Para interpretar el conjunto de parámetros, el decodificador de grano de Película 28 debe tener una especificación del modelo que genera los parámetros. Para comprender cómo se puede especificar un modelo de este tipo, las siguientes relaciones matemáticas resultarán útiles. Primero, el valor de píxel de imagen decodificado en la posición de la imagen (x, y), el canal de color c y el número de fotograma t se representa por I(x, y, c, t). Por conveniencia, se supone que los valores de píxel se escalan para tener el valor máximo de uno.
Además, se supone una representación de imagen RGB (c = 1, 2 o 3), aunque este modelo puede ser directamente para representación de imágenes monocromáticas y, con modificaciones obvias, para YUV.
Con un modelo de grano aditivo, la simulación de grano cambia cada valor de píxel a J(x, y, c, t) donde J (x, y, c, t) viene dado por la relación:
(1) J(x, y, c, t) = l(x, y, c, t) G(x. y, c, t, L(x, y, t)),
donde L(x, y, t) es una medida de la intensidad local en la imagen y G(x, y, c, t, L(x, y, t)) define el valor de grano. Una posible implementación es definir L como luminancia o una suma ponderada de intensidades I(x, y, c, t) en todos los canales de color.
El modelo aditivo dado por la ecuación (1) es apropiado cuando se utiliza una escala de intensidad logarítmica. Para la escala lineal, el modelo de la ecuación (1) puede reemplazarse por el siguiente modo multiplicativo:
Si se implementa un modelo de grano aditivo o multiplicativo dependerá del formato de la imagen decodificada. En general, el grano debe comprender una pequeña fracción del valor máximo de píxeles.
Lo siguiente describe algunos ejemplos de diferentes tipos de modelos para extraer un conjunto de parámetros de acuerdo con la presente invención.
1. Simulación autorregresiva del patrón de grano de película
En una realización a modo de ejemplo, se puede utilizar un esquema de regresión automática de segundo orden para modelar la correlación espacial y se puede utilizar un esquema de regresión de primer orden para modelar las correlaciones entre colores y temporal. Todos los factores de correlación dependen de la intensidad de la imagen decodificada. Los factores de correlación espacial horizontal y vertical están relacionados por un factor de relación de aspecto constante. Bajo tales condiciones, la siguiente fórmula producirá valores de grano simulados,
(2) G(x, y, c, t, L) = p(c, L)*N
q(c, L) * (G(x-1, y, c, t, L) A * G(x, y-1, c, t, L))
r(c, L) * A * (G(x-1, y-1, c, t, L) G(x+1, y-1, c, t, L))
s(c, L) * (G(x-2, y, c, t, L) A * A * G(x, y-2, c, t, L)) u(c, L) * G(x, y, c-1, t, L)
v(c, L)*G(x, y, c, t-1, L)
donde N es un valor aleatorio con una distribución Gaussiana normalizada, A es una relación de aspecto de píxel constante, p, q, r, s, u y v son parámetros de correlación. El parámetro u siempre es cero para el primer canal de color y se supone que el valor de grano G es cero siempre que cualquier índice esté fuera de rango.
Como puede verse a partir de la estructura de la ecuación (2), los valores de grano para un píxel dado en un canal de color dado se calculan recursivamente utilizando valores de grano previamente calculados. Específicamente, los fotogramas se calculan en orden creciente de número de fotograma (es decir, aumentando t). Dentro de cada fotograma, el procesamiento de canales de color se produce en orden creciente del número de canal de color (es decir, aumentando c). Dentro de cada canal de color, los píxeles se rasterizan horizontalmente y luego verticalmente en orden creciente de x e y. Cuando se sigue este orden, todos los valores de grano requeridos por la ecuación (2) se calculan automáticamente de antemano.
Bajo ciertas circunstancias, la rasterización vertical demuestra ser más práctica, es decir, el procesamiento de píxeles ocurre primero por columnas. En tales casos, la ecuación (2) requerirá una ligera modificación para utilizar solo los valores calculados previamente:
(2a) G(x, y, c, t, L) = p(c, L)*N
q(c, L) * (G(x-1, y, c, í, L) A * G(x, y -I, c, t, L))
r(c, L) * A * (G(x-1, y- i , c, t, L) G(x-1, y+1, c, t, L»
s(c, L) * (G(x-2, y, c, t, L) A 4 A * G(x, y-2, c, t, L))
u(c, L) * G(x, y, c-1, t, L)
v(c, L) * G(x, y, c, t-1, L).
La implementación de la ecuación (2) o de la ecuación (2a) requiere ciertas capacidades mínimas del decodificador. En primer lugar, el decodificador de Información de Grano de Película 28 debe realizar todos los cálculos en tiempo real. En segundo lugar, el decodificador de Información de Grano de Película 28 necesita mantener en memoria una serie de valores de grano calculados previamente. Específicamente, para implementar la correlación temporal (es decir, el último término en las ecuaciones (2) y (2a)), el decodificador de Información de Grano de Película 28 necesita mantener valores de grano para un fotograma completo anterior. Desde esta perspectiva, es importante que el modelo de la ecuación (2) permita reducción gradual de los requisitos con cierta degradación de la fidelidad.
Un sistema con una fidelidad ligeramente inferior podría ignorar el último término (temporal) en la ecuación (2). Hacerlo eliminaría la necesidad de tener un búfer de fotograma adicional para mantener valores de grano del fotograma anterior. Al despreciar esos términos en la ecuación (2) que dependen de s(c, L) se obtendrían ahorros adicionales de costes. Hacerlo elimina la necesidad de almacenar una segunda fila anterior en memoria y reduce la cantidad de cálculos. Si se desprecian las correlaciones diagonales descritas por términos con r(c, L), etc., se logrará una reducción adicional de la complejidad. El simulador de grano de menor calidad utilizará únicamente el término de ruido blanco.
Cuando se desprecia un término en un sistema de escala reducida, se produce un beneficio si el decodificador de Información de Grano de Película 28 ajusta los parámetros restantes, de modo que la correlación de primer orden efectiva y, aún más importante, la autocorrelación (potencia de ruido) permanece igual, como sería en una implementación a escala completa del modelo incorporado en la ecuación (2). Debería producirse el mismo ajuste para las primeras filas y columnas de cada fotograma en ausencia de la disponibilidad de todos los valores de grano anteriores.
La flexibilidad del modelo incorporado en la ecuación (2) se hará más evidente al configurar los parámetros p, q, r, y s a cero para todos menos el primer canal de color y al configurar las correlaciones de color u(c, L) para c > 1 a 1. Bajo tales condiciones, el grano se vuelve completamente monocromático. Este conjunto de valores de parámetros puede describir el caso de las variaciones de color eliminadas por la transformación YUV 4:2:0 anterior del espacio de color.
Para un conjunto de tres colores, el modelo de la ecuación (2) describe el patrón de grano en términos de un grupo de diecisiete parámetros para cada nivel de luminancia, más una relación de aspecto que no depende de la luminancia. Los parámetros dependientes de luminancia pueden codificarse para varios niveles de luminancia fijos. El decodificador interpolará los valores de parámetros para niveles de luminancia intermedios.
Los parámetros de grano no tienen que representarse exactamente en la forma de la ecuación (2). Por ejemplo, se podría utilizar cualquier transformación uno a uno de los parámetros. Además, se podrían utilizar diferentes conjuntos de niveles de intensidad de referencia para diferentes parámetros y se podrían utilizar diferentes esquemas de interpolación, etc.
2. Convolución en el dominio espacial para simular el patrón de grano de película
En otra realización a modo de ejemplo, el patrón de grano de película se puede simular convolucionando un conjunto de números aleatorios x mediante un filtro digital h lineal, invariante en el tiempo, definido en la forma:
(3) h = (ho, hi, h2, h.r, ... hn)
Esto indica que la salida del filtro que simula el grano de película y(n) es la convolución de la entrada x(n) con la respuesta de impulso de filtro h(n):
Aunque la ecuación (4) produce una simulación en una dimensión, se podría obtener un patrón bidimensional concatenando las convoluciones verticales y horizontales en una dimensión. Bajo tales circunstancias, los coeficientes del filtro deben transmitirse además del factor de relación de aspecto.
Un decodificador de Información de Grano de película 28 con capacidades limitadas puede limitar el tamaño espacial del núcleo de convolución, lo que resultará en una disminución de los requisitos de memoria y de potencia de procesamiento.
3. Filtrado en un dominio transformado para simular el patrón de grano de película
Como se ha tratado anteriormente, convolucionar la respuesta de impulso de un filtro h con un conjunto de números aleatorios x puede caracterizar el patrón de grano de película. Esta misma operación también puede describirse por multiplicación en el dominio de frecuencia por la Transformada de Fourier de la respuesta de impulso H y la T ransformada de Fourier del conjunto de números aleatorios X:
( 5) Y(ií) = X(u) H(u)
El filtrado en el dominio de frecuencia ofrece una ventaja porque es computacionalmente más rápido si una transformada de Fourier de la imagen está disponible, por ejemplo, como parte del proceso de filtrado o de compresión. El siguiente conjunto de parámetros produjo resultados satisfactorios para representar grano dependiente de imagen de acuerdo con los principios presentes. Estos parámetros asumen un método autorregresivo de simulación de grano. Los parámetros para otros métodos serían representados por tablas similares.
Espacio de color: RGB logarítmico
Modo de fusión: aditivo
Relación de aspecto: 1
Número de niveles de intensidad: 3
Parámetros para la componente R:
Parámetros para la componente G:
Parámetros para la componente B:
Los parámetros de correlación que no se muestran en esta tabla se establecen en 0.
Después de especificar el espacio de color, el modo de fusión, la relación de aspecto y el número de niveles de intensidad para los que se definen diferentes parámetros, se codifica el grano de película en cada componente de color. Señalar que, solo deben transmitirse los datos en cursiva además de cierta información de nivel (intensidad).
La FIGURA 2 representa una segunda realización 10’ de un sistema para simular grano de película de acuerdo con los principios presentes. El sistema 10’ comparte muchos de los mismos elementos que el sistema 10 de la FIG. 1 y números de referencia iguales describen elementos iguales. De hecho, el sistema 10’ de la FIG. 2 difiere solo en la ausencia del Codificador de información de caracterización de Grano de Película 26 y del decodificador de información de caracterización de Grano de Película 28 de la FIG. 1. El sistema 10’ de la FIG. 2 utiliza el Codificador de Vídeo 13 y el Decodificador de Vídeo 15 para codificar y decodificar, respectivamente, la información de caracterización de grano de película 25 que sale del Caracterizador de Grano de Película 23. El sistema 10’ de la FIG. 2 requiere la utilización de un estándar de codificación de vídeo que soporte la transmisión de información de caracterización de grano de película como información de mejora paralela.
La FIGURA 3 representa una tercera realización 10" de un sistema para simular grano de película de acuerdo con los principios presentes. El sistema 10’’ comparte muchos de los mismos elementos que el sistema 10’ de la FIG. 2 y números de referencia iguales describen elementos iguales. De hecho, el sistema 10" de la FIG. 3 difiere solo en ausencia del Eliminador de Grano de Película 22 de la FIG. 2. El sistema 10" de la FIG. 3 utiliza las imágenes reconstruidas disponibles en el Codificador de Vídeo 13 para simular el resultado de eliminar el grano de película. El sistema 10’’ de la FIG. 3 ofrece dos ventajas en comparación con los sistemas 10 de la FIG 1 y 10’ de la FIG 2. En primer lugar, el sistema 10" de la FIG. 3 reduce la complejidad computacional relacionada con la eliminación de grano de película y, en segundo lugar, adapta la caracterización de grano de película a la cantidad de grano de película suprimida por el Codificador de Vídeo 13. Una vez que el Caracterizador de Grano de Película de la FIG. 3 dispone tanto del vídeo 12 de entrada con grano de película como de un vídeo 24 reconstruido, resultante del Codificador de Vídeo 13, puede cumplir la tarea de caracterizar el grano de película observado.
Lo anterior describe una técnica para simular grano de película en una señal de vídeo. Si bien, la técnica de simulación de grano de película se ha descrito en relación con la codificación y decodificación de una señal de vídeo, la técnica tiene la misma aplicabilidad para otros fines, como por ejemplo, la posproducción de películas cinematográficas, por ejemplo. En este sentido, la imagen original podría existir como información de imagen en una forma diferente a una señal de vídeo comprimida y, la información del grano de película podría existir en una forma diferente a un mensaje, tal como un mensaje de SEI. Por ejemplo, la información de la imagen podría existir en uno de una variedad de formatos diferentes que existen en la técnica.
Claims (13)
1. Un método para simular grano de película, que comprende:
recibir un flujo de vídeo codificado;
recibir información codificada de grano de película, que incluye al menos un parámetro que especifica un atributo del grano de película en el flujo de vídeo;
decodificar el flujo de vídeo codificado para producir un flujo de vídeo decodificado;
decodificar la información codificada de grano de película para producir información decodificada de grano de película;
simular grano de película utilizando la información decodificada de grano de película; y
fusionar el grano de película simulado con el flujo de vídeo decodificado,
en donde la información de grano de película incluye un conjunto de parámetros, cada uno especifica un atributo diferente de grano de película,
caracterizado por que
el conjunto de parámetros incluye una pluralidad de parámetros independientes de intensidad que incluyen un primer parámetro que determina un espacio de colores y un segundo parámetro que determina un modo de fusión para dicha fusión del grano de película simulado con el flujo de vídeo decodificado.
2. El método de la reivindicación 1, en donde al menos uno del flujo de vídeo codificado y la información codificada de grano de película se recibe en un formato de codificación de vídeo basado en bloques.
3. El método de la reivindicación 2, en donde el formato de codificación de vídeo basado en bloques es el formato de codificación de vídeo MPEG-2 o el formato de codificación de vídeo ITU-T H.264.
4. El método de la reivindicación 3, en donde el flujo de vídeo codificado se recibe en el formato de codificación de vídeo ITU-T H.264 y la información codificada de grano de película se recibe como mensaje de Información de Mejora Suplementaria (SEI).
5. El método de cualquiera de las reivindicaciones 1 -4, el conjunto de parámetros incluye además una pluralidad de parámetros de correlación.
6. El método de la reivindicación 5, en donde al menos un parámetro de correlación define una correlación espacial en un patrón percibido de grano de película.
7. El método de la reivindicación 5 o 6, en donde al menos un parámetro de correlación define una correlación entre capas de color.
8. El método de cualquiera de las reivindicaciones 1-7, en donde al menos un parámetro define intensidad de un componente aleatorio del grano de película.
9. El método de cualquiera de las reivindicaciones 1-8, en donde la información de grano de película se recibe fuera de banda o en banda con respecto al flujo de vídeo.
10. Un sistema para simular grano de película, que comprende:
un decodificador de vídeo configurado para recibir y decodificar un flujo de vídeo codificado; y
un procesador de restauración de grano de película configurado para simular grano de película,
en donde el sistema se configura para recibir y decodificar información codificada de grano de película que incluye al menos un parámetro que especifica un atributo del grano de película en el flujo de vídeo,
en donde el procesador de restauración de grano de película se configura para simular grano de película utilizando la información decodificada de grano de película, la información de grano de película incluye un conjunto de parámetros, cada uno especifica un atributo diferente de grano de película,
caracterizado por que
el conjunto de parámetros incluye una pluralidad de parámetros independientes de intensidad que incluyen un primer parámetro que determina un espacio de colores y un segundo parámetro que determina un modo de fusión para dicha fusión del grano de película simulado con el flujo de vídeo decodificado.
11. El sistema de la reivindicación 10, en donde el decodificador de vídeo se configura para realizar dicha recepción y decodificación de la información codificada de grano de película.
12. El sistema de la reivindicación 10 o 11, que comprende además un decodificador de información de grano de película configurado para realizar dicha recepción y decodificación de la información codificada de grano de película.
13. El sistema de cualquiera de las reivindicaciones 10-12, en donde el decodificador se configura para recibir el flujo de vídeo codificado en el formato de codificación de vídeo ITU-T H.264, y en donde el sistema se configura para recibir la información codificada de grano de película como mensaje de Información de Mejora Suplementaria (SEI).
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US47071203P | 2003-05-15 | 2003-05-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
ES2781093T3 true ES2781093T3 (es) | 2020-08-28 |
Family
ID=33476739
Family Applications (6)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES20154535T Expired - Lifetime ES2834393T3 (es) | 2003-05-15 | 2004-03-30 | Método y aparato para representar la granularidad de una imagen mediante uno o más parámetros |
ES04785461T Expired - Lifetime ES2697523T3 (es) | 2003-05-15 | 2004-03-30 | Método y aparato para representar la granularidad de imagen mediante uno o más parámetros |
ES21160153T Expired - Lifetime ES2907226T3 (es) | 2003-05-15 | 2004-03-30 | Método y aparato para representar la granularidad de una imagen mediante uno o más parámetros |
ES20203073T Expired - Lifetime ES2886351T3 (es) | 2003-05-15 | 2004-03-30 | Método y aparato para representar la granularidad de una imagen mediante uno o más parámetros |
ES21180366T Expired - Lifetime ES2925988T3 (es) | 2003-05-15 | 2004-03-30 | Método y aparato para representar la granularidad de una imagen mediante uno o más parámetros |
ES18198246T Expired - Lifetime ES2781093T3 (es) | 2003-05-15 | 2004-03-30 | Método y aparato para representar granularidad de imagen mediante uno o más parámetros |
Family Applications Before (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
ES20154535T Expired - Lifetime ES2834393T3 (es) | 2003-05-15 | 2004-03-30 | Método y aparato para representar la granularidad de una imagen mediante uno o más parámetros |
ES04785461T Expired - Lifetime ES2697523T3 (es) | 2003-05-15 | 2004-03-30 | Método y aparato para representar la granularidad de imagen mediante uno o más parámetros |
ES21160153T Expired - Lifetime ES2907226T3 (es) | 2003-05-15 | 2004-03-30 | Método y aparato para representar la granularidad de una imagen mediante uno o más parámetros |
ES20203073T Expired - Lifetime ES2886351T3 (es) | 2003-05-15 | 2004-03-30 | Método y aparato para representar la granularidad de una imagen mediante uno o más parámetros |
ES21180366T Expired - Lifetime ES2925988T3 (es) | 2003-05-15 | 2004-03-30 | Método y aparato para representar la granularidad de una imagen mediante uno o más parámetros |
Country Status (20)
Country | Link |
---|---|
US (1) | US7742655B2 (es) |
EP (8) | EP1627360B1 (es) |
JP (5) | JP4960703B2 (es) |
KR (2) | KR100991707B1 (es) |
CN (3) | CN100371955C (es) |
AU (3) | AU2004240456B2 (es) |
BR (2) | BRPI0410320B1 (es) |
CA (4) | CA2875893A1 (es) |
DK (6) | DK1627360T3 (es) |
ES (6) | ES2834393T3 (es) |
HK (1) | HK1087232A1 (es) |
HU (5) | HUE057558T2 (es) |
MX (2) | MXPA05012295A (es) |
MY (2) | MY145597A (es) |
PL (8) | PL378934A1 (es) |
PT (6) | PT3457359T (es) |
RU (3) | RU2005139131A (es) |
SI (6) | SI1627360T1 (es) |
WO (2) | WO2004104931A1 (es) |
ZA (2) | ZA200509231B (es) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004095829A1 (en) | 2003-04-10 | 2004-11-04 | Thomson Licensing S.A. | Technique for simulating film grain on encoded video |
RU2005139131A (ru) * | 2003-05-15 | 2006-06-10 | Томсон Лайсенсинг (Fr) | Способ и устройство для представления зернистости изображения посредством одного или нескольких параметров |
ZA200601707B (en) | 2003-08-29 | 2008-09-25 | Thomson Licensing Sa | Method and apparatus for modeling film grain patterns in the frequency domain |
JP4931587B2 (ja) | 2003-09-23 | 2012-05-16 | トムソン ライセンシング | 周波数フィルタリングを用いてフィルムグレインをシミュレートする手法 |
US7945106B2 (en) | 2003-09-23 | 2011-05-17 | Thomson Licensing | Method for simulating film grain by mosaicing pre-computer samples |
JP2005100100A (ja) * | 2003-09-25 | 2005-04-14 | Toyota Motor Corp | 車輪情報処理装置および車輪情報処理方法 |
US7680356B2 (en) | 2003-10-14 | 2010-03-16 | Thomson Licensing | Technique for bit-accurate comfort noise addition |
EP1673943A1 (en) | 2003-10-14 | 2006-06-28 | Thomson Licensing, S.A. | Technique for bit-accurate comfort noise addition |
BRPI0508884A (pt) * | 2004-03-19 | 2007-09-11 | Koninkl Philips Electronics Nv | sinal de televisão, portador de dados, unidade de processamento de sinal, aparelho leitor de disco, sistema de recepção de sinal de televisão, método para suprir um sinal de imagem de saìda, produto de programa de computador, e, método para incorporar um germe em um sinal de televisão |
US8150206B2 (en) * | 2004-03-30 | 2012-04-03 | Thomson Licensing | Method and apparatus for representing image granularity by one or more parameters |
US20060082649A1 (en) * | 2004-10-18 | 2006-04-20 | Cristina Gomila | Film grain simulation method |
KR101218242B1 (ko) | 2004-10-18 | 2013-01-04 | 톰슨 라이센싱 | 필름 그레인 시뮬레이션을 위한 방법, 장치 및 시스템 |
KR101174179B1 (ko) | 2004-10-21 | 2012-08-16 | 톰슨 라이센싱 | 블록 기반의 필름 그레인 패턴의 적응적 디블로킹을 위한기술 |
GB0424339D0 (en) * | 2004-11-03 | 2004-12-08 | Astrazeneca Ab | Combination therapy |
EP2202982A3 (en) | 2004-11-12 | 2012-10-10 | Thomson Licensing | Film grain simulation for normal play and trick mode play for video playback systems |
KR101229942B1 (ko) | 2004-11-16 | 2013-02-06 | 톰슨 라이센싱 | 비디오 시스템에서 비트까지 정확한 시뮬레이션을 위한필름 그레인 sei 메시지 삽입 |
CA2587131C (en) | 2004-11-16 | 2014-12-30 | Thomson Licensing | Bit-accurate seed initialization for pseudo-random number generators used in a video system |
PL1812904T3 (pl) * | 2004-11-16 | 2012-07-31 | Thomson Licensing | Sposób symulacji ziarna błony filmowej na podstawie wstępnie obliczonych współczynników transformacji |
PL1812905T3 (pl) | 2004-11-17 | 2019-10-31 | Interdigital Vc Holdings Inc | Sposób symulacji ziarna filmu o dokładności bitowej na podstawie wstępnie obliczonych przekształconych współczynników |
BRPI0518037A (pt) | 2004-11-22 | 2008-10-28 | Thomson Licensing | métodos, aparelho e sistema para dividir cache de granulação de pelìcula para simulação de granulação de pelìcula |
KR101166948B1 (ko) | 2004-11-23 | 2012-07-19 | 톰슨 라이센싱 | 낮은 복잡도의 필름 그레인 시뮬레이션 기법 |
AU2005309719B2 (en) * | 2004-11-24 | 2010-07-01 | Interdigital Vc Holdings, Inc. | Film grain simulation technique for use in media playback devices |
US7596239B2 (en) * | 2005-08-02 | 2009-09-29 | Lsi Corporation | Method and/or apparatus for video watermarking and steganography using simulated film grain |
US7664337B2 (en) * | 2005-12-20 | 2010-02-16 | Marvell International Ltd. | Film grain generation and addition |
EP2169939A1 (en) * | 2006-05-18 | 2010-03-31 | Thomson Licensing | Data hiding technique |
JP4881999B2 (ja) * | 2006-06-21 | 2012-02-22 | トムソン ライセンシング | 自動フィルムグレイン調整 |
JP2008219163A (ja) * | 2007-02-28 | 2008-09-18 | Toshiba Corp | 情報符号化方法、情報再生方法、及び情報記憶媒体 |
US10715834B2 (en) | 2007-05-10 | 2020-07-14 | Interdigital Vc Holdings, Inc. | Film grain simulation based on pre-computed transform coefficients |
US20100110287A1 (en) * | 2008-10-31 | 2010-05-06 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Method and apparatus for modeling film grain noise |
CN101778300B (zh) * | 2008-12-05 | 2012-05-30 | 香港应用科技研究院有限公司 | 模拟胶片颗粒噪声的方法和装置 |
JP2014093568A (ja) * | 2012-10-31 | 2014-05-19 | Canon Inc | 動画像符号化装置、撮像装置、及び動画像符号化装置の制御方法 |
CN103162629B (zh) * | 2013-01-31 | 2015-04-15 | 浙江大学 | 一种一维光阱微粒位移检测方法 |
EP2821961A1 (en) * | 2013-07-05 | 2015-01-07 | Thomson Licensing | Method and apparatus for superimposing noise on an image sequence |
EP2821962A1 (en) * | 2013-07-05 | 2015-01-07 | Thomson Licensing | Method and apparatus for superimposing noise on an image sequence |
US10839489B2 (en) | 2017-08-22 | 2020-11-17 | Netflix, Inc. | Techniques for synthesizing film grain |
US10791343B2 (en) * | 2018-03-13 | 2020-09-29 | Google Llc | Mixed noise and fine texture synthesis in lossy image compression |
CN112381744B (zh) * | 2020-10-27 | 2022-10-11 | 杭州微帧信息科技有限公司 | 一种av1合成胶片颗粒自适应前处理的方法 |
WO2023205144A1 (en) * | 2022-04-19 | 2023-10-26 | Dolby Laboratories Licensing Corporation | Metadata-aided removal of film grain |
CN116708876B (zh) * | 2023-05-06 | 2024-05-14 | 神力视界(深圳)文化科技有限公司 | 视频流处理、展示方法、计算机可读存储介质及电子设备 |
Family Cites Families (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US470712A (en) | 1892-03-15 | Carl siemens | ||
DE2805528C2 (de) | 1978-02-10 | 1983-06-01 | Antonius Maria Adrianus Henricus van Dr.jur. Haarlem Tetering | Verfahren und Vorrichtung zur Gewinnung anamorphotischer Bilder |
US4935816A (en) | 1989-06-23 | 1990-06-19 | Robert A. Faber | Method and apparatus for video image film simulation |
JPH0497681A (ja) | 1990-08-16 | 1992-03-30 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化復号化装置 |
US5687011A (en) | 1990-10-11 | 1997-11-11 | Mowry; Craig P. | System for originating film and video images simultaneously, for use in modification of video originated images toward simulating images originated on film |
US5374954A (en) | 1990-10-11 | 1994-12-20 | Harry E. Mowry | Video system for producing video image simulating the appearance of motion picture or other photographic film |
US5457491A (en) | 1990-10-11 | 1995-10-10 | Mowry; Craig P. | System for producing image on first medium, such as video, simulating the appearance of image on second medium, such as motion picture or other photographic film |
US5140414A (en) | 1990-10-11 | 1992-08-18 | Mowry Craig P | Video system for producing video images simulating images derived from motion picture film |
EP0528609B1 (en) | 1991-08-16 | 1998-07-08 | The Grass Valley Group, Inc. | Controllable noise pattern generator for use in video special effects |
US5235423A (en) | 1991-08-16 | 1993-08-10 | The Grass Valley Group, Inc. | Controllable pseudo random noise pattern generator for use in video special effects |
US5579064A (en) | 1991-12-12 | 1996-11-26 | Richard Vetter | Compact anamorphic motion picture system |
US5335013A (en) * | 1992-01-16 | 1994-08-02 | Faber Robert A | Method and apparatus for video camera image film simulation |
US5471572A (en) | 1993-07-09 | 1995-11-28 | Silicon Graphics, Inc. | System and method for adding detail to texture imagery in computer generated interactive graphics |
US5831673A (en) | 1994-01-25 | 1998-11-03 | Przyborski; Glenn B. | Method and apparatus for storing and displaying images provided by a video signal that emulates the look of motion picture film |
US5475425B1 (en) | 1994-01-25 | 2000-07-25 | Przyborski Production | Apparatus and method for creating video ouputs that emulate the look of motion picture film |
JP3980659B2 (ja) | 1994-08-31 | 2007-09-26 | ソニー株式会社 | 動画像符号化方法及び装置、動画像復号化方法及び装置。 |
JPH08149466A (ja) * | 1994-09-30 | 1996-06-07 | Sanyo Electric Co Ltd | 動画像処理方法及び処理装置 |
WO1996013006A1 (en) | 1994-10-20 | 1996-05-02 | Mark Alan Zimmer | Digital mark-making method |
US5629769A (en) | 1995-06-01 | 1997-05-13 | Eastman Kodak Company | Apparatus and method for the measurement of grain in images |
JP3353604B2 (ja) | 1995-08-09 | 2002-12-03 | ソニー株式会社 | 動画像符号化方法及び装置、並びに信号記録媒体 |
CN1158874C (zh) | 1995-09-12 | 2004-07-21 | 皇家菲利浦电子有限公司 | 图像信号的混合波形和基于模型的编码和解码 |
US5641596A (en) * | 1995-12-05 | 1997-06-24 | Eastman Kodak Company | Adjusting film grain properties in digital images |
GB2312124B (en) | 1996-04-12 | 1998-05-13 | Discreet Logic Inc | Processing image data |
GB9607633D0 (en) * | 1996-04-12 | 1996-06-12 | Discreet Logic Inc | Grain matching of composite image in image |
JP2852738B2 (ja) | 1997-02-10 | 1999-02-03 | 富士写真フイルム株式会社 | ハロゲン化銀乳剤の製造方法 |
US6067125A (en) * | 1997-05-15 | 2000-05-23 | Minerva Systems | Structure and method for film grain noise reduction |
JPH11143006A (ja) | 1997-11-12 | 1999-05-28 | Konica Corp | ハロゲン化銀写真感光材料及び処理方法とその撮影方法 |
US6269217B1 (en) | 1998-05-21 | 2001-07-31 | Eastman Kodak Company | Multi-stage electronic motion image capture and processing system |
US6317216B1 (en) | 1999-12-13 | 2001-11-13 | Brown University Research Foundation | Optical method for the determination of grain orientation in films |
AU2001251386A1 (en) | 2000-04-07 | 2001-10-23 | Demografx | Enhanced temporal and resolution layering in advanced television |
CA2309002A1 (en) | 2000-05-23 | 2001-11-23 | Jonathan Martin Shekter | Digital film grain reduction |
JP2002072399A (ja) | 2000-08-29 | 2002-03-12 | Fuji Photo Film Co Ltd | ハロゲン化銀写真感光材料 |
KR100382256B1 (ko) | 2000-09-16 | 2003-05-01 | 이근희 | 통나무제 보도 블록을 이용한 포장시공방법 |
US6868190B1 (en) * | 2000-10-19 | 2005-03-15 | Eastman Kodak Company | Methods for automatically and semi-automatically transforming digital image data to provide a desired image look |
US6940993B2 (en) | 2000-12-13 | 2005-09-06 | Eastman Kodak Company | System and method for embedding a watermark signal that contains message data in a digital image |
GB2370934A (en) | 2001-01-09 | 2002-07-10 | Sony Uk Ltd | Noise reduction in video signals |
US7092016B2 (en) * | 2001-02-09 | 2006-08-15 | Eastman Kodak Company | Method and system for motion image digital processing |
JP2003050439A (ja) | 2001-05-29 | 2003-02-21 | Konica Corp | ハロゲン化銀乳剤とそれを用いたハロゲン化銀感光材料及びカラー反転ハロゲン化銀感光材料 |
GB2382289B (en) * | 2001-09-28 | 2005-07-06 | Canon Kk | Method and apparatus for generating models of individuals |
US20030206662A1 (en) | 2002-05-03 | 2003-11-06 | Avinash Gopal B. | Method and apparatus for improving perceived digital image quality |
RU2005139131A (ru) | 2003-05-15 | 2006-06-10 | Томсон Лайсенсинг (Fr) | Способ и устройство для представления зернистости изображения посредством одного или нескольких параметров |
-
2004
- 2004-03-30 RU RU2005139131/09A patent/RU2005139131A/ru unknown
- 2004-03-30 SI SI200432453T patent/SI1627360T1/sl unknown
- 2004-03-30 WO PCT/US2004/009491 patent/WO2004104931A1/en active Application Filing
- 2004-03-30 DK DK04785461.7T patent/DK1627360T3/da active
- 2004-03-30 RU RU2005139138/09A patent/RU2377652C2/ru active
- 2004-03-30 CN CNB2004800131888A patent/CN100371955C/zh not_active Expired - Lifetime
- 2004-03-30 EP EP04785461.7A patent/EP1627360B1/en not_active Expired - Lifetime
- 2004-03-30 PL PL378934A patent/PL378934A1/pl not_active Application Discontinuation
- 2004-03-30 KR KR1020057021612A patent/KR100991707B1/ko active IP Right Grant
- 2004-03-30 PL PL378931A patent/PL378931A1/pl not_active Application Discontinuation
- 2004-03-30 WO PCT/US2004/009866 patent/WO2004105250A2/en active Search and Examination
- 2004-03-30 HU HUE21160153A patent/HUE057558T2/hu unknown
- 2004-03-30 JP JP2006532359A patent/JP4960703B2/ja not_active Expired - Lifetime
- 2004-03-30 CN CNA2004800133351A patent/CN1791891A/zh active Pending
- 2004-03-30 PL PL20203073T patent/PL3798988T3/pl unknown
- 2004-03-30 DK DK21180366.3T patent/DK3913579T3/da active
- 2004-03-30 ES ES20154535T patent/ES2834393T3/es not_active Expired - Lifetime
- 2004-03-30 EP EP18198246.3A patent/EP3457359B1/en not_active Expired - Lifetime
- 2004-03-30 DK DK21160153.9T patent/DK3862973T3/da active
- 2004-03-30 ES ES04785461T patent/ES2697523T3/es not_active Expired - Lifetime
- 2004-03-30 DK DK20154535.7T patent/DK3678097T3/da active
- 2004-03-30 CN CNA2008101460219A patent/CN101350891A/zh active Pending
- 2004-03-30 PT PT181982463T patent/PT3457359T/pt unknown
- 2004-03-30 PT PT04785461T patent/PT1627360T/pt unknown
- 2004-03-30 SI SI200432517T patent/SI3862973T1/sl unknown
- 2004-03-30 MX MXPA05012295A patent/MXPA05012295A/es active IP Right Grant
- 2004-03-30 EP EP22174600.1A patent/EP4083923A1/en active Pending
- 2004-03-30 SI SI200432489T patent/SI3457359T1/sl unknown
- 2004-03-30 JP JP2006532349A patent/JP4919804B2/ja not_active Expired - Lifetime
- 2004-03-30 BR BRPI0410320A patent/BRPI0410320B1/pt active IP Right Grant
- 2004-03-30 PT PT201545357T patent/PT3678097T/pt unknown
- 2004-03-30 KR KR1020057021613A patent/KR101017260B1/ko active IP Right Grant
- 2004-03-30 PL PL21160153T patent/PL3862973T3/pl unknown
- 2004-03-30 ES ES21160153T patent/ES2907226T3/es not_active Expired - Lifetime
- 2004-03-30 ZA ZA200509231A patent/ZA200509231B/en unknown
- 2004-03-30 ZA ZA200509227A patent/ZA200509227B/en unknown
- 2004-03-30 AU AU2004240456A patent/AU2004240456B2/en not_active Expired
- 2004-03-30 EP EP20203073.0A patent/EP3798988B1/en not_active Revoked
- 2004-03-30 PT PT211601539T patent/PT3862973T/pt unknown
- 2004-03-30 HU HUE20203073A patent/HUE055529T2/hu unknown
- 2004-03-30 CA CA2875893A patent/CA2875893A1/en not_active Abandoned
- 2004-03-30 CA CA2525937A patent/CA2525937C/en not_active Expired - Lifetime
- 2004-03-30 SI SI200432513T patent/SI3798988T1/sl unknown
- 2004-03-30 CA CA2875894A patent/CA2875894C/en not_active Expired - Lifetime
- 2004-03-30 PT PT211803663T patent/PT3913579T/pt unknown
- 2004-03-30 DK DK18198246.3T patent/DK3457359T3/da active
- 2004-03-30 PT PT202030730T patent/PT3798988T/pt unknown
- 2004-03-30 HU HUE18198246A patent/HUE048360T2/hu unknown
- 2004-03-30 EP EP20154535.7A patent/EP3678097B1/en not_active Revoked
- 2004-03-30 MX MXPA05012294A patent/MXPA05012294A/es active IP Right Grant
- 2004-03-30 ES ES20203073T patent/ES2886351T3/es not_active Expired - Lifetime
- 2004-03-30 AU AU2004241535A patent/AU2004241535B2/en not_active Expired
- 2004-03-30 PL PL21180366.3T patent/PL3913579T3/pl unknown
- 2004-03-30 BR BRPI0410383-1A patent/BRPI0410383B1/pt active IP Right Grant
- 2004-03-30 CA CA2526016A patent/CA2526016C/en not_active Expired - Lifetime
- 2004-03-30 DK DK20203073.0T patent/DK3798988T3/da active
- 2004-03-30 HU HUE20154535A patent/HUE052520T2/hu unknown
- 2004-03-30 EP EP21160153.9A patent/EP3862973B1/en not_active Expired - Lifetime
- 2004-03-30 SI SI200432505T patent/SI3678097T1/sl unknown
- 2004-03-30 EP EP21180366.3A patent/EP3913579B1/en not_active Expired - Lifetime
- 2004-03-30 HU HUE21180366A patent/HUE059614T2/hu unknown
- 2004-03-30 PL PL04785461T patent/PL1627360T3/pl unknown
- 2004-03-30 PL PL20154535T patent/PL3678097T3/pl unknown
- 2004-03-30 EP EP04749583.3A patent/EP1627359B1/en not_active Expired - Lifetime
- 2004-03-30 ES ES21180366T patent/ES2925988T3/es not_active Expired - Lifetime
- 2004-03-30 PL PL18198246T patent/PL3457359T3/pl unknown
- 2004-03-30 SI SI200432520T patent/SI3913579T1/sl unknown
- 2004-03-30 US US10/556,834 patent/US7742655B2/en active Active
- 2004-03-30 ES ES18198246T patent/ES2781093T3/es not_active Expired - Lifetime
- 2004-05-13 MY MYPI20041778A patent/MY145597A/en unknown
- 2004-05-13 MY MYPI20041779A patent/MY165687A/en unknown
-
2006
- 2006-08-17 HK HK06109162A patent/HK1087232A1/xx not_active IP Right Cessation
-
2010
- 2010-01-22 RU RU2010102017/08A patent/RU2010102017A/ru not_active Application Discontinuation
- 2010-04-06 JP JP2010087527A patent/JP2010206808A/ja active Pending
- 2010-05-19 AU AU2010202031A patent/AU2010202031B2/en not_active Expired
- 2010-10-14 JP JP2010231612A patent/JP2011071998A/ja active Pending
-
2012
- 2012-03-08 JP JP2012051940A patent/JP2012124952A/ja active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
ES2781093T3 (es) | Método y aparato para representar granularidad de imagen mediante uno o más parámetros | |
JP4920592B2 (ja) | ブロック・ベースのフィルム・グレイン・パターンの適応的非ブロック化の手法 | |
US8150206B2 (en) | Method and apparatus for representing image granularity by one or more parameters |