BRPI0408570B1 - Processos e aparelho para simular granulação de filme em uma imagem - Google Patents

Processos e aparelho para simular granulação de filme em uma imagem Download PDF

Info

Publication number
BRPI0408570B1
BRPI0408570B1 BRPI0408570-1A BRPI0408570A BRPI0408570B1 BR PI0408570 B1 BRPI0408570 B1 BR PI0408570B1 BR PI0408570 A BRPI0408570 A BR PI0408570A BR PI0408570 B1 BRPI0408570 B1 BR PI0408570B1
Authority
BR
Brazil
Prior art keywords
film
granulation
information
image
fact
Prior art date
Application number
BRPI0408570-1A
Other languages
English (en)
Inventor
Gomila Cristina
Macdonald Boyce Jill
Original Assignee
Dolby International Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International Ab filed Critical Dolby International Ab
Publication of BRPI0408570A publication Critical patent/BRPI0408570A/pt
Publication of BRPI0408570B1 publication Critical patent/BRPI0408570B1/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/87Producing a motion picture film from a television signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20204Removing film grain; Adding simulated film grain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

"técnica para simular granulação de filme em vídeo codificado". a simulação da granulação de filme em uma imagem codificada ocorre por extração da granulação de filme e, a seguir, caracterização da granulação de filme para codificação em um fluxo de vídeo, para permitir a restauração da granulação de filme após a decodificação. de modo particular, a granulação de filme é caracterizada com base no tipo de filme, ou pelo uso de um modelo específico. na prática, detalhes da granulação de filme são transmitidos como informações paralelas ao fluxo codificado de vídeo, tipicamente sob forma de uma mensagem de informações complementares para melhoria (sei) da granulação de filme, empregando-se a norma de codificação de vídeo itu-t h.264.

Description

(54) Título: PROCESSOS E APARELHO PARA SIMULAR GRANULAÇÃO DE FILME EM UMA IMAGEM (51) Int.CI.: H04N 19/136; H04N 19/117; G06T 5/00; H04N 19/86; H04N 19/179; H04N 19/85 (52) CPC: H04N 19/136,H04N 19/117,G06T 5/002,H04N 19/86,H04N 19/179,H04N 19/85,G06T 2207/20204,G06T 2207/10016 (30) Prioridade Unionista: 10/04/2003 US 60/462.389 (73) Titular(es): DOLBY INTERNATIONAL AB (72) Inventor(es): CRISTINA GOMILA; JILL MACDONALD BOYCE “PROCESSOS E APARELHO PARA SIMULAR GRANULAÇÃO DE
FILME EM UMA IMAGEM
ÁREA TÉCNICA
A presente invenção refere-se a uma técnica para simular a granulação de filme fotográfico em uma seqüência de vídeo codificado.
FUNDAMENTOS DA TÉCNICA
O filme fotográfico usado para tirar imagens em movimento compreende cristais de haleto de prata dispersos em uma emulsão que é depositada em finas camadas sobre uma base de filme. A exposição e revelação desses cristais formam a imagem fotográfica, que é feita na maior escala de distintas partículas de prata. Com negativos coloridos, diminutas gotas de corante existem sobre os locais onde os cristais de prata são formados após a remoção química da prata, seguindo-se à revelação. Estas pequenas amostras de corante formam a “granulação no filme colorido. A granulação ocorre aleatoriamente na imagem resultante, devido à formação aleatória dos cristais de prata sobre a emulsão original. Dentro de uma área uniformemente exposta, alguns cristais são revelados por exposição, outros não. A granulação varia em dimensão e formato. Quanto mais rápido for o filme (isto é, quanto maior for a sensibilidade à luz), maiores são as aglomerações de prata formadas e glóbulos de corante gerados, e mais eles tendem a se agrupar em padrões aleatórios. O padrão de grãos é tipicamente conhecido como “granularidade.
de 12/01/2018, pág. 11/29
A olho nu não se pode distinguir grãos individuais, que variam de 0, 0002 mm a 0, 002 mm. Ao invés disto, o olho enxerga grupos de grãos, que o observador identifica como granulação de filme. Apesar de claramente observável no cinema e imagens de alta definição, a granulação de filme perde cada vez mais importância em imagens de Televisão com Definição Normal (SDTV) e se torna imperceptível em formatos mesmo menores.
De modo característico, dentro do domínio da codificação de vídeo, atualmente são despendidos esforços para melhorar o desempenho do codificador para codificar granulação de filme em altas taxas de bits. Observe que, visto que a granulação de filme se torna visível apenas em grandes formatos de imagem, tais como Televisão com Definição Normal (SDTV), Televisão com Alta Definição (HDTV) e acima, o problema da granulação de filme afeta principalmente os codificadores profissionais.
Estudos atuais sobre granulação de filme têm sido direcionados principalmente a aplicações de imagens fotográficas (edição de imagens, imagens médicas, imagens via satélite, astronomia e astrofísica etc.). Existem atualmente aplicativos de software no mercado (Adobe After Effects, Photoshop etc.) que fornecem soluções a esse problema. No domínio da codificação de vídeo, estudos têm abordado o desejo da remoção da granulação de filme, com o objetivo de melhorar o desempenho da codificação em baixas e médias taxas de bits. Porém, a literatura não menciona estratégias específicas para codificar granulação de filme diferentemende 12/01/2018, pág. 12/29 te de outras informações de alta freqüência, tais como texturas e contornos.
Em um certo sentido, granulação de filme constitui o ruído correlato inerente ao processo físico de revelação do filme fotográfico. A presença da granulação de filme denota imagens do “mundo real em contraste com material “gerado por computador sem granulação de filme. Imagens sem granulação de filme têm uma aparência de hiper-realidade, simplesmente muito lisas e nítidas para serem reais. Por esta razão, a granulação de filme permanece sendo um “artefato desejado na maioria das imagens e materiais de vídeo. Contudo, devido ao fato da granulação de filme ser originada de um processo aleatório afetando altas freqüências, o processo de codificação afeta especificamente a granulação de filme. Codificadores “lossy (com perdas) alcançam parte de seu ganho de compressão, evitando a transmissão das altas freqüências no domínio DCT. Tais freqüências são tipicamente associadas a ruídos, bordas afiadas e textura, mas também à granulação do filme. Mesmo em altas taxas de bits, a granulação de filme se torna difícil de ser preservada, e sempre a um alto custo de compressão.
Assim, existe a necessidade de aliviar o custo da granulação do filme codificado, sem degradar a qualidade percebida da(s) imagem(ns) exibida(s).
BREVE SUMÁRIO DA INVENÇÃO
De maneira resumida, de acordo com os presentes princípios, é fornecido um processo para simular granulação de filme em uma imagem codificada. O processo fornecido ende 12/01/2018, pág. 13/29 volve a extração e caracterização da granulação do filme no codificador para permitir a restauração da granulação de filme no decodificador. Em uma modalidade preferida, o processo começa pela identificação da granulação de filme que está presente em uma imagem de chegada. Em seguida, a granulação de filme é caracterizada com base no tipo de filme, ou uso de um modelo específico. A imagem de chegada é, então, codificada e as informações de caracterização da granulação de filme transmitidas, o que permite que um decodificador decodifique a imagem codificada para restaurar a granulação de filme de acordo com as informações transmitidas. O processo transmite os detalhes da granulação de filme como informações paralelas ao fluxo de vídeo codificado, tipicamente sob forma de uma mensagem de Informações Suplementares de Vídeo (SEI) da granulação de filme, ao usar-se a norma de codificação de vídeo ITU-T H.264.
BREVE DESCRIÇÃO DOS DESENHOS
A Fig. 1 ilustra um diagrama de blocos de uma primeira modalidade de um sistema, de acordo com os presentes princípios, para simular granulação de filme, de acordo com os presentes princípios;
a Fig. 2 ilustra um diagrama de blocos de uma segunda modalidade de um sistema, de acordo com os presentes princípios, para simular granulação de filme, de acordo com os presentes princípios; e a Fig. 3 ilustra um diagrama de blocos de uma terceira modalidade de um sistema, de acordo com os presentes de 12/01/2018, pág. 14/29 princípios, para simular granulação de filme, de acordo com os presentes princípios.
DESCRIÇÃO DETALHADA
Diferentes tipos de filme com imagens em movimento possuem diferentes padrões de granulação de filme bastante conhecidos na técnica. Assim, a identificação do tipo do estoque de filme usado para gravar o material da fonte original permite a identificação da granulação de filme do material codificado. A Tabela 1 lista um identificador numérico individual para cada um de uma pluralidade de estoques de filme exemplificantes, cada qual tendo um padrão de granulação de filme conhecido.
Tabela 1
Identificador Modelo da granulação de filme
0 Kodak Vision 200T 5274
1 Kodak Vision 259T 5246
2 Kodak Vision 320T 5277
3 Kodak Vision 500T 5279
N Kodak PROFESSIONAL SUPRA 100
O conhecimento do tipo de filme originalmente usado para gravar as imagens incorporadas em um vídeo codificado assegura uma qualidade ideal, por ocasião da restauração da granulação de filme após a decodificação da imagem. Informações adicionais relativas aos fatores de “downsampling que se aplicam à imagem original também comprovarão ser úteis na restauração da granulação de filme na escala correta. Observe que a Tabela 1 não pretende ser complede 12/01/2018, pág. 15/29 ta, mas simplesmente exemplificante. Outros estoques de filme de outros fabricantes de filme terão identificadores distintos.
Na ausência de qualquer conhecimento do tipo de estoque de filme usado para gravar a fonte original, a caracterização da granulação de filme pode ocorrer através de um processo de modelagem. O processo de modelagem procura reduzir a quantidade das informações de caracterização da granulação de filme a serem transmitidas, através do fornecimento de uma representação compacta do padrão e intensidade da granulação de filme. Um método destes fornece uma estimativa da granulação de filme original, que pode diferir do filme real, dependendo do processo de modelagem selecionado. Quando o sistema que modela a granulação de filme em um codificador é ativado para selecionar entre mais do que um método de modelagem para caracterizar a granulação de filme das imagens de chegada, um decodificador deve receber pelo menos algumas informações identificando o processo de modelagem que foi selecionado. Em uma modalidade específica, o processo de modelagem pode fornecer uma representação compacta da granulação de filme, de acordo com um modelo não paramétrico. Em outra modalidade, o processo de modelagem pode consistir de um processo de parametrização, de acordo com um modelo matemático predefinido. Para ilustrar esta última modalidade, a Tabela 2 apresenta um exemplo de diversos modelos matemáticos distintos que podem ser usados para descrever a granulação de filme.
Tabela 2 de 12/01/2018, pág. 16/29
Identificador Modelo da granulação de filme
0 f (x, y, c) = d*n
1 f (x, y, c) = s(x,y,c) + k*s(x,y,c) + d*n
2 f(x,y,c) = a*f(x-1,y-1,c) + b*f(x,y,c-1) +
d*n
3 f (x, y, c) = a*r(x,y,c) - b*s(x,y,c) + d*n
N f(x,y,c) = a*[d(x-1,y,c) + f(x,y-1,c)] +
b*f (x,y,c- -1) + d*n
O uso de modelos paramétricos requer a transmissão do conjunto estimado de parâmetros. Os parâmetros irão depender do tipo de modelo, como especificado na Tabela 2, ou, no caso mais simples, irão corresponder a um único modelo de granulação de filme conhecido a priori através do tipo de filme, como descrito na Tabela 1. Os parâmetros de um determinado modelo de granulação de filme devem permitir o ajuste do tamanho da granulação de filme, de sua intensidade, sua correlação espacial, sua correlação de cores etc. Como um exemplo, suponha que a fórmula a seguir sirva para modelar a granulação de filme em uma imagem:
f(x,y,c) = a*[f(x-1,y,c) + f(x,y-1,c)] + b*f(x,y,c-1) + d*n onde f(x,y,c) representa a granulação de filme do 15 pixel nas coordenadas (x,y), no componente de cores c, e n representa um ruído Gaussiano de média zero (0) e variância um (1). De acordo com este modelo, um codificador deve transmitir os parâmetros 'a', 'b' e 'd' para permitir que um decodificador simule a granulação de filme original. Observe que os parâmePetição 870180003024, de 12/01/2018, pág. 17/29 tros do modelo podem depender de outros fatores, tais como intensidade de sinal, componentes de cores etc.. Assim, a transmissão dos parâmetros do modelo da granulação de filme, na verdade, envolve a transmissão de conjuntos de parâmetros de modelo para cada caso distinto.
A Fig. 1 ilustra um diagrama esquemático de blocos de uma primeira modalidade de um sistema 10, de acordo com os presentes princípios para realização da simulação da granulação de filme. O sistema 10 inclui um Removedor da Granulação de Filme 22 que serve para remover a granulação de filme de um fluxo de vídeo de entrada 12 para produzir um fluxo de vídeo filtrado 24 recebido em um Codificador de Vídeo 13. A remoção da granulação de filme constitui um caso específico da filtragem de ruído, onde o sinal de ruído aparece correlacionado ao sinal de imagem. Assim, o Removedor da Granulação de Filme 22 pode assumir a forma de um filtro de imagem clássico, embora um filtro destes não forneça necessariamente o desempenho ideal. O Codificador de Vídeo 13 codifica o fluxo de vídeo filtrado 24 para produzir um fluxo de vídeo codificado 14 para recepção em um Decodificador de Vídeo 15 que decodifica o fluxo codificado para produzir um fluxo de vídeo decodificado 16. O Codificador de Vídeo 13 e o Decodificador de Vídeo 15 utilizam o mesmo esquema de codificação de vídeo, conforme são bastante conhecidos na técnica. Por exemplo, o esquema de codificação de vídeo pode compreender a norma de codificação de vídeo ITU-T H.264, ou outro tipo de codificação baseado em blocos. Codificadores e decodificadores, que utilizam a norma MPEG-2 e ITU-T H.264, são bastante conhecidos.
de 12/01/2018, pág. 18/29
O sistema 10 ainda inclui um Caracterizador da Granulação de Filme 23 que recebe o fluxo de vídeo de entrada 12 e o fluxo de vídeo filtrado 24. A partir desses fluxos de vídeo, o Caracterizador da Granulação de Filme 23 emite informações de caracterização da granulação de filme 25. Na sua implementação mais simples, o Caracterizador da Granulação de Filme 23 caracteriza a granulação no vídeo de entrada 12 a partir de um conjunto limitado de amostras da granulação de filme. Como um exemplo, amostras da granulação de filme podem ser obtidas, subtraindo-se o vídeo filtrado 24 do vídeo de entrada 12. Em outra modalidade, o Caracterizador da Granulação de Filme 23 pode assumir a forma de uma tabela de consulta que emite informações de caracterização da granulação de filme, de acordo com o tipo do estoque de filme originalmente usado para gravar a imagem incorporada no fluxo do vídeo de entrada 12. Assim, por exemplo, metadados acompanhando o fluxo do vídeo de entrada 12 podem identificar o tipo do estoque de filme, de acordo com a Tabela 1. Usando a sua tabela de consulta, o Caracterizador da Granulação de Filme 23 irá fornecer os parâmetros para o filme identificado, bem como o modelo da granulação de filme correspondente para esse filme. Em outra modalidade, o Caracterizador da Granulação de Filme 23 pode fazer uso de um processo de modelagem da granulação de filme que caracteriza a granulação de filme no fluxo do vídeo de entrada 13 por um conjunto de parâmetros estimados, de acordo com um processo predefinido.
Após a caracterização da granulação de filme, um Codificador das informações de caracterização da Granulação de Filme 26 transmite um fluxo de informações codificadas contendo de 12/01/2018, pág. 19/29 as informações de caracterização da granulação de filme a um Decodificador das informações de caracterização da Granulação de Filme 28 em paralelo ao fluxo de vídeo codificado 14 transmitido pelo Codificador de Vídeo 13 ao Decodificador de Vídeo
15. Ambos, o Codificador de Vídeo 13 e o Codificador das informações de caracterização da Granulação de Filme 26, usam o mesmo esquema de codificação. Assim, por exemplo, quando o Codificador 26 utiliza a norma de codificação de vídeo ITU-T H.264 para codificação, o fluxo das informações de caracterização da granulação de filme codificadas 27 pode assumir a forma da mensagem de Informações Complementares para Melhoria (SEI) da granulação de filme, conforme definida na norma de codificação de vídeo ITU-T H.264.
O Decodificador das informações de caracterização da Granulação de Filme 28 decodifica o fluxo das informações de caracterização da granulação de filme codificadas 27 para produzir um fluxo das informações de caracterização da granulação de filme decodificadas 29 para alimentação a um Processador de Restauração da Granulação de Filme 30. Na sua forma mais simples, o Processador de Restauração da Granulação de Filme 30 assume a forma de um somador de padrão que combina um padrão da granulação de filme com o fluxo de vídeo decodificado 16 alimentado pelo Decodificador de Vídeo 15 para produzir um fluxo de vídeo decodificado com granulação de filme simulada 31. Em outra modalidade, o Processador de Restauração da Granulação de Filme 30 pode compreender um processador de geração de padrões que cria um padrão da granulação de filme, de acordo com as informações de caracterização da granulação de filme no fluxo das de 12/01/2018, pág. 20/29 informações de caracterização da granulação de filme decodificadas 29.
Observe que as informações de caracterização da granulação de filme podem variar dinamicamente através de uma seqüência de vídeo. Assim, diferentes grupos de quadros podem demandar a transmissão de diferentes informações de caracterização da granulação de filme. Desta maneira, o Processador de Restauração da Granulação de Filme 30 pode atualizar o padrão da granulação de filme, dependendo das informações de caracterização transmitidas.
A Fig. 2 ilustra uma segunda modalidade 10' de um sistema para simular granulação de filme, de acordo com os presentes princípios. O sistema 10' compartilha muitos dos mesmos elementos que o sistema 10 da fig. 1, e números de referência similares descrevem elementos similares. Na verdade, o sistema
10' da fig. 2 difere somente com respeito à ausência do Codificador das informações de caracterização da Granulação de Filme 26 e do Decodificador das informações de caracterização da Granulação de Filme 28 da fig. 1. O sistema 10' da fig. 2 usa o Codificador de Vídeo 13 e o Decodificador de Vídeo 15 para codificar e decodificar respectivamente a emissão das informações de caracterização da granulação de filme 25 do Caracterizador da Granulação de Filme 23. O sistema 10' da fig. 2 requer o uso de uma norma de codificação de vídeo que suporte as informações de caracterização da granulação de filme de transmissão como informações paralelas para melhoria. Assim, por exemplo, quando o Codificador de Vídeo 13 utiliza a norma de codificação de vídeo ITU-T H.264 para codificação, o fluxo das informações de de 12/01/2018, pág. 21/29 caracterização da granulação de filme codificadas 27 pode assumir a forma de uma mensagem de Informações Complementares para Melhoria (SEI), conforme definido na norma de codificação de vídeo Itu-T H.264.
A Fig. 3 ilustra uma terceira modalidade 10 de um sistema para simular granulação de filme, de acordo com os presentes princípios. O sistema 10 compartilha muitos dos mesmos elementos que o sistema 10 ' da fig. 2, e números de referência similares descrevem elementos similares. Na verdade, o sistema da fig. 3 difere somente com respeito à ausência do Removedor da Granulação de Filme 22 da fig. 2. O sistema 10 da fig. 3 usa as imagens reconstruídas disponíveis no Codificador de Vídeo 13 para simular o resultado da remoção da granulação de filme. O sistema 10 da fig. 3 oferece duas vantagens, se comparado aos sistemas 10 da fig. 1 e 10' da fig. 2. Em primeiro lugar, o sistema 10 da fig. 3 reduz a complexidade computacional relativa à remoção da granulação de filme e, em segundo lugar, ele adapta a caracterização da granulação de filme à quantidade da granulação de filme suprimida pelo Codificador de Vídeo 13. Após o Caracterizador da Granulação de Filme da fig. 3 dispor do vídeo de entrada 12 com granulação de filme e de um vídeo reconstruído 24 resultante do Codificador de Vídeo 13, ele pode realizar a tarefa de caracterizar a granulação de filme observada.
Em alguns casos, a caracterização da granulação de filme pode envolver conversão de cores e/ou interpolação da amostra de pixels, dependendo do formato do arquivo original. Para aplicações de alta qualidade, a modelagem da granulação de de 12/01/2018, pág. 22/29 filme ocorre no espaço de cores RGB, que melhor aproxima a configuração de camada do processo físico da revelação de filme. O modelo paramétrico mais simples pode presumir que a granulação de filme seja um ruído Gaussiano de média zero não relacionado ao sinal de imagem. Neste caso, somente a transmissão do desvio padrão da função Gaussiana é necessária. Modelos mais complicados podem demandar a transmissão de diferentes parâmetros para cada componente de cores e/ou para diferentes conjuntos de níveis de cinza. A escolha de um modelo pode ser fortemente relacionada à complexidade proporcionada no lado do decodificador, do número de bits disponíveis para codificação da mensagem de SEI e principalmente da qualidade desejada no mostrador.
De acordo com os presentes princípios, a codificação da granulação de filme é realizada pela etapa de (a) caracterização da granulação de filme em um codificador, (b) transmissão das informações de caracterização da granulação de filme em paralelo ao fluxo de vídeo codificado e (c) combinação da granulação de filme simulada com o vídeo decodificado. Conforme discutido, a simulação da granulação de filme pode depender de um modelo predefinido, que reproduza a granulação de filme de um tipo de filme específico, ou pode ocorrer por parametrização usando um modelo matemático. Em todos os casos, a restauração da granulação de filme ocorre antes da exibição. Imagens com granulação de filme adicionada nunca são usadas dentro do processo de decodificação; porém, um certo paralelismo pode ser possível para modelos causais.
O anterior descreve uma técnica para codificação da granulação de filme em uma imagem de vídeo.
de 12/01/2018, pág. 23/29

Claims (3)

REIVINDICAÇÕES
1. Processo para simular granulação de filme,
CARACTERIZADO pelo fato de compreender as etapas de:
receber pelo menos uma imagem codificada (14); receber a informação de caracterização da granulação de filme (25) indicativa de uma granulação em um filme no qual pelo menos uma imagem codificada foi originalmente gravada anteriormente à codificação;
decodificar pelo menos a imagem codificada; simular um padrão da granulação de filme (29), de acordo com a informação de caracterização da granulação de filme recebidas.
2. Processo, de acordo com a reivindicação 1, CARACTERIZADO adicionalmente pelo fato de compreender a etapa de combinar a granulação de filme simulada com a imagem decodificada.
3. Processo, de acordo com a reivindicação 1, CARACTERIZADO adicionalmente pelo fato de compreender as etapas de:
receber a imagem codificada (14) em um formato de codificação de vídeo ITU-T H.264; e receber a informação de caracterização da granulação de fil-
me (25) como uma Mensagem de Informações Suplementares de Vídeo (SEI). 4 . Processo, de acordo com a reivindicação 1, CARACTERIZADO pelo fato da etapa de receber a informação de
caracterização da granulação de filme incluir a etapa de rede 12/01/2018, pág. 24/29 ceber um identificador, cujo tipo de estoque de filme foi originalmente usado para gravar a imagem codificada.
5. Processo, de acordo com a reivindicação 1, CARACTERIZADO pelo fato da etapa de receber a informação de caracterização da granulação de filme (25) incluir a etapa de receber um identificador de um modelo que melhor se aproxima da granulação de filme no estoque de filme originalmente usado para gravar a imagem codificada.
6. Processo, de acordo com a reivindicação 1, CARACTERIZADO pelo fato da etapa de receber a informação de caracterização da granulação de filme (25) incluir a etapa de receber informação indicativa de tamanho, intensidade, correlação espacial, e correlação de cores da granulação de filme.
7. Processo, de acordo com a reivindicação 1, CARACTERIZADO adicionalmente pelo fato de incluir a etapa de simular separadamente o padrão da granulação de filme para grupos separados de imagens no vídeo codificado.
8. Processo para simular granulação de filme, CARACTERIZADO pelo fato de compreender as etapas de:
codificar uma imagem (12) gravada originalmente no filme;
identificar a granulação de filme presente na imagem; antes da codificação e estabelecer a informação de caracterização da granulação de filme (25) para o filme de acordo com a granulação de filme identificada na imagem usando um processo de modelagem pré-definido de forma que mediante a decodificação de 12/01/2018, pág. 25/29 da imagem codificada, um padrão da granulação de filme possa ser simulado de acordo com a informação de caracterização da
granulação de filme para combinação com a imagem decodifica- da. 9. Processo, de acordo com a reivindicação 8, CARACTERIZADO adicionalmente pelo fato de compreender as
etapas de:
codificar a imagem (12) em um formato de codificação de vídeo ITU-T H.264; e formatar a informação de caracterização da granulação de filme (25) como uma Mensagem de Informações Suplementares de Vídeo (SEI).
10. Processo, de acordo com a reivindicação 8, CARACTERIZADO pelo fato da etapa de estabelecer a informação de caracterização da granulação de filme (25) incluir a etapa de identificar qual tipo de estoque de filme originalmente gravou a imagem codificada.
11. Processo, de acordo com a reivindicação 8, CARACTERIZADO pelo fato da etapa de estabelecer a informação de caracterização da granulação de filme incluir a etapa de identificar um modelo que melhor forneça uma indicação da granulação de filme no filme que originalmente gravou a imagem.
12. Processo, de acordo com a reivindicação 11, CARACTERIZADO pelo fato da etapa de identificar o modelo incluir escolher um melhor modelo dentre uma pluralidade de modelos de granulação de filme.
de 12/01/2018, pág. 26/29
13. Processo, de acordo com a reivindicação 8, CARACTERIZADO pelo fato da etapa de estabelecer a informação de caracterização da granulação de filme incluir a etapa de estabelecer o tamanho, intensidade, correlação espacial, e correlação de cores da granulação de filme.
14. Processo, de acordo com a reivindicação 8, CARACTERIZADO adicionalmente pelo fato de incluir a etapa de remover a granulação de filme da imagem antes da codificação.
15. Aparelho para simular granulação de filme em uma imagem, CARACTERIZADO pelo fato de compreender:
um decodificador (15, 28) para recepção de uma imagem codificada (12) e para recepção da informação de caracterização da granulação de filme (25) indicativa da granulação em um filme, sobre o qual a imagem codificada foi originalmente gravada, e para decodificação da imagem; e um processador de restauração da granulação de filme (30) para simular um padrão da granulação de filme, de acordo com a informação de parâmetro da granulação de filme recebida, e para combinação do padrão simulado da granulação de filme com a imagem decodificada.
16. Aparelho, de acordo com a reivindicação 15, CARACTERIZADO pelo fato do decodificador receber a informação de caracterização da granulação de filme (25) como informação paralela à imagem codificada.
17. Aparelho, de acordo com a reivindicação 15, CARACTERIZADO pelo fato do decodificador receber a imagem codificada (12) em um formato de codificação de vídeo ITU-T de 12/01/2018, pág. 27/29
H.264; e onde o decodificador recebe a informação de caracterização da granulação de filme (25) como uma Mensagem de
Informações Suplementares de Vídeo (SEI).
18. Aparelho, de acordo com a reivindicação 15, CARACTERIZADO pelo fato da informação de caracterização da granulação de filme (25) incluir um identificador de qual tipo de estoque de filme originalmente gravou a imagem codificada, para fornecer uma indicação da granulação de filme.
19. Aparelho, de acordo com a reivindicação 15, CARACTERIZADO pelo fato da informação de caracterização da granulação de filme (25) incluir um identificador de um modelo que melhor fornece uma indicação da granulação de filme no filme que originalmente gravou a imagem codificada, para fornecer uma indicação da granulação de filme.
20. Aparelho, de acordo com a reivindicação 19, CARACTERIZADO pelo fato identificador de modelo identificar o melhor modelo dentre uma pluralidade de modelos de granu- lação de filme . 21. Aparelho, de acordo com a reivindicação 15, CARACTERIZADO pelo fato da informação de caracterização da
granulação de filme (25) incluir informação indicativa do tamanho, intensidade, correlação espacial, e correlação de cores da granulação de filme.
de 12/01/2018, pág. 28/29 * ϊ ····· · · · ······ · ·» · · · « · ··· ····;· lí *······ *
BRPI0408570-1A 2003-04-10 2004-02-24 Processos e aparelho para simular granulação de filme em uma imagem BRPI0408570B1 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US46238903P 2003-04-10 2003-04-10
US60/462.389 2003-04-10
PCT/US2004/005365 WO2004095829A1 (en) 2003-04-10 2004-02-24 Technique for simulating film grain on encoded video

Publications (2)

Publication Number Publication Date
BRPI0408570A BRPI0408570A (pt) 2006-03-21
BRPI0408570B1 true BRPI0408570B1 (pt) 2018-02-27

Family

ID=33310736

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0408570-1A BRPI0408570B1 (pt) 2003-04-10 2004-02-24 Processos e aparelho para simular granulação de filme em uma imagem

Country Status (9)

Country Link
US (1) US7899113B2 (pt)
EP (1) EP1611740B1 (pt)
JP (2) JP4723483B2 (pt)
KR (1) KR100987666B1 (pt)
CN (1) CN100591102C (pt)
BR (1) BRPI0408570B1 (pt)
ES (1) ES2395718T3 (pt)
MY (1) MY154342A (pt)
WO (1) WO2004095829A1 (pt)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7549128B2 (en) 2000-08-08 2009-06-16 Thomson Licensing Building macro elements for production automation control
US9123380B2 (en) 1998-12-18 2015-09-01 Gvbb Holdings S.A.R.L. Systems, methods, and computer program products for automated real-time execution of live inserts of repurposed stored content distribution, and multiple aspect ratio automated simulcast production
US11109114B2 (en) 2001-04-18 2021-08-31 Grass Valley Canada Advertisement management method, system, and computer program product
WO2005020585A1 (en) 2003-08-20 2005-03-03 Thomson Licensing S.A. Video comfort noise addition technique
EP1661089B1 (en) * 2003-08-29 2007-12-12 THOMSON Licensing Method and apparatus for modeling film grain patterns in the frequency domain
EP1676445B1 (en) * 2003-09-23 2019-09-04 InterDigital VC Holdings, Inc. Method for simulating film grain by mosaicing pre-computed samples
JP4931587B2 (ja) * 2003-09-23 2012-05-16 トムソン ライセンシング 周波数フィルタリングを用いてフィルムグレインをシミュレートする手法
JP2007507169A (ja) * 2003-09-23 2007-03-22 トムソン ライセンシング ビデオ・コンフォートノイズ付加技術
JP2007508788A (ja) 2003-10-14 2007-04-05 トムソン ライセンシング ビットの正確な快適ノイズの付加方法及び装置
RU2367020C2 (ru) * 2004-03-19 2009-09-10 Конинклейке Филипс Электроникс Н.В. Введение и выделение начального числа, связанного с телевизионным сигналом для создания псевдослучайного шума
JP4543873B2 (ja) * 2004-10-18 2010-09-15 ソニー株式会社 画像処理装置および処理方法
ZA200703153B (en) 2004-10-18 2008-08-27 Thomson Licensing Film grain simulation method
CN101095356B (zh) * 2004-10-21 2013-06-19 汤姆森许可贸易公司 基于块的胶片颗粒图案的自适应解块技术
KR101254611B1 (ko) 2004-11-12 2013-04-15 톰슨 라이센싱 비디오 재생 시스템에 대한 정상 플레이와 트릭 모드플레이에 대한 필름 그레인 시뮬레이션
ATE553455T1 (de) * 2004-11-16 2012-04-15 Thomson Licensing Verfahren zum simulieren von filmkörnigkeit auf der basis vorausberechneter transformationskoeffizienten
CA2587117C (en) 2004-11-17 2014-02-11 Thomson Licensing Bit-accurate film grain simulation method based on pre-computed transformed coefficients
US8483288B2 (en) 2004-11-22 2013-07-09 Thomson Licensing Methods, apparatus and system for film grain cache splitting for film grain simulation
DE602005015249D1 (de) * 2004-11-23 2009-08-13 Thomson Licensing Filmkörnigkeitssimulationstechnik mit geringer komplexität
US7596239B2 (en) * 2005-08-02 2009-09-29 Lsi Corporation Method and/or apparatus for video watermarking and steganography using simulated film grain
KR100662616B1 (ko) 2006-01-17 2007-01-02 삼성전자주식회사 필름 영상 제공방법 및 그 필름 영상을 제공하는영상표시장치
BRPI0711611A2 (pt) * 2006-05-18 2011-12-27 Thomson Licensing tÉcnica de ocultaÇço de dados
EP2036036B1 (en) * 2006-06-21 2018-10-31 Thomson Licensing Automatic film grain adjustment
CN101523441B (zh) * 2006-09-29 2012-01-18 汤姆逊许可证公司 空间活动量度和用于评价空间活动量度的方法
WO2008046243A1 (en) * 2006-10-16 2008-04-24 Thomson Licensing Method and device for encoding a data stream, method and device for decoding a data stream, video indexing system and image retrieval system
CN101193321B (zh) * 2006-11-27 2012-02-22 汤姆森许可贸易公司 编码设备、解码设备、记录设备、音频/视频数据传送系统
US8213500B2 (en) * 2006-12-21 2012-07-03 Sharp Laboratories Of America, Inc. Methods and systems for processing film grain noise
US7742652B2 (en) * 2006-12-21 2010-06-22 Sharp Laboratories Of America, Inc. Methods and systems for image noise processing
KR101072341B1 (ko) 2007-01-18 2011-10-11 노키아 코포레이션 Rtp 페이로드 포맷에서의 sei 메시지들의 전송
JP2008219163A (ja) * 2007-02-28 2008-09-18 Toshiba Corp 情報符号化方法、情報再生方法、及び情報記憶媒体
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
US8432975B2 (en) * 2008-01-18 2013-04-30 Mediatek Inc. Apparatus and method for processing a picture frame
CN101778300B (zh) * 2008-12-05 2012-05-30 香港应用科技研究院有限公司 模拟胶片颗粒噪声的方法和装置
US10034004B2 (en) * 2012-08-24 2018-07-24 I-Cubed Research Center Inc. Receiving apparatus, transmitting apparatus, and image transmitting method
KR101979634B1 (ko) 2012-12-13 2019-05-20 삼성전자주식회사 화질 개선을 위한 영상 처리 장치 및 그 방법
WO2015128302A1 (en) * 2014-02-25 2015-09-03 Thomson Licensing Method and apparatus for filtering and analyzing a noise in an image
US9438821B1 (en) 2014-04-11 2016-09-06 Suny Behar Parker Method for applying multi-layered film grain and texture mapping to a digital video image
US10560215B1 (en) 2017-03-27 2020-02-11 Amazon Technologies, Inc. Quality control service using input quality metrics
US10778354B1 (en) 2017-03-27 2020-09-15 Amazon Technologies, Inc. Asynchronous enhancement of multimedia segments using input quality metrics
US10310928B1 (en) * 2017-03-27 2019-06-04 Amazon Technologies, Inc. Dynamic selection of multimedia segments using input quality metrics
CN113654484B (zh) * 2021-08-27 2022-08-19 吉林大学 四向驱动放射形风道的汽车形貌测量系统噪声模拟仪
CN116708876B (zh) * 2023-05-06 2024-05-14 神力视界(深圳)文化科技有限公司 视频流处理、展示方法、计算机可读存储介质及电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4935816A (en) 1989-06-23 1990-06-19 Robert A. Faber Method and apparatus for video image film simulation
JPH0497681A (ja) * 1990-08-16 1992-03-30 Nippon Telegr & Teleph Corp <Ntt> 映像符号化復号化装置
US5687011A (en) 1990-10-11 1997-11-11 Mowry; Craig P. System for originating film and video images simultaneously, for use in modification of video originated images toward simulating images originated on film
US5140414A (en) 1990-10-11 1992-08-18 Mowry Craig P Video system for producing video images simulating images derived from motion picture film
US5374954A (en) 1990-10-11 1994-12-20 Harry E. Mowry Video system for producing video image simulating the appearance of motion picture or other photographic film
US5457491A (en) 1990-10-11 1995-10-10 Mowry; Craig P. System for producing image on first medium, such as video, simulating the appearance of image on second medium, such as motion picture or other photographic film
US5335013A (en) 1992-01-16 1994-08-02 Faber Robert A Method and apparatus for video camera image film simulation
US6327304B1 (en) 1993-05-12 2001-12-04 The Duck Corporation Apparatus and method to digitally compress video signals
US5471572A (en) 1993-07-09 1995-11-28 Silicon Graphics, Inc. System and method for adding detail to texture imagery in computer generated interactive graphics
US5475425B1 (en) 1994-01-25 2000-07-25 Przyborski Production Apparatus and method for creating video ouputs that emulate the look of motion picture film
US5831673A (en) 1994-01-25 1998-11-03 Przyborski; Glenn B. Method and apparatus for storing and displaying images provided by a video signal that emulates the look of motion picture film
WO1996013006A1 (en) 1994-10-20 1996-05-02 Mark Alan Zimmer Digital mark-making method
US5629769A (en) 1995-06-01 1997-05-13 Eastman Kodak Company Apparatus and method for the measurement of grain in images
US5641596A (en) * 1995-12-05 1997-06-24 Eastman Kodak Company Adjusting film grain properties in digital images
US6317216B1 (en) 1999-12-13 2001-11-13 Brown University Research Foundation Optical method for the determination of grain orientation in films
EP1279111A4 (en) * 2000-04-07 2005-03-23 Dolby Lab Licensing Corp IMPROVED TIME AND RESOLUTION STRUCTURE FOR ADVANCED TELEVISION
CA2309002A1 (en) 2000-05-23 2001-11-23 Jonathan Martin Shekter Digital film grain reduction
JP2002095181A (ja) * 2000-09-12 2002-03-29 Canon Inc 複合システム
US6940993B2 (en) * 2000-12-13 2005-09-06 Eastman Kodak Company System and method for embedding a watermark signal that contains message data in a digital image
PT3798988T (pt) 2003-05-15 2021-09-08 Dolby Int Ab Método e aparelho para representar a granularidade de imagens por um ou mais parâmetros
US7680356B2 (en) * 2003-10-14 2010-03-16 Thomson Licensing Technique for bit-accurate comfort noise addition
CN101095356B (zh) * 2004-10-21 2013-06-19 汤姆森许可贸易公司 基于块的胶片颗粒图案的自适应解块技术
US7596239B2 (en) * 2005-08-02 2009-09-29 Lsi Corporation Method and/or apparatus for video watermarking and steganography using simulated film grain

Also Published As

Publication number Publication date
KR20050120708A (ko) 2005-12-22
BRPI0408570A (pt) 2006-03-21
US20060215767A1 (en) 2006-09-28
ES2395718T3 (es) 2013-02-14
JP2006524013A (ja) 2006-10-19
US7899113B2 (en) 2011-03-01
JP2011091822A (ja) 2011-05-06
WO2004095829A1 (en) 2004-11-04
MY154342A (en) 2015-05-29
JP4723483B2 (ja) 2011-07-13
CN1771721A (zh) 2006-05-10
KR100987666B1 (ko) 2010-10-13
EP1611740B1 (en) 2012-11-21
EP1611740A1 (en) 2006-01-04
CN100591102C (zh) 2010-02-17

Similar Documents

Publication Publication Date Title
BRPI0408570B1 (pt) Processos e aparelho para simular granulação de filme em uma imagem
KR101166948B1 (ko) 낮은 복잡도의 필름 그레인 시뮬레이션 기법
JP4919804B2 (ja) 1つ又は複数のパラメータによって画像粒状性を表す方法及び装置
RU2378697C2 (ru) Способ имитации зернистости пленки
RU2372658C2 (ru) Способ и устройство для считывания структур зерна кино/фотопленки в последовательности растра при имитации зерна кино/фотопленки
AU2004298261B2 (en) Technique for film grain simulation using a database of film grain patterns
US20070297515A1 (en) Film Grain Simulation Method Based on Pre-Computed Transform Coefficients
US9098916B2 (en) Bit-accurate film grain simulation method based on pre-computed transformed coefficients
US10715834B2 (en) Film grain simulation based on pre-computed transform coefficients
MXPA05010856A (en) Technique for simulating film grain on encoded video

Legal Events

Date Code Title Description
B25A Requested transfer of rights approved

Owner name: DOLBY INTERNATIONAL AB (NL)

B15K Others concerning applications: alteration of classification

Ipc: H04N 19/136 (2014.01), H04N 19/117 (2014.01), G06T

B07A Application suspended after technical examination (opinion) [chapter 7.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]
B25G Requested change of headquarter approved