BRPI0410320B1

BRPI0410320B1 - método e aparelho para representação de granularidade de imagem por um ou mais parâmetros

Info

Publication number: BRPI0410320B1
Application number: BRPI0410320A
Authority: BR
Inventors: Kobilansky Alexander; Gomila Cristina
Original assignee: Dolby Int Ab; Thomson Licensing
Priority date: 2003-05-15
Filing date: 2004-03-30
Publication date: 2018-09-04
Also published as: MXPA05012295A; DK3457359T3; JP2012124952A; CA2875894C; CA2875894A1; AU2004241535B2; ES2834393T3; PL3862973T3; PT3798988T; US20060256873A1; HUE052520T2; DK3913579T3; BRPI0410383B1; CN100371955C; CN101350891A; ES2886351T3; PL378931A1; DK1627360T3; SI3862973T1; AU2004240456B2

Abstract

"método e aparelho para representação de granularidade de imagem por um ou mais parâmetros". para caracterizar grão de filme, um caracterizador de grão de filme (23) recebe um fluxo de informações de entrada (12) e um fluxo de informações filtradas (24) do qual o grão de filme foi removido. desses fluxos, o caracterizador de grão de filme 23 transmite uma mensagem que contém uma identidade de um modelo para simular grão, bem como pelo menos um de um conjunto de vários parâmetros, incluindo parâmetros de correlação, parâmetros independentes de intensidade e parâmetros dependentes de intensidade utilizados pelo modelo identificado. um codificador (26, 13) codifica as informações de grão de filme para transmissão subseqüente.

Description

(54) Título: MÉTODO E APARELHO PARA REPRESENTAÇÃO DE GRANULARIDADE DE IMAGEM POR UM OU MAIS PARÂMETROS (51) Int.CI.: G06T 5/00; G06T 5/10; G06T 9/00; H04N 19/60; H04N 5/262 (30) Prioridade Unionista: 15/05/2003 US 60/470.712 (73) Titular(es): DOLBY INTERNATIONAL AB (72) Inventor(es): CRISTINA GOMILA; ALEXANDER KOBILANSKY (85) Data do Início da Fase Nacional: 14/11/2005 “MÉTODO

E

APARELHO

PARA REPRESENTAÇÃO DE

GRANULARIDADE DE IMAGEM POR UM OU MAIS PARÂMETROS

Referência cruzada a pedidos relacionados

Esse pedido reivindica a prioridade de acordo com 35 U.S.C. 119(e) para o Pedido de patente provisória U.S. número de série 60/470.712, depositado em 15 de maio de 2003 que também é prioridade para o Pedido de Patente não provisório US 10/556,834 depositado em 15 de novembro de 2005 e publicado sob o n° US 2006-0256873 A1, cujos ensinamentos são aqui incorporados.

Campo técnico

A presente invenção refere-se a uma técnica para simular grão de filme.

Antecedentes da Invenção

Filmes de cinema compreendem cristais de haleto de prata dispersos em uma emulsão, que é revestida em camadas delgadas em uma base de filme. A exposição e revelação desses cristais formam a imagem fotográfica que consiste em minúsculas partículas distintas de prata. Em negativos em cores, onde a prata é quimicamente removida após revelação, glóbulos minúsculos de corante ocorrem nos locais onde os cristais de prata se formam. Essas pequenas manchas de corante são comumente denominadas ‘grão' em filme em cores. Grão aparece aleatoriamente distribuído sobre a imagem resultante devido à formação aleatória de cristais de prata na emulsão original. Em uma área uniformemente exposta, alguns cristais se desenvolvem após exposição enquanto outros não.

de 22/12/2017, pág. 17/35

O grão varia em tamanho e formato. Quanto mais rápido o filme, maiores os pedaços de prata formados e glóbulos de corante gerados, e mais eles tendem a agrupar-se juntos em padrões aleatórios. O padrão de grão é tipicamente conhecido como ‘granularidade'. O olho nu não pode distinguir grãos individuais, os quais variam de 0,0002 mm a aproximadamente 0,002 mm. Em vez disso, o olho decompõe grupos de grãos, mencionados como glóbulos. Um espectador identifica esses grupos de glóbulos como grão de filme. À medida que a resolução da imagem se torna maior, a percepção do grão do filme se torna mais elevada. Grão de filme se torna claramente perceptível em imagens de alta definição e cinema, ao passo que grão de filme perde progressivamente a importância em SDTV e se torna imperceptível em formatos menores.

O filme de cinema contém tipicamente ruído dependente de imagem que resulta do processo físico de exposição e revelação do filme fotográfico ou da edição subseqüente das imagens. O filme fotográfico possui um padrão quase aleatório característico, ou textura, resultando de granularidade física da emulsão fotográfica. Alternativamente, um padrão similar pode ser simulado sobre imagens geradas por computador a fim de misturar as mesmas com filme fotográfico. Nos dois casos, esse ruído dependente da imagem é mencionado como grão. Bem freqüentemente, textura moderada de grão apresenta uma característica desejável em filmes. Em algumas instâncias, o grão de filme fornece matizes visuais que facilitam a percepção correta de imagens bidimensionais. O grau de filme é freqüentemente variado em um único filme de 22/12/2017, pág. 18/35 para fornecer diversas dicas com relação à referência de tempo, ponto de visão, etc. Muitos outros usos artísticos e técnicos existem para controlar textura de grão na indústria de filmes. Portanto, conservar a aparência granulosa de imagens por todo o processamento de imagem e cadeia de entrega tornou-se uma exigência na indústria de filmes.

Vários produtos comercialmente disponíveis têm a capacidade de simular grão de filme, freqüentemente para mistura de um objeto gerado por computador em cena natural. Cineon® da Eastman Kodak Co., Rochester Nova York, uma das primeiras aplicações de filme digital para implementar simulação de grão, produz resultados muito realísticos para muitos tipos de grãos. Entretanto, a aplicação de Cineon® não fornece bom desempenho para muitos filmes de alta velocidade devido às tiras diagonais perceptíveis que a aplicação produz para ajustes de tamanho de grão elevado. Além disso, a aplicação de Cineon® falha em simular grão com fidelidade adequada quando as imagens são submetidas ao processamento prévio, por exemplo, como quando as imagens são copiadas ou digitalmente processadas.

Outro produto comercial que simula grão de filme é Grain Surgery™ da Visual Infinity Inc., que é utilizada como um encaixe de Adobe® After Effects®. O produto Grain Surgery™ parece gerar grão sintético pela filtração de um conjunto de números aleatórios. Essa abordagem apresenta a desvantagem de uma elevada complexidade computacional.

Nenhum desses esquemas passados resolve o problema de restaurar grão de filme em restauração de vídeo comprimide 22/12/2017, pág. 19/35 do. Grão de filme constitui um fenômeno quase aleatório de alta freqüência que tipicamente não pode ser submetido à compressão utilizando métodos temporal e espacial convencionais que tiram proveito de redundâncias nas seqüências de vídeo. As tentativas para processar imagens originadas de filme utilizando técnicas de compressão MPEG-2 ou ITU-T/ISO H.264 resultam normalmente em um grau inaceitavelmente baixo de compressão ou perda total da textura de grão.

Desse modo, existe necessidade de uma técnica para representar as características de grão de filme através de um ou mais de um conjunto de parâmetros.

SUMÁRIO DA INVENÇÃO

Em resumo, de acordo com uma modalidade preferida dos presentes princípios, é fornecida uma técnica para simular grão de filme. O método começa pela caracterização em fluxo de informação de imagem, como por exemplo, um fluxo de vídeo contendo uma imagem de filme, para fornecer informações indicativas do grão de filme no fluxo de informação de imagem. A informação de grão de filme inclui pelo menos um parâmetro entre um conjunto de parâmetros possíveis especificando diferentes atributos do grão de filme no fluxo de imagem. As informações de grão de filme são então codificadas para transmissão subseqüente.

BREVE DESCRIÇÃO DOS DESENHOS

A Figura 1 ilustra um diagrama de blocos de uma primeira modalidade de um sistema de acordo com os presentes princípios para simular grão de filme de acordo com os presentes princípios;

de 22/12/2017, pág. 20/35

A Figura 2 ilustra um diagrama de blocos de uma segunda modalidade de um sistema de acordo com os presentes princípios para simular grão de filme de acordo com os presentes princípios; e

A Figura 3 ilustra um diagrama de blocos de uma terceira modalidade de um sistema de acordo com os presentes princípios para simular grão de filme de acordo com os presentes princípios.

DESCRIÇÃO DETALHADA

A Figura 1 representa um diagrama esquemático de blocos de uma primeira modalidade de um sistema 10 de acordo com os presentes princípios para executar simulação de grão de filme de acordo com os presentes princípios. O sistema 10 inclui um Removedor de Grão de Filme 22 que serve para remover o grão de filme de um fluxo de vídeo de entrada 12 para fornecer um fluxo de vídeo filtrado 24 recebido em um Codificador de Vídeo 13. A remoção de grão de filme constitui um caso específico de filtração de ruído onde o sinal de ruído parece correlacionado ao sinal de imagem. Desse modo, o Removedor de Grão de Filme 22 pode assumir a forma de um filtro de imagem clássico, embora tal filtro não forneça necessariamente desempenho ótimo. O Codificador de Vídeo 13 codifica um fluxo de vídeo filtrado 24 para fornecer um fluxo de vídeo codificado 14 para recebimento em um Decodificador de vídeo 15 que decodifica o fluxo codificado para fornecer um fluxo de vídeo decodificado 16. O Codificador de vídeo 13 e o Decodificador de vídeo 15 utilizam o mesmo esquema de codificação de vídeo como bem conhecido na arte. Por exemplo, de 22/12/2017, pág. 21/35 o esquema de codificação de vídeo poderia compreender o padrão de codificação de vídeo ITU-T H.264, ou outro tipo de codificação baseada em bloco. Codificadores e decodificadores que utilizam o padrão MPEG-2 e ITU-T H.264 são bem conhecidos.

O sistema 10 também inclui um Caracterizador de grão de filme 23 que recebe o fluxo de vídeo de entrada 12 e o fluxo de vídeo filtrado 24. Desses fluxos de vídeo, o Caracterizador de Grão de filme 23 transmite uma mensagem, doravante mencionada como mensagem de grão, que contém uma identidade de um modelo para simular grão, bem como pelo menos um de um conjunto de vários parâmetros, incluindo parâmetros de correlação, parâmetros independentes de intensidade e parâmetros dependentes de intensidade utilizados pelo modelo identificado. Como discutido em detalhe abaixo, os parâmetros na mensagem de grão de filme permitem a simulação do ruído dependente de imagem original utilizando o modelo identificado. Na ausência de quaisquer dos parâmetros, um valor default é atribuído àquele parâmetro ausente. (Realmente, se nenhum modelo é identificado, um modelo default para grão de filme é assumido. Em uma modalidade, o caracterizador de grão de filme 23 gera os parâmetros de acordo com um modelo baseado no processo físico de exposição e revelação do filme fotográfico ou em processos adicionados durante a edição subseqüente das imagens.

Após geração da mensagem de grão, um Codificador de informações de caracterização de Grão de filme 26 codifica a mensagem para transmissão para um Decodificador de Inde 22/12/2017, pág. 22/35 formações de caracterização de grão de filme 28 em faixa ou fora de faixa do fluxo de vídeo codificado 14 transmitido pelo Codificador de Vídeo 13 para um Decodificador de vídeo

15. Tanto o Codificador de vídeo 13 como o Codificador de Informações de caracterização de grão de filme 26 utilizam o mesmo esquema de codificação. Desse modo, por exemplo, quando o Codificador 26 utiliza o padrão de codificação de vídeo ITU-T H.264 para codificar, o fluxo de informações de caracterização de grão de filme codificado 27 pode ter a forma da mensagem de Informações de Intensificação suplementar (SEI Supplemental Enhancement Information) de grão de filme como definido no padrão de codificação de vídeo ITU-T H.264.

O Decodificador de informações de caracterização de grão de filme 28 decodifica a mensagem de grão de filme codificado 27 para fornecer um fluxo de informações de caracterização de filme decodificado 29 para entrada em um Processador de Restauração de Grão de filme 30. Como descrito em detalhes a seguir, o Processador 30 simulará o grão de filme com um modelo identificado na mensagem de grão utilizando parâmetros em mensagem. Na ausência da identificação do modelo, o Processador 30 assumirá um modo default. De modo semelhante, na ausência de um valor especificado de um dado parâmetro, o Processador 30 assumirá um valor default para aquele parâmetro.

Em uma modalidade preferida, a mensagem de grão 25 da figura 1 incluirá tipicamente um ou mais parâmetros de correlação especificando Correlação Espacial, Relação de asde 22/12/2017, pág. 23/35 pectos, Correlação de cor, e Correlação temporal. Cada um desses parâmetros é discutido abaixo.

Correlação espacial

Em uma modalidade exemplar, a correlação dependente de imagem do grão de filme no domínio espacial pode ser modelada com pelo menos um parâmetro, Correlação Espacial. A correlação espacial medida determina o tamanho dos glóbulos. Um modelo de auto regressão de segunda ordem e um modelo de convolução para a Correlação espacial são descritos a seguir.

Relação de aspectos

De modo ideal, o grão de filme deve parecer isotrópico, com características idênticas tanto na direção X como Y. Entretanto, na prática, o grão de filme na realidade pode parecer estirado em uma direção, freqüentemente resultando de fatores relacionados à gravação do filme, como o uso de óptica anamórfica ou geometria de detector não quadrado. Por esse motivo, ao modelar grão de filme, um parâmetro independente de intensidade que representa o fator de relação de aspectos complementará a medida de correlação espacial. A relação de aspectos dos glóbulos de grão é especificada com pelo menos um parâmetro.

Correlação de cor

De acordo com os presentes princípios, a dependência de camada do grão de filme em imagens de cor é representada utilizando correlação de cor. A correlação de cor medida determina a matiz percebida do grão. Uma correlação de cor fraca significa que glóbulos de grão criados nas camadas de 22/12/2017, pág. 24/35 de cor diferente sobrepõem aleatoriamente uma à outra. Conseqüentemente um espectador perceberá o grão como colorido. Uma correlação de cor elevada significa que os glóbulos de grão em um componente de cor dependem dos outros componentes de cor. Nesse caso, um espectador perceberá o grão como monocromático.

Correlação temporal

A correlação temporal do grão em seqüências é representada por pelo menos um parâmetro. O grão por si só não pode apresentar nenhuma correlação temporal entre quadros, porém a introdução de um parâmetro representando correlação temporal pode ajudar a simular outros efeitos observados causados pela edição do filme.

Intensidade de ruído

Em combinação com os parâmetros anteriormente discutidos que representam a dependência do grão de filme com a imagem de filme, existe necessidade de representar a intensidade do ruído que se origina dos processos aleatórios que originam o grão de filme. Intensidade de ruído pode variar para cada componente de cor e dependerá da imagem de filme. A intensidade do grão determina o nível no qual o ruído é percebido na imagem. Níveis de intensidade de grão pequenos introduzem pequenas variações na imagem original e dificilmente parecem perceptíveis. Níveis de intensidade elevada se tornam claramente visíveis como picos sobrepostos na imagem.

Outros parâmetros

Além dos parâmetros discutidos acima, a mensagem de grão também pode incluir parâmetros que identificam o esde 22/12/2017, pág. 25/35 paço de cor no qual adicionar o grão de filme e o modo de mistura utilizado para misturar o grão com o sinal de vídeo. Observe que um conjunto diferente de parâmetros poderia ser transmitido para cada componente de cor e para diferentes níveis de intensidade da imagem de filme. É bem sabido por exemplo que o grão de filme depende da intensidade local da imagem, e que diferentes componentes de cor podem ter grão diferente dependendo do tipo de material de filme.

O caracterizador de grão de filme 23 da figura 1 pode gerar diferentes conjuntos de parâmetros de acordo com os níveis de intensidade da imagem. Se desejado, o decodificador de grão de Filme 28 pode interpolar o conjunto de parâmetros com diversos níveis de intensidade a fim de derivar uma transição suave das características de grão de filme.

Para interpretar o conjunto de parâmetros, o decodificador de grão de filme 28 deve ter uma especificação do modelo que gera os parâmetros. Para entender como tal modelo pode ser especificado, as seguintes relações matemáticas provarão ser úteis. Primeiramente, o valor de pixel de imagem decodificada na posição de imagem (x, y), canal de cor c, e número de quadro t é representado por I(x,y,c,t) . Por conveniência, considere que os valores de pixel são graduados para ter valor máximo de um. Além disso, considere uma representação de imagem RGB (c=1, 2 ou 3), embora esse modelo possa ser diretamente para imagens monocromáticas e, com modificações óbvias, para representação YUV.

de 22/12/2017, pág. 26/35

Com um modelo de grão aditivo, a simulação de grão muda cada valor de pixel para J(x,y,c,t) onde J(x,y,c,t) é dado pela relação:

(1) J(x,y,c,t) = I(x,y,c,t) + G(x,y,c,t,

L(x,y,t)), onde L(x,y,t) é uma medida de intensidade local na imagem e G(x,y,c,t, L(x,y,t)) define o valor de grão. Uma implementação possível é definir L como luminância, ou uma soma ponderada de intensidades I(x,y,c,t) sobre todos os canais de cor.

O modelo aditivo fornecido pela equação (1) é apropriado quando uma escala de intensidade logarítmica é utilizada. Para escala linear, o modelo de equação (1) pode ser substituído pelo seguinte modo multiplicativo:

(1a) J(x,y,c,t) = I(x,y,c,t)*(1 + G(x,y,c,t, L(x,y,t))).

O fato de se um aditivo ou um modelo de grão multiplicativo é implementado dependerá do formato da imagem decodificada. Em geral, grão deve compreender pequena fração de valor de pixel máximo.

O que se segue descreve alguns exemplos de diferente tipo de modelos para extrair um conjunto de parâmetros de acordo com a presente invenção.

1. Simulação auto regressiva de padrão de grão de filme

Em uma modalidade exemplar, um esquema de auto regressão de segunda ordem pode ser utilizado para modelar correlação espacial e um esquema de regressão de primeira de 22/12/2017, pág. 27/35 ordem pode ser utilizado para modelar correlações temporal e de cor cruzada. Todos os fatores de correlação dependem da intensidade da imagem decodificada. Fatores de correlação espacial horizontal e vertical são relacionados por um fator de relação de aspectos constante. Sob tais condições, a seguinte fórmula fornecerá valores de grão simulado, (2) G(x,y,c,t,L) =p(c, L)*N+ q(c,L)*(G(x-1,y,c,t,L) +A*F(x, y-1,c,t,L))+ r(c,L)*A*(G(x-1,y-1,c,t,L)+G(x+1,y-1,c,t,L))+ s(c,L)*(G(x-2,y,c,t,L)+A*A*G(x,y-2,c,t,L)) +u(c,L)*G(x,y,c-1,t,L)+v(c,L)*G(x,y,c,t-1,L) onde N é um valor aleatório com distribuição Gaussiana normalizada, A é uma relação de aspectos de pixel constante, p,q,r,s,u e v são parâmetros de correlação. O parâmetro u é sempre zero para o primeiro canal de cor, e o valor de grão G assumido como sendo zero sempre que qualquer índice estiver fora de faixa.

Como pode ser visto a partir da estrutura da equação (2), os valores de grão para um dado pixel em um dado canal de cor são calculados de forma recursiva utilizando valores de grão previamente calculados. Especificamente, os quadros são calculados em ordem de número de quadro crescente (isto é, t crescente). Dentro de cada quadro, o processamento de canais de cor ocorre em ordem de número de canal de cor crescente (isto é, c crescente). Dentro de cada canal de cor, os pixels são varridos horizontalmente e a seguir verticalmente em ordem de x e y crescentes. Quando essa ordem é de 22/12/2017, pág. 28/35 seguida, todos os valores de grão exigidos pela equação (2) são automaticamente calculados antecipadamente.

Sob certas circunstâncias, a varredura vertical prova ser mais prática, isto é, o processamento de pixels ocorre pelas colunas primeiramente. Em tais casos, a equação (2) exigirá uma leve modificação para utilizar somente valores previamente calculados:

(2a) G(x,y,c,t,L) = p(c,L)*N + q(c,L)* (g(x-1, y,c,t,L)+A* G(x,y-1,c,t,L))+ r(c,L)*A*(G(x-1,y-1,c,t,L)+G(x-1,y+1,c,t,L))+ s(c,L)*(G(x-2,y,c,t,L)+A*A+G(x,y-2,c,t,L))+ u(c,L)*G(x,y,c-1,t,L)+ v(c,L)*G(x,y,c,t-1,L).

A implementação da equação (2) ou equação (2a)) requer certas capacidades mínimas de decodificador. Primeiramente, o decodificador de Informação de grão 28 deve executar todos os cálculos em tempo real. Em segundo lugar, o decodificador de Informações de grão de filme 28 necessita manter um número de valores de grão previamente calculados em memória. Especificamente, para implementar a correlação temporal (isto é, último termo nas equações (2) e (2a)), o decodificador de Informações de grão de filme 28 necessita manter valores de grão para um quadro anterior completo. A partir dessa perspectiva, é importante que o modelo de equação (2) permita exigências de diminuição gradual com alguma degradação de fidelidade.

Um sistema com fidelidade levemente inferior poderia ignorar o último termo (temporal) na equação (2). Fazer de 22/12/2017, pág. 29/35 isto eliminaria a necessidade de se ter um armazenador de quadro adicional para proteger os valores de grão do quadro anterior. Economia de custo adicional resultaria por negligenciar aqueles termos na equação (2) que dependem de s(c,L). Fazer isso elimina a necessidade de armazenar uma segunda linha anterior na memória e reduz número de cálculos. Negligenciar correlações diagonais descritas pelos termos com r(c, L), e assim por diante obterá uma redução adicional de complexidade. O simulador mais baixo de grão de qualidade utilizará somente termo de ruído branco.

Sempre que um termo for negligenciado em um sistema reduzido, ocorre um benefício se o decodificador de Informações de grão de filme 28 ajustar os parâmetros restantes de modo que a correlação de primeira ordem efetiva e ainda mais importante, a auto-correlação (poder de ruído) permanecer igual a como seria em uma implementação de escala natural do modelo incorporado pela equação (2). O mesmo ajuste deve ocorrer para as primeiras linhas e colunas de cada quadro na ausência da disponibilidade de todos os valores de grão anteriores.

A flexibilidade do modelo incorporado na equação (2) tornar-se-á adicionalmente evidente pelo ajuste de parâmetros p, q, r e z em zero para todos exceto o primeiro canal de cor, e pelo ajuste da correlação de cor u(c,L) para c>1 em 1. Sob tais condições, o grão se torna totalmente monocromático. Esse conjunto de valores de parâmetros pode descrever o caso para variações de cor lavada pela transformação anterior YUV 4:2:0 do espaço de cor.

de 22/12/2017, pág. 30/35

Para um conjunto de três cores, o modelo da equação (2) descreve o padrão de grão em termos de um grupo de dezessete parâmetros para cada nível de luminância, mais uma relação de aspectos que não depende de luminância. Parâmetros dependentes de luminância podem ser codificados para vários níveis de luminância fixos. O decodificador interpolará valores de parâmetros para níveis de luminância intermediários.

Parâmetros de grão não têm de ser representados exatamente na forma da equação (2). Por exemplo, qualquer transformação um para um dos parâmetros poderia ser utilizada. Além disso, o conjunto diferente de níveis de intensidade de referência poderia ser utilizado para diferentes parâmetros e diferentes esquemas de interpolação poderiam ser utilizados, etc.

2. Convolução no domínio espacial para simular o padrão de grão de filme

Em outra modalidade exemplar, o padrão de grão de filme pode ser simulado envolvendo um conjunto de números aleatórios x por um filtro digital invariante em tempo h definido na forma:

(3) h=(h0, h1, h2, h₃, ...hn)

Isto declara que a saída de filtro simulando grão de filme y(n) é a convolução da entrada x(n) com a resposta de impulso de filtro h(n):

n (4) y(n) = Σ x(i)h(n-i)=(x*h)(n) i=0

Embora a equação (4) forneça uma simulação em uma dimensão, um padrão bidimensional poderia ser obtido pela de 22/12/2017, pág. 31/35 concatenação das convoluções vertical e horizontal em uma dimensão. Sob tais circunstâncias, os coeficientes do filtro devem ser transmitidos além do fator de relação de aspectos.

Um decodificador de Informações de Grão de filme 28 com capacidades limitadas pode limitar o tamanho espacial do núcleo de convolução, que resultará em memória diminuída e exigências de poder de processamento.

3. Filtração em um domínio transformado para simular o padrão de grão de filme

Como discutido anteriormente, envolver a resposta de impulso de um filtro h com um conjunto de números aleatórios x pode caracterizar o padrão de grão de filme. Essa mesma operação também pode ser descrita pela multiplicação no domínio de freqüência pela Transformação Fourier da resposta de impulso H e Transformação Fourier do conjunto de números aleatórios X:

(5) Y(u) = X(u).H(u)

A filtração no domínio de freqüência proporciona uma vantagem porque é mais rápido de forma computacional se uma transformação Fourier da imagem estiver disponível por exemplo como parte do processo de compressão ou filtração.

O seguinte conjunto de parâmetros forneceu resultados satisfatórios para representar grão dependente de imagem de acordo com os presentes princípios. Esses parâmetros assumem um método auto regressivo de simular grão. Os parâmetros para outros métodos seriam representados por tabelas similares.

Espaço de cor: RGB logarítmica de 22/12/2017, pág. 32/35

Modo de mistura: aditivo

Relação de aspectos: 1

Número de níveis de intensidade: 3

	Parâmet	ros para ^q	o	componente r	R:
u	v	^p
nível	[0,84] :	0,1		0,01	0,0	0,2	0,02
nível	[85, 168] :	0,1		0,01	0,0	0,15	0,03
nível	[169,255] :	0,3		-0,01	0,0	0,15	0, 05
	Parâmetros para	o	componente	G:
		^q		r	u	v	^p
nível	[0,84] :	0,3		0,0	0,1	0,2	0,01
nível	[85, 168] :	0,2		0,01	0,1	0,15	0,03
nível	[169,255] :	0,1		-0,01	0,1	0,1	0, 05
	Parâmetros para	o	componente	B:
		^q		r	u	v	^p
nível	[0,84] :	0,4		0,01	0,1	0,2	0,02
nível	[85, 168] :	0,1		0,0	0,1	0,15	0,03
nível	[169,255] :	0,1		0,0	0,2	0,1	0,04
	Os parâmetros de	correlação	não	mostrados	nessa
tabela	são ajustados em 0.
	Após especificar	o	espaço de	cor,	o modo de	mistu-
ra, a	relação de	aspectos	e	o número de níveis de intensida-
de para os quais	diferentes	parâmetro	são	definidos,	o grão

de filme em cada componente de cor é codificado. Observe que somente os dados em itálico além de algum nível de informação (intensidade) necessitam ser transmitidos.

A Figura 2 representa uma segunda modalidade 10' de um sistema para simular grão de filme de acordo com os de 22/12/2017, pág. 33/35 presentes princípios. O sistema 10' compartilha muitos dos mesmos elementos que o sistema 10 da figura 1 e números de referência similar descrevem elementos similares. Realmente, o sistema 10' da figura 2 difere somente na ausência do Codificador de informações de caracterização de grão de filme 26 e Decodificador de informações de caracterização de grão de filme 28 da figura 1. O sistema 10' da figura 2 utiliza o Codificador de vídeo 13 e Decodificador de vídeo 15 para codificar e decodificar respectivamente as informações de caracterização de grão de filme 25 transmitidas do Caracterizador de grão de filme 23. O sistema 10' da figura 2 requer o uso de um padrão de codificação de vídeo que suporta as informações de caracterização de grão de filme de transmissão como informações de intensificação paralela.

A Figura 3 representa uma terceira modalidade 10'' de um sistema para simular grão de filme de acordo com os presentes princípios. O sistema 10'' compartilha muitos dos mesmos elementos que o sistema 10' da figura 2 e números de referência similares descrevem elementos similares. Realmente, o sistema 10'' da figura 3 difere somente na ausência do Removedor de grão de filme 22 da figura 2. O sistema 10'' da figura 3 utiliza as imagens reconstruídas disponíveis no Codificador de vídeo 13 para simular o resultado de remover grão de filme. O sistema 10'' da figura 3 proporciona duas vantagens em comparação com os sistemas 10 da figura 1 e 10' da figura 2. Primeiramente, o sistema 10'' da figura 3 reduz a complexidade computacional relacionada à remoção de grão de filme, e em segundo lugar, adapta a caracterização de de 22/12/2017, pág. 34/35 grão de filme à quantidade de grão de filme suprimida pelo Codificador de vídeo 13. Após o Caracterizador de grão de filme da figura 3 fazer uso do vídeo de entrada 12 com grão de filme, e um vídeo reconstruído 24 resultando do Codifica5 dor de vídeo 13, pode realizar a tarefa de caracterizar o grão de filme observado.

É descrita acima uma técnica para simular grão de filme em um sinal de vídeo. Embora a técnica de simulação de grão de vídeo tenha sido descrita com relação à codificação e decodificação de um sinal de vídeo, a técnica tem igual aplicabilidade para outras finalidades, como por exemplo, pós-produção de filmes de cinema por exemplo. A esse respeito, a imagem original poderia existir como informações de imagem em uma forma diferente de um sinal de vídeo comprimi15 do, e as informações de grão de filme poderiam existir em uma forma diferente de uma mensagem, como uma mensagem SEI. Por exemplo, as informações de imagem poderiam existir em um de uma variedade de formatos diferentes que existem na arte.

Petição 870170101251, de 22/12/2017, pág. 35/35

Claims

REIVINDICAÇÕES

1. Método para fornecer informações de grão de filme, CARACTERIZADO por compreender as etapas de:

caracterizar um fluxo de informações de imagem antes da codificação para fornecer informações indicativas de grão de filme no fluxo de imagem, as informações de grão de filme identificando um modelo especificando como simular uma informação de grão de filme e pelo menos um parâmetro dentre um conjunto de parâmetros possíveis na informação de grão de filme especificando diferentes atributos do grão de filme no fluxo de imagem para uso com o referido modelo;

codificar as informações de grão de filme separadamente a partir da codificação da informação de imagem para subsequente transmissão em conjunto para permitir a simulação de grão de filme no fluxo de imagem sobre a decodificação usando informação de grão de filme sobre a decodificação.

Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que as informações de grão de filme incluem um conjunto de parâmetros, cada um especificando um atributo de grão de filme diferente.
3. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o conjunto de parâmetros inclui uma pluralidade de parâmetros de correlação e uma pluralidade de parâmetros independentes de intensidade.
4. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que pelo menos um parâmetro de de 22/12/2017, pág. 7/35 correlação define uma correlação espacial em um padrão percebido de grão de filme.
5. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que pelo menos um parâmetro de correlação define uma correlação entre camadas de cor.
6. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que pelo menos um parâmetro de correlação define uma correlação temporal que resulta de processamento anterior da seqüência de imagem.
7. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que pelo menos um parâmetro independente de intensidade define uma relação de aspectos do grão de filme.
8. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que pelo menos um parâmetro define intensidade de um componente aleatório do grão de filme.
9. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que pelo menos um dos parâmetros independentes de intensidade define um espaço de cor e operação de modo de mistura utilizada para fundir o grão de filme simulado com a imagem.
10. Método, de acordo com a reivindicação 1, CARACTERIZADO por compreender ainda a etapa de transmitir as informações de grão de filme transmitidas fora de faixa com relação à transmissão de informações representativas de imagem.
11. Método, de acordo com a reivindicação 1, CARACTERIZADO por compreender ainda a etapa de transmitir as de 22/12/2017, pág. 8/35 informações de grão de filme transmitidas dentro de faixa com relação à transmissão de informações representativas de imagem.
12. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que o conjunto de parâmetros é estabelecido de acordo com uma representação de auto regressão de segunda ordem da correlação espacial e uma representação de regressão de primeira ordem das correlações temporal e de cor cruzada.
13. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que pelo menos um parâmetro descreve a correlação espacial do grão.
14. Método, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que pelo menos um parâmetro é estabelecido de acordo com um modelo de convolução espacial.
15. Método, de acordo com a reivindicação 14, CARACTERIZADO pelo fato de que pelo menos um parâmetro descreve correlação espacial do grão.
16. Método, de acordo com a reivindicação 15, CARACTERIZADO pelo fato de que pelo menos um parâmetro é obtido de freqüências de corte de um filtro no domínio Fourier.
17. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a etapa de codificação compreende codificar a informação de grão de filme de acordo com o padrão de codificação de vídeo ITU-T H.264.
18. Aparelho para fornecer grão de filme, CARACTERIZADO por compreender:

de 22/12/2017, pág. 9/35 primeiro dispositivo para caracterizar um fluxo de informações de imagem antes da codificação para fornecer informações de grão de filme no fluxo de imagem, as informações identificando um modelo especificando como simular um grão de filme, e pelo menos um parâmetro dentre um conjunto de parâmetros possíveis na informação de grão de filme especificando diferentes atributos de grão de filme no fluxo de imagem para uso com o referido modelo identificado;

segundo dispositivo codificando as informações de grão de filme separadamente a partir da codificação da informação de imagem para subsequente transmissão em conjunto para permitir a simulação do grão de filem no fluxo de imagem sobre a decodificação usando a informação de grão de filme sobre a decodificação.
19. Aparelho do método, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de que o conjunto de parâmetros inclui uma pluralidade de parâmetros de correlação e uma pluralidade de parâmetros independentes de intensidade.
20. Aparelho, de acordo com a reivindicação 19, CARACTERIZADO pelo fato de que pelo menos um parâmetro de correlação define uma correlação espacial em um padrão percebido de grão de filme.
21. Aparelho, de acordo com a reivindicação 19, CARACTERIZADO pelo fato de que pelo menos um parâmetro de correlação define uma correlação entre camadas de cor.
22. Aparelho, de acordo com a reivindicação 19, CARACTERIZADO pelo fato de que pelo menos um parâmetro de de 22/12/2017, pág. 10/35 correlação define uma correlação temporal que resulta de processamento anterior da seqüência de imagem.
23. Aparelho, de acordo com a reivindicação 19, CARACTERIZADO pelo fato de que pelo menos um parâmetro independente de intensidade define uma relação de aspectos do grão de filme.
24. Aparelho, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de que pelo menos um parâmetro define intensidade de um componente aleatório do grão de filme.
25. Aparelho, de acordo com a reivindicação 19, CARACTERIZADO pelo fato de que pelo menos um dos parâmetros independentes de intensidade define um espaço de cor e operação de modo de mistura utilizada para fundir o grão de filme simulado com a imagem.
26. Aparelho, de acordo com a reivindicação 19, CARACTERIZADO pelo fato de que o primeiro dispositivo computa o conjunto de parâmetros de acordo com uma representação de auto regressão de segunda ordem da correlação espacial e uma representação de regressão de primeira ordem das correlações temporal e de cor cruzada.
27. Aparelho, de acordo com a reivindicação 19, CARACTERIZADO pelo fato de que pelo menos um parâmetro descrevendo a correlação espacial do grão é estabelecido de acordo com um modelo de convolução espacial.
28. Método, de acordo com a reivindicação 19, CARACTERIZADO pelo fato de que pelo menos um parâmetro descrevendo a correlação espacial do grão é obtido de freqüências de corte de um filtro no domínio Fourier.

de 22/12/2017, pág. 11/35
29. Aparelho, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de que o segundo meio codifica a informação de grão de filme de acordo com o padrão de codificação de vídeo ITU-T H.264.

Petição 870170101251, de 22/12/2017, pág. 12/35

Vídeo de entrada

Removedoi de grão de filme

Vídeo filtrado 24

Fluxo de vídeo codificado 14

Codificador devídeo

Decodificador devídeo

Informações de grão de filme codificadas

Caracterizadoi 25

Codificador de de grão de Ime grão de filme