BRPI0417216B1 - método e aparelho para criar um bloco de pixels com grão de filme e portadora de dados - Google Patents

método e aparelho para criar um bloco de pixels com grão de filme e portadora de dados Download PDF

Info

Publication number
BRPI0417216B1
BRPI0417216B1 BRPI0417216A BRPI0417216A BRPI0417216B1 BR PI0417216 B1 BRPI0417216 B1 BR PI0417216B1 BR PI0417216 A BRPI0417216 A BR PI0417216A BR PI0417216 A BRPI0417216 A BR PI0417216A BR PI0417216 B1 BRPI0417216 B1 BR PI0417216B1
Authority
BR
Brazil
Prior art keywords
film grain
block
values
film
grain
Prior art date
Application number
BRPI0417216A
Other languages
English (en)
Inventor
Tourapis Alexandros
Gomila Cristina
Allen Cooper Jeffrey
Macdonald Boyce Jill
Llach Joan
Yin Peng
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of BRPI0417216A publication Critical patent/BRPI0417216A/pt
Publication of BRPI0417216B1 publication Critical patent/BRPI0417216B1/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20204Removing film grain; Adding simulated film grain
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Sampling And Sample Adjustment (AREA)

Abstract

"técnica para simulação de grão de filme usando uma base de dados de padrões de grão de filme". pixels individuais em um bloco de imagens passam por mistura com grão de filme de um bloco de grão de filme selecionado aleatoriamente entre uma coleção (18) de blocos de grão de filme previamente estabelecidos de acordo com uma característica luma do bloco de imagens. antes da mistura, o bloco de grão de filme selecionado passa por desbloqueios por um filtro de desbloqueio (28). após a mistura, um recortador (32) recorta os pixels individuais antes da exibição. a coleção (18) de blocos de grão de filme é criada ajustando a escala de um conjunto de padrões de grão de filme de acordo com pelo menos um parâmetro de mensagem de informação de grão de filme que acompanha o bloco de imagens.

Description

MÉTODO E APARELHO PARA CRIAR UM BLOCO DE PIXELS COM GRÃO DE FILME E PORTADORA DE DADOS
REFERÊNCIA CRUZADA A PEDIDOS RELACIONADOS
Este pedido reivindica prioridade sob 35 U. S . C. 119(e) para o pedido de patente provisório no. de série 60/527.895 depositado em 5 de dezembro de 2003, cujos preceitos estão aqui incorporados.
CAMPO TÉCNICO
Esta invenção diz respeito a uma técnica para simular grão de filme em uma imagem.
ANTECEDENTES DA INVENÇÃO
Filmes com imagem em movimento compreendem cristais de haleto de prata dispersos em uma emulsão, que é revestida em camadas delgadas em uma base do filme. A exposição e revelação desses cristais formam a imagem fotográfica que consiste de minúsculas partículas discretas de prata. Em negativos em cores, ocorrem conjuntos de pixels minúsculos de corante nos locais onde os cristais de prata se formam, após a remoção química da prata durante a revelação do estoque de filme. Esses pequenos grãos de areia de corante geralmente levam o nome de grão em filme em cores. Grãos aparecem distribuídos aleatoriamente na imagem resultante em virtude da formação aleatória de cristais de prata na emulsão original. Dentro de uma área uniformemente exposta, alguns cristais são revelados depois da exposição, enquanto outros não.
O grão varia de tamanho e forma. Quanto mais rápido o filme, maiores os borrões de prata formados e dos con
1¾ •··· ·· φ ♦ *
Figure BRPI0417216B1_D0001
juntos de pixels de corante gerados, e tanto mais eles tendem a se agrupar em padrões aleatórios. 0 termo granularidade tipicamente se refere ao padrão de grãos. O olho nu não pode distinguir grãos individuais, que variam de 0,0002 mm a cerca de 0,002 mm. Em vez disso, o olho resolve grupos de grãos, referidos como conjuntos de pixels. Um expectador identifica esses grupos de conjuntos de pixels como grão de filme. Ã medida que a resolução da imagem fica maior, a percepção do grão de filme aumenta. Grão de filme fica clara10 mente perceptível no cinema e imagens de Alta Definição (HD) , enquanto que grão de filme perde progressivamente a importância em Definição Padrão (SD) e fica imperceptível em formatos menores.
Filme com imagem em movimento tipicamente contém ruído dependente da imagem resultante tanto do processo físico de exposição e revelação do filme fotográfico como da subsequente edição das imagens. O filme fotográfico possui um padrão quase aleatório característico, ou textura, resultante de granularidade física da emulsão fotográfica. Alter20 nativamente, a simulação de padrão similar pode ocorrer em imagens geradas por computador a fim de misturá-las com o filme fotográfico. Em ambos os casos, este ruído dependente da imagem leva a designação de grão de filme . Muito freqüentemente, textura de grão moderada apresenta um recurso desejável em imagens em movimento. Em alguns casos, o grão de filme fornece dicas visuais que facilitam a correta percepção de imagens bidimensionais. 0 grão de filme geralmente varia dentro de um único filme para fornecer várias dicas
Figure BRPI0417216B1_D0002
Figure BRPI0417216B1_D0003
como referência de tempo, ponto de visão, etc. Muitas outras demandas técnicas e artísticas existem para controlar textura de grão na indústria cinematográfica. Portanto, preservar a aparência granulosa de imagens por todo o processamento da imagem e cadeia de entrega tem se tornado uma exigência na indústria cinematográfica.
Diversos produtos comercialmente disponíveis têm a * capacidade de simular grão de filme, geralmente para misturar um objeto gerado por computador na cena natural. Cineon® da Eastman Kodak Co, Rochester New York, uma das primeiras aplicações de filme digital a implementar simulação de grão, produz resultados bastante realísticos para altos ajustes de grão de filme. Entretanto, a aplicação Cineon® não leva a um bom desempenho para muitos filmes de alta velocidade em vir15 tude das tiras diagonais perceptíveis que a aplicação produz para altos ajustes de grão de filme. Adicionalmente, a aplicação Cineon® não consegue simular grão com fidelidade adequada quando as imagens são submetidas a processamento anterior, por exemplo, tal como quando as imagens são copiadas ou processadas digitalmente.
Um outro produto comercial que simula grão de fil„ me é Grain Surgery™ da Visual Infinity Inc., que é usado como um plugue de Adobe® After Effects®. O produto Grain Surgery™ parece gerar grão sintético filtrando um conjunto de números aleatórios. Esta abordagem apresenta a desvantagem de uma alta complexidade computacional.
Assim, existe uma necessidade de uma técnica de simulação de grão de filme eficiente, que reduza a necessi-
Figure BRPI0417216B1_D0004
dade de largura de banda de memória e esforço computacional, permitindo assim simulação de grão de filme em dispositivos de alto volume e baratos, tais como aparelhos decodificadores de televisão.
SUMÁRIO DA INVENÇÃO
Resumidamente, de acordo com um aspecto da presente invenção, é provido um método para criar um bloco de Μ x N pixels com grão de filme para misturar com pixels de um bloco de imagem, onde N e M são números inteiros maiores do que zero. O método começa mediante o recebimento de informação de grão de filme que inclui pelo menos um parâmetro que especifica um atributo do grão de filme para aparecer no bloco de grão de filme. (Esses parâmetros que não são transmitidos devem ser estabelecidos nos valores padrões. Em uma modalidade particular, os valores padrões devem ser derivados da maneira especificada no padrão H.2641AVC). Um bloco de grão de filme de Μ χ N pixels é selecionado de uma base de dados de blocos previamente estabelecidos contendo grão de filme em função de um número pseudoaleatório e um conjunto de frequências de corte caracterizantes do padrão de grão de filme. Todos os valores de pixel no bloco de grão de filme selecionado são submetidos a ajuste de escala de acordo com um parâmetro na informação de grão de filme recebida. O bloco criado de grão de filme então se torna parte de um conjunto de blocos de grão de filme do qual um bloco é selecionado para mistura com pixels em um bloco de imagem para similar grão de filme no bloco de imagem.
De acordo com um outro aspecto da presente inven♦ ♦ ·· ♦ ·
Figure BRPI0417216B1_D0005
• · ção, é provido um método para simular grão de filme em um bloco de imagens de pixels. O método começa mediante seleção do bloco de grão de filme de uma coleção de valores de grão de filme pré-estabelecidos. A seleção do bloco de grão de filme ocorre aleatoriamente, de acordo com um número aleatório, entre os blocos da coleção para o intervalo de intensidade luma correspondente ao valor médio de luma do bloco de imagens. 0 bloco de grão de filme selecionado passa por desbloqueamento. Pelo menos uma parte do bloco de grão de filme 10 desbloqueado é misturada com pixels resultantes do bloco de imagem para simular grão de filme e os pixels misturados resultantes são recortados antes da saída, tal como para exibição ou algo parecido.
DESCRIÇÃO RESUMIDA DOS DESENHOS
A Figura 1 representa um desenho esquemático de blocos de um aparelho para gerar blocos de grão de filme pré-estabelecidos para uso em simulação de grão de filme subsequente; e
A Figura 2 representa um desenho esquemático de blocos de um aparelho de acordo com os presentes princípios para simular grão de filme com base em pixel-por-pixel usando os blocos de grão de filme pré-estabelecidos gerados pelo aparelho da figura 1.
DESCRIÇÃO DETALHADA
Introdução
De acordo com os presentes princípios, simulação de grão de filme ocorre de acordo com informação de grão de filme transmitida com uma imagem na qual o grão de filme si-
Figure BRPI0417216B1_D0006
mulado está misturado. Na prática, a imagem transmitida tipicamente é submetida a compressão (codificação) antes da transmissão via um de uma variedade de esquemas de compressão bem conhecidos, tal como o esquema de compressão H.264.
Com a imagem transmitida comprimida usando o esquema de compressão H.2 64, a transmissão da informação de grão de filme tipicamente ocorre via uma mensagem de Informação de Melhoria Suplementar (SEI). No que diz respeito ãs contribuições recém-adotadas pelo corpo de normas responsável pela promul10 gação do padrão H.264, a mensagem SEI pode agora incluir vários parâmetros que especificam diferentes atributos de grão de filme.
Restrições a respeito dos parâmetros de mensagem SEI de grão de filme
0 método dos presentes princípios impõe algumas restrições com relação ao número de parâmetros e sua faixa de possíveis valores permitidos pela recomendação H.264. A tabela 1 fornece uma lista de tais parâmetros, incluindo a descrição de sua semântica e as restrições impostas pelos 20 presentes princípios.
TABELA 1
PARÂMETRO DO GRÃO DE FILME DESCRIÇÃO & RESTRIÇÕES
model id Este parâmetro especifica o modelo de simulação. Ele deve ser 0, que identifica a o modelo de simulação de grão de filme como filtração de frequência.
sepa- Este parâmetro especifica se o
Figure BRPI0417216B1_D0007
mm ··
9 · ·<··
Figure BRPI0417216B1_D0008
rate colour_description_ present-flag espaço de cor no qual os parâmetros são estimados é diferente do espaço de cor no qual a seqüência de vídeo (onde a mensagem SEI de grão de filme foi embutida) foi codificada. Ele deve ser 0, que identifica o espaço de cor do grão de filme igual ao da seqüência codificada
blending mode_id Este parâmetro identifica o modo de mistura usado para misturar o grão de filme simulado com as imagens decodificadas. Ele deve ser 0, que corresponde a um modo de mistura aditiva.
log2_scale_factor Este parâmetro identifica o fator de escala logarítmica usado para representar os parâmetros de grão de filme na mensagem SEI. Ele deve ser na faixa [0,4] para garantir que a simulação de grão de filme possa ser feita usando aritmética de 16-bits.
comp model present-flag[1] Este parâmetro permite a transmissão de parâmetros de grão de filme para o componente de cor Cb no espaço de cor YCbCr. Ele deve ser 0, uma vez que a simu-
Figure BRPI0417216B1_D0009
lação de grão de filme na croma não é suportado.
comp_model_present_flag[2] Este parâmetro permite a transmissão de parâmetros de grão de filme para o componente de cor Cr no espaço de cor YCbCr. Ele deve ser 0, uma vez que a simulação de grão de filme na croma não é suportada.
no intensity__intervals_min usl [0] Este parâmetro define o número de intervalos de intensidade para os quais um conjunto específico de parâmetros foi estimado. Ele deve ser na faixa de [0,7].
inten- sity interval_lower_bound[ o] [i+i] intensity_interval_upper_ bound[0] [i] Esses parâmetros definem os limites dos intervalos de intensidade luma para os quais diferentes parâmetros de grão de filme são definidos. 0 limite inferior do intervalo i + 1 tem que ser maior do que o limite superior do intervalo i em virtude de não ser permitido grão de filme multigeracional.
num_model_values_minusl[0] Este parâmetro especifica o número de valores do modelo presentes para cada intervalo de intensidade no qual o grão de
filme foi modelado. Ele deve ficar na faixa [0,4] em virtude de não ser permitida correlação de cor .
comp model_value [0] [i] [0] Este parâmetro representa a intensidade de grão de filme para cada intervalo de intensidade de luminância no qual o grão de filme foi modelado. Ele deve ser na faixa de [0,255] para garantir que a simulação de grão de filme possa ser feita usando aritmética de 16-bits.
De acordo com os presentes princípios, os parâmetros comp_model_value[0] [i] [1] e comp_model_value[0] [i] [2] podem ter diferentes valores. Entretanto, somente um número limitado de diferentes pares comp_model_value[0][i][1] e 5 comp_model__value [0] [i] [2] é permitido, conforme especificado na tabela 2.
TABELA 2
comp model[0] [i] [1] comp model value[0][i][2]
4 3
6 4
7 5
8 6
10 7
11 8
13 9
Figure BRPI0417216B1_D0010
14 10
15 11
15 12
15 13
15 14
15 15
Todos os parâmetros da mensagem SEI de grão de filme não têm restrições em relação à especificação padrão. Implementação precisa de Bits de simulação de grão de filme
A simulação de grão de filme de acordo com os pre5 sentes princípios ocorre em um processo de duas etapas. Primeiramente, a geração de um grupo de blocos de grão de filme ocorre durante a inicialização após o recebimento da mensagem SEI antes de uma imagem I, conforme descrito com mais detalhes em relação à figura 1. A partir da coleção de blo10 cos de grão de filme, um bloco particular de valores é selecionado. Em seguida, as partes do grão de filme selecionadas são adicionadas a cada pixel de luminância de cada imagem decodificada da maneira descrita com relação à figura 2.
A Figura 1 representa um aparelho 10 de acordo com uma modalidade ilustrada dos presentes princípios para gerar um grupo de blocos de grão de filme para uso em simulação de grão de filme. Mediante recebimento de uma mensagem SEI de grão de filme contendo informação de grão de filme, ocorre um processo de inicialização para criar uma coleção de 4.096 20 (512 x 8) valores de pixel de grão de filme para cada um dos até 8 diferentes intervalos de intensidade luma. O número de intervalos de intensidade luma está indicado por 1 mais o • ·
Figure BRPI0417216B1_D0011
Figure BRPI0417216B1_D0012
campo de mensagem SEI num_intensity_intevals_minusl[0]. A geração das amostras de grão de filme começa com o intervalo de intensidade luma mais baixo.
Simulação com precisão de bit do ruído de grão de filme tipicamente ocorre pelo uso de um polinômio gerador de números pseudoaleatórios uniformes especificado e pelo uso de uma base de dados especificada de padrões de grão de filme 12. Na prática, a base de dados 12 de padrões de grão de filme compreende 26 conjuntos de 4.096 (512 x 8) valores de grão de filme (13 conjuntos com grãos redondos e 13 conjuntos com grãos alongados). Os valores são armazenados na forma de complementos de 2 e variam de [-127,127] . A lista de valores para cada conjunto pode ser pré-definida e armazenada em um armazenamento permanente acessível pelo sistema ou criado usando um método de precisão de bit mediante inicialização ou restabelecimento do sistema.
Os padrões de grão de filme armazenados na base de dados 12 passam por seleção por meio de um bloco de seleção 14 e um subseqüente ajuste de escala por meio de um bloco de ajuste de escala 16 para obter uma coleção 18 de blocos de grão de filme. O acesso da base de dados 12 de padrões de grão de filme, o ajuste de escala dos valores pelo bloco 16 e o subseqüente armazenamento dos valores ajustados na escala em blocos na coleção 18 ocorre de acordo com a seguinte rotina: for(i = 0..4,095) v = comp_model_value[0][s][0] * database[m] [n][i] pool [s] [i] = ( (v + 2 1°92-scale-factor1) >>log2_scale_factor) +
Figure BRPI0417216B1_D0013
Figure BRPI0417216B1_D0014
32)>>6 onde η é igual a comp_model_value [o] [ [2] - 3, me é igual a 0 quando num__param_minusl [0] é igual ale igual a 1 f caso contrário, e o fator 6 ajusta a escala dos valores de grão de filme armazenados na base de dados. Este processo é realizado tantas vezes quanto indicado por 1 mais o campo da mensagem SEI num_intensity__intervals_minusl [0] .
Operações de bloco e pixel antes da exibição de pixel
A Figura 2 representa um aparelho 20 para realizar as operações necessárias para adiciona grão de filme à imagem decodificada no nível de bloco e pixel. Um bloco de média luma 22 processa cada bloco 8 x 8 da imagem decodificada e computa a média dos valores de pixel luma para comparação com os parâmetros da mensagem SEI inten15 sity__interval_lower_bound [0] [i] e intensity__intervalo_upper_ bound[0][i] para determinar o intervalo de intensidade luma correto para o bloco. Um gerador de números aleatórios uniforme 24 gera um número aleatório para entrada em um bloco seletor 26 usando um operador do módulo polinomial primitivo
2, χ18 + χ5 + χ3 + χ1 + 1. O bloco seletor 26 acessa a coleção de grão de filme 18 para selecionar blocos de grão de filme de acordo com o número aleatório e o valor da intensidade luma.
Para perceber a maneira na qual o gerador de núme25 ros aleatórios 24 gera o número aleatório para a seleção do bloco de grão de filme, deixe x(i,e) indicar o i-gésimo símbolo da seqüência x, começando com uma semente inicial e. (A semente é estabelecida em 1 mediante recebimento de cada
Figure BRPI0417216B1_D0015
mensagem SEI de grão de filme). O deslocamento para o bloco 8x9 atual de grão de filme é gerado como se segue. previous_offset = offset offset = (x(i,l) % 4,088)>>2 offset A=(index == previous__of f set) offset <<= 2 onde o deslocamento foi inicializado em 0 depois da criação da coleção. Depois do cálculo do deslocamento, o bloco 8x8 de grão de filme é extraído da coleção como se segue.
for (i = 0...7, j - 0..7) block[i] [j] = pool [s] [offset + i + j*4096]
Um bloco de grão de filme selecionado pelo bloco seletor de acordo com o número aleatório proveniente do gerador de números aleatórios 24 e do valor de luminância médio proveniente do bloco 22 passa por desbloqueamento dos pixels das colunas de esquerda e da direita do bloco por meio de um filtro de desbloqueamento 28 antes da mistura. Em seguida, um adicionador 30 adiciona o valor correspondente do bloco de grão de filme desbloqueado aos pixels decodificados correspondentes, e um recortador 32 recorta os resultados dentro da faixa [0, 2 55] para produzir pixels luma misturados com grão de filme para exibição em um mostrador (não mostrado) ou para subsequente gravação. Note que ruído de grão de filme só é adicionado aos pixels luma.
Filtro de Desbloqueio 28
Conforme indicado, o filtro de desbloqueio opera para desbloquear o bloco de grão de filme antes da mistura para suavizar artefatos de bloqueio resultantes do pequeno •14 tamanho da transformada. Na modalidade ilustrada, o filtro de desbloqueio 206 toma a forma de um filtro de 3-derivações aplicado a todos os pixels que margeiam as bordas esquerda e direita do bloco 8x8. Dada uma fileira de pixels pertencente a dois blocos 8x8 adjacentes, a transição entre os blocos sendo localizada entre os pixels b e c.
a b c d
Bloco A Bloco B o filtro é aplicado como se segue:
b' = (a + (b<<l) + c) >> 2 c' = (b + (c<<1) + d) >> 2 onde b' e c' substituem o valor dos pixels originais b e c, respectivamente. O desbloqueio das bordas do bloco esquerda e direita ocorre para cada bloco de grão de filme antes da adição à imagem decodificada.
O método supradescrito para simulação de grão de filme pode ser facilmente praticado por dispositivos de replicação de conteúdo, tais como um aparelho DVD (ou tocador/gravador) ou mecanismo de entrega de conteúdo, tais como aparelhos decodificadores de televisão ou algo parecido. No caso de um dispositivo de replicação de conteúdo tal como um aparelho DVD ou tocador/gravador DVD, a mídia de conteúdo (por exemplo, o DVD) carregaria a informação de grão de filme juntamente com o próprio conteúdo (isto é, vídeo comprimido) para permitir que o dispositivo de replicação de conteúdo simule grão de filme da maneira descrita. Assim, por exemplo, um DVD carregaria tanto informação de imagem, tipi-
Figure BRPI0417216B1_D0016
4 ··· •· *· •«4 camente na forma macroblocos compactados, bem como informação de grão de filme, que permitiría a um aparelho DVD ou tocador/gravador misturar grão de filme com o vídeo descompactado para subseqüente exibição.
O exposto descreve uma técnica para simular grão de filme em uma imagem. Vantajosamente, a técnica de simulação de grão de filme disponibiliza a capacidade de simular grão de filme alongado em virtude dos valores permitidos para o parâmetro num_model_values_minusl[0], bem como os valo10 res permitidos para os parâmetros comp_model__value [0] [i] [1] e comp__model_value [0] [i] [2] . Além disso, a técnica de simulação de grão de filme dos presentes princípios de um conjunto de amostras de grão de filme da base de dados 12 de amostras evita a necessidade de realizar uma Transformada 15 Discreta de Cosseno (CDT) e uma DCT inversa.

Claims (10)

  1. REIVINDICAÇÕES
    1. Método para criar um bloco de pixels com grão de filme, compreendendo as etapas de:
    receber informação de grão de filme que inclui pelo menos um parâmetro que especifica um atributo do grão de filme para aparecer no bloco de imagens;
    selecionar aleatoriamente um bloco de grão de filme entre um conjunto de blocos previamente estabelecidos contendo grão de filme;
    ajustar a escala de todos os valores de pixel no bloco como indicado por pelo menos um parâmetro caracterizando o grão de filme; e armazenar o bloco criado de grão de filme em um reservatório de blocos de grão de filme;
    CARACTERIZADO pelo fato de que a etapa de seleção compreende adicionalmente a etapa de selecionar entre um número predeterminado de conjuntos de 4.096 valores cada.
  2. 2. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que cada um do número predeterminado de conjuntos de valores fica arranjado como uma matriz 512 x 8.
  3. 3. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que o número predeterminado de conjuntos de valores é armazenado em complementos de 2 e varia de [-127, 127] .
  4. 4. Método, de acordo com a reivindicação 1, CARACTERIZADO adicionalmente pelo fato de que compreende as etapas de:
    selecionar aleatoriamente um bloco de grão de
    Petição 870180058611, de 05/07/2018, pág. 7/13 filme entre o reservatório de blocos de grão de filme de acordo com um número pseudoaleatório e uma característica luma da imagem que chega;
    desbloquear bordas opostas do bloco de grão de filme selecionado;
    misturar pelo menos uma parte do bloco de grão de filme selecionado desbloqueado com cada pixel no bloco de imagem; e recortar os pixels do bloco de imagem misturados com grão de filme.
  5. 5. Método para simular grão de filme em um bloco de imagens de pixels, compreendendo as etapas de:
    selecionar aleatoriamente um bloco de grão de filme de um reservatório de blocos de grão de filme préestabelecidos para um valor luma correspondente a uma característica luma do bloco de imagens;
    desbloquear o bloco de grão de filme selecionado;
    misturar pelo menos uma parte do bloco de grão de filme desbloqueado com cada pixel do bloco de imagens para simular grão de filme;
    recortar os pixels misturados resultantes antes da saída;
    em que o reservatório de blocos de grão de filme pré-estabelecidos é criado pelas etapas de:
    receber informação de grão de filme que inclui pelo menos um parâmetro que especifica um atributo do grão de filme para aparecer no bloco de imagens;
    selecionar um bloco de grão de filme entre um conjunto de blocos previamente estabelecidos contendo grão
    Petição 870180058611, de 05/07/2018, pág. 8/13 de filme em função de um número pseudoaleatório;
    ajustar a escala de todos os valores de pixel no bloco da maneira indicada por um parâmetro na informação de grão de filme recebida; e armazenar o bloco criado de grão de filme em um reservatório de blocos de grão de filme;
    CARACTERIZADO pelo fato de que a etapa de seleção compreende adicionalmente a etapa de selecionar entre um número predeterminado de conjuntos de 4.096 valores cada.
  6. 6. Método, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que cada um dos números predeterminados de conjuntos de valores são arranjados como uma matriz 512 x 8.
  7. 7. Método, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que o número predeterminado de
    conjuntos de valores é e irmazenado em complemento de 2 e varia de [-127, 127] 8. Aparelho para criar um bloco de pixels, compreendendo: um primeiro repositório de armazenamento para armazenar um conjunto de blocos de pixels previamente estabelecidos contendo grão de filme 1 ·
    um seletor para selecionar aleatoriamente um bloco de grão de filme do primeiro repositório;
    um bloco de ajuste de escala para ajustar a escala de todos os valores de pixel no bloco de grão de filme selecionado de acordo com pelo menos um parâmetro de informação de grão de filme recebido pelo bloco de ajuste de escala; e
    Petição 870180058611, de 05/07/2018, pág. 9/13 um segundo repositório de armazenamento que armazena os blocos de grão de filme ajustados na escala;
    CARACTERIZADO pelo fato de que o primeiro repositório de armazenamento armazena um número predeterminado de conjuntos de 4.096 valores cada.
  8. 9. Aparelho, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que cada um dos números predeterminados de conjuntos de valores é arranjado como uma matriz 512 x 8.
  9. 10. Aparelho, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que os números predeterminados de conjuntos de valores são armazenado em complemento de 2 e varia de [-127, 127] .
  10. 11. Aparelho para simular grão de filme em um bloco de imagens de pixel, compreendendo:
    um reservatório de valores de grão de filme previamente estabelecidos;
    um seletor para selecionar aleatoriamente um bloco de grão de filme do reservatório de blocos de grão de filme pré-estabelecidos para um valor luma correspondente a uma característica luma do bloco de imagens;
    um filtro de desbloqueio para desbloquear o bloco de grão de filme selecionado;
    um adicionador para misturar pelo menos uma parte do bloco de grão de filme desbloqueado com cada pixel do bloco de imagens para simular grão de filme; e um recortador para recortar os pixels misturados resultantes antes da saída;
    CARACTERIZADO pelo fato de que o seletor
    Petição 870180058611, de 05/07/2018, pág. 10/13 adicionalmente seleciona entre um número predeterminado de conjuntos de 4.096 valores cada.
    Petição 870180058611, de 05/07/2018, pág. 11/13
    TIÇ. 1 10 comp_modeLvalue[0 ][s] comp_model_volue[0 ][s] 2] comp_modeLva!ue[0][s][0]
    Selecionar valores de pixel de grão de filme do armazenamento
    Basedê^ados de palrão de grãc de filme
    Ajuste da escala
    T
    T
    Coleção de grão de filme
BRPI0417216A 2003-12-05 2004-12-01 método e aparelho para criar um bloco de pixels com grão de filme e portadora de dados BRPI0417216B1 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US52789503P 2003-12-05 2003-12-05
PCT/US2004/041164 WO2005057936A1 (en) 2003-12-05 2004-12-01 Technique for film grain simulation using a database of film grain patterns

Publications (2)

Publication Number Publication Date
BRPI0417216A BRPI0417216A (pt) 2007-02-21
BRPI0417216B1 true BRPI0417216B1 (pt) 2018-12-26

Family

ID=34676788

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0417216A BRPI0417216B1 (pt) 2003-12-05 2004-12-01 método e aparelho para criar um bloco de pixels com grão de filme e portadora de dados

Country Status (10)

Country Link
US (1) US20070117291A1 (pt)
EP (1) EP1690423B1 (pt)
JP (2) JP2007513434A (pt)
KR (1) KR101180184B1 (pt)
CN (1) CN1890978B (pt)
AU (1) AU2004298261B2 (pt)
BR (1) BRPI0417216B1 (pt)
RU (1) RU2346330C2 (pt)
WO (1) WO2005057936A1 (pt)
ZA (1) ZA200604413B (pt)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1676445B1 (en) * 2003-09-23 2019-09-04 InterDigital VC Holdings, Inc. Method for simulating film grain by mosaicing pre-computed samples
JP2005100100A (ja) * 2003-09-25 2005-04-14 Toyota Motor Corp 車輪情報処理装置および車輪情報処理方法
JP2007508788A (ja) * 2003-10-14 2007-04-05 トムソン ライセンシング ビットの正確な快適ノイズの付加方法及び装置
RU2367020C2 (ru) * 2004-03-19 2009-09-10 Конинклейке Филипс Электроникс Н.В. Введение и выделение начального числа, связанного с телевизионным сигналом для создания псевдослучайного шума
US8150206B2 (en) * 2004-03-30 2012-04-03 Thomson Licensing Method and apparatus for representing image granularity by one or more parameters
ZA200703153B (en) * 2004-10-18 2008-08-27 Thomson Licensing Film grain simulation method
CA2587117C (en) * 2004-11-17 2014-02-11 Thomson Licensing Bit-accurate film grain simulation method based on pre-computed transformed coefficients
US8483288B2 (en) * 2004-11-22 2013-07-09 Thomson Licensing Methods, apparatus and system for film grain cache splitting for film grain simulation
DE602005015249D1 (de) 2004-11-23 2009-08-13 Thomson Licensing Filmkörnigkeitssimulationstechnik mit geringer komplexität
BRPI0518258A2 (pt) * 2004-11-24 2008-11-11 Thomson Licensing tÉcnica de simulaÇço de granulaÇço de filme para uso nos dispositivos de reproduÇço de mÍdia
EP1670255A1 (en) * 2004-12-08 2006-06-14 Koninklijke Philips Electronics N.V. Electronic image processing method and device with linked random generators
US7596239B2 (en) * 2005-08-02 2009-09-29 Lsi Corporation Method and/or apparatus for video watermarking and steganography using simulated film grain
US7684626B1 (en) * 2005-12-01 2010-03-23 Maxim Integrated Products Method and apparatus for image decoder post-processing using image pre-processing and image encoding information
US7664337B2 (en) * 2005-12-20 2010-02-16 Marvell International Ltd. Film grain generation and addition
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
US8432975B2 (en) * 2008-01-18 2013-04-30 Mediatek Inc. Apparatus and method for processing a picture frame
US8334912B2 (en) * 2008-09-03 2012-12-18 Olympus Imaging Corp. Image processing apparatus, imaging apparatus, image processing method, and computer readable recording medium storing image processing program
US20100110287A1 (en) * 2008-10-31 2010-05-06 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Method and apparatus for modeling film grain noise
CN101778300B (zh) * 2008-12-05 2012-05-30 香港应用科技研究院有限公司 模拟胶片颗粒噪声的方法和装置
KR101047544B1 (ko) * 2010-01-25 2011-07-07 엠텍비젼 주식회사 카메라 기능을 구비한 휴대형 장치 및 그 이미지 처리 방법
JP5484310B2 (ja) * 2010-12-24 2014-05-07 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
JP5595257B2 (ja) * 2010-12-24 2014-09-24 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
CN114945944A (zh) * 2019-12-19 2022-08-26 杜比实验室特许公司 用于数字图像的噪声合成

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01156069A (ja) * 1987-12-14 1989-06-19 Canon Inc 画像処理装置
FR2641832B1 (fr) * 1989-01-13 1991-04-12 Melchior Jean Accouplement pour la transmission de couples alternes
US4935816A (en) * 1989-06-23 1990-06-19 Robert A. Faber Method and apparatus for video image film simulation
AU642540B2 (en) * 1990-09-19 1993-10-21 Philips Electronics N.V. Record carrier on which a main data file and a control file have been recorded, method of and device for recording the main data file and the control file, and device for reading the record carrier
US5140414A (en) * 1990-10-11 1992-08-18 Mowry Craig P Video system for producing video images simulating images derived from motion picture film
US5687011A (en) * 1990-10-11 1997-11-11 Mowry; Craig P. System for originating film and video images simultaneously, for use in modification of video originated images toward simulating images originated on film
US5374954A (en) * 1990-10-11 1994-12-20 Harry E. Mowry Video system for producing video image simulating the appearance of motion picture or other photographic film
US5457491A (en) * 1990-10-11 1995-10-10 Mowry; Craig P. System for producing image on first medium, such as video, simulating the appearance of image on second medium, such as motion picture or other photographic film
US5335013A (en) * 1992-01-16 1994-08-02 Faber Robert A Method and apparatus for video camera image film simulation
US5471572A (en) * 1993-07-09 1995-11-28 Silicon Graphics, Inc. System and method for adding detail to texture imagery in computer generated interactive graphics
US5475425B1 (en) * 1994-01-25 2000-07-25 Przyborski Production Apparatus and method for creating video ouputs that emulate the look of motion picture film
US5831673A (en) 1994-01-25 1998-11-03 Przyborski; Glenn B. Method and apparatus for storing and displaying images provided by a video signal that emulates the look of motion picture film
WO1996013006A1 (en) * 1994-10-20 1996-05-02 Mark Alan Zimmer Digital mark-making method
US5629769A (en) * 1995-06-01 1997-05-13 Eastman Kodak Company Apparatus and method for the measurement of grain in images
JPH0962718A (ja) * 1995-08-23 1997-03-07 Sony Corp シミュレーション装置およびシミュレーション方法
US5641596A (en) * 1995-12-05 1997-06-24 Eastman Kodak Company Adjusting film grain properties in digital images
JPH09307861A (ja) * 1996-05-17 1997-11-28 Sony Corp 信号処理方法及び信号処理装置
JP2000013585A (ja) * 1998-06-19 2000-01-14 Sony Corp 付加情報の重畳装置、付加情報の重畳方法、画像情報記録装置および画像情報記録方法
CA2309002A1 (en) * 2000-05-23 2001-11-23 Jonathan Martin Shekter Digital film grain reduction
JP2001357095A (ja) * 2000-06-12 2001-12-26 Fujitsu Ltd 半導体装置設計支援装置
US6987586B2 (en) * 2001-03-02 2006-01-17 Eastman Kodak Company Method of digital processing for digital cinema projection of tone scale and color
US20030206662A1 (en) * 2002-05-03 2003-11-06 Avinash Gopal B. Method and apparatus for improving perceived digital image quality
JP2007508788A (ja) * 2003-10-14 2007-04-05 トムソン ライセンシング ビットの正確な快適ノイズの付加方法及び装置
BRPI0518258A2 (pt) * 2004-11-24 2008-11-11 Thomson Licensing tÉcnica de simulaÇço de granulaÇço de filme para uso nos dispositivos de reproduÇço de mÍdia

Also Published As

Publication number Publication date
US20070117291A1 (en) 2007-05-24
BRPI0417216A (pt) 2007-02-21
ZA200604413B (en) 2007-10-31
AU2004298261B2 (en) 2010-02-25
JP5876691B2 (ja) 2016-03-02
CN1890978B (zh) 2013-06-26
JP2007513434A (ja) 2007-05-24
JP2012059267A (ja) 2012-03-22
CN1890978A (zh) 2007-01-03
RU2006123942A (ru) 2008-01-10
KR101180184B1 (ko) 2012-09-05
EP1690423B1 (en) 2020-03-18
WO2005057936A1 (en) 2005-06-23
AU2004298261A1 (en) 2005-06-23
KR20060118524A (ko) 2006-11-23
EP1690423A1 (en) 2006-08-16
RU2346330C2 (ru) 2009-02-10

Similar Documents

Publication Publication Date Title
BRPI0417216B1 (pt) método e aparelho para criar um bloco de pixels com grão de filme e portadora de dados
AU2004306878B2 (en) Technique for bit-accurate film grain simulation
RU2378697C2 (ru) Способ имитации зернистости пленки
ES2834393T3 (es) Método y aparato para representar la granularidad de una imagen mediante uno o más parámetros
AU2005309975B2 (en) Low-complexity film grain simulation technique
BRPI0408570B1 (pt) Processos e aparelho para simular granulação de filme em uma imagem
US9098916B2 (en) Bit-accurate film grain simulation method based on pre-computed transformed coefficients
EP1809043B1 (en) Technique for film grain simulation using a database of film grain patterns
MXPA06006308A (en) Technique for film grain simulation using a database of film grain patterns

Legal Events

Date Code Title Description
B15K Others concerning applications: alteration of classification

Ipc: G06T 11/00 (2006.01), G06T 5/00 (2006.01), H04N 5/

B15K Others concerning applications: alteration of classification

Ipc: H04N 19/117 (2014.01), G06T 5/00 (2006.01), H04N 5

B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 10 (DEZ) ANOS CONTADOS A PARTIR DE 26/12/2018, OBSERVADAS AS CONDICOES LEGAIS.

B25G Requested change of headquarter approved

Owner name: THOMSON LICENSING (FR)

B25G Requested change of headquarter approved

Owner name: THOMSON LICENSING (FR)

B25A Requested transfer of rights approved

Owner name: INTERDIGITAL VC HOLDINGS, INC. (US)

B21F Lapse acc. art. 78, item iv - on non-payment of the annual fees in time

Free format text: REFERENTE A 17A ANUIDADE.

B24J Lapse because of non-payment of annual fees (definitively: art 78 iv lpi, resolution 113/2013 art. 12)

Free format text: EM VIRTUDE DA EXTINCAO PUBLICADA NA RPI 2647 DE 28-09-2021 E CONSIDERANDO AUSENCIA DE MANIFESTACAO DENTRO DOS PRAZOS LEGAIS, INFORMO QUE CABE SER MANTIDA A EXTINCAO DA PATENTE E SEUS CERTIFICADOS, CONFORME O DISPOSTO NO ARTIGO 12, DA RESOLUCAO 113/2013.