BRPI0718951A2 - Método e aparelho para análise automática de artefatos visuais e redução de artefatos - Google Patents

Description

“MÉTODO E APARELHO PARA ANÁLISE AUTOMÁTICA DE ARTEFATOS VISUAIS E REDUÇÃO DE ARTEFATOS”

REFERÊNCIAS CRUZADAS

Este pedido reivindica prioridade, de acordo com 35 U.S.C. 119(2), para o pedido de patente provisório norte-americano No. de Série 60/877485, depositado a 28 de dezem- bro de 2006 e aqui incorporado à guisa de referência.

CAMPO TÉCNICO

Os presentes princípios referem-se de maneira geral ao processamento de dados de vídeo e, mais especificamente, à correção de artefatos dentro de um fluxo de dados de vídeo.

ANTECEDENTES

A compactação dos dados de vídeo envolve intrinsecamente a redução da qualida- de das imagens de modo a se aumentar a eficácia de armazenamento de dados e/ou a se reduzir a largura de banda de transmissão necessária. Embora o objeto dos algoritmos de compactação seja o de eliminar apenas características imperceptíveis de um quadro de ví- deo, frequentemente o quadro de vídeo compactado induz imperfeições observáveis conhe- cidas como artefatos. Artefatos de compactação comuns incluem artefatos de bloqueio, de formação de faixas, de manchas escuras e de toque, que podem se apresentar a razões de compactação tanto baixas quanto altas.

Diversos métodos para reduzir artefatos e a gravidade dos artefatos são executa- dos como operações pós-processamento depois que o fluxo de dados de vídeo compactado é decodificado. Um exemplo de técnica pós-processamento é a filtragem adaptativa, descri- ta em “Edge map guided adaptative post-filter for blocking and ringing artifacts removal” de

H. S. Komg, A. Vetro, H. Sun, IEEE International Symposium on Circuits and Systems (ISCAS), vol. 3, PP. 929-932, maio de 2004, e em “Reduction of ringing noise in transform image coding using a simple adaptative filter”, de A. Kaup, Electronics Letters, vol. 34. no. 22, PP. 2110-2112, outubro de 1998. Além disto, V. Monga, N. Damera-Venkata, B. L. E- vans, em “Image Halftoning by Error Difussing: A Survey of Methods for Artifact Reduction”, Journal of Electronic Imaging, 2003, oferece uma descrição do pontilhamento. Entretanto, de modo a se assegurarem uma alta qualidade de imagens e uma incidência de artefatos muito baixa, os artefatos devem ser corrigidos durante o estágio de compactação do processa- mento de vídeo.

Para métodos de compactação que utilizam uma transformada discreta de co-seno (DCT), um método conhecido de tal processamento no domínio da compactação compreen- de alterar alguns dos coeficientes de DCT quantificados. Os coeficientes de DCT represen- tam a potência de cada frequência presente em um dado bloco de imagens. Para a maioria dos blocos de imagens, após a transformada DCT, a maior parte da energia de sinal é con- duzida por apenas alguns dos coeficientes de DCT de baixa ordem. É necessário que estes coeficientes sejam quantificados de maneira mais precisa do que os coeficientes de ordem mais elevada de modo a se evitar a introdução de artefatos visíveis. A alteração de um coe- ficiente de DCT quantificado pode ou reduzir ou aperfeiçoar a percepção dos artefatos de compactação.

B. Gunturk, Y. Altunbasak, R. M. Merserau1 em “Multi-frame blocking-artifact reduc- tion for transform-coded vídeo”, IEEE Trans. on Circuits and Systems for Video Technology, vol. 12, no. 4, abril de 2002, revelam um exemplo de alteração de um coeficiente de DCT quantificado pela utilização de uma proteção sobre uma abordagem de conjuntos convexos. Alternativamente, G. A. Triantafyllidis, D. Tzovras, M. G. Strintzis, em “Blocking artifact de- tection and reduction in compressed data”, IEEE Trans. On Circuits and Systems for Video Technology, vol. 2, no. 10, outubro de 2002, descrevem um método para otimizar a quantifi- cação de um coeficiente de DFT pela redução ao mínimo de um critério de erro no domínio da transformada. Além do mais, outros parâmetros no domínio da compactação podem ser alterados de modo a se reduzir a gravidade dos artefatos. Por exemplo, Ruol, na publicação norte-americana No. 2003/0156642 A1, revela um método para reduzir a gravidade dos arte- fatos em um fluxo de vídeo em um codificador de duas passagens pelo ajuste do tamanho da etapa de quantificação para macro-blocos de um quadro que são identificados em um mapa de artefato.

Entretanto, os métodos conhecidos descritos acima falham na solução do problema da utilização de recursos limitados do sistema de codificação (como, por exemplo, orçamen- to de bits e/ou tempo de codificação) de maneira eficaz para eliminar ou reduzir a gravidade dos artefatos pelo ajuste dos parâmetros no domínio da compactação, tais como decisões sobre modo(s) ou parâmetros de quantificação. Especificamente, os métodos conhecidos não priorizam quadros de vídeo pela consideração de diferentes tipos de artefato dentro dos quadros de vídeo ou do conteúdo dos quadros de vídeo com a finalidade de ajustar deci- sões sobre modo(s) ou parâmetros de quantificação.

SUMÁRIO

De acordo com a presente invenção, é revelado um método de processamento de vídeo. Um aspecto da presente invenção inclui corrigir uma imagem de vídeo em resposta à geração de várias medições (critérios métricos) que correspondem a diversos tipos de arte- fatos presentes em uma imagem de vídeo. Outras modalidades da presente invenção inclu- em selecionar e priorizar imagens de vídeo incluídas em uma seqüência de imagens de a- cordo com o critério métrico e o conteúdo das imagens de vídeo. Além do mais, de acordo com outro aspecto da presente invenção, a correção é efetuada ajustando-se pelo menos um de um parâmetro de quantificação e uma decisão sobre modo que corresponde a pelo menos um bloco de uma imagem. A presente invenção pode ser também corporificada em um sistema de processa- mento de vídeo que compreende uma unidade de correção de artefatos configurada para gerar parâmetros no domínio compactado em resposta a uma série de critérios métricos que corresponde a uma série de tipos de artefato de compactação de vídeo presentes em uma imagem de vídeo incluída em uma seqüência de imagens de vídeo; e um codificador confi- gurado para corrigir a imagem de vídeo de acordo com os parâmetros no domínio compac- tado. Compatível com outras modalidades da presente invenção, a unidade de correção de artefatos pode ser configurada para selecionar e priorizar imagens de vídeo incluídas em uma seqüência de imagens de acordo tanto com os critérios métricos quanto com o conteú- do das imagens de vídeo. Além do mais, a unidade de correção de artefatos e o codificador podem ser adaptados para corrigir uma imagem de vídeo ajustando pelo menos um de um parâmetro de quantificação ou uma decisão sobre modo(s) a pelo menos um bloco de uma imagem.

Os detalhes de uma ou mais implementações são apresentados nos desenhos a- nexos e na descrição seguinte. Mesmo se descritas de uma maneira específica, deve ficar claro que as implementações podem ser configuradas ou corporificadas de diversas manei- ras. Por exemplo, uma implementação pode ser executada como um método ou corporifica- da como um equipamento configurado para executar um conjunto de operações ou um e- quipamento que armazena instruções para executar um conjunto de operações. Outros as- pectos e características se tornarão evidentes com a descrição detalhada seguinte conside- rada em conjunto com os desenhos anexos e as reivindicações.

BREVE DESCRIÇÃO DOS DESENHOS

A Figura 1 é um diagrama de blocos de uma unidade de correção de artefatos e-

xemplar.

A Figura 2 é um diagrama de blocos de um exemplo ilustrativo de um sistema de codificação de várias passagens que incorpora uma unidade de correção de artefatos.

A Figura 3 é um diagrama de blocos de um codificador típico que pode ser utilizado de acordo com uma implementação dos presentes princípios.

A Figura 4 é um diagrama de fluxos que mostra um exemplo de um processo de priorização baseado em diversas intensidades e tipos de artefato executados por um módulo de decisão.

A Figura 5 é um diagrama de fluxos que mostra listas de artefatos exemplares ba- seadas em diversos tipos de artefato que são compilados e ordenados pelo módulo de deci- são.

A Figura 6 é um diagrama de fluxos que apresenta um exemplo de um processo executado pelo módulo de decisão que inclui atribuir novos níveis de artefato a quadros e computar níveis de artefato médios pela consideração de diversos tipos de artefato, de suas intensidades correspondentes e, em algumas modalidades, do conteúdo do fluxo de dados de vídeo.

A Figura 7 é uma representação exemplar de quadros que são ordenados de acor- do com um nível de artefato médioo, ao qual é atribuído um nível de artefato final e que é selecionado para correção de artefato.

A Figura 8 é uma representação exemplar de quadros classificados.

A Figura 9 é um diagrama de fluxos de uma implementação exemplar de um módu- lo de correção.

A Figura 10 é um diagrama de fluxos que mostra um exemplo de um processo de correção de artefatos baseado no ajuste do parâmetro de quantificação de blocos de ima- gens selecionadas pelo módulo de decisão, executado pelo módulo de correção.

A Figura 11 é um diagrama de fluxos que mostra um exemplo de um processo de correção de artefatos baseado na consideração de diversos tipos e intensidades de artefato e, em algumas implementações, do conteúdo das imagens de vídeo, para ajustar os parâ- metros de blocos de imagens que incluem artefatos.

A Figura 12 é um gráfico que mostram um exemplo de deslocamento de parâmetro de quantificação de dois níveis que pode ser utilizado durante a correção de artefatos.

A Figura 13 é um gráfico que mostra um exemplo de deslocamento de parâmetro de quantificação de vários níveis que pode ser utilizado durante a correção de artefatos.

As Figuras 14A & 14B são representações de exemplos de blocos aos quais os deslocamentos de parâmetro de quantificação podem ser aplicados.

DESCRIÇÃO DETALHADA

Os presentes princípios dizem respeito à utilização eficaz de recursos limitados pa- ra eliminar ou reduzir a gravidade dos artefatos pelo ajuste de parâmetros no domínio com- pactado, tais como decisões sobre modo(s) ou parâmetros de quantificação. Um aspecto dos presentes princípios inclui priorizar quadros de vídeo para correção pela consideração da gravidade de diferentes tipos de artefatos presentes em um quadro. Além disto, uma vez que determinados tipos de artefato tendem a ser mais predominantes do que outros em de- terminados tipos de conteúdo de vídeo, o conteúdo do fluxo de vídeo pode ser também con- siderado quando são priorizados quadros de vídeo. Assim, os presentes princípios utilizam recursos de sistema de codificador de maneira eficaz para corrigir os artefatos mais percep- tíveis em um fluxo de vídeo compactado pelo ajuste de parâmetros no domínio compactado, tais como decisões sobre modo(s) ou parâmetros de quantificação.

Há muitos tipos de artefato que podem ser corrigidos pelos presentes princípios. Um artefato comum que tal inclui um artefato bloqueador, caracterizado por bordas visíveis de blocos de pixels em um quadro. Artefatos bloqueadores específicos incluem artefatos bloqueadores de intensidade de cor e artefatos bloqueadores de intensidade de luz. Artefa- tos formadores de faixas, outro artefato comum corrigível pelos presentes princípios, apare- cem como a percepção de faixas coloridas distintivas em transições de cor graduais. Além disto, a capacidade de percepção de áreas móveis, tais como manchas escuras, ruído de zumbido e artefatos sonoros, pode ser também reduzida de acordo com implementações 5 dos presentes princípios. Entretanto, deve-se observar que os tipos de artefato descritos acima são exemplos não limitadores e os presentes princípios podem ser aplicados a outros tipos de artefato de compactação de vídeo também.

Com referência em detalhes específicos aos desenhos nos quais os mesmos nú- meros de referência identificam elementos semelhantes ou idênticos em todas as várias 10 vistas, e inicialmente à Figura 1, é mostrada uma unidade de correção de artefatos exemplar 100 de acordo com um aspecto dos presentes princípios. A unidade de correção de artefa- tos 100 pode compreender um módulo de decisão 110 e um módulo de correção 120. A Fi- gura 2 apresenta um exemplo da unidade de correção de artefatos em um sistema de codifi- cação de vídeo de várias passagens que tem codificadores 90 e 130, que podem incluir op- 15 cionalmente detectores de artefatos 80 e 150, respectivamente. O codificador 130 pode in- cluir também um corretor de artefatos 140, cuja função é também descrita a seguir. O corre- tor de artefatos 140 pode ter a capacidade de processar as imagens antes da codificação de modo a impedir a produção de artefatos de compactação durante o processo de codificação.

Uma entrada de fluxo de vídeo 202 é recebida pelo codificador 90 e, após proces- 20 sarnento de acordo com os presentes princípios, conforme descrito mais completamente a seguir, um fluxo de vídeo compactado 208 corrigido é transmitido pelo codificador 130. O fluxo de vídeo compactado 208 pode ser fornecido a outro codificador para uma passagem de correção adicional, que inclui uma indicação da presença de artefatos 206 apresentados pelo detector de artefatos 150. Alternativamente, o detector de artefatos 150 pode relatar a 25 presença de artefatos 206 no fluxo de bits final.

Um exemplo de codificador típico 300 que pode ser utilizado com a presente inven- ção é mostrado na Figura 3. Tal codificador pode incluir os elementos seguintes: um arma- zenador temporário de ordenamento de quadros 304 configurado para receber um fluxo de vídeo de entrada 302, um módulo de transformada e quantificação 306, um módulo de trans- 30 formada inversa e quantificação inversa 308, um módulo de intra-predição 314, um filtro desbloqueador 316, um armazenador temporário de imagens de referência 318, um módulo de estimação de movimento 320, um módulo de compensação de movimento 322, um mó- dulo de decisão do tipo de imagem 310, um módulo de decisão do tipo de macrobloco 312, um módulo de codificação de entropia 324, um introdutor de conjuntos de parâmetros de 35 seqüência e de conjuntos de parâmetros de imagem 326, um introdutor de informações de aperfeiçoamento suplementar 332 configurado para processar metadados 334, um módulo de controle de taxa 330 e um armazenador temporário de saída 328 configurado para transmitir um fluxo de dados de vídeo codificado 336.

Novamente com referência às Figuras 1 e 2, o processo de acordo com uma im- plementação dos presentes princípios começa pela geração de unidades de medida de arte- fatos, critérios métricos de artefato 112 e de um mapa de artefato(s) 122 que corresponde a 5 um quadro em um fluxo de vídeo. Um mapa de artefatos mostra as localizações dos artefa- tos em cada imagem e pode indicar o tipo de artefato, que pode incluir artefatos bloqueado- res, formadores de faixas, de manchas escuras, sonoros ou outros tipos de artefatos de compactação de vídeo. O mapa de artefatos pode indicar também a existência ou gravidade de artefatos dentro de um bloco de tamanho fixo, como, por exemplo, de 8 pixels por 8 pi- 10 xels, ou blocos de tamanho arbitrário. Inversamente, os critérios métricos de artefato inclu- em uma indicação do nível de gravidade de cada tipo de artefato presente em um quadro como um todo. De acordo com uma implementação, as métricas de artefato e o mapa de artefatos são gerados pelo codificador 90 por meio do detector de artefatos 80, conforme mostrado na Figura 2, após a compactação dos quadros de vídeo de acordo com a configu- 15 ração dos parâmetros de um dado método de compactação de vídeo, que pode incluir um ou mais de um parâmetro de quantificação, decisão sobre modo(s), seleção de quadros de referência e alocação de taxas de bits. Deve-se observar, contudo, que o mapa de artefatos e as métricas de artefato podem ser gerados por qualquer tipo de operador de compacta- ção.

Em seguida à sua geração, o mapa de artefatos 122 e as métricas de artefato 112

são transmitidos para o módulo de decisão 110 além de um fluxo de vídeo compactado 204. Dados de configuração 114 podem ser também enviados ao módulo de decisão 110 pelo codificador 90 ou por qualquer outro tipo de operador. De acordo com outro aspecto dos presentes princípios, os dados de configuração 114 podem ser incluídos em um arquivo pré- 25 definido no módulo de decisão 110. Em uma implementação dos presentes princípios, os dados de configuração compreendem a taxa de bits disponível do fluxo de vídeo compacta- da que pode ser utilizada pela unidade de correção de artefatos 100. Por exemplo, se a taxa de bits alvo do fluxo de vídeo é de 10 Mbps e a taxa de bits do fluxo de vídeo após a com- pactação pelo codificador 90 é de 9 Mbps, a taxa de bits disponível que pode ser utilizada 30 pela unidade de correção de artefatos 100 para corrigir os artefatos é de 1 Mbps. Além do mais, os dados de configuração podem incluir também a porcentagem mínima ou máxima das imagens que a unidade de correção de artefatos deve corrigir. De acordo com outro aspecto dos presentes princípios, o tipo de conteúdo de vídeo compactado 113, como, por exemplo, um conteúdo de animação, um conteúdo de filme ou outro tipo de conteúdo rele- 35 vante, pode ser adicionalmente fornecido ao módulo de decisão 110 pelo codificador 90 ou por qualquer outro tipo de operador.

O processo executado pelo módulo de decisão 110 de acordo com uma implemen- tação específica dos presentes princípios é mostrado na Figura 4. Conforme discutido aci- ma, o módulo de decisão 110 recebe métricas de artefato 112 e um mapa de artefatos 122, que podem ocorrer durante a configuração do módulo de decisão (etapa 402). As métricas de artefato fornecem informações das quais pode ser inferido diretamente ou indiretamente o nível de gravidade de cada tipo de artefato presente em um quadro específico. Por exem- plo, se um quadro tiver artefatos bloqueadores de intensidade de luz, artefatos bloqueadores de intensidade de cor, artefatos formadores de faixa(s) e artefatos de manchas escuras, as métricas de artefato especificam quatro valores de intensidade de artefato para esse quadro. Após receber as métricas de artefato e o mapa de artefatos na configuração do módulo de decisão, o módulo de decisão 110 ou, alternativamente, o detector de artefatos 80, compila uma lista de intensidades de artefato que correspondem a diferentes quadros para cada tipo de artefato. A título de exemplo não limitador, conforme mostrado na parte esquerda da Fi- gura 5, o módulo de decisão 110 pode compilar uma lista para artefatos bloqueadores de intensidade de cor com entradas dos níveis de intensidade de bloqueio de intensidade de cor que correspondem a cada quadro.

Após compilar as listas, o módulo de decisão 110 ordena as entradas em cada lista de tipos de artefato de acordo com o nível de intensidade de artefato, do mais elevado ao mais baixo (etapa 404 na Figura 4), conforme mostrado na Figura 5. O módulo de decisão 110 pode então atribuir um novo nível de artefato para cada tipo de artefato a cada quadro 20 do conjunto com base nas classificações dos níveis de intensidade de artefato nas listas ordenadas (etapa 406). O novo nível pode corresponder a um nível de intensidade de artefa- to normalizado pode simplesmente ser o mesmo nível de intensidade de artefato apresenta- do pelo detector de artefatos 80. No exemplo apresentado acima, o quadro seria atribuído para novos níveis de artefato de acordo com as classificações das listas, que correspondem 25 a artefatos bloqueadores de intensidade de luz, artefatos bloqueadores de intensidade de cor, artefatos formadores de faixas e artefatos de mancha escuras, representados por a, b, c e d, respectivamente, na Figura 6. Em seguida, o módulo de decisão 110 computa a média dos níveis de artefato baseados na classificação atribuídos anteriormente para cada quadro no conjunto (etapa 408), que é denotado por “A” na Figura 6.

Em seguida à computação do nível de artefato médio para cada quadro, o módulo

de decisão 110 ordena os quadros de acordo com o nível de artefato médio em ordem des- cendente (etapa 410), conforme mostrado na Figura 7, por exemplo. O módulo de decisão 110 em seguida atribui um nível de artefato final, “F” na Figura 7, a cada quadro com base na classificação de níveis de artefato médios (etapa 412). Os quadros com os níveis de arte- 35 fato finais mais elevados são selecionados para correção de artefatos, e o módulo de deci- são 110 em seguida fornece ao módulo de correção 120 os quadros selecionados 116 para serem corrigidos ou, alternativamente, uma indicação dos quadros a serem corrigidos. Além disto, o módulo de decisão 110 pode classificar conjuntos de quadros de acordo com o nível de artefato final (etapa 414). Por exemplo, as imagens podem ser classificadas como tendo artefatos muito intensos, intensos, moderados, brandos ou muito brandos de acordo com a posição do quadro na lista de níveis de artefato médios, conforme mostrado na Figura 8. A classificação pode ser fornecida ao módulo de correção 120 com uma instrução para corrigir as imagens acima de uma classificação de gravidade especificada.

De acordo com uma implementação dos presentes princípios, o número de quadros a serem corrigidos ou, inversamente, um valor limite, é baseado nos dados de configuração descritos acima. Por exemplo, os dados de configuração podem especificar a porcentagem de imagens a serem corrigidas em uma seqüência de quadros de vídeo. Alternativamente, o módulo de decisão 110 pode decidir dinamicamente o número de imagens a serem selecio- nadas para correção de acordo com a taxa de bits disponível, que pode também constituir os dados de configuração, conforme descritos acima. A taxa de bits disponível corresponde ao número de bits não utilizados em um orçamento de bits alocado para o processo de codi- ficação. Por exemplo, se para o processo de codificação for alocado um orçamento de bits de M bits e se o processo utilizar apenas N bits, N sendo menor que M, para codificar o fluxo de vídeo, a taxa de bits disponível é igual a M-N bits. O número de quadros corrigidos pode ser aumentado se a taxa de bits disponível for elevada e diminuída se a taxa de bits dispo- nível for baixa.

Além disso, em outras implementações dos presentes princípios, os níveis de in- tensidade de artefato finais ou os níveis de intensidade de artefato fornecidos pelo mapa de artefatos podem ser utilizados para determinar o número de quadros que são corrigidos. Por exemplo, o módulo de decisão 110 pode estimar o número de bits necessários para corrigir o quadro com o nível de artefato final mais elevado em um conjunto de quadros. Se a taxa de bits disponível for superior à taxa de bits necessária para corrigir o quadro com o nível de artefato final mais elevado, o módulo de decisão 110 computa então a taxa de bits necessá- ria para corrigir ambos os quadros. O módulo de decisão 110 continua o processo até que a taxa de bits necessária para corrigir vários quadros ultrapasse a taxa de bits disponível e determine assim o número de quadros a serem corrigidos.

Em uma implementação mais específica, o módulo de decisão 110 considera tam- bém o conteúdo dos quadros de vídeo quando seleciona quadros de vídeo a serem corrigi- dos, uma vez que determinados tipos de artefato tendem a ser mais predominantes do que outros em determinadas categorias de conteúdo de vídeo. Em quadros de vídeo com conte- údo de animação, por exemplo, os artefatos formadores de faixas são os mais perceptíveis, enquanto no conteúdo de filme os artefatos bloqueadores tendem a ser dominantes. De a- cordo com um aspecto dos presentes princípios, o módulo de decisão 110 considera o con- teúdo dos quadros de vídeo e pesa tipos de artefato específicos mais do que outros ao computar o nível de artefato médio, “A”, para um quadro. A título de exemplo não limitador, o módulo de decisão 110 pesa o nível de artefato médio no sentido de níveis de artefatos blo- queadores mais elevados se o vídeo for constituído de conteúdo de filme e faz tender a mé- dia no sentido de níveis de artefatos formadores de faixas se o vídeo for constituído de con- 5 teúdo de animação. Além do mais, deve-se observar que, em outra implementação, o detec- tor de artefatos 80 pode incluir o fator de ponderação nos níveis de intensidade de artefato apresentados no mapa de artefatos 122.

Nas implementações exemplares descritas acima, os presentes princípios priorizam quadros com artefatos que são mais perceptíveis a quem vê pela consideração de pelo me- 10 nos um ou mais da gravidade dos artefatos dentro dos quadros de vídeo, dos tipos de arte- fato presentes nos quadros de vídeo e do conteúdo do fluxo de vídeo. Em seguida, quando um codificador tem recursos limitados ou está limitado por uma taxa de bits alvo para uma seqüência de quadros de vídeo compactados, os presentes princípios facilitam a correção de quadros com os artefatos mais perceptíveis, obtendo-se assim um fluxo de vídeo de alta 15 qualidade apesar das limitações dos recursos limitados impostas ao codificador.

Em seguida à priorização, conforme discutido acima, o módulo de correção 120 re- cebe uma indicação de quais imagens corrigir em uma seqüência de imagens. Deve-se ob- servar que, embora o módulo de correção possa ser incluído em uma unidade de correção de artefatos, conforme mostrado nas Figuras 1 & 2, o módulo de correção pode ser também 20 um dispositivo independente, conforme mostrado na Figura 9. A Figura 10 mostra uma im- plementação do processo de correção de artefatos executado pelo módulo de correção 120. O processo começa pelo recebimento de uma indicação dos quadros a serem corrigidos (etapa 1004) após a configuração do módulo de correção (etapa 1002). Além disto, o módu- lo de correção recebe também um mapa de artefatos e parâmetros no domínio compactado 25 para cada quadro a ser corrigido (etapa 1004). O mapa de artefatos e os parâmetros no do- mínio compactado podem ser fornecidos pelo codificador 90 ou por qualquer outro tipo de operador. Os parâmetros no domínio compactado podem compreender parâmetros de quan- tificação e/ou decisões sobre modo(s), além de outros tipos de parâmetros no domínio com- pactado, tais como coeficientes de DFT, que correspondem a blocos dentro de quadros a 30 serem corrigidos. Para simplificar. O exemplo apresentado na Figura 10 apenas ajusta o parâmetro de quantificação. Deve ficar entendido, contudo, que os presentes princípios po- dem ser adaptados de modo a ajustarem, adicional ou alternativamente, outros parâmetros no domínio compactado.

Após receber uma indicação das imagens a serem corrigidas 116, dos mapas de artefatos e das informações de parâmetro de configuração, o módulo de correção 120 exa- mina um mapa de artefatos que corresponde a uma imagem a ser corrigida (etapa 1006). Utilizando o mapa de artefatos, o módulo de correção 120 pode ter a capacidade de detectar quais blocos dentro da imagem são afetados por artefatos. Se esta informação estiver dis- ponível, a correção de artefatos pode ser efetuada não só pela modificação dos parâmetros de codificação ao nível dos quadros (filtro desbloqueador, por exemplo), mas também por parâmetros de codificação ao nível dos macro-blocos (MB) (o parâmetro de quantificação 5 QP, por exemplo). O módulo de correção 120 varre cada bloco dentro do mapa de artefatos de uma imagem e determina se o bloco inclui um artefato (etapas 1008, 1010). Ao encontrar um bloco com um artefato, o módulo de correção 120 ajusta o parâmetro de quantificação para o bloco (etapa 1012), conforme completamente descrito a seguir. Se o módulo de cor- reção não encontrar um artefato, então ele aplica o parâmetro de quantificação utilizado pa- 10 ra compactar o bloco (etapa 1014). Em seguida, o módulo de correção 120 varre o bloco seguinte na imagem (etapa 1008). Após processar todos os blocos dentro de uma imagem, o módulo de correção 120 forma um mapa de parâmetros de quantificação para a imagem (etapa 1018), que indica os parâmetros de quantificação ajustados que correspondem a ca- da bloco da imagem. Em seguida, o módulo de correção 120 examina um mapa de artefatos 15 que corresponde à imagem seguinte a ser corrigida (etapa 1006) e repete o método de ajus- te de parâmetros de quantificação até que todas as imagens indicadas tenham sido proces- sadas. O fluxo operacional total da unidade de correção de artefatos 100, que inclui os pro- cessos executados tanto pelo módulo de decisão 110 quanto pelo módulo de correção 120, é apresentado na Figura 11.

O parâmetro de quantificação pode ser ajustado de diversas maneiras de acordo

com os presentes princípios. Conforme descrito acima, o parâmetro de quantificação é cor- relacionado com um fator de escalonamento aplicado a coeficientes de DCT de modo a se removerem os traços menos perceptíveis de uma imagem. Geralmente, valores de parâme- tro de quantificação mais baixos correspondem a uma representação em escala mais preci- 25 sa dos coeficientes de DCT. Assim, a redução do parâmetro de quantificação proporciona uma reconstrução mais precisa dos valores de pixel originais e reduz a aparência dos artefa- tos, sobretudo artefatos bloqueadores e formadores de faixas.

De acordo com uma implementação dos presentes princípios, o módulo de corre- ção 120 desloca o parâmetro de quantificação para um bloco que inclui um artefato em um 30 determinado grau. O mesmo deslocamento predeterminado é aplicado a cada bloco que inclui um artefato em sua totalidade, conforme mostrado na Figura 12, que mostra o valor absoluto do deslocamento do parâmetro de quantificação. Esta abordagem é melhor adota- da quando a unidade de correção de artefatos 100 utiliza um mapa de artefatos que não indica a intensidade dos artefatos (mapa de artefatos binário).

Em outra implementação dos presentes princípios, o deslocamento dos parâmetros

de quantificação aplicado a blocos que incluem artefatos é diferente e corresponde ao nível de intensidade dos artefatos no bloco, conforme mostrado na Figura 13, que mostra o valor absoluto dos deslocamentos dos parâmetros de quantificação. Por exemplo, QP1 represen- ta uma magnitude de deslocamento que corresponde a um artefato fraco; QP2 representa uma magnitude de deslocamento diferente que corresponde a um artefato de intensidade média e QP3 representa outra magnitude de deslocamento, que corresponde a um artefato 5 intenso. A intensidade de um artefato pode ser obtida referindo-se um mapa de artefatos fornecido pelo detector de artefatos 80. Se o mapa de artefatos utilizado for binário, um de- tector de intensidade externo pode ser alternativamente utilizado para determinar a intensi- dade dos artefatos dentro de um bloco. Como na implementação descrita anteriormente, o deslocamento dos parâmetros de quantificação é aplicado ao bloco inteiro, que inclui pelo 10 menos um artefato. Deve ficar entendido que qualquer número de valores de deslocamento e intensidades de artefato correspondentes pode ser utilizado. Além do mais, os tamanhos dos blocos de uma imagem podem variar também.

Deve ficar entendido que qualquer deslocamento de parâmetro de quantificação pa- ra uma ou outra implementação depende da taxa de bits alvo. O módulo de correção 120 15 seleciona uma magnitude de ajuste de parâmetros de quantificação que resulta em uma taxa de bits que está à ou abaixo da taxa de bits alvo para uma ou a outra das implementa- ções pode também depender dos níveis de intensidade de artefato 118 apresentados pelo módulo de decisão 110. Por exemplo, níveis de intensidade de artefato mais elevados ne- cessitam de um maior deslocamento de parâmetros de quantificação e podem também exi- 20 gir o ajuste de outros parâmetros, tais como os parâmetros de filtro desbloqueador e os des- locamentos de arredondamento.

Além disso, de acordo com outro aspecto dos presentes princípios, o módulo de correção 120 pode utilizar um modelo de complexidade para determinar a taxa de bits resul- tante após a o ajuste de parâmetros. O módulo de correção 120 pode ser integrado a um 25 codificador ou executar pelo menos parte de um processo de codificação de modo a se es- timar o número de bits necessário para corrigir um artefato. O modelo de complexidade es- tima a taxa de bits resultante considerando o parâmetro de quantificação original, a magni- tude original dos bits alocados por bloco e o parâmetro de quantificação recém-atribuído. Entretanto, podem ser também utilizados outros dispositivos para determinar a taxa de bits 30 resultante.

De acordo com outra implementação dos presentes princípios, podem ser ajustados parâmetros de quantificação de blocos que circundam um bloco que inclui um artefato, “BA” na Figura 14. Conforme mostrado nas Figuras 14A e 14B, por exemplo, os blocos circun- dantes podem ser ajustados de acordo com os deslocamentos O0, O1, O2, O3... Tanto o nú- 35 mero de blocos deslocados quanto a magnitude dos deslocamentos podem variar de acordo com os presentes princípios. Além do mais, o parâmetro de quantificação de blocos vizinhos pode ser ajustado mesmo se os blocos vizinhos não incluírem artefatos. O deslocamento do parâmetro de quantificação dos blocos vizinhos assegura que a qualidade de vídeo de um quadro seja consistente, uma vez que variações abruptas dos parâmetros de quantificação dos blocos vizinhos resultam em diferenças visualmente perceptíveis entre os blocos de um quadro. Para se manter a qualidade de vídeo perceptivamente consistente, de acordo com 5 um aspecto dos presentes princípios, a magnitude dos deslocamentos de parâmetro de quantificação dos blocos vizinhos varia gradualmente e para fora a partir de um bloco que inclui um artefato. Além do mais, o tamanho dos blocos vizinhos que circundam um bloco com um artefato no qual os parâmetros de quantificação variam pode depender também da magnitude do ajuste dos parâmetros de quantificação do bloco que inclui um artefato.

Entretanto, deve ficar entendido que, de modo a se gerar um fluxo de vídeo com

qualidade aperfeiçoada, o parâmetro de quantificação dos blocos circundantes pode ser ou aumentado ou diminuído, conforme necessário. Por exemplo, o parâmetro de quantificação dos blocos circundantes pode ser diminuído se eles incluírem artefatos de intensidade e tipo que assegurem sua correção, como é frequentemente o caso em que os artefatos abrangem vários blocos.

Além disso, a magnitude do deslocamento de parâmetro de quantificação pode também depender dos modos dos blocos que circundam o artefato. Um método comum pa- ra codificar uma seqüência de quadros de vídeo compreende compensação de movimento, em que as diferenças entre os quadros de vídeo são codificadas para se reduzir a memória 20 necessária para armazenar a seqüência de vídeo. Neste esquema de codificação, os blocos podem ser codificados ou no inter-modo ou no intra-modo. Um inter-bloco é decodificado por referência a outro bloco, enquanto o intra-bloco pode ser decodificado sem referência a qualquer outro bloco. Naturalmente, os intra-blocos incluem mais informações que os inter- blocos. Assim, os intra-blocos tipicamente requerem uma magnitude de deslocamento de 25 parâmetro de quantificação mais baixa que a dos inter-blocos para corrigir um artefato. Sob um aspecto dos presentes princípios, o módulo de correção 120 determina a magnitude de deslocamento de parâmetros de quantificação de acordo com o modo do bloco que ele está ajustado. Da mesma maneira, o módulo de correção 120 pode determinar qualquer deslo- camento de parâmetro de quantificação dos blocos circundantes pela consideração dos 30 seus respectivos modos. Deve ficar entendido que o ajuste do parâmetro de quantificação de um intra-bloco afeta inevitavelmente a compactação e a codificação de quaisquer inter- blocos nas imagens anteriores ou subsequentes da seqüência de vídeo que se referem ao intra-bloco, uma vez que os inter-blocos incorporam as informações armazenadas no intra- bloco.

Conforme mencionado acima, embora os presentes princípios tenham sido descri-

tos com relação ao ajuste do parâmetro de quantificação dos blocos de imagens para se reduzir a incidência e a gravidade dos artefatos, outros parâmetros no domínio compactado podem ser adicional ou alternativamente ajustados. De acordo com uma implementação dos presentes princípios, por exemplo, as decisões sobre modo(s) correspondentes aos blocos podem ser ajustadas. Conforme descrito acima, os intra-blocos incluem mais informações e, portanto, mais bits, que os inter-blocos. Para corrigir artefatos com um inter-bloco, o módulo de correção 120 pode converter o bloco em um intra-bloco de modo a eliminar ou reduzir a gravidade dos artefatos. Além disto, de acordo com outro aspecto dos presentes princípios, o módulo de correção 120 pode também converter blocos circundantes, que ou incluem ar- tefatos ou não incluem artefatos, conforme descrito acima com relação ao ajuste dos parâ- metros de quantificação. A título de exemplo não limitador, o módulo de correção 120 pode também converter intra-blocos circundantes codificados anteriormente em inter-blocos de modo a se manter a taxa de bits alvo.

Quando da conclusão do ajuste de parâmetro no domínio compactado, o módulo de correção 120 fornece ao codificador 130, ou a um operador de compactação diferente, os parâmetros no domínio compactado ajustados 126 e as imagens ou cenas a serem corrigi- das 128. Conforme discutido acima, os parâmetros no domínio compactado ajustados 126 podem ser apresentados sob a forma de mapas de parâmetros de quantificação. Em segui- da, o codificador 130 utiliza um corretor de artefatos 140 para compactar as imagens indica- das de acordo com os parâmetros no domínio compactado de correção de artefatos 126 e apresentar assim um fluxo de vídeo com uma menor incidência e gravidade de artefatos.

Deve ficar entendido que um sistema que implementa os presentes princípios, con- forme mostrado na Figura 2, por exemplo, pode incluir também uma interface com usuário (não mostrada). De acordo com esta implementação, o usuário pode ser notificado dos tipos de artefato presentes nas imagens de uma seqüência de vídeo por meio da interface com usuário. Além disto, o usuário pode ser notificado da classificação de uma imagem de vídeo de acordo com a gravidade dos artefatos presentes em uma imagem. Conforme afirmado acima, por exemplo, a unidade de correção de artefatos 120 pode classificar uma imagem como sendo como sendo muito intensa, intensa, moderada, suave ou muito suave de acor- do com os níveis de artefato finais computados das imagens.

As características e os aspectos das implementações descritas podem ser aplica- dos a diversas aplicações. As aplicações incluem, por exemplo, a autoria de discos DVD e outros equipamentos profissionais para aplicações de compactação em tempo não real. As implementações aqui descritas podem ser efetuadas em, por exemplo, um método ou pro- cesso, um aparelho ou um programa de software. Mesmo se discutida apenas no contexto de uma única forma de implementação (discutida como um método, por exemplo), a imple- mentação dos traços discutidos pode ser também efetuada sob outras formas (um aparelho ou programa, por exemplo). Um aparelho pode ser implementado em, por exemplo, um hardware, um software e um firmware adequados. Os métodos podem ser implementados, por exemplo, em um aparelho como, por exemplo, um processador, que se referem a dispo- sitivos de processamento em geral, que incluem, por exemplo, um computador, um micro- processador, um circuito integrado ou um aparelho lógico programável. Os dispositivos de processamento incluem também dispositivos de comunicação, tais como, por exemplo, 5 computadores, telefones celulares, assistentes digitais portáveis/pessoais (“PDAs”) e outros dispositivos que facilitam a comunicação de informações entre usuários finais.

As implementações dos diversos processos e traços aqui descritos podem ser cor- porificadas em diversos equipamentos ou aplicativos diferentes, particularmente, por exem- plo, equipamentos ou aplicativos associados à transmissão e recepção de dados. Exemplos 10 de equipamento incluem codificadores de vídeo, decodificadores de vídeo, codecs de vídeo, servidores da Rede, conversores set-top box, computadores portáteis, computadores pes- soais e outros dispositivos de comunicação. Cômodo deve ficar claro, o equipamento pode ser móvel e até mesmo instalado em um veículo móvel.

Além disso, os métodos podem ser implementados por instruções que são execu- 15 tadas por um processador, e tais instruções podem ser armazenadas em um meio passível de leitura por computador como, por exemplo, um circuito integrado, uma portadora de soft- ware ou outro dispositivo de armazenamento, como, por exemplo, um disco rígido, um dis- quete compacto, uma memória de acesso aleatório (“RAM”) ou uma memória só de leitura (“ROM”). As instruções podem formar um programa de aplicativo tangivelmente corporifica- 20 do em um meio passível de leitura por processador. Como deve ficar claro, um processador pode incluir um meio passível de leitura por processador que tem, por exemplo, instruções para executar um processo.

Conforme deve ficar evidente aos versados na técnica, as implementações podem também produzir um sinal formatado para portar informações que podem ser, por exemplo, 25 armazenadas ou transmitidas. As informações podem incluir, por exemplo, instruções para executar um método, ou dados produzidos por uma das implementações descritas. Tal sinal pode ser formatado, por exemplo, como uma onda eletromagnética (utilizando-se uma parte de radiofreqüência do espectro, por exemplo) ou um sinal de banda base. A formatação po- de incluir, por exemplo, a codificação de um fluxo de dados, o empacotamento do fluxo codi- 30 ficado e a modulação de uma portadora com o fluxo empacotado. As informações que o sinal porta podem ser, por exemplo, informações analógicas ou digitais. O sinal pode ser transmitido através de diversas conexões cabeadas ou sem fio diferentes, como é sabido.

Foram descritas várias implementações. No entanto, deve ficar entendido que po- dem ser feitas diversas modificações. Por exemplo, elementos de implementações diferen- tes podem ser combinados, suplementados, modificados ou removidos de modo a se produ- zirem outras implementações. Além disto, os versados na técnica entenderão que outras estruturas e processos podem substituir os revelados e as implementações resultantes exe- cutarão pelo menos substancialmente a(s) mesma(s) função(ões), pelo menos substancial- mente a(s) mesma(s) maneira(s), de modo a se obter pelo menos substancialmente o(s) mesmos resultado(s) das implementações reveladas. Por conseguinte, estas e outras im- plementações estão dentro do alcance das reivindicações seguintes.

Claims (24)

1. Método de processamento de vídeo, CARACTERIZADO por compreender: gerar uma série de critérios métricos que corresponde a uma série de tipos de arte- fato de compactação de vídeo presentes em uma imagem de vídeo incluída em uma se- qüência de imagens de vídeo; e corrigir a imagem de vídeo em resposta aos critérios métricos.

2. Método, de acordo com a reivindicação 1, CARACTERIZADO por compreender também a etapa de: selecionar uma imagem da seqüência de imagens para correção de acordo com o conteúdo da seqüência de imagens de vídeo.

3. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que a etapa de selecionar é executada em resposta à priorização das imagens de acordo com os critérios métricos.

4. Método, de acordo com a reivindicação 2, CARACTERIZADO pelo fato de que o conteúdo inclui pelo menos um de conteúdo de animação e um conteúdo de filme.

5. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o tipo de artefato de compactação de vídeo compreende pelo menos um de: um artefato blo- queador, um artefato formador de faixas, um artefato de manchas escuras e um artefato sonoro.

6. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a etapa de corrigir inclui utilizar um mapa de artefatos para corrigir um primeiro bloco que in- clui um artefato da imagem.

7. Método, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de que o mapa de artefatos é segmentado em blocos de um tamanho fixo.

8. Método, de acordo com a reivindicação 6, CARACTERIZADO pelo fato de que a etapa de corrigir compreende também corrigir um segundo bloco que não inclui um artefato.

9. Método, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que a etapa de corrigir compreende também ajustar pelo menos um de um parâmetro de quantifi- cação e uma decisão sobre modo(s) que correspondem a pelo menos um bloco da imagem de vídeo.

10. Método, de acordo com a reivindicação 9, CARACTERIZADO pelo fato de que o ajuste é utilizado para ajustar as informações de vídeo em seguida ao ajuste.

11. Método, de acordo com a reivindicação 1, CARACTERIZADO por compreender também as etapas de: apresentar uma interface com usuário; e notificar o usuário de pelo menos um tipo de artefato presente na imagem de vídeo.

12. Método, de acordo com a reivindicação 11, CARACTERIZADO por compreen- der as etapas de: classificar a imagem de vídeo de acordo com a gravidade de pelo menos um artefa- to; e notificar o usuário da classificação da imagem de vídeo.

13. Sistema de processamento, CARACTERIZADO por compreender: uma unidade configurada para gerar parâmetros no domínio compactado em res- posta a uma série de critérios métricos que corresponde a uma série de tipos de artefato de compactação de vídeo presentes em uma imagem de vídeo incluída em uma seqüência de imagens de vídeo; e um processador configurado para corrigir a imagem de vídeo de acordo com os pa- râmetros no domínio compactado.

14. Sistema, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que uma unidade de correção de artefatos é configurada para selecionar uma imagem da seqüência de imagens para correção de acordo com o conteúdo da seqüência de imagens de vídeo.

15. Sistema, de acordo com a reivindicação 14, CARACTERIZADO pelo fato de que a unidade de correção de artefatos é configurada para selecionar a imagem em respos- ta à priorização das imagens de acordo com os critérios métricos.

16. Sistema, de acordo com a reivindicação 14, CARACTERIZADO pelo fato de que o conteúdo inclui pelo menos um de conteúdo de animação e um conteúdo de filme.

17. Sistema, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que o tipo de artefato de compactação de vídeo compreende pelo menos um de: um artefato bloqueador, um artefato formador de faixas, um artefato de manchas escuras e um artefato sonoro.

18. Sistema, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que a unidade de correção de artefatos utiliza um mapa de artefatos para corrigir um primei- ro bloco que inclui um artefato da imagem.

19. Sistema, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de que o mapa de artefatos é segmentado em blocos de um tamanho fixo.

20. Sistema, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de que a unidade de correção de artefato é configurada para corrigir um segundo bloco que não inclui um artefato.

21. Sistema, de acordo com a reivindicação 13, CARACTERIZADO pelo fato de que a unidade de correção de artefatos é configurada para ajustar pelo menos um de um parâmetro de quantificação e uma decisão sobre modo(s) que correspondem a pelo menos um bloco da imagem de vídeo.

22. Sistema, de acordo com a reivindicação 21, CARACTERIZADO pelo fato de que a unidade de correção de artefatos fornece informações de ajuste ao processador, que é também adaptado para ajustar as informações de vídeo em seguida ao ajuste.

23. Sistema, de acordo com a reivindicação 13, CARACTERIZADO por compreen- der: uma interface com usuário configurada para notificar o usuário de pelo menos um tipo de artefato presente na imagem de vídeo.

24. Sistema, de acordo com a reivindicação 23, CARACTERIZADO pelo fato de que a unidade de correção de artefatos é configurada para gerar uma classificação da ima- gem de vídeo de acordo com a gravidade de pelo menos um artefato e a interface com usu- ário é configurada para notificar o usuário da classificação da imagem de vídeo.