BRPI0913589B1

BRPI0913589B1 - dispositivo de processamento de dados de imagem

Info

Publication number: BRPI0913589B1
Application number: BRPI0913589-8A
Authority: BR
Inventors: Yusuke Yatabe; Hironori Komi
Original assignee: Maxell, Ltd.
Priority date: 2008-07-30
Filing date: 2009-06-08
Publication date: 2020-11-24
Also published as: CN102057679A; MY154427A; KR20100137022A; CN102057679B; US20110064135A1; US8929439B2; JPWO2010013543A1; EP2320662A4; BRPI0913589A2; EP2320662A1; KR101223780B1; WO2010013543A1; JP5362723B2

Abstract

DISPOSITIVO DE REMOÇÃO DE RUÍDO DE IMAGEM COMPRIMIDA, E, DISPOSITIVO DE REPRODUÇÃO. Um dispositivo de remoção de ruído de imagem comprimida inclui: um meio de codificação para decodificar uma sequência de imagem digital comprimida; uma unidade de manutenção de informação para manter uma pluralidade de blocos de subinformação decodificada por uma unidade VLD; uma unidade de julgamento de ruído que realiza um julgamento sobre remoção de ruído de uma imagem de exibição gerada pelos meios de codificação e a unidade de manutenção de informação; uma unidade de remoção de ruído para executar a remoção de ruído no bloco julgado a ser submetido a uma remoção de ruído pela unidade de quantização, dados de compensação de movimento produzidos a partir de uma unidade de compensação de movimento, e subinformação mantida na unidade de manutenção de informação; e uma unidade de manutenção de imagem de exibição que mantém como uma imagem de exibição, a imagem produzida da unidade de remoção de ruído se a unidade de julgamento de ruído tiver sido julgada para executar uma remoção de ruído ou a produção do meio de decodificação se a unidade de julgamento de ruído tiver sido julgada para não executar a remoção de ruído.(...).

Description

DISPOSITIVO DE PROCESSAMENTO DE DADOS DE IMAGEM

Referências cruzadas a pedidos correlatos

[0001] Este pedido se refere e reivindica prioridade em relação ao pedido de patente japonês 208-195634, depositado em 30 de julho de 2008, aqui incorporado em sua integridade pela referência.

Campo técnico

[0002] A presente invenção se refere a um utilitário de vídeo digital para executar a reprodução de uma imagem comprimida digital.

Técnica anterior

[0003] Como uma técnica anterior no presente campo técnico, o Documento de Patente JP-A-6-70.173 pode ser citado. Nesta publicação de patente, foi apresentada a seguinte descrição: “Objeto: A ocorrência de um halo em uma imagem reproduzida é evitada. Configuração: Em uma unidade de julgamento de borda 22, é julgado se ou não uma borda está presente a partir de um estado de uma imagem obtida pela decodificação de uma imagem codificada considerada para cada bloco. Depois, em uma unidade de aproximação plana 32, com relação a cada bloco tendo a borda, a aproximação plana é feita com respeito aos domínios posicionados sobre ambos os lados da borda, criando, assim, uma imagem aproximada. Além disso, a imagem aproximada é transformada por DCT, sendo transformada, desse modo, na imagem aproximada em um domínio de frequência. Além disso, esta imagem aproximada de domínio de frequência é suprida a uma unidade de cálculo 38, onde esta imagem é adicionada à imagem decodificada no domínio de frequência com uma relação de divisão interna predeterminada associada à mesma. Ou seja, na unidade de cálculo 38, um domínio de alta frequência, que é perdido no processamento de quantização, é adicionado à imagem decodificada. A ausência deste domínio de alta frequência é uma causa para a formação de toque acima descrita. Consequentemente, o processamento de adição na unidade de cálculo 38 permite que se evite a formação de toque na imagem reproduzida”.

Documento da Técnica Anterior Documentos de Patente

[0004] Documento de Patente 1: JP-A-6-70173

Sumário da invenção Problema a ser resolvido.

[0005] Nos últimos anos, houve significativo progresso na prevalência de irradiação digital. Em seguida, em decorrência deste progresso, a imagem de HDTV (Tv de Alta Definição) já está disponível mesmo para residências comuns fácil e casualmente. Esta imagem digital, incluindo uma quantidade tremenda de informação, é normalmente comprimida pelo esquema de padrão internacional dedicado a compressão de imagem de cinema, como MPEG2 ou H.264. Nesta compressão, a redução na quantidade de dados é executada pela aplicação de transformada de frequência à informação de imagem, e corte da componente de alta frequência pela quantização. Ou seja, esta redução na quantidade de dados baseada na quantização resulta na eliminação da componente de alta frequência na imagem comprimida. Este fato, entretanto, dá origem à ocorrência de uma desfocalização de imagem e ruído de mosquito na imagem comprimida.

[0006] Com relação à remoção destes ruídos, foi feita proposta referente à técnica de predizer a componente reduzida de alta frequência. Dependendo da precisão desta imagem aproximada, porém, o caso a seguir pode ser concebido. Ou seja, a imagem aproximada torna-se uma imagem que difere da imagem inicial (ou seja, imagem original) antes de ser imagem-comprimida. Como resultado, a imagem corrigida se torna diferente das imagens periféricas, levando, desse modo, a uma degradação na qualidade da imagem reproduzida.

[0007] Em particular, o controle sobre a largura de quantização na compressão comum de imagem de cinema é executado de modo que, com base nas características do sentido de visão humana, a largura de quantização seja feita abrangentemente em relação às porções de borda. Depois, a partir desta condição, é concebível que a precisão desta imagem aproximada se torne mais degradada, e que a qualidade da imagem corrigida final também se torne degradada.

[0008] É desejável que, ao reproduzir uma imagem comprimida digital, a imagem reproduzida de alta qualidade de imagem reproduzida pela predição com alta precisão da componente de alta frequência que foi perdida no processamento de quantização. Consequentemente, um objetivo da presente invenção é reproduzir a imagem comprimida com a alta qualidade de imagem fornecida à mesma.

Meios para resolver o problema

[0009] De modo a atingir o objetivo acima descrito, as configurações reveladas no escopo das reivindicações anexas são empregadas.

Vantagens da presente invenção

[0010] De acordo com a presente invenção, torna-se possível reproduzir a imagem comprimida com a alta qualidade de imagem fornecida à mesma.

[0011] Os objetivos, configurações e efeitos que não os descritos acima se tornarão aparentes a partir da explicação a seguir dos modos de realização.

Breve Descricão dos desenhos

[0012] Fig. 1 - Representa um diagrama ilustrando um aspecto do conceito básico da presente invenção em um primeiro modo de realização.

[0013] Fig. 2 - Representa um diagrama para ilustrar a configuração de um segundo modo de realização.

[0014] Fig. 3 - Ilustra a configuração de um terceiro modo de realização.

[0015] Fig.4 - Ilustra a utilização de dados de blocos periféricos no segundo modo de realização.

[0016] Fig. 5 - Ilustra componentes de sinal respectivas resultantes em um caso em que um sinal hipotético como um sinal de imagem é transformado em frequência.

[0017] Fig.6 - Ilustra a configuração no caso em que os dados de blocos periféricos são usados no segundo modo de realização.

[0018] Fig. 8 - Ilustra a configuração da remoção de ruído usando um cálculo de avaliação de valor de imagem original no terceiro modo de realização.

[0019] Fig. 9 - Ilustra um exemplo concreto da sumarização de coeficientes em uma tabela e a correção dos coeficientes.

[0020] Fig. 10 - Ilustra a configuração de um quarto modo de realização.

[0021] Fig. 11 - Ilustra a configuração de u quinto modo de realização.

Modo de executar a invenção

[0022] Adiante, com referência aos desenhos, será dada explicação referente a modos de realização da presente invenção.

[0023] Com referência à figura 1, a explicação será dada abaixo com referência ao primeiro modo de realização. O presente modo de realização explica um aspecto do conceito básico da presente invenção. A figura 1 é um diagrama ilustrando aspecto do conceito básico da presente invenção. Um algarismo (1) na figura 1 denota um coeficiente inicial 101, indicando o coeficiente tendo certa componente (por exemplo, um valor). Um algarismo (2) na figura 1 ilustra um exemplo no qual o coeficiente inicial 101 é quantizado, com base em certa largura de quantização 102. A quantização significa que uma quantidade contínua, como dados analógicos, é aproximada a um valor discreto como dado digital. A quantização do coeficiente inicial 101 baseada na largura de quantização 102 aproxima a componente do coeficiente inicial 101, aproximando, desse modo, a componente a um coeficiente após-quantização 107.

[0024] Quando dados digitais são comprimidos, o processamento de compressão para a tremenda quantidade de dados é implementado pelo uso desta largura de quantização e coeficiente após-quantização, em vez de usar o coeficiente inicial sem mudança feita ao mesmo.

[0025] Em seguida, será dada explicação abaixo referente ao método de restauração para restaurar os dados digitais comprimidos por esta quantização. Na restauração, um coeficiente restaurado é referido como “quantização inversa” em alguns casos. Este processamento é um exemplo no qual o valor do coeficiente restaurado é restaurado para um valor intermediário no domínio da largura de quantização. É definida em avanço, sobre ambos o lado de quantização e o lado de quantização inversa em que posição desta largura de quantização o valor deve ser restaurado.

[0026] A diferença entre o coeficiente restaurado, ou seja, esta componente restaurada, e o coeficiente inicial antes de ser restaurado é referida como “um erro de quantização 104”. Este é um ruído causado pela compressão de dados digitais. A relação geral entre a relação de largura de quantização e de compressão de dados é como se segue. O aumento da largura de quantização aumenta a relação de compressão de dados, mas aumenta o erro de quantização.

[0027] Um exemplo concreto do processamento até aqui é indicado: por exemplo, consideração é feita a um caso no qual a componente original tinha um valor de 55, a quantização sendo executada com base na largura de quantização 20. Neste caso, a informação a ser usada para a compressão se torna o coeficiente após-quantização 2 e a largura de quantização 20. Depois, a execução da quantização inversa com base nesta informação faz com que o coeficiente restaurado se torne igual a 50, caso o valor do coeficiente restaurado seja restaurado para o valor intermediário da largura de quantização. Como resultado, constata-se que:

[0028] (Coeficiente inicial) 55 - (coeficiente restaurado) 50 = 5 ocorre como o erro de quantização.

[0029] A remoção deste erro de quantização com base em informação periférica sobre o coeficiente restaurado e a propriedade de sua componente. Caso, porém, a componente do coeficiente restaurado seja corrigida para a remoção de ruída, a correção da componente no interior do domínio de largura de quantização usado para a quantização inversa se torna necessário, como indicado pelo algarismo de referência 106. A razão para esta necessidade é a seguinte: caso, devido ao processamento para a remoção do erro de quantização, a componente do coeficiente restaurado tenha excedido o domínio de largura de quantização usado para a quantização inversa e indicado por 106, este fenômeno significa que o coeficiente restaurado se tornou um coeficiente (ou seja, imagem) que difere do coeficiente inicial (ou seja, imagem original). Consequentemente, a execução de remoção de ruído para restaurar perfeitamente o coeficiente inicial torna importante que a remoção de ruído baseada neste princípio seja executada, ou seja, a remoção de ruído dentro da faixa que não tenha excedido o domínio de largura de quantização.

Modo de realização 2

[0030] O presente modo de realização explica um exemplo no qual o esquema MPEG2 (ISO/IEC 13813-2) é empregado como o esquema de compressão de imagem de cinema. Não sendo limitada ao esquema MPEG2, porém, a presente invenção pode ser também implementada por outros esquemas de compressão (por exemplo, H. 264, MPEG1, MPEG4, JPEG e VC1).

[0031] Primeiro, a explicação será dada abaixo com referência ao esboço do presente modo de realização. No momento da compressão de imagem (lado do codificador), a informação de imagem é decomposta em componentes de frequência, sendo então quantizadas. A largura de quantização naquele momento é armazenada na sequência como um valor de quantização, uma matriz de quantização, e uma largura de quantização intra-DC. No lado do decodificador, a informação sobre o coeficiente após quantização e a largura de quantização pode ser adquirida. Consequentemente, é possível no momento da codificação estimar dentro de que faixa de valor o coeficiente existiu no momento da quantização. Ao executar a remoção de ruído sobre o lado do decodificador, correção do valor do coeficiente após a quantização inversa é executada, de modo que o valor fique na faixa da largura de quantização.

[0032] A figura 5 ilustra respectivos componentes de sinal resultantes (503 a 510) em um caso no qual um sinal hipotético como um sinal de imagem é transformado em frequência. Por simplicidade, a figura 5 indica um exemplo onde o sinal é transformado em componentes de frequência de oito dimensões. Em MPEG2, a transformação para 64 dimensões é executada pelo uso de uma transformada de frequência referida como “DCT (Transformada de Co-Seno Discreta)”, e que executa a transformada com base em cada bloco de 8 x 8 pixels. Um eixo transversal 501 na figura 5, denotando a frequência, indica que os componentes de frequência na direção mais à direita são componentes de frequência mais alta. Um eixo longitudinal 502 na figura 5, denotando valores dos respectivos componentes de frequência, indica que, quando o valor absoluto de uma componente de frequência é maior, a componente de frequência existe em maior quantidade. Em seguida, o processamento de quantização é executado em relação a estas componentes de frequência na compressão de imagem.

[0033] A figura 6 ilustra uma imagem intuitiva na qual os respectivos componentes de frequência de sinal ilustrados na figura 5 são quantizados. A quantização é executada com base em cada componente, de modo que uma largura de quantização 601 é calculada individualmente para cada componente. A largura de quantização 601 é determinada pelo uso do valor de quantização e a matriz de quantização. Aqui, o valor de quantização é dado para cada macrobloco, ou seja, a unidade de processamento para executar a codificação, e a matriz de quantização é dada para cada imagem. Na compressão de imagem, é geralmente preferido que, quando um componente de frequência for a componente de maior frequência, a largura de quantização correspondente é feita mais larga. A compressão de imagem é implementada pela execução da quantização com esta largura de quantização e individualmente para cada componente, e formando o coeficiente após quantização e a largura de quantização na sequência.

[0034] A decodificação (ou seja, restauração, extensão) desta sequência é executada como a seguir. Esta sequência é restaurada para a informação de imagem pela restauração das componentes de frequência usando o coeficiente após quantização e a largura de quantização, e transformando inversamente a frequência destas componentes de frequência. Incidentalmente, a informação necessária para executar a quantização no padrão MPEG2 é especificada como o valor de quantização (quantizador-escala), a matriz de quantização (não_intra/intra_quantizador_matriz), a largura de quantização intra-DC (intra_dc_precisão), e informação de comutação intra/inter (macrobloco_intra). A informação necessária para executar a quantização também se torna alvo nos outros padrões.

[0035] Nesta imagem anterior à compressão de imagem e imagem após restauração de imagem, o ruído é causado pelo erro de quantização, como explicado no primeiro modo de realização. Este ruído é, geralmente, referido como “ruído de mosquito ou ruído de bloco”. Sua remoção torna-se realizável pela aplicação de cada tipo de filtro sobre a imagem restaurada. A imagem após restauração, entretanto, se torna uma imagem que difere da imagem anterior à compressão. Este fenômeno ocorre, a não ser que a imagem restaurada (cuja remoção de ruído deve ser executada) seja corrigida na faixa da largura de quantização usada para a compressão. A execução de remoção de ruído para restaurar fielmente a imagem anterior à compressão exige que q remoção de ruído baseada neste princípio seja executada.

[0036] A figura 2 ilustra a configuração do presente modo de realização. A porção esquerda na figura 2 denota uma unidade decodificadora 201 de MPEG2. Uma sequência de vídeo de MPEG2 é introduzido em uma unidade de VLD (decodificação de comprimento variável) 202. A unidade de VLD 202 aplica a codificação inversa de comprimento variável a esta sequência, transformando-o, desse modo, em informação de quantização 205 para calcular coeficiente após quantização 208 e largura de quantização 209, e informação sobre movimento 206, como vetores de movimento. O coeficiente após quantização 208 é inversamente quantizado por uma unidade de quantização inversa 203, sendo depois inversamente transformada em frequência por uma unidade de transformação de frequência inversa 204. A informação de quantização 205, que se torna a largura de quantização 209, é produzida pela unidade de VLD 202 para a unidade de quantização inversa 203 e uma unidade de contenção de informação. A informação de movimento 206 é produzida para uma unidade de compensação de movimento 207. Com base na informação de movimento 206, a unidade de compensação de movimento 207 gera uma imagem predita a partir da imagem decodificada anterior. Além disso, a unidade 207 adiciona a imagem predita à informação proveniente da unidade de transformação de frequência inversa 204, gerando, desse modo, uma imagem decodificada 210 a ser exibida. Esta imagem decodificada 210 é mantida na unidade de compensação de movimento 207 para ser usada como uma imagem de referência para a imagem seguinte. A descrição dada até aqui se refere à unidade decodificadora 201. A operação da unidade decodificadora 201 torna-se basicamente a mesma do decodificador MPEG2 normal. A imagem decodificada 210, que é decodificada com base em MPEG2, contém o ruído de mosquito ou o ruído de bloco. Consequentemente, a remoção de ruído será executada no bloco do lado direito. A presente remoção de ruído será executada em relação a cada bloco de 8x8 pixel, ou seja, a unidade do DCT no processamento de decodificação MPEG2.

[0037] Uma unidade de julgamento de ruído 250 será explicada abaixo. A imagem decodificada 210, decodificada pela unidade decodificadora 201, é fornecida à unidade de julgamento de ruído 250. Esta unidade 250 faz um julgamento de se ou não a remoção de ruído deve ser executada em relação a um bloco alvo. Aqui, este julgamento é feito na unidade de bloco de execução de decodificação (ou seja, unidade de 8x8 pixel em MPEG2) e, com base na informação de imagem decodificada, informação de quantização, informação de quadro e informação de imagem periférica. Além disso, quando uma imagem comprimida contém uma imagem de borda, o ruído da imagem comprimida ocorre em uma quantidade significativamente grande. Isto se deve à borda conter um número significativamente grande de componentes de alta frequência, e devido ao ruído ocorrer pela eliminação das componentes de alta frequência resultantes da quantização.

[0038] Consequentemente, no presente bloco, é feita uma análise de se ou não a informação de borda existe para a imagem decodificada 210 gerada pela unidade decodificadora 201. Como este método de análise, a borda é detectada como a seguir, por exemplo. A diferença entre os pixels é assumida. Depois, se o valor de diferença for maior do que certo valor de limiar, a borda é julgada como existente no bloco alvo. Além disso, um filtro dedicado a detecção de borda pode ser usado. Além disso, pode ser concebida uma técnica na qual o julgamento de ruído é feito pela análise do valor de quantização do bloco alvo. Isto se deve à existência de uma característica que, devido às características de senso de visão humana, o ruído de alta frequência não ser conspícuo na codificação de imagem de cinema, e haver uma tendência do bloco contendo uma borda íngreme tornar o valor de quantização maior. Consequentemente, se o valor de quantização do bloco alvo for grande, este bloco alvo pode ser julgado como contendo a informação de borda. Além disso, a detecção de boda de alta precisão pode ser implementada ao ser feito o julgamento geral usando ambas as informações (ou seja, informação de imagem e informação de quantização).

[0039] Além disso, há uma característica de que, em uma imagem de cinema, o ruído não é conspícuo em uma porção na qual o movimento da imagem é rápido e violento. Consequentemente, a remoção de ruído pode ser julgada como não a ser executada na porção na qual o movimento de imagem for assim.

[0040] Além disso, há alguns casos em que, devido à preferência do usuário, há um modo no qual a remoção de ruído não será executada. Nesta ocasião, a remoção de ruído pode ser julgada como não a ser executada de acordo com uma especificação de usuário como esta.

[0041] Uma unidade de remoção de ruído 251 será explicada abaixo. No presente bloco, a remoção de ruído é executada apenas para um bloco cuja deleção de ruído tenha sido julgada como a ser executada pela unidade de julgamento de ruído 250. Seu método de remoção de ruído serve para predizer os dados cuja eliminação tenha sido causada pela quantização no domínio de frequência no tempo de compressão de imagem. O conceito básico da presente técnica será descrito abaixo. Com respeito à imagem decodificada, é executado um processamento para tornar a borda mais conspícua e remover o ruído. Este processamento é executado com base na estimativa do padrão gráfico das imagens periféricas, e classificação/separação da borda e ruído. Esta operação resulta na geração de uma imagem predita que tenha sido sujeita à remoção de ruído. A utilização de informação das imagens periféricas será descrita mais tarde.

[0042] Uma unidade de transformação de frequência 252 será explicada abaixo. No presente bloco, a transformação de frequência é aplicada à imagem que foi sujeita à remoção de ruído. Como seu esquema de transformação de frequência, o esquema correspondente à transformação de frequência inversa é empregado. No caso de MPEG, DCT é empregado.

[0043] Uma unidade de controle de largura de quantização 253 será explicada abaixo. No presente bloco, um controle é feito a partir do coeficiente após quantização e largura de quantização quanto a se ou não a imagem após remoção de ruído existe no domínio da largura de quantização.

[0044] Caso, como resultado deste controle de largura de quantização, todos os coeficientes estiverem contidos no domínio de largura de quantização, a correção é julgada como válida. Consequentemente, a imagem correspondente é transferida para uma unidade de suporte de apresentação de imagem 254 como uma imagem de exibição. Entretanto, caso, como resultado deste controle de largura de quantização, todos os coeficientes forem determinados como fora do domínio de largura de quantização, esta informação pode ser transferida para a unidade de remoção de ruído 251 para nova execução de remoção de ruído. De outro modo, a imagem anterior à remoção de ruído pode ser transferida para a unidade de suporte de exibição de imagem 254 como imagem de exibição.

[0045] Em seguida, com referência às figuras 4A e 4B, será feita explicação relativa à utilização de dados de bloco periférico. As figuras 4A e 4B ilustram uma imagem decodificada 401 cuja decodificação está concluída. A decodificação é executada na unidade de um macrobloco retangular 402. Os valores de quantização também podem ser ajustados com esta unidade de macrobloco empregada. A figura 4A é uma cena onde um fundo de paisagem 404 e um certo objeto físico 403 estão fotografados. Um ruído de quantização 405 ocorre em grande quantidade em um macrobloco contendo tanto o fundo de paisagem 404 como o objeto físico 403. A figura 4B ilustra um exemplo de unidade de rigor de quantização 406 dos valores de quantização 407 neste momento. A unidade de rigor de quantização indica cada valor de quantização que foi ajustado no momento da codificação. Geralmente, baseado nas características do sentido de visão humana, a quantização é executada é executada de tal modo que os valores de quantização são ajustados mais finamente em uma porção mais plana, e ajustados grosseiramente em uma porção de borda. Em um caso como este, em relação à utilização de informação de um bloco periférico para executar a remoção de ruído de certo bloco, a utilização da informação de um bloco cujos valores de quantização são mais ou menos menores, resulta em uma maior possibilidade de se tornar capaz de adquirir informação efetiva. A razão para este fato é como segue. Ou seja, é concebível que, no bloco cujos valores de quantização são mais ou menos menores, haja menor eliminação de dados de alta frequência e a qualidade da imagem reproduzida seja mais ou menos satisfatória. Além disso, na figura 4A, com respeito ao bloco contendo o fundo de paisagem 404 e o objeto físico 403, a execução de remoção de ruído pelo uso de informação de fundo 408 como fundo de paisagem 404 e informação de objeto físico 409 como objeto físico 403 torna possível executar a remoção de ruído com uma maior eficácia de remoção de ruído. Concretamente, esta informação periférica é usada como a informação no momento em que a imagem predita é gerada pela unidade de remoção de ruído. Além disso, adicionalmente a esta técnica a usando a informação periférica, as outras técnicas mencionáveis são uma técnica utilizando informação de quadro pretérito ou futuro, uma técnica utilizando informação sobre luminância ou diferença de cor etc.

[0046] A figura 7 ilustra a configuração para permitir a implementação da utilização os dados de bloco periférico. Os valores de quantização e a imagem decodificada são mantidos antecipadamente pela nova adição de uma unidade de memória 701 à configuração na figura 2. Depois, os valores de quantização e a imagem decodificada são usados na unidade de remoção de ruído.

[0047] Um quadro após remoção de ruído pode ser mantido nesta unidade de memória 701 para ser usado para a remoção de ruído dos quadros subseqüentes. Neste caso, a compensação de movimento é executada para a imagem após remoção de ruído pelo uso da informação de movimento. Desse modo, a imagem predita é gerada, executando, assim a remoção de ruído.

[0048] Além disso, os valores de quantização podem ser mantidos nesta unidade de memória para utilização na remoção de ruído. As magnitudes da quantização diferem entre imagens-l e imagens P/Β. Consequentemente, pela execução de remoção de ruído pela utilização contínua de valores de quantização nestas imagens-l, torna-se possível processar a remoção de ruído com base em cada imagem de uma maneira equalizada. Este atributo permite a implementação de remoção de ruído de imagem de alta qualidade nas imagens de cinema.

Modo de realização 3

[0049] A remoção de ruído no segundo modo de realização foi configurada como a seguir. Ou seja, a imagem decodificada é sujeita à remoção de ruído. Além disso, o controle é feito quanto a se ou não a imagem após remoção de ruído resultante está abrangida pela largura de quantização. Em um terceiro modo de realização, será feita explicação referente à configuração na qual a correção é realizada sobre componentes de frequência enquanto a decodificação estiver sendo processada.

[0050] Uma unidade de transformação de frequência 301 será explicada abaixo. Esta unidade 301 aplica a transformada de frequência à imagem predita produzida pela unidade de compensação de movimento 207. Como seu método de transformação de frequência, a técnica correspondente à unidade de transformação de frequência inversa 204 é empregada. No caso de MPEG, DCT é empregada.

[0051] Além disso, uma adição 302 é executada entre a saída da unidade de transformação de frequência 301 e a saída da unidade de quantização inversa 203. Esta adição cria informação que é basicamente a mesma informação adquirida pela transformação DCT da imagem decodificada. A operação em 301 e 302 é uma operação para adquirir a informação de frequência transformada da imagem decodificada. Consequentemente, esta operação é também permitida ser o esquema pelo qual a DCT é aplicada à imagem decodificada criada pela unidade decodificadora.

[0052] Uma unidade de cálculo de largura corrigida 303 será explicada abaixo. Esta unidade 303 adquire informação sobre o coeficiente após quantização e a largura de quantização da unidade decodificadora. Subsequentemente, a unidade 303 calcula a largura corrigida das componentes de frequência de imagem decodificada que não excedam o domínio de largura de quantização.

[0053] Uma unidade de transformação de frequência inversa 305 será explicada abaixo. O presente bloco é um bloco para gerar uma imagem de exibição pela transformação inversa de frequência das componentes de frequência de remoção de ruído executada.

[0054] A unidade de suporte de imagem de exibição 254 é um bloco para conter a imagem de exibição.

[0055] Uma unidade de julgamento de ruído 306 será explicada abaixo. Esta unidade 306 faz um julgamento de se ou não a remoção de ruído deve ser executada em relação a um bloco alvo. Aqui, este julgamento é feito pelo emprego, como sua entrada, da informação gerada pelo adicionador 302 pela aplicação de DCT à imagem decodificada. Em termos gerais, a unidade 306 tem, basicamente, a mesma função da unidade de julgamento de ruído 250 na figura. Nesta unidade de julgamento de ruído 306, porém, a entrada são as componentes de frequência e, consequentemente, o julgamento se torna aquele sobre as componentes de frequência.

[0056] No presente bloco, a transformação de frequência inversa é executada, e o julgamento de ruído pode ser feito no domínio de imagem. Além disso, é permitido fazer julgamento usando um bloco periférico, ou um bloco anterior ou futuro. Nesse caso, porém, surge a necessidade de usar uma memória e reter antecipadamente a informação necessária para o julgamento.

[0057] Uma unidade de remoção de ruído 304 será explicada abaixo. A unidade de remoção de ruído 304 executa a remoção de ruído em relação à informação sobre as componentes de frequência de imagem decodificada produzidas pela unidade de adição 302. A largura de correção feita para os valores com base na remoção de ruído nas componentes de frequência é determinada de modo que a largura fique dentro da largura corrigida calculada pela unidade de cálculo de largura corrigida 303. Os métodos de correção concebíveis neste momento são os seguintes.

[0058] As componentes da imagem original, como uma imagem natural, são classificadas em padrões. Além disso, um padrão que seja o mais próximo das componentes de frequência de imagem decodificada é selecionado, sendo usado depois para a correção.

[0059] Um método que será indicado na figura 8 (a ser descrito mais tarde).

[0060] A explicação detalhada será dada abaixo com referência ao método anterior. Este é o método no qual a remoção de ruído é executada sobre as componentes de frequência. Em geral, uma imagem natural ou uma imagem artificial é uma imagem clara com menos ruído. A transformação em frequência dessas imagens usando a transformação de frequência como a DCT provoca a ocorrência de resultados distintos de transformação. Os coeficientes resultantes da transformação de frequência de vários padrões, como imagem natural ou imagem artificial, estão sumarizados em uma tabela. Subsequentemente, um padrão que é o mais próximo dos coeficientes após quantização é pesquisado na tabela, sendo usado depois para a correção dos coeficientes após quantização.

[0061] A figura 9 ilustra um exemplo da sumarização dos coeficientes em uma tabela e a correção dos coeficientes. Um algarismo de referência 901 denota os coeficientes de transformação de frequência. No presente exemplo, desde que o caso no qual DCT de 8x8 pixels seja usado, os 64 coeficientes existem no total. Assumindo que o coeficiente no topo esquerdo seja uma componente de corrente contínua (componente de CC), a direção direita indica componentes de direção transversal variando da componente de domínio de frequência mais baixa até a componente de domínio de frequência mais alta. A direção descendente indica componentes de direção longitudinal variando da componente de domínio de frequência mais baixa até a componente de domínio de frequência mais alta. Ao executar a sumarização dos coeficientes em uma tabela, a DCT é aplicada a uma imagem natural ou a uma imagem artificial. Depois, com base na combinação de um grupo de componentes de domínio de baixa frequência 902 (ou seja, blocos de linhas oblíquas no desenho) que é um certo cluster de componentes de domínio de baixa frequência, os componentes de um grupo de componentes de domínio de alta frequência 903 (ou seja, blocos planos no desenho) são sumarizados na tabela. O emprego de uma tal configuração é desejável. A razão para isto é dada a seguir. Ou seja, há muitos casos em que, nos coeficientes após quantização, muitos dos componentes de domínio de alta frequência são deletados pela quantização, mas muitos dos componentes de domínio de baixa frequência permanecem. Além disso, esta classificação/separação do grupo de componentes de domínio de alta frequência 902 e grupo de componentes de domínio de baixa frequência 903 pode ser determinada por uma quantidade de memória da tabela que pode ser assegurada. Se a tabela com uma grande quantidade de memória puder ser assegurada, o grupo de componentes de domínio de baixa frequência 902 necessitará ser feito mais ou menos com maior largura. No caso oposto, o grupo de componentes de domínio de baixa frequência 902 necessitará ser feito mais ou menos de modo mais estreito. A execução do grupo de componentes de domínio de baixa frequência 902 de modo mais largo torna possível executar a correção dos coeficientes de maneira mais precisa.

[0062] Em seguida, será dada explicação referente ao método de correção para os coeficientes após quantização com o uso desta tabela. O grupo de componentes de domínio de alta frequência é extraído pela referência a esta tabela com o uso dos coeficientes do grupo de componentes de domínio de baixa frequência dos coeficientes após quantização inversa no momento de decodificação. Depois, os valores do grupo de componentes de domínio de alta frequência dos coeficientes após quantização inversa são corrigidos. Especialmente quando os valores do grupo de componentes de domínio de alta frequência dos coeficientes após quantização inversa são iguais a zero, é efetivo substituir os valores pela referência aos valores da tabela. Neste momento, é desejável que a conformação da largura de quantização explicada no primeiro modo de realização também seja executada para cada grupo de componentes de domínio de alta frequência.

[0063] Além disso, a correção dos coeficientes após quantização inversa também pode ser executada pela referência à informação em um bloco similar dos componentes de frequência de um bloco periférico ou uma imagem passada ou futura, conforme ilustrado nas figuras 4A e 4B.

[0064] Em seguida, será dada explicação referente ao último método descrito anteriormente. A figura 8 ilustra a configuração de remoção de ruído usando um cálculo de valor de avaliação de imagem original. O bloco de um cálculo de valor de avaliação de imagem original 802 é novamente adicionado à configuração ilustrada na figura 3.

[0065] Tirando vantagem de uma função de avaliação, a unidade de cálculo de valor de avaliação de imagem original 802 calcula um valor de avaliação para a imagem de exibição pela unidade de transformação de frequência inversa 305. A função de avaliação desejável como esta função de avaliação é aquela que apresenta um valor numérico mais distinto para a imagem, como uma imagem natural ou imagem artificial. Além disso, no cálculo da função de avaliação, esta pode ser calculada pelo uso não somente da informação contida em um bloco alvo de processamento apenas, mas também a informação contida em um bloco periférico ou um quadro passado ou futuro. Neste caso, os dados a serrem utilizados no cálculo de valor de avaliação são mantidos antecipadamente, pelo uso de uma memória de uma maneira separada.

[0066] Uma unidade de remoção de ruído 801 corrige a informação sobre os componentes de frequência de imagem decodificada gerada pela unidade de adição 302. Esta correção é executada dentro da largura corrigida que foi calculada ela unidade de cálculo de largura corrigida 303, e dentro da qual as componentes de frequência são modificadas pela unidade de remoção de ruído. Além disso, a transformação de frequência inversa é executada, e depois o valor de avaliação é calculado na unidade de cálculo de valor de avaliação de imagem original 802. Além disso, o valor de avaliação calculado é retroalimentado à unidade de remoção de ruído 801 novamente. Esta operação é executada toda vez quês os componentes de frequência de imagem decodificada são corrigidos. Em adição, os componentes de frequência, nos quais o valor de avaliação apresenta e reflete o mais alto grau de fidelidade à imagem original, são empregados como componentes após correção.

[0067] Em seguida, será dada explicação referente à utilização da informação de bloco periférico no momento de geração da imagem predita. Na codificação de imagem de cinema, os valores de quantização são comutados de acordo com a unidade de bloco contida na imagem. Por exemplo, em MPEG2, os valores de quantização são comutados de acordo com a unidade de bloco de 16x16 pixéis. A execução desta comutação permite que a compressão de imagem seja implementada em conformidade com uma tendência da imagem contida no quadro. Oportunamente, é concebível que, em um bloco cujos valores de quantização são pequenos, haja menor eliminação de dados de alta frequência e que a qualidade da imagem reproduzida seja satisfatória. Consequentemente, blocos adjacentes a um bloco alvo de processamento são investigados. Em seguida, se houver um bloco adjacente cujos valores de quantização sejam pequenos, esta informação do bloco adjacente é utilizada de um modo positivo. Concretamente, na geração da imagem predita, os valores de pixels adjacentes do bloco adjacente cujos valores de quantização são pequenos são determinados como os valores da imagem predita do presente bloco. O emprego desta determinação também torna possível esperar um efeito de redução de distorção de bloco que ocorra entre os blocos. A informação de quantização sobre o bloco periférico é implementada pela unidade de manutenção de informação. A figura 3 ilustra seu exemplo. Tomando a unidade de rigor dos valores de quantização em consideração, os dados de imagem sobre o bloco periférico são utilizados para a imagem decodificada.

Modo de realização 4

[0068] O presente modo de realização descreve a configuração de um caso em que H.264 (ITU-TH. 264)/MPEG4 AVC (ISSO/IEC 14.496-10) ou VCI (ou seja, esquema de compressão de imagem de cinema desenvolvido por Microsoft, e criado pela padronização de Vídeo Mídia Windows 9 (marca registrada) é empregada. Nesses padrões de codificação de imagem de cinema também, a remoção de ruído inicial baseada no princípio do primeiro modo de realização é executada. Além disso, o conceito do esquema do presente modo de realização se torna substancialmente o mesmo conceito do esquema do segundo modo de realização. Os padrões de codificação empregados entre eles, entretanto, são diferentes um do outro e, assim, as ferramentas de codificação são diferentes entre si. Como resultado, o esquema do segundo modo de realização não pode ser diretamente aplicado ao presente modo de realização. Consequentemente, a explicação especificamente detalhada será dada abaixo com referência às porções da distinção entre eles.

[0069] Nesses padrões, um processamento de filtragem referido como “filtro em circuito fechado (filtro de desbloqueio) é executado para a imagem decodificada.

[0070] A figura 10 ilustra um diagrama de configuração do presente modo de realização. Em uma unidade VLD 102, uma sequência de vídeo é submetida à decodificação para a codificação de comprimento variável, sendo dividido, desse modo, em dados de imagem, informação de quantização 1005 para calcular valor de quantização e largura de quantização como informação de matriz, informação de movimento 1006, e subinformação como informação de modo de bloco. Os dados de imagem são inversamente quantizados por uma unidade de quantização inversa 1003, sendo depois transformados inversamente em frequência por uma unidade de transformação de frequência inversa 1004. Neste momento, a informação de quantização é suprida ao bloco de quantização inversa. Incidentalmente, em H. 264 ou VC1, o tamanho de partição de bloco se torna de tamanho variável, variando de tamanho de 4x4 pixels até 8x8 pixéis. É assumido que a informação sobre o tamanho seja suprida pelo bloco de VLD a cada bloco.

[0071] Entretanto, a informação de movimento 1006 é suprida a uma unidade de compensação de movimento 1007, sendo sujeita depois a compensação de movimento. Uma imagem decodificada 1010 é gerada pela execução de uma adição de dados e informação de movimento compensado resultantes da unidade de transformação de frequência inversa 1004.

[0072] Além disso, no padrão do presente modo de realização, há um modo referido como “Intra predição”. Nesta Intra predição, a codificação de predição é executada usando apenas a informação contida no quadro decodificado. No presente modo de realização, porém, é dado exemplo no qual o processamento de Intra predição é também executado na unidade de compensação de movimento 1007. Além disso, esta imagem decodificada 1010 é sujeita à remoção de ruído de bloco em uma unidade DF 1011 para executar o filtro de desbloqueio. Estes processamentos, que são projetados pela formação de imagem da H.264/ decodificação normal baseada em VCI, são integrados como uma unidade decodificadora 1001.

[0073] A imagem decodificada 1010 é passada a uma unidade de julgamento de ruído 1050, onde um julgamento é feito de se ou não executar a remoção de ruído para a imagem decodificada. Além disso, a remoção de ruído é executada em uma unidade de remoção de ruído 1051. Além disso, a transformação de frequência é aplicada à imagem decodificada em uma unidade de transformação de frequência 1052, e o controle quanto à largura de quantização é feito em uma unidade de controle de largura de quantização 1053. Em adição, a imagem é sujeita ao filtro de desbloqueio em uma unidade DF2 1055, sendo depois armazenada em uma unidade de suporte de exibição de imagem 1054 de modo a ser exibida.

[0074] A unidade de julgamento de ruído, a unidade de remoção de ruído, e a unidade de controle de largura de quantização serão explicadas abaixo. Basicamente, os presentes blocos têm basicamente as mesmas funções daquelas da unidade de julgamento de ruído, a unidade de remoção de ruído e da unidade de controle de largura de quantização na figura 2. No presente modo de realização, porém, o tamanho de transformação de frequência tem tamanho variável variando de 4x4 pixéis a 8x8 pixéis. Consequentemente, os processamentos são executados em conformidade com o tamanho de transformação de frequência. O tamanho de partição de bloco pode ser conhecido pela aquisição do tamanho DCT a partir da subinformação no bloco VLD.

[0075] A unidade DF2 1055 será explicada abaixo. No presente bloco, o filtro de desbloqueio é aplicado a uma imagem cujo ruído já tenha sido removido na unidade de remoção de ruído, ou um bloco cuja remoção de ruído tenha sido julgada desnecessária na unidade de julgamento de ruído. Todavia, com respeito à imagem cujo ruído já foi removido na unidade de remoção de ruído, o filtro de desbloqueio não precisa necessariamente ser aplicado no presente bloco. Isto se deve, naturalmente, à remoção de ruído já ter sido terminada.

[0076] Além disso, mesmo se a remoção de ruído tiver sido executada, um julgamento de se ou não executar o filtro de desbloqueio pode ser comutado, dependendo do resultado da remoção de ruído.

[0077] Além disso, a unidade DF2 1005 é o bloco tendo basicamente as mesmas funções daquelas da unidade DF 1011, exceto pelo fato da unidade DF2 1055 fazer o julgamento de se ou não aplicar o filtro de desbloqueio caso a remoção de ruído já tenha sido feita na unidade de remoção de ruído. Consequentemente, aquele e mesmo circuito pode ser suado como estas unidades.

[0078] O quarto modo de realização foi ο caso em que a remoção de ruído é executada em relação à imagem decodificada. O presente modo de realização, porém, descreve um caso em que a remoção de ruído é executada sobre o domínio de frequência. O conceito básico do presente modo de realização é, basicamente, o mesmo daquele do terceiro modo de realização. Os padrões de decodificação empregados entre eles, porém, são diferentes um do outro e, assim, as ferramentas de codificação são diferentes uma da outra. Como resultado, o esquema do terceiro modo de realização não pode ser diretamente aplicado ao presente modo de realização. Consequentemente, no presente modo de realização, a explicação detalhada será dada abaixo com referência às porções da distinção entre eles no momento em que H. 264 ou VC1 é empregado.

[0079] A figura 11 ilustra a configuração na qual a remoção de ruído é executada sobre o domínio de frequência no momento em que o padrão, como H.264 ou VC1, é empregado. A configuração da unidade decodificadora 1101 [e basicamente a mesma da unidade decodificadora 1001 na figura 10.

[0080] Uma unidade de transformação de frequência 1151 é um bloco para aplicação da transformação de frequência aos dados de compensação após movimento criado no interior do dispositivo decodificador. Ao executar a transformação de frequência, esta precisa ser executada em conformidade com o tamanho de bloco DCT empregado. A informação sobre tamanho de bloco DCT pode ser adquirida do bloco VLD.

[0081] Um adicionador 1152, uma unidade de transformação de frequência 1151, uma unidade de julgamento de ruído 1160, uma unidade de remoção de ruído 1155, uma unidade de cálculo de largura corrigida 1153, uma unidade de transformação de frequência inversa 1154, e uma unidade de suporte de imagem de exibição 1157 tem, basicamente, as mesmas funções daquelas da configuração na figura 3. No presente modo de realização, entretanto, o tamanho de bloco de DCT tem o tamanho de partição de bloco variável, variando de 4x4 pixéis a 8x8 pixéis. Consequentemente, a quantização é também executada de acordo com o tamanho de bloco empregado então. Consequentemente, resulta que o processamento de quantização é executado com este tamanho de bloco em mente.

[0082] A unidade DF2 1156 será explicada abaixo. O presente bloco tem, basicamente, as mesmas funções daquelas de DF2 1055 na figura 10.

[0083] Com referência aos desenhos anexos, a explicação acima foi dada em relação aos modos de realização preferidos da presente invenção. Desnecessário dizer, porém, que a presente invenção não está limitada a estes modos de realização. Por exemplo, os modos de realização acima descritos foram explicados em detalhe específico para explicar a presente invenção de um modo fácil de entender. Ou seja, a presente invenção não está necessariamente limitada aos modos de realização que incluem todas as configurações explicadas. Será visível para alguém experiente na técnica que vários tipos de modificações e emendas podem ser imaginados dentro do escopo das idéias técnicas reveladas nas reivindicações anexas. Consequentemente, deve ser entendido que estas modificações e emendas também pertencem naturalmente ao escopo técnico da presente invenção.

Claims

Dispositivo de processamento de dados de imagem, compreendendo:
um dispositivo de decodificação configurado para efetuar:
uma unidade de decodificação de comprimento variável (VLD) de decodificação de um fluxo compactado por imagem digital em dados e subinformações de imagem;
uma unidade de quantização inversa para quantificar inversamente os referidos dados de imagem decodificados pela referida unidade de VLD;
uma unidade de transformação de frequência inversa para transformação inversa de frequência dos referidos dados de imagem quantizados inversamente; e
uma unidade de compensação de movimento para executar uma compensação de movimento com base na referida subinformação decodificada pela referida unidade de VLD;
uma unidade de retenção de informações para manter a referida subinformação pela quantidade de uma pluralidade de blocos, sendo a referida subinformação decodificada pela referida unidade de VLD;
uma unidade de julgamento de ruído para julgar se a remoção de ruído deve ou não ser executada, para cada bloco de uma imagem decodificada gerada pelo referido dispositivo decodificador e a referida unidade de retenção de informações;
uma unidade de remoção de ruído para executar a referida remoção de ruído de um bloco cuja remoção de ruído foi julgada a ser executada pela referida unidade de julgamento de ruído, usando os referidos dados de imagem emitidos a partir da referida unidade de quantização inversa, dados de compensação de movimento emitidos a partir da referida unidade de compensação de movimento e a referida subinformação mantida na referida unidade de retenção de informações; e
uma unidade de retenção de imagem de exibição para manter, como uma imagem de exibição, uma imagem decodificada após a remoção do ruído pela referida unidade de remoção de ruído, se dita remoção de ruído tiver sido julgada a ser executada pela referida unidade de julgamento de ruído, ou a referida imagem decodificada emitida a partir do referido descodificador se a referida remoção de ruído tiver sido julgada a ser não executada desse modo, caracterizado pelo fato de que a referida remoção de ruído pela unidade de remoção de ruído é executada corrigindo um coeficiente para a imagem decodificada emitida pelo dispositivo decodificador; e
a referida correção sendo executada dentro de um intervalo em que o valor do coeficiente para a imagem decodificada corrigida se torna um valor de coeficiente da imagem decodificada emitida a partir do dispositivo decodificador quando quantificado inversamente usando uma largura de quantização incluída na referida subinformação.
Dispositivo de processamento de dados de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que
um julgamento sobre a execução ou não da referida remoção de ruído é determinado com base nas informações de borda e nos valores de quantização do referido bloco cuja remoção de ruído foi julgada a ser executada.
Dispositivo de processamento de dados de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que
valores de correção para referidos valores de coeficiente quantificado inversamente quando a referida remoção de ruído é executada são calculados usando dados de imagem em um bloco adjacente, e o referido bloco adjacente sendo adjacente ao referido bloco cuja remoção de ruído foi julgada a ser executada, e os valores de quantização do referido bloco adjacente sendo pequenos.
Dispositivo de processamento de dados de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que
o referido dispositivo decodificador é um decodificador Motion Picture Experts Group 2 (MPEG2), em que MPEG2 é um esquema padrão internacional dedicado à compressão de imagens.
Dispositivo de processamento de dados de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que
o referido dispositivo decodificador é um decodificador H.264, em que H.264 é um esquema padrão internacional dedicado à compressão de imagens.