BR112012001639B1

BR112012001639B1 - dispositivo e método de codificação de imagem

Info

Publication number: BR112012001639B1
Application number: BR112012001639-3A
Authority: BR
Inventors: Kenji Kondo
Original assignee: Velos Media International Limited
Priority date: 2009-07-31
Filing date: 2010-07-23
Publication date: 2021-01-26
Also published as: KR20190114025A; EP3661207B1; CN103957408B; KR20160099727A; TW201921930A; KR20180137038A; US20130301942A1; KR101747063B1; RU2656712C2; PL2790409T3; EP3661207A1; TWI723849B; EP2802150A1; CN103957407A; CN104935937A; US10721494B2; KR20170049637A; KR20140065021A; EP2461588A4; TWI647947B

Abstract

DISPOSITIVO E MÉTODO DE PROCESSAMENTO DE IMAGEM, E, PROGRAMA São divulgados um métodos e aparelho de processamento de imagem, que tornam possível prevenir o efeito de um processo de filtragem de ser reduzido pelo controle local do processo de filtragem em codificação e decodificação. Com base na informação de especificação de sistema gerenciado por uma unidade de gerenciamento de especificação de sistema (141), uma unidade de gerenciamento de sinalizador de controle de fronteira (132) de um áudio de geração de informação de controle (112) gera um sinalizador de controle de fronteira. De acordo com o valor do sinalizador de controle de fronteira, uma unidade de controle (171) de uma unidade de processo de filtragem adaptativo (113) determina uma maneira na qual o processo de filtragem é aplicado para pixéis localizados na vizinhança de uma fronteira de um pedaço de imagem. Por exemplo, a unidade de controle (171) seleciona se é para aplicar o processo de filtragem dentro do pedaço de imagem. O aparelho e método aqui divulgados são aplicáveis à, por exemplo, um aparelho de processamento de imagem.

Description

DISPOSITIVO E MÉTODO DE CODIFICAÇÃO DE IMAGEM

Campo técnico

A presente invenção se refere a um dispositivo de processamento de imagem e método, e especificamente se refere a um dispositivo de processamento de imagem e método que permite supressão na deterioração dos efeitos de processamento de filtro devido ao controle local de processamento de filtro quando da codificação ou quando da decodificação.

Fundamentos da Técnica

Nos anos recentes, têm aparecido dispositivos de uso generalizado, condizentes com formatos tal como MPEG (Grupo de Peritos de Imagem em Movimento) ou o similar, que tratam informação de imagem como sinais digitais, e toma vantagem de redundância peculiar para a informação de imagem de modo a efetuar transmissão e armazenamento de informação altamente eficaz naquele momento, para comprimir uma imagem através de transformada ortogonal tal como transformada de cosseno discreto ou o similar e de compensação de movimento, como ambas distribuição de informação tal como transmissão por difusão e recepção de informação recepção em domicílios em geral.

Em particular, MPEG2 (ISO (Organização Internacional para Padronização) / IEC (Comissão de Eletrotécnica Internacional) 13818-2) é definido como um formato de codificação de imagem de propósito geral, e é um padrão englobando ambas de imagens de varredura intercaladas e imagens de varredura sequencial, e imagens de resolução de imagens e imagens de alta definição. Por exemplo, MPEG2 tem sido amplamente empregado agora em ampla gama de aplicações para uso profissional e para uso do consumidor. Empregando o formato de compressão de MPEG2, uma quantidade de código (taxa de bit) de 4 a 8 Mbps é alocada no evento de uma imagem de varredura intercalada de resolução padrão tendo 720 x 480 pixels, por exemplo. Além disso, empregando o formato de compressão de MPEG, uma quantidade de código (taxa de bit) de 18 a 22 Mbps é alocado no evento de uma imagem de varredura intercalada de alta resolução tendo 1920 x 1088 pixels, por exemplo, e por meio disso, uma alta taxa de compressão e excelente qualidade de imagem podem ser realizadas.

Com MPEG2, codificação de alta qualidade de imagem adaptada para uso em transmissão por difusão é principalmente considerada como um objeto, mas uma quantidade inferior de código (taxa de bit) do que a quantidade de código de MPEG1, i.e., um formato de codificação tendo uma maior taxa de compressão não é tratado. De acordo com a divulgação de assistentes digitais pessoais, tem sido esperado que necessidades para tal um formato de codificação serão aumentadas de agora em diante, e em resposta a isto, padronização do formato de codificação de MPEG foi realizada. Com relação a um formato de codificação de imagem, a especificação do mesmo foi confirmada como padrão internacional como ISO / IEC 14496-2 em dezembro de 1998.

Adicionalmente, nos anos recentes, padronização de um padrão chamado H.26L (ITU-T (Setor de Padronização de Telecomunicações do ITU) Q6 / 16 VCEG (Grupo de Peritos de Codificação de Vídeo)) progrediu, originalmente pretendido para codificação de imagem para uso em videoconferência. Com H.26L, foi conhecido que quando comparado com um formato de codificação convencional tal como MPEG2 ou MPEG4, embora maior quantidade de computação seja solicitada para codificação e decodificação do mesmo, maior eficiência de codificação é realizada. Além disso, correntemente, como parte da atividade de MPEG4, padronização para também tomar vantagem das funções não suportadas por H.26L com este H.26L tomado como uma base, para realizar maior eficiência de codificação, foi efetuada como Modelo de Articulação de Codificação de Vídeo de Compressão Aprimorada. Como uma programação de padronização, H.264 e MPEG-4 Part10 (AVC (Codificação de Vídeo Avançada)) se torna um padrão internacional em março de 2003.

Além disso, há filtro de laço adaptativo (ALF (Filtro de laço Adaptativo)) como uma técnica de codificação de vídeo de próxima geração que está sendo considerada como de recente (ver NPL 1, por exemplo). De acordo com este filtro de laço adaptativo, processamento de filtro ótimo é efetuado a cada quadro, e ruído de bloco que não foi completamente removido no filtro de desbloqueio, e ruído devido à quantização, podem ser reduzidos.

Contudo, imagens em geral têm vários recursos, assim coeficientes de filtro ótimos são localmente diferentes. Com o método no NPL 1, o mesmo coeficiente de filtro é aplicado para todos os pixels dentro de um quadro, assim a qualidade de imagem do quadro como um todo melhora, mas tem havido a preocupação de que pode haver deterioração local.

Consequentemente, tem sido concebido não efetuar processamento de filtro em regiões que localmente deterioram (ver NPL 2 e NPL 3, por exemplo). Neste caso, o dispositivo de codificação de imagem corresponde a múltiplos blocos de controle em matriz sem vãos entre eles como se eles estivessem sendo usados para pavimentação, com regiões da imagem, e controla se é ou não para efetuar processamento de filtro em uma imagem para cada bloco de controle. O dispositivo de codificação de imagem configura informação de sinalizador para cada bloco, e efetua processamento de filtro adaptativo de acordo com a informação de sinalizador. Na mesma maneira, o dispositivo de decodificação de imagem também efetua processamento de filtro adaptativo de acordo com a informação de sinalizador.

Lista de citação Literatura de Não Patente

NPL 1: Yi-Jen Chiu e L. Xu, "Adaptive (Wiener) Filter for Video Compression," ITU-T SG16 Contribution, C437, Genebra, Abril de 2008.
NPL 2: Takeshi. Chujoh, et al., " Block-based Adaptive Loop Filter " ITU-T SG16 Q6 VCEG Contribution, AI18, Alemanha, Julho de 2008
NPL 3: T. Chujoh, N. Wada e G. Yasuda, " Quadtree-based Adaptive Loop Filter", ITU-T SG16 Q6 VCEG Contribution, VCEG-AK22(r1), Japão, Abril de 2009

Sumário da invenção Problema técnico

Contudo, há um método no qual um quadro é dividido em múltiplas fatias (slices), e processamento de codificação e processamento de decodificação da imagem são efetuados para cada tal fatia (fatia múltipla). NPL 2 e NPL 3 não fazem menção considerando processamento de pixels perto das fronteiras das fatias em tal um caso de fatia múltipla, e como este deve ser processado não tem sido claro.

A presente invenção foi proposta à luz desta situação, e é um objeto do mesmo para suprimir deterioração dos efeitos de processamento de filtro devido ao controle local de processamento de filtro quando da codificação ou quando da decodificação.

Solução para o problema

Um aspecto da presente invenção é um dispositivo de processamento de imagem incluindo: meios de determinação configurados para determinar se estão ou não incluídos, nos pixels circundantes de um pixel a ser processado pelo processamento de filtro localmente efetuado em uma imagem, pixels de uma fatia vizinha a uma fatia no qual o pixel a ser processado está incluído; meios de seleção configurados para selecionar, a partir de uma pluralidade de métodos, um método para o processamento de filtro a ser efetuado no pixel a ser processado, com base em um sinalizador de controle de fronteira, no evento em que determinação foi feita pelos meios de determinação que um pixel da fatia vizinha está incluído nos pixels circundantes; e meios de processamento de filtro configurados para efetuar o processamento de filtro quanto ao pixel a ser processado com o método selecionado pelos meios de seleção.

Os meios de seleção podem selecionar um de, um método para efetuar o processamento de filtro no pixel a ser processado após os pixels circundantes situados na fatia vizinha tem sido obtido, e um método para efetuar o processamento de filtro no pixel a ser processado gerando dados de preenchimento dos pixels circundantes situados na fatia vizinha duplicando os pixels circundantes situados na fatia incluindo o pixel a ser processado.

Os meios de seleção podem selecionar um de, um método para efetuar o processamento de filtro no pixel a ser processado após os pixels circundantes situados na fatia vizinha ter sido obtido, e um método para omitir realizar o processamento de filtro no pixel a ser processado.

Dispositivo de processamento de imagem pode ainda incluir: meios de geração configurados para gerar o sinalizador de controle de fronteira com base nas especificações do sistema; com os meios de seleção selecionando um método do processamento de filtro quanto ao pixel a ser processado, com base no sinalizador de controle de fronteira gerado pelos meios de geração.

As especificações do sistema podem incluir recursos de hardware do dispositivo de processamento de imagem.

As especificações do sistema podem incluir o propósito de uso do dispositivo de processamento de imagem.

Dispositivo de processamento de imagem pode ainda incluir: meios de codificação configurados para codificar a imagem e gerar dados codificados; com os meios de codificação ainda codificando o sinalizador de controle de fronteira gerado pelos meios de geração, e adicionando aos dados codificados.

Dispositivo de processamento de imagem pode ainda incluir: meios de decodificação configurados para decodificar dados codificados da imagem tendo sido codificados, e gerar a imagem; com os meios de decodificação ainda decodificando o sinalizador de controle de fronteira codificado que foi adicionado aos dados codificados; e os meios de seleção selecionando um método para o processamento de filtro quanto ao pixel a ser processado, com base no sinalizador de controle de fronteira decodificado pelos meios de decodificação.

Um aspecto da presente invenção também é um método de processamento de imagem onde os meios de determinação de um dispositivo de processamento de imagem determinam se estão ou não incluídos, nos pixels circundantes de um pixel a ser processado pelo processamento de filtro localmente efetuado em uma imagem, pixels de uma fatia vizinha a uma fatia no qual o pixel a ser processado está incluído, meios de seleção do dispositivo de processamento de imagem selecionam, a partir de uma pluralidade de métodos, um método para o processamento de filtro a ser efetuado no pixel a ser processado, com base em um sinalizador de controle de fronteira, no evento em que determinação foi feita que um pixel da fatia vizinha está incluído nos pixels circundantes, e meios de processamento de filtro do dispositivo de processamento de imagem efetuam o processamento de filtro quanto ao pixel a ser processado com o método que foi selecionado.

Com um aspecto da presente invenção, determinação é feita considerando se estão ou não incluídos, nos pixels circundantes de um pixel a ser processado pelo processamento de filtro localmente efetuado em uma imagem, pixels de uma fatia vizinha a um fatia no qual o pixel a ser processado está incluído, um método para o processamento de filtro a ser efetuado no pixel a ser processado é selecionado a partir de uma pluralidade de métodos, com base em um sinalizador de controle de fronteira, no evento em que determinação foi feita que um pixel da fatia vizinha está incluído nos pixels circundantes, e o processamento de filtro é efetuado quanto ao pixel a ser processado com o método que foi selecionado.

Efeitos Vantajosos da Invenção

De acordo com a presente invenção, uma imagem pode ser codificada ou decodificada. Particularmente, deterioração de efeitos do processamento de filtro devido ao controle local de processamento de filtro quando codificação ou decodificação pode ser suprimido. Por exemplo, a deterioração nos efeitos de processamento de filtro pode ser suprimida mesmo no caso de efetuar codificação ou decodificação com cada quadro de uma imagem dividida em uma pluralidade.

Descrição Breve dos Desenhos

[Fig. 1] Fig. 1 é um diagrama em bloco ilustrando uma configuração de uma modalidade de um dispositivo de codificação de imagem para o qual a presente invenção foi aplicada.
[Fig. 2] Fig. 2 é um diagrama descrevendo processamento de compensação / prognóstico de movimento de bloco de tamanho variável.
[Fig. 3] Fig. 3 é um diagrama em bloco ilustrando um exemplo primário de configuração de uma unidade de geração de informação de controle.
[Fig. 4] Fig. 4 é um diagrama descrevendo sinalizadores de blocos de ALF e bloco de filtro.
[Fig. 5] Fig. 5 é um diagrama descrevendo um exemplo de fatia múltipla.
[Fig. 6] Fig. 6 é um diagrama descrevendo pixels circundantes usados para processamento de filtro.
[Fig. 7] Fig. 7 é um diagrama descrevendo a maneira na qual processamento de filtro é efetuado perto de uma fronteira.
[Fig. 8] Fig. 8 é um diagrama em bloco ilustrando um exemplo primário de configuração de uma unidade de processamento de filtro adaptativo.
[Fig. 9] Fig. 9 é um fluxograma descrevendo um exemplo do fluxo de processamento de codificação.
[Fig. 10] Fig. 10 é um fluxograma descrevendo um exemplo do fluxo de processamento de geração de informação de controle.
[Fig. 11] Fig. 11 é um fluxograma descrevendo um exemplo do fluxo do processamento de configuração de sinalizador de controle de fronteira.
[Fig. 12] Fig. 12 é um fluxograma descrevendo um exemplo do fluxo do processamento de controle de filtro adaptativo.
[Fig. 13] Fig. 13 é um fluxograma descrevendo um exemplo do fluxo do processamento de filtro.
[Fig. 14] Fig. 14 é um fluxograma descrevendo um exemplo do fluxo do processamento de filtro.
[Fig. 15] Fig. 15 é um diagrama em bloco ilustrando um exemplo primário de configuração de um dispositivo de decodificação de imagem para o qual a presente invenção foi aplicada.
[Fig. 16] Fig. 16 é um fluxograma descrevendo um exemplo do fluxo de processamento de decodificação.
[Fig. 17] Fig. 17 é um diagrama em bloco ilustrando um outro exemplo de configuração de um dispositivo de codificação de imagem para o qual a presente invenção foi aplicada.
[Fig. 18] Fig. 18 é um diagrama em bloco ilustrando um outro exemplo de configuração de um dispositivo de decodificação de imagem para o qual a presente invenção foi aplicada.
[Fig. 19] Fig. 19 é um fluxograma descrevendo um exemplo do fluxo do processamento para trocar informação de especificação.
[Fig. 20] Fig. 20 é um diagrama descrevendo um outro exemplo de blocos de ALF e sinalizadores de bloco de filtro.
[Fig. 21] Fig. 21 é um diagrama descrevendo um outro exemplo de blocos de ALF e sinalizadores de bloco de filtro.
[Fig. 22] Fig. 22 é um diagrama descrevendo a maneira do processamento ser efetuado no caso de fatia múltipla.
[Fig. 23] Fig. 23 é um diagrama em bloco ilustrando um exemplo primário de configuração de um computador pessoal para o qual a presente invenção foi aplicada.
[Fig. 24] Fig. 24 é um diagrama em bloco ilustrando um exemplo principal de configuração de um receptor de televisão para o qual a presente invenção foi aplicada.
[Fig. 25] Fig. 25 é um diagrama em bloco ilustrando um exemplo principal de configuração de um telefone celular para o qual a presente invenção foi aplicada.
[Fig. 26] Fig. 26 é um diagrama em bloco ilustrando um exemplo principal de configuração de um gravador de disco rígido para o qual a presente invenção foi aplicada.
[Fig. 27] Fig. 27 é um diagrama em bloco ilustrando um exemplo principal de configuração de uma câmera para a qual a presente invenção foi aplicada.
[Fig. 28] Fig. 28 é um diagrama ilustrando um exemplo de blocos macros.

Descrição das Modalidades

Daqui em diante, modalidades da presente invenção serão descritas. Note que descrição vai proceder na seguinte ordem.

1. Primeira Modalidade (dispositivo de codificação de imagem)
2. Segunda Modalidade (dispositivo de decodificação de imagem)
3. Terceira modalidade (sistema de codificação / decodificação de imagem)
4. Quarta Modalidade (QALF)
5. Quinta Modalidade (computador pessoal)
6. Sexta Modalidade (receptor de televisão)
7. Sétima Modalidade (telefone celular)
8. Oitava Modalidade (gravador de disco rígido)
9. Nona Modalidade (câmera)

<1. Primeira modalidade> [Configuração de dispositivo]

Fig. 1 representa uma configuração de uma modalidade de um dispositivo de codificação de imagem servindo como um dispositivo de processamento de imagem para o qual a presente invenção foi aplicada.

Um dispositivo de codificação de imagem 100 mostrado na Fig. 1 é um dispositivo de codificação de imagem que submete uma imagem à codificação de compressão usando, por exemplo, o formato H.264 e MPEG-4 Part10 (Codificação de Vídeo Avançada) (daqui em diante, escrito como H.264 / AVC), e ainda emprega um filtro de laço adaptativo.

Com o exemplo na Fig. 1, o dispositivo de codificação de imagem 100 tem uma unidade de conversão A/D (Analógico / Digital) 101, uma área de armazenamento temporário de rearrumação de tela 102, uma unidade de computação 103, uma unidade de transformada ortogonal 104, uma unidade de quantização 105, uma unidade de codificação sem perda 106, e uma área de armazenamento temporário 107. O dispositivo de codificação de imagem 100 também tem uma unidade de quantização inversa 108, uma unidade de transformada ortogonal inversa 109, uma unidade de computação 110, e um filtro de desbloqueio 111. Adicionalmente, o dispositivo de codificação de imagem 100 tem uma unidade de geração de informação de controle 112, uma unidade de processamento de filtro adaptativo 113, e memória de quadro 114. Além disso, o dispositivo de codificação de imagem 100 tem uma unidade de intrapredição 115, uma unidade de compensação de movimento 116, uma unidade de prognóstico de movimento 117, e uma unidade de seleção de imagem de prognóstico 118. Adicionalmente, o dispositivo de codificação de imagem 100 tem uma unidade de controle de taxa 119.

A unidade de conversão de A / D 101 efetua conversão de A / D de uma imagem de entrada, e emite para a área de armazenamento temporário de rearrumação de tela 102 e armazena. A área de armazenamento temporário de rearrumação de tela 102 rearruma as imagens de quadros na ordem armazenada para exibir na ordem dos quadros para codificação de acordo com GOP (Grupo de Imagem). A unidade de computação 103 subtrai da imagem lida da área de armazenamento temporário de rearrumação de tela 102 a imagem de prognóstico da unidade de intrapredição 115 selecionada pela unidade de seleção de imagem de prognóstico 118 ou a imagem de prognóstico da unidade de compensação de movimento 116, e emite informação de diferença das mesmas para a unidade de transformada ortogonal 104. A unidade de transformada ortogonal 104 submete a informação de diferença a partir da unidade de computação 103 para transformada ortogonal, tal como transformada de cosseno discreto, transformada de Karhunen-Loéve, ou o similar, e emite o coeficiente de transformada da mesma. A unidade de quantização 105 faz quantização do coeficiente de transformação que a unidade de transformada ortogonal 104 emite.

O coeficiente de transformação ao qual foi aplicada quantização, isto é, a saída da unidade de quantização 105 é entrado para a unidade de codificação sem perda 106, onde ele é submetido à codificação sem perda, tal como codificação de comprimento variável, codificação aritmética, ou o similar, e comprimido.

A unidade de codificação sem perda 106 obtém informação indicando intrapredição e assim por diante a partir da unidade de intrapredição 115, e obtém informação indicando um modo de modo de interpredição, e assim por diante a partir da unidade de prognóstico de movimento 117. Note que a informação indicando intrapredição também será referida como informação de modo de intrapredição daqui em diante. Além disso, a informação indicando interpredição também será referida como informação de modo de interpredição daqui em diante.

A unidade de codificação sem perda 106 obtém informação de controle de processamento de filtro adaptativo efetuado na unidade de processamento de filtro adaptativo 113 da unidade de geração de informação de controle 112.

A unidade de codificação sem perda 106 codifica o coeficiente de transformação ao qual foi aplicado quantização, e também codifica a informação de controle de processamento de filtro adaptativo, a informação indicando intrapredição, a informação indicando um modo de modo de interpredição, parâmetros de quantização, e assim por diante, e considera esses como partes da informação de cabeçalho na imagem comprimida (multiplexada). A unidade de codificação sem perda 106 supre os dados codificados para a área de armazenamento temporário 107 para armazenamento.

Por exemplo, com a unidade de codificação sem perda 106, processamento de codificação sem perda, tal como codificação de comprimento variável, codificação aritmética, ou o similar, é efetuado. Exemplos da codificação de comprimento variável incluem CAVLC (Codificação de Comprimento Variável Adaptativo de Contexto) determinado pelo formato de H.264 / AVC. Exemplos da codificação aritmética incluem CABAC (Codificação Aritmética Binária Adaptativa de Contexto).

A área de armazenamento temporário 107 temporariamente mantém os dados fornecidos a partir da unidade de codificação sem perda 106, e em um tempo pré-determinado os emite para, por exemplo, um dispositivo de armazenamento ou caminho de transmissão ou o fluxo de descida similar não mostrado no desenho, como uma imagem comprimida codificada pelo formato de H.264 / AVC.

Além disso, o coeficiente de transformação ao qual foi aplicada quantização emitido a partir da unidade de quantização 105 é também entrado para a unidade de quantização inversa 108. A unidade de quantização inversa 108 efetua quantização inversa do coeficiente de transformação ao qual foi aplicada quantização com um método correspondendo à quantização na unidade de quantização 105, e supre o coeficiente de transformação obtido para a unidade de transformada ortogonal inversa 109.

A unidade de transformada ortogonal inversa 109 efetua transformada ortogonal inversa dos coeficientes de transformada fornecidos com um método correspondendo ao processamento de transformada ortogonal pela unidade de transformada ortogonal 104. A saída submetida à transformada ortogonal inversa é fornecida para a unidade de computação fornecida a partir da unidade de seleção de imagem de prognóstico 118 para o resultado da transformada ortogonal inversa resultado fornecido a partir da unidade de transformada ortogonal inversa 109, i.e., a informação de diferença restaurada, e obtém uma imagem decodificada localmente (imagem decodificada). Os resultados da adição dos mesmos são fornecidos para o filtro de desbloqueio 111.

O filtro de desbloqueio 111 remove ruído de bloco da imagem decodificada. O filtro de desbloqueio 111 então supre os resultados da remoção de ruído remoção para a unidade de geração de informação de controle 112 e para a unidade de processamento de filtro adaptativo 113.

A unidade de geração de informação de controle 112 obtém a imagem decodificada fornecida a partir do filtro de desbloqueio 111 e da imagem de entrada corrente lida da área de armazenamento temporário de rearrumação de tela 102, e gera a partir dessas informações de controle para filtragem adaptativa a ser efetuada na unidade de processamento de filtro adaptativo 113. Enquanto detalhes serão descritos mais tarde, a informação de controle inclui coeficientes de filtro, tamanho de bloco, sinalizadores de bloco de filtro, e sinalizadores de controle de fronteira e o similar.

A unidade de geração de informação de controle 112 supre a informação de controle gerada para a unidade de processamento de filtro adaptativo 113. Da mesma forma, unidade de geração de informação de controle 112 também supre a informação de controle gerada para a unidade de codificação sem perda 106. Conforme descrito acima, a informação de controle é submetida à processamento de compressão sem perda pela unidade de codificação sem perda 106, e incluída na informação da imagem comprimida (multiplexada). Isto é para dizer, a informação de controle é enviada para o dispositivo de decodificação de imagem junto com a informação de compressão de imagem.

A unidade de processamento de filtro adaptativo 113 efetua processamento de filtro na imagem decodificada fornecida a partir do filtro de desbloqueio 111, usando os coeficientes de filtro, especificação de tamanho de bloco, e sinalizadores de bloco de filtro e o similar, da informação de controle fornecida a partir da unidade de geração de informação de controle 112. Um filtro de Wiener (filtro de Wiener), por exemplo, é usado como este filtro. É claro que, um filtro outro do que um filtro de Wiener pode ser usado. A unidade de processamento de filtro adaptativo 113 supre os resultados do processamento de filtro para a memória de quadro 114, e armazena como uma imagem de referência.

A memória de quadro 114 emite a imagem de referência armazenada para a unidade de compensação de movimento 116 e para a unidade de prognóstico de movimento 117 em um tempo pré-determinado.

Com este dispositivo de codificação de imagem 100, a imagem I, a imagem B, e a imagem P a partir da área de armazenamento temporário de rearrumação de tela 102 são fornecidas para a unidade de intrapredição 115 como uma imagem a ser submetida à intrapredição (também referido como intraprocessamento), por exemplo. Além disso, a imagem B e imagem P lidas a partir da área de armazenamento temporário de rearrumação de tela 102 são fornecidas para a unidade de compensação de movimento 117 como uma imagem as ser submetida à interpredição (também referido como interprocessamento).

A unidade de intrapredição 115 efetua processamento de intrapredição de todos os modos de intrapredição candidatos com base na imagem a ser submetida à intrapredição lida a partir da área de armazenamento temporário de rearrumação de tela 102, e na imagem de referência fornecida a partir da memória de quadro 114 para gerar uma imagem de prognóstico.

Com a unidade de intrapredição 115, informação relacionada ao modo de intrapredição aplicado ao bloco corrente / bloco macro é transmitida para a unidade de codificação sem perda 106, e é codificada como a parte da informação de cabeçalho na informação de compressão de imagem. Com a informação de formato de codificação de imagem H.264, o modo de intrapredição de 4 x 4, modo de intrapredição de 8 x 8, e modo de intrapredição de 16 x 16 são definidos para sinais de intensidade luminosa por unidade de área, e também com relação aos sinais de diferença de cor, um modo de prognóstico pode ser definido para cada bloco macro, independente os sinais de intensidade luminosa por unidade de área sinais. Para o modo de intrapredição de 4 x 4, um modo de intrapredição é definido para cada 4 x 4 blocos de intensidade luminosa por unidade de área. Para o modo de intrapredição de 8 x 8, um modo de intrapredição é definido para cada 8 x 8 blocos de intensidade luminosa por unidade de área. Para o modo de intrapredição de 16 x 16 e sinais de diferença de cor, um modo de intrapredição é definido para cada bloco macro.

A unidade de intrapredição 115 calcula um valor de função de custo quanto ao modo de intrapredição onde a imagem de prognóstico foi gerada, e seleciona o modo de intrapredição onde valor de função de custo calculado fornece o valor mínimo, como o modo intrapredição ótimo. A unidade de intrapredição 115 supre a imagem de prognóstico gerada no modo de intrapredição ótimo para a unidade de seleção de imagem de prognóstico 118.

Com relação à imagem a ser submetida para intercodificação, a unidade de prognóstico de movimento 117 obtém informação de imagem fornecida a partir da área de armazenamento temporário de rearrumação de tela 102 (imagem de entrada) e informação de imagem servindo como o quadro de referência fornecido a partir da memória de quadro 114 (imagem decodificada), e calcula um vetor de movimento. A unidade de prognóstico de movimento 117 supre informação de vetor de movimento indicando o vetor de movimento calculado para a unidade de codificação sem perda 106. Esta informação de vetor de movimento é submetida ao processamento de compressão sem perda pela unidade de codificação sem perda 106, e incluída na informação de compressão de imagem. Isto é para dizer a informação de vetor de movimento é enviada para o dispositivo de decodificação de imagem junto com a informação de compressão de imagem.

Além disso, a unidade de prognóstico de movimento 117 também supre a informação de vetor de movimento para a unidade de compensação de movimento 116.

A unidade de compensação de movimento 116 efetua processamento de compensação de movimento de acordo com a informação de vetor de movimento fornecida a partir da unidade de prognóstico de movimento 117, e gera informação de imagem de interpredição. A unidade de compensação de movimento 116 supre a informação de imagem de prognóstico gerada para a unidade de seleção de imagem de prognóstico 118.

No caso de uma imagem para efetuar intracodificação, a unidade de seleção de imagem de prognóstico 118 supre a saída da unidade de intrapredição 115 para a unidade de computação 103, e no evento de uma imagem para efetuar intercodificação, supre a saída da unidade de compensação de movimento 116 para a unidade de computação 103.

A unidade de controle de taxa 119 controla a taxa de operações de quantização da unidade de quantização 105 com base na imagem comprimida armazenada na área de armazenamento temporário 107, tal que excesso ou insuficiência não ocorre.

Com MPEG (Grupo de Peritos de Imagem em Movimento) 2, os incrementos do processamento de compensação / prognóstico de movimento são blocos de compensação de movimento, e informação de vetor de movimento independente pode ser mantida em cada bloco de compensação de movimento. O tamanho de um bloco de compensação de movimento é 16 x 16 pixels no caso do modo de compensação de movimento de quadro, e no caso de modo de compensação de campo é 16 x 8 pixels para cada um do primeiro campo e do segundo campo.

Por outro lado, com AVC (Codificação de Vídeo Avançada), um bloco macro configurado de 16 x 16 pixels, conforme mostrado no lado superior na Fig. 2, pode ser dividido em qualquer das partições de 16 x 16, 16 x 8, 8 x 16, ou 8 x 8, com cada um mantendo informação de vetor de movimento independente. Além disso, conforme mostrado no lado inferior na Fig. 2, um partição de 8 x 8 pode ser dividida em qualquer das sub-partições de 8 x 8, 8 x 4, 4 x 8, ou 4 x 4, com cada uma mantendo informação de vetor de movimento independente. Processamento de compensação / prognóstico de movimento é efetuado com esta compensação de movimento bloco como um incremento.

Fig. 3 é um diagrama em bloco ilustrando a exemplo primário de configuração da unidade de geração de informação de controle 112.

A unidade de geração de informação de controle 112 gera informação de controle usada no filtro adaptativo (ALF (Filtro de laço adaptativo)) que é um filtro de laço, efetuado da unidade de processamento de filtro adaptativo 113. A unidade de geração de informação de controle 112 gera, como a informação de controle, coeficientes de filtro, tamanho de bloco de ALF, sinalizadores de bloco de filtro, e sinalizadores de controle de fronteira, por exemplo.

A unidade de geração de informação de controle 112 tem uma unidade de cálculo de coeficiente de filtro 131, uma unidade de geração de sinalizador de controle de fronteira 132, e uma unidade de geração de informação de bloco 133.

A unidade de cálculo de coeficiente de filtro 131 obtém uma imagem decodificada fornecida a partir do filtro de desbloqueio 111 e corrente imagem de entrada corrente lida a partir da área de armazenamento temporário de rearrumação de tela 102, e calcula um coeficiente de filtro de ALF para cada quadro.

A unidade de geração de sinalizador de controle de fronteira 132 gera um sinalizador de controle de fronteira (alf_enable_in_slice_boundary) que controla como processamento de filtro é para ser efetuado quanto aos pixels perto da fronteira de fatias, dos quais uma pluralidade é formada no quadro (especifica mt de processamento de filtro). Detalhes serão descritos mais tarde.

A unidade de geração de informação de bloco 133 determina o tamanho de bloco de ALF com base na imagem decodificada fornecida a partir do filtro de desbloqueio 111 e dos coeficientes de filtro calculados pela unidade de cálculo de coeficiente de filtro 131, e gera um sinalizador de filtro de bloco para cada bloco de ALF dentro da fatia a ser processada.

Agora, descrição será feita com relação ao bloco de ALF e sinalizador de bloco de filtro. Fig. 4 é um diagrama para descrever blocos de ALF e sinalizadores de bloco de filtro.

Conforme descrito acima, o filtro adaptativo tem coeficientes de filtro configurados para cada quadro. Isto é para dizer, processamento de filtro ótimo é efetuado em incrementos de quadros. Contudo, em geral, imagens de quadro não são uniformes em geral, e têm várias características localmente. Por conseguinte, coeficientes de filtro ótimos diferem localmente. Consequentemente, enquanto o processamento de filtro usando coeficientes de filtro determinou que cada quadro conforme descrito acima melhora a qualidade de imagem para o quadro geral, foi concernido que este vai de fato deteriorar localmente.

Consequentemente, BALF (Bloco Baseado em Filtro de laço Adaptativo) no qual processamento de filtro não é efetuado em regiões onde qualidade de imagem localmente deteriora, foi concebido.

A imagem decodificada acompanhando o processamento de filtro de desbloqueio é mostrada no quadro 151 em A na Fig. 4. Conforme mostrado em B na Fig. 4, a unidade de geração de informação de bloco 133 posiciona em múltiplos blocos de ALF 152 em matriz, que são blocos de controle servindo como o incremento de controle para processamento de filtro adaptativo localmente efetuado, sem vãos como se eles fossem usados para pavimentação da inteira região do quadro 151. A região onde os blocos de ALF 152 são colocados não tem de ser a mesma que a região do quadro 151, mas inclui pelo menos a inteira região do quadro. A região do quadro 151 é de forma resultante, dividida em regiões dos blocos de ALF 152 (múltiplas regiões).

A unidade de geração de informação de bloco 133 determina um tamanho na direção horizontal (seta de duas pontas 153) e um tamanho na direção vertical (seta de duas pontas 154) dos blocos de ALF 152. Para o tamanho dos blocos de ALF, um de 8 x 8, 16 x 16, 24 x 24, 32 x 32, 48 x 48, 64 x 64, 96 x 96, ou 128 x 128, pode ser especificado para cada fatia. A informação especificando o tamanho do bloco de ALF será chamado índice de tamanho de bloco.

Uma vez que o tamanho de bloco é decidido, o número de blocos de ALF por quadro também foi decidido, já que o tamanho do quadro é fixo.

Conforme mostrado em C na Fig. 4, a unidade de geração de informação de bloco 133 configura um sinalizador de bloco de filtro 155 que controla se é para efetuar ou não processamento de filtro, em cada bloco de ALF 152. Por exemplo, um sinalizador de bloco de filtro 155 com um valor de "1" é gerado para uma região onde a qualidade de imagem é melhorada pelo filtro adaptativo, e um sinalizador de bloco de filtro 155 com um valor de "0" é gerado para uma região onde a qualidade de imagem é deteriorada pelo filtro adaptativo. Com o sinalizador de bloco de filtro 155, o valor de "1" é um valor indicando que processamento de filtro é para ser efetuado, e o valor de "0" é um valor indicando que processamento de filtro não é para ser efetuado.

A unidade de processamento de filtro adaptativo 113 controla o processamento de filtro adaptativo com base no valor do sinalizador de bloco de filtro 155. Por exemplo, a unidade de processamento de filtro adaptativo 113 efetua processamento de filtro somente nas regiões onde os blocos de ALF 152 têm um valor de "1" para o filtro sinalizador 155, e não efetuam processamento de filtro nas regiões onde os blocos de ALF 152 têm um valor de "0" para o filtro sinalizador 155.

Além disso, o índice de tamanho de bloco e sinalizador de bloco de filtro descritos acima são incluídos no cabeçalho de fatia da informação de compressão de imagem, e enviados a partir do dispositivo de codificação de imagem 100 para o dispositivo de decodificação de imagem. O um ou mais sinalizadores de bloco de filtro correspondendo ao número de blocos de ALF que são incluídos no cabeçalho de fatia na ordem de varredura de bit a bit, por exemplo.

Consequentemente, quanto menor o tamanho do bloco de ALF, mais fino o controle de filtro pode ser realizado, e mais apropriada filtragem de ALF pode ser efetuada. Contudo, menor tamanho de bloco de ALF aumenta a quantidade de bit dos sinalizadores de bloco de filtro. Isto é para dizer, quanto menor o tamanho de bloco de ALF, mais a eficiência de codificação da informação de compressão de imagem diminui. Assim sendo, as capacidades do filtro adaptativo e a eficiência de codificação da informação de compressão de imagem estão em uma relação de negociação.

O número de blocos de ALF é calculado como com a seguinte expressão (1).
[Expressão Matemática 1]

Na Expressão (1), NALFBLOCK representa o número de blocos de ALF. Além disso, Nmbw representa o número de blocos macros na direção horizontal da imagem, e NMBh representa o número de blocos macros na direção vertical da imagem. Adicionalmente, Nsize representa o tamanho de um lado de um bloco de ALF. Além disso, floor[x] é uma função onde x é arredondado para o decimal a fim de ser um inteiro.

Agora, com H.264 / AVC, um quadro pode ser dividido em múltiplas fatias, e informação de compressão de imagem pode ser emitida para cada fatia. Fig. 5 é um diagrama para descrever um exemplo de fatia múltipla. No caso do exemplo na Fig. 5, o quadro 151 é dividido nas três fatias, fatia 0, fatia 1, e fatia 2.

Emitindo informação de compressão de imagem em incrementos de fatia mais finas do que quadras, o dispositivo de codificação de imagem pode gerar e emitir informação de compressão de imagem em intervalos mais curtos. Isto é para dizer, o dispositivo de decodificação de imagem que decodifica a informação de compressão de imagem pode iniciar decodificação da informação de compressão de imagem em um estágio mais cedo. Isto é para dizer, o tempo de retardo a partir de uma imagem sendo entrada para processamento de codificação e processamento de codificação sendo efetuado e uma imagem sendo emitida podem ser encurtados.

NPL 2 que descreve BALF não divulga esta fatia múltipla. Isto é para dizer, somente configuração de blocos de ALF para o inteiro quadro é descrita. Contudo, no caso de fatia múltipla, há casos onde processamento de filtro normal não pode ser efetuado quanto aos pixels perto da fronteira de fatias.

Fig. 6 é um diagrama ilustrando a maneira na qual processamento de filtro é efetuado quanto aos pixels perto da fronteira de fatia. No caso de efetuar processamento de filtro quanto aos pixels a serem processados, a unidade de processamento de filtro adaptativo 113 efetua isto usando pixels dentro de uma pré-determinada distância em torno do pixel a ser processado (pixels circundantes). Por exemplo, no caso da Fig. 6, a unidade de processamento de filtro adaptativo 113 efetua processamento de filtro em um pixel a ser processado 161 usando 9 x 9 pixels circundantes 162 mostrados com sombreamento.

Contudo, conforme mostrado na Fig. 6, o pixel a ser processado 161 é um pixel perto da fronteira de fatia 163. Agora, a fronteira de fatia 163 indica a fronteira entre uma fatia a ser correntemente processada (fatia corrente) e uma fatia vizinha à fatia a ser processada (fatia vizinha). Isto é para dizer, a fronteira de fatia 163 indica o quadro externo da fatia corrente.

Conforme mostrado na Fig. 6, pixels circundantes 162 usados para processamento de filtro do pixel a ser processado 161 perto da fronteira de fatia 163 parcialmente atravessa a fronteira de fatia 163 e transpassa a região da fatia vizinha. Isto é para dizer, de modo para efetuar processamento de filtro do pixel a ser processado 161 na mesma maneira que com um caso normal, os valores de pixel da fatia vizinha são necessários, conforme mostrado em A na Fig. 7 por exemplo.

No caso do exemplo em A na Fig. 7, a unidade de processamento de filtro adaptativo 113 efetua processamento de filtro quanto ao pixel EE que é o pixel a ser processado, usando o pixel AA ao pixel JJ em ambos, a fatia corrente e a fatia vizinha.

Contudo, de modo a fazer isto, geração da imagem decodificada da fatia vizinha precisa ser esperada. Consequentemente, neste caso, tem havido a preocupação que o tempo de retardo de processamento de codificação aumentaria.

Por outro lado, há um método para gerar e usar dados de preenchimento, conforme mostrado em B na Fig. 7, por exemplo. No caso do exemplo em B na Fig. 7, a unidade de processamento de filtro adaptativo 113 duplica o pixel EA ao pixel EJ adjacentes à fronteira de fatia 163, e por meio disso, gera pixels dentro da fatia vizinha para os pixels circundantes 162 (de dados de preenchimento). A unidade de processamento de filtro adaptativo 113 efetua processamento de filtro quanto ao pixel EE usando os dados de preenchimento gerados.

Assim sendo, a unidade de processamento de filtro adaptativo 113 não necessita esperar por pixels da fatia vizinha a serem gerados, e processamento de filtro do pixel EE pode ser efetuado em um estágio mais cedo do que com o caso de A na Fig. 7.

Isto é para dizer, com o caso do método de A na Fig. 7 usando os pixels da fatia vizinha, a unidade de processamento de filtro adaptativo 113 usa dados efetivos, assim processamento de filtro pode ser efetuado mais adequado para os conteúdos da imagem efetiva. Isto é para dizer, grande melhoramento de qualidade de imagem devido ao processamento de filtro pode ser esperado.

Por outro lado, no caso do método em B na Fig. 7, a unidade de processamento de filtro adaptativo 113 não necessita dados da fatia adjacente para processamento de filtro, e processamento pode ser efetuado com os dados da fatia corrente sozinhos, assim processamento de filtro pode ser efetuado em um estágio mais cedo.

Que método é desejável difere dependendo das especificações do sistema, solicitações do usuário, e assim por diante. Por exemplo, se o sistema enfatiza qualidade de imagem, o método mostrado em A na Fig. 7, mas o método em A na Fig. 7 consome uma maior quantidade de memória do que o método em B na Fig. 7, e há a preocupação que o tempo de retardo vai aumentar. Consequentemente, dependendo da capacidade de memória que pode ser usada com o sistema e o comprimento de tempo de retardo tolerável, pode haver causas onde o método de B na Fig. 7 é mais desejável.

O sinalizador de controle de fronteira controla o método de processamento de filtro quanto à tais pixels perto de uma fronteira.

Retornando à Fig. 3, a unidade de geração de sinalizador de controle de fronteira 132 gera tais sinalizadores de controle de fronteira. A unidade de geração de sinalizador de controle de fronteira 132 tem uma unidade de gerenciamento de especificação do sistema 141, uma unidade de determinação 142, e uma unidade de geração 143.

A unidade de gerenciamento de especificação do sistema 141 gerencia as especificações do sistema efetuando processamento de imagem (recursos de hardware, propósito de uso, etc.) incluindo o dispositivo de codificação de imagem 100. Por exemplo, a unidade de gerenciamento de especificação do sistema 141 pode ser arrumada para gerenciar as especificações (recursos de hardware, propósito de uso, etc.) do dispositivo de decodificação de imagem codificada no dispositivo de codificação de imagem 100.

A unidade de determinação 142 determina se o pixel a ser processado é ou não um pixel perto da fronteira. A unidade de geração 143 gera sinalizadores de controle de fronteira para os pixels a serem processados que foram determinados para serem pixels perto da fronteira.

Fig. 8 é um diagrama em bloco ilustrando um exemplo primário de configuração da unidade de processamento de filtro adaptativo 113 na Fig. 1.

A unidade de processamento de filtro adaptativo 113 efetua processamento de filtro na imagem decodificada fornecida a partir do filtro de desbloqueio 111 usando a informação de controle fornecida a partir da unidade de geração de informação de controle 112.

Conforme mostrado na Fig. 9, a unidade de processamento de filtro adaptativo 113 tem uma unidade de controle 171, um filtro adaptativo 172, e uma unidade de seleção 173.

A unidade de controle 171 controla o filtro adaptativo 172 e a unidade de seleção 173. Por exemplo, a unidade de controle 171 obtém informação de controle a partir da unidade de geração de informação de controle 112, e controla o processamento de filtro com base nesta informação de controle.

O filtro adaptativo 172 efetua processamento de filtro da região na imagem decodificada fornecida a partir do filtro de desbloqueio 111, especificado como blocos de ALF a serem processados a partir da unidade de controle 171, usando um coeficiente de filtro configurado pela unidade de controle 171.

O filtro adaptativo 172 tem uma área de armazenamento temporário 181, um filtro adaptativo de fatia 182, um primeiro filtro adaptativo para fronteira 183, e um segundo filtro adaptativo para fronteira 184.

A área de armazenamento temporário 181 temporariamente mantém uma imagem decodificada fornecida a partir do filtro de desbloqueio 111. A área de armazenamento temporário 181 pode manter não somente a fatia a ser processada, mas também a fatia vizinha à fatia a ser processada (fatia vizinha).

O filtro adaptativo de fatia 182 efetua processamento de filtro quanto aos pixels a serem processados que não estão perto da fronteira de fatia e considerando que os pixels da fatia vizinha não estão incluídos nos pixels circundantes, sob controle da unidade de controle 171. Isto é para dizer, o filtro adaptativo de fatia 182 efetua processamento de filtro usando somente pixels da fatia corrente.

O primeiro filtro adaptativo para fronteira 183 efetua processamento de filtro transpassando fatias nos pixels a serem processados que estão perto da fronteira de fatia e considerando que os pixels da fatia vizinha estão incluídos nos pixels circundantes, sob controle da unidade de controle 171. Isto é para dizer, o primeiro filtro adaptativo para fronteira 183 efetua processamento de filtro usando os pixels da fatia corrente e da fatia vizinha, com um método tal como mostrado em A na Fig. 7. Consequentemente, o primeiro filtro adaptativo para fronteira 183 inicia processamento de filtro após pixels da fatia adjacente terem sido acumulado na área de armazenamento temporário 181.

O segundo filtro adaptativo para fronteira 184 efetua processamento de filtro fechado para a fatia corrente, nos pixels a serem processados que estão perto da fronteira de fatia e considerando que pixels da fatia vizinha estão incluídos nos pixels circundantes, sob controle da unidade de controle 171. Isto é para dizer, o segundo filtro adaptativo para fronteira 184 efetua processamento de filtro gerando dados de preenchimento conforme necessário, usando os pixels da fatia corrente sozinhos, com um método tal como mostrado em B na Fig. 7. Consequentemente, o segundo filtro adaptativo para fronteira 184 inicia processamento de filtro quando pixels da fatia corrente sendo acumulados na área de armazenamento temporário 181.

A unidade de controle 171 seleciona um, do filtro adaptativo de fatia 182, do primeiro filtro adaptativo para fronteira 183, e do segundo filtro adaptativo para fronteira 184, seguindo a posição do pixel a ser processado e o valor do sinalizador de controle de fronteira incluído na informação de controle, e faz com que a selecionada unidade de processamento selecionada executa o processamento de filtro com seu próprio método.

Além disso, a unidade de controle 171 controla o tempo de início de processamento de filtro da unidade de processamento selecionada (filtro adaptativo de fatia 182, primeiro filtro adaptativo para fronteira 183, ou segundo filtro adaptativo para fronteira 184), de acordo com o estado de acúmulo da imagem na área de armazenamento temporário 181.

O filtro adaptativo 172 (filtro adaptativo de fatia 182, primeiro filtro adaptativo para fronteira 183, ou segundo filtro adaptativo para fronteira 184) supre os resultados do processamento de filtro para a unidade de seleção 173.

Sob controle da unidade de controle 171, a unidade de seleção 173 seleciona um, da imagem decodificada fornecida a partir do filtro de desbloqueio 111 (imagem decodificada não submetida ao processamento de filtro adaptativo) e da imagem decodificada fornecida a partir do filtro adaptativo 172 (imagem decodificada submetida ao processamento de filtro adaptativo), a supre para a memória de quadro 114, e armazena como uma imagem de referência.

A unidade de controle 171 controla a unidade de seleção 173 acompanhando o valor do sinalizador de bloco de filtro incluído na informação de controle para selecionar um, da imagem decodificada não submetida ao processamento de filtro adaptativo e da imagem decodificada submetida ao processamento de filtro adaptativo.

Isto é para dizer, a unidade de processamento de filtro adaptativo 113 efetua processamento de filtro somente para a região na imagem decodificada fornecida a partir do filtro de desbloqueio 111 considerando que indicação foi feita para efetuar processamento de filtro pelo sinalizador de bloco de filtro (região considerando que determinação foi feita que a qualidade de imagem será melhorada pelo processamento de filtro).

[Fluxo de Processamento]

A seguir, o fluxo de processamento usando as porções configuradas conforme descrito acima será descrito. Primeiro, um exemplo da baixa do processamento de codificação efetuado pelo dispositivo de codificação de imagem 100 será descrito com referência ao fluxograma na Fig. 9.

Na etapa S101, a unidade de conversão de A / D 101 converte uma imagem de entrada de analógico para digital. Na etapa S102, a área de armazenamento temporário de rearrumação de tela 102 armazena a imagem convertida de A / D, e efetua rearrumação a partir da sequência para exibir as imagens para a sequência para codificação.

Na etapa S103, a unidade de computação 103 calcula diferença entre uma imagem rearrumada pelo processamento na etapa S102 e a imagem de prognóstico. A imagem de prognóstico é fornecida para a unidade de computação 103 a partir da unidade de compensação de movimento 116 no evento de efetuar interpredição, e a partir da unidade de intrapredição 115 no evento de efetuar intrapredição, via a unidade de seleção de imagem de prognóstico 118.

A diferença de dados é menor no montante de dados quando comparada com os dados de imagem originais. Consequentemente, o montante de dados pode ser comprimido quando comparado com o caso de codificar a imagem original sem mudança.

Na etapa S104, a unidade de transformada ortogonal 104 submete a informação de diferença gerada pelo processamento na etapa S103 para transformada ortogonal. Especificamente, transformada ortogonal, tal como transformada de cosseno discreto, transformada de Karhunen-Loéve, ou o similar, é efetuada, e um coeficiente de transformação é emitido. Na etapa S105, a unidade de quantização 105 faz quantização do coeficiente de transformação. No momento desta quantização, a taxa é controlada tal como o processamento descrito mais tarde na etapa S119 será descrita.

A informação de diferença assim sendo aplicada quantização é localmente decodificada como a seguir. Especificamente, na etapa S106, a unidade de quantização inversa 108 submete o coeficiente de transformação ao qual foi aplicada quantização pela unidade de quantização 105 à quantização inversa usando uma propriedade correspondendo à propriedade da unidade de quantização 105. Na etapa S107, a unidade de transformada ortogonal inversa 109 submete o coeficiente de transformação, submetido à quantização inversa pela unidade de quantização inversa 108, à transformada ortogonal inversa usando uma propriedade correspondendo à propriedade da unidade de transformada ortogonal 104.

Na etapa S108 a unidade de computação 110 adiciona uma imagem de prognóstico entrada via a unidade de seleção de imagem de prognóstico 118 para a informação de diferença localmente decodificada, e gera a imagem localmente decodificada (a imagem correspondendo à entrada para a unidade de computação 103). Na etapa S109, o filtro de desbloqueio 111 submete a imagem emitida a partir da unidade de computação 110 para filtragem. Assim sendo, ruído de bloco é removido.

Quando do processamento acima sendo efetuado para uma fatia, na etapa S110 a unidade de geração de informação de controle 112 gera informação de controle a ser usada para processamento de filtro adaptativo. Os detalhes do processamento de geração de informação de controle serão descritos mais tarde em detalhe.

Quando da informação de controle tal como coeficientes de filtro, tamanho de bloco de ALF, e sinalizador de bloco de filtro e o similar sendo gerados pelo processamento na etapa S110, na etapa S111 a unidade de processamento de filtro adaptativo 113 efetua processamento de filtro adaptativo na imagem decodificada submetida ao processamento de filtro de desbloqueio no processamento da etapa S109. Detalhes deste processamento de filtro adaptativo serão descritos mais tarde.

Na etapa S112, a memória de quadro 114 armazena a imagem submetida ao processamento de filtro adaptativo na etapa S111.

Na etapa S113, a unidade de intrapredição 115 efetua processamento de intrapredição no modo de intrapredição. Na etapa S114, a unidade de prognóstico de movimento 117 e a unidade de compensação de movimento 116 efetuam processamento de compensação / prognóstico de movimento no modo de interpredição.

Na etapa S115, a unidade de seleção de imagem de prognóstico 118 seleciona um de uma imagem de prognóstico gerada pelo processamento de intrapredição ou uma imagem de prognóstico gerada pelo processamento de compensação / interpredição de movimento, de acordo com o modo de prognóstico do quadro a ser processado. A unidade de seleção de imagem de prognóstico 118 supre a imagem de prognóstico selecionada para as unidades de computação 103 e 110. Esta imagem de prognóstico é, conforme descrito acima, usada para cálculos na etapa S S103 e S108.

Na etapa S116, a unidade de codificação sem perda 106 codifica o coeficiente de transformação ao qual foi aplicada quantização emitido a partir da unidade de quantização 105. Especificamente, a imagem de diferença é submetida à codificação sem perda tal como codificação de comprimento variável, codificação aritmética, ou o similar, e comprimida. Neste momento, a unidade de codificação sem perda 106 também codifica a informação de controle gerada na etapa S110, a informação de modo de intrapredição para processamento de intrapredição na etapa S113, o modo de interpredição para processamento de compensação / interpredição de movimento na etapa S114, e assim por diante.

Na etapa S117, a unidade de codificação sem perda 106 incorpora (descreve) dados autoexplicativos tal como a informação de controle codificada e assim por diante no cabeçalho da fatia. Estes dados autoexplicativos lidos e usados para quando efetuando decodificação de imagem. Incluindo (multiplexação) os dados autoexplicativos necessários para processamento de decodificação nesta maneira, execução de processamento de decodificação é permitida em incrementos mais finos do que incrementos de quadro, e aumento do tempo de retardo pode ser suprimido.

Na etapa S118, a área de armazenamento temporário 107 armazena a imagem de diferença como uma imagem comprimida. A imagem comprimida armazenada na área de armazenamento temporário 107 é lida conforme apropriado e transmitida para o lado de decodificação via o caminho de transmissão.

Na etapa S119, a unidade de controle de taxa 119 controla a taxa da operação de quantização da unidade de quantização 105, tal que excesso ou insuficiência não ocorre, com base na imagem comprimida armazenada na área de armazenamento temporário 107.

A seguir, descrição será feita de um exemplo do fluxo do processamento de geração de informação de controle executado pela unidade de geração de informação de controle 112 na etapa S110 na Fig. 10, será descrito com referência ao fluxograma na Fig. 11.

Quando do processamento de geração de informação de controle sendo iniciado, a unidade de cálculo de coeficiente de filtro 131 da unidade de geração de informação de controle 112 calcula um coeficiente de filtro usando a imagem de entrada fornecida a partir da área de armazenamento temporário de rearrumação de tela 102 e da imagem decodificada submetida ao processamento de filtro de desbloqueio que é fornecida a partir do filtro de desbloqueio 111. Por exemplo, a unidade de cálculo de coeficiente de filtro 131 determina o valor do coeficiente de filtro tal que o resíduo da imagem de entrada e imagem decodificada seja o menor.

Quando do coeficiente de filtro sendo calculado, na etapa S132 a unidade de geração de sinalizador de controle de fronteira 132 gera um sinalizador de controle de fronteira para controlar o método do processamento de filtro adaptativo quanto ao pixel perto da fronteira. Detalhes serão descritos mais tarde.

Quando um sinalizador de controle de fronteira sendo gerado, na etapa S133 a unidade de geração de informação de bloco 133 gera informação de bloco incluindo tamanho de bloco de ALF e sinalizador de bloco de filtro. O tamanho de bloco de ALF pode ser determinado antecipadamente, ou pode ser configurado conforme apropriado de acordo com os conteúdos da imagem. Neste caso, a unidade de geração de informação de bloco 133 calcula um valor de custo avaliando os resultados do processamento de filtro usando uma função de custo, e determina o tamanho de bloco de ALF tal que o valor de custo é o menor, por exemplo.

Além disso, a unidade de geração de informação de bloco 133 determina o valor do sinalizador de bloco de filtro dependendo se a qualidade de imagem é melhorada no evento para o qual o processamento de filtro é aplicado para o bloco de ALF a ser processado. Por exemplo, no evento de determinar que qualidade de imagem é melhorada aplicando o processamento de filtro, a unidade de geração de informação de bloco 133 configura o valor do sinalizador de bloco de filtro para "1" que indica que processamento de filtro é para ser efetuado, e no evento de determinar que qualidade de imagem deteriora aplicando o processamento de filtro, configura o valor do sinalizador de bloco de filtro para "0" o que indica que processamento de filtro não é para ser efetuado.

Quando da informação de bloco sendo gerada, o fluxo retorna para a etapa S110 na Fig. 9, e processamento a partir da etapa S111 e adiante são efetuados.

Note que o cálculo do coeficiente de filtro efetuado na etapa S131 pode ser efetuado em incrementos de quadro. Neste caso, o processamento na etapa S131 pode ser efetuado somente em uma fatia pré-determinada dentro do quadro (por ex., uma fatia onde o número de identificação dentro do quadro é um pré-determinado valor (por ex., "0"), ou uma fatia primeiro processada dentro do quadro, ou o similar), com este valor usado para as outras fatias. Além disso, uma imagem arbitrária pode ser usada para cálculo dos coeficientes de filtro. Por exemplo, cálculo pode ser efetuado com base em imagens de quadro passados.

A seguir, um exemplo do fluxo do processamento de configuração do sinalizador de controle de fronteira executado na etapa S132 na Fig. 10 será descrito com referência ao fluxograma na Fig. 11.

Quando do processamento de configuração do sinalizador de controle de fronteira sendo iniciado, na etapa S151 a unidade de gerenciamento de especificação do sistema 141 da unidade de geração de sinalizador de controle de fronteira 132 obtém informação de especificação do sistema.

Esta informação de especificação do sistema é informação incluindo os recursos de hardware e propósito de uso e assim por diante do sistema incluindo o dispositivo de codificação de imagem 100, por exemplo. Recursos de hardware são recursos de hardware dos dispositivos configurando o sistema (incluindo o dispositivo de codificação de imagem 100), e por exemplo, inclui capacidades de processamento, capacidade de memória usável, velocidade de transmissão do cabo de múltiplas vias de comunicação (bus), e assim por diante. Além disso, propósito de uso é o modo de operação do sistema como um todo ou de dispositivos individuais, e inclui, por exemplo, se é para operar com ênfase na qualidade de imagem, se é para operar com ênfase na velocidade, e assim por diante. É claro que, informação outra que esta pode ser incluída na informação de especificação do sistema.

Esta informação de especificação do sistema pode ser armazenada antecipadamente na memória ou similar embutida em uma unidade de gerenciamento de especificação do sistema 141. Neste caso, a unidade de gerenciamento de especificação do sistema 141 lê a informação de especificação do sistema a partir da memória pelo processamento na etapa S151. Além disso, no momento do processamento na etapa S151, a unidade de gerenciamento de especificação do sistema 141 pode coletar informação de especificação tal como descrito acima das partes do dispositivo de codificação de imagem 100 e de outros dispositivos e assim por diante.

Quando obtendo a informação de especificação do sistema, a unidade de gerenciamento de especificação do sistema 141 a supre para a unidade de determinação 142.

Na etapa S152, a unidade de determinação 142 determina se é para usar ou não a seguinte fatia para processamento de filtro perto da fronteira, com base na informação de especificação do sistema fornecida (recursos de hardware, propósito de uso, etc.). Isto é para dizer, no evento em que um pixel perto de uma fronteira com a fatia vizinha sendo incluído nos pixels circundantes é o pixel a ser processado, a unidade de determinação 142 determina se é para efetuar processamento de filtro transpassando fatias, ou para efetuar processamento de filtro fechado na fatia corrente.

Por exemplo, no evento em que tempo de retardo aumentado é tolerável, e há suficiente capacidade de memória disponível no dispositivo de codificação de imagem 100 e no dispositivo de decodificação de imagem e o similar, a unidade de determinação 142 seleciona processamento de filtro transpassando fatias. Além disso, por exemplo, no evento em que aumento no tempo de retardo é intolerável ou não haja suficiente recursos de hardware nos dispositivos do sistema, a unidade de determinação 142 seleciona processamento de filtro fechado na fatia corrente.

No evento em que determinação foi feita para usar a próxima fatia, i.e., para efetuar processamento de filtro transpassando fatias, o fluxo avança para a etapa S153. Na etapa S153 a unidade de geração 143 gera um sinalizador de controle de fronteira com um valor "1".

Além disso, no evento em que determinação foi feita para não usar a próxima fatia, i.e., para efetuar processamento de filtro fechado na fatia corrente, o fluxo avança para a etapa S154. Na etapa S154 a unidade de geração 143 gera um sinalizador de controle de fronteira com um valor "0".

Após gerar o sinalizador de controle de fronteira, a unidade de geração 143 o supre para a unidade de processamento de filtro adaptativo 113 e para a unidade de codificação sem perda 106. A unidade de codificação sem perda 106 codifica o sinalizador de controle de fronteira fornecido a partir da unidade de geração 143 como informação de controle, e o incorpora no cabeçalho de fatia ou o similar da fatia corrente. A unidade de processamento de filtro adaptativo 113 controla processamento de filtro adaptativo usando o sinalizador de controle de fronteira fornecido a partir da unidade de geração 143.

Quando do processamento da etapa S153 ou etapa S154 finalizando, o processamento de configuração do sinalizador de controle de fronteira termina, o fluxo retorna para a etapa S132 na Fig. 10, e processamento da etapa S133 e adiante são efetuados.

A seguir, um exemplo do fluxo do processamento de filtro adaptativo executado na etapa S111 na Fig. 9 será descrita com referência ao fluxograma na Fig. 12.

Após o processamento de filtro adaptativo ser iniciado, na etapa S171 a área de armazenamento temporário 181 obtém a imagem decodificada da fatia a ser processado a partir do filtro de desbloqueio 111. Após a fatia a ser processada ser obtida, na etapa S172 a unidade de controle 171 identifica a região da fatia a ser processado.

De modo a conhecer a região da fatia corrente que é para ser processada, isto pode ser encontrado conhecendo os blocos macros incluídos na fatia corrente, e conhecendo os pixels incluídos nos blocos macros deles. A unidade de controle 171 obtém o endereço de início do bloco macro da fatia corrente a partir do cabeçalho da fatia.

Agora, o endereço de início do bloco macro é um número atribuído aos blocos macros em ordem de varredura de bit a bit a partir da parte superior esquerda da tela. Conforme mostrado na Fig. 5, o endereço de bloco macro na parte superior esquerda na imagem (quadro 151) é 0. Fatia 0 é iniciada a partir da parte superior esquerda do quadro 151, assim o endereço de bloco macro do bloco macro inicial 156-1 da fatia 0 é 0. Seguindo esta ordem, o bloco macro final 156-2 ou a fatia 0 é E0. Além disso, na mesma maneira que com esta fatia 0, o endereço de bloco macro do bloco macro inicial 157-1 da fatia 1 é S1, e o endereço de bloco macro do bloco macro final 157-2 é E1. Adicionalmente, o endereço de bloco macro do bloco macro inicial 158-1 da fatia 2 é S2, e o endereço de bloco macro do bloco macro final 158-2 é E2.

Como a fatia corrente é decodificado, um endereço de bloco macro é adicionado cada vez que o processamento de decodificação de um bloco macro é completado, e eventualmente o bloco macro final da fatia corrente é atingido. Um sinalizador indicando o bloco macro final da fatia é configurado no bloco macro final. Devido a isto, todos os endereços dos blocos macros que a fatia corrente mantém podem ser conhecidos. Isto é para dizer, isto é, a partir do endereço inicial de bloco macro para o endereço final do bloco macro.

Agora, com um conjunto de parâmetro de sequência (SPS (Conjunto de Parâmetro de Sequência)) de uma sequência de AVC (informação de compressão de imagem), um tamanho de imagem de um quadro é indicado pelo número de blocos macros. Pic_height_in_map_units_minus1 indica o número de blocos macros na direção vertical da imagem. Pic_width_in_mbs_minus1 indica o número de blocos macros na direção horizontal da imagem.

Consequentemente, a partir do endereço do bloco macro, a posição do bloco macro é expressa pela seguinte expressão(2) e Expressão (3).
mbx = macro block address % pic_width_in_mbs_minus1 ... (2)
mby = floor[macro block address / pic_width_in_mbs_minus1] ... (3)

Na Expressão (2) e Expressão (3), mbx indica que número a partir da esquerdo o bloco macro é, e mby indica que número a partir do topo o bloco macro é. Além disso, floor [z] indica z sendo arredondado no decimal a fim de ser um inteiro, e A % B indica o resto de ter dividido A com B.

Se nos dissermos que o tamanho do bloco macro é determinado para ser 16 x 16 pixels, a posição de direção vertical e direção horizontal do pixel na parte superior esquerda do bloco macro é (16 x mbx, 16 x mby), e os pixels incluído no bloco macro são pixels incluídos no intervalo de 16 pixels para a direção inferior e 16 pixels para a direção direita a partir da posição do pixel superior esquerdo. Assim sendo, todos os pixels da fatia corrente podem ser conhecidos. Isto é para dizer, a região da fatia a ser processada é identificada.

Na etapa S173, a unidade de controle 171 obtém um sinalizador de bloco de filtro gerado na unidade de geração de informação de controle 112.

Na etapa S174, a unidade de controle 171 determina um dos blocos de ALF não processados para ser o bloco de ALF a ser processado. A ordem de dos blocos de ALF é determinado antecipadamente, e está em comum com a ordem de seleção na unidade de geração de informação de controle 112. Adicionalmente, a unidade de controle 171 identifica a região do bloco de ALF a ser processado que foi detectada.

Já que o tamanho de imagem do quadro é determinado antecipadamente, quando do tamanho de bloco de ALF sendo determinado, o número de blocos de ALF necessário para pavimentar os blocos de ALF com a parte superior esquerda do quadro como o ponto de origem (número de blocos de ALF dentro do quadro) também pode ser calculado. Aos valores de configuração do tamanho na direção vertical (número de pixels) e tamanho na direção horizontal (número de pixels) dos blocos de ALF são fornecidos antecipadamente, assim a unidade de controle 171 determina tamanho dos blocos de ALF e o número de blocos de ALF acompanhando os valores de configuração, e coloca os blocos de ALF quanto à imagem decodificada.

Note que o número de blocos de ALF é calculado pela seguinte expressão(4) e Expressão (5).
num_alf_block_x = floor [(16 x (pic_width_in_mbs_minus1 + 1) + (alf_block_size -1)) / alf_block_size] ... (4)
num_alf_block_y = floor [(16 x (pic_height_in_map_unidades_minus1 + 1) + (alf_block_size-1)) / alf_block_size] .. (5)

Na Expressão (4) e Expressão (5), num_alf_block_x e num_alf_block_y são os números de blocos de ALF na horizontal e vertical incluídos na imagem, respectivamente. Além disso, alf_block_size representa o tamanho de um lado de um bloco de ALF. Para simplificar a descrição aqui, nós vamos dizer que os blocos de ALF são quadrados. É claro que, um arranjo pode ser feito onde o tamanho na direção vertical e o tamanho na direção horizontal dos blocos de ALF são diferentes cada um do outro.

A posição do i-ésimo bloco de ALF é expressa pela seguinte expressão (6) e Expressão (7).
alf_block_x = i % (num_alf_block_x -1) ... (6)
alf_block_y = floor [i / (num_alf_block_x -1)] ... (7)

Na Expressão (6) e Expressão (7), alf_block_x e alf_block_y cada um indica que número na direção horizontal e direção vertical o i-ésimo bloco de ALF é. A posição do pixel superior esquerdo do i-ésimo bloco de ALF é a posição obtida multiplicando cada um de, alf_block_x e alf_block_y pelo alf_block_size. Isto é para dizer, a direção horizontal é 16 x alf_block_x, e a direção vertical é 16 x alf_block_y. Consequentemente, a região do i-ésimo bloco de ALF é um intervalo de alf_block_size x alf_block_size a partir do pixel superior esquerdo do mesmo.

Na etapa S175, a unidade de controle 171 determina se a região da fatia a ser processada está ou não incluída dentro da região do bloco de ALF a ser processado que foi identificada conforme descrito acima. No evento em que determinação é feita que a região da fatia a ser processada está incluída, o fluxo avança para a etapa S176.

Na etapa S176, a unidade de controle 171 determina se ou o valor do sinalizador de bloco de filtro é ou não 1. No evento em que o valor do sinalizador de bloco de filtro é 1, e instrução foi dada para efetuar processamento de filtro considerando o bloco de ALF a ser processado, controle é efetuado tal que a unidade de seleção 173 seleciona a saída do filtro 172, e o fluxo avança para a etapa S177. Na etapa S177, a unidade de controle 171 seleciona os pixels a serem processados em uma ordem pré-determinada tal como, por exemplo, in ordem de varredura de bit a bit ou o similar, a partir dos pixels não processados.

Na etapa S178, a unidade de controle 171 determina se pixels da fatia vizinha são ou não necessários para processamento de filtro do pixel selecionado a ser processado. No evento em que pixels da fatia vizinha estão incluídos nos pixels circundantes do pixel a ser processado, e determinação é feita que o pixel a ser processado é um pixel perto da fronteira de fatia, o fluxo avança para a etapa S179.

Na etapa S179, a unidade de controle 171 determina se o valor do valor de controle de fronteira incluído na informação de controle obtido pela unidade de geração de informação de controle 112 é ou não "1". No evento em que determinação é feita que o valor do sinalizador de controle de fronteira é "1", o fluxo avança para a etapa S180.

Na etapa S180, a unidade de controle 171 seleciona primeiro filtro adaptativo para fronteira 183 como o filtro adaptativo, e faz com que o primeiro filtro adaptativo para fronteira 183 efetue processamento de filtro transpassando fatias conforme mostrado em A na Fig. 7. Após o processamento da etapa S180 terminar, o fluxo avança para a etapa S183.

Além disso, na etapa S179, no evento em que determinação é feita que o valor do sinalizador de controle de fronteira é "0", o fluxo avança para a etapa S181.

Na etapa S181, a unidade de controle 171 seleciona o segundo filtro adaptativo para fronteira 184 como o filtro adaptativo, e faz com que o segundo filtro adaptativo para fronteira 184 efetue processamento de filtro fechado na fatia corrente conforme mostrado em B na Fig. 7. Após o processamento da etapa S181 terminar, o fluxo avança para a etapa S183.

Além disso, no evento em que determinação é feita na etapa S178 que o pixel a ser processado não é um pixel perto de uma fronteira de fatia, o fluxo avança para a etapa S182.

Na etapa S182, a unidade de controle 171 seleciona o filtro adaptativo de fatia 182 como o filtro adaptativo, e faz com que o filtro adaptativo de fatia 182 efetue processamento de filtro normal usando somente pixels da fatia corrente. Após o processamento na etapa S182 terminar, o fluxo avança para a etapa S183.

Além disso, no evento em que determinação é feita na etapa S176 que o valor do sinalizador de bloco de filtro é "02, o fluxo avança para a etapa S183. Adicionalmente, no evento em que determinação é feita na etapa S175 que o bloco de ALF a ser processado não inclui a região da fatia a ser processada, o fluxo avança para a etapa S183.

Na etapa S183, a unidade de controle 171 determina se todos os pixels dentro do bloco de ALF a ser processado foi processado. No evento em que determinação é feita que um pixel não processado existe, o fluxo retorna para a etapa S177 e o processamento subsequente é repetido.

Além disso, no evento em que determinação é feita na etapa S183 que todos os pixels dentro do bloco de ALF a ser processado foram processados, o fluxo avança para a etapa S184.

Na etapa S184, a unidade de controle 171 determina se todos os blocos de ALF dentro do quadro foram processados. No evento em que determinação é feita que um bloco de ALF não processado existe, o fluxo retorna para a etapa S173 e o processamento subsequente é repetido. Além disso, no evento em que determinação é feita na etapa S184 que todos os blocos de ALF foram processados, processamento de filtro adaptativo de controle é terminado, o fluxo retorna para a etapa S111 na Fig. 9, e o processamento da etapa S122 e adiante são efetuados.

Note que o processamento de filtro quanto aos pixels a ser processado, efetuado na etapa S180 à etapa S182 são cada um executado independentemente como diferentes tarefas a partir do processamento de controle de filtro adaptativo. Isto é para dizer, na etapa S180 à etapa S182, após execução do processamento de filtro adaptativo sendo especificado, o processamento de filtro adaptativo é executado conforme apropriado. Isto é para dizer, esses processamentos de filtro adaptativo são executáveis em paralelo com o processamento de filtro adaptativo de controle e processamento de filtro adaptativo quanto aos outros pixels.

Esses processamentos de filtro serão descritos com referência aos fluxogramas na Fig. 13 e Fig. 14. Primeiro, um exemplo do fluxo do processamento de filtro executado pelo primeiro filtro adaptativo para fronteira 183 será descrito com referência ao fluxograma na Fig. 13.

Após a execução ser instruída para processamento de filtro transpassando fatias, a qual execução é instruída na etapa S180 na Fig. 12, na etapa S201 o primeiro filtro adaptativo para fronteira 183 monitora a área de armazenamento temporário 181, determina se todos os pixels da região em volta do pixel a ser processado são ou não acumulados, e fica até ser acumulado. Pixels da região em volta (i.e., pixels circundantes) também incluem pixels da fatia vizinha. No evento em que determinação é feita que todos os pixels fornecem acumulados na área de armazenamento temporário 181, o fluxo avança para a etapa S202.

Na etapa S202, o primeiro filtro adaptativo para fronteira 183 obtém pixels da região em volta (pixels circundantes) a partir da área de armazenamento temporário 181 e na etapa S203 usa os pixels circundantes e o coeficiente de filtro configurado na unidade de controle 171 para efetuar processamento de filtro do pixel a ser processado. Após o processamento de filtro terminar, o primeiro filtro adaptativo para fronteira 183 supre os resultados do processamento de filtro para a unidade de seleção 173, e processamento de filtro termina.

No evento em que o valor do sinalizador de bloco de filtro é "1", a unidade de seleção 173 seleciona os resultados do processamento de filtro, e supre para a memória de quadro 114 como a imagem decodificada submetida ao processamento de filtragem, a fim de ser armazenada.

A seguir, um exemplo do fluxo do processamento de filtro executado pelo segundo filtro adaptativo para fronteira 184 será descrito com referência ao fluxograma na Fig. 14.

Após execução ser instruída para processamento de filtro fechado na fatia corrente, a qual execução é instruída na etapa S181 na Fig. 12, na etapa S221 o segundo filtro adaptativo para fronteira 184 duplica os pixels circundantes situados na fatia corrente já mantidos na área de armazenamento temporário 181, e gera dados de preenchimento dos pixels circundantes situados na fatia vizinha.

Após gerar dados de preenchimento, na etapa S212 o segundo filtro adaptativo para fronteira 184 usa os pixels circundantes incluindo os dados de preenchimento e o coeficiente de filtro configurado na unidade de controle 171 para efetuar processamento de filtro do pixel a ser processado. Após o processamento de filtro terminar, o segundo filtro adaptativo para fronteira 184 supre os resultados do processamento de filtro para a unidade de seleção 173 e o processamento de filtro termina.

No evento em que o valor do sinalizador de bloco de filtro é "1", a unidade de seleção 173 seleciona esses resultados do processamento de filtro, e fornece para a memória de quadro 114 como a imagem decodificada submetida ao processamento de filtro, a fim de ser armazenada.

Conforme descrito acima, com base no valor do sinalizador de controle de fronteira, o método para processamento de filtro como um pixel perto da fronteira é selecionado conforme apropriado a partir de múltiplos métodos, e por meio disso, a unidade de processamento de filtro adaptativo 113 pode suprimir deterioração nos efeitos de processamento de filtro devido ao controle local do processamento de filtro quando da codificação. Por exemplo, efetuando processamento de filtro a fim de transpassar fatias, a unidade de processamento de filtro adaptativo 113 pode melhorar a qualidade de imagem do processamento de filtro. Além disso, efetuando processamento de filtro fechado na fatia corrente, a unidade de processamento de filtro adaptativo 113 pode efetuar processamento de filtro com baixo retardo.

Neste momento, a unidade de processamento de filtro adaptativo 113 seleciona o método de processamento de filtro com base no sinalizador de controle de fronteira determinado com base na informação de especificação do sistema, então processamento de filtro pode ser efetuado sem quebra de processamento.

Além disso, a unidade de geração de sinalizador de controle de fronteira 132 configura um sinalizador de fronteira com base na informação de especificação do sistema, e por meio disso, a unidade de processamento de filtro adaptativo 113 pode ser forçado a executar processamento de filtro a fim de suprimir deterioração de efeitos.

Isto é para dizer, o dispositivo de codificação de imagem 100 pode suprimir deterioração nos efeitos de processamento de filtro devido ao controle local de processamento de filtro quando da codificação.

Note que a unidade de codificação sem perda 106 codifica o sinalizador de controle de fronteira e adiciona para a informação de compressão de imagem (incorpora no cabeçalho da fatia, por exemplo). Consequentemente, o dispositivo de codificação de imagem 100 pode fazer com que um dispositivo de decodificação de imagem que decodifica a informação de compressão de imagem emitida pelo dispositivo de codificação de imagem 100 suprima deterioração nos efeitos de processamento de filtro devido ao controle local de processamento de filtro efetuado quando da decodificação.

Agora, "adicionar" significa correlacionar o sinalizador de controle de fronteira com a informação de compressão de imagem com uma forma opcional. Por exemplo, isto pode ser descrito como uma sintaxe da informação de compressão de imagem, ou pode ser descrito como dados do usuário. Além disso, o sinalizador de controle de fronteira pode estar em um estado ligado com a informação de compressão de imagem como dados autoexplicativos. Isto é para dizer, "adicionar" inclui "incorporar", "descrever", "multiplexar", "associar", e assim por diante.

Além disso, com o descrito acima, descrição foi feita para efetuar processamento de filtro transpassando fatias ou processamento de filtro fechado na fatia corrente, quanto aos pixels perto da fronteira de fatia, mas processamento de filtro pode ser efetuado com outros métodos da mesma forma. Além disso, em vez de efetuar processamento de filtro fechado na fatia corrente, o processamento de filtro pode ser omitido, por exemplo.

Adicionalmente, é suficiente para múltiplos métodos de processamento de filtro para um pixel perto de uma fronteira de fatia ter sido preparado, e três ou mais métodos podem ser preparados como opções. Neste caso, dois bits ou mais são necessários para o sinalizador de controle de fronteira. Note que o número de bits do sinalizador de controle de fronteira é opcional. Contudo, quanto menor o número de bits é, a mais a deterioração da eficiência de codificação da informação de compressão de imagem é suprimida, então desnecessariamente aumentar o número de bits é indesejável.

<2. Segunda Modalidade> [Configuração de dispositivo]

A seguir, um dispositivo de decodificação de imagem correspondendo ao dispositivo de codificação de imagem 100 descrito com a primeira modalidade será descrito. Fig. 15 é um diagrama em bloco ilustrando a configuração de uma modalidade de um dispositivo de decodificação de imagem servindo como um dispositivo de processamento de imagem para o qual a presente invenção foi aplicada.

Um dispositivo de decodificação de imagem 200 decodifica informação de compressão de imagem emitida a partir do dispositivo de codificação de imagem 100, e gera uma imagem decodificada.

Um dispositivo de decodificação de imagem 200 é configurado de, uma área de armazenamento temporário 201, uma unidade de decodificação sem perda 202, uma unidade de quantização inversa203, uma unidade de transformada ortogonal inversa 204, uma unidade de computação 205, e um filtro de desbloqueio 206. o dispositivo de decodificação de imagem 200 também tem uma unidade de processamento de filtro adaptativo 207. O dispositivo de decodificação de imagem 200 ainda tem uma área de armazenamento temporário de rearrumação de tela 208 e uma unidade de conversão de D / A (Digital / uma unidade de compensação de movimento 212, e uma unidade de seleção 213.

A área de armazenamento temporário 201 armazena uma informação de imagem comprimida transmitida. A unidade de decodificação sem perda 202 decodifica informação fornecida a partir da área de armazenamento temporário 201 e codificada pela unidade de codificação sem perda 106 na Fig. 1 usando um formato correspondendo ao formato de codificação da unidade de codificação sem perda 106.

No evento em que o bloco macro corrente foi intra codificada, a unidade de decodificação sem perda 202 decodifica a informação de modo de intrapredição armazenada na porção de cabeçalho da informação de compressão de imagem, e transmite esta informação para a unidade de intrapredição 211. Além disso, no evento em que o bloco macro corrente foi inter codificado, a unidade de decodificação sem perda 202 decodifica a informação de vetor de movimento armazenada na porção de cabeçalho da informação de compressão de imagem, e transmite a informação do mesmo para a unidade de compensação de movimento 212.

Além disso, a unidade de decodificação sem perda 202 extrai informação de controle para o filtro adaptativo (informação de controle gerada pela unidade de geração de informação de controle 112) a partir do cabeçalho de fatia da informação de compressão de imagem, e decodifica, e supre a informação do mesmo para a unidade de processamento de filtro adaptativo 207.

A unidade de quantização inversa 203 submete a imagem decodificada pela unidade de decodificação sem perda 202 para quantização inversa usando um formato correspondendo ao formato de quantização da unidade de quantização 105 na Fig. 1. A unidade de transformada ortogonal inversa 204 submete a saída da unidade de quantização inversa 203 para transformada ortogonal inversa usando um formato correspondendo ao formato de transformada ortogonal da unidade de transformada ortogonal 104 na Fig. 1.

A unidade de computação 205 adiciona a imagem de prognóstico fornecida a partir da unidade de seleção 213 para a informação de diferença submetida à transformada ortogonal inversa, e gera uma imagem decodificada. O filtro de desbloqueio 206 remove o ruído de bloco da imagem decodificada que foi gerado pelo processamento de adição.

A unidade de processamento de filtro adaptativo 207 efetua processamento de filtro na imagem fornecida a partir do filtro de desbloqueio 206 com base no coeficiente de filtro, tamanho de bloco de ALF, sinalizador de bloco de filtro, e sinalizador de controle de fronteira e o similar, fornecidos a partir da unidade de codificação sem perda. A unidade de processamento de filtro adaptativo 207 efetua processamento de filtro adaptativo na mesma maneira que com a unidade de processamento de filtro adaptativo 113 na Fig. 1. Consequentemente, a unidade de processamento de filtro adaptativo 207 pode reduzir ruído de bloco e ruído devido à quantização que não poderia ser completamente removido com o filtro de desbloqueio 206.

A unidade de processamento de filtro adaptativo 207 supre a imagem seguindo processamento de filtro para a memória de quadro 210 a fim de ser armazenada como informação de imagem de referência, e também emite para a área de armazenamento temporário de rearrumação de tela 208.

A área de armazenamento temporário de rearrumação de tela 208 efetua rearrumação de imagens. Isto é para dizer, a ordem dos quadros rearrumados para codificação pela área de armazenamento temporário de rearrumação de tela 102 na Fig. 1 é rearrumada para a ordem de exibição original. A unidade de conversão de D / A209 efetua conversão de D / A da imagem fornecida a partir da área de armazenamento temporário de rearrumação de tela 208, e emite. Por exemplo, a unidade de conversão de D / A209 emite os sinais de saída obtidos efetuando conversão de D / A para um monitor não mostrado, e exibe uma imagem.

A unidade de intrapredição 211 gera uma imagem de prognóstico com base na informação fornecida a partir da unidade de decodificação sem perda 202 no evento em que o quadro corrente foi intracodificado, e emite a imagem de prognóstico gerada para a unidade de seleção 213.

No evento em que o quadro corrente foi intracodificado, a unidade de compensação de movimento 212 efetua processamento de compensação de movimento quanto à informação de referência de imagem armazenada na memória de quadro 210, com base na informação de vetor de movimento fornecida a partir da unidade de decodificação sem perda 202.

No evento em que o bloco macro corrente foi intracodificado, a unidade de seleção 213 se conecta à unidade de intrapredição 211, e supre a imagem fornecida a partir da unidade de intrapredição 211 para a unidade de computação 205 como uma imagem prognóstico. Além disso, no evento em que o bloco macro corrente foi intercodificado, a unidade de seleção 213 se conecta à unidade de compensação de movimento 212 e supre a imagem fornecida a partir da unidade de compensação de movimento 212 para a unidade de computação 205 como uma imagem prognóstico.

[Fluxo de Processamento]

Um exemplo do fluxo do processamento de decodificação que este dispositivo de decodificação de imagem 200 executa será descrito com referência ao fluxograma na Fig. 16.

Na etapa S301, a área de armazenamento temporário 201 armazena a imagem transmitida. Na etapa S302, a unidade de decodificação sem perda 202 extrai a informação de controle para processamento de filtro adaptativo do cabeçalho de fatia da informação de compressão de imagem, e a decodifica na etapa S303. A informação de controle decodificada é fornecida para a unidade de processamento de filtro adaptativo 207.

Além disso, na etapa S303, a unidade de decodificação sem perda 202 decodifica a imagem comprimida fornecida a partir da área de armazenamento temporário 201. Especificamente, a imagem I, imagem P, e imagem B codificada pela unidade de codificação sem perda 106 na Fig. 1 são decodificadas.

Neste momento, a informação de vetor de movimento, informação de quadro de referência, informação de modo de prognóstico (informação indicando o modo de intrapredição ou modo de interpredição), e assim por diante são também decodificadas.

Especificamente, no evento em que a informação de modo de prognóstico é informação de modo de intrapredição, a informação de modo de prognóstico é fornecida para a unidade de intrapredição 211. No evento em que a informação de modo de prognóstico é informação de modo de interpredição, informação de vetor de movimento e informação de quadro de referência correspondendo à informação de modo de prognóstico são fornecidas para a unidade de compensação de movimento 212.

Na etapa S304, a unidade de quantização inversa203 inversamente faz quantização do coeficiente de transformação decodificada na etapa S302 usando uma propriedade correspondendo à propriedade da unidade de quantização 105 na Fig. 1. Na etapa S305, a unidade de transformada ortogonal inversa 204 submete o coeficiente de transformação ao qual foi aplicada quantização inversamente na etapa S204 à transformada ortogonal inversa usando uma propriedade correspondendo à propriedade da unidade de transformada ortogonal 104 na Fig. 1. Isto significa que informação de diferença correspondendo à entrada da unidade de transformada ortogonal 104 na Fig. 1 (a saída da unidade de computação 103) foi decodificada.

Na etapa S306, a unidade de computação 205 adiciona a imagem de prognóstico selecionada no processamento na etapa S212 para a informação de diferença. Assim sendo, a imagem original é decodificada. Na etapa S307, o filtro de desbloqueio 206 submete a imagem emitida a partir da unidade de computação 205 para filtragem. Assim sendo, ruído de bloco é removido.

Na etapa S308, a unidade de processamento de filtro adaptativo 207 efetua processamento de filtro adaptativo de controle para submeter a imagem, submetida ao processamento de filtro de desbloqueio, ainda para processamento de filtro adaptativo. Este processamento de filtro adaptativo de controle é o mesmo que o processamento para o qual a unidade de processamento de filtro adaptativo 113 na Fig. 1 efetua. Isto é para dizer, este processamento de filtro adaptativo de controle é o mesmo que o caso descrito com referência ao fluxograma na Fig. 12, outro do que usando a informação de controle fornecida a partir da unidade de decodificação sem perda 202. Note contudo que, a informação de controle fornecida a partir desta unidade de decodificação sem perda 202 foi gerada pela unidade de geração de informação de controle 112 na Fig. 1, e é substancialmente equivalente à informação de controle fornecida a partir da unidade de geração de informação de controle 112 que a unidade de processamento de filtro adaptativo 113 na Fig. 1 usa.

Devido a isto processamento de controle de filtro adaptativo, ruído de bloco e ruído devido à quantização que poderia não ser completamente removido com o processamento de filtro de desbloqueio pode ser reduzido.

Na etapa S309, a memória de quadro 210 armazena a imagem submetida à filtragem.

No evento em que informação de modo de intrapredição foi fornecida, na etapa S310 a unidade de intrapredição 211 efetua processamento de intrapredição no modo de intrapredição. Além disso, no evento em que informação de modo de interpredição foi fornecida, na etapa S311 a unidade de compensação de movimento 212 efetua processamento de compensação de movimento no modo de intrapredição.

Na etapa S312, a unidade de seleção 213 seleciona a imagem prognóstico. Isto é para dizer, um da imagem de prognóstico gerada pela unidade de intrapredição 211 e da imagem de prognóstico gerada pela unidade de compensação de movimento 212 é selecionada, e a imagem de prognóstico selecionada é fornecida para a unidade de computação 205.

Por exemplo, no evento de uma imagem que foi intracodificada, a unidade de seleção 213 seleciona uma imagem de prognóstico gerada pela unidade de intrapredição 211 e a supre para a unidade de computação 205. Além disso, no evento de uma imagem como sendo intercodificada, a unidade de seleção 213 seleciona uma imagem de prognóstico gerada pela unidade de compensação de movimento 212 e a supre para a unidade de computação 205.

Na etapa S313, a área de armazenamento temporário de rearrumação de tela 208 efetua rearrumação. Especificamente, a sequência de quadros rearrumada para codificação pela área de armazenamento temporário de rearrumação de tela 102 do dispositivo de codificação de imagem 100 é rearrumada para a sequência de exibição original.

Na etapa S314, a unidade de conversão de D / A 209 efetua conversão de D / A da imagem a partir da área de armazenamento temporário de rearrumação de tela 208. Esta imagem é emitida para um monitor não mostrado, e a imagem é exibida.

Assim sendo, com a unidade de decodificação de imagem 200, a unidade de decodificação sem perda 202 extrai informação de controle fornecida a partir do dispositivo de codificação de imagem 100 e decodifica, e a unidade de processamento de filtro adaptativo 207 efetua processamento de filtro adaptativo de controle (e processamento de filtro) o mesmo que com a unidade de processamento de filtro adaptativo 113 do dispositivo de codificação de imagem 100, usando esta informação de controle.

Efetuando tal processamento de controle de filtro adaptativo, a unidade de processamento de filtro adaptativo 207 pode suprimir deterioração nos efeitos de processamento de filtro devido ao controle local de processamento de filtro efetuado quando da decodificação.

Consequentemente, o dispositivo de decodificação de imagem 200 pode suprimir deterioração nos efeitos de processamento de filtro devido ao controle local de processamento de filtro efetuado quando da decodificação.

<3. Terceira Modalidade> [Sistema de Processamento de Imagem]

Note que enquanto descrição foi feita acima que a unidade de gerenciamento de especificação do sistema 141 da unidade de geração de informação de controle 112 mantém ou corrige informação de especificação do sistema, a informação de especificação do sistema pode ser feita para incluir informação de especificação do dispositivo de decodificação de imagem.

Neste caso, no evento em que a informação de especificação do dispositivo de decodificação de imagem não é conhecido antecipadamente, o dispositivo de codificação de imagem necessidades coletar a informação de especificação do dispositivo de decodificação de imagem em um tempo pré-determinado, tal como no momento de conectar de forma comunicável, entre o dispositivo de codificação de imagem e o dispositivo de decodificação de imagem, por exemplo. Neste momento, o dispositivo de codificação de imagem pode efetuar comunicação com a decodificação de imagem para obter informação de especificação a partir do dispositivo de decodificação de imagem, ou a especificação entrada pelo usuário, por exemplo, pode ser obtida.

Agora, um sistema de processamento de imagem não mostrado é um sistema onde um dispositivo de codificação de imagem 300 mostrado na Fig. 17 e um dispositivo de decodificação de imagem 400 mostrado na Fig. 18 são de modo comunicável conectados via um meio de comunicação tal como uma rede. A descrição seguinte é uma descrição da configuração dos dispositivos.

Fig. 17 é um diagrama em bloco ilustrando um outro exemplo de um dispositivo de codificação de imagem servindo como um dispositivo de processamento de imagem para o qual a presente invenção foi aplicada.

O dispositivo de codificação de imagem 300 é basicamente o mesmo dispositivo que o dispositivo de codificação de imagem 100 na Fig. 1, e tem uma unidade de codificação de imagem 301.

A configuração da unidade de codificação de imagem 301 é a mesma que a configuração do dispositivo de codificação de imagem 100, tendo a unidade de conversão de A / D 101 através da unidade de controle de taxa 119, e opera na mesma maneira que com o caso descrito com a primeira modalidade.

Além da unidade de codificação de imagem 301, o dispositivo de codificação de imagem 300 ainda tem uma unidade de entrada 302, unidade de comunicação 303, e unidade de coleta de informação.

A unidade de entrada 302 aceita operações do usuário e o similar. A unidade de comunicação 303 efetua comunicação com o dispositivo de decodificação de imagem 400 via uma rede ou o similar. A unidade de coleta de informação 304 coleta informação de especificação do dispositivo de decodificação de imagem 400 entrada via a unidade de entrada 302 ou informação de especificação fornecida a partir do dispositivo de decodificação de imagem 400 via a unidade de comunicação 303. A unidade de coleta de informação 304 supre a informação de especificação coletada para a unidade de gerenciamento de especificação do sistema 141 da unidade de geração de informação de controle 112.

Fig. 18 é um diagrama em bloco ilustrando um outro exemplo de um dispositivo de decodificação de imagem servindo como um dispositivo de processamento de imagem para o qual a presente invenção foi aplicada.

O dispositivo de decodificação de imagem 400 é basicamente o mesmo dispositivo que o dispositivo de decodificação de imagem 200 na Fig. 15, e tem uma unidade de decodificação de imagem 401.

A configuração da unidade de decodificação de imagem 401 é a mesma que a configuração do dispositivo de decodificação de imagem 200, tendo a área de armazenamento temporário 201 através da unidade de seleção 213, e opera na mesma maneira que com o caso descrito com a segunda modalidade.

Além da unidade de decodificação de imagem 401, o dispositivo de decodificação de imagem 400 ainda tem uma unidade de fornecimento de informação 402 e uma unidade de comunicação 403.

A unidade de fornecimento de informação 402 tem informação de especificação do dispositivo de decodificação de imagem 400, e com base na solicitação a partir do dispositivo de codificação de imagem 300, fornece a informação de especificação. A unidade de comunicação 403 efetua comunicação com o dispositivo de codificação de imagem 300 via uma rede ou o similar. A unidade de comunicação 403 aceita uma solicitação a partir do dispositivo de codificação de imagem 300, e a supre para a unidade de fornecimento de informação 402. A unidade de comunicação 403 também supre a informação de especificação do dispositivo de decodificação de imagem 400 fornecida a partir da unidade de fornecimento de informação 402 de acordo com a solicitação para o dispositivo de codificação de imagem 300.

[Fluxo de Processamento]

Um exemplo do fluxo de troca da informação de especificação com tal um sistema de processamento de imagem será descrito com referência ao fluxograma na Fig. 19.

Na etapa S401, a unidade de coleta de informação 304 do dispositivo de codificação de imagem 300 solicita o dispositivo de decodificação de imagem 400 para informação de especificação do dispositivo de decodificação de imagem 400 via a unidade de comunicação 303. Quando da recepção a solicitação na etapa S421, a unidade de comunicação 403 do dispositivo de decodificação de imagem 400 supre a solicitação para a unidade de fornecimento de informação 402.

Na etapa S422, a unidade de fornecimento de informação 402 supre a informação de especificação do dispositivo de decodificação de imagem 400 para o dispositivo de codificação de imagem solicitante 300 via a unidade de comunicação 403, como uma resposta para a solicitação.

Após obter a informação de especificação na etapa S402 via a unidade de comunicação 303, a unidade de coleta de informação 304 do dispositivo de codificação de imagem 300 a supre para a unidade de gerenciamento de especificação do sistema 141 da unidade de geração de informação de controle 112.

Na etapa S403, a unidade de codificação de imagem 301 efetua processamento de codificação com base na informação de especificação, e gera uma sequência de código. Na etapa S404, a unidade de codificação de imagem 301 supre a sequência de código gerada para o dispositivo de decodificação de imagem 400.

Na etapa S423, a unidade de decodificação de imagem 401 do dispositivo de decodificação de imagem 400 obtém a sequência de código fornecida a partir do dispositivo de codificação de imagem 300. Na etapa S424, a unidade de decodificação de imagem 401 efetua processamento de decodificação quanto à sequência de código.

Assim sendo, informação de especificação do dispositivo de decodificação de imagem 400 é trocada antes do processamento de codificação de imagem e processamento de decodificação de imagem, assim o dispositivo de codificação de imagem 300 pode criar sinalizadores de controle de fronteira com base na informação de especificação do sistema incluindo a informação de especificação do dispositivo de decodificação de imagem 400.

Consequentemente, o dispositivo de codificação de imagem 300 e o dispositivo de decodificação de imagem 400 podem suprimir deterioração nos efeitos de processamento de filtro devido ao controle local de processamento de filtro efetuado quando codificação ou decodificação, conforme descrito com a primeira modalidade e segunda modalidade.

<4. Quarta Modalidade> [Descrição de QALF]

Blocos de ALF podem ter uma estrutura de árvore quadrática, conforme descrito com NPL 3. Esta técnica é chamada QALF (Filtro de Laço Adaptativo baseado em Árvore Quadrática). A estrutura de árvore quadrática é a estrutura hierárquica onde, em um nível hierárquico inferior, a região de um bloco de ALF um nível hierárquico acima é dividido em quatro.

Fig. 20 ilustra um exemplo onde divisão do bloco de ALF é expressa pela estrutura de árvore quadrática onde o número máximo de camadas é três, com um sinalizador de bloco de filtro sendo especificado para cada bloco de ALF.

A na Fig. 20 indica uma camada 0 que é um bloco de ALF servindo como a raiz da estrutura de árvore quadrática. Na estrutura de árvore quadrática, cada bloco de ALF tem um sinalizador de partição de bloco indicando se ele é ou não dividido em quatro no nível hierárquico inferior. O valor do sinalizador de partição de bloco do bloco de ALF mostrado em A na Fig. 20 é "1". Isto é para dizer, este bloco de ALF é dividido em quatro no nível hierárquico inferior (camada 1). B na Fig. 20 mostra a camada 1. Isto é para dizer, quatro blocos de ALF são formados na camada 1.

No evento em que o sinalizador de partição de bloco é "0", um nível hierárquico inferior adicional não é dividido em quatro. Isto é para dizer, não há nenhuma divisão adicional, e um sinalizador de bloco de filtro é gerado quanto àquele bloco de ALF. Isto é para dizer, um bloco de ALF do qual o sinalizador de partição de bloco é "0" também tem um sinalizador de bloco de filtro. O "0" à esquerda do "0-1" mostrado em B na Fig. 20 indica o sinalizador de partição de bloco daquele bloco de ALF, e o "1" à direita mostra o sinalizador de bloco de filtro daquele bloco de ALF.

Os dois blocos de ALF dos quais o sinalizador de partição de bloco na camada 1 é "1" são divididos em quatro no nível hierárquico inferior (camada 2). C na Fig. 20 ilustra a camada 2. Isto é para dizer, dez blocos de ALF são formados na camada 2.

Na mesma maneira, blocos de ALF com o sinalizador de partição de bloco de "0" na camada 2 são também atribuídos a um sinalizador de bloco de filtro. Em C na Fig. 20, o sinalizador de partição de bloco de um bloco de ALF é "1". Isto é para dizer, que bloco de ALF é dividido em quatro no nível hierárquico inferior adicional (camada 3). D na Fig. 20 mostra a camada 3. Isto é para dizer, 13 blocos de ALF são formados na camada 3.

Formando uma árvore quadrática conforme mostrado na Fig. 20, a estrutura do bloco de ALF finalmente se torna conforme mostrado na Fig. 21. Assim sendo, com uma estrutura de árvore quadrática, o tamanho de blocos de ALF difere com cada nível hierárquico. Isto é para dizer, usando uma estrutura de árvore quadrática, os tamanhos dos blocos de ALF podem ser feitos para serem diferentes um do outro dentro do quadro.

Controle do sinalizador de bloco de filtro em cada bloco de ALF é o mesmo que com as outras modalidades descritas acima. Isto é para dizer, processamento de filtro não é efetuado em regiões onde o valor do sinalizador de bloco de filtro é "0" (as porções sombreadas na Fig. 21).

Fig. 22 ilustra um exemplo de codificação da região da fatia 1 na Fig. 5 usando a técnica de QALF. Aqui, a região da linha grossa 521 representa a região da fatia 1. Independente da estrutura de ALF, pode haver casos onde os pixels circundantes transpassa múltiplas fatias quando efetuando processamento de filtro nos pixels perto de uma fronteira de fatia. Consequentemente, o método de controle de processamento de filtro quanto aos pixels perto de uma fronteira de fatia pode ser efetuado na mesma maneira que com as modalidades descritas acima para o caso de QALF da mesma forma.

Isto é para dizer, mesmo com um caso de blocos de ALF da estrutura de árvore quadrática, o dispositivo de codificação de imagem e o dispositivo de decodificação de imagem pode suprimir deterioração nos efeitos de processamento de filtro devido ao controle local do processamento de filtro efetuado quando da codificação ou da decodificação.

<5. Quinta modalidade> [Computador Pessoal]

A série de processamento pode ser executada por hardware, e pode ser executada por software. Neste caso, a configuração pode ser feita como um computador pessoal tal como mostrado na Fig. 23, por exemplo.

Na Fig. 23, uma CPU 601 de um computador pessoal 600 executa vários tipos de processamento seguindo programas armazenadas na ROM (Memória de Somente de Leitura) 602 ou programas carregados para a RAM (Memória de Acesso Randômico) 603 a partir de uma unidade de armazenamento 613. A RAM 603 também armazena dados e assim por diante necessário para a CPU 601 para executar vários tipos de processamento, conforme apropriado.

A CPU 601, ROM 602, e RAM 603 são mutuamente conectadas através de um de múltiplas vias de comunicação 604. Este cabo de múltiplas vias de comunicação 604 é também conectado a uma interface de entrada / saída 610.

Conectada a uma interface de entrada / saída 610 é uma unidade de entrada 611 composta de um teclado, um mouse, e assim por diante, uma unidade de saída 612 composta de um monitor tal como um CRT (Tubo de Raios Catódicos) ou LCD (Monitor de Cristal Líquido) ou o similar, um alto-falante, e assim por diante, uma unidade de armazenamento 613 composta de um disco rígido e assim por diante, e uma unidade de comunicação 614 composta de um modem e assim por diante. A unidade de comunicação 614 efetua processo de comunicação via redes incluindo a Internet.

Também conectado à interface de entrada / saída 610 é um mecanismo de operação 615 conforme necessário, para o qual um meio removível 621 tal como um disco magnético, um disco óptico, um disco magnético óptico, memória de semicondutor, ou o similar, é montado conforme apropriado, e programas de computador lidos deles são instalados na unidade de armazenamento 613 conforme necessário.

No evento de executar a séria descrita acima de processamento por software, um programa configurando o software é instalado a partir de uma rede ou meio de gravação.

Este meio de gravação não é somente configurado de um meio removível 621 composto de um disco magnético (incluindo disco flexível), disco óptico (incluindo CD-ROM (Disco Compacto - Memória de Somente de Leitura), DVD (Disco Versátil Digital), disco magnético óptico (MD (Mini-Disco)), ou memória de semicondutor ou o similar, no qual programas são gravados e distribuídos a fim de distribuir programas para usuários separadamente a partir da unidade principal do dispositivo, mas também é configurado de ROM 602, um disco rígido incluído na unidade de armazenamento 613, e assim por diante, no qual programas são gravados, distribuídos aos usuários em um estado de ter sido construído na unidade principal do dispositivo antecipadamente.

Note que um programa que o computador executa pode ser um programa no qual processamento é efetuado em sequência no tempo seguindo a ordem descrita na presente Especificação, ou pode ser um programa no qual processamento é efetuado em paralelo, ou em um tempo necessário, tal como quando uma chamada foi efetuada.

Além disso, com a presente Especificação, etapas descrevendo programas gravados no meio de gravação incluem processamento efetuado em sequência no tempo seguindo a ordem descrita por rotina, e também processamento executado em paralelo ou individualmente, sem necessariamente ser processado em sequência de tempo.

Além disso, com a presente especificação, o sistema de termo representa a totalidade de dispositivos configurados de múltiplos dispositivos (dispositivos).

Além disso, a configuração que foi descrita acima como um dispositivo (ou unidade de processamento) pode ser dividida e configurada como múltiplos dispositivos (ou unidades de processamento). Reciprocamente, configurações que foram descritas acima como múltiplos dispositivos (ou unidades de processamento) podem ser integradas e configuradas como um único dispositivo (ou unidade de processamento). Além disso, configurações outras do que aquelas descritas acima podem ser adicionadas aos dispositivos (ou unidades de processamento), por rotina. Adicionalmente, parte de uma configuração de um determinado dispositivo (ou unidade de processamento) pode ser incluído na configuração de um outro dispositivo (ou uma outra unidade de processamento), enquanto a configuração e operações do sistema como um todo são substancialmente as mesmas. Isto é para dizer, a modalidades da presente invenção não são restritas às modalidades descritas acima, e que, várias modificações podem ser feitas sem fugir da essência da presente invenção.

Por exemplo, o dispositivo de codificação de imagem 100, dispositivo de decodificação de imagem 200, dispositivo de codificação 300, e dispositivo de decodificação de imagem 400 descritos acima podem ser aplicados à imagem de vários dispositivos eletrônicos. A descrição a seguir é a descrição de exemplos dos mesmos.

<6. Sexta Modalidade> [Receptor de Televisão]

Fig. 24 é um diagrama em bloco ilustrando um exemplo principal de configuração de um receptor de televisão usando o dispositivo de decodificação de imagem 200 ou dispositivo de decodificação de imagem 400 para o qual a presente invenção foi aplicada.

Um receptor de televisão 1000 mostrado na Fig. 24 inclui um sintonizador terrestre 1013, um decodificador de vídeo 1015, um circuito de processamento de sinal de vídeo 1018, um circuito de geração de gráficos 1019, um circuito de operação de painel 1020, e um painel de exibição 1021.

O sintonizador terrestre 1013 recebe os sinais de onda de transmissão por difusão de uma transmissão por difusão analógica terrestre via uma antena, retira a modulação, obtém sinais de vídeos, e os supre para o decodificador de vídeo 1015. O decodificador de vídeo 1015 submete os sinais de vídeo fornecidos a partir do sintonizador terrestre 1013 para processamento de decodificação, e supre os sinais de componentes digitais obtidos para o circuito de processamento de sinal de vídeo 1018.

O circuito de processamento de sinal de vídeo 1018 submete os dados de vídeo fornecidos a partir do decodificador de vídeo 1015 para pré-determinado processamento tal como remoção de ruído ou o similar, e supre os dados de vídeo obtidos para o circuito de geração de gráficos 1019.

O circuito de geração de gráficos 1019 gera os dados de vídeo de um programa a ser exibido em um painel de exibição 1021, ou dados de imagem devido ao processamento com base em uma aplicação a ser fornecida via uma rede, ou o similar, e supre os dados de vídeo ou dados de imagem gerados para o circuito de operação de painel 1020. Além disso, o circuito de geração de gráficos 1019 também efetua processamento tal como fornecer dados de vídeo obtidos gerando dados de vídeo (gráficos) para o usuário exibindo uma tela usada para seleção de um item ou o similar, e sobreponde o este nos dados de vídeo de um programa, para o circuito de operação de painel 1020 conforme apropriado.

O circuito de operação de painel 1020 opera o painel de exibição 1021 com base nos dados fornecidos a partir do circuito de geração de gráficos 1019 para exibir o vídeo de um programa, ou as várias telas mencionadas acima no painel de exibição 1021.

O painel de exibição 1021 é composto de um LCD (Monitor de Cristal Líquido) e assim por diante, e exibe o vídeo de um programa ou o similar de acordo com o controle pelo circuito de operação de painel 1020.

Além disso, o receptor de televisão 1000 também inclui um circuito de conversão A / D (Análogo / Digital) de áudio 1014, um circuito de processamento de sinal de áudio 1022, um circuito de síntese de áudio / cancelamento de eco 1023, um circuito amplificador de áudio 1024, e um alto-falante 1025.

O sintonizador terrestre 1013 retira a modulação do sinal de onda de transmissão por difusão recebido, e por meio disso, obtendo não somente um sinal de vídeo, mas também um sinal de áudio. O sintonizador terrestre 1013 supre o sinal de áudio obtido para o circuito de conversão de A / D de áudio 1014.

O circuito de conversão de A / D de áudio 1014 submete o sinal de áudio fornecido a partir do sintonizador terrestre 1013 para processamento de conversão de A / D, e supre o sinal de áudio digital obtido para o circuito de processamento de sinal de áudio 1022.

O circuito de processamento de sinal de áudio 1022 submete os dados de áudio fornecidos a partir do circuito de conversão de A / D de áudio 1014 para pré-determinado processamento tal como remoção de ruído ou o similar, e supre os dados de áudio obtidos para o circuito de síntese de áudio / cancelamento de eco 1023.

O circuito de síntese de áudio / cancelamento de eco 1023 supre os dados de áudio fornecidos a partir do circuito de processamento de sinal de áudio 1022 para o circuito amplificador de áudio 1024.

O circuito amplificador de áudio 1024 submete os dados de áudio fornecidos a partir do circuito de síntese de áudio / cancelamento de eco 1023 para processamento de conversão de D / A, submete ao processamento de amplificador para ajustar ao volume pré-determinado, e então emite o áudio a partir do alto-falante 1025.

Adicionalmente, o receptor de televisão 1000 também inclui um sintonizador digital 1016, e um decodificador de MPEG 1017.

O sintonizador digital 1016 recebe os sinais de onda de transmissão por difusão de uma transmissão por difusão digital (transmissão por difusão terrestre digital, transmissão por difusão digital de BS (Transmissão por difusão via Satélite) / CS (Comunicações via Satélite) ) via uma antena, retira modulação para obter TS de MPEG (Sequência de transporte de Grupo de Peritos de Imagem em Movimento), e a supre para o decodificador de MPEG 1017.

O decodificador de MPEG 1017 desembaralha o embaralhamento fornecido para a TS de MPEG fornecida a partir do sintonizador digital 1016, e extrai uma sequência incluindo os dados de um programa servindo como uma objeto de reprodução (objeto de visualização). O decodificador de MPEG 1017 decodifica um pacote de áudio componde o a sequência extraída, supre os dados de áudio obtidos para o circuito de processamento de sinal de áudio 1022, e também decodifica um pacote de vídeo componde o a sequência, e supre os dados de vídeo obtidos para o circuito de processamento de sinal de vídeo 1018. Além disso, o decodificador de MPEG 1017 supre dados de EPG (Guia de Programa Eletrônico) extraídos a partir do TS de MPEG para uma CPU 1032 via um caminho não mostrado.

O receptor de televisão 1000 usa o dispositivo de decodificação de imagem 200 mencionado acima ou dispositivo de decodificação de imagem 400 com o decodificador de MPEG 1017 para decodificar pacotes de vídeo nesta maneira. Note que o TS de MPEG transmitido a partir da estação de transmissão por difusão ou o similar foi codificada pelo dispositivo de codificação de imagem 100 ou pelo dispositivo de codificação de imagem 300.

O decodificador de MPEG 1017 extrai e decodifica informação de controle fornecida a partir do dispositivo de codificação de imagem 100 ou do dispositivo de codificação de imagem 300, na mesma maneira que com o dispositivo de decodificação de imagem 200 ou o dispositivo de decodificação de imagem 400, e efetua processamento de controle de filtro adaptativo (e processamento de filtro) usando esta informação de controle. Consequentemente, o decodificador de MPEG 1017 pode suprimir deterioração nos efeitos do controle local do processamento de filtro.

Os dados de vídeo fornecidos a partir do decodificador de MPEG 1017 são, na mesma maneira que com o caso dos dados de vídeo fornecidos a partir do decodificador de vídeo 1015, submetidos ao pré-determinado processamento no circuito de processamento de sinal de vídeo 1018, sobrepostos nos dados de vídeo gerados e assim por diante no circuito de geração de gráficos 1019 conforme apropriado, fornecidos para o painel de exibição 1021 via o circuito de operação de painel 1020, e a imagem dos mesmos é exibidas nele.

Os dados de áudio fornecidos a partir do decodificador de MPEG 1017 são, na mesma maneira que com o caso dos dados de áudio fornecidos a partir do circuito de conversão de A / D de áudio 1014, submetido ao pré-determinado processamento no circuito de processamento de sinal de áudio 1022, fornecidos para o circuito amplificador de áudio 1024 via o circuito de síntese de áudio / cancelamento de eco 1023, e submetidos ao processamento de conversão de D / A e processamento de amplificador. Como um resultado do mesmo, o áudio ajustado no volume pré-determinado é emitido a partir do alto-falante 1025.

Além disso, o receptor de televisão 1000 também inclui um microfone 1026, e um circuito de conversão de A / D 1027.

O circuito de conversão de A/D 1027 recebe os sinais de áudio do usuário coletados pelo microfone 1026 fornecidos para o receptor de televisão 1000 servindo como para conversão de áudio, submete o sinal de áudio recebido para processamento de conversão de A / D, e supre os dados de áudio digital obtidos para o circuito de síntese de áudio / cancelamento de eco 1023.

No evento em que os dados de áudio do receptor de televisão 1000 do usuário (usuário A) foram fornecidos a partir do circuito de conversão de A / D 1027, o circuito de síntese de áudio / cancelamento de eco 1023 efetua cancelamento de eco com os dados de áudio do usuário (usuário A) considerado como um objeto, e emite dados de áudio obtidos sintetizando os dados de áudio do usuário A e outros dados de áudio, ou o similar a partir do alto-falante 1025 via o circuito amplificador de áudio 1024.

Adicionalmente, o receptor de televisão 1000 também inclui um codec de áudio 1028, um cabo de múltiplas vias de comunicação interno 1029, SDRAM (Memória de Acesso Randômico Síncrona Dinâmica) 1030, memória flash 1031, uma CPU 1032, uma I / F de USB (Cabo de Múltiplas Vias de Conexão Serial Universal) 1033, e uma I / F de rede 1034.

O circuito de conversão de A / D 1027 recebe o sinal de áudio do usuário coletado pelo microfone 1026 fornecido para o receptor de televisão 1000 servindo para conversão de áudio, submete o sinal de áudio recebido para processamento de conversão de A / D, e supre os dados de áudio digitais obtidos para o codec de áudio 1028.

O codec de áudio 1028 converte os dados de áudio fornecidos a partir do circuito de conversão de A / D 1027 nos dados de um pré-determinado formato para transmissão via uma rede, e supre para a I / F de rede 1034 via o cabo de múltiplas vias de comunicação interno 1029.

A I / F de rede 1034 é conectado a uma rede via um cabo montado em um terminal de rede 1035. A I / F de rede 1034 transmite os dados de áudio fornecidos a partir do codec de áudio 1028 para um outro dispositivo conectado a uma rede do mesmo, por exemplo. Além disso, a I / F de rede 1034 recebe, via um terminal de rede 1035, os dados de áudio transmitidos a partir de um outro dispositivo conectado nele via uma rede, e os supre para o codec de áudio 1028 via o cabo de múltiplas vias de comunicação interno 1029, por exemplo.

O codec de áudio 1028 converte os dados de áudio fornecidos a partir da I / F de rede 1034 nos dados de um pré-determinado formato, e os supre para o circuito de síntese de áudio / cancelamento de eco 1023.

O circuito de síntese de áudio / cancelamento de eco 1023 efetua cancelamento de eco com os dados de áudio fornecidos a partir do codec de áudio 1028 c considerados como um objeto, e emite os dados de áudio obtidos sintetizando os dados de áudio e outros dados de áudio, ou o similar, a partir do alto-falante 1025 via o circuito amplificador de áudio 1024.

A SDRAM 1030 armazena vários tipos de dados necessários para uma CPU 1032 efetuar processamento.

A memória flash 1031 armazena um programa a ser executado pela CPU 1032. O programa armazenado na memória flash 1031 é lida pela CPU 1032 em tempo pré-determinado tal como quando ativando o receptor de televisão 1000, ou o similar. Dados de EPG obtidos via uma transmissão por difusão digital, dados obtidos a partir de um pré-determinado servidor via uma rede, e assim por diante são também armazenados na memória flash 1031.

Por exemplo, TS de MPEG incluindo os dados de conteúdo obtidos a partir de um pré-determinado servidor via a rede pelo controle da CPU 1032 é armazenada na memória flash 1031. A memória flash 1031 supre a TS de MPEG do mesmo para o decodificador de MPEG 1017 via o cabo de múltiplas vias de comunicação interno 1029 pelo controle de uma CPU 1032, por exemplo.

O decodificador de MPEG 1017 processa a TS de MPEG-TS dele na mesma maneira que com o caso da TS de MPEG fornecida a partir do sintonizador digital 1016. Nesta maneira, o receptor de televisão 1000 recebe os dados de conteúdo compostos de vídeo, áudio, e assim por diante via a rede, decodifica usando o decodificador de MPEG 1017, e por meio disso, vídeo dos mesmos pode ser exibido, e áudio dos mesmos podem ser emitidos.

Além disso, o receptor de televisão 1000 também inclui uma unidade de recepção de luz 1037 para receber o sinal de infravermelho transmitido a partir de um controle remoto 1051.

A unidade de recepção de luz 1037 recebe raio de infravermelho a partir do controle remoto 1051, e emite um código de controle representando o conteúdo da operação do usuário obtida através de retirada de modulação, para a CPU 1032.

A CPU 1032 executa o programa armazenado na memória flash 1031 para controlar a inteira operação do receptor de televisão 1000 de acordo com o código de controle fornecido a partir da unidade de recepção de luz 1037, e assim por diante. A CPU 1032, e as unidades do receptor de televisão 1000 são conectados via um caminho não mostrado.

A I / F de USB 1033 efetua transmissão / recepção de dados quanto a um dispositivo externo do receptor de televisão 1000 que é conectado via um cabo de USB montado em um terminal de USB 1036. A I / F de rede 1034 se conecta a rede via um cabo montado em um terminal de rede 1035, também efetua transmissão / recepção de dados outros do que dados de áudio quanto aos vários dispositivos conectados à rede.

O receptor de televisão 1000 usa o dispositivo de decodificação de imagem 200 ou dispositivo de decodificação de imagem 400 como o decodificador de MPEG 1017, e por meio disso, deterioração nos efeitos de controle local de processamento de filtro quanto ao sinal de transmissão difusas recebido via uma antena ou dados de conteúdo obtidos via uma rede pode ser suprimida.

<7. Sétima modalidade> [Telefone Celular]

Fig. 25 é um diagrama em bloco ilustrando um principal exemplo de configuração de um telefone celular usando o dispositivo de codificação de imagem e dispositivo de decodificação de imagem para o qual a presente invenção foi aplicada.

Um telefone celular 1100 mostrado na Fig. 25 inclui uma unidade de controle principal 1150 configurada a fim de integralmente controlar as unidades, uma unidade de circuito de fornecimento de energia 1151, uma unidade de controle de entrada de operação 1152, uma codificador de imagem 1153, uma unidade de I / F de câmera 1154, uma unidade de controle de LCD 1155, um decodificador de imagem 1156, uma unidade de separação / multiplexação 1157, uma unidade de gravação / reprodução 1162, uma unidade de circuito de modulação / retirada de modulação 1158, e um codec de áudio 1159. Esses são mutuamente conectados via um cabo de múltiplas vias de comunicação 1160.

Além disso, o telefone celular 1100 inclui chaves de operação 1119, uma câmera de CCD (Dispositivo Acoplado de Cargas) 1116, um monitor de cristal líquido 1118, uma unidade de armazenamento 1123, uma unidade de circuito de transmissão / recepção 1163, uma antena 1114, um microfone (MIC) 1121, e um alto-falante 1117.

Após um fim de chamada e chave de alimentação de energia sendo ligada por uma operação do usuário, a unidade de circuito de fornecimento de energia 1151 ativa o telefone celular 1100 em um estado operacional fornecendo energia para as unidades a partir de um pacote de bateria.

O telefone celular 1100 efetua várias operações, tal como transmissão / recepção de um sinal de áudio, transmissão / recepção de um correio eletrônico e dados de imagem, fotografia de imagem, gravação de dados, e assim por diante, em vários modos tal como um modo de chamada de voz, um modo de comunicação de dados, e assim por diante, com base no controle da unidade de controle principal 1150 composta de uma CPU, ROM, RAM, e assim por diante.

Por exemplo, no modo de chamada de voz, o telefone celular 1100 converte o sinal de áudio coletado pelo microfone (m/ke) 1121 nos dados de áudio digitais pelo codec de áudio 1159, os submete ao processamento de espalhamento do espectro na unidade de circuito de modulação / retirada de modulação 1158, e os submete para processamento de conversão de digital / analógico e processamento de conversão de frequência na unidade de circuito de transmissão / recepção 1163. O telefone celular 1100 transmite o sinal para transmissão obtido pelo processamento de conversão do mesmo para uma estação base não mostrada via uma antena 1114. O sinal para transmissão (sinal de áudio) transmitido para a estação base é fornecido para o telefone celular da outra parte via a rede de telefonia pública.

Além disso, por exemplo, no modo de chamada de voz, o telefone celular 1100 amplifica o sinal de recepção recebido na antena 1114, na unidade de circuito de transmissão / recepção 1163, ainda submete para processamento de conversão de frequência e processamento de conversão analógico / digital, submete para processamento de espalhamento inverso de espectro na unidade de circuito de modulação / retirada de modulação 1158, e converte em um sinal de áudio analógico pelo codec de áudio 1159. O telefone celular 1100 emite o sinal de áudio analógico obtido e convertido do mesmo a partir do alto-falante 1117.

Adicionalmente, por exemplo, no evento de transmitir um correio eletrônico no modo de comunicação de dados, o telefone celular 1100 aceita os dados de texto do correio eletrônico entrados pela operação das chaves de operação 1119 na unidade de controle de entrada de operação 1152. O telefone celular 1100 processa os dados de texto do mesmo na unidade de controle principal 1150, e exibe no monitor de cristal líquido 1118 via a unidade de controle de LCD 1155 como uma imagem.

Além disso, o telefone celular 1100 gera dados de correio eletrônico dados na unidade de controle principal 1150 com base nos dados de texto aceitos pela unidade de controle de entrada de operação 1152, as instruções do usuário, e assim por diante. O telefone celular 1100 submete os dados de correio eletrônico do mesmo ao processamento de espalhamento de espectro na unidade de circuito de modulação / retirada de modulação 1158, e submete ao processamento de conversão de digital / analógico e processamento de conversão de frequência na unidade de circuito de transmissão / recepção 1163. O telefone celular 1100 transmite o sinal para transmissão obtido pelo processamento de conversão do mesmo para uma estação base não mostrada via a antena 1114. O sinal para transmissão (correio eletrônico) transmitido para a estação base é fornecido para uma pré-determinada destinação via a rede, servidor de correio, e assim por diante.

Além disso, por exemplo, no evento de receber um correio eletrônico no modo de comunicação de dados, o telefone celular 1100 recebe o sinal transmitido a partir da estação base via a antena 1114 com a unidade de circuito de transmissão / recepção 1163, amplifica, e ainda submete ao processamento de conversão de frequência e processamento de conversão analógico / digital. O telefone celular 1100 submete o sinal de recepção do mesmo ao processamento de espalhamento inverso de espectro na unidade de circuito de modulação / retirada de modulação 1158 para restaurar dados do correio eletrônico originais. O telefone celular 1100 exibe os dados do correio eletrônico re-armazenados no monitor de cristal líquido 1118 via a unidade de controle de LCD 1155.

Note que o telefone celular 1100 pode gravar (armazenar) os dados de correio eletrônico recebidos na unidade de armazenamento 1123 via a unidade de gravação / reprodução 1162.

Esta unidade de armazenamento 1123 é um meio de gravação passível de regravar opcional. A unidade de armazenamento 1123 pode ser memória de semicondutor tal como RAM, memória flash embutida, ou o similar, pode ser um disco rígido, ou pode ser um meio removível tal como um disco magnético, um disco magnético óptico, um disco óptico, memória de USB, um cartão de memória, ou o similar. Não é preciso dizer que a unidade de armazenamento 1123 pode ser outra do que essas.

Adicionalmente, por exemplo, no evento de transmitir dados de imagem no modo de comunicação de dados, o telefone celular 1100 gera dados de imagem através de tratamento de imagem na câmera de CCD 1116. A câmera de CCD 1116 inclui um CCD servindo como um dispositivo óptico tal como uma lente, diafragma, e assim por diante, e servindo como um dispositivo de conversão fotoelétrica, que fotografa um objeto, converte a intensidade de luz recebida em um sinal elétrico, e gera os dados de imagem de uma imagem do objeto. A câmera de CCD 1116 efetua codificação de compressão dos dados de imagem em um codificador de imagem 1153 via a unidade de I / F de câmera 1154, e converte nos dados de imagem codificados.

O telefone celular 1100 emprega o dispositivo de codificação de imagem 100 ou dispositivo de codificação de imagem 300 mencionados acima como um codificador de imagem 1153 para efetuar tal processamento. Consequentemente, na mesma maneira que com o dispositivo de codificação de imagem 100 ou o dispositivo de codificação de imagem 300, um codificador de imagem 1053 pode suprimir deterioração de efeitos devido ao controle local de processamento de filtro.

Note que, neste momento de modo simultâneo, o telefone celular 1100 converte o áudio coletado no microfone (mike) 1121, enquanto fotografando com a câmera de CCD 1116, de analógico para digital no codec de áudio 1159, e ainda o codifica.

O telefone celular 1100 multiplexa os dados codificados de imagem fornecidos a partir de um codificador de imagem 1153, e os dados de áudio digitais fornecidos a partir do codec de áudio 1159 na unidade de separação / multiplexação 1157 usando um método de pré-determinado. O telefone celular 1100 submete os dados multiplexados obtidos como um resultado do mesmo para processamento de espalhamento de espectro na unidade de circuito de modulação / retirada de modulação 1158, e submete para processamento de conversão de digital / analógico e processamento de conversão de frequência na unidade de circuito de transmissão / recepção 1163. O telefone celular 1100 transmite o sinal para transmissão obtido pelo processamento de conversão do mesmo para uma estação base não mostrada via a antena 1114. O sinal para transmissão (dados de imagem) transmitido para a estação base é fornecido para a outra parte via a rede ou o similar.

Note que no evento em que dados de imagem não são transmitidos, o telefone celular 1100 pode também exibir os dados de imagem gerados na câmera de CCD 1116 no monitor de cristal líquido 1118 via a unidade de controle de LCD 1155 em vez do codificador de imagem 1153.

Além disso, por exemplo, no evento de receber os dados de um arquivo de imagem em movimento associado a um simples sítio da web ou o similar no modo de comunicação de dados, o telefone celular 1100 recebe o sinal transmitido a partir da estação base na unidade de circuito de transmissão / recepção 1163 via a antena 1114, amplifica, e ainda submete ao processamento de conversão de frequência e processamento de conversão analógico / digital. O telefone celular 1100 submete o sinal recebido ao processamento de espalhamento inverso de espectro na unidade de circuito de modulação / retirada de modulação 1158 para restaurar os dados multiplexados originais. O telefone celular 1100 separa os dados multiplexados do mesmo na unidade de separação / multiplexação 1157 em dados de imagem e dados de áudio codificados.

O telefone celular 1100 decodifica os dados codificados de imagem no decodificador de imagem 1156 usando o formato de decodificação correspondendo a um pré-determinado formato de codificação tal como MPEG2, MPEG4, ou o similar, e por meio disso, gerar dados imagem em movimento de reprodução, e os exibe no monitor de cristal líquido 1118 via a unidade de controle de LCD 1155. Assim sendo, dados de imagem em movimento incluído em um arquivo de imagem em movimento associado a um simples sítio da web são exibidos no monitor de cristal líquido 1118, por exemplo.

O telefone celular 1100 emprega o dispositivo de decodificação de imagem 200 ou dispositivo de decodificação de imagem 400 mencionados acima como um decodificador de imagem 1156 para efetuar tal processamento. Consequentemente, na mesma maneira que com o dispositivo de decodificação de imagem 200 ou dispositivo de decodificação de imagem 400, um decodificador de imagem 1156 extrai e decodifica informação de controle fornecida a partir do dispositivo de codificação de imagem 100 ou do dispositivo de codificação de imagem 300, e efetua processamento de filtro adaptativo de controle (e processamento de filtragem) usando a informação de controle. Assim sendo, um decodificador de imagem 1156 pode suprimir deterioração de efeitos devido ao controle local de processamento de filtro.

Neste momento, de modo simultâneo, o telefone celular 1100 converte os dados de áudio digitais em um sinal de áudio analógico no codec de áudio 1159, e os emite a partir do alto-falante 1117. Assim sendo, dados de áudio incluídos em um arquivo de imagem em movimento associado a um simples sítio da web é executado, por exemplo.

Note que, na mesma maneira que com o caso de correio eletrônico, o telefone celular 1100 pode gravar (armazenar) os dados recebidos ligados a um simples sítio da web ou o similar na unidade de armazenamento 1123 via a unidade de gravação / reprodução 1162.

Além disso, o telefone celular 1100 analisa o código bidimensional fotografado obtido pela câmera de CCD 1116 na unidade de controle principal 1150, e por meio disso, informação gravada no código bidimensional pode ser obtida.

Adicionalmente, o telefone celular 1100 pode se comunicar com um dispositivo externo na unidade de comunicação de infravermelho 1181 usando raios de infravermelho.

O telefone celular 1100 emprega o dispositivo de codificação de imagem 100 ou o dispositivo de codificação de imagem 300 como o codificador de imagem 1153, e por meio disso, supressão pode ser realizada de deterioração de efeitos devido ao controle local de processamento de filtro considerando dados codificados gerados codificando dados de imagem gerados na câmera de CCD 1116, por exemplo.

Por exemplo, o telefone celular 1100 pode melhorar a qualidade de imagem de resultados do processamento de filtro efetuando processamento de filtro transpassando fatias, e pode fornecer dados codificados com maior qualidade de imagem para outros telefones celulares. Além disso, por exemplo, efetuando processamento de filtro fechado na fatia corrente, o telefone celular 1100 pode efetuar processamento de filtro com baixo retardo, e pode fornecer dados codificados para outros telefones celulares com inferior retardo.

Além disso, o telefone celular 1100 emprega o dispositivo de decodificação de imagem 200 ou o dispositivo de decodificação de imagem 400 como o decodificador de imagem 1156, e por meio disso, supressão pode ser realizada da deterioração de efeitos devido ao controle local do processamento de filtro considerando os dados de um arquivo de imagem em movimento ligado em um simples sítio de web ou o similar, por exemplo.

Por exemplo, o telefone celular 1100 pode melhorar a qualidade de imagem de resultados do processamento de filtro efetuando processamento de filtro transpassando fatias, e pode realizar alta qualidade de imagem de imagens decodificadas. Além disso, por exemplo, efetuando processamento de filtro fechado na fatia corrente, o telefone celular 1100 pode efetuar processamento de filtro com baixo retardo, e pode decodificar dados codificados com retardo inferior.

Note que descrição foi feita até agora onde o telefone celular 1100 emprega a câmera de CCD 1116, mas o telefone celular 1100 pode empregar um sensor de imagem (sensor de imagem de CMOS) usando CMOS (Semicondutor de Óxido de Metal Complementar) em vez desta câmera de CCD 1116. Neste caso da mesma forma, o telefone celular 1100 pode fotografar um objeto e gerar os dados de imagem de uma imagem do objeto na mesma maneira que com o caso de empregar a câmera de CCD 1116.

Além disso, descrição foi feita até agora considerando o telefone celular 1100, mas o dispositivo de codificação de imagem 100 e o dispositivo de decodificação de imagem 200 pode ser aplicado para qualquer tipo de dispositivo na mesma maneira que com o caso do telefone celular 1100 enquanto ele é um dispositivo tendo a mesma função de tratamento de imagem e função de comunicação que aquelas do telefone celular 1100, por exemplo, tal como um PDA (Assistente Digital Pessoal), telefone inteligente, UMPC (Computador Pessoal Ultra Móvel), net book, computador pessoa de tamanho de notebook, ou o similar.

<8. Oitava Modalidade> [Gravador de disco rígido]

Fig. 26 é um diagrama em bloco ilustrando um exemplo principal de configuração de um gravador de disco rígido que emprega o dispositivo de codificação de imagem e dispositivo de decodificação de imagem para o qual a presente invenção foi aplicada.

Um gravador de disco rígido (gravador de HDD) 1200 mostrado na Fig. 26 é um dispositivo que armazena, no disco rígido embutido, dados de áudio e dados de vídeo de um programa de transmissão por difusão incluído nos sinais de onda de transmissão por difusão (sinais de televisão) recebidos por um sintonizador e transmitidos a partir de um satélite ou um antena terrestre ou o similar, e fornece os dados armazenados para o usuário no tempo de acordo com as instruções de instruções do usuário.

O gravador de disco rígido 1200 pode extrair dados de áudio e dados de vídeo dos sinais de onda de transmissão por difusão, decodificar esses conforme apropriado, e armazenar no disco rígido embutido, por exemplo. Além disso, o gravador de disco rígido 1200 pode também obter dados de áudio e dados de vídeo de um outro dispositivo via a rede, decodificar esses conforme apropriado, e armazenar no disco rígido embutido, por exemplo.

Adicionalmente, o gravador de disco rígido 1200 pode decodificar dados de áudio e dados de vídeo gravados no disco rígido embutido, fornecê-los para um monitor 1260, exibir uma imagem do mesmo na tela do monitor 1260, e emitir áudio do mesmo a partir do alto-falante do monitor 1260, por exemplo. Além disso, o gravador de disco rígido 1200 pode decodificar dados de áudio e dados de vídeo extraído dos sinais de transmissão difusa obtidos via um sintonizador, ou dados de áudio e dados de vídeo obtidos a partir de um outro dispositivo via a rede, fornecê-los para o monitor 1260, exibir uma imagem do mesmo na tela do monitor 1260, e emitir áudio do mesmo a partir do0 alto-falante do monitor 1260, por exemplo.

É claro que, operações outras do que essas podem ser efetuadas.

Conforme mostrado na Fig. 26, o gravador de disco rígido 1200 inclui uma unidade de recepção 1221, uma unidade de retirada de modulação 1222, um demultiplexador 1223, um decodificador de áudio 1224, um decodificador de vídeo 1225, e um unidade de controle de gravador 1226. O gravador de disco rígido 1200 ainda inclui memória de dados de EPG 1227, memória de programa 1228, memória de trabalho 1229, um conversor de exibição 1230, uma unidade de controle de OSD (Dispositivo de Exibição em Tela) 1231, uma unidade de controle de exibição 1232, uma unidade de gravação / reprodução 1233, um conversor de D / A 1234, e uma unidade de comunicação 1235.

Além disso, o conversor de exibição 1230 inclui um codificador de vídeo 1241. A unidade de gravação / reprodução 1233 inclui um codificador 1251 e um decodificador 1252.

A unidade de recepção 1221 recebe o sinal de infravermelho a partir do controle remoto (não mostrado), converte em um sinal elétrico, e emite para a unidade de controle de gravador 1226. A unidade de controle de gravador 1226 é configurada de, por exemplo, um microprocessador e assim por diante, e executa vários tipos de processamento de acordo com o programa armazenado na memória de programa 1228. Neste momento, a unidade de controle de gravador 1226 usa a memória de trabalho 1229 de acordo com a necessidade.

A unidade de comunicação 1235, que é conectada à rede, efetua processo de comunicação com um outro dispositivo via a rede. Por exemplo, a unidade de comunicação 1235 é controlada pela unidade de controle de gravador 1226 para se comunicar com um sintonizador (não mostrado), e para principalmente emitir um sinal de controle de seleção de canal para o sintonizador.

A unidade de retirada de modulação 1222 retira modulação do sinal fornecido a partir do sintonizador, e emite para o demultiplexador 1223. O demultiplexador 1223 separa os dados fornecidos a partir da unidade de retirada de modulação 1222 em dados de áudio, dados de vídeo, e dados de EPG, e emite para o decodificador de áudio 1224, decodificador de vídeo 1225, e unidade de controle de gravador 1226, respectivamente.

O decodificador de áudio 1224 decodifica os dados de áudio entrados, e emite para a unidade de gravação / reprodução 1233. O decodificador de vídeo 1225 decodifica os dados de vídeo entrados, e emite para o conversor de exibição 1230. A unidade de controle de gravador 1226 supre os dados de EPG de entrada para a memória de dados de EPG 1227 para armazenagem.

O conversor de exibição 1230 codifica os dados de vídeo fornecidos a partir do decodificador de vídeo 1225 ou da unidade de controle de gravador 1226 em, por exemplo, os dados de vídeo em conformidade com o NTSC (Comissão de Padrões de Televisão Nacional) formato usando o codificador de vídeo 1241, e emite para a unidade de gravação / reprodução 1233. Além disso, o conversor de exibição 1230 converte o tamanho da tela dos dados de vídeo fornecidos a partir do decodificador de vídeo 1225 ou da unidade de controle de gravador 1226 no tamanho correspondendo ao tamanho do monitor 1260, converte os dados de vídeo os quais o tamanho de tela foi convertido nos dados de vídeo em conformidade com o formato de NTSC usando o codificador de vídeo 1241, converte em um sinal analógico, e emite para a unidade de controle de exibição 1232.

A unidade de controle de exibição 1232 sobrepõe, sob o controle da unidade de controle de gravador 1226, o sinal de OSD emitido a partir da unidade de controle de OSD (Dispositivo de Exibição em Tela) 1231 no sinal de vídeo entrado a partir do conversor de exibição 1230, e emite o mostrador do monitor 1260 para exibição.

Além disso, os dados de áudio emitidos a partir do decodificador de áudio 1224 foram convertidos em um sinal analógico usando o conversor de D / A 1234, e fornecidos para o monitor 1260. O monitor 1260 emite este sinal de áudio a partir de um alto-falante embutido.

A unidade de gravação / reprodução 1233 inclui um disco rígido com um meio de gravação no qual dados de vídeo, dados de áudio, e assim por diante são gravados.

A unidade de gravação / reprodução 1233 codifica os dados de áudio fornecidos a partir do decodificador de áudio 1224 pelo codificador 1251. Além disso, a unidade de gravação / reprodução 1233 codifica os dados de vídeo fornecidos a partir do codificador de vídeo 1241 do conversor de exibição 1230 pelo codificador 1251. A unidade de gravação / reprodução 1233 sintetiza os dados codificados dos dados de áudio do mesmo, e os dados codificados dos dados de vídeo do mesmo usando o multiplexador. A unidade de gravação / reprodução 1233 amplifica os dados sintetizados através de codificação de canal, e escreve os dados do mesmo no disco rígido via uma cabeça de gravação.

A unidade de gravação / reprodução 1233 reproduz os dados gravados no disco rígido via uma cabeça de reprodução, amplifica, e separa em dados de áudio e dados de vídeo usando o demultiplexador. A unidade de gravação / reprodução 1233 decodifica os dados de áudio e dados de vídeo pelo decodificador 1252 usando o formato de MPEG. A unidade de gravação / reprodução 1233 converte os dados de áudio decodificados de digital para analógico e emite para o alto-falante do monitor 1260. Além disso, a unidade de gravação / reprodução 1233 converte os dados de vídeo decodificados de digital para analógico, e emite para o mostrador do monitor 1260.

A unidade de controle de gravador 1226 lê os últimos dados de EPG a partir da memória de dados de EPG 1227 com base nas instruções do usuário indicado pelo sinal de infravermelho a partir do controle remoto o qual é recebido via uma unidade de recepção 1221, e supre para a unidade de controle de OSD 1231. A unidade de controle de OSD 1231 gera dados de imagem correspondendo aos dados de EPG entrados, e emite para a unidade de controle de exibição 1232. A unidade de controle de exibição 1232 emite os dados de vídeo entrados a partir da unidade de controle de OSD 1231 para o mostrador do monitor 1260 para exibição. Assim sendo, EPG (Guia de Programa Eletrônico) é exibido no mostrador do monitor 1260.

Além disso, o gravador de disco rígido 1200 pode obter vários tipos de dados tais como dados de vídeo, dados de áudio, dados de EPG, e assim por diante fornecidos a partir de um outro dispositivo via a rede tal como a Internet ou o similar.

A unidade de comunicação 1235 é controlada pela unidade de controle de gravador 1226 para obter dados codificados tal como dados de vídeo, dados de áudio, dados de EPG, e assim por diante transmitidos a partir de um outro dispositivo via a rede, e para fornecê-los para a unidade de controle de gravador 1226. A unidade de controle de gravador 1226 supre os dados codificados dos dados de vídeo e dados de áudio obtidos para a unidade de gravação / reprodução 1233, e armazena no disco rígido, por exemplo. Neste momento, a unidade de controle de gravador 1226 e a unidade de gravação / reprodução 1233 pode efetuar tal como processamento tal como recodificação ou o similar de acordo com a necessidade.

Além disso, a unidade de controle de gravador 1226 decodifica os dados codificados dos dados de vídeo e dados de áudio obtidos, e supre os dados de vídeo obtidos para o conversor de exibição 1230. O conversor de exibição 1230 processa, na mesma maneira que os dados de vídeo fornecidos a partir do decodificador de vídeo 1225, os dados de vídeo fornecidos a partir da unidade de controle de gravador 1226, supre para o monitor 1260 via a unidade de controle de exibição 1232 para exibir uma imagem do mesmo.

Alternativamente, um arranjo pode ser feito, onde de acordo com esta exibição de imagem, a unidade de controle de gravador 1226 supre os dados de áudio decodificados para o monitor 1260 via o conversor de D / A 1234, e emite áudio do mesmo a partir do alto-falante.

Adicionalmente, a unidade de controle de gravador 1226 decodifica os dados codificados dos dados de EPG obtidos, e supre os dados de EPG decodificados para a memória de dados de EPG 1227.

O gravador de disco rígido 1200 assim sendo configurado emprega o dispositivo de decodificação de imagem 200 ou dispositivo de decodificação de imagem 400 como o decodificador de vídeo 1225, decodificador 1252, e decodificador acondicionado na unidade de controle de gravador 1226. Consequentemente, na mesma maneira que com o dispositivo de decodificação de imagem 200 ou dispositivo de decodificação de imagem 400, o decodificador de vídeo 1225, decodificador 1252, e decodificador acondicionado na unidade de controle de gravador 1226 extrai e decodifica informação de controle fornecida a partir do dispositivo de codificação de imagem 100 ou do dispositivo de codificação de imagem 300, e efetua processamento de filtro adaptativo de controle (e processamento de filtro) usando uma informação de controle. Consequentemente, o decodificador de vídeo 1225, o decodificador 1252, e decodificador acondicionado na unidade de controle de gravador 1226 pode suprimir deterioração de efeitos devido ao controle local do processamento de filtro.

Consequentemente, o gravador de disco rígido 1200 pode suprimir deterioração de efeitos devido ao controle local do processamento de filtro considerando os dados de vídeo recebidos via o sintonizador ou unidade de comunicação 1235, e os dados de vídeo gravados no disco rígido da unidade de gravação / reprodução 1233, por exemplo.

Por exemplo, o gravador de disco rígido 1200 pode melhorar a qualidade de imagem dos resultados do processamento de filtro efetuando processamento de filtro transpassando fatias, e pode realizar alta qualidade de imagem de imagens decodificadas. Além disso, por exemplo, efetuando processamento de filtro fechado na fatia corrente, o gravador de disco rígido 1200 pode efetuar o processamento de filtro com baixo retardo, e pode decodificar dados codificados com baixo retardo.

Além disso, o gravador de disco rígido 1200 emprega o dispositivo de codificação de imagem 100 ou o dispositivo de codificação de imagem 300 como o codificador 1251. Consequentemente, na mesma maneira que com o caso do dispositivo de codificação de imagem 100 ou do dispositivo de codificação de imagem 300, o codificador 1251 pode realizar supressão de deterioração dos efeitos devido ao controle local de processamento de filtro.

Consequentemente, o gravador de disco rígido 1200 pode suprimir deterioração de efeitos devido ao controle local do processamento de filtro considerando os dados codificados gravado no disco rígido, por exemplo.

Por exemplo, o gravador de disco rígido 1200 pode melhorar a qualidade de imagem de resultados do processamento de filtro efetuando processamento de filtro transpassando fatias, e pode gravar dados codificados com maior qualidade de imagem no disco rígido. Além disso, por exemplo, efetuando processamento de filtro fechado na fatia corrente, o gravador de disco rígido 1200 pode efetuar processamento de filtro com baixo retardo, e pode gerar dados codificados e gravar no disco rígido com retardo inferior.

Note que descrição foi feita até agora considerando o gravador de disco rígido 1200 para gravar dados de vídeo e dados de áudio no disco rígido, mas não é necessário dizer que qualquer tipo de meio de gravação pode ser empregado. Por exemplo, mesmo com um gravador para o qual um meio de gravação outro do que um disco rígido, tal como memória flash, disco óptico, fita de vídeo, ou o similar, é aplicado, o dispositivo de codificação de imagem 100 e o dispositivo de decodificação de imagem 200 pode ser aplicado a ele na mesma maneira que com o caso do gravador de disco rígido 1200 acima.

<9. Nina Modalidade> [Câmera]

Fig. 27 é um diagrama em bloco ilustrando um exemplo principal de configuração de uma câmera empregando o dispositivo de codificação de imagem e o dispositivo de decodificação de imagem para o qual a presente invenção foi aplicada.

A câmera 1300 mostrada na Fig. 27 fotografa um objeto, exibe uma imagem do objeto em um LCD 1316, e gravá-los no meio de gravação 1333 como dados de imagem.

A lente bloco 1311 entra luz (i.e., imagem de um objeto) para um CCD / CMOS 1312. O CCD / CMOS 1312 é um sensor de imagem empregando um CCD ou CMOS, que converte a intensidade de luz recebida em sinal elétrico, e supre para a unidade de processamento de sinal de câmera 1313.

A unidade de processamento de sinal de câmera 1313 converte o sinal elétrico fornecido a partir do CCD / CMOS 1312 em sinais de diferença de cor de Y, Cr, e Cb, e supre para uma unidade de processamento de sinal de imagem 1314. A unidade de processamento de sinal de imagem 1314 submete, sob o controle de um controlador 1321, o sinal de imagem fornecido a partir da unidade de processamento de sinal de câmera 1313 para pré-determinado processamento de imagem, ou codifica o sinal de imagem do mesmo através de um codificador 1341 usando o formato de MPEG por exemplo. A unidade de processamento de sinal de imagem 1314 supre dados codificados gerados codificando um sinal de imagem, para um s decodificador 1315. Adicionalmente, a unidade de processamento de sinal de imagem 1314 obtém dados para exibir gerados em um dispositivo de exibição em tela (OSD) 1320, e os supre para o decodificador 1315.

Com o processamento mencionado acima, a unidade de processamento de sinal de câmera 1313 apropriadamente toma vantagem da DRAM (Memória de Acesso Randômico Dinâmica) 1318 conectado via um cabo de múltiplas vias de comunicação 1317 para manter os dados de imagem, dados codificados codificada a partir dos dados de imagem do mesmo, e assim por diante na DRAM 1318 do mesmo de acordo com a necessidade.

O decodificador 1315 decodifica os dados codificados fornecidos a partir da unidade de processamento de sinal de imagem 1314, e supre dados de imagem obtidos (dados de imagem decodificados) para o LCD 1316. Além disso, o decodificador 1315 supre os dados para exibição fornecidos a partir da unidade de processamento de sinal de imagem 1314 para o LCD 1316. O LCD 1316 sintetiza a imagem dos dados de imagem decodificada, e a imagem dos dados para exibição, fornecidas a partir do decodificador 1315 conforme apropriado, e exibe uma imagem de síntese do mesmo.

A dispositivo de exibição em tela 1320 emite, sob o controle do controlador 1321, dados para exibição tal como uma tela ou ícone de menu ou o similar composto de um símbolo, caracteres, ou uma figura para a unidade de processamento de sinal de imagem 1314 via o cabo de múltiplas vias de comunicação 1317.

Com base em um sinal indicando o conteúdo comandado pelo usuário usando uma unidade de operação 1322, o controlador 1321 executa vários tipos de processamento, e também controla a unidade de processamento de sinal de imagem 1314, DRAM 1318, interface externa 1319, dispositivo de exibição em tela 1320, mecanismo de operação de mídia 1323, e assim por diante via o cabo de múltiplas vias de comunicação 1317. Um programa, dados, e assim por diante necessários para o controlador 1321 executando vários tipos de processamento são armazenados na ROM FLASH 1324.

Por exemplo, o controlador 1321 pode codificar dados de imagem armazenados na DRAM 1318, ou decodificar dados codificados armazenados na DRAM 1318 em vez da unidade de processamento de sinal de imagem 1314 e decodificador 1315. Neste momento, o controlador 1321 pode efetuar codificação e processamento de decodificação usando o mesmo formato que o formatado de codificação e decodificação da unidade de processamento de sinal de imagem 1314 e decodificador 1315, ou pode efetuar processamento de codificação e de decodificação usando um formato que nem a unidade de processamento de sinal de imagem 1314 nem o decodificador 1315 pode tratar.

Além disso, por exemplo, no evento em que início de impressão de imagem foi instruído a partir da unidade de operação 1322, o controlador 1321 lê dados de imagem a partir da DRAM 1318, e os supre para a impressora 1334 conectada a uma interface externa 1319 via o cabo de múltiplas vias de comunicação 1317 para impressão.

Adicionalmente, por exemplo, no evento em que gravação de imagem foi instruída a partir da unidade de operação 1322, o controlador 1321 lê dados codificados a partir da DRAM 1318, e os supre para um meio de gravação 1333 montado no mecanismo de operação de mídia 1323 via o cabo de múltiplas vias de comunicação 1317 para armazenar.

O meio de gravação 1333 é um meio removível legível / passível de regravar opcional, por exemplo, tal como um disco magnético, um disco magnético óptico, um disco óptico, memória de semicondutor, ou o similar. Não é necessário dizer que o meio de gravação 1333 é também opcional considerando o tipo de um meio removível, e consequentemente pode ser um dispositivo de fita, ou pode ser um disco, ou pode ser um cartão de memória. Não é necessário que o meio de gravação 1333 pode ser um cartão de IC de não contato ou o similar.

Alternativamente, o mecanismo de operação de mídia 1323 e o meio de gravação 1333 pode ser configurado a fim de ser integrado em um meio de gravação não transportável, por exemplo, tal como um mecanismo de operação de disco rígido embutido, SSD (Mecanismo de Estado Sólido), ou o similar.

A interface externa 1319 é configurada de, por exemplo, um terminal de entrada / saída de USB e assim por diante, e é conectado à impressora 1334 no evento de efetuar impressão de uma imagem. Além disso, um mecanismo de operação 1331 é conectado à interface externa 1319 de acordo com a necessidade, na qual o meio removível 1332 tal como um disco magnético, disco óptico, ou disco magnético óptico é montado conforme apropriado, e um programa de computador lido dele é instalado na ROM FLASH 1324 de acordo com a necessidade.

Adicionalmente, a interface externa 1319 inclui uma interface de rede a ser conectada a uma pré-determinada rede tal como uma LAN, a Internet, ou o similar. Por exemplo, de acordo com as instruções a partir da unidade de operação 1322, o controlador 1321 pode ler dados codificados a partir da DRAM 1318, e os fornece a partir da interface externa 1319 para um outro dispositivo conectado via a rede. Além disso, o controlador 1321 pode obter, via a interface externa 1319, dados codificados ou dados de imagem fornecidos a partir de um outro dispositivo via a rede, e os mantém na DRAM 1318, ou os fornece para a unidade de processamento de sinal de imagem 1314.

A câmera 1300 assim sendo configurada emprega o dispositivo de decodificação de imagem 200 ou p dispositivo de decodificação de imagem 400 como o decodificador 1315. Consequentemente, na mesma maneira que com o dispositivo de decodificação de imagem 200 ou o dispositivo de decodificação de imagem 400, o decodificador 1315 extrai e decodifica informação de controle fornecida a partir do dispositivo de codificação de imagem 100 ou do dispositivo de codificação de imagem 300, e efetua processamento de filtro adaptativo de controle (e processamento de filtro) usando a informação de controle. Consequentemente, o decodificador 1315 pode suprimir deterioração de efeitos devido ao controle local do processamento de filtro.

Consequentemente, a câmera 1300 pode suprimir deterioração de efeitos devido ao controle local de processamento de filtro considerando, por exemplo, a partir dos dados de imagem gerados no CCD / CMOS 1312, os dados codificados dos dados de vídeo lidos a partir da DRAM 1318 ou meio de gravação 1333, e dados codificados de dados de vídeo obtidos via a rede.

Por exemplo, a câmera 1300 pode melhorar a qualidade de imagem dos resultados do processamento de filtro efetuando processamento de filtro transpassando fatias, e pode realizar alta qualidade de imagem das imagens decodificadas. Além disso, por exemplo, efetuando processamento de filtro fechado na fatia corrente, a câmera 1300 pode efetuar processamento de filtro com baixo retardo, e pode decodificar dados codificados com baixo retardo.

Além disso, a câmera 1300 emprega o dispositivo de codificação de imagem 100 ou o dispositivo de codificação de imagem 300 como o codificador 1341. Consequentemente, na mesma maneira que com o caso do dispositivo de codificação de imagem 100 ou do dispositivo de codificação de imagem 300, o codificador 1341 pode realizar supressão de deterioração de efeitos devido ao controle local do processamento de filtro.

Consequentemente, a câmera 1300 pode suprimir deterioração dos efeitos devido ao controle local do processamento de filtro considerando os dados codificados gravados na DRAM 1318 ou meio de gravação 1333, ou dados codificados a serem fornecidos para outros dispositivos, por exemplo.

Por exemplo, a câmera 1300 pode melhorar a qualidade de imagem dos resultados do processamento de filtro efetuando processamento de filtro transpassando fatias, e pode gravar dados codificados com maior qualidade de imagem na DRAM 1318 ou meio de gravação 1333, ou fornecê-los aos outros dispositivos. Além disso, por exemplo, efetuando processamento de filtro fechado na fatia corrente, a câmera 1300 pode efetuar processamento de filtro com baixo retardo, e pode gerar dados codificados e gravar na DRAM 1318 ou meio de gravação 1333, ou fornecê-los aos outros dispositivos, com retardo inferior.

Note que o método de decodificação do dispositivo de decodificação de imagem 200 ou do dispositivo de decodificação de imagem 400 pode ser aplicada ao processamento de decodificação que o controlador 1321 efetua. Na mesma maneira, o método de codificação do dispositivo de codificação de imagem 100 ou do dispositivo de codificação de imagem 300 pode ser aplicado ao processamento de codificação que o controlador 1321 efetua.

Além disso, os dados de imagem que a câmera 1300 captura podem ser de imagens em movimento ou podem ser de imagens fixas.

Como uma questão é claro que, o dispositivo de codificação de imagem 100, dispositivo de decodificação de imagem 200, dispositivo de codificação de imagem 300, e dispositivo de decodificação de imagem 400 podem ser aplicados aos dispositivos ou sistemas outros do que os dispositivos descritos acima.

Além disso, o tamanho de blocos macros não é restrito à 16 x 16 pixels. Aplicação pode ser feita para blocos macros de vários tamanhos, tal como aquele de 32 x 32 pixels mostrado na Fig. 28, por exemplo.

Enquanto descrição foi feita acima com informação de sinalizador e o similar sendo multiplexada (descrita) na sequência de bits, sinalizadores e dados de imagem (ou sequência de bits) podem ser transmitidos (gravados), por exemplo, além de ser multiplexados. Uma forma pode ser feita onde o sinalizador e dados de imagem (ou sequência de bits) são associados (adicionados) da mesma forma.

Associação (adição) indica um estado no qual dados de imagem (ou sequências de bits) e sinalizadores são mutuamente associados (um estado correlacionado), e a relação de posição física é arbitrária. Por exemplo, os dados de imagem (ou sequência de bits) e sinalizadores podem ser transmitidos sobre caminhos de transmissão separados. Além disso, os dados de imagem (ou sequência de bits) e sinalizadores podem cada um ser gravados em meios de gravação separados (ou em áreas de gravação separadas dentro do mesmo meio de gravação). Note que os incrementos nos quais os dados de imagem (ou sequências de bits) e sinalizadores estão associados são opcionais, e podem ser configurados em incrementos de processamento de codificação (um quadro, múltiplos quadros, etc.), por exemplo.
Lista de Sinais de Referência
100 dispositivo de codificação de imagem
112 unidade de geração de informação de controle
113 unidade de processamento de filtro adaptativo
132 unidade de geração de sinalizador de controle de fronteira
141 unidade de gerenciamento de especificação do sistema
142 unidade de determinação
161 pixel a ser processado
162 pixels circundantes
163 fronteira de fatia
171 unidade de controle
172 filtro adaptativo
173 unidade de seleção
181 área de memória de armazenamento temporário
182 filtro adaptativo de fatia
183 primeiro filtro adaptativo para fronteira
184 segundo filtro adaptativo para fronteira
200 dispositivo de decodificação de imagem
202 unidade de decodificação sem perda
207 unidade de processamento de filtro adaptativo
300 dispositivo de codificação de imagem
301 unidade de codificação de imagem
302 unidade de entrada
303 unidade de comunicação
304 unidade de coleta de informação
400 unidade de decodificação de imagem
401 unidade de decodificação de imagem
402 unidade de fornecimento de informação
403 unidade de comunicação

Claims

Dispositivo de codificação de imagem, CARACTERIZADO pelo fato de compreender:
circuitos configurados para:
obter uma posição de um bloco de imagem com base em um tamanho de bloco do bloco de imagem,
gerar um sinalizador de bloco de filtro configurado para controlar se o processo de filtração é ou não realizado no bloco de imagem,
gerar um sinalizador de controle de fronteira configurado para controlar se o processo de filtração, realizado em um pixel alvo, que é adjacente a uma fronteira de fatia separando uma fatia que inclui o dito pixel alvo e uma fatia vizinha e que é fornecida dentro do bloco de imagem da fatia, usa pixels da dita fatia vizinha após os pixels da dita fatia vizinha se tornarem disponíveis ou se o processo de filtração, realizado no pixel alvo, usa pixels da fatia somente, os pixels que devem ser usados são pixels circundantes que circundam o dito pixel alvo,
gerar informação de tamanho de bloco do bloco de imagem,
realizar um processo de filtração no bloco de imagem na posição de acordo com o sinalizador de bloco de filtro, o sinalizador de controle de fronteira e a informação de tamanho de bloco, e
codificar o bloco de imagem, no qual o processo de filtração é realizado e o sinalizador de bloco de filtro, o sinalizador de controle de fronteira e a informação de tamanho de bloco, gerando, assim, dados codificados,
em que, no evento de que o sinalizador de controle de fronteira indica para usar os pixels da fatia somente, o dito processo de filtração quanto ao dito pixel alvo a ser processado é realizado assumindo um valor de preenchimento para cada um dos pixels circundantes que estão na dita fatia vizinha, através do qual o valor de preenchimento assumido se baseia em pixels da fatia somente.
Dispositivo de codificação de imagem, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que o sinalizador de controle de fronteira é incluído em um cabeçalho de fatia da fatia incluindo o bloco de imagem.
Dispositivo de codificação de imagem, de acordo com a reivindicação 1 ou 2, CARACTERIZADO pelo fato de que compreende ainda: um sensor de imageamento CCD.
Dispositivo de codificação de imagem, de acordo com a reivindicação 3, CARACTERIZADO pelo fato de que compreende ainda: uma unidade de interface de câmera implementada pelos circuitos e configurada para fazer interface entre o sensor de imageamento CCD e uma via de comunicação.
Dispositivo de codificação de imagem, de acordo com a reivindicação 3 ou 4, CARACTERIZADO pelo fato de que compreende ainda: uma interface de usuário de chave de operação.
Dispositivo de codificação de imagem, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de que compreende ainda: uma unidade de controle de entrada de operação implementada pelos circuitos e configurada para fazer interface entre a interface de usuário de chave de operação e uma via de comunicação.
Dispositivo de codificação de imagem, de acordo com qualquer uma das reivindicações 1 a 6, CARACTERIZADO pelo fato de que compreende ainda: uma antena.
Dispositivo de codificação de imagem, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de que compreende ainda: uma unidade de modulação implementada pelos circuitos e configurada para receber uma entrada a partir de uma via de comunicação e para submeter a entrada a um processamento de espalhamento de espectro.
Dispositivo de codificação de imagem, de acordo com a reivindicação 8, CARACTERIZADO pelo fato de que compreende ainda: uma unidade de transmissão implementada pelos circuitos e configurada para receber uma saída a partir da unidade de modulação, para submeter a saída a um processamento de conversão analógico/digital e um processamento de conversão de frequência, e para transmitir a saída para a antena.
Dispositivo de codificação de imagem, de acordo com qualquer uma das reivindicações 7 a 9, CARACTERIZADO pelo fato de que compreende ainda: uma unidade de recepção implementada pelos circuitos e configurada para receber uma entrada a partir da antena e para submeter a entrada a um processamento de conversão analógico/digital e um processamento de conversão de frequência.
Dispositivo de codificação de imagem, de acordo com a reivindicação 10, CARACTERIZADO pelo fato de que compreende ainda: uma unidade de demodulação implementada pelos conjunto de circuitos e configurada para receber uma saída a partir da unidade de recepção, para submeter a saída a um processamento de espalhamento de espectro inverso e para transmitir a saída a uma via de comunicação.
Método de codificação de imagem, CARACTERIZADO pelo fato de compreender:
obter uma posição de um bloco de imagem com base em um tamanho de bloco do bloco de imagem,
gerar um sinalizador de bloco de filtro para controlar se o processo de filtração é ou não realizado no bloco de imagem,
gerar um sinalizador de controle de fronteira para controlar se o processo de filtração, realizado em um pixel alvo, que é adjacente a uma fronteira de fatia separando uma fatia que inclui o dito pixel alvo e uma fatia vizinha e que é fornecida dentro do bloco de imagem da fatia, usa pixels da dita fatia vizinha após os pixels da dita fatia vizinha se tornarem disponíveis ou se o processo de filtração, realizado no pixel alvo, usa pixels da fatia somente, os pixels que devem ser usados são pixels circundantes que circundam o dito pixel alvo,
gerar informação de tamanho de bloco do bloco de imagem,
realizar um processo de filtração no bloco de imagem na posição de acordo com o sinalizador de bloco de filtro, o sinalizador de controle de fronteira e a informação de tamanho de bloco, e
codificar o bloco de imagem, no qual o processo de filtração é realizado e o sinalizador de bloco de filtro, o sinalizador de controle de fronteira e a informação de tamanho de bloco, gerando, assim, dados codificados,
em que, no evento de que o sinalizador de controle de fronteira indicar para usar os pixels da fatia somente, o dito processo de filtração quanto ao dito pixel alvo a ser processado é realizado assumindo um valor de preenchimento para cada um dos pixels circundantes que estão na dita fatia vizinha, através do qual o valor de preenchimento assumido se baseia em pixels da fatia somente.