BR112014032225B1 - Dispositivo e método de processamento de imagem - Google Patents

Abstract

DISPOSITIVO E MÉTODO DE PROCESSAMENTO DE IMAGEM. A presente invenção pertence a um dispositivo e método de processamento de imagem por meio do qual é possível impedir uma queda em qualidade de imagem devido à codificação e decodificação. A presente invenção é provida com: uma unidade de quantização que quantiza todos os elementos de um bloco atual usando o coeficiente de ponderação de 1 quando um processo de transformação ortogonal é saltado para o bloco atual, e que quantiza cada elemento do bloco atual usando uma matriz de quantização quando o processo de transformação ortogonal é executado no bloco atual; uma unidade de codificação que codifica o coeficiente do bloco atual que era quantizado por meio da unidade de quantização; e uma unidade de transferência para transferir os dados codificados do bloco atual que era obtido sendo codificado por meio da unidade de codificação. A presente invenção pode ser aplicada, por exemplo, a um dispositivo de processamento de imagem.

Description

CAMPO TÉCNICO

[001] A descrição presente refere-se a um dispositivo e método de processamento de imagem, e mais particularmente relaciona-se a um dispositivo e método de processamento de imagem capazes de suprimir deterioração dc imagem.

TÉCNICA DE FUNDAMENTO

[002] Em recentes anos, dispositivos entraram amplamente em uso em que uma imagem é sujeita à codificação de compressão empregando um sistema de codificação operando informação de imagem como digital, e neste momento comprimindo a imagem através de transformada ortogonal, tal como transformada de cosseno discreta ou similar, e compensação de movimento, tirando proveito de redundância, que é uma característica da informação de imagem, a fim de executar transmissão e armazenamento de informação altamente eficientes. Exemplos deste sistema de codificação incluem um Grupo de Peritos de Quadros em Movimento (MPEG), e assim sucessivamente.

[003] Em particular, MPEG2 (ISO/IEC 13818-2) está definido como um sistema de codificação de imagem de propósito geral, e é um padrão que cobre ambas imagens de varredura entrelaçada e imagens de varredura progressiva como também imagens de resolução padrão e imagens de alta definição. Por exemplo, o MPEG2 é atualmente usado amplamente em uma gama extensa de aplicações para uso profissional e para uso de consumidor. Com uso do método de compressão de MPEG2, no caso de uma imagem de varredura de entrelaçada de resolução padrão tendo, por exemplo, 720 x 480 pixels, uma quantidade de codificação (taxa de bit) de 4 a 8 Mbps é alocada. Além disso, com uso do método de compressão de MPEG-2, no caso de uma imagem de varredura entrelaçada de alta resolução tendo, por exemplo, 1920 x 1088 pixels, uma quantidade de codificação (taxa de bit) de 18 a 22 Mbps é alocada. Devido a isto, é possível realizar uma alta taxa de compressão e qualidade de imagem favorável.

[004] O MPEG2 foi principalmente usado para codificação de alta qualidade de imagem satisfatória para radiodifusão, mas não foi compatível com sistemas de codificação de uma quantidade de codificação (taxa de bit) mais baixa que aquela de MPEG1, em outras palavras, uma taxa de compressão mais alta. Com o uso difundido de terminais móveis, é esperado que a demanda por um tal sistema de codificação aumentará no futuro, e em resposta a isto, padronização de um sistema de codificação de MPEG4 foi executada. Com relação a um sistema de codificação de imagem, a especificação disso foi aprovada como um padrão internacional como ISO/IEC 14496-2 em dezembro de 1998.

[005] Adicionalmente, em recentes anos, padronização de um padrão chamado H.26L (ITU-T (União de Telecomunicação Internacional - Setor de Padronização de Telecomunicação) Q6/16 VCEG (Grupo de Peritos em Codificação de Vídeo)) progrediu, o objetivo de qual era inicialmente codificação de imagem para uso de videoconferência. Com H.26L, foi conhecido que entretanto maior quantidade de computação seja pedida para codificação e decodificação disso quando comparado a um sistema de codificação convencional tal como MPEG2 ou MPEG4, eficiência de codificação mais alta é realizada. Também, atualmente, como parte de atividade de MPEG4, padronização compreendendo uma função que não é suportada por H.26L com este H.26L tomado como base para realizar eficiência de codificação mais alta foi executada como Modelo de Conjunto de Codificação de Vídeo de Compressão Aprimorada.

[006] Como um programa de padronização, um padrão internacional chamado H.264 e MPEG-4 Parte 10 (Codificação de Vídeo Avançada, doravante chamado AVC) foi estabelecido em março de 2003.

[007] Além disso, como uma extensão do H.264/AVC, padronização de FRExt (Extensão de Gama de Fidelidade), compreendendo ferramentas de codificação necessárias para uso empresarial, tal como RGB, 4:2:2, ou 4:4:4, como também DCT 8 x 8 e matrizes de quantização definidas em MPEG-2, foi completado em fevereiro de 2005. Por conseguinte, um sistema de codificação capaz de expressar favoravelmente até mesmo ruído de filme incluído em filmes, usando H.264/AVC, foi estabelecido, que é usado para uma gama extensa de aplicações tais como Discos Blu-ray (marca registrada).

[008] Porém, houve recentemente necessidades crescentes para codificar a uma taxa de compressão mais alta, por exemplo, necessidades para comprimir uma imagem tendo aproximadamente 4000 x 2000 pixels, que é quatro vezes aquela de uma imagem de alta visão, ou para distribuir imagens de alta visão em um ambiente com uma capacidade de transmissão limitada, tal como a Internet. Portanto, em um Grupo de Peritos em Codificação de Vídeo (VCEG) sob ITU-T, que é descrito acima, estudos para melhorar eficiência de codificação foram executados continuamente.

[009] Portanto, para o propósito de melhorar adicionalmente uma eficiência de codificação comparada com o AVC, padronização de um sistema de codificação chamado Codificação de Vídeo de Alta Eficiência (HEVC) está sendo conduzida atualmente através da Equipe de Colaboração Conjunta- Codificação de Vídeo (JCTVC), que é uma equipe de padronização conjunta de ITU-T e ISO/IEC (veja, por exemplo, Documento Não Patente 1).

[0010] Porém, no padrão de HEVC descrito no Documento Não Patente 1, uma técnica chamada "Intra Transform Skipping" é empregada (veja, por exemplo, Documento Não Patente 2).

[0011] Quer dizer, primeiro, uma bandeira se relacionando a Salto de Transformada (referido também como um "salto de transformada ortogonal") é aplicável na sequência, é transmitida para um Conjunto de Parâmetros de Sequência (SPS).

[0012] Quando o valor é 1, é possível aplicar o TransformSkip a blocos de transformada ortogonal de luminância e crominância 4 x 4.

[0013] Uma bandeira relativa a ativo/inativo do TransformSkip é transmitida para cada bloco.

[0014] Com relação ao bloco ao qual o TransformSkip é aplicado, não há nenhuma mudança em codificação de entropia, quantização, processamento de filtro de malha ou similar.

LISTA DE CITAÇÃO DOCUMENTO NÃO PATENTE

[0015] Documento Não Patente 1: Benjamim Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "Working Draft 4 of High-Efficiency Video Coding", JCTVC-F803_d2, Equipe Colaboradora Conjunta sobre Codificação de Vídeo (JCT-VC) de ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11 6a Reunião: Torino, IT, 14-22 de julho de 2011 Documento Não Patente 2: Cuiling Lan, Jizheng Xu, Gary J., Sullivan, Feng Wu, "Intra transform skipping", JCTVC-I0408, Equipe Colaboradora Conjunta sobre Codificação de Vídeo (JCT-VC) de ITU-T SG 16 WP 3 e ISO/IEC JTC 1/SC 29/WG 119a Reunião: Genebra, CH, 27 abril - 7 de maio de 2012.

SUMÁRIO DA INVENÇÃO PROBLEMAS A SEREM RESOLVIDOS PELA INVENÇÃO

[0016] Porém, um coeficiente de um bloco ao qual um TransformSkip é aplicado é um valor relativo a um domínio espacial, um coeficiente de um bloco ao qual o TransformSkip não é aplicado é um valor relativo a um domínio de frequência, e assim ambas as características são diferentes entre si.

[0017] Por esta razão, quando um processo de codificação é executado em ambos o bloco ao qual o TransformSkip é aplicado e o bloco ao qual o TransformSkip não é aplicado sem levar em conta a diferença nestas características, há uma preocupação que eficiência de codificação seja deteriorada.

[0018] A descrição presente é desenvolvida em atenção a uma tal situação e pode suprimir a redução de qualidade de imagem devido a processos de codificação/decodificação.

SOLUÇÕES PARA OS PROBLEMAS

[0019] De acordo com um aspecto da descrição presente, é provido um dispositivo de processamento de imagem compreendendo: uma unidade de decodificação que decodifica dados codificados e gera um coeficiente quantizado; e uma unidade de quantização inversa que usa um coeficiente de ponderação aplicado a um bloco de salto de transformada ortogonal, em que processamento de transformada ortogonal é saltado, para quantizar inversamente o coeficiente quantizado do bloco de salto de transformada ortogonal gerado pela unidade de decodificação.

[0020] A unidade de quantização inversa pode usar o coeficiente de ponderação.

[0021] A unidade de quantização inversa pode quantizar inversamente um coeficiente quantizado de um bloco de salto transformada ortogonal tendo um tamanho de bloco de 4 * 4, usando o coeficiente de ponderação.

[0022] O dispositivo de processamento de imagem pode adicionalmente compreender uma unidade receptora que recebe informação de habilitar salto transmitida como um parâmetro de quadro e indicando se ou não habilitar o salto do processamento de transformada ortogonal.

[0023] A unidade receptora pode adicionalmente receber o coeficiente de ponderação transmitido, e a unidade de quantização inversa pode quantizar inversamente o coeficiente quantizado do bloco de salto de transformada ortogonal, usando o coeficiente de ponderação recebido pela unidade receptora.

[0024] A unidade de quantização inversa pode quantizar inversamente um coeficiente quantizado de um bloco de salto transformada não ortogonal em que o processamento de transformada ortogonal é executado, usando uma matriz de quantização diferente de uma matriz de coeficiente de ponderação obtida executando processamento de matriz no coeficiente de ponderação.

[0025] O dispositivo de processamento de imagem pode adicionalmente compreender uma unidade de transmissão que extrai um sinal de canal desejado recebendo sinais de radiodifusão e obtém dados codificados decodificando o sinal extraído, e a unidade de decodificação pode decodificar os dados codificados obtidos dos sinais de radiodifusão pela unidade de transmissão.

[0026] O dispositivo de processamento de imagem pode adicionalmente compreender um desmultiplexador que desmultiplexa e separa os dados codificados transmitidos em dados codificados de vídeo e dados codificados de áudio, e a unidade de decodificação pode decodificar os dados codificados de vídeo separados dos dados codificados de áudio pelo desmultiplexador.

[0027] O dispositivo de processamento de imagem pode adicionalmente compreender uma unidade de reprodução que reproduz dados de vídeo obtidos executando processamento de decodificação pela unidade de decodificação e processamento de quantização inversa pela unidade de quantização inversa nos dados codificados.

[0028] O dispositivo de processamento de imagem pode adicionalmente compreender uma unidade de codec de áudio que executa codificação e decodificação em dados de áudio.

[0029] O dispositivo de processamento de imagem pode adicionalmente compreender uma unidade de reprodução que extrai dados codificados gravados em um meio de armazenamento, e a unidade de decodificação pode decodificar os dados codificados extraídos do meio de armazenamento pela unidade de reprodução.

[0030] De acordo com outro aspecto da descrição presente, é provido um método de processamento de imagem compreendendo: decodificar dados codificados e gerar um coeficiente quantizado; e quantizar inversamente o coeficiente quantizado gerado do bloco de salto de transformada ortogonal usando um coeficiente de ponderação aplicado a um bloco de salto de transformada ortogonal no qual processamento de transformada ortogonal é saltado.

[0031] No outro aspecto da descrição presente, dados codificados são decodificados, um coeficiente quantizado é gerado, e um coeficiente de ponderação aplicado a um bloco de salto de transformada ortogonal, em que processamento de transformada ortogonal é saltado, são usados para quantizar inversamente o coeficiente quantizado gerado do bloco de salto de transformada ortogonal.

[0032] Adicionalmente, o dispositivo de processamento de imagem descrito acima pode ser um dispositivo independente ou pode ser um bloco interno constituindo um dispositivo de decodificação de imagem.

EFEITOS DA INVENÇÃO

[0033] De acordo com a descrição presente, é possível decodificar uma imagem. Em particular, é possível suprimir a redução de qualidade de imagem devido à decodificação.

BREVE DESCRIÇÃO DOS DESENHOS

[0034] A Figura 1 é um diagrama de bloco ilustrando um exemplo de uma configuração principal de um dispositivo de codificação de imagem.

[0035] A Figura 2 é um diagrama para descrever um exemplo de uma configuração de uma unidade de codificação.

[0036] A Figura 3 é um diagrama ilustrando um exemplo de uma transmissão de matriz de quantização.

[0037] A Figura 4 é um diagrama ilustrando um exemplo de um conjunto de parâmetros de sequência.

[0038] A Figura 5 é um diagrama ilustrando um exemplo do conjunto de parâmetros de sequência que segue a Figura 4.

[0039] A Figura 6 é um diagrama ilustrando um exemplo de um conjunto de parâmetros de quadro.

[0040] A Figura 7 é um diagrama ilustrando um exemplo do conjunto de parâmetros de quadro que segue a Figura 6.

[0041] A Figura 8 é um diagrama para descrever um exemplo de uma condição de quantização.

[0042] A Figura 9 é um diagrama ilustrando um exemplo de um conjunto de parâmetros de sequência.

[0043] A Figura 10 é um diagrama ilustrando um exemplo do conjunto de parâmetros de sequência que segue a Figura 9.

[0044] A Figura 11 é um diagrama ilustrando um exemplo de um conjunto de parâmetros de quadro.

[0045] A Figura 12 é um diagrama ilustrando um exemplo do conjunto de parâmetros de quadro que segue a Figura 11.

[0046] A Figura 13 é um diagrama de bloco ilustrando um exemplo de uma configuração principal de um salto de transformada ortogonal ou similar.

[0047] A Figura 14 é um fluxograma para descrever um exemplo de um fluxo de um processo de codificação.

[0048] A Figura 15 é um fluxograma para descrever um exemplo de um fluxo de processamento de controle de salto de transformada ortogonal.

[0049] A Figura 16 é um fluxograma para descrever um exemplo de um fluxo de processamento de transformada ortogonal.

[0050] A Figura 17 é um fluxograma para descrever um exemplo de um fluxo de processamento de quantização.

[0051] A Figura 18 é um fluxograma para descrever um exemplo de um fluxo de processamento de filtro de desblocagem.

[0052] A Figura 19 é um diagrama de bloco ilustrando um exemplo de uma configuração principal de um dispositivo de decodificação de imagem.

[0053] A Figura 20 é um diagrama de bloco ilustrando um exemplo de uma configuração principal de uma unidade de salto de transformada ortogonal inversa ou similar.

[0054] A Figura 21 é um fluxograma para descrever um exemplo de um fluxo de um processo de decodificação.

[0055] A Figura 22 é um fluxograma para descrever um exemplo de um fluxo de processamento de quantização inversa.

[0056] A Figura 23 é um fluxograma para descrever um exemplo de um fluxo de processamento de transformada ortogonal inversa.

[0057] A Figura 24 é um diagrama ilustrando outro exemplo de um conjunto de parâmetros de sequência.

[0058] A Figura 25 é um diagrama ilustrando um exemplo de um conjunto de parâmetros de quadro.

[0059] A Figura 26 é um fluxograma para descrever um exemplo de um fluxo de processamento de geração de informação de habilitar salto.

[0060] A Figura 27 é um fluxograma para descrever um exemplo de um fluxo de processamento de recepção de informação de habilitar salto.

[0061] A Figura 28 é um diagrama ilustrando um exemplo de um sistema de codificação de imagem de múltiplo ponto de vista.

[0062] A Figura 29 é um diagrama ilustrando um exemplo de uma configuração principal de um dispositivo de codificação de imagem de múltiplo ponto de vista ao qual a tecnologia presente é aplicada.

[0063] A Figura 30 é um diagrama ilustrando um exemplo de uma configuração principal de um dispositivo de decodificação de imagem de múltiplo ponto de vista ao qual a tecnologia presente é aplicada.

[0064] A Figura 31 é um diagrama ilustrando um exemplo de um sistema de codificação de imagem hierárquica.

[0065] A Figura 32 é um diagrama ilustrando um exemplo de uma configuração principal de um dispositivo de codificação de imagem hierárquica ao qual a tecnologia presente é aplicada.

[0066] A Figura 33 um diagrama ilustrando um exemplo de uma configuração principal de um dispositivo de decodificação de imagem hierárquica ao qual a tecnologia presente é aplicada.

[0067] A Figura 34 é um diagrama de bloco ilustrando um exemplo de uma configuração principal de um computador.

[0068] A Figura 35 é um diagrama de bloco ilustrando um exemplo uma configuração esquemática de um aparelho de televisão.

[0069] A Figura 36 é um diagrama de bloco ilustrando um exemplo de uma configuração esquemática de um telefone móvel.

[0070] A Figura 37 é um diagrama de bloco ilustrando um exemplo de uma configuração esquemática de um dispositivo de gravação e reprodução.

[0071] A Figura 38 é um diagrama de bloco ilustrando um exemplo de uma configuração esquemática de um dispositivo de geração de imagem.

[0072] A Figura 39 é um diagrama de bloco ilustrando um exemplo de utilização de codificação graduável.

[0073] A Figura 40 é um diagrama de bloco ilustrando outro exemplo da utilização de codificação graduável.

[0074] A Figura 41 é um diagrama de bloco ilustrando adicionalmente outro exemplo da utilização de codificação graduável.

[0075] A Figura 42 é um diagrama de bloco ilustrando um exemplo de uma configuração esquemática de um aparelho de vídeo.

[0076] A Figura 43 é um diagrama de bloco ilustrando um exemplo de uma configuração esquemática de um processador de vídeo. A Figura 44 é um diagrama de bloco ilustrando outro exemplo de uma configuração esquemática do processador de vídeo.

MODO PARA EXECUTAR A INVENÇÃO

[0077] Doravante, modos para executar a descrição presente (doravante, chamada concretizações) serão descritos. Adicionalmente, a descrição é dada na ordem seguinte. 1. Primeira concretização (Dispositivo de codificação de imagem) 2. Segunda concretização (Dispositivo de decodificação de imagem) 3. Terceira concretização (Controle de transmissão de informação de habilitar salto) 4. Quarta concretização (Dispositivo de codificação de imagem de múltiplo ponto de vista/decodificação de imagem de múltiplo ponto de vista) 5. Quinta concretização (Dispositivo de codificação de imagem hierárquica/decodifícação de imagem hierárquica) 6. Sexta concretização (Computador) 7. Sétima concretização (Exemplo de aplicação) 8. Oitava concretização (Exemplo de aplicação de codificação graduável) 9. Nona concretização (Aparelho/Unidade/Módulo/Processador) 1. Primeira concretização

Dispositivo de codificação de imagem

[0078] A Figura 1 é um diagrama de bloco ilustrando um exemplo de uma configuração principal de um dispositivo de codificação de imagem.

[0079] Um dispositivo de codificação de imagem 100 ilustrado na Figura 1 codifica dados de imagem usando processamento de predição de, por exemplo, codificação de vídeo de alta eficiência (HEVC) ou um sistema que é complacente com isso.

[0080] Como ilustrado na Figura 1, o dispositivo de codificação de imagem 100 compreende um conversor A/D 101, uma memória temporária de rearranjo de tela 102, uma unidade de computação 103, uma unidade de transformada ortogonal 104, uma unidade de quantização 105, uma unidade de codificação sem perda 106, uma memória temporária de acumulação 107, uma unidade de quantização inversa 108 e uma unidade de transformada ortogonal inversa 109. Além disso, o dispositivo de codificação de imagem 100 compreende uma unidade de computação 110, um filtro de desblocagem 111, uma memória de quadro 112, uma unidade de seleção 113, uma unidade de intrapredição 114, uma unidade de predição/compensação de movimento 115, uma unidade de seleção de imagem predita 116 e uma unidade de controle de taxa 117.

[0081] O dispositivo de codificação de imagem 100 adicionalmente compreende uma unidade de salto de transformada ortogonal 121.

[0082] O conversor A/D 101 executa conversão A/D em dados de imagem de entrada, provê os dados de imagem (dados digitais) obtidos pela conversão à memória temporária de rearranjo de tela 102, e armazena os dados de imagem nela. A memória temporária de rearranjo de tela 102 rearranja as imagens de quadro armazenadas em ordem de exibição em ordem de quadros para codificação de acordo com uma estrutura de grupo de quadro (GOP) e provê a imagem, na qual a ordem dos quadros foi rearranjada, para a unidade de computação 103. Além disso, a memória temporária de rearranjo de tela 102 provê a imagem, na qual a ordem dos quadros foi rearranjada, para a unidade de intrapredição 114 e a unidade de predição/compensação de movimento 115.

[0083] A unidade de computação 103 subtrai uma imagem predita provida da unidade de intrapredição 114 ou da unidade de predição/compensação de movimento 115 pela unidade de seleção de imagem predita 116 da imagem lida da memória temporária de rearranjo de tela 102 e produz informação de diferença para a unidade de transformada ortogonal 104. Por exemplo, em um caso da imagem à qual intracodifícação é executada, a unidade de computação 103 subtrai, da imagem lida da memória temporária de rearranjo de tela 102, a imagem predita provida da unidade de intrapredição 114. Adicionalmente, em um caso da imagem à qual intercodificação é executada, por exemplo, a unidade de computação 103 subtrai, da imagem lida da memória temporária de rearranjo de tela 102, a imagem predita provida da unidade de predição/compensação de movimento 115.

[0084] A unidade de transformada ortogonal 104 executa uma transformada ortogonal tal como uma transformada de cosseno discreta e uma transformada de Karhunen-Loeve na informação de diferença provida da unidade de computação 103 e provê um coeficiente de transformada disso à unidade de quantização 105.

[0085] A unidade de quantização 105 quantiza o coeficiente de transformada provido da unidade de transformada ortogonal 104. A unidade de quantização 105 fixa um parâmetro de quantização baseado em informação sobre um valor visado de uma quantidade de código provida da unidade de controle de taxa 117 e executa quantização disso. A unidade de quantização 105 provê o coeficiente de transformada quantizado à unidade de codificação sem perda 106.

[0086] A unidade de codificação sem perda 106 codifica o coeficiente de transformada, que é quantizado pela unidade de quantização 105, usando qualquer sistema de codificação. Desde que dados de coeficiente são quantizados sob controle da unidade de controle de taxa 117, a quantidade de código disso é o valor visado fixado pela unidade de controle de taxa 117 (ou próximo ao valor visado).

[0087] Além disso, a unidade de codificação sem perda 106 adquire informação indicando um modo de intrapredição e similar da unidade de intrapredição 114 e adquire informação indicando um modo de interpredição ou informação de vetor de movimento de diferença da unidade de predição/compensação de movimento 115.

[0088] A unidade de codificação sem perda 106 codifica estes vários pedaços de informação de acordo com um sistema de codificação, para conter (multiplexar) os vários pedaços de informação como parte de informação de cabeçalho de dados codificados (também referido como um fluxo codificado). A unidade de codificação sem perda 106 provê os dados codificados obtidos pela codificação à memória temporária de acumulação 107 e acumula os dados codificados nela.

[0089] Por exemplo, o sistema de codificação da unidade de codificação sem perda 106 compreende codificação de comprimento variável ou codificação de computação. Por exemplo, a codificação de comprimento variável compreende Codificação de Comprimento Variável Adaptável a Contexto (CAVLC) e similar definida pelo sistema de H.264/AVC. Por exemplo, a codificação de computação compreende Codificação Aritmética Binária Adaptável a Contexto (CABAC) e similar.

[0090] A memória temporária de acumulação 107 contém temporariamente os dados codificados providos da unidade de codificação sem perda 106. A memória temporária de acumulação 107 produz os dados codificados contidos para, por exemplo, um dispositivo de gravação (meio de gravação) ou um caminho de transmissão não ilustrado na parte posterior na temporização predeterminada. Quer dizer, a memória temporária de acumulação 107 também é uma unidade de transmissão para transmitir os dados codificados.

[0091] O coeficiente de transformada quantizado pela unidade de quantização 105 também é provido à unidade de quantização inversa 108. A unidade de quantização inversa 108 quantiza inversamente o coeficiente de transformada quantizado por um método correspondendo à quantização pela unidade de quantização 105. A unidade de quantização inversa 108 provê o coeficiente de transformada obtido à unidade de transformada ortogonal inversa 109.

[0092] A unidade de transformada inversa ortogonal 109 executa transformada ortogonal inversa no coeficiente de transformada provido da unidade de quantização inversa 108 por um método correspondendo a processamento de transformada ortogonal pela unidade de transformada ortogonal 104. Uma saída obtida pelo processamento de transformada ortogonal inversa (informação de diferença restaurada) é provida à unidade de computação 110.

[0093] A unidade de computação 110 adiciona uma imagem predita provida da unidade de intrapredição 114 ou da unidade de predição/compensação de movimento 115 pela unidade de seleção de imagem predita 116 à informação de diferença restaurada que é um resultado do processamento de transformada ortogonal inversa provido da unidade de transformada ortogonal inversa 109, por esse meio obtendo uma imagem decodificada localmente (imagem decodificada). A imagem decodificada é provida ao filtro de desblocagem 111 ou à memória de quadro 112.

[0094] O filtro de desblocagem 111 executa apropriadamente processamento de filtro de desblocagem na imagem decodificada provida da unidade de computação 110. Por exemplo, o filtro de desblocagem 111 executa o processamento de filtro de desblocagem na imagem decodificada para remover distorção de bloco da imagem decodificada.

[0095] O filtro de desblocagem 111 provê um resultado do processamento de filtro (imagem decodificada depois de processamento de filtro) para a memória de quadro 112. Adicionalmente, como descrito acima, a imagem decodificada saída da unidade de computação 110 pode ser provida à memória de quadro 112 sem atravessar o filtro de desblocagem 111. Quer dizer, é possível omitir o processamento de filtro pelo filtro de desblocagem 111.

[0096] A memória de quadro 112 armazena a imagem decodificada a ser provida e provê a imagem decodificada armazenada como uma imagem de referência para a unidade de seleção 113 na temporização predeterminada.

[0097] A unidade de seleção 113 seleciona um destino de provisão da imagem de referência provida da memória de quadro 112. Por exemplo, no caso da interpredição, a unidade de seleção 113 provê a imagem de referência provida da memória de quadro 112 para a unidade de predição/compensação de movimento 115.

[0098] A unidade de intrapredição 114 executa uma intrapredição (predição em tela) para gerar a imagem predita usando um valor de pixel dentro de um quadro atual que é a imagem de referência provida da memória de quadro 112 pela unidade de seleção 113. A unidade de intrapredição 114 executa a intrapredição em uma pluralidade de modos de intrapredição preparados com antecedência.

[0099] A unidade de intrapredição 114 gera a imagem predita em todos os modos de intrapredição a serem candidatos e avalia um valor de função de custo de cada imagem predita usando a imagem de entrada provida da memória temporária de rearranjo de tela 102 para selecionar um modo ótimo. Ao selecionar o modo ótimo de intrapredição, a unidade de intrapredição 114 provê a imagem predita gerada para a unidade de seleção de imagem predita 116 no modo ótimo.

[00100] Além disso, como descrito acima, a unidade de intrapredição 114 provê apropriadamente informação de modo de intrapredição indicando um modo de intrapredição adotado à unidade de codificação sem perda 106 para codificar a informação de modo de intrapredição provida.

[00101] A unidade de predição/compensação de movimento 115 executa predição de movimento (interpredição) usando a imagem de entrada provida da memória temporária de rearranjo de tela que 102 e a imagem de referência provida da memória de quadro 112 pela unidade de seleção 113. A unidade de predição/compensação de movimento 115 executa processamento de compensação de movimento de acordo com um vetor de movimento detectado e gera a imagem predita (informação de imagem interpredita). A unidade de predição/compensação de movimento 115 executa uma tal interpredição na pluralidade de modos de interpredição preparados com antecedência.

[00102] A unidade de predição/compensação de movimento 115 gera a imagem predita em todos os modos de interpredição a serem candidatos. A unidade de predição/compensação de movimento 115 avalia o valor de função de custo de cada imagem predita usando a imagem de entrada provida da memória temporária de rearranjo de tela 102 e a informação do vetor de movimento de diferença gerada para selecionar um modo ótimo. Ao selecionar o modo ótimo de interpredição, a unidade de predição/compensação de movimento 115 provê a imagem predita gerada no modo ótimo para a unidade de seleção de imagem predita 116.

[00103] A unidade de predição/compensação de movimento 115 provê a informação indicando um modo de interpredição adotado, informação requerida para executar o processamento no modo de interpredição na hora de decodificar os dados codificados e similar à unidade de codificação sem perda 106 e codifica a informação provida. Por exemplo, a informação exigida pode compreender informação do vetor de movimento de diferença gerado, uma bandeira indicando o índice de um vetor de movimento de predição como informação de vetor de movimento de predição, e similar.

[00104] A unidade de seleção de imagem predita 116 seleciona uma fonte de provisão da imagem predita a ser provida à unidade de computação 103 ou à unidade de computação 110. Por exemplo, no caso de intracodificação, a unidade de seleção de imagem predita 116 seleciona a unidade de intrapredição 114 como a fonte de provisão da imagem predita e provê a imagem predita a ser provida da unidade de intrapredição 114 para a unidade de computação 103 ou a unidade de computação 110. Além disso, por exemplo, no caso de intercodificação, a unidade de seleção de imagem predita 116 seleciona a unidade de predição/compensação de movimento 115 como a fonte de provisão da imagem predita e provê a imagem predita a ser provida da unidade de predição/compensação de movimento 115 para a unidade de computação 103 ou a unidade de computação 110.

[00105] Baseado em uma quantidade de código dos dados codificados acumulados na memória temporária de acumulação 107, a unidade de controle de taxa 117 controla uma taxa de operação de quantização da unidade de quantização 105 tal que transbordamento ou subutilização não ocorra.

[00106] A unidade de salto de transformada ortogonal 121 controla a execução do processamento de transformada ortogonal na unidade de transformada ortogonal 104. Além disso, de acordo com o controle, a unidade de salto de transformada ortogonal 121 controla processamento de quantização pela unidade de quantização 105, processamento de quantização inversa pela unidade de quantização inversa 108, processamento de transformada ortogonal inversa pela unidade de transformada ortogonal inversa 109, e processamento de filtro de desblocagem pelo filtro de desblocagem 111. Adicionalmente, a unidade de transformada ortogonal de salto 121 provê informação necessária sobre um salto do processamento de transformada ortogonal e informação sobre a quantização ou o filtro de desblocagem à unidade de codificação sem perda 106 e transmite a informação provida para um lado de decodificação da memória temporária de acumulação 107.

Unidade de codificação

[00107] Em um sistema de AVC, uma estrutura hierárquica compreendendo um macrobloco e um submacrobloco é especificada. Porém, um macrobloco de 16 pixels x 16 pixels não é muito satisfatório para um quadro de imagem grande, tal como uma ultra alta definição (UHD; 4000 pixels x 2000 pixels), que será o assunto de um sistema de codificação de próxima geração.

[00108] Assim, por exemplo, uma unidade de codificação (CU) é especificada em um sistema de HEVC como ilustrado na Figura 2.

[00109] A CU também é chamado um bloco de árvore de codificação (CTB), e é uma região parcial de uma imagem em uma unidade de quadro, que serve o papel semelhante como o macrobloco no sistema de AVC. O posterior tem um tamanho fixo de 16 x 16 pixels, enquanto o tamanho do anterior não é fixado e é assim especificado em informação de compressão de imagem em cada sequência.

[00110] Por exemplo, o tamanho máximo (Unidade de Codificação Maior (LCU)) e o tamanho mínimo (Unidade de Codificação Menor (SCU)) da CU estão especificados em um conjunto de parâmetros de sequência (Conjunto de Parâmetros de Sequência (SPS)) incluído nos dados codificados a serem produzidos.

[00111] Cada LCU pode ser dividida adicionalmente em uma CU menor fixando split_flag = 1 dentro da gama não caindo abaixo do tamanho da SCU. Em um exemplo ilustrado na Figura 2, a LCU é 128 x 128 pixels em tamanho, enquanto a profundidade hierárquica máxima se toma 5. A CU tendo o tamanho de 2N x 2N pixels é dividida em CUs tendo o tamanho de N x N pixels, que é um nível mais baixo na hierarquia quando o valor de split_flag é "1".

[00112] Adicionalmente, a CU é dividida em uma unidade de predição (PU), que é uma região (uma região parcial de uma imagem em uma unidade de quadro) a ser uma unidade de processamento para a intrapredição ou a interpredição e também é em uma unidade de transformada (TU), que é uma região (uma região parcial de uma imagem em uma unidade de quadro) a ser uma unidade de processamento para a transformada ortogonal. Atualmente, o sistema de HEVC pode executar transformadas ortogonais de 16 x 16 e 32 x 32, além de transformadas ortogonais de 4 x 4 e 8 x 8.

[00113] Como no sistema de HEVC anterior, no caso de um sistema de codificação no qual a CU é definida e vários tipos de processamento são executados com a CU como uma unidade, é considerado que o macrobloco no sistema de AVC corresponde à LCU e um bloco (sub-bloco) corresponde à CU. Além disso, é considerado que um bloco de compensação de movimento no sistema de AVC corresponde à PU. Porém, desde que a CU tem uma estrutura hierárquica, o tamanho da LCU no nível superior disso é geralmente fixado maior que o macrobloco no sistema de AVC, por exemplo, 128 * 128 pixels.

[00114] Portanto, doravante, é assumido que a LCU também compreende o macrobloco no sistema de AVC e a CU também compreende o bloco (sub-bloco) no sistema de AVC. Quer dizer, o "bloco" usado na descrição seguinte indica qualquer região parcial dentro do quadro, e não está limitado no tamanho, forma, características do bloco e similar. Em outras palavras, qualquer região (unidade de processamento), por exemplo, TU, PU, SCU, CU, LCU, sub-bloco, macrobloco, ou pedaço está incluída no "bloco". Naturalmente, regiões parciais (unidades de processamento) diferentes destas regiões também estão incluídas nisso. A descrição é dada apropriadamente no caso de limitar o tamanho ou a unidade de processamento como necessário.

[00115] A seguir, elementos técnicos básicos relacionados à tecnologia presente serão descritos.

Matriz de quantização

[00116] Como no AVC, a quantização de um coeficiente de transformada ortogonal é executada para toda unidade de processamento de transformada ortogonal no HEVC. Uma matriz de quantização é usada para a quantização, mas a matriz de quantização é preparada para todo tamanho da unidade de processamento de transformada ortogonal. Porém, por exemplo, quando uma matriz de quantização grande tal como matriz 16 x 16 ou matriz 32 x 32 é transmitida, há uma preocupação que eficiência de codificação seja reduzida.

[00117] Aqui, como ilustrado na Figura 3, a matriz de quantização grande (ou matriz de quantização maior que um tamanho predeterminado) por exemplo, matriz 16 x 16 ou matriz 32 x 32 é transmitida em um tamanho de 8 x 8 e é subamostrada por uma contenção de ordem zero a ser aplicada a cada tamanho de transformada ortogonal. Adicionalmente, um componente de CC é transmitido separadamente para uma matriz à qual sobreamostra é aplicada.

[00118] Em HEVC, como ilustrado nas Figuras 4 a 7, informação sobre a matriz de quantização (Lista de Graduação) é transmitida para um conjunto de parâmetros de sequência (SPS) ou um conjunto de parâmetros de quadro (PPS). Figuras 4 e 5 são diagramas ilustrando exemplos do conjunto de parâmetros de sequência. Figuras 6 e 7 são diagramas ilustrando exemplos do conjunto de parâmetros de quadro.

Filtro de desblocagem

[00119] Como no AVC, o filtro de desblocagem está definido em uma malha de compensação de movimento no HEVC. O filtro de desblocagem executa processamento de filtro para reduzir distorção de bloco ocorrendo em limites de bloco.

[00120] Quer dizer, no processamento de filtro de desblocagem, os limites de bloco são detectados, um tipo ou uma intensidade do filtro, um deslocamento e similar são decididos baseado em parâmetros de quantização ou similar nos limites de bloco, por esse meio executando o processamento de filtro.

Seleção de modo

[00121] Porém, é importante selecionar um modo de predição apropriado a fim de alcançar eficiência de codificação mais alta nos sistemas de codificação de AVC e HEVC.

[00122] Como um exemplo do método de seleção, um método que é implementado no software de referência chamado um modelo conjunto (JM)) de H.264/MPEG-4/AVC (que está disponível a http://iphome.hhi.de/suehring/tml/index.htm) pode ser usado.

[00123] O software de JM habilita um método de decisão de modo ser selecionado de dois modos de Modo de Complexidade Alta e Modo de Complexidade Baixa que serão descritos abaixo. Em qualquer modo, um valor de função de custo para todo modo de predição 'Modo' é calculado, e um modo de predição que minimiza o valor de função de custo é selecionado como um modo ótimo para o bloco ou o macrobloco.

[00124] No Modo de Complexidade Alta, a função de custo é expressa pela seguinte expressão (1).

Cost(Mode e O) = D + V R (1)

[00125] Aqui, "Q" representa um conjunto universal de modos de candidato para codificar o bloco ou o macrobloco e "D" representa diferença de energia entre uma imagem decodificada e uma imagem de entrada quando a codificação é executada no modo de predição. "À," representa um multiplicador de Lagrange dado como uma função de um parâmetro de quantização. "R" representa uma quantidade de código total compreendendo o coeficiente de transformação ortogonal quando a codificação é executada no modo.

[00126] Isso é, a fim de executar codificação no Modo de Complexidade Alta, uma quantidade de computação maior é requerida porque um processamento de codificação temporária precisa ser executado uma vez em todos os modos de candidato para calcular os parâmetros D e R.

[00127] No Modo de Complexidade Baixa, a função de custo é expressa pela seguinte expressão (2).

Cost(Mode e Q) = D + QP2Quant(QP) * HeaderBit (2)

[00128] Aqui, "D" representa diferença de energia entre uma imagem predita e uma imagem de entrada e é diferente do Modo de Complexidade Alta. "QP2Quant (QP)" é dado como uma função de um parâmetro de quantização QP, e "HeaderBit" é uma quantidade de código relacionada à informação que pertence a um Cabeçalho tal como um vetor de movimento ou um modo, não compreendendo o coeficiente de transformada ortogonal.

[00129] Quer dizer, no Modo de Complexidade Baixa, embora seja necessário executar um processo de predição para os modos de candidato respectivos, desde que não é necessário obter uma imagem decodificada, não é necessário executar o processo de codificação. Assim, o modo de complexidade baixa pode ser realizado com quantidade de computação mais baixa que o Modo de Complexidade Alta.

Salto de transformada ortogonal

[00130] Incidentemente, uma técnica de "Salto Intra-Transformada" proposta no Documento Não Patente 2 é empregada em um padrão de HEVC. Um salto de transformada ortogonal (Salto de Transformada) é uma técnica de omitir (saltar) processamento de transformada ortogonal.

[00131] Geralmente, o processamento de transformada ortogonal é executado em dados de imagem (dados de imagem diferencial) para todo bloco para converter informação de domínio espacial no bloco em informação de domínio de frequência, por esse meio permitindo a coeficientes no bloco serem concentrados em uma frequência mais baixa, e assim é possível aumentar uma polarização. Assim, a eficiência de codificação é melhorada.

[00132] Porém, também pode ser considerado que há um caso onde uma tal polarização é menos provável ocorrer de acordo com desígnios no bloco. Por exemplo, uma gradação ou uma borda forte ocorre facilmente em imagens artificiais tais como imagens de CG ou legendas, comparadas a imagens naturais. Por esta razão, um componente de alta frequência ocorre facilmente, e a polarização é improvável ocorrer até mesmo quando o processamento de transformada ortogonal é executado. Portanto, permitindo o salto do processamento de transformada ortogonal em um tal bloco, é possível adicionalmente melhorar a eficiência de codificação.

[00133] Adicionalmente, o salto do processamento de transformada ortogonal é chamado um salto de transformada ortogonal (Salto de Transformada) na descrição seguinte, e um bloco ao qual o salto de transformada ortogonal (Salto de Transformada) é aplicado também é chamado um bloco de salto de transformada ortogonal. Além disso, um bloco ao qual o salto de transformada ortogonal não é aplicado (transformada ortogonal é executada) também é chamado um bloco de salto sem transformada ortogonal.

[00134] Nesta técnica, primeiro, uma bandeira indicando se o salto de transformada ortogonal (Salto de Transformada) pode ser aplicado na sequência é transmitida ao conjunto de parâmetros de sequência (SPS).

[00135] Uma bandeira (transform skip enabled_flag), que é informação de habilitar salto indicando se ou não habilitar/desabilitar o salto de transformada ortogonal (TransformSkip), é transmitida ao conjunto de parâmetros de sequência (SPS), como ilustrado na Figura 5.

[00136] Esta informação de habilitar salto (transform_skip_enabled_flag) é fixada, por exemplo, por um usuário ou similar. Quando este valor é 1, o salto de transformada ortogonal (TransformSkip) pode ser aplicado a blocos de transformada de luminância ortogonal 4 x 4 ou blocos de transformada de crominância ortogonal 4x4.

[00137] Então, ativação/inativação do salto de transformada ortogonal (TransformSkip) é determinada para todo bloco, e uma bandeira sobre a ativação/inativação disso é transmitida.

Eficiência de codificação

[00138] Indiferente de tal controle de salto da transformada ortogonal, um processo de codificação de entropia, processamento de quantização, processamento de filtro de malha e similar são executados uniformemente. Quer dizer, como no bloco de salto sem transformada ortogonal, o processo de codificação de entropia, o processamento de quantização, o processamento de filtro de malha e similar também são executados no bloco de salto de transformada ortogonal.

[00139] Porém, a matriz de quantização é um coeficiente de ponderação relativo ao domínio de frequência. Quer dizer, a matriz de quantização é projetada para ser aplicada a um bloco de coeficiente de transformada ortogonal. Por conseguinte, quando uma tal matriz de quantização é aplicada a um bloco tendo um valor de domínio espacial (dados de imagem diferencial), a eficiência de codificação pode ser reduzida. Quer dizer, qualidade de imagem pode ser deteriorada.

[00140] Além disso, como descrito acima, o salto de transformada ortogonal é aplicado a uma imagem na qual o componente de alta frequência tende a aparecer. Portanto, há uma possibilidade alta que o conteúdo de uma imagem no bloco de salto de transformada ortogonal seja largamente diferente daqueles no bloco de salto sem transformada ortogonal. Quer dizer, a distorção de bloco ocorre facilmente no limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal.

[00141] Portanto, como em outros limites, quando o processamento de filtro de desblocagem é executado no limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal, a eficiência de codificação pode ser reduzida. Quer dizer, a qualidade de imagem pode ser deteriorada.

Controle de acordo com salto de transformada ortogonal

[00142] Assim, de acordo com se um bloco atual é o bloco de salto de transformada ortogonal (TransformSkip), o processo de codificação é controlado. Mais especificamente, o processamento de quantização (processamento de quantização inversa) do processo de codificação e o processamento de desblocagem são controlados.

Controle de processamento de quantização

[00143] Por exemplo, no caso do processamento de quantização, o processamento de quantização é executado no bloco de salto sem transformada ortogonal no qual a transformada ortogonal é executada usando uma matriz de quantização, e o processamento de quantização é executado no bloco de salto de transformada ortogonal no qual a transformada ortogonal é saltada usando um coeficiente de ponderação em vez da matriz de quantização. Quer dizer, todos os coeficientes do bloco de salto de transformada ortogonal servindo como o bloco atual são quantizados usando o coeficiente de ponderação.

[00144] Uma condição disso é ilustrada na Figura 8. Por exemplo, como ilustrado na Figura 8, a quantização é executada no bloco de salto sem transformada ortogonal (matriz de coeficiente de transformada ortogonal) usando matriz de quantização como na técnica anterior.

[00145] Por outro lado, o bloco de salto de transformada ortogonal 4 x 4 (matriz de valor diferencial de transformada pré-ortogonal) é quantizado usando uma matriz de coeficiente de ponderação que é obtida pela quantização do um coeficiente de ponderação. Naturalmente, um método de computação real é arbitrário, mas basicamente executa uma computação equivalente àquela usando a matriz de coeficiente de ponderação.

[00146] O coeficiente de ponderação é arbitrário. Por exemplo, o coeficiente de ponderação pode compreender um valor escalar. Por exemplo, o componente de CC da matriz de quantização pode ser o coeficiente de ponderação. A matriz de quantização é um coeficiente de ponderação relativo ao domínio de frequência, mas o componente de CC é um valor relativo ao domínio de frequência e também é um valor relativo ao domínio espacial. Se só o componente de CC da matriz de quantização tendo estas características estiver presente, é improvável conduzir à redução da eficiência de codificação até mesmo quando a quantização é aplicada a cada coeficiente do bloco de salto de transformada ortogonal que é o valor relativo ao domínio espacial.

[00147] Neste caso, como ilustrado na Figura 8, componentes de CC são extraídos da matriz de quantização, e a matriz de coeficiente de ponderação é gerada rearranjando os componentes de CC extraídos em 4 x 4, por esse meio quantizando o bloco de salto de transformada ortogonal 4x4 (matriz de valor diferencial de transformada pré-ortogonal) usando a matriz de coeficiente de ponderação.

[00148] Adicionalmente, por exemplo, à parte da matriz de quantização, o coeficiente de ponderação pode ser gerado arbitrariamente. Um método de gerar o coeficiente de ponderação é arbitrário. Até mesmo neste caso, como ilustrado na Figura 8, a matriz de coeficiente de ponderação é gerada rearranjando o coeficiente de ponderação em 4x4, por esse meio quantizando o bloco de salto transformada ortogonal 4x4 (matriz de valor diferencial de transformada pré-ortogonal) usando a matriz de coeficiente de ponderação. Desta maneira, por exemplo, só uma porção à qual o bloco de salto de transformada ortogonal é aplicado (por exemplo, imagem de CG) pode ser controlada facilmente para melhorar a qualidade de imagem ou similar usando o coeficiente de ponderação independente da matriz de quantização, quando comparado a outra porção.

[00149] Adicionalmente, neste caso, o coeficiente de ponderação pode ser calculado da mesma maneira tal que um valor em um lado de codificação seja o mesmo como aquele nem um lado de decodificação e pode ser transmitido ao lado de decodificação do lado de codificação.

[00150] No caso de transmitir o coeficiente de ponderação, quando um valor da informação de habilitar salto (transform_skip_enabled_flag) é um valor (por exemplo, 1) que habilita o salto de transformada ortogonal, um valor de quantização escalar (coeficiente de ponderação) aplicado ao bloco de salto de transformada ortogonal é transferido. Por esta razão, o conjunto de parâmetros de sequência e o conjunto de parâmetros de quadro descritos com referência às Figuras 4 a 7 são mudados como segue.

[00151] Como uma primeira mudança, a informação de habilitar salto (transform skip enabled_flag) é transmitida mais cedo que uma matriz de quantização (scaling_list).

[00152] Como uma segunda mudança, informação de habilitar salto (transform_skip_enabled_flag) também é transmitida ao PPS de forma que o SPS seja independente do PPS em termos de análise.

[00153] Quer dizer, o SPS está configurado como ilustrado nas Figuras 9 e 10, e o PPS está configurado como ilustrado nas Figuras 11 e 12.

[00154] Adicionalmente, o coeficiente de ponderação pode ser gerado por uma computação de um valor médio ou similar usando, por exemplo, o componente de CC da matriz de quantização que é aplicada à quantização de um bloco periférico localizado na periferia do bloco atual. Tal método de computação é arbitrário e pode ser diferente de uma média.

[00155] Até mesmo neste caso, como ilustrado na Figura 8, a matriz de coeficiente de ponderação é gerada rearranjando o coeficiente de ponderação em 4 x 4, por esse meio quantizando o bloco de salto de transformada ortogonal 4x4 (matriz de valor diferencial de transformada pré-ortogonal) usando a matriz de coeficiente de ponderação. Desta maneira, o coeficiente de ponderação é calculado usando a matriz de quantização do bloco periférico, e assim também é possível calcular facilmente o coeficiente de ponderação no lado de decodificação da mesma maneira como no lado de codificação. Quer dizer, a transmissão do coeficiente de ponderação pode ser omitida, e a eficiência de codificação pode ser melhorada por essa taxa.

Controle de filtro de desblocagem

[00156] A seguir, controle do filtro de desblocagem será descrito. A fim de que o salto de transformada ortogonal (TransformSkip) seja considerado melhorar a eficiência de codificação de uma área compreendendo as imagens de CG ou legendas, é considerado que a distorção de bloco é provável ocorrer no limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal.

[00157] Assim, uma detecção se o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal pelo limite de bloco é executado, e o ajuste de intensidade do filtro de desblocagem é executado no limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal da maneira seguinte para fazer filtragem de desblocagem executada facilmente.

[00158] Por exemplo, quando o processamento de filtro de desblocagem é aplicado ao limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal, um valor de intensidade de limite (bs) atuando como intensidade de limite de bloco é fixado para ser "+1". Aumentando o valor de bs desta maneira, o controle é feito de modo a aplicar filtragem mais forte. Quer dizer, um filtro de desblocagem mais forte pode ser aplicado ao limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal. Adicionalmente, em vez de fixar o valor de bs a +1, o valor de bs pode ser fixado a um valor grande de, por exemplo, 2 e similar.

[00159] Além disso, por exemplo, ajuste da intensidade de filtro é executado de parâmetros tais como o valor de bs, α, e β, mas um filtro forte pode ser aplicado ao limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal indiferente do resultado de controle de uma tal intensidade de filtro. Assim, é possível aplicar mais diretamente um filtro de desblocagem forte ao limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal.

[00160] Adicionalmente, por exemplo, o limite entre o bloco de transformada ortogonal de salto e o bloco de salto sem transformada ortogonal pode ser fixado como um deslocamento menor comparado ao β e etc. Assim, é possível aplicar facilmente o filtro de desblocagem ao limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal.

[00161] Aplicando o ajuste de intensidade do filtro de desblocagem como descrito acima, é possível aplicar mais facilmente o filtro de desblocagem ao limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal e melhorar a eficiência de informação de compressão de imagem a ser produzida.

[00162] Adicionalmente, vários métodos de aplicar o filtro de desblocagem são considerados como descrito acima, e podem ser usados em combinação com os vários métodos. Naturalmente, métodos diferentes daqueles descritos acima podem ser incluídos em tais métodos. Exemplo de configuração de salto de transformada ortogonal ou similar

[00163] A Figura 13 é um diagrama de bloco ilustrando um exemplo de uma configuração principal do salto de unidade de transformada ortogonal 121 e similar.

[00164] Como ilustrado na Figura 12, a unidade de salto de transformada ortogonal 121 está configurada para compreender uma unidade de codificação de salto 131 e uma unidade de determinação de salto 132.

[00165] A unidade de codificação de salto 131 adquire o coeficiente de transformada ortogonal e o valor diferencial de transformada pré-ortogonal do bloco atual da unidade de transformada ortogonal 104 quando o bloco atual é bloco 4 x 4. A unidade de codificação de salto 131 executa o processo de codificação no caso onde o salto de transformada ortogonal não é aplicado, usando o coeficiente de transformada ortogonal provido, e gera um valor de função de custo disso. Além disso, a unidade de codificação de salto 131 executa o processo de codificação no caso onde o salto de transformada ortogonal é aplicado, usando o valor diferencial de transformada pré- ortogonal provido e gera um valor de função de custo disso. A unidade de codificação de salto 131 provê os valores de função de custo para a unidade de determinação de salto 132.

[00166] Adicionalmente, quando o bloco atual é maior do que o bloco 4 x 4, a unidade de codificação de salto 131 omite tal processamento. Neste caso, a unidade de determinação de salto 132 provê um sinal de controle que emite uma instrução para executar a transformada ortogonal, para a unidade de transformada ortogonal 104. A unidade de transformada ortogonal 104 executa a transformada ortogonal do bloco atual baseado no controle.

[00167] A unidade de determinação de salto 132 adquire a informação de habilitar salto (transform_skip_enabled flag) indicando se ou não habilitar o salto do processamento de transformada ortogonal, da unidade de codificação sem perda 106. Esta informação de habilitar salto (transform_skip_enabled_flag) é fixada com antecedência, por exemplo, por um usuário ou similar e é armazenada na unidade de codificação sem perda 106. A unidade de determinação de salto 132 provê um sinal de controle para instruir se ou não habilitar o salto de transformada ortogonal correspondendo à informação de habilitar salto (transform_skip_enabled_flag) para a unidade de transformada ortogonal 104.

[00168] Por exemplo, quando a informação de habilitar salto (transform_skip_enabled_flag) indica que o salto de transformada ortogonal (por exemplo, o valor é 1) está habilitado, a unidade de determinação de salto 132 provê o sinal de controle por habilitar o salto de transformada ortogonal à unidade de transformada ortogonal 104. Além disso, quando a informação de habilitar salto (transform skip enabled_flag) indica que o salto de transformada ortogonal (por exemplo, o valor é 0) está desabilitado, a unidade de determinação de salto 132 provê o sinal de controle para proibir o salto de transformada ortogonal à unidade de transformada ortogonal 104.

[00169] Além disso, a unidade de determinação de salto 132 determina um modo ótimo baseado nos valores de função de custo providos da unidade de codificação de salto 131. Quer dizer, é determinado se ou não aplicar o salto de transformada ortogonal (TransformSkip) ao bloco atual. A unidade de determinação de salto 132 provê o resultado determinado (informação indicando o modo ótimo determinado) como o sinal de controle para a unidade de transformada ortogonal 104, a unidade de quantização 105, o filtro de desblocagem 111, a unidade de quantização inversa 108 e a unidade de transformada ortogonal inversa 109.

[00170] Além disso, a unidade de determinação de salto 132 gera informação de identificação de salto (TransformSkipFlag) para identificar o resultado determinado (se o salto de transformada ortogonal está aplicado ao bloco atual) e provê e transmite a informação de identificação de salto à unidade de codificação sem perda 106.

[00171] Com relação ao valor diferencial de transformada pré- ortogonal adquirido da unidade de computação 103, a unidade de transformada ortogonal 104 gera o coeficiente de transformada ortogonal e o valor diferencial de transformada pré-ortogonal do bloco atual que não estão desabilitados pelo sinal de controle provido da unidade de codificação de salto 131 em todos os modos. A unidade de transformada ortogonal 104 provê o coeficiente de transformada ortogonal gerado e o valor diferencial de transformada pré-ortogonal do bloco atual à unidade de codificação de salto 131. Adicionalmente, quando o salto de transformada ortogonal está desabilitado pelo sinal de controle, a unidade de transformada ortogonal 104 provê só o coeficiente de transformada ortogonal do bloco atual à unidade de codificação de salto 131.

[00172] Como descrito acima, quando um modo é determinado na unidade de salto de transformada ortogonal 121, a unidade de transformada ortogonal 104 adquire o sinal de controle provido da unidade de determinação de salto 132 e executa processamento do modo designado de acordo com o controle. Quer dizer, a unidade de transformada ortogonal 104 executa ou salta o processamento de transformada ortogonal. No caso de executar, unidade de transformada ortogonal provê o coeficiente de transformada ortogonal à unidade de quantização 105 e no caso de saltar, o valor diferencial de transformada pré-ortogonal à unidade de quantização 105.

[00173] Desta maneira, a unidade de transformada ortogonal 104 pode executar apropriadamente a transformada ortogonal como necessário para suprimir a redução da eficiência de codificação, e assim é possível suprimir a deterioração da qualidade de imagem devido à codificação/decodificação.

[00174] Adicionalmente, a unidade de transformada ortogonal 104 contém o coeficiente de transformada ortogonal e o valor diferencial de transformada pré-ortogonal do bloco atual em todos os modos a serem providos à unidade de codificação de salto 131 e, dentre os coeficientes e valores, pode selecionar um coeficiente de transformada ortogonal e um valor diferencial de transformada pré-ortogonal em um modo de acordo com o sinal de controle provido da unidade de determinação de salto 132 provê-lo à unidade de quantização 105. Assim, é possível omitir o processamento e reduzir uma carga.

[00175] Como ilustrado na Figura 13, a unidade de quantização 105 está configurada para compreender uma unidade de colocação de matriz de quantização 141, uma unidade de geração de coeficiente de ponderação 142 e uma unidade de processamento de quantização 143.

[00176] A unidade de colocação de matriz de quantização 141 provê a matriz de quantização, que é fixada pelo usuário ou similar, para a unidade de geração de coeficiente de ponderação 142.

[00177] A unidade de geração de coeficiente de ponderação 142 adquire o sinal de controle provido da unidade de determinação de salto 132. A unidade de geração de coeficiente de ponderação 142 provê a matriz de quantização ou o coeficiente de ponderação para a unidade de processamento de quantização 143 baseado no controle do sinal de controle.

[00178] Por exemplo, quando o salto de transformada ortogonal não é aplicado, a unidade de geração de coeficiente de ponderação 142 provê a matriz de quantização, que é provida da unidade de colocação de matriz de quantização 141 no modo designado pelo sinal de controle, para a unidade de processamento de quantização 143.

[00179] Além disso, por exemplo, quando o salto de transformada ortogonal é aplicado, a unidade de geração de coeficiente de ponderação 142 gera o coeficiente de ponderação e provê o coeficiente de ponderação gerado para a unidade de processamento de quantização 143. Como descrito acima, um método de gerar o coeficiente de ponderação é arbitrário. Por exemplo, um componente de CC extraído da matriz de quantização provida da unidade de colocação de matriz de quantização 141 pode ser fixado como o coeficiente de ponderação, à parte da matriz de quantização provida da unidade de colocação de matriz de quantização 141, outro coeficiente de ponderação pode ser fixado, e o coeficiente de ponderação pode ser calculado do componente de CC da matriz de quantização do bloco periférico.

[00180] A unidade de processamento de quantização 143 quantiza o coeficiente de transformada ortogonal ou o valor diferencial de transformada pré-ortogonal provido da unidade de transformada ortogonal 104 usando a matriz de quantização ou o coeficiente de ponderação provido da unidade de geração de coeficiente de ponderação 142 e o parâmetro de quantização ou similar provido da unidade de controle de taxa 117.

[00181] Quer dizer, a unidade de processamento de quantização 143 quantiza o coeficiente de transformada ortogonal do bloco atual usando a matriz de quantização, o parâmetro de quantização ou similar quando o coeficiente de transformada ortogonal é provido da unidade de transformada ortogonal 104. Além disso, a unidade de processamento de quantização 143 quantiza o valor diferencial de transformada pré-ortogonal do bloco atual usando o coeficiente de ponderação, o parâmetro de quantização ou similar quando o valor diferencial de transformada pré-ortogonal é provido da unidade de transformada ortogonal 104.

[00182] A unidade de processamento de quantização 143 provê o coeficiente quantizado para a unidade de codificação sem perda 106 e a unidade de quantização inversa 108. Além disso, a unidade de processamento de quantização 143 provê e transmite um parâmetro relativo à quantização, por exemplo, do coeficiente de ponderação ou similar à unidade de codificação sem perda 106, quando necessário.

[00183] Assim, a unidade de processamento de quantização 143 pode executar apropriadamente a quantização de modo a suprimir a deterioração da qualidade de imagem. Por conseguinte, o dispositivo de codificação de imagem 100 pode suprimir a deterioração da qualidade de imagem devido à codificação/decodificação. Em outras palavras, o dispositivo de codificação de imagem 100 pode melhorar a eficiência de codificação.

[00184] Adicionalmente, a unidade de processamento de quantização 143 pode prover a matriz de quantização ou o coeficiente de ponderação aplicado ao processamento de quantização junto com, por exemplo, o coeficiente quantizado para a unidade de quantização inversa 108.

[00185] Adicionalmente, desde que uma unidade de processamento semelhante à unidade de quantização transformada inversa 108 e a unidade ortogonal inversa 109 também é formada em um dispositivo de decodificação de imagem a ser descrito abaixo, a descrição disso também é aplicada à unidade de quantização inversa 108 e à unidade de transformada inversa ortogonal 109, e assim a descrição detalhada da unidade de quantização inversa 108 e da unidade de transformada ortogonal inversa 109 não será apresentada.

[00186] Como ilustrado na Figura 13, o filtro de desblocagem 111 está configurado para compreender uma unidade de determinação de limite 151, uma unidade de ajuste de intensidade 152 e uma unidade de filtragem 153.

[00187] A unidade de determinação de limite 151 adquire o sinal de controle provido da unidade de determinação de salto 132, com relação ao bloco atual. Adicionalmente, a unidade de determinação de limite 151 adquire informação de identificação de salto (TransformSkipFlag) para identificar se o salto de transformada ortogonal está aplicado ao bloco periférico do bloco atual (TransformSkipFlag). A unidade de determinação de limite 151 determina se um limite de bloco atual é o limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal, baseado em tal informação, e provê um sinal de controle indicando o resultado determinado à unidade de ajuste de intensidade 152.

[00188] A unidade de ajuste de intensidade 152 gera vários parâmetros tais como valor de Bs, α, β, e tc, e determina a intensidade do filtro de desblocagem baseado nestes valores e no sinal de controle provido da unidade de determinação de limite 151. Quer dizer, a unidade de ajuste de intensidade 152 determina a intensidade do filtro de desblocagem baseado em valores de vários parâmetros tais como o valor de Bs gerado, a, β e tc, quando o limite de bloco atual não é o limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal. Além disso, quando o limite de bloco atual é o limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal, a unidade de ajuste de intensidade 152 adicionalmente faz a intensidade de filtro forte baseado no sinal de controle de qualquer maneira como descrito acima, por exemplo.

[00189] Desta maneira, a unidade de ajuste de intensidade 152 notifica a unidade de filtragem 153 da intensidade de filtro fixada.

[00190] A unidade de filtragem 153 executa o processamento de filtro de desblocagem em um valor de pixel de filtro de pré-desblocagem do limite de bloco provido da unidade de computação 110 com a intensidade de filtro provida da unidade de ajuste de intensidade 152. A unidade de filtragem 153 provê um valor de pixel de filtro pós-desblocagem à memória de quadro 112 para armazená-lo nela. Esta informação é usada intra ou inter processamento de predição.

[00191] Assim, o filtro de desblocagem 111 pode executar o processamento de filtro no limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal tal que o filtro de desblocagem mais forte seja aplicado. Por conseguinte, a deterioração da qualidade de imagem é adicionalmente suprimida. Quer dizer, o dispositivo de codificação de imagem 100 pode suprimir a deterioração da qualidade de imagem devido à codificação/decodificação. Em outras palavras, o dispositivo de codificação de imagem 100 pode melhorar a eficiência de codificação. Fluxo de processo de codificação

[00192] A seguir, um fluxo de operações de processamento individuais a ser executado pelo dispositivo de codificação de imagem 100 como descrito acima será descrito. Primeiro, um exemplo de um fluxo de um processo de codificação será descrito com referência a um fluxograma da Figura 14.

[00193] Na etapa S101, a unidade de codificação sem perda 106 gera a informação de habilitar salto (transform_skip_enabled flag) indicando se ou não habilitar o salto do processamento de transformada ortogonal, baseado na instrução do usuário ou similar, por exemplo. Por exemplo, a informação de habilitar salto (transform_skip_enabled_flag) é transmitida ao SPS.

[00194] Na etapa SI02, o conversor A/D 101 executa conversão A/D em uma imagem de entrada. Na etapa SI03, a memória temporária de rearranjo de tela 102 armazena a imagem obtida pela conversão A/D e rearranja quadros respectivos de uma ordem de exibição para uma ordem de codificação. Na etapa SI04, a unidade de intrapredição 114 executa processamento de intrapredição no modo de intrapredição.

[00195] Na etapa SI05, a unidade de predição/compensação de movimento 115 executa processamento de movimento interpredição, no qual a predição de movimento ou a compensação de movimento é executada no modo de interpredição.

[00196] Na etapa SI06, a unidade de seleção de imagem predita 116 determina um modo ótimo baseado em cada um dos valores de função de custo produzidos da unidade de intrapredição 114 e da unidade de predição/compensação de movimento 115. Quer dizer, a unidade de seleção de imagem predita 116 seleciona qualquer uma de uma imagem predita gerada pela unidade de intrapredição 114 e uma imagem predita gerada pela unidade de predição/compensação de movimento 115.

[00197] Na etapa SI07, a unidade de computação 103 computa uma diferença entre a imagem rearranjada obtida pelo processamento na etapa SI03 e a imagem predita selecionada pelo processamento na etapa SI06. Os dados de diferença são reduzidos na quantidade de dados quando comparado a dados de imagem originais. Por conseguinte, a quantidade de dados pode ser comprimida quando comparada a um caso no qual imagens são codificadas diretamente.

[00198] Na etapa SI08, a unidade de salto de transformada ortogonal 121 executa processamento de controle de salto de transformada ortogonal.

[00199] Na etapa SI09, a unidade de transformada ortogonal 104 executa processamento de transformada ortogonal na informação de diferença gerada pelo processamento na etapa SW7 de acordo com o resultado de processamento na etapa SI08.

[00200] Na etapa SI 10, a unidade de quantização 105 quantiza o coeficiente de transformada ortogonal ou o valor diferencial de transformada pré-ortogonal obtido pelo processamento na etapa SI09, usando o parâmetro de quantização provido da unidade de controle de taxa 117, de acordo com o resultado de processamento na etapa S108.

[00201] A informação de diferença quantizada pelo processamento na etapa SI 10 é decodificada localmente como segue. Quer dizer, na etapa SI 11, a unidade de quantização inversa 108 executa quantização inversa no coeficiente quantizado (também chamado um coeficiente de quantização) gerado pelo processamento na etapa SI 11 com características correspondendo àquelas da unidade de quantização 105, de acordo com o resultado de processamento na etapa SI08. Na etapa SI 12, a unidade de transformada inversa ortogonal 109 executa transformada ortogonal inversa no coeficiente de transformada ortogonal ou no valor diferencial de transformada pré- ortogonal obtido pelo processamento na etapa S111 de acordo com o resultado de processamento na etapa SI08.

[00202] Desde que a descrição de cada operação de processamento na etapa SI 11 e na etapa SI 12 corresponde àquela de uma operação de processamento semelhante a ser executado no processo de decodificação, a descrição detalhada disso não será apresentada.

[00203] Na etapa SI 13, a unidade de computação 110 adiciona a imagem predita à informação de diferença decodificada localmente para gerar uma imagem decodificada localmente (uma imagem correspondendo àquela entrada à unidade de computação 103).

[00204] Na etapa SI 14, o filtro de desblocagem 111 executa apropriadamente o processamento de filtro de desblocagem na imagem decodificada localmente obtida pelo processamento na etapa SI 13, de acordo com o resultado de processamento na etapa SI08.

[00205] Na etapa SI 15, a memória de quadro 112 armazena a imagem decodificada sujeita ao processamento de filtro de desblocagem pelo processamento na etapa SI 14. Adicionalmente, imagens que não são sujeitas à filtragem pelo filtro de desblocagem 111 também são providas da unidade de computação 110 e armazenadas na memória de quadro 112.

[00206] Na etapa SI 16, a unidade de codificação sem perda 106 codifica o coeficiente quantizado pelo processamento na etapa SI 10. Quer dizer, codifica sem perda tal como codificação de comprimento variável ou codificação de computação é executada em dados correspondendo à imagem de diferença.

[00207] Além disso, neste momento, a unidade de codificação sem perda 106 codifica informação sobre um modo de predição da imagem predita selecionada pelo processamento na etapa SI06 e adiciona a informação codificada aos dados codificados obtidos codificando a imagem de diferença. Quer dizer, a unidade de codificação sem perda 106 também codifica informação tal como informação de modo ótimo de intrapredição provida da unidade de intrapredição 114 ou informação de acordo com o modo ótimo de interpredição provida da unidade de predição/compensação de movimento 115 e adiciona a informação codificada aos dados codificados.

[00208] Adicionalmente, a unidade de codificação sem perda 106 apropriadamente adicionalmente codifica informação sobre a transformada ortogonal ou a quantização e a informação codificada para os dados codificados.

[00209] Na etapa SI 17, a memória temporária de acumulação 107 acumula os dados codificados obtidos pelo processamento na etapa SI 16. Os dados codificados acumulados na memória temporária de acumulação 107 são extraídos apropriadamente e transmitidos para um lado de decodificação por um caminho de transmissão ou um meio de gravação.

[00210] Na etapa SI 18, a unidade de controle de taxa 117 controla a taxa de operação de quantização da unidade de quantização 105 de modo a não causar transbordamento ou subutilização baseado na quantidade de código (quantidade de código gerada) dos dados codificados acumulados na memória temporária de acumulação 107 pelo processamento na etapa SI 17. Além disso, a unidade de controle de taxa 117 provê informação sobre o parâmetro de quantização para a unidade de quantização 105.

[00211] O processo de codificação é completado quando o processamento na etapa SI 18 é terminado. Fluxo de processamento de controle de salto de transformada ortogonal

[00212] A seguir, um exemplo de um fluxo do processamento de controle de salto de transformada ortogonal a ser executado na etapa SI08 da Figura 14 será descrito com referência a um fluxograma da Figura 15.

[00213] Quando o processamento de controle de salto de transformada ortogonal é começado, a unidade de determinação de salto 132 determina na etapa SI31 se ou não habilitar um modo de TransformSkip no qual o salto de transformada ortogonal é executado, baseado na informação de habilitar salto (transform_skip_enabled_flag).

[00214] Quando é determinado que o modo de TransformSkip está habilitado, o processamento procede à etapa SI32. Na etapa SI32, a unidade de determinação de salto 132 permite ao modo de TransformSkip se incluído em um modo de candidato. Quando o processamento na etapa SI32 é terminado, o processamento procede à etapa SI34.

[00215] Adicionalmente, quando é determinado na etapa SI32 que o modo de TransformSkip não está habilitado, o processamento procede à etapa SI33. Na etapa SI33, a unidade de determinação de salto 132 elimina o modo de TransformSkip do modo de candidato. Quando o processamento na etapa S133 é terminado, o processamento procede à etapa SI34.

[00216] Na etapa SI34, a unidade de codificação de salto 131 seleciona um modo de candidato não processado. Na etapa SI35, a unidade de codificação de salto 131 determina se o modo selecionado é o modo de transformada ortogonal (TransformSkip).

[00217] Quando é determinado ser o modo de transformada ortogonal (TransformSkip), o processamento procede à etapa SI36. Na etapa SI36, a unidade de codificação de salto 131 gera um coeficiente de ponderação. Quando o processamento na etapa SI36 é terminado, o processamento procede à etapa SI39.

[00218] Quando é determinado que o modo selecionado não é o modo de transformada ortogonal (TransformSkip) na etapa SI35, o processamento procede à etapa S137. Na etapa S137, a unidade de codificação de salto 131 executa a transformada ortogonal no bloco atual.

[00219] Na etapa SI38, a unidade de codificação de salto 131 adquire uma matriz de quantização.

[00220] Na etapa SI39, a unidade de codificação de salto 131 executa uma operação de codificação usando o coeficiente de transformada ortogonal obtido pela unidade de transformada ortogonal 104 ou o valor diferencial de transformada pré-ortogonal e gera um valor de função de custo com relação ao modo atual.

[00221] Na etapa SI40, a unidade de codificação de salto 131 determina se todos os modos de candidato estão processados. Quando um modo de candidato não processado existe, o processamento retoma à etapa SI 34 e operações de processamento subsequentes são executadas repetidamente. Quer dizer, cada operação de processamento na etapa S134 à etapa S140 é executada repetidamente até que o valor de função de custo seja gerado com relação a todos os modos.

[00222] Quando é determinado na etapa SI40 que todos os modos de candidato estão processados, o processamento procede à etapa SI41. Na etapa S141, a unidade de determinação de salto 132 determina o modo ótimo baseado no valor de função de custo.

[00223] Na etapa SI42, a unidade de determinação de salta 132 gera informação de identificação de salto (TransformSkipFlag) baseado no modo ótimo.

[00224] Quando o processamento na etapa SI42 é terminado, o processamento de transformada ortogonal de controle de salto é completado, e o processamento retoma à operação de processamento ilustrada na Figura 14. Fluxo de processamento de transformada ortogonal

[00225] A seguir, um exemplo de um fluxo de processamento de transformada ortogonal a ser executado na etapa SI08 da Figura 14 será descrito com referência a um fluxograma da Figura 16.

[00226] Quando o processamento de transformada ortogonal é começado, a unidade de transformada ortogonal 104 determina na etapa S151 se o modo ótimo selecionado pela unidade de determinação de salto 132 é o salto de transformada ortogonal (modo de TransformSkip). Quando é determinado ser o salto de transformada ortogonal (modo de TransformSkip), o processamento procede à etapa SI52.

[00227] Na etapa SI52, a unidade de transformada ortogonal 104 salta o processamento de transformada ortogonal e produz o valor diferencial de transformada pré-ortogonal do bloco atual. Quando o processamento na etapa S152 é terminado, o processamento retoma ao processamento ilustrado na Figura 14.

[00228] Adicionalmente, na etapa S151 da Figura 16, quando é determinado não ser o salto de transformada ortogonal (modo de TransformSkip), o processamento procede à etapa SI53.

[00229] Na etapa SI53, a unidade de transformada ortogonal 104 executa a transformada ortogonal no valor diferencial de transformada pré- ortogonal do bloco atual. Na etapa SI54, a unidade de transformada ortogonal 104 produz o coeficiente de transformada ortogonal obtido. Quando o processamento na etapa SI54 é terminado, o processamento retoma ao processo ilustrado na Figura 14. Fluxo de processamento de quantização

[00230] A seguir, um exemplo de um fluxo do processamento de quantização a ser executado na etapa SI 10 da Figura 14 será descrito com referência a um fluxograma da Figura 17.

[00231] Quando o processamento de quantização é começado, a unidade de geração de coeficiente de ponderação 142 determina, na etapa SI61, se o modo ótimo selecionado pela unidade de determinação de salto 132 é o salto de transformada ortogonal (modo de TransformSkip). Quando é determinado ser o salto de transformada ortogonal (modo de TransformSkip), o processamento procede à etapa SI62.

[00232] Na etapa SI62, a unidade de geração de coeficiente de ponderação 142 gera um coeficiente de ponderação. Quando o processamento na etapa S162 é terminado, o processamento procede à etapa SI64.

[00233] Adicionalmente, quando é determinado não ser o salto de transformada ortogonal (modo de TransformSkip) na etapa S161, o processamento procede à etapa SI63.

[00234] Na etapa SI63, a unidade de geração de coeficiente de ponderação 142 adquire uma matriz de quantização. Quando o processamento na etapa S163 é terminado, o processamento procede à etapa SI64.

[00235] Na etapa S164, a unidade de processamento de quantização 143 executa a quantização do coeficiente de transformada ortogonal do bloco atual ou o valor de diferencial de coeficiente de transformada pré-ortogonal usando o coeficiente de ponderação gerado na etapa SI62 e a matriz de quantização adquirida na etapa SI63. Na etapa SI65, a unidade de processamento de quantização 143 provê e transmite a matriz de quantização e o coeficiente de ponderação aplicado à unidade de codificação sem perda 106. Quando o processamento na etapa S165 é terminado, o processamento de quantização é completado, e o processamento retoma ao processo ilustrado na Figura 14. Fluxo de processamento de filtro de desblocagem

[00236] A seguir, um exemplo de um fluxo do processamento de filtro de desblocagem a ser executado na etapa SI 14 da Figura 14 será descrito com referência a um fluxograma da Figura 18.

[00237] Quando o processamento de filtro de desblocagem é começado, a unidade de ajuste de intensidade 152 adquire informação de modo, vetor de movimento, informação de quadro de referência ou similar na etapa S171.

[00238] Na etapa SI72, a unidade de ajuste de intensidade 152 detecta limites de bloco da TU, PU ou similar. Na etapa SI73, a unidade de ajuste de intensidade 152 determina um valor de Bs baseado em tal informação. Na etapa SI74, a unidade de ajuste de intensidade 152 calcula um parâmetro de quantização (limite QP) no limite de bloco definindo parâmetros de quantização de ambos os blocos como QP_P e QP_Q, como na Fórmula (3) abaixo. QP = (QP_P + QP_Q+1)» 1 (3)

[00239] Na etapa SI75, a unidade de ajuste de intensidade 152 determina um valor de deslocamento β e um valor de deslocamento tc usando o limite QP calculado como descrito acima. Na etapa SI76, a unidade de ajuste de intensidade 152 determina filtros (forte, fraco, e inativo) processando os valores de deslocamento calculados.

[00240] Na etapa SI77, a unidade de determinação de limite 151 adquire um sinal de controle do bloco atual da unidade de determinação de salto 132 e adquire informação de identificação de salto (TransformSkipFlag) do bloco periférico da unidade de codificação sem perda 106.

[00241] Na etapa SI78, a unidade de determinação de limite 151 determina se o limite de bloco atual é o limite entre a bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal.

[00242] Quando é determinado que o limite de bloco atual é o limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal, o processamento procede à etapa SI79. Na etapa SI79, a unidade de ajuste de intensidade 152 ajusta a intensidade do filtro de desblocagem. Quando o processamento na etapa SI79 é terminado, o processamento procede à etapa S180.

[00243] Adicionalmente, quando é determinado na etapa SI78 que o limite de bloco atual não é o limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal, o processamento procede à etapa SI80.

[00244] Na etapa SI80, a unidade de filtragem 153 executa o processamento de filtro de desblocagem. Quando o processamento na etapa SI80 é terminado, o processamento de filtro de desblocagem é completado, e o processamento retoma ao processo ilustrado na Figura 14.

[00245] Executando cada operação de processamento como descrito acima, o dispositivo de codificação de imagem 100 pode suprimir a redução da eficiência de codificação e suprimir a deterioração da qualidade de imagem devido à codificação/decodifícação.

2. Segunda Concretização Dispositivo de decodificação de imagem

[00246] A seguir, decodificação dos dados codificados (um fluxo codificado) que são codificados como descrito acima será descrita. Figura 19 é um diagrama de bloco ilustrando um exemplo de uma configuração principal de um dispositivo de decodificação de imagem correspondendo ao dispositivo de codificação de imagem 100 na Figura 1.

[00247] Um dispositivo de decodificação de imagem 200 ilustrado na Figura 19 decodifica os dados codificados gerados pelo dispositivo de codificação de imagem 100, usando um método de decodificação correspondendo ao sistema de codificação disso.

[00248] Como ilustrado na Figura 19, o dispositivo de decodificação de imagem 200 compreende uma memória temporária de acumulação 201, uma unidade de decodificação sem perda 202, uma unidade de quantização inversa 203, uma unidade de transformada ortogonal inversa 204, uma unidade de computação 205, um filtro de desblocagem 206, uma memória temporária de rearranjo de tela 207 e um conversor D/A 208. Além disso, o dispositivo de decodificação de imagem 200 compreende uma memória de quadro 209, uma unidade de seleção 210, uma unidade de intrapredição 211, uma unidade de predição/compensação de movimento 212 e uma unidade de seleção 213.

[00249] Além disso, o dispositivo de decodificação de imagem 200 compreende uma unidade de salto de transformada ortogonal inversa 221.

[00250] A memória temporária de acumulação 201 também é uma unidade de recepção para receber os dados codificados transmitidos a ela. A memória temporária de acumulação 201 recebe e acumula os dados codificados transmitidos nela, e provê os dados codificados para a unidade de decodificação sem perda 202 a uma temporização predeterminada. Pedaços de informação necessários para decodificação, tal como a informação de modo de predição, são adicionados aos dados codificados. A unidade de decodificação sem perda 202 decodifica a informação, que é provida da memória temporária de acumulação 201 e codificada pela unidade de codificação sem perda 106 na Figura 1, usando um método correspondendo ao sistema de codificação da unidade de codificação sem perda 106. A unidade de decodificação sem perda 202 provê os dados de coeficiente quantizados de uma imagem de diferença obtida decodificando à unidade de quantização inversa 203.

[00251] Além disso, a unidade de decodificação sem perda 202 determina se o modo de intrapredição está selecionado ou o modo de interpredição está selecionado, como o modo ótimo de predição, e provê informação relativa ao modo ótimo de predição para uma da unidade de intrapredição 211 e da unidade de predição/compensação de movimento 212, que é um modo determinado a ser selecionado. Em outras palavras, por exemplo, no caso onde o modo de interpredição está selecionado como o modo ótimo de predição no dispositivo de codificação de imagem 100, a informação relativa ao modo ótimo de predição é provida à unidade de intrapredição 211. Além disso, por exemplo, quando o modo de interpredição está selecionado como um modo ótimo de predição no dispositivo de codificação de imagem 100, a informação relativa ao modo ótimo de predição é provida à unidade de predição/compensação de movimento 212.

[00252] Adicionalmente, a unidade de decodificação sem perda 202 provê informação tal como, por exemplo, uma matriz de quantização ou um parâmetro de quantização, que é requerida para quantização inversa, para a unidade de quantização inversa 203. Adicionalmente, a unidade de decodificação sem perda 202 provê informação tal como, por exemplo, informação de habilitar salto (transform_skip_enabled_flag) ou informação de identificação de salto (TransformSkipFlag), que é requerida para uma transformada ortogonal inversa, para a unidade de salto de transformada ortogonal inversa 221.

[00253] A unidade de quantização inversa 203 executa quantização inversa nos dados de coeficiente quantizados obtidos decodificando da unidade de decodificação sem perda 202 baseado no controle da unidade de salto de transformada inversa ortogonal 221, usando um método correspondendo ao método de quantização da unidade de quantização 105 na Figura 1. Adicionalmente, a unidade de quantização inversa 203 é uma unidade de processamento semelhante à unidade de quantização inversa 108 do dispositivo de codificação de imagem 100 na Figura 1. Quer dizer, a descrição da unidade de quantização inversa 203 também pode ser aplicada àquela da unidade de quantização inversa 108. Porém, é necessário ler o destino de entrada/saída de dados variando-o apropriadamente dependendo de dispositivos.

[00254] A unidade de quantização inversa 203 provê os dados de coeficiente obtidos para a unidade de transformada ortogonal inversa 204.

[00255] Baseado no controle da unidade de salto de transformada ortogonal inversa 221, a unidade de transformada ortogonal inversa 204 executa transformada ortogonal inversa dos dados de coeficiente (coeficiente de transformada ortogonal ou valor diferencial de transformada pré-ortogonal) a ser provido da unidade de quantização inversa 203 usando um método correspondendo ao método de transformada ortogonal da unidade de transformada ortogonal 104 na Figura 1, como necessário. Adicionalmente, a unidade de transformada ortogonal inversa 204 é uma unidade de processamento semelhante à unidade de transformada ortogonal inversa 109 do dispositivo de codificação de imagem 100 na Figura 1. Quer dizer, a descrição da unidade transformada ortogonal inversa 204 também pode ser aplicada àquela da unidade de transformada ortogonal inversa 109. Porém, é necessário ler o destino de entrada/saída de dados variando-o apropriadamente dependendo de dispositivos.

[00256] A unidade de transformada ortogonal inversa 204 obtém dados residuais decodificados correspondendo aos dados residuais antes da transformada ortogonal pelo processamento de transformada ortogonal inversa no dispositivo de codificação de imagem 100. Os dados residuais decodificados obtidos pela transformada ortogonal inversa são providos à unidade de computação 205. Adicionalmente, uma imagem predita é provida à unidade de computação 205 pela unidade de seleção 213 da unidade de intrapredição 211 ou da unidade de predição/compensação de movimento 212.

[00257] A unidade de computação 205 adiciona os dados residuais decodificados e a imagem predita e obtém dados de imagem decodificada correspondendo a dados de imagem antes que a imagem predita seja subtraída pela unidade de computação 103 do dispositivo de codificação de imagem 100. A unidade de computação 205 provê os dados de imagem decodificados para o filtro de desblocagem 206.

[00258] O filtro de desblocagem 206 executa apropriadamente processamento de filtro de desblocagem na imagem decodificada provida e a provê para a memória temporária de rearranjo de tela 207. Executando o processamento de filtro de desblocagem na imagem decodificada, o filtro de desblocagem 206 remove a distorção de bloco da imagem decodificada. Adicionalmente, o filtro de desblocagem 206 é uma unidade de processamento semelhante ao filtro de desblocagem 111 do dispositivo de codificação de imagem 100 na Figura 1.

[00259] O filtro de desblocagem 206 provê um resultado de processamento de filtro (uma imagem decodificada depois de processamento de filtro) para a memória temporária de rearranjo de tela 207 e a memória de quadro 209. Além disso, a imagem decodificada saída da unidade de computação 205 pode ser provida à memória temporária de rearranjo de tela 207 ou à memória de quadro 209 sem atravessar o filtro de desblocagem 206. Em outras palavras, o processamento de filtro executado pelo filtro de desblocagem 206 pode ser omitido.

[00260] A memória temporária de rearranjo de tela 207 rearranja imagens. Em outras palavras, a ordem dos quadros rearranjados para a ordem de codificação pela memória temporária de rearranjo de tela 102 na Figura 1 é rearranjada na ordem de exibição original. O conversor D/A 208 converte em D/A a imagem provida da memória temporária de rearranjo de tela 207 e produz a imagem para uma exibição não ilustrada no desenho para exibir a imagem nela.

[00261] A memória de quadro 209 armazena nela a imagem decodificada provida e provê a imagem decodificada armazenada, como uma imagem de referência, para a unidade de seleção 210, a uma temporização predeterminada ou na base de um pedido do exterior, tal como a unidade de intrapredição 211 ou a unidade de predição/compensação de movimento 212.

[00262] A unidade de seleção 210 seleciona o destino de provisão da imagem de referência provida da memória de quadro 209. No caso de decodificar uma imagem intra-codificada, a unidade de seleção 210 provê a imagem de referência provida da memória de quadro 209 para a unidade de intrapredição 211. Além disso, no caso de decodificar uma imagem inter- codificada, a unidade de seleção 210 provê a imagem de referência provida da memória de quadro 209 para a unidade de predição/compensação de movimento 212.

[00263] A unidade de intrapredição 211 é provida com informação ou similar indicando o modo de intrapredição, que é obtido decodificando informação de cabeçalho, apropriadamente da unidade de decodificação sem perda 202. A unidade de intrapredição 211 executa intrapredição usando a imagem de referência adquirida da memória de quadro 209, no modo de intrapredição usado na unidade de intrapredição 114 na Figura 1, e gera uma imagem predita. A unidade de intrapredição 211 provê a imagem predita gerada para a unidade de seleção 213.

[00264] A unidade de predição/compensação de movimento 212 adquire informação (a informação de modo ótimo de predição, a informação de imagem de referência, e assim sucessivamente) que é obtida decodificando a informação de cabeçalho, da unidade de decodificação sem perda 202.

[00265] A unidade de predição/compensação de movimento 212 executa inter- predição usando a imagem de referência adquirida da memória de quadro 209, no modo de interpredição indicado pela informação de modo ótimo de predição adquirida da unidade de decodificação sem perda 202, e gera uma imagem predita.

[00266] A unidade de seleção 213 provê a imagem predita da unidade de intrapredição 211 ou a imagem predita da unidade de predição/compensação de movimento 212 para a unidade de computação 205. Além disso, na unidade de computação 205, a imagem predita gerada usando o vetor de movimento e os dados residuais decodificados (informação de imagem de diferença) da unidade de transformada ortogonal inversa 204 são adicionados, e uma imagem original é decodificada. Em outras palavras, a unidade de predição/compensação de movimento 212, a unidade de decodificação sem perda 202, a unidade de quantização inversa 203, a unidade de transformada ortogonal inversa 204 e a unidade de computação 205 também são uma unidade de decodificação para decodificar os dados codificados usando o vetor de movimento e gerar a imagem original.

[00267] A unidade de salto transformada ortogonal inversa 221 adquire a informação provida do lado de codificação pela unidade de decodificação sem perda 202 e controla a execução do processamento de transformada ortogonal inversa na unidade de transformada ortogonal inversa 204 baseado na informação. Além disso, a unidade de transformada ortogonal inversa de salto 221 controla o processamento de quantização inversa pela unidade de quantização inversa 203 e o processamento de filtro de desblocagem pelo filtro de desblocagem 206.

[00268] Assim, o dispositivo de decodificação de imagem 200 pode decodificar apropriadamente os dados codificados. Por conseguinte, o dispositivo de decodificação de imagem 200 pode realizar a supressão da redução na eficiência de codificação e pode realizar a supressão da deterioração da qualidade de imagem devido à codificação/decodificação.

Exemplo de configuração de unidade de salto de transformada ortogonal inversa ou similar

[00269] A Figura 20 é um diagrama de bloco ilustrando um exemplo de uma configuração principal da unidade de salto de transformada ortogonal inversa 221 ou similar.

[00270] Como ilustrado na Figura 20, a unidade de salto de transformada ortogonal inversa 221 está configurada para compreender uma memória temporária de TransfomSkipFlag 231 e uma unidade de geração de sinal de controle 232.

[00271] A memória temporária de TransfomSkipFlag 231 adquire e contém a informação de habilitar salto (transform_skip_enabled_flag) ou a informação de identificação de salto (TransfomSkipFlag) extraída dos dados codificados (fluxo de bits) na unidade de decodificação sem perda 202. A memória temporária de TransfomSkipFlag 231 provê a informação de habilitar salto (transform_skip_enabled_flag) ou a informação de identificação de salto (TransfomSkipFlag) contida para a unidade de geração de sinal de controle 232 na temporização predeterminada ou baseado em uma demanda.

[00272] A unidade de geração de sinal de controle 232 gera um sinal de controle dependendo da informação de habilitar salto (transform_skip_enabled_flag) ou da informação de identificação de salto (TransfomSkipFlag) provida da memória temporária de TransfomSkipFlag 231 e provê o sinal de controle para a unidade de quantização inversa 203, a unidade de transformada ortogonal inversa 204 e o filtro de desblocagem 206.

[00273] Por exemplo, quando o salto de transformada ortogonal está desabilitado pela informação de habilitar salto (transform_skip_enabled flag), a unidade de geração de sinal de controle 232 provê um sinal de controle como segue. Quer dizer, a unidade de geração de sinal de controle 232 provê um sinal de controle para instruir a unidade de quantização inversa 203 para executar a quantização inversa usando a matriz de quantização. Além disso, a unidade de geração de sinal de controle 232 provê um sinal de controle para instruir a unidade de transformada ortogonal inversa 204 para executar a transformada ortogonal inversa. Adicionalmente, a unidade de geração de sinal de controle 232 provê um sinal de controle para notificar o filtro de desblocagem 206 que o bloco atual não é o bloco de salto de transformada ortogonal.

[00274] Além disso, por exemplo, quando o salto de transformada ortogonal está habilitado pela informação de habilitar salto (transform skip enabled flag) e é identificado pela informação de identificação de salto (TransfomSkipFlag) que o salto de transformada ortogonal não é aplicado na hora de codificação do bloco atual, a unidade de geração de sinal de controle 232 provê o sinal de controle de maneiras seguintes. Quer dizer, a unidade de geração de sinal de controle 232 provê o sinal de controle para instruir a unidade de quantização inversa 203 para executar a quantização inversa usando a matriz de quantização. Além disso, a unidade de geração de sinal de controle 232 provê o sinal de controle instruindo a unidade de transformada ortogonal inversa 204 para executar a transformada ortogonal inversa. Adicionalmente, a unidade de geração de sinal de controle 232 provê o sinal de controle para notificar o filtro de desblocagem 206 que o bloco atual não é o bloco de salto de transformada ortogonal. Quer dizer, a unidade de geração de sinal de controle 232 pode prover a informação de identificação de salto (TransfomSkipFlag) como o sinal de controle para o filtro de desblocagem 206.

[00275] Além disso, por exemplo, quando o salto de transformada ortogonal está habilitado pela informação de habilitar salto (transform skip enabled flag) e é identificado pela informação de identificação de salto (TransfomSkipFlag) que o salto de transformada ortogonal é aplicado na hora de codificação do bloco atual, a unidade de geração de sinal de controle 232 provê o sinal de controle das maneiras seguintes. Quer dizer, a unidade de geração de sinal de controle 232 provê um sinal de controle para instruir a unidade de quantização inversa 203 para executar a quantização inversa usando o coeficiente de ponderação. Além disso, a unidade de geração de sinal de controle 232 provê um sinal de controle instruindo a unidade de transformada ortogonal inversa 204 para não executar a transformada ortogonal inversa. Adicionalmente, a unidade de geração de sinal de controle 232 provê um sinal de controle para notificar o filtro de desblocagem 206 que o bloco atual é o bloco de salto de transformada ortogonal. Quer dizer, a unidade de geração de sinal de controle 232 pode prover a informação de identificação de salto (TransfomSkipFlag) como o sinal de controle para o filtro de desblocagem 206.

[00276] Como ilustrado na Figura 20, a unidade de quantização inversa 203 está configurada para compreender uma memória temporária de matriz de quantização 241, uma unidade de geração de coeficiente de ponderação 242, uma memória temporária de parâmetro de quantização 243 e uma unidade de quantização inversa 244.

[00277] A memória temporária de matriz de quantização 241 adquire e contém a matriz de quantização, que é extraída do SPS ou similar dos dados codificados, pela unidade de decodificação sem perda 202. A matriz de quantização é transmitida do lado de codificação e é usada na hora de codificação. A memória temporária de matriz de quantização 241 provê a matriz de quantização contida para a unidade de geração de coeficiente de ponderação 242 na temporização predeterminada ou em demanda. Adicionalmente, quando o coeficiente de ponderação aplicado na hora de codificação é transmitido do lado de codificação, a memória temporária de matriz de quantização 241 adquire o coeficiente de ponderação e o provê para a unidade de geração de coeficiente de ponderação 242 como na matriz de quantização.

[00278] A unidade de geração de coeficiente de ponderação 242 adquire o sinal de controle provido da unidade de controle geração de sinal 232. A unidade de geração de coeficiente de ponderação 242 entende se o salto de transformada ortogonal é aplicado ao bloco atual na hora de codificação, baseado no controle do sinal de controle e provê a matriz de quantização ou o coeficiente de ponderação para a unidade de quantização inversa 244 baseado na informação entendida.

[00279] Por exemplo, quando o salto de transformada ortogonal não é aplicado ao bloco atual na hora de codificação, a unidade de geração de coeficiente de ponderação 242 provê a matriz de quantização, que é provida da memória temporária de matriz de quantização 241, de um modo designado pelo sinal de controle à unidade de quantização inversa 244.

[00280] Além disso, por exemplo, quando o salto de transformada ortogonal é aplicado ao bloco atual na hora de codificação, a unidade de geração de coeficiente de ponderação 242 gera um coeficiente de ponderação e provê o coeficiente de ponderação gerado para a unidade de quantização inversa 244.

[00281] Adicionalmente, um método de gerar o coeficiente de ponderação é arbitrário contanto que o método seja igual a um método no lado de codificação. Isso é, por exemplo, no dispositivo de codificação de imagem 100, quando a unidade de geração de coeficiente de ponderação 142 extrai o componente de CC da matriz de quantização provida da unidade de colocação de matriz de quantização 141 e fixa o componente de CC extraído como um coeficiente de ponderação, a unidade de geração de coeficiente de ponderação 242, semelhantemente, também extrai o componente de CC da matriz de quantização provida da memória temporária de matriz de quantização 241 e também fixa o componente de CC extraído como um coeficiente de ponderação.

[00282] Adicionalmente, no dispositivo de codificação de imagem 100, quando a unidade de geração de coeficiente de ponderação 142 fixa um coeficiente de ponderação separado da matriz de quantização provida da unidade de colocação de matriz de quantização 141, a unidade de geração de coeficiente de ponderação 242 também fixa um coeficiente de ponderação separado da matriz de quantização provida da memória temporária de matriz de quantização 241 da mesma maneira. Neste momento, quando o coeficiente de ponderação aplicado na hora de codificação é provido do lado de codificação, o coeficiente de ponderação é aplicado.

[00283] Adicionalmente, no dispositivo de codificação de imagem 100, quando a unidade de geração de coeficiente de ponderação 142 calcula o coeficiente de ponderação do componente de CC da matriz de quantização do bloco periférico, a unidade de geração de coeficiente de ponderação 242 também calcula o coeficiente de ponderação do componente de CC da matriz de quantização do bloco periférico da mesma maneira.

[00284] A memória temporária de parâmetro de quantização 243 adquire e contém o parâmetro de quantização extraído do SPS ou similar dos dados codificados pela unidade de decodificação sem perda 202. O parâmetro de quantização é provido do lado de codificação e é usado na hora de codificação. A memória temporária de parâmetro de quantização 243 provê o parâmetro de quantização contido para a unidade de quantização inversa 244 na temporização predeterminada ou em demanda.

[00285] A unidade de quantização inversa 244 adquire o coeficiente quantizado extraído dos dados codificados pela unidade de decodificação sem perda 202. A unidade de quantização inversa 244 também adquire o parâmetro de quantização da memória temporária de parâmetro de quantização 243 e adquire a matriz de quantização ou o coeficiente de ponderação da unidade de geração de coeficiente de ponderação 242. A unidade de quantização inversa 244 quantiza inversamente o coeficiente quantizado usando-o. Este método de quantização inversa corresponde ao método de quantização pela unidade de processamento de quantização 143 do dispositivo de codificação de imagem 100.

[00286] Isso é, por exemplo, quando o salto de transformada ortogonal não é aplicado ao bloco atual na hora de codificação, a unidade de quantização inversa quantiza inversamente o coeficiente quantizado usando a matriz de quantização e o parâmetro de quantização e provê o coeficiente de transformada ortogonal obtido à unidade de transformada ortogonal inversa 204.

[00287] Além disso, por exemplo, quando o salto de transformada ortogonal é aplicado ao bloco atual na hora de codificação, a unidade de quantização inversa quantiza inversamente o coeficiente quantizado usando o coeficiente de ponderação e o parâmetro de quantização e provê o valor diferencial de transformada pré-ortogonal obtido à unidade de transformada ortogonal inversa 204.

[00288] Assim, a unidade de quantização inversa 203 pode executar apropriadamente a quantização inversa usando um método correspondendo à quantização na hora de codificação. Quer dizer, a unidade de quantização inversa 203 pode quantizar apropriadamente o coeficiente quantizado pela unidade de quantização 105 do dispositivo de codificação de imagem 100. Por conseguinte, a unidade de quantização inversa 203 pode executar apropriadamente a quantização inversa de modo a suprimir a deterioração da qualidade de imagem. Portanto, o dispositivo de decodificação de imagem 200 pode realizar a supressão da deterioração da qualidade de imagem devido à codificação/decodificação. Em outras palavras, o dispositivo de decodificação de imagem 200 pode melhorar a eficiência de codificação.

[00289] A unidade de transformada ortogonal inversa 204 executa apropriadamente a transformada ortogonal inversa no coeficiente quantizado inversamente provido da unidade de quantização inversa 244 baseado no sinal de controle provido da unidade de geração de sinal de controle 232.

[00290] Por exemplo, quando o bloco atual é o bloco ao qual o salto de transformada ortogonal não é aplicado na hora de codificação, a unidade de transformada ortogonal inversa 204 entende baseado no sinal de controle que o coeficiente quantizado inversamente provido da unidade de quantização inversa 244 é o coeficiente de transformada ortogonal. Quer dizer, a unidade de transformada ortogonal inversa 204 executa a transformada ortogonal inversa no coeficiente de transformada ortogonal em um método que corresponde à transformada ortogonal da unidade de transformada ortogonal 104 no dispositivo de codificação de imagem 100. Assim, o coeficiente quantizado inversamente servindo como um valor do domínio de frequência é convertido no valor diferencial de transformada pré-ortogonal (dados residuais decodificados) servindo como um valor do domínio espacial. A unidade de transformada ortogonal inversa 204 provê os dados residuais decodificados para a unidade de computação 205.

[00291] Além disso, por exemplo, quando o bloco atual é o bloco ao qual o salto de transformada ortogonal é aplicado na hora de codificação, a unidade de transformada ortogonal inversa 204 entende baseado no sinal de controle que o coeficiente quantizado inversamente provido da unidade de quantização inversa 244 é o valor diferencial de transformada pré-ortogonal. A unidade de transformada ortogonal inversa 204 provê o valor de diferencial de transformada pré-ortogonal servindo como o valor do domínio espacial para a unidade de computação 205, como os dados residuais decodificados.

[00292] Assim, a unidade de transformada ortogonal inversa 204 pode executar apropriadamente a transformada ortogonal inversa no método que corresponde à transformada ortogonal na hora de codificação. Quer dizer, por exemplo, a unidade de transformada ortogonal inversa 204 pode executar processamento apropriado no coeficiente gerado pela unidade de transformada ortogonal 104 do dispositivo de codificação de imagem 100. Por conseguinte, a unidade de transformada ortogonal inversa 204 pode executar apropriadamente a transformada ortogonal inversa para suprimir a deterioração da qualidade de imagem. Portanto, o dispositivo de decodificação de imagem 200 pode realizar a supressão da deterioração da qualidade de imagem devido à codificação/decodificação. Em outras palavras, o dispositivo de decodificação de imagem 200 pode melhorar a eficiência de codificação.

[00293] Como ilustrado na Figura 20, o filtro de desblocagem 206 está configurado para compreender uma unidade de determinação de limite 251, uma unidade de ajuste de intensidade 252 e uma unidade de filtragem 253.

[00294] A unidade de determinação de limite 251 é uma unidade de processamento semelhante à unidade de determinação de limite 151 do dispositivo de codificação de imagem 100. O sinal de controle (p°r exemplo, informação de identificação de salto (TransformSkipFlag)) indicando se o salto de transformada ortogonal está aplicado ao bloco atual na hora de codificação é provido à unidade de determinação de limite 251. A unidade de determinação de limite 251 contém tal informação, determina se o limite de bloco atual é o limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal, e provê o sinal de controle indicando o resultado determinado à unidade de ajuste de intensidade 252.

[00295] A unidade de ajuste de intensidade 252 é uma unidade de processamento semelhante à unidade de ajuste de intensidade 152 do dispositivo de codificação de imagem 100. A unidade de ajuste de intensidade 252 gera vários parâmetros tais como um valor de Bs, CL, β e tc, e determina a intensidade do filtro de desblocagem baseado em tais valores e o sinal de controle provido da unidade de determinação de limite 251. Quer dizer, a unidade de ajuste de intensidade 252 determina a intensidade do filtro de desblocagem baseado em vários parâmetros tais como o valor de Bs gerado, CL, β, e tc, quando o limite de bloco atual não é o limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal. Além disso, a unidade de ajuste de intensidade 252 reforça adicionalmente a intensidade de filtro baseado no sinal de controle, por exemplo, de qualquer maneira semelhante à maneira anterior quando o limite de bloco atual é o limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal. O mesmo método como na unidade de ajuste de intensidade 152 é usado para a determinação e ajuste da intensidade de filtro. Quer dizer, a intensidade de filtro aplicada na hora de codificação é reproduzida.

[00296] A unidade de ajuste de intensidade 252 notifica a unidade de filtragem 253 da intensidade de filtro que é fixada desta maneira.

[00297] A unidade de filtragem 253 é uma unidade de processamento semelhante à unidade de filtragem 253 do dispositivo de codificação de imagem 100. A unidade de filtragem 253 executa o processamento de filtro de desblocagem nos dados residuais decodificados (valor de pixel de filtro de pré-desblocagem) do limite de bloco que é provido da unidade de computação 205, usando a intensidade de filtro provida da unidade de ajuste de intensidade 252. A unidade de filtragem 253 provê um valor de pixel de filtro pós-desblocagem, que é obtido executando o processamento de filtro de desblocagem, para a memória temporária de rearranjo de tela 207 ou a memória de quadro 209.

[00298] Assim, o filtro de desblocagem 206 pode executar o processamento de filtro no limite entre o bloco de salto de transformada ortogonal e o bloco de salto sem transformada ortogonal tal que o filtro de desblocagem mais forte seja aplicado. Por conseguinte, a deterioração da qualidade de imagem é suprimida adicionalmente. Quer dizer, o dispositivo de decodificação de imagem 200 pode alcançar a supressão da deterioração da qualidade de imagem devido à codificação/decodificação. Em outras palavras, o dispositivo de decodificação de imagem 200 pode alcançar a melhoria da eficiência de codificação.

Fluxo de processo de decodificação

[00299] A seguir, o fluxo em cada operação de processamento a ser executada pelo dispositivo de decodificação de imagem 200 descrito acima será descrito. Primeiro, um exemplo do fluxo de um processo de decodificação será descrito com referência a um fluxograma ilustrado na Figura 21.

[00300] Quando a operação de decodificação é começada, a memória temporária de acumulação 201 acumula os dados codificados transmitidos na etapa S201. Na etapa S202, a unidade de decodificação sem perda 202 decodifica o fluxo de bits (informação de imagem de diferencial codificada) provida da memória temporária de acumulação 201. Quer dizer, quadros I, quadros P e quadros B que são codificados pela unidade de codificação sem perda 106 ilustrada na Figura 1 são decodificados.

[00301] Neste momento, vários tipos de informação tais como informação de cabeçalho diferente da informação de imagem diferencial que está incluída no fluxo de bits também são decodificados. Na etapa S203, a memória temporária de TransformSkipFlag 231 da unidade de salto de transformada ortogonal inversa 221 adquire a informação de identificação de salto (TransformSkipFlag) extraída na unidade de decodificação sem perda 202. A unidade de geração de sinal de controle 232 da unidade de salto de transformada ortogonal inversa 221 gera um sinal de controle baseado na informação de identificação de salto (TransformSkipFlag) e provê o sinal de controle para a unidade de geração de coeficiente de ponderação 242, a unidade de transformada ortogonal inversa 204 e a unidade de determinação de limite 251.

[00302] Na etapa S204, a unidade de quantização inversa 203 quantiza inversamente um coeficiente quantizado obtido pela operação de processamento da etapa S202. Na etapa S205, a unidade de transformada ortogonal inversa 204 executa uma transformada ortogonal inversa no coeficiente quantizado inversamente obtido na etapa S204, como necessário.

[00303] Na etapa S206, a unidade de intrapredição 211 ou a unidade de predição/compensação de movimento 212 executa uma operação de processamento de predição e gera uma imagem predita. Quer dizer, a operação de processamento de predição é executada no modo de predição que é determinado pela unidade de decodificação sem perda 202 e aplicado na hora de codificação. Mais especificamente, por exemplo, quando a intrapredição é aplicada na hora de codificação, a unidade de intrapredição 211 gera a imagem predita no modo de intrapredição que é considerado como um modo ótimo na hora de codificação. Além disso, por exemplo, quando a interpredição é aplicada na hora de codificação, a unidade de predição/compensação de movimento 212 gera a imagem predita no modo de interpredição que é considerado como um modo ótimo na hora de codificação.

[00304] Na etapa S207, a unidade de computação 205 adiciona a imagem predita gerada na etapa S206 à informação de imagem diferencial obtida pela transformada ortogonal inversa na etapa S205. Desta maneira, uma imagem original é decodificada.

[00305] Na etapa S208, o filtro de desblocagem 206 executa apropriadamente a operação de processamento de filtro de desblocagem na imagem decodificada obtida na etapa S205. Adicionalmente, a operação de processamento de filtro de desblocagem é executada da mesma maneira como a operação de processamento de filtro de desblocagem na hora de codificação. Quer dizer, desde que a operação é executada da mesma maneira como no caso onde a operação é descrita com referência ao fluxograma ilustrado na Figura 18, a descrição detalhada do processamento de filtro de desblocagem não é apresentada. Em outras palavras, a descrição acima com referência ao fluxograma ilustrado na Figura 18 pode ser aplicada como a descrição do processamento de filtro de desblocagem.

[00306] Na etapa S209, a memória temporária de rearranjo de tela 207 rearranja a imagem sujeita ao processamento de filtro na etapa S208. Quer dizer, a ordem de quadros rearranjada para codificação pela memória temporária de rearranjo de tela 102 do dispositivo de codificação de imagem 100 é rearranjada na ordem de exibição original.

[00307] Na etapa S210, o conversor D/A 208 executa uma conversão D/A na imagem na qual a ordem de quadros está rearranjada na etapa S209. A imagem é produzida a uma exibição (não ilustrada) e a imagem é exibida.

[00308] Na etapa S211, a memória de quadro 209 armazena a imagem sujeita ao processamento de filtro na etapa S209.

[00309] Quando a operação de processamento na etapa S211 é terminada, o processamento de decodificação está completado. Fluxo de processamento de quantização inversa

[00310] A seguir, um exemplo do fluxo de um processamento de quantização inversa a ser executado na etapa S204 da Figura 21 será descrito com referência a um fluxograma ilustrado na Figura 22.

[00311] Quando o processamento de quantização inversa é começado, a unidade de geração de coeficiente de ponderação 242 determina na etapa S231 se o bloco atual é um modo de salto de transformada ortogonal (TransformSkip).

[00312] Quando é determinado que o bloco atual é o modo de salto de transformada ortogonal (TransformSkip), o processamento procede à etapa S232. Na etapa S232, a unidade de geração de coeficiente de ponderação 242 gera um coeficiente de ponderação. Quando o processamento na etapa S232 é terminado, o processamento procede à etapa S234.

[00313] Adicionalmente, quando é determinado na etapa S231 que o bloco atual não é o modo de salto de transformada ortogonal (TransformSkip), o processamento procede à etapa S233. Na etapa S233, a unidade de geração de coeficiente de ponderação 242 adquire uma matriz de quantização pela memória temporária de TransformSkipFlag 231. Quando o processamento na etapa S233 é terminado, o processamento procede à etapa S234.

[00314] Na etapa S234, a unidade de quantização inversa 244 executa uma quantização inversa usando o coeficiente de ponderação gerado na etapa S232 ou a matriz de quantização gerada na etapa S233.

[00315] Quando o processamento na etapa S234 é terminado, o processamento de quantização inversa é completado, e o processamento retoma à operação de processamento ilustrada na Figura 21.

Fluxo de processamento de transformada ortogonal inversa

[00316] A seguir, um exemplo do fluxo de um processamento de transformada ortogonal inversa a ser executado na etapa S205 da Figura 21 será descrito com referência a um fluxograma ilustrado na Figura 23.

[00317] Quando o processamento de transformada ortogonal inversa é começado, a unidade de transformada ortogonal inversa 204 determina na etapa S251 se o bloco atual é um modo de salto de transformada ortogonal de transformada ortogonal (TransformSkip).

[00318] Quando é determinado que o bloco atual é o modo de salto de transformada ortogonal (TransformSkip), o processamento de transformada ortogonal inversa é terminado, e o processamento retoma à operação de processamento ilustrada na Figura 21.

[00319] Adicionalmente, quando é determinado na etapa S251 da Figura 23 que o bloco atual não é o modo de salto de transformada ortogonal (TransformSkip), o processamento procede à etapa S252. Na etapa S252, a unidade de transformada ortogonal inversa 204 executa a transformada ortogonal inversa no coeficiente quantizado inversamente.

[00320] Quando o processamento na etapa S252 é terminado, o processamento de transformada ortogonal inversa é completado, o processamento retoma à operação de processamento ilustrada na Figura 21.

[00321] Executando cada operação de processamento como descrito acima, o dispositivo de decodificação de imagem 200 pode decodificar corretamente os dados codificados, por esse meio alcançando a supressão da redução da eficiência de codificação e a supressão da deterioração da qualidade de imagem devido à codificação/decodificação.

[00322] Adicionalmente, no anterior, é descrito que a informação de habilitar salto (transform_skip_enabled_flag) é transmitida ao SPS, mas um método de transmitir a informação de habilitar salto não está limitada a isso.

[00323] Por exemplo, quando um quadro tal como, por exemplo, uma imagem natural, na qual o salto de transformada ortogonal (TransformSkip) não é valido e um quadro tal como uma imagem compreendendo legendas que contêm um bloco ao qual o salto de transformada ortogonal (TransformSkip) é aplicado está presente em uma sequência, se o salto de transformada ortogonal estiver habilitado em unidade de sequência, a informação de identificação de salto (TransformSkipFlag) tem que ser transmitida para todos os blocos de todos os quadros na sequência, e assim é ineficiente. Se o salto de transformada ortogonal estiver desabilitado, não há nenhuma necessidade para transmitir a informação de identificação de salto (TransformSkipFlag). Por esta razão, particularmente, como a relação do quadro contendo o bloco, ao qual o salto de transformada ortogonal (TransformSkip) é aplicado, fica menor, há uma preocupação de eficiência de codificação reduzida desnecessariamente.

[00324] Assim, o salto de transformada ortogonal não está limitado a ser habilitado em unidades de sequência, mas é preferivelmente habilitado em unidade menor que a unidade de sequência. Por esta razão, a informação de habilitar salto pode ser transmitida a qualquer posição de fluxo de bits tal como, por exemplo, PPS ou cabeçalho de pedaço diferente de o SPS. Naturalmente, a informação de habilitar salto pode ser transmitida separadamente do fluxo de bits.

[00325] Adicionalmente, no anterior, é descrito que a informação de habilitar salto (transform_skip_enabled_flag) é fixada pelo usuário ou similar, mas um método de colocação (método de controle habilitar/desabilitar o salto de transformada ortogonal) da informação de habilitar salto (transform_skip_enabled_flag) é arbitrário. Por exemplo, a informação de habilitar salto pode ser fixada de acordo com o conteúdo da imagem a ser codificada.

[00326] Por exemplo, quando o salto de transformada ortogonal está desabilitado em um estado inicial e um gênero de um programa é detectado em um guia de programa eletrônico (EPG) ou similar, se o gênero detectado for uma animação, é preferível fixar a informação de habilitar salto (transform_skip_enabled_flag) de modo a habilitar o salto de transformada ortogonal. Assim, o controle da habilitação/desabilitação do salto de transformada ortogonal pode ser executado baseado em informação diferente de uma imagem em movimento.

[00327] Além disso, por exemplo, uma detecção de uma CM (radiodifusão comercial) é executada em um estado (por exemplo, no caso onde o programa é uma animação) onde o salto de transformada ortogonal está habilitado, o salto de transformada ortogonal pode ser desabilitado durante a radiodifusão de CM, e o salto de transformada ortogonal pode ser habilitado durante a radiodifusão de programa. Assim, o controle da habilitação/desabilitação do salto de transformada ortogonal pode ser executado baseado em resultados de análise obtidos analisando o conteúdo da imagem em movimento.

[00328] Naturalmente, o conteúdo (imagem em movimento) sujeito a tal processamento de controle não está limitado ao conteúdo de radiodifiisão. Por exemplo, pode ser um conteúdo que está gravado em um meio de gravação tal como, por exemplo, um disco rígido ou um disco de Blu-ray (marca registrada) e um conteúdo que é carregado (ou reproduzido em fluxo) do exterior por uma linha de comunicação elétrica tal como uma Internet.

3. . Terceira Concretização Controle de transmissão de informação de habilitar salto

[00329] Porém, como descrito acima, o salto de transformada ortogonal pode ser aplicado a bloco de transformada ortogonal de luminância 4x4 (TU de componente de luminância) ou bloco de transformada ortogonal de crominância 4x4 (TU de componente de cromínância).

[00330] Pelo contrário, por exemplo, um tamanho mínimo da TU é designado por sintaxe que é chamado Iog2_min_transform_block_size_minus2 no HEVC ou similar. Por exemplo, no conjunto de parâmetros de sequência (SPS) ilustrado na Figura 4, o tamanho mínimo da TU é designado pelo Iog2_min_ti‘ansform_block_size_minus2 indicado na sexta fila do fundo.

[00331] Quando o tamanho mínimo designado pelo Iog2_min_transform_block_size_minus2 é maior que 4 x 4, o bloco de transformada ortogonal 4x4 (TU) não está presente. Quer dizer, neste caso, não há nenhuma possibilidade que o salto de transformada ortogonal (TransformSkip) seja aplicado. Por conseguinte, não há nenhuma necessidade para transmitir a informação de habilitar salto (transform_skip_enabled_flag) indicando se ou não habilitar/desabilitar o salto de transformada ortogonal (TransformSkip). Em outras palavras, quando a informação de habilitar salto é transmitida apesar do tamanho mínimo da TU ser maior que 4 x 4, a quantidade de informação aumenta desnecessariamente, e assim a eficiência de codificação pode ser reduzida desnecessariamente.

[00332] Aqui, como descrito acima, quando o tamanho mínimo da TU é maior que 4 x 4, a transmissão da informação de habilitar salto pode ser omitida. Em outras palavras, a informação de habilitar salto só pode ser transmitida no caso onde o tamanho mínimo da TU é 4 x 4 (ou menos) (só no caso onde a TU tendo o tamanho de 4 x 4 está presente). Transmissão em Conjunto de Parâmetros de Sequência

[00333] Um método de transmissão da informação de habilitar salto (transform_skip_enabled_flag) é arbitrário. Por exemplo, a informação de habilitar salto pode ser transmitida ao conjunto de parâmetros de sequência (SPS). Algum exemplo da sintaxe do SPS em tal caso é ilustrado na Figura 24.

[00334] Como ilustrado na Figura 24, um Iog2_min_transform_block_size_minus2 indicando o tamanho mínimo do bloco de transformada ortogonal (TU) é fixado na quinta fila do topo na Figura 24. O Iog2_min_transform_block_size_minus2 é uma sintaxe indicando o tamanho mínimo do bloco de transformada ortogonal (TU) na sequência correspondendo ao SPS.

[00335] Pelo contrário, como indicado na quinta fila do fundo na Figura 24, é confirmado se 0 tamanho mínimo da TU é 4 x 4 (se (Iog2_min_transform_block_size_minus2 = 0)), e a informação de habilitar salto (transform_skip_enabled_flag) é fixada só no caso onde o tamanho mínimo da TU é 4 x 4, como indicado na quarta fila do fundo na Figura 24. Quer dizer, a informação de habilitar salto é transmitida só no caso onde o tamanho mínimo da TU é 4 x 4; caso contrário, é controlada de modo a não ser transmitida. Adicionalmente, neste caso, a informação de habilitar salto (transform_skip_enabled_flag) é transmitida só no SPS. Além disso, quando a informação de habilitar salto (transform_skip_enabled_flag) é fixada, o valor é fixado baseado em qualquer informação tal como, por exemplo, a instrução de um usuário.

[00336] Além disso, o controle de transmissão da informação de habilitar salto é executado pela unidade de codificação sem perda 106. Consequentemente, o dispositivo de codificação de imagem 100 pode transmitir a informação de habilitar salto só quando necessário, por esse meio suprimindo a redução da eficiência de codificação e suprimindo a deterioração da qualidade de imagem devido à codificação/decodificação. Transmissão para Conjunto de Parâmetros de Quadro

[00337] Além disso, a informação de habilitar salto (transform_skip_enabled_flag) pode ser transmitida para, por exemplo, o conjunto de parâmetros de quadro (PPS). Algum exemplo da sintaxe do PPS em tal caso é ilustrado na Figura 25.

[00338] Como ilustrado na Figura 25, um pps log2 min_transform_block_size_minus2 indicando o tamanho mínimo do bloco de transformada ortogonal (TU) está fixado na terceira fila do topo na Figura 25. O pps Iog2_min_transform_block_size_minus2 é uma sintaxe indicando o tamanho mínimo do bloco de transformada ortogonal (TU) no quadro correspondendo ao PPS. Quer dizer, até mesmo quando o log2 min transform_block_size_minus2 descrito acima está fixado no SPS, o pps_log2_min_transform_block_size_minus2 pode ser fixado no PPS. Porém, neste caso, a informação de habilitar salto (transform_skip_enabled_flag) é transmitida só no PPS.

[00339] Pelo contrário, como indicado na quarta fila do topo na Figura 25, é confirmado se o tamanho mínimo da TU é 4 * 4 (se (pps_log2_min_transform_block_size minus2 == 0)), e a informação de habilitar salto (transformskipenabledflag) é fixada só no caso onde o tamanho mínimo da TU é 4 x 4, como indicado na quinta fila do topo na Figura 25. Quer dizer, até mesmo neste caso, a informação de habilitar salto é transmitida só no caso onde o tamanho mínimo da TU é 4 x 4; caso contrário, é controlada para não ser transmitida. Quando a informação de habilitar salto (transform_skip_enabled_flag) é fixada, o valor é fixado baseado em qualquer informação tal como, por exemplo, a instrução de um usuário.

[00340] Até mesmo neste caso, o controle de transmissão da informação de habilitar salto é executado pela unidade de codificação sem perda 106. Consequentemente, o dispositivo de codificação de imagem 100 pode transmitir a informação de habilitar salto só quando necessário, por esse meio suprimindo a redução da eficiência de codificação e suprimindo a deterioração da qualidade de imagem devido à codificação/decodificação.

[00341] Adicionalmente, a posição da sintaxe do pps_log2 min_transform_block_size_minus2 no PPS não está limitada ao exemplo na Figura 25. O pps_log2_min_transform_block_size_minus2 pode ser fixado na posição antes dessa da informação de habilitar salto (transform_skip_enabled_flag). Assim, habilita o SPS e PPS serem independentes em termos de análise, e ambos deles podem ser decodificados independentemente.

Transmissão para Cabeçalho de Pedaço

[00342] Adicionalmente, embora não ilustrada, a informação de habilitar salto (transform skip enabled flag) pode ser transmitida para, por exemplo, um cabeçalho de pedaço.

[00343] No cabeçalho de pedaço, o Iog2_min_transform_block_size_minus2 não é fixado. No pedaço, um quadro ao qual a pedaço pertence é fixado. Quer dizer, o pps log2 min_transform_block_size_minus2 do PPS é referenciado.

[00344] No cabeçalho de pedaço, a informação de habilitar salto é fixada como segue. if(pps_log2 min transform block size_minus2 = 0) { transcorm_skip_enabled_flag

[00345] Quer dizer, neste caso, a informação de habilitar salto (transform_skip_enabled_flag) é fixada da mesma maneira como no caso do PPS. Porém, neste caso, a informação de habilitar salto (transfonn_skip_enabled_fiag) é transmitida só no cabeçalho de pedaço.

[00346] Até mesmo neste caso, a informação de habilitar salto é transmitida só no caso onde o tamanho mínimo da TU é 4 * 4; caso contrário, é controlada de modo a não ser transmitida. Além disso, quando a informação de habilitar salto (transform_skip_enabled_flag) é fixada, o valor é fixado baseado em qualquer informação tal como, por exemplo, a instrução de um usuário. Adicionalmente, o controle de transmissão da informação de habilitar salto é executado pela unidade de codificação sem perda 106.

[00347] Consequentemente, o dispositivo de codificação de imagem 100 pode transmitir a informação de habilitar salto só quando necessário, por esse meio suprimindo a redução da eficiência de codificação e suprimindo a deterioração da qualidade de imagem devido à codificação/decodificação.

[00348] Como descrito acima, o controle de transmissão da informação de habilitar salto pode ser executado em uma unidade arbitrária. Naturalmente, pode ser uma unidade diferente de o exemplo descrito acima.

Fluxo de processamento de geração de informação de habilitar salto

[00349] A seguir, um exemplo de um fluxo de um processamento de geração de informação de habilitar salto será descrito com referência a um fluxograma na Figura 26, que controla a transmissão da informação de habilitar salto como descrito acima.

[00350] Esta operação de processamento pode ser executada em qualquer temporização se for executada antes do processamento de transformada ortogonal, mas por exemplo, pode ser executada na etapa S101 do processo de codificação na Figura 14.

[00351] Quando o processamento de geração de informação de habilitar salto é começado, a unidade de codificação sem perda 106 fixa o Iog2_min_transform_block_size_minus2 na etapa S301.

[00352] Na etapa S302, a unidade de codificação sem perda 106 determina se o tamanho mínimo do bloco de transformada ortogonal (TU) é 4x4 (ou menos).

[00353] Se "0" for fixado ao valor do Iog2_min_transform_block_size_minus2 pelo processamento na etapa S301 e for determinado que o tamanho mínimo do bloco de transformada ortogonal (TU) é 4 x 4 (ou menos), o processamento procede à etapa S3 03.

[00354] Na etapa S303, a unidade de codificação sem perda 106 fixa a informação de habilitar salto (transform_skip_enabled_flag). Quando o processamento na etapa S3 03 é terminado, o processamento de geração de informação de habilitar salto é completado, e a operação de processamento retoma para, por exemplo, o processamento de codificação na Figura 14.

[00355] Adicionalmente, se "1" ou mais for fixado ao valor do Iog2_min_transforrn_block_size_minus2 pelo processamento de S301 na etapa S3 02 da Figura 26 e for determinado que o tamanho mínimo do bloco de transformada ortogonal (TU) é maior que 4 x 4? o processamento (colocação da informação de habilitar salto (transform_skip_enabled_flag)) na etapa S303 é omitido, o processamento de geração de informação de habilitar salto é completado, e a operação de processamento retoma para, por exemplo, o processo de codificação na Figura 14.

[00356] Como descrito acima, no processamento de geração de informação de habilitar salto, o dispositivo de codificação de imagem 100 pode suprimir a redução da eficiência de codificação e suprimir a deterioração da qualidade de imagem devido à codificação/decodíficação.

[00357] Adicionalmente, Figura 26 ilustra a descrição do fluxo do processamento de geração de informação de habilitar salto quando a informação de habilitar salto é transmitida ao SPS, mas pode ser aplicado até mesmo quando a informação de habilitar salto é transmitida ao PPS ou ao cabeçalho de pedaço. No caso onde a informação de habilitar salto é transmitida ao PPS ou ao cabeçalho de pedaço, desde que o fluxo da operação de processamento é basicamente semelhante ao fluxo da operação de processamento que é descrita com referência à Figura 26, exceto que a sintaxe fixada na etapa S301 é pps_log2_min_transform_block_size_minus2 de PPS, a descrição disso não será apresentada.

Recepção de informação de habilitar salto em dispositivo de decodificação de imagem

[00358] Quando a transmissão da informação de habilitar salto é controlada como descrito acima no dispositivo de codificação de imagem 100, há um caso onde a informação de habilitar salto é transmitida e um caso onde a informação de habilitar salto não é transmitida. Portanto, da maneira semelhante, o dispositivo de decodificação de imagem 200 pode controlar se ou não aceitar (se ou não receber) a informação de habilitar salto da colocação do tamanho mínimo do bloco de transformada ortogonal (TU). Assim, o dispositivo de decodificação de imagem 200 pode suprimir o aumento em tempo de espera desnecessário, por exemplo, tempo esperando pela informação de habilitar salto que nao é transmitida.

[00359] Quer dizer, como no dispositivo de codificação de imagem 100, o dispositivo de decodificação de imagem 200 controla se ou não receber a informação de habilitar salto baseado nos valores (dependendo de se o tamanho mínimo da TU é 4 x 4) com referência ao Iog2_min_transform_block_size_minus2 transmitido ao SPS e ao pps_log2_min_transform_block_size_minus2 transmitido ao PPS. Por exemplo, tal controle é executado pela unidade de decodificação sem perda 202 do dispositivo de decodificação de imagem 200.

Fluxo de processamento de recepção de informação de habilitar salto

[00360] A seguir, um exemplo de um fluxo do processamento de geração de informação de habilitar salto será descrito com referência a um fluxograma na Figura 27, que controla a transmissão da informação de habilitar salto como descrito acima. Esta operação de processamento pode ser executada antes de adquirir a informação de identificação de salto (TransfomSkipFlag) (por exemplo, antes da etapa S203 na Figura 21).

[00361] Quando o processamento de recepção de informação de habilitar salto é começado, a unidade de decodificação sem perda 202 recebe o Iog2_min_transform_block_size_minus2 na etapa S321. Na etapa S322, a unidade de decodificação sem perda 202 determina se o tamanho mínimo da TU é 4 x 4 (ou menos), baseado no valor recebido.

[00362] Se o valor do Iog2_min_transform_block_size_minus2 for "0" e for determinado que o tamanho mínimo da TU é 4 * 4 (ou menos), o processamento procede à etapa S323. Na etapa S323, a unidade de decodificação sem perda 202 executa a recepção da informação de habilitar salto (transform_skip_enabled_flag). Quando o processamento na etapa S323 é terminado, o processamento de recepção de informação de habilitar salto é completado, e a operação de processamento retoma para, por exemplo, o processo de decodificação na Figura 21.

[00363] Adicionalmente, se o valor do Iog2_min_transform_block_size_minus2 for "1" ou mais na etapa S322 da Figura 27 e for determinado que o tamanho mínimo da TU é maior que 4x4, o processamento de recepção de informação de habilitar salto é completado, e a operação de processamento retoma para, por exemplo, o processo de decodificação na Figura 21.

[00364] Como descrito acima, no processamento de recepção de informação de habilitar salto, o dispositivo de decodificação de imagem 200 pode suprimir a redução da eficiência de codificação e suprimir a deterioração da qualidade de imagem devido à codificação/decodificação.

[00365] Adicionalmente, Figura 27 ilustra a descrição do fluxo do processamento de geração de informação de habilitar salto quando a informação de habilitar salto é transmitida ao SPS, e a descrição pode ser aplicada até mesmo quando a informação de habilitar salto é transmitida ao PPS ou ao cabeçalho de pedaço desde que o fluxo da operação de processamento é basicamente semelhante ao fluxo da operação de processamento que é descrita com referência à Figura 27, exceto que a sintaxe recebida na etapa S321 é pps_log2_min_transform_block_size_minus2 de PPS, assim a descrição disso não será apresentada.

[00366] A descrição anterior foi feita baseada no sistema de codificação de HEVC, mas a extensão da tecnologia presente não está limitada a isso e a tecnologia presente pode ser aplicada a todos do dispositivo de codificação de informação de imagem e dispositivo de decodificação baseado no sistema de codificação usando o salto de transformada ortogonal (TransformSkip) como proposto no Documento Não Patente 2.

4. Quarta Concretização Aplicação à codificação de ponto de multi-imagem/decodificação de imagem de múltiplo ponto de vista

[00367] A série de operações de processamento descrita acima pode ser aplicada à codificação de imagem de múltiplo ponto de vista/decodificação de imagem de múltiplo ponto de vista. Figura 28 ilustra um exemplo de um sistema de codificação de imagem de múltiplo ponto de vista.

[00368] Como ilustrado na Figura 28, uma imagem de múltiplo ponto de vista compreende imagens de uma pluralidade de pontos de vista e uma imagem de um ponto de vista predeterminado fora dos vários pontos de vista é designada como uma imagem de visão básica. Uma imagem de cada ponto de vista diferente de a imagem de visão básica é tratada como uma imagem de visão não básica.

[00369] No caso de executar tal codificação de imagem de múltiplo ponto de vista como na Figura 28, uma diferença em parâmetro de quantização pode ser tomada em visões individuais (a mesma visão). (1) visão básica: (1-1) dQP(visão básica) = Current_CU_QP(visão básica) - LCU_QP( visão básica) (1-2) dQP(visão básica) = Current CU_QP(visão básica) - PrevÍsous_CU_QP(visao básica) (1-3) dQP(visão básica) = Current CU QP(visão básica) - Slice_QP(visão básica) (2) visão não básica: (2-1) dQP(visão não básica) = Current_CU_QP(visão não básica) - LCU_QP(visão não básica) (2-2) dQP(visão não básica) = CurrentQP(visão não básica) - PrevisousQP(visão não básica) (2-3) dQP(visão não básica) = Current CU_QP(visão não básica) - SlÍce_QP(visão não básica)

[00370] No caso de executar a codificação de imagem de múltiplo ponto de vista, uma diferença em parâmetro de quantização pode ser tomada em visões individuais (visões diferentes). (3)visao básica/visão não básica: (3-1) dQP(inter-visão) = Slice_QP(visão básica) - Slice_QP(visão não básica) (3-2) dQP(inter-visão) = LCU_QP(visão básica) - LCU QP(visão não básica) (4) visão não básica/visão não básica: (4-1) dQP(inter-visão) = Slice_QP(visão não básica i) - Slice QP(visão de básica j) (4-2) dQP(inter-visão) = LCU_QP(visão não básica i) - LCU QP(visão não básica j)

[00371] Neste caso, os itens (1) a (4) descritos acima podem ser usados em combinação. Por exemplo, nas visões não básicas, uma técnica (usando 31 e 2-3 em combinação) para tomar uma diferença em parâmetro de quantização entre uma visão básica e uma visão não básica em uma base de nível de pedaço e uma técnica (usando 3-2 e 2-1 em combinação) para tomar uma diferença em parâmetro de quantização entre uma visão básica e uma visão não básica em uma base de nível de LCU pode ser considerado. Por conseguinte, é possível melhorar a eficiência de codificação aplicando repetidamente a diferença até mesmo no caso de executar a codificação de múltiplo ponto de vista.

[00372] Semelhantemente às técnicas descritas acima, também é possível fixar uma bandeira que identifica se um dQP cujo valor não é 0 está presente com relação a cada dQP descrito acima.

Dispositivo de codificação de imagem de múltiplo ponto de vista

[00373] A Figura 29 é um diagrama ilustrando um dispositivo de codificação de imagem de múltiplo ponto de vista executando a codificação de imagem de múltiplo ponto de vista descrita acima. Como ilustrado na Figura 29, um dispositivo de codificação imagem de múltiplo ponto de vista 600 compreende uma unidade de codificação 601, uma unidade de codificação 602 e um multiplexador 603.

[00374] A unidade de codificação 601 codifica uma imagem de visão básica e gera um fluxo codificado de imagem de visão básica. A unidade de codificação 602 codifica uma imagem de visão não básica e gera um fluxo codificado de imagem de visão não básica. O multiplexador 603 multiplexa o fluxo codificado de imagem de visão básica gerado na unidade de codificação 601 e o fluxo codificado de imagem de visão não básica gerado na unidade de codificação 602 e gera um fluxo codificado de imagem de múltiplo ponto de vista.

[00375] O dispositivo de codificação de imagem 100 (Figura 1) pode ser aplicado à unidade de codificação 601 e à unidade de codificação 602 do dispositivo de codificação de imagem de múltiplo ponto de vista 600. Neste caso, o dispositivo de codificação de imagem de múltiplo ponto de vista 600 fixa um valor de diferença entre um parâmetro de quantização fixado pela unidade de codificação 601 e um parâmetro de quantização fixado pela unidade de codificação 602 e transmite o valor de diferença.

[00376] Além disso, o processamento de salto de transformada ortogonal pode ser executado independentemente em cada visão em cada uma da unidade de codificação 601 e da unidade de codificação 602. Além disso, o processamento de quantização, o processamento de filtro de desblocagem ou similar também pode ser executado independentemente em cada visão em cada uma da unidade de codificação 601 e da unidade de codificação 602. Neste caso, a informação tal como a matriz de quantização, várias bandeiras, e o coeficiente de ponderação está incluída, por exemplo, no fluxo codificado para cada visão, e assim a informação é provida ao multiplexador 603 da unidade de codificação 601 e da unidade de codificação 602. A informação provida é multiplexada no multiplexador 603 e é então transmitida ao lado de decodificação em um estado de ser incluída no fluxo codificado de imagem de múltiplo ponto de vista.

[00377] Adicionalmente, com relação a algum ou o processamento de salto de transformada ortogonal inteiro, o processamento de quantização, e o processamento de filtro de desblocagem, o processamento em uma da unidade de codificação 601 e da unidade de codificação 602 pode ser refletido na outra delas. Adicionalmente, alguma ou a informação inteira, tal como a informação sobre o processamento de salto do transformada ortogonal compreendendo a informação de habilitar salto ou a informação de identificação de salto, a informação sobre a quantização, e a informação sobre o filtro de desblocagem podem ser compartilhadas na unidade de codificação 601 e na unidade de codificação 602. Por exemplo, alguns ou todos os resultados processados (ou informação obtida ou similar) obtidos executando o processamento de salto de transformada ortogonal, o processamento de quantização, e o processamento de filtro de desblocagem na imagem de visão básica na unidade de codificação 601 pode ser provida à unidade de codificação 602 e ser refletida em tais operações de processamento para a imagem de visão não básica executada na unidade de codificação 602. Naturalmente, pelo contrário, resultados processados (ou informação obtida ou similar) obtidos executando o processamento de salto de transformada ortogonal, o processamento de quantização e o processamento de filtro de desblocagem na imagem de visão não básica na unidade de codificação 602 pode ser provida à unidade de codificação 601 e ser refletida em tais operações de processamento para a imagem de visão básica executada na unidade de codificação 601.

Dispositivo de decodificação de imagem de múltiplo ponto de vista

[00378] A Figura 30 é um diagrama ilustrando um dispositivo de decodificação de imagem de múltiplo ponto de vista para executar a decodificação de imagem de múltiplo ponto de vista descrita acima. Como ilustrado na Figura 30, um dispositivo de decodificação de imagem de múltiplo ponto de vista 610 compreende um desmultiplexador 611, uma unidade de decodificação 612 e uma unidade de decodificação 613.

[00379] O desmultiplexador 611 desmultiplexa o fluxo codificado de imagem de múltiplo ponto de vista no qual o fluxo codificado de imagem de visão básica e o fluxo codificado de imagem de visão não básica estão multiplexados, e extrai o fluxo codificado de imagem de visão básica e o fluxo codificado de imagem de visão não básica. A unidade de decodificação 612 decodifica o fluxo codificado de imagem de visão básica extraído pelo desmultiplexador 611 e obtém uma imagem de visão básica. A unidade de decodificação 613 decodifica o fluxo codificado de imagem de visão não básica extraído pelo desmultiplexador 611 e obtém uma imagem de visão não básica.

[00380] O dispositivo de decodificação de imagem 200 (Figura 19) pode ser aplicado à unidade de decodificação 612 e à unidade de decodificação 613 do dispositivo de decodificação de imagem de múltiplo ponto de vista 610. Neste caso, a unidade de decodificação 612 e a unidade de decodificação 613 do dispositivo de decodificação de imagem de múltiplo ponto de vista 610 fixam um parâmetro de quantização usando um valor de diferença entre um parâmetro de quantização fixado pela unidade de codificação 601 do dispositivo de codificação de imagem de múltiplo ponto de vista 600 e um parâmetro de quantização fixado pela unidade de codificação 602 e executam uma quantização inversa.

[00381] Além disso, o processamento de salto de transformada ortogonal pode ser executado independentemente em cada visão em cada uma da unidade de decodificação 612 e da unidade de decodificação 613. Além disso, o processamento de quantização inversa, o processamento de filtro de desblocagem ou similar também pode ser executado independentemente em cada uma da unidade de decodificação 612 e da unidade de decodificação 613. Neste caso, a informação tal como a matriz de quantização, várias bandeiras, e o coeficiente de ponderação incluídos no fluxo codificado de imagem de múltiplo ponto de vista e transmitido do lado de codificação é separada no desmultiplexador 611 para cada visão e é então provida à unidade de decodificação 612 e à unidade de decodificação 613 em um estado de estar incluída no fluxo codificado para cada visão.

[00382] Adicionalmente, com relação a algum ou o processamento de salto de transformada ortogonal inversa inteiro, o processamento de quantização inversa, e o processamento de filtro de desblocagem, o processamento, a unidade de decodificação 612 e a unidade de decodificação 613 pode ser refletida uma a outra. Adicionalmente, alguma ou a informação inteira, tal como a informação sobre o processamento de salto do transformada ortogonal inversa compreendendo a informação de habilitar salto ou a informação de identificação de salto, a informação sobre a quantização inversa, e a informação sobre o filtro de desblocagem inverso podem ser compartilhadas na unidade de decodificação 612 e na unidade de decodificação 613. Por exemplo, alguns ou todos os resultados processados (ou informação obtida ou similar) obtidos executando o processamento de salto de transformada ortogonal inversa, o processamento de quantização inversa, e o processamento de filtro de desblocagem no fluxo codificado de imagem de visão básica na unidade de decodificação 612 pode ser provida à unidade de decodificação 613 e ser refletida em tais operações de processamento para o fluxo codificado de imagem de visão não básica executado na unidade de decodificação 613 (por exemplo, omissão de processamento duplicado). Naturalmente, pelo contrário, resultados processados (ou informação obtida) obtidos executando o processamento de salto de transformada ortogonal inversa, o processamento de quantização inversa, e o processamento de filtro de desblocagem no fluxo codificado de imagem de visão não básica na unidade de decodificação 613 pode ser provida à unidade de decodificação 612 e pode ser refletida em tais operações de processamento para o fluxo codificado de imagem de visão básica executado na unidade de decodificação 612 (por exemplo, omissão de processamento duplicado).

5. Quinta Concretização Aplicação à codificação de ponto de imagem hierárquica/decodificação de imagem hierárquica

[00383] A série de operações de processamento descritas acima pode ser aplicada à codificação de imagem hierárquica/decodificação de imagem hierárquica. Figura 31 ilustra um exemplo de um sistema de codificação de imagem de múltiplo ponto de vista.

[00384] Como ilustrado na Figura 31, uma imagem hierárquica compreende imagens em uma pluralidade de camadas (resoluções), e uma imagem de uma camada predeterminada fora das várias resoluções é designada como uma imagem de camada básica. Uma imagem de cada camada diferente da imagem de camada básica é tratada como uma imagem de camada não básica.

[00385] No caso de executar a codificação de imagem hierárquica (capacidade de graduação espacial) ilustrada na Figura 31, uma diferença em parâmetro de quantização pode ser tomada em cada camada (a mesma camada). (1) camada básica: (1-1) dQP(camada básica) = Current_CU_QP(camada básica) - LCU_QP(camada básica) (1-2) dQP(camada básica) = Current_CU_QP(camada básica) - Previsous_CU_QP(camada básica) (l-3)dQP(camada básica) = Current_CU_QP(camada básica) - Slice QP(camada básica) (2) camada não básica:

[00386] (2-1) dQP(camada não básica) = Current_CU_QP(camada não básica) - LCU_QP(camada não básica) (2-2) dQP(camada não básica) = CurrentQP(camada não básica) - PrevisousQP(camada não básica) (2-3) dQP(camada não básica) = Current_CU_QP(camada não básica) - Slice_QP(camada não básica)

[00387] No caso da codificação hierárquica, uma diferença em parâmetro de quantização pode ser tomada em cada camada (camadas diferentes). (3) camada básica/camada não básica: (3-1) dQP(intercamada) = Slice_QP(camada básica) - Slice_QP(camada não básica) (3-2) dQP(intercamada) = LCU_QP(camada básica) - LCU_QP(camada não básica) (4) camada não básica/camada não básica: (4-1) dQP(intercamada) = Slice_QP(camada não básica i) - Slice_QP(camada não básica j) (4-2) dQP(intercamada) = LCU_QP(camada não básica i) - LCU QP(camada não básica j)

[00388] Neste caso, os itens (1) a (4) descritos acima podem ser usados em combinação. Por exemplo, nas camadas não básicas, uma técnica (usando 3-1 e 2-3 em combinação) para tomar uma diferença em parâmetro de quantização entre uma camada básica e uma camada não básica em uma base de nível de pedaço e uma técnica (usando 3-2 e 2-1 em combinação) para tomar uma diferença em parâmetro de quantização entre uma camada básica e uma camada não básica em uma base de nível de LCU pode ser considerado. Por conseguinte, é possível melhorar a eficiência de codificação aplicando repetidamente a diferença até mesmo no caso de executar a codificação hierárquica.

[00389] Semelhantemente às técnicas descritas acima, também é possível fixar uma bandeira identificando se um dQP cujo valor não é 0 está presente com relação a cada dQP descrito acima.

Dispositivo de codificação de imagem hierárquica

[00390] A Figura 32 é um diagrama ilustrando um dispositivo de codificação de imagem hierárquica para executar a codificação de imagem hierárquica descrita acima. Como ilustrado na Figura 32, um dispositivo de codificação de imagem hierárquica 620 compreende uma unidade de codificação 621, uma unidade de codificação 622 e um multiplexador 623.

[00391] A unidade de codificação 621 codifica uma imagem de camada básica e gera um fluxo codificado de imagem de camada básica. A unidade de codificação 622 codifica uma imagem de camada não básica e gera um fluxo codificado de imagem de camada não básica. O multiplexador 623 multiplexa o fluxo codificado de imagem de camada básica gerado na unidade de codificação 621 e o fluxo codificado de imagem de camada não básica gerado na unidade de codificação 622 e gera um fluxo codificado de imagem hierárquica.

[00392] O dispositivo de codificação de imagem 100 (Figura 1) pode ser aplicado à unidade de codificação 621 e à unidade de codificação 622 do dispositivo de codificação de imagem hierárquica 620. Neste caso, o dispositivo de codificação de imagem hierárquica 620 fixa um valor de diferença entre um parâmetro de quantização fixado pela unidade de codificação 621 e um parâmetro de quantização fixado pela unidade de codificação 622 e transmite o valor de diferença.

[00393] Além disso, o processamento de salto de transformada ortogonal pode ser executado independentemente em cada camada em cada uma da unidade de codificação 621 e da unidade de codificação 622. Além disso, o processamento de quantização, o processamento de filtro de desblocagem ou similar também pode ser executado independentemente em cada camada em cada uma da unidade de codificação 621 e da unidade de codificação 622. Neste caso, a informação tal como a matriz de quantização, várias bandeiras, e o coeficiente de ponderação está incluída, por exemplo, no fluxo codificado para cada camada, e assim a informação é provida ao multiplexador 623 da unidade de codificação 621 e da unidade de codificação 622. A informação provida é multiplexada no multiplexador 623 e é então transmitida ao lado de decodificação em um estado de estar incluída no fluxo codificado de imagem hierárquica.

[00394] Adicionalmente, com relação a algum ou o processamento de salto de transformada ortogonal inteiro, o processamento de quantização, e o processamento de filtro de desblocagem, o processamento da unidade de codificação 621 e da unidade de codificação 622 pode ser refletido um ao outro. Adicionalmente, alguma ou a informação inteira, tal como a informação sobre o processamento de salto da transformada ortogonal compreendendo a informação de habilitar salto ou a informação de identificação de salto, a informação sobre a quantização, e as informações sobre o filtro de desblocagem podem ser compartilhadas na unidade de codificação 621 e na unidade de codificação 622, Por exemplo, alguns ou todos os resultados processados (ou informação obtida) obtidos executando o processamento de salto de transformada ortogonal, o processamento de quantização, e o processamento de filtro de desblocagem na imagem de camada básica na unidade de codificação 621 pode ser provida à unidade de codificação 622 e pode ser refletida em tais operações de processamento para a imagem de camada não básica executada na unidade de codificação 622 (por exemplo, omissão de processamento duplicado). Naturalmente, pelo contrário, resultados processados (ou informação obtida) obtidos executando o processamento de salto de transformada ortogonal, o processamento de quantização, e o processamento de filtro de desblocagem na imagem de camada não básica na unidade de codificação 622 podem ser providos à unidade de codificação 621 e podem ser refletidos em tais operações de processamento para a imagem de camada básica executado na unidade de codificação 621 (por exemplo, omissão de processamento duplicado).

Dispositivo de decodificação de imagem hierárquica

[00395] A Figura 33 é um diagrama ilustrando um dispositivo de decodificação de imagem hierárquica para executar a decodificação de imagem hierárquica descrita acima. Como ilustrado na Figura 33, um dispositivo de decodificação de imagem hierárquica 630 compreende um desmultiplexador 631, uma unidade de decodificação 632 e uma unidade de decodificação 633.

[00396] O desmultiplexador 631 desmultiplexa um fluxo codificado de imagem hierárquica ao qual o fluxo codificado de imagem de camada básica e o fluxo codificado de imagem de camada não básica estão multiplexados e extrai o fluxo codificado de imagem de camada básica e o fluxo codificado de imagem de camada não básica. A unidade de decodificação 632 decodifica o fluxo codificado de imagem de camada básica extraído pelo desmultiplexador 631 e obtém uma imagem de camada básica. A unidade de decodificação 633 decodifica o fluxo codificado de imagem de camada não básica extraído pelo desmultiplexador 631 e obtém uma imagem de camada não básica.

[00397] O dispositivo de decodificação de imagem 200 (Figura 19) pode ser aplicado à unidade de decodificação 632 e à unidade de decodificação 633 do dispositivo de decodificação de imagem hierárquica 630. Neste caso, a unidade de decodificação 632 e a unidade de decodificação 633 do dispositivo de decodificação de imagem hierárquica 630 fixam um parâmetro de quantização usando um valor de diferença entre um parâmetro de quantização fixado pela unidade de codificação 621 do dispositivo de codificação de imagem hierárquica 620 e um parâmetro de quantização fixado pela unidade de codificação 622 e executa uma quantização inversa.

[00398] Além disso, o processamento de salto de transformada ortogonal pode ser executado independentemente em cada visão em cada uma da unidade de decodificação 632 e da unidade de decodificação 633. Além disso, o processamento de quantização inversa, o processamento de filtro de desblocagem ou similar também pode ser executado independentemente na unidade de decodificação 632 e na unidade de decodificação 633. Neste caso, a informação tal como a matriz de quantização, várias bandeiras, e o coeficiente de ponderação incluída no fluxo codificado de imagem hierárquica e transmitida do lado de codificação é separada no desmultiplexador 631 para cada camada e é então provida à unidade de decodificação 632 e à unidade de decodificação 633 em um estado de estar incluída no fluxo codificado para cada camada.

[00399] Adicionalmente, com relação a algum ou o processamento de salto de transformada ortogonal inversa inteiro, o processamento de quantização inversa, e o processamento de filtro de desblocagem, o processamento, a unidade de decodificação 632 e a unidade de decodificação 633 podem ser refletidas um ao outro. Adicionalmente, alguma ou a informação inteira, tal como a informação sobre o processamento de salto da transformada ortogonal inversa compreendendo a informação de habilitar salto ou a informação de identificação de salto, a informação sobre a quantização inversa, e a informação sobre o filtro de desblocagem inverso podem ser compartilhadas na unidade de decodificação 632 e na unidade de decodificação 633. Por exemplo, alguns ou todos os resultados processados (ou informação obtida ou similar) obtidos executando o processamento de salto de transformada ortogonal inversa, o processamento de quantização inversa, e o processamento de filtro de desblocagem no fluxo codificado de imagem de camada básica na unidade de decodificação 632 pode ser provida à unidade de decodificação 633 e pode ser refletida em tais operações de processamento para o fluxo codificado de imagem de camada não básica executado na unidade de decodificação 633 (por exemplo, omissão de processamento duplicado). Naturalmente, pelo contrário, resultados processados (ou informação obtida) obtidos executando o processamento de salto de transformada ortogonal inversa, o processamento de quantização inversa, e o processamento de filtro de desblocagem no fluxo codificado de imagem de camada não básica na unidade de decodificação 633 podem ser providos à unidade de decodificação 632 e podem ser refletidos em tais operações de processamento para o fluxo codificado de imagem de visão básica executado na unidade de decodificação 632 (por exemplo, omissão de processamento duplicado).

[00400] Além disso, a tecnologia presente pode ser aplicada a dispositivos de codificação de imagem e dispositivos de decodificação de imagem que são usados para receber informação de imagem (fluxos de bits) comprimida por transformadas ortogonais tais como transformadas de cosseno discretas e compensação de movimento como em MPEG, H.26x ou similar, por exemplo, por uma mídia de rede tal como radiodifusão por satélite, TV a cabo, a Internet, ou um telefone móvel. Adicionalmente, a tecnologia presente também pode ser aplicada a dispositivos de codificação de imagem e dispositivos de decodificação de imagem que são usados quando a informação de imagem comprimida é processada em um meio de armazenamento tal como um disco óptico ou magnético e uma memória flash. Adicionalmente, a tecnologia presente também pode ser aplicada a um dispositivo de quantização ou um dispositivo de quantização inversa incluído no dispositivo de codificação de imagem, no dispositivo de decodificação de imagem e similar.

6. Sexta Concretização Computador

[00401] A série descrita acima de operações de processamento pode ser executada através de hardware ou executada através de software. Em um caso onde a série de operações de processamento é executada pelo software, programas constituindo o software são instalados em um computador. Aqui, exemplos do computador incluem um computador incorporado em hardware dedicado, um computador pessoal de propósito geral capaz de executar várias funções instalando vários tipos de programas, e assim sucessivamente.

[00402] A Figura 34 é um diagrama de bloco ilustrando um exemplo de uma configuração do hardware do computador no qual a série descrita acima de operações de processamento é executada pelos programas.

[00403] Em um computador 800 ilustrado na Figura 34, uma unidade de processamento central (CPU) 801, uma memória só de leitura (ROM) 802 e uma memória de acesso aleatório (RAM) 803 estão conectadas entre si por um barramento 804.

[00404] Uma interface de entrada/saída 810 também está conectada ao barramento 804. A interface de entrada/saída 810 está conectada a uma unidade de entrada 811, uma unidade de saída 812, uma unidade de armazenamento 813, uma unidade de comunicação 814 e uma unidade de disco 815.

[00405] A unidade de entrada 811 compreende um teclado, um mouse, um microfone, um painel de toque, um terminal de entrada e similar. A unidade de saída 812 compreende, por exemplo, uma exibição, um alto- falante, um terminal de saída e similar. A unidade de armazenamento 813 compreende, por exemplo, um disco rígido, um disco de RAM, uma memória não volátil e similar. A unidade de comunicação 814 compreende, por exemplo, uma interface de rede. A unidade de disco 815 aciona um meio removível 821 tal como um disco magnético, um disco óptico, um disco magneto-óptico, ou uma memória de semicondutor.

[00406] No computador tendo a configuração descrita acima, a CPU 801 pode carregar e executar, por exemplo, os programas armazenados na unidade de armazenamento 813 na RAM 803 pela interface de entrada/saída 810 e o barramento 804, por esse meio executando a série de operações de processamento descritas acima. Dados necessários e similar para a CPU 801 executar vários tipos de operações de processamento são também armazenados apropriadamente na RAM 803.

[00407] Os programas executados pelo computador (ou CPU 801) podem ser aplicados sendo gravados, por exemplo, no meio removível 821, que pode ser usado como um meio de pacote ou similar. Além disso, os programas podem ser providos por um meio de transmissão por fios ou sem fios tal como uma rede de área local, a Internet, ou radiodifusão de satélite digital.

[00408] No computador, os programas podem ser instalados na unidade de armazenamento 813 pela interface de entrada/saída 810 em resposta à fixação do meio removível 821 à unidade de disco 815. Os programas também podem ser recebidos pela unidade de comunicação 814 pelo meio de transmissão por fios ou sem fios e podem ser instalados na unidade de armazenamento 813. Altemativamente, os programas podem ser instalados no ROM 802 ou na unidade de armazenamento 813 com antecedência.

[00409] Adicionalmente, os programas a serem executados pelo computador podem ser processados em ordem cronológica explicada aqui, ou de uma maneira paralela, ou em demanda tal como quando eles são chamados.

[00410] Adicionalmente, nesta especificação, as etapas para descrever os programas a serem gravados no meio de gravação incluem não só operações de processamento que são executadas em ordem cronológica descritas aqui, mas também operações de processamento que são executadas de uma maneira paralela ou individualmente se não forem executadas necessariamente com o passar do tempo.

[00411] Além disso, nesta especificação, um sistema representa uma coleção de uma pluralidade de elementos de componente (dispositivos, módulos (componentes), e similar), e todos os elementos de componente não precisam estar arranjados no mesmo alojamento. Portanto, uma pluralidade de dispositivos acomodados em alojamentos diferentes e interconectados por uma rede é um sistema; e um dispositivo no qual uma pluralidade de módulos está acomodada em um único alojamento é um sistema igualmente.

[00412] Também, nos exemplos descritos acima, qualquer configuração descrita como um dispositivo (ou uma unidade de processamento) pode ser dividida em uma pluralidade de dispositivos (ou unidades de processamento). Reciprocamente, qualquer configuração descrita como uma pluralidade de dispositivos (ou unidades de processamento) pode ser combinada para formar um dispositivo (ou uma unidade de processamento). Além disso, qualquer configuração diferente da configuração descrita acima pode ser adicionada naturalmente à configuração de cada um dos dispositivos (ou cada uma das unidades de processamento). Adicionalmente, uma parte da configuração de um dispositivo (ou uma unidade de processamento) pode ser incluída em uma configuração de outro dispositivo (ou outra unidade de processamento) contanto que a configuração ou operação como o sistema inteiro seja substancialmente a mesma.

[00413] As concretizações preferidas da descrição presente foram descritas em detalhes com referência aos desenhos anexos, mas a extensão técnica da descrição presente não está limitada aos exemplos anteriores. Deveria ser entendido por aqueles qualificados na técnica que várias modificações ou alterações podem ocorrer dentro da extensão do espírito técnico descrito em reivindicações e elas estão dentro da extensão técnica da presente invenção.

[00414] Por exemplo, a tecnologia presente pode adotar uma configuração de computação de nuvem na qual a função é processada cooperativamente em um modo compartilhado por uma pluralidade de dispositivos por uma rede.

[00415] Adicionalmente, cada etapa descrita nos fluxogramas descritos acima pode ser executada não só através de um dispositivo, mas também por uma pluralidade de dispositivos em um modo compartilhado.

[00416] Além disso, se uma etapa compreender uma pluralidade de operações de processamento, a pluralidade de operações de processamento incluída na uma etapa pode ser executada não só através de um dispositivo, mas também por uma pluralidade de dispositivos em um modo compartilhado.

[00417] O dispositivo de codificação de imagem e o dispositivo de decodificação de imagem de acordo com as concretizações anteriores podem ser aplicáveis a vários dispositivos eletrônicos tal como um transmissor ou um receptor para radiodifusão de satélite, radiodifusão por fios tal como uma TV a cabo, distribuição pela Internet e distribuição para um terminal por meio de comunicação celular, um dispositivo de gravação que grava imagens em um meio tal como um disco óptico, um disco magnético e memória flash, e um dispositivo de reprodução que reproduz imagens destes meios de armazenamento. Quatro exemplos de aplicação serão descritos abaixo.

7. Sétima Concretização Primeiro exemplo de aplicação: Receptor de televisão

[00418] A Figura 35 ilustra um exemplo de uma configuração esquemática de um aparelho de televisão ao qual a concretização descrita acima é aplicada. O aparelho de televisão 900 compreende uma antena 901, um sintonizador 902, um desmultiplexador 903, um decodificador 904, uma unidade de processamento de sinal de vídeo 905, uma unidade de exibição 906, uma unidade de processamento de sinal de áudio 907, um alto-falante 908, uma interface externa 909, uma unidade de controle 910, uma interface de usuário 911 e um barramento 912.

[00419] O sintonizador 902 extrai um sinal de canal desejado de sinais radiodifundidos recebidos pela antena 901, e demodula o sinal extraído. O sintonizador 902 produz o fluxo de bits codificado obtido por demodulação ao desmultiplexador 903. Quer dizer, o sintonizador 902 desempenha um papel de uma unidade de transmissão do aparelho de televisão 900 que recebe um fluxo codificado obtido codificando uma imagem.

[00420] O desmultiplexador 903 separa um fluxo de vídeo e um fluxo de áudio de um programa visado de visão do fluxo de bits codificado, e produz cada um dos fluxos separados para o decodificador 904. Adicionalmente, o desmultiplexador 903 extrai dados auxiliares tal como um guia de programa eletrônico (EPG) do fluxo de bits codificado, e provê os dados extraídos para a unidade de controle 910. Além disso, o desmultiplexador 903 pode executar desembaralha mento quando o fluxo de bits codificado está embaralhado.

[00421] O decodificador 904 decodifica o fluxo de vídeo e o fluxo de áudio entrados do desmultiplexador 903. Adicionalmente, o decodificador 904 produz dados de vídeo, que são gerados por um processamento de decodificação, para a unidade de processamento de sinal de vídeo 905. Além disso, o decodificador 904 produz dados de áudio, que são gerados por um processamento de decodificação, para a unidade de processamento de sinal de áudio 907.

[00422] A unidade de processamento de sinal de vídeo 905 reproduz os dados de vídeo introduzidos do decodificador 904, e exibe uma imagem de vídeo na unidade de exibição 906. Adicionalmente, a unidade de processamento de sinal de vídeo 905 pode exibir na unidade de exibição 906 uma tela de aplicativo provida por uma rede. Além disso, a unidade de processamento de sinal de vídeo 905 pode executar uma operação de processamento adicional tal como, por exemplo, remoção de ruído nos dados de vídeo de acordo com a colocação. Adicionalmente, a unidade de processamento de sinal de vídeo 905 pode gerar uma imagem de uma interface gráfica de usuário (GUI) tal como, por exemplo, um menu, botões, um cursor, e sobrepor a imagem gerada sobre uma imagem de saída.

[00423] A unidade de exibição 906 é excitada por um sinal de excitação provido da unidade de processamento de sinal de vídeo 905, e exibe uma imagem de vídeo ou uma imagem em uma superfície de exibição de vídeo de um dispositivo de exibição (por exemplo, uma exibição de cristal líquido, uma exibição de plasma, ou uma exibição de eletroluminescência orgânica (OELD) (exibição EL orgânica)).

[00424] A unidade de processamento de sinal de áudio 907 executa uma operação de reprodução tal como uma conversão D/A e amplificação nos dados de áudio entrados do decodificador 904, e produz um áudio do alto- falante 908. Adicionalmente, a unidade de processamento de sinal de áudio 907 pode executar uma operação de processamento adicional tal como remoção de ruído nos dados de áudio.

[00425] A interface externa 909 é uma interface que está configurada para conectar o aparelho de televisão 900 e um dispositivo externo ou a rede entre si. Por exemplo, um fluxo de vídeo ou um fluxo de áudio recebido pela interface externa 909 pode ser decodificado pelo decodifícador 904. Quer dizer, a interface externa 909 também desempenha um papel de uma unidade de transmissão no aparelho de televisão 900 que recebe fluxos codificados de imagens codificadas.

[00426] A unidade de controle 910 tem um processador tal como uma CPU e uma memória tal como RAM e ROM. A memória armazena programas a serem executados pela CPU, dados de programa, dados de EPG, e dados adquiridos pela rede. O programa armazenado na memória é lido e executado pela CPU na hora de ativação do aparelho de televisão 900. Executando o programa, a CPU controla a operação do aparelho de televisão 900 de acordo com, por exemplo, um sinal de operação entrado da interface de usuário 911.

[00427] A interface de usuário 911 está conectada à unidade de controle 910. A interface de usuário 911 tem, por exemplo, botões e chaves que um usuário usa para operar o aparelho de televisão 900, e uma unidade de recepção que recebe um sinal de controle remoto. A interface de usuário 911 detecta a operação de um usuário por estes componentes, gera um sinal de operação, e produz o sinal de operação gerado para a unidade de controle 910.

[00428] O barramento 912 está configurado para conectar o sintonizador 902, o desmultiplexador 903, o decodifícador 904, a unidade de processamento de sinal de vídeo 905, a unidade de processamento de sinal de áudio 907, a interface externa 909 e a unidade de controle 910 entre si.

[00429] No aparelho de televisão 900 tendo esta configuração, o decodificador 904 tem uma função do dispositivo de decodificação de imagem de acordo com as concretizações anteriores. Consequentemente, na decodificação de uma imagem no aparelho de televisão 900, é possível alcançar a supressão da redução da eficiência de codificação e alcançar a supressão da deterioração da qualidade de imagem devido à codifícação/decodificação.

Segundo exemplo de aplicação: Telefone móvel

[00430] A Figura 36 ilustra um exemplo de uma configuração esquemática de um telefone celular ao qual concretizações acima são aplicadas. Um telefone móvel 920 compreende uma antena 921, uma unidade de comunicação 922, um codec de áudio 923, um alto-falante 924, um microfone 925, uma unidade de câmera 926, uma unidade de processamento de imagem 927, uma unidade de multiplexação/separação 928, uma unidade de gravação/reprodução 929, uma unidade de exibição 930, uma unidade de controle 931, uma unidade de operação 932 e um barramento 933.

[00431] A antena 921 está conectada à unidade de comunicação 922. O alto-falante 924 e o microfone 925 estão conectados ao codec de áudio 923. A unidade de operação 932 está conectada à unidade de controle 931. O barramento 933 está configurado para conectar a unidade de comunicação 922, o codec de áudio 923, a unidade de câmera 926, a unidade de processamento de imagem 927, a unidade de multiplexação/separação 928, a unidade de gravação/reprodução 929, a unidade de exibição 930 e a unidade de controle 931 entre si.

[00432] O telefone móvel 920 executa várias operações tais como transmissão e recepção de sinais de áudio, transmissão e recepção de correio eletrônico e dados de imagem, captura de imagem, e gravação de dados, em vários tipos de modos tais como um modo de comunicação de áudio, um modo de comunicação de dados, um modo fotográfico, e um modo de vídeotelefone.

[00433] No modo de comunicação de áudio, um sinal de áudio analógico gerado no microfone 925 é provido ao codec de áudio 923. O codec de áudio 923 converte um sinal de áudio analógico em dados de áudio, e executa uma conversão A/D e comprime os dados de áudio convertidos. Adicionalmente, o codec de áudio 923 produz os dados de áudio comprimidos para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula os dados de áudio e gera um sinal de transmissão. Adicionalmente, a unidade de comunicação 922 transmite o sinal de transmissão gerado para uma estação básica (não ilustrada) pela antena 921. Além disso, a unidade de comunicação 922 amplifica e executa uma conversão de frequência em um sinal de rádio recebido pela antena 921, e obtém o sinal recebido. Ainda adicionalmente, a unidade de comunicação 922 demodula e decodifica o sinal recebido, gera dados de áudio, e produz os dados de áudio gerados para o codec de áudio 923. O codec de áudio 923 descomprime os dados de áudio e executa uma conversão D/A nos dados de áudio, e gera um sinal de áudio analógico. Adicionalmente, o codec de áudio 923 provê o sinal de áudio gerado para o alto-falante 924 e produz um áudio.

[00434] Além disso, no modo de comunicação de dados, por exemplo, a unidade de controle 931 gera dados de texto que constituem um correio eletrônico de acordo com a operação de um usuário pela unidade de operação 932. Adicionalmente, a unidade de controle 931 exibe um texto na unidade de exibição 930. Além disso, a unidade de controle 931 gera dados de correio eletrônico de acordo com instrução de transmissão do usuário pela unidade de operação 932, e produz os dados de correio eletrônico gerados para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula os dados de correio eletrônico e gera um sinal de transmissão. Adicionalmente, a unidade de comunicação 922 transmite o sinal de transmissão gerado para uma estação base (não ilustrada) pela antena 921. Além disso, a unidade de comunicação 922 amplifica e executa uma conversão de frequência em um sinal de rádio recebido pela antena 921, e adquire o sinal recebido. Ainda adicionalmente, a unidade de comunicação 922 demodula e decodifica o sinal recebido, restaura dados de correio eletrônico, e produz os dados de correio eletrônico restaurados para a unidade de controle 931. A unidade de controle 931 exibe o conteúdo do correio eletrônico na unidade de exibição 930, e provê os dados de correio eletrônico para a unidade de gravação/reprodução 929 para permitir aos dados serem escritos no meio de armazenamento.

[00435] A unidade de gravação/reprodução 929 tem um meio de armazenamento de legível/gravável arbitrário. Por exemplo, o meio de armazenamento pode ser um meio de armazenamento embutido tal como uma RAM ou memória flash, e pode ser um meio de armazenamento que é um tipo de fixação externa tal como um disco rígido, um disco magnético, um disco magneto-óptico, um disco óptico, uma memória de mapa de bits não alocada espacial (USB), ou um cartão de memória.

[00436] Adicionalmente, no modo fotográfico, por exemplo, a unidade de câmera 926 captura uma imagem de um objeto, gera dados de imagem, e produz os dados de imagem gerados para a unidade de processamento de imagem 927. A unidade de processamento de imagem 927 codifica os dados de imagem introduzidos da unidade de câmera 926, e provê o fluxo codificado para a unidade de gravação/reprodução 929 para permitir ao fluxo ser gravado no meio de armazenamento. Além disso, em um modo de exibição de imagem, a unidade de gravação/reprodução 929 lê o fluxo codificado armazenado no meio de armazenamento e o produz para a unidade de processamento de imagem 927. A unidade de processamento de imagem 927 decodifica o fluxo codificado entrado da unidade de gravação/reprodução 929 e provê os dados de imagem para a unidade de exibição 930 para exibir a imagem nela.

[00437] Adicionalmente, no modo de vídeotelefone, por exemplo, a unidade de multiplexação/separação 928 multiplexa o fluxo de vídeo codificado pela unidade de processamento de imagem 927 e o fluxo de áudio entrado do codec de áudio 923, e produz o fluxo multiplexado à unidade de comunicação 922. A unidade de comunicação 922 codifica e modula o fluxo, e gera um sinal de transmissão. Adicionalmente, a unidade de comunicação 922 transmite o sinal de transmissão gerado para uma estação base (não ilustrada) pela antena 921. Além disso, a unidade de comunicação 922 amplifica e executa uma conversão de frequência em um sinal de rádio recebido pela antena 921, e adquire o sinal recebido. Estes sinais de transmissão e sinal recebido podem compreender fluxos de bits codificados. Adicionalmente, a unidade de comunicação 922 demodula e decodifica o sinal recebido, restaura o fluxo, e produz o fluxo restaurado para a unidade de multiplexação/separação 928. A unidade de multiplexação/separação 928 separa o fluxo de vídeo e o fluxo de áudio do fluxo de entrada, e produz o fluxo de vídeo para a unidade de processamento de imagem 927 e o fluxo de áudio para o codec de áudio 923. A unidade de processamento de imagem 927 decodifica o fluxo de vídeo e gera os dados de vídeo. Os dados de vídeo são providos à unidade de exibição 930, e a unidade de exibição 930 exibe uma série de imagens. O codec de áudio 923 descomprime e executa uma conversão D/A no fluxo de áudio, e gera um sinal de áudio analógico. Adicionalmente, o codec de áudio 923 provê o sinal de áudio gerado para o alto-falante 924 e produz um áudio.

[00438] No telefone móvel 920 tendo a configuração anterior, a unidade de processamento de imagem 927 tem funções do dispositivo de codificação de imagem e do dispositivo de decodificação de imagem de acordo com as concretizações anteriores. Consequentemente, na codificação e decodificação de uma imagem no telefone móvel 920, é possível suprimir a redução da eficiência de codificação e suprimir a deterioração da qualidade de imagem devido à codificação/decodificação. Terceiro exemplo de aplicação: Dispositivo de gravação e reprodução

[00439] A Figura 37 ilustra um exemplo de uma configuração esquemática de um dispositivo de gravação e reprodução ao qual concretizações anteriores são aplicadas. Um dispositivo de gravação e reprodução 940 codifica, por exemplo, dados de áudio e dados de vídeo do programa de radiodifusão recebido e grava os dados no meio de gravação. Adicionalmente, o dispositivo de gravação e reprodução 940 pode codificar, por exemplo, dados de áudio e dados de vídeo adquiridos de outro dispositivo e gravar os dados no meio gravação. Além disso, o dispositivo de gravação e reprodução 940 reproduz dados gravados no meio de gravação em um monitor e um alto-falante de acordo com, por exemplo, a instrução do usuário. Neste momento, o dispositivo de gravação e reprodução 940 decodifica os dados de áudio e os dados de vídeo.

[00440] O dispositivo de gravação e reprodução 940 compreende um sintonizador 941, uma interface externa 942, um codificador 943, uma unidade de disco rígido (HDD) 944, uma unidade de disco 945, um seletor 946, um decodificador 947, uma exibição em tela (OSD) 948, uma unidade de controle 949 e uma interface de usuário 950.

[00441] O sintonizador 941 extrai um sinal de canal desejado de sinais de radiodifusão recebidos por uma antena (não ilustrada), e demodula o sinal extraído. Adicionalmente, o sintonizador 941 produz um fluxo de bís codificado, que é obtido através de demodulação, para o seletor 946. Quer dizer, o sintonizador 941 desempenha um papel de uma unidade de transmissão no dispositivo de gravação e reprodução 940.

[00442] A interface externa 942 é uma interface que conecta o dispositivo de gravação e reprodução 940 e um dispositivo externo ou a rede entre si. A interface externa 942 pode ser uma interface de IEEE 1394, uma interface de rede, uma interface de USB, interface de memória flash, e similar. Por exemplo, os dados de vídeo e os dados de áudio recebidos pela interface externa 942 são entrados ao codificador 943. Quer dizer, a interface externa 942 desempenha um papel de uma unidade de transmissão no dispositivo de gravação e reprodução 940.

[00443] Quando os dados de vídeo e os dados de áudio introduzidos da interface externa 942 não estão codificados, o codificador 943 codifica os dados de vídeo e os dados de áudio. Adicionalmente, o codificador 943 produz um fluxo de bits codificado para o seletor 946.

[00444] O HDD 944 grava fluxos de bits codificados obtidos comprimindo dados de conteúdo tais como vídeo e áudio, vários programas, e outros dados em um disco rígido interno. Adicionalmente, o HDD 944 extrai estes tipos de dados do disco rígido na hora de reprodução de um vídeo e um áudio.

[00445] A unidade de disco 945 grava e extrai dados dentro e de um meio de gravação fixado. Um meio de gravação fixado à unidade de disco 945 pode ser, por exemplo, um disco de DVD (tal como DVD-Vídeo, DVD- RAM, DVD-R, DVD-RW, DVD+R, e DVD+RW) ou um disco de Blu-ray (marca registrada).

[00446] Na hora de gravação de vídeo e áudio, o seletor 946 seleciona um fluxo de bits codificado entrado do sintonizador 941 ou do codificador 943 e produz o fluxo de bits codificado selecionado para o HDD 944 ou a unidade de disco 945. Adicionalmente, o seletor 946 produz um fluxo de bits codificado entrado de fluxo do HDD 944 ou da unidade de disco 945 para o decodifícador 947 na hora de reprodução de vídeo e áudio.

[00447] O decodifícador 947 decodifica o fluxo de bits codificado e gera dados de vídeo e dados de áudio. Adicionalmente, o decodifícador 947 produz os dados de vídeo gerados para o OSD 948. Além disso, o decodifícador 904 produz os dados de áudio gerados para um alto-falante externo.

[00448] O OSD 948 reproduz dados de vídeo introduzidos do decodifícador 947 e exibe uma imagem de vídeo. Adicionalmente, o OSD 948 pode sobrepor uma imagem de GUI tal como um menu, botões ou um cursor na imagem de vídeo a ser exibida.

[00449] A unidade de controle 949 tem um processador tal como uma CPU, e uma memória tal como RAM e ROM. A memória armazena programas a serem executados pela CPU, e dados de programa. O programa armazenado na memória é lido e executado pela CPU, por exemplo, na hora de ativação do dispositivo de gravação e reprodução 940. Executando o programa, a CPU controla a operação do dispositivo de gravação e reprodução 940 de acordo com, por exemplo, um sinal de operação entrado da interface de usuário 950.

[00450] A interface de usuário 950 está conectada à unidade de controle 949. A interface de usuário 950 tem, por exemplo, botões e chave que são usados para operar o dispositivo de gravação e reprodução 940 por um usuário, e uma unidade de recepção que recebe um sinal de controle remoto. A interface de usuário 950 detecta a operação de um usuário por estes componentes, gera um sinal de operação, e produz o sinal de operação gerado para a unidade de controle 949.

[00451] No dispositivo de gravação e reprodução 940 tendo a configuração anterior, o codificador 943 tem uma função do dispositivo de codificação de imagem de acordo com as concretizações anteriores. Adicionalmente, o decodificador 947 tem uma função do dispositivo de decodificação de imagem de acordo com as concretizações anteriores. Consequentemente, na codificação e decodificação de uma imagem no dispositivo de gravação e reprodução 940, é possível suprimir a redução da eficiência de codificação e suprimir a deterioração da qualidade de imagem devido à codificação/decodificação.

Quarto exemplo de aplicação: Dispositivo de geração de imagem

[00452] A Figura 38 ilustra um exemplo de uma configuração esquemática de um dispositivo de geração de imagem ao qual as concretizações anteriores são aplicadas. Um dispositivo de geração de imagem 960 captura uma imagem de um objeto, gera uma imagem, codifica dados de imagem, e grava os dados de imagem em um meio de gravação.

[00453] O dispositivo de geração de imagem 960 compreende um bloco óptico 961, uma unidade de geração de imagem 962, uma unidade de processamento de sinal 963, uma unidade de processamento de imagem 964, uma unidade de exibição 965, uma interface externa 966, uma memória 967, uma unidade de mídia 968, um OSD 969, uma unidade de controle 970, uma interface de usuário 971 e um barramento 972.

[00454] O bloco óptico 961 está conectado a uma unidade de geração de imagem 962. A unidade de geração de imagem 962 está conectada à unidade de processamento de sinal 963. A unidade de exibição 965 está conectada à unidade de processamento de imagem 964. A interface de usuário 971 está conectada à unidade de controle 970. O barramento 972 está configurado para conectar a unidade de processamento de imagem 964, a interface 966 externa, a memória 967, a unidade de mídia 968, o OSD 969 e a unidade de controle 970 entre si.

[00455] O bloco óptico 961 tem uma lente de foco, um diafragma, e similar. O bloco óptico 961 forma uma imagem óptica de um objeto na superfície de geração de imagem da unidade de geração de imagem 962. A unidade de geração de imagem 962 tem um sensor de imagem tal como um dispositivo acoplado por carga (CCD) ou um semicondutor de óxido de metal complementar (CMOS) e converte a imagem óptica formada na superfície de geração de imagem em um sinal de imagem como um sinal elétrico através de conversão fotoelétrica. Adicionalmente, a unidade de geração de imagem 962 produz o sinal de imagem para a unidade de processamento de sinal 963.

[00456] A unidade de processamento de sinal 963 executa vários tipos de operações de processamento de sinal de câmera tais como uma correção de joelho, uma correção de gama, e uma correção de cor no sinal de imagem entrado da unidade de geração de imagem 962. A unidade de processamento de sinal 963 produz dados de imagem, em que a operação de processamento de sinal de câmera é executada, para a unidade de processamento de imagem 964.

[00457] A unidade de processamento de imagem 964 codifica os dados de imagem introduzidos da unidade de processamento de sinal 963 e gera os dados codificados. Adicionalmente, a unidade de processamento de imagem 964 produz os dados codificados gerados para a interface externa 966 ou a unidade de mídia 968. Além disso, a unidade de processamento de imagem 964 decodifica os dados codificados introduzidos da interface externa 966 ou da unidade de mídia 968 e gera dados de imagem. Ainda adicionalmente, a unidade de processamento de imagem 964 produz os dados de imagem gerados para a unidade de exibição 965. Além disso, a unidade de processamento de imagem 964 pode produzir os dados de imagem introduzidos da unidade de processamento de sinal 963 para a unidade de exibição 965 e exibir uma imagem. Adicionalmente, a unidade de processamento de imagem 964 pode sobrepor dados de exibição adquiridos do OSD 969, na imagem a ser produzida à unidade de exibição 965.

[00458] O OSD 969 gera uma imagem de GUI tal como um menu, botões ou um cursor, e produz a imagem gerada para a unidade de processamento de imagem 964.

[00459] A interface externa 966 está configurada como, por exemplo, um terminal de entrada/saída de USB. A interface externa 966 conecta o dispositivo de geração de imagem 960 e uma impressora um ao outro, por exemplo, na hora de impressão de uma imagem. Adicionalmente, a interface externa 966 está conectada com uma unidade de disco, se necessário. A unidade de disco é fixada com um meio removível tal como um disco magnético ou um disco óptico, e o programa lido do meio removível pode ser instalado no dispositivo de geração de imagem 960. Adicionalmente, a interface externa 966 pode ser configurada como uma interface de rede conectada a uma rede tal como uma LAN ou a Internet. Quer dizer, a interface externa 966 desempenha um papel de uma unidade de transmissão no dispositivo de geração de imagem 960.

[00460] Um meio de gravação fixado à unidade de mídia 968 pode ser um meio removível legível/gravável tal como um disco magnético, um disco magneto-óptico, um disco óptico, ou uma memória de semicondutor. Adicionalmente, um meio de gravação é fixado fixamente à unidade de mídia 968, e, por exemplo, uma unidade de armazenamento não portátil tal como uma unidade de disco rígido embutido ou uma unidade de estado sólido (SSD) pode ser configurada.

[00461] A unidade de controle 970 tem um processador tal como uma CPU, e uma memória tal como RAM e ROM. A memória armazena programas a serem executados pela CPU, e dados de programa. O programa armazenado na memória é lido e executado pela CPU, por exemplo, na hora de ativação do dispositivo de geração de imagem 960. Executando o programa, a CPU controla a operação do dispositivo de geração de imagem 960 de acordo com, por exemplo, um sinal de operação entrado da interface de usuário 971.

[00462] A interface de usuário 971 está conectada à unidade de controle 970. A interface de usuário 971 tem, por exemplo, botões e chaves que são usados para operar o dispositivo de geração de imagem 960 por um usuário. A interface de usuário 971 detecta a operação de um usuário por estes componentes, gera um sinal de operação, e produz o sinal de operação gerado para a unidade de controle 970.

[00463] No dispositivo de geração de imagem 960 tendo a configuração anterior, a unidade de processamento de imagem 964 tem funções do dispositivo de codificação de imagem e do dispositivo de decodificação de imagem de acordo com as concretizações anteriores. Consequentemente, na codificação e decodificação de uma imagem no dispositivo de geração de imagem 960, é possível suprimir a redução da eficiência de codificação e suprimir a deterioração da qualidade de imagem devido à codifícação/decodificação.

8. Oitava Concretização Exemplo de aplicação de codificação graduável: Primeiro sistema

[00464] A seguir, um exemplo específico de uso de dados codificados graduáveis que foram sujeitos à codificação graduável (ou codificação hierárquica (imagem)) será descrito. A codificação graduável pode ser usada para, por exemplo, uma seleção de dados a serem transmitidos, como em um exemplo ilustrado na Figura 39.

[00465] Em um sistema de transmissão de dados 1000 ilustrado na Figura 39, um servidor de distribuição 1002 extrai dados codificados graduáveis armazenados em uma unidade de armazenamento de dados codificados graduáveis 1001 e distribui os dados codificados graduáveis para dispositivos terminais, tais como um computador pessoal 1004, um dispositivo de AV 1005, um dispositivo de tablete 1006 e um telefone móvel 1007, por uma rede 1003.

[00466] Neste momento, o servidor de distribuição 1002 seleciona dados codificados tendo qualidade apropriada conforme o desempenho do dispositivo terminal e o ambiente de comunicação, e transmite os dados codificados selecionados. Até mesmo se o servidor de distribuição 1002 transmitir dados tendo a qualidade mais alta que necessário, o dispositivo terminal pode não obter necessariamente uma imagem de alta qualidade, e pode causar atraso ou transbordamento. Além disso, tais dados podem ocupar largura de banda de comunicação mais que necessária, ou podem aumentar a carga no dispositivo terminal mais que necessária. Reciprocamente, até mesmo se o servidor de distribuição 1002 transmitir dados tendo qualidade mais baixa que necessária, o dispositivo terminal pode não obter uma imagem com uma qualidade suficiente no dispositivo. Assim, o servidor de distribuição 1002 extrai os dados codificados graduáveis armazenados na unidade armazenamento de dados codificados graduáveis 1001, se necessário, como dados codificados tendo qualidade apropriada para certas condições tais como o desempenho do dispositivo terminal e ambiente de comunicação, e transmite os dados codificados lidos.

[00467] Por exemplo, a unidade de armazenamento de dados codificados graduáveis 1001 armazena dados codificados graduáveis (BL+EL) 1011 que foram sujeitos à codificação graduável. Os dados codificados graduáveis (BL+EL) 1011 são dados codificados compreendendo ambas uma camada básica e uma camada de aprimoramento e são dados que são decodificados para obter ambas imagens de camada básica e imagens de camada de aprimoramento.

[00468] O servidor de distribuição 1002 seleciona uma camada apropriada conforme o desempenho do dispositivo terminal que transmite dados e o ambiente de comunicação, e extrai os dados da camada. Por exemplo, o servidor de distribuição 1002 extrai dados codificados graduáveis de alta qualidade (BL+EL) 1011 da unidade de armazenamento de dados codificados graduáveis 1001 e transmite os dados codificados graduáveis lidos como estão para o computador pessoal 1004 ou o dispositivo de tablete 1006 tendo capacidades de alto processamento. Em contraste, por exemplo, o servidor de distribuição 1002 extrai os dados da camada básica dos dados codificados graduáveis (BL+EL) 1011 e transmite os dados extraídos da camada básica ao dispositivo de AV 1005 ou ao telefone móvel 1007 que tem capacidades de baixo processamento, como dados codificados graduáveis (BL) 1012 tendo o mesmo conteúdo como os dados codificados graduáveis (BL+EL) 1011 e tendo qualidade mais baixa que os dados codificados graduáveis (BL+EL) 1011.

[00469] Desta maneira, o uso de dados codificados graduáveis pode facilitar o ajuste da quantidade de dados, por esse meio suprimindo a ocorrência de atraso ou transbordamento e suprimindo um aumento desnecessário na carga no dispositivo terminal ou no meio de comunicação. Além disso, desde que os dados codificados graduáveis (BL+EL) 1011 reduziram redundância entre camadas, é possível reduzir a quantidade de dados comparado a um caso de ter dados codificados individualmente, das camadas respectivas. Portanto, a área de armazenamento da unidade de armazenamento de dados codificados graduáveis 1001 pode ser utilizada mais eficazmente.

[00470] Adicionalmente, desde que vários dispositivos tais como o computador pessoal 1004 e o telefone móvel 1007 podem ser aplicados ao dispositivo terminal, desempenho de hardware do dispositivo terminal pode ser dependente de dispositivo. Além disso, desde que vários aplicativos também são executáveis pelo dispositivo terminal, capacidades de software dos aplicativos podem variar. Além disso, a rede 1003 servindo como um meio de comunicação pode ser adotada como qualquer rede de linha de comunicação que pode ser por fios, sem fios, ou ambos, tal como a Internet ou uma rede de área local (LAN), e ter várias capacidades de transmissão de dados. Além disso, tal desempenho e capacidades podem variar com outra comunicação e similar.

[00471] Portanto, antes do começo de transmissão de dados, o servidor de distribuição 1002 pode se comunicar com um dispositivo terminal para qual os dados serão transmitidos, e pode obter informação relativa às capacidades do dispositivo terminal, tal como o desempenho de hardware do dispositivo terminal ou o desempenho de aplicativo (software) executado pelo dispositivo terminal, e também informação relativa ao ambiente de comunicação, tal como a largura de banda disponível da rede 1003. Então, o servidor de distribuição 1002 pode selecionar uma camada apropriada na base da informação obtida.

[00472] A extração de uma camada pode ser executada por um dispositivo terminal. Por exemplo, o computador pessoal 1004 pode decodificar os dados codificados graduáveis transmitidos (BL+EL) 1011 e exibir uma imagem de camada básica ou uma imagem de camada de aprimoramento. Alternativamente, por exemplo, o computador pessoal 1004 pode extrair os dados codificados graduáveis (BL) 1012 da camada básica dos dados codificados graduáveis (BL+EL) 1011, armazenar os dados codificados graduáveis extraídos ou transmitir os dados para outro dispositivo, ou decodificar os dados para exibir a imagem de camada básica.

[00473] Naturalmente, o número de unidades de armazenamento de dados codificados graduáveis 1001, o número de servidores de distribuição 1002, o número de redes 1003, e o número de dispositivos terminais é arbitrário. Além disso, enquanto um exemplo no qual o servidor de distribuição 1002 transmite dados para o dispositivo terminal é descrito acima, exemplos de aplicação não estão limitados a isso. O sistema de transmissão de dados 1000 pode ser aplicado a qualquer sistema contanto que o sistema selecione e transmita uma camada apropriada, ao transmitir dados codificados que foram sujeitos à codificação graduável ao dispositivo terminal, conforme certas condições tais como as capacidades do dispositivo terminal e o ambiente de comunicação.

[00474] Os mesmos efeitos como aqueles descritos acima com referência às Figuras 1 a 31 podem ser obtidos aplicando a mesma tecnologia como na aplicação à codificação hierárquica/decodificação hierárquica descrita acima com referência às Figuras 1 a 31 no sistema de transmissão de dados 1000 ilustrado na Figura 39. Exemplo de aplicação de codificação graduável: Segundo sistema

[00475] Codificação graduável também pode ser usada para transmissão por uma pluralidade de meios de comunicação, como em um exemplo ilustrado, por exemplo, na Figura 40.

[00476] Em um sistema de transmissão de dados 1100 ilustrado na Figura 40, uma estação de radiodifusão 1101 transmite dados codificados graduáveis (BL) 1121 de uma camada básica por radiodifusão terrestre 1111. Além disso, a estação de radiodifusão 1101 transmite dados codificados graduáveis (EL) 1122 da camada de aprimoramento por uma rede arbitrária 1112, que está configurada por uma rede de comunicação por fios, uma rede de comunicação sem fios, ou ambas as redes de comunicação por fios e sem fios (por exemplo, os dados são empacotados e transmitidos).

[00477] Um dispositivo terminal 1102 tem uma função de receber a radiodifusão terrestre 1111 que é radiodifundida pela estação de radiodifusão 1101 e recebe os dados codificados graduáveis (BL) 1121 da camada básica transmitidos pela radiodifusão terrestre 1111. O dispositivo terminal 1102 adicionalmente tem uma função de comunicação para executar comunicação pela rede 1112 e recebe os dados codificados graduáveis (EL) 1122 da camada de aprimoramento transmitidos pela rede 1112.

[00478] O dispositivo terminal 1102, por exemplo, conforme a instrução de um usuário ou similar, adquire uma imagem da camada básica decodificando os dados codificados graduáveis (BL) 1121 da camada básica que são adquiridos pela radiodifusão terrestre 1111, armazena os dados codificados graduáveis adquiridos, ou transmite os dados adquiridos para outro dispositivo.

[00479] Além disso, o dispositivo terminal 1102, por exemplo, conforme a instrução de um usuário, compõe os dados codificados graduáveis (BL) 1121 da camada básica que são adquiridos pela radiodifusão terrestre 1111 e os dados codificados graduáveis (EL) 1122 da camada de aprimoramento que são adquiridos pela rede 1112 de modo a adquirir os dados codificados graduáveis (BL+EL), decodifica os dados codificados graduáveis para adquirir ou armazenar uma imagem da camada de aprimoramento, ou transmite os dados codificados graduáveis para outro dispositivo.

[00480] Como descrito acima, os dados codificados graduáveis podem ser transmitidos por, por exemplo, um meio de comunicação diferente para cada camada. Assim, a carga pode ser distribuída, e a ocorrência de um atraso ou um transbordamento pode ser suprimida.

[00481] Além disso, dependendo da situação, o meio de comunicação que é usado para a transmissão pode ser configurado para ser selecionável para cada camada. Por exemplo, pode ser configurado tal que os dados codificados graduáveis (BL) 1121 da camada básica da qual a quantidade de dados é relativamente grande sejam transmitidos por um meio de comunicação tendo uma largura de banda larga, e os dados codificados graduáveis (EL) 1122 da camada de aprimoramento de qual a quantidade de dados é relativamente pequena sejam transmitidos por um meio de comunicação tendo uma largura de banda estreita. Além disso, por exemplo, o meio de comunicação pelo qual os dados codificados graduáveis (EL) 1122 da camada de aprimoramento são transmitidos pode ser configurado para ser trocado entre a rede 1112 e a radiodifusão terrestre 1111 conforme a largura de banda utilizável da rede 1112. Isto se aplica semelhantemente aos dados de uma camada arbitrária.

[00482] Controlando como tal, um aumento na carga para a transmissão de dados pode ser suprimido adicionalmente.

[00483] Aqui, o número de camadas é arbitrário, e o número de meios de comunicação usados para a transmissão também é arbitrário. Além disso, o número dos dispositivos terminais 1102 que são o destino de entrega de dados é arbitrário igualmente. Além disso, enquanto, na descrição apresentada acima, o exemplo foi descrito no qual radiodifusão é executada da estação de radiodifusão 1101, o exemplo do uso não está limitado a isso. O sistema de transmissão de dados 1100 pode ser aplicado a um sistema arbitrário contanto que o sistema divida dados codificados que são codificados em uma maneira codificada graduável em uma pluralidade de partes em unidades de camadas e transmite os dados divididos por uma pluralidade de linhas.

[00484] Então, até mesmo no sistema de transmissão de dados 1100 ilustrado na Figura 40, é possível obter efeitos semelhantes àqueles descritos acima com referência às Figuras 1 a 31 aplicando a tecnologia presente da mesma maneira como a aplicação à codificação hierárquica/decodificação hierárquica descritas acima com referência às Figuras 1 a 31.

Exemplo de aplicação de codificação graduável: Terceiro sistema

[00485] Codificação graduável também pode ser usada para armazenar dados codificados, como em um exemplo ilustrado, por exemplo, na Figura 41.

[00486] Em um sistema de geração de imagem 1200 ilustrado na Figura 41, um dispositivo de geração de imagem 1201 executa codificação graduável de dados de imagem que são adquiridos visualizando um assunto 1211 e provê dados de imagem resultantes para um dispositivo de armazenamento de dados codificados graduáveis 1202 como dados codificados graduáveis (BL+EL) 1221.

[00487] O dispositivo de armazenamento de dados codificados graduáveis 1202 armazena os dados codificados graduáveis (BL+EL) 1221 providos do dispositivo de geração de imagem 1201 com qualidade de acordo com a situação. Por exemplo, no caso de um tempo normal, o dispositivo de armazenamento de dados codificados graduáveis 1202 extrai dados da camada básica dos dados codificados graduáveis (BL+EL) 1221 e armazena os dados extraídos da camada básica como dados codificados graduáveis (BL) 1222 da camada básica tendo baixa qualidade e uma pequena quantidade de dados. Em contraste, por exemplo, no caso de um tempo de atenção, o dispositivo de armazenamento de dados codificados graduáveis 1202 armazena os dados codificados graduáveis (BL+EL) 1221 tendo uma qualidade alta e uma grande quantidade de dados como estão.

[00488] Deste modo, o dispositivo de armazenamento de dados codificados graduáveis 1202 pode armazenar uma imagem com qualidade de imagem alta só quando necessário. Por conseguinte, enquanto uma diminuição no valor da imagem devido à deterioração da qualidade de imagem é suprimida, um aumento na quantidade de dados pode ser suprimido, por meio de que a eficiência de uso da área de armazenamento pode ser melhorada.

[00489] Por exemplo, o dispositivo de geração de imagem 1201 pode ser uma câmera de monitoramento. Quando um objeto sendo monitorado (por exemplo, um intruso) não é visível em uma imagem capturada (no caso do tempo normal), é provável que o conteúdo da imagem capturada não seja importante. Assim, uma diminuição na quantidade de dados é priorizada, e os dados de imagem (dados codificados graduáveis) da imagem são armazenados com baixa qualidade. Em contraste, quando um objeto a ser monitorado é visível como o assunto 1211 em uma imagem capturada (no caso do tempo de atenção), é provável que a imagem capturada tenha conteúdo importante. Assim, qualidade de imagem é priorizada, e os dados de imagem (dados codificados graduáveis) da imagem são armazenados com uma qualidade alta.

[00490] Tanto o tempo normal ou o tempo de atenção pode ser determinado, por exemplo, pelo dispositivo de armazenamento de dados codificados graduáveis 1202 analisando a imagem. Além disso, o dispositivo de geração de imagem 1201 pode determinar o tempo normal ou o tempo de atenção e pode transmitir o resultado de determinação para o dispositivo de armazenamento de dados codificados graduáveis 1202.

[00491] Aqui, o critério de determinação tanto do tempo normal ou do tempo de atenção pode ser arbitrário, e a imagem que é considerada ser como o critério de determinação pode ter qualquer conteúdo. Naturalmente, condições diferentes do conteúdo da imagem podem ser usadas como o critério de determinação. Por exemplo, a condição para determinação pode ser mudada conforme o tamanho, a forma de onda, ou similar de voz gravada, pode ser mudado para todo tempo predeterminado, ou pode ser mudado conforme uma instrução que é provida do exterior tal como a instrução de um usuário.

[00492] Além disso, enquanto a descrição foi dada para um exemplo de mudar entre dois estados, isto é, tempo normal e tempo de atenção, o número de estados é arbitrário, e a mudança de estado pode ser feita entre três ou mais estados, tais como um tempo normal, um tempo de baixa atenção, um tempo de meia atenção, e um tempo de alta atenção. Porém, o número de limite superior de estados a ser mudado depende do número de camadas de dados codificados graduáveis.

[00493] Adicionalmente, o dispositivo de geração de imagem 1201 pode determinar o número de camadas de codificação graduável conforme os estados. Por exemplo, no tempo normal, o dispositivo de geração de imagem 1201 pode gerar dados codificados graduáveis (BL) 1222 da camada básica tendo uma baixa qualidade e uma quantidade pequena de dados e prover os dados codificados graduáveis (BL) 1222 para o dispositivo de armazenamento de dados codificados graduáveis 1202. Adicionalmente, por exemplo, no tempo de atenção, o dispositivo de geração de imagem 1201 pode gerar dados codificados graduáveis (BL+EL) 1221 da camada básica tendo uma qualidade alta e uma quantidade grande de dados e prover os dados codificados graduáveis gerados (BL+EL) 1221 para o dispositivo de armazenamento de dados codificados graduáveis 1202.

[00494] Na descrição anterior, enquanto a câmera de monitoramento foi descrita como um exemplo, o sistema de geração de imagem 1200 pode ser usado em qualquer aplicação, e a aplicação não está limitada à câmera de monitoramento.

[00495] Então, até mesmo no sistema de geração de imagem 1200 ilustrado na Figura 41, é possível obter efeitos semelhantes àqueles descritos acima com referência às Figuras 1 a 31 aplicando a tecnologia presente da mesma maneira como a aplicação à codificação hierárquica/decodificação hierárquica descritas acima com referência às Figuras 1 a 31.

[00496] Adicionalmente, a tecnologia presente é usada selecionando dados apropriados, em uma unidade de segmento, de uma pluralidade de tipos de dados codificados tendo resoluções diferentes ou similar que estão preparados com antecedência e também pode ser aplicado à transmissão em fluxo de HTTP tal como, por exemplo, MPEG/DASH. Quer dizer, informação sobre a codificação ou decodificação pode ser compartilhada entre a pluralidade de tipos de dados codificados.

9. Nona Concretização Outros Exemplos

[00497] Enquanto, na descrição apresentada acima, os exemplos dos dispositivos, dos sistemas, e similar aos quais a tecnologia presente é aplicada foram descritos, a tecnologia presente não está limitada a isso. Assim, a tecnologia presente pode ser aplicada como todas as configurações montadas a um tal dispositivo ou dispositivos configurando um tal sistema, por exemplo, um processador como um LSI de sistema (Integração de Grande Escala) ou similar, um módulo que usa uma pluralidade de processadores ou similar, uma unidade que usa uma pluralidade de módulos ou similar, ou um aparelho ou similar (em outras palavras, uma parte da configuração do dispositivo) adquirido adicionando outras funções à unidade.

Aparelho de vídeo

[00498] Um exemplo de um caso onde a tecnologia presente é aplicada como um aparelho será descrito com referência à Figura 42. Figura 42 ilustra um exemplo da configuração esquemática de um aparelho de vídeo ao qual a tecnologia presente é aplicada.

[00499] Recentemente, a implementação de múltiplas funções de um dispositivo eletrônico está em desenvolvimento, e, no desenvolvimento ou na fabricação disso, em um caso onde uma parte da configuração é provida à venda, provisão, ou similar, há não só um caso onde a configuração tendo uma função é aplicada, mas também um caso onde o aparelho tendo uma pluralidade de funções, que são adquiridas combinando uma pluralidade de configurações tendo função relativa, é aplicado, que foi visto geralmente.

[00500] O aparelho de vídeo 1300 ilustrado na Figura 42 tem uma tal configuração de multifunção e é adquirido combinando um dispositivo tendo uma função relativa à codificação de imagem ou decodificação de imagem (qualquer uma ou ambas) com dispositivos tendo outras funções relativas à função.

[00501] Como ilustrado na Figura 42, o aparelho de vídeo 1300 compreende um grupo de módulo que compreende um módulo de vídeo 1311, uma memória externa 1312, um módulo de administração de energia 1313, um módulo de extremidade dianteira 1314, e similar e dispositivos tendo funções relacionadas de uma conectividade 1321, uma câmera 1322, um sensor 1323, e similar.

[00502] Um módulo é formado como um componente tendo uma função tendo unidade arranjando várias funções de componente juntas relativas uma a outra. Enquanto uma configuração física específica é arbitrária, por exemplo, um módulo adquirido arranjando uma pluralidade de processadores cada um tendo uma função, um componente de circuito eletrônico tal como um resistor ou um capacitor, e outros dispositivos ou similar em uma placa de fiação elétrica ou similar de modo a serem integrados juntos pode ser considerado. Além disso, pode ser considerado formar um novo módulo combinando um módulo com outros módulos, processadores, e similar.

[00503] No exemplo ilustrado na Figura 42, o módulo de vídeo 1311 é adquirido combinando configurações tendo funções relativas a processamento de imagem e compreende: um processador de aplicativo; um processador de vídeo; um modem de banda larga 1333; e um módulo de RF 1334.

[00504] O processador é adquirido integrando uma configuração tendo uma função predeterminada em um chip de semicondutor como SoC (Sistema sobre Chip) e, por exemplo, também há o processador que é chamado um LSI de sistema (Integração de Grande Escala) ou similar. A configuração tendo a função predeterminada pode ser um circuito lógico (configuração de hardware), uma configuração compreendendo uma CPU, uma ROM, uma RAM, e similar e um programa (configuração de software) executado usando- os, ou uma configuração combinando ambas as configurações descritas acima. Por exemplo, pode ser configurado tal que o processador inclua circuitos lógicos, uma CPU, uma ROM, uma RAM, e similar, algumas funções são realizadas pelos circuitos lógicos (configuração de hardware), e as outras funções são realizadas por um programa (configuração de software) executado pela CPU.

[00505] O processador de aplicativo 1331 ilustrado na Figura 42 é um processador que executa um aplicativo relativo a processamento de imagem. A fim de realizar as funções predeterminadas, o aplicativo executado pelo processador de aplicativo 1331 pode não só executar um processamento de cálculo, mas também controlar as configurações do interior e exterior do módulo de vídeo 1311 tal como o processador de vídeo 1332, como é necessário.

[00506] O processador de vídeo 1332 é um processador que tem uma função relativa à codificação de imagem e decodificação de imagem (qualquer uma ou ambas).

[00507] O modem de banda larga 1333 converte dados (sinal digital) transmitidos por comunicação de banda larga por fios ou sem fios (ou por fios e sem fios) executada por uma linha de banda larga tal como a Internet ou uma rede telefônica pública em um sinal analógico por modulação digital ou similar ou demodula o sinal analógico recebido pela comunicação de banda larga de modo a ser convertido em dados (sinal digital). Por exemplo, o modem de banda larga 1333 processa informação arbitrária tais como dados de imagem processados pelo processador de vídeo 1332, um fluxo no qual os dados de imagem estão codificados, um programa de aplicativo, e dados de colocação.

[00508] O módulo de RF 1334 é um módulo que executa conversão de frequência, modulação/demodulação, amplificação, um processamento de filtro, e similar para um sinal de RF (Radiofrequência) que é transmitido/recebido por uma antena. Por exemplo, o módulo de RF 1334 gera um sinal de RF executando conversão de frequência e similar para um sinal de banda base gerado pelo modem de banda larga 1333. Além disso, por exemplo, o módulo de RF 1334 gera um sinal de banda base executando conversão de frequência e similar para um sinal de RF recebido pelo módulo de extremidade dianteira 1314.

[00509] Além disso, como denotado por uma linha pontilhada 1341 na Figura 42, o processador de aplicativo 1331 e o processador de vídeo 1332 podem ser integrados de modo a serem configurados como um processador.

[00510] A memória externa 1312 é um módulo que está disposto fora do módulo de vídeo 1311 e compreende um dispositivo de armazenamento usado pelo módulo de vídeo 1311. O dispositivo de armazenamento da memória externa 1312 pode ser realizado por qualquer configuração física. Porém, geralmente, desde que o dispositivo de armazenamento é usado frequentemente para armazenar dados tendo uma grande capacidade tais como dados de imagem configurados em unidades de quadros, o dispositivo de armazenamento é realizado preferivelmente por uma memória de semicondutor que tem uma grande capacidade a custo relativamente baixo tal como uma DRAM (Memória de Acesso Aleatório Dinâmico).

[00511] O módulo de administração de energia 1313 administra e controla a provisão de energia ao módulo de vídeo 1311 (cada configuração dentro do módulo de vídeo 1311).

[00512] O módulo de extremidade dianteira 1314 é um módulo que provê uma função de extremidade dianteira (um circuito de extremidade de transmissão/recepção no lado de antena) para o módulo de RF 1334. Como ilustrado na Figura 42, o módulo de extremidade dianteira 1314, por exemplo, compreende uma unidade de antena 1351, um filtro 1352 e uma unidade de amplificação 1353.

[00513] A unidade de antena 1351 compreende uma antena que transmite/recebe um sinal sem fios e uma configuração periférica disso. A unidade de antena 1351 transmite um sinal provido da unidade de amplificação 1353 como um sinal sem fios e provê um sinal sem fios recebido ao filtro 1352 como um sinal elétrico (sinal de RF). O filtro 1352 executa um processo de filtro e similar para o sinal de RF recebido pela unidade de antena 1351 e provê o sinal de RF depois do processo ao módulo de RF 1334. A unidade de amplificação 1353 amplifica o sinal de RF provido do módulo de RF 1334 e provê o sinal de RF amplificado à unidade de antena 1351.

[00514] A conectividade 1321 é um módulo que tem uma função relativa a uma conexão ao exterior. A configuração física da conectividade 1321 é arbitrária. Por exemplo, a conectividade 1321 compreende uma configuração tendo uma função de comunicação diferente da especificação de comunicação à qual o modem de banda larga 1333 corresponde, terminais de entrada/saída externos, e similar.

[00515] Por exemplo, a conectividade 1321 pode ser configurada para compreender um módulo tendo funções de comunicação que são complacentes com especificações de comunicação de rádio tais como Bluetooth (marca registrada), IEEE 802.11 (por exemplo, WÍ-Fi (Fidelidade Sem fios; marca registrada)), NFC (Comunicação de Campo Próximo), e IrDA (Associação de Dados de Infravermelho) e uma antena que transmite/recebe sinais que são complacentes com as especificações. Além disso, por exemplo, a conectividade 1321 pode ser configurada para compreender um módulo tendo funções de comunicação que são complacentes com especificações de comunicação por fios tais como USB (Barramento Serial Universal) e HDMI (marca registrada) (Interface de Multimídia de Alta definição), e terminais que são complacentes com as especificações. Aiém disso, por exemplo, a conectividade 1321 pode ser configurada para ter uma função de transmissão de dados adicionais (sinal) e similar de terminais de entrada/saída analógicos ou similar.

[00516] Além disso, a conectividade 1321 pode ser configurada para compreender um dispositivo que é o destino de transmissão de dados (sinal). Por exemplo, a conectividade 1321 pode ser configurada para compreender uma unidade de disco (compreendendo não só uma unidade de disco de um meio removível, mas também um disco rígido, um SSD (Unidade de Estado de Sólido), um NAS (Armazenamento Conectado em Rede), e similar) que executa leitura de dados ou gravação de dados para um meio de gravação tal como um disco magnético, um disco óptico, um disco magneto-óptico, ou uma memória de semicondutor. Além disso, a conectividade 1321 pode ser configurada para compreender um dispositivo de saída (um monitor, um alto- falante, ou similar) de uma imagem ou um áudio.

[00517] A câmera 1322 é um módulo que tem uma função para adquirir dados de imagem de um assunto visualizando o assunto. Os dados de imagem adquiridos por um processamento de geração de imagem executado pela câmera 1322, por exemplo, são providos ao processador de vídeo 1332 e são codificados.

[00518] O sensor 1323 é um módulo que tem a função de um sensor arbitrário tal como um sensor de áudio, um sensor ultrassónico, um sensor óptico, um sensor de iluminância, um sensor de infravermelho, um sensor de imagem, um sensor de rotação, um sensor de ângulo, um sensor de velocidade angular, um sensor de velocidade, um sensor de aceleração, um sensor de inclinação, um sensor de identificação magnética, um sensor de impacto, ou um sensor de temperatura. Dados que são detectados pelo sensor 1323, por exemplo são providos ao processador de aplicativo 1331 e são usados pelo aplicativo e similar.

[00519] Na descrição apresentada acima, cada configuração descrita como um módulo pode ser realizada por um processador, e cada configuração descrita como um processador pode ser realizada por um módulo.

[00520] Como será descrito mais tarde, a tecnologia presente pode ser aplicada ao processador de vídeo 1332 do aparelho de vídeo 1300 tendo a configuração como descrita acima. Por conseguinte, o aparelho de vídeo 1300 pode ser configurado como um aparelho ao qual a tecnologia presente é aplicada. Exemplo de Configuração de Processador de Vídeo

[00521] A Figura 43 ilustra um exemplo da configuração esquemática do processador de vídeo 1332 (Figura 42) ao qual a tecnologia presente é aplicada.

[00522] No exemplo ilustrado na Figura 43, o processador de vídeo 1332 tem uma função de receber uma entrada de um sinal vídeo e um sinal de áudio e codificar os sinais recebidos conforme um sistema predeterminado e uma função de decodificar dados de vídeo codificados e dados de áudio codificados e reproduzir e produzir um sinal de vídeo e um sinal de áudio.

[00523] Como ilustrado na Figura 43, o processador de vídeo 1332 compreende: uma unidade de processamento de entrada de vídeo 1401; uma primeira unidade de ampliação/redução de imagem 1402; uma segunda unidade de ampliação/redução de imagem em 1403; uma unidade de processamento de saída de vídeo 1404; uma memória de quadro 1405; e uma unidade de controle de memória 1406. Além disso, o processador de vídeo 1332 compreende: uma máquina de codificação/decodifícação 1407; memória temporárias de ES de vídeo (Fluxo Elementar) 1408A e 1408B, e memórias temporárias de ES de áudio 1409A e 1409B. Além disso, o processador de vídeo 1332 compreende: um codificador de áudio 1410; um decodificador de áudio 1411; um multiplexador (MUX) 1412; um desmultiplexador (DMUX) 1413; e uma memória temporária de fluxo 1414.

[00524] A unidade de processamento de entrada de vídeo 1401, por exemplo, adquire um sinal de vídeo entrado da conectividade 1321 (Figura 42) ou similar e converte o sinal de vídeo adquirido em dados de imagem digital. A primeira unidade de ampliação/redução de imagem 1402 executa conversão de formato e um processo de ampliação/redução de imagem para os dados de imagem. A segunda unidade de ampliação/redução de imagem 1403, para os dados de imagem, executa um processo de ampliação/redução de imagem conforme um formato do destino de saída pela unidade de processamento de saída de vídeo 1404 ou executa conversão de formato e um processo de ampliação/redução de imagem, que são semelhantes àqueles da primeira unidade de ampliação/redução de imagem 1402 e similar. A unidade de processamento de saída de vídeo 1404 executa conversão de formato, conversão em um sinal analógico, e similar para os dados de imagem e produz um sinal resultante, por exemplo, para a conectividade 1321 (Figura 42) ou similar como um sinal de vídeo reproduzido.

[00525] A memória de quadro 1405 é uma memória para dados de imagem que são compartilhados pela unidade de processamento de entrada de vídeo 1401, a primeira unidade de ampliação/redução de imagem 1402, a segunda unidade de ampliação/redução de imagem 1403, a unidade de processamento de saída de vídeo 1404, e a máquina de codificação/decodificação 1407. A memória de quadro 1405 é realizada como uma memória de semicondutor tal como uma DRAM.

[00526] A unidade de controle de memória 1406 recebe um sinal de sincronização provido da máquina de codificação/decodificação 1407 e controla um acesso à memória de quadro 1405 para escrita/leitura conforme um programa de acesso à memória de quadro 1405 que está escrito em uma tabela de administração de acesso 1406A. A tabela de administração de acesso 1406A é atualizada pela unidade de controle de memória 1406 conforme o processo que é executado pela máquina de codificação/decodificação 1407, a primeira unidade de ampliação/redução de imagem 1402, a segunda unidade de ampliação/redução de imagem 1403, e similar.

[00527] A máquina de codificação/decodificação 1407 executa um processo de codificação de dados de imagem e executa um processo de decodificação de um fluxo de vídeo que são dados adquiridos codificando os dados de imagem. Por exemplo, a máquina de codificação/decodificação 1407 codifica os dados de imagem lidos da memória de quadro 1405 e escreve sequencialmente os dados de imagem lidos na memória temporária de ES de vídeo 1408A como um fluxo de vídeo. Além disso, por exemplo, a máquina de codificação/decodificação 1407 lê sequencialmente o fluxo de vídeo da memória temporária de ES de vídeo 1408B, decodifica o fluxo de vídeo lido, e escreve sequencialmente o fluxo de vídeo decodificado na memória de quadro 1405 como dados de imagem. A máquina de codificação/decodificação 1407 usa a memória de quadro 1405 como uma área de trabalho em tais processos de codificação ou decodificação. Além disso, a máquina de codificação/decodificação 1407, por exemplo, na temporização de começar o processo de cada macrobloco, produz um sinal de sincronização para a unidade de controle de memória 1406.

[00528] A memória temporária de ES de vídeo 1408A armazena temporariamente o fluxo de vídeo gerado pela máquina de codificação/decodificação 1407 e provê o fluxo de vídeo para o multiplexador (MUX) 1412. A memória temporária de ES de vídeo 1408B armazena temporariamente o fluxo de vídeo provido do desmultiplexador (DMUX) 1413 e provê o fluxo de vídeo para a máquina de codificação/decodificação 1407.

[00529] A memória temporária de ES de áudio 1409A armazena temporariamente o fluxo de áudio gerado pelo codificador de áudio 1410 e provê o fluxo de áudio para o multiplexador (MUX) 1412. A memória temporária de ES de áudio 1409B armazena temporariamente o fluxo de áudio provido do desmultiplexador (DMUX) 1413 e provê o fluxo de áudio para o decodificador de áudio 1411.

[00530] O codificador de áudio digital 1410 troca um sinal de áudio, por exemplo, introduzido da conectividade 1321 (Figura 42) ou similar, e por exemplo, codifica o sinal digital conforme um sistema predeterminado tal como um sistema de áudio de MPEG ou um sistema de AC3 (AudioCode número 3). O codificador de áudio 1410 escreve sequencialmente fluxos de áudio que são dados adquiridos codificando os sinais de áudio na memória temporária de ES de áudio 1409A. O decodificador de áudio 1411 decodifica o fluxo de áudio provido da memória temporária de ES de áudio 1409B, executa conversão do fluxo de áudio decodificado, por exemplo, em um sinal analógico e similar, e provê o sinal convertido, por exemplo, para a conectividade 1321 (Figura 42) e similar como um sinal de áudio reproduzido.

[00531] O multiplexador (MUX) 1412 multiplexa o fluxo de vídeo e o fluxo de áudio. O método de multiplexação (em outras palavras, o formato de um fluxo de bits gerado pela multiplexação) é arbitrário. Além disso, na hora de multiplexação, o multiplexador (MUX) 1412 pode adicionar informação de cabeçalho predeterminada ou similar ao fluxo de bits. Em outras palavras, o multiplexador (MUX) 1412 pode converter o formato do fluxo pelo processo de multiplexação. Por exemplo, multiplexando o fluxo de vídeo e o fluxo de áudio, o multiplexador (MUX) 1412 converte o fluxo de vídeo e o fluxo de áudio em um fluxo de transporte que é um fluxo de bits tendo um formato para transmissão. Além disso, por exemplo, multiplexando o fluxo de vídeo e o fluxo de áudio, o multiplexador (MUX) 1412 converte o fluxo de vídeo e o fluxo de áudio em dados (dados de arquivo) tendo um formato para gravação.

[00532] O desmultiplexador (DMUX) 1413 desmultiplexa o fluxo de bits em que o fluxo de vídeo e o fluxo de áudio estão multiplexados usando um método correspondendo ao processo de multiplexação executado pelo multiplexador (MUX) 1412. Em outras palavras, o desmultiplexador (DMUX) 1413 extrai um fluxo de vídeo e um fluxo de áudio do fluxo de bits lido da memória temporária de fluxo 1414 (o fluxo de vídeo e o fluxo de áudio são separados). Em outras palavras, o desmultiplexador (DMUX) 1413 pode converter (conversão inversa da conversão executada pelo multiplexador (MUX) 1412) o formato do fluxo pelo processo de desmultiplexação. Por exemplo, o desmultiplexador (DMUX) 1413 adquire o fluxo de transporte, por exemplo, provido da conectividade 1321 (Figura 42), do modem de banda larga 1333, ou similar (Figura 42) pela memória temporária de fluxo 1414 e desmultiplexa o fluxo de transporte adquirido, por esse meio convertendo o fluxo de transporte em um fluxo de vídeo e um fluxo de áudio. Além disso, por exemplo, o desmultiplexador (DMUX) 1413 adquire dados de arquivo lidos de várias mídias de gravação, por exemplo, pela conectividade 1321 (Figura 42) pela memória temporária de fluxo 1414 e desmultiplexa os dados de arquivo adquiridos, por esse meio convertendo os dados de arquivo em um fluxo de vídeo e um fluxo de áudio.

[00533] A memória temporária de fluxo 1414 armazena temporariamente o fluxo de bits. Por exemplo, a memória temporária de fluxo 1414 armazena temporariamente o fluxo de transporte provido do multiplexador (MUX) 1412 e provê o fluxo de transporte, por exemplo, para a conectividade 1321 (Figura 42), o modem de banda larga 1333 (Figura 42), e similar na temporização predeterminada ou baseado em um pedido transmitido do exterior.

[00534] Além disso, por exemplo, a memória temporária de fluxo 1414 armazena temporariamente os dados de arquivo providos do multiplexador (MUX) 1412 e provê os dados de arquivo, por exemplo, para a conectividade 1321 (Figura 42) e similar na temporização predeterminada ou baseado em um pedido transmitido do exterior.

[00535] Além disso, a memória temporária de fluxo 1414 armazena temporariamente o fluxo de transporte adquirido, por exemplo, pela conectividade 1321 (Figura 42), pelo modem de banda larga 1333 (Figura 42), ou similar e provê o fluxo de transporte para o desmultiplexador (DMUX) 1413 na temporização predeterminada ou baseado em um pedido do exterior, e similar.

[00536] Além disso, a memória temporária de fluxo 1414 armazena temporariamente os dados de arquivo lidos de várias mídias de gravação, por exemplo, pela conectividade 1321 (Figura 42) ou similar e provê os dados de arquivo para o desmultiplexador (DMUX) 1413 na temporização predeterminada ou baseado em um pedido do exterior ou similar.

[00537] A seguir, um exemplo da operação do processador de vídeo 1332 tendo uma tal configuração será descrito. Por exemplo, um sinal de vídeo entrado ao processador de vídeo 1332 da conectividade 1321 (Figura 42) ou similar é convertido em dados de imagem digitais de acordo com um sistema predeterminado tal como o sistema 4:2:2Y/Cb/Cr pela unidade de processamento de entrada de vídeo 1401 e é escrito sequencialmente na memória de quadro 1405. Estes dados de imagem digital são lidos pela primeira unidade de ampliação/redução de imagem 1402 ou pela segunda unidade de ampliação/redução de imagem 1403, e uma conversão de formato em um sistema predeterminado tal como o sistema 4:2:0Y/Cb/Cr ou similar e o processo de ampliação/redução é executado para os dados de imagem digital, e os dados de imagem digital processados são escritos novamente na memória de quadro 1405. Estes dados de imagem são codificados pela máquina de codificação/decodificação 1407 e são escritos na memória temporária de ES de vídeo 1408A como um fluxo de vídeo.

[00538] Além disso, o sinal de áudio entrado da conectividade 1321 (Figura 42) ou similar ao processador de vídeo 1332 é codificado pelo codificador de áudio 1410 e é escrito na memória temporária de ES de áudio 1409A como um fluxo de áudio.

[00539] O fluxo de vídeo armazenado na memória temporária de ES de vídeo 1408A e o fluxo de áudio armazenado na memória temporária de ES de áudio 1409A são lidos pelo multiplexador (MUX) 1412, são multiplexados, e são convertidos em um fluxo de transporte, dados de arquivo, ou similar. O fluxo de transporte gerado pelo multiplexador (MUX) 1412 é armazenado temporariamente na memória temporária de fluxo 1414 e então é produzido à rede externa, por exemplo, pela conectividade 1321 (Figura 42), pelo modem de banda larga 1333 (Figura 42), ou similar. Além disso, os dados de arquivo gerados pelo multiplexador (MUX) 1412 são armazenados temporariamente na memória temporária de fluxo 1414, então são produzidos, por exemplo, para a conectividade 1321 (Figura 42) ou similar, e são gravados em várias mídias de gravação.

[00540] Além disso, o fluxo de transporte que é entrado da rede externa ao processador de vídeo 1332, por exemplo, pela conectividade 1321 (Figura 42), pelo modem de banda larga 1333 (Figura 42), ou similar é armazenado temporariamente na memória temporária de fluxo 1414 e então é desmultiplexado pelo desmultiplexador (DMUX) 1413. Além disso, os dados de arquivo que são lidos dessas várias mídias de gravação, por exemplo, pela conectividade 1321 (Figura 42) ou similar e são entrados ao processador de vídeo 1332 são armazenados temporariamente na memória temporária de fluxo 1414 e então são desmultiplexados pelo desmultiplexador (DMUX) 1413. Em outras palavras, o fluxo de transporte ou os dados de arquivo introduzidos ao processador de vídeo 1332 são separados em um fluxo de vídeo e um fluxo de áudio pelo desmultiplexador (DMUX) 1413.

[00541] O fluxo de áudio é provido ao decodificador 1411 de áudio pela memória temporária de ES de áudio 1409B e é decodificado, e o sinal de áudio é reproduzido. Além disso, o fluxo de vídeo é escrito na memória temporária de ES de vídeo 1408B, então é lido sequencialmente pela máquina de codificação/decodificação 1407, é decodificado, e é escrito na memória de quadro 1405. Os dados de imagem decodificados são ampliados ou reduzidos pela segunda unidade de ampliação/redução de imagem 1403 e são escritos na memória de quadro 1405. Então, os dados de imagem decodificados são lidos pela unidade de processamento de saída de vídeo 1404, tem o formato convertido em um sistema predeterminado tal como o sistema 4:2:2Y/Cb/Cr, e são convertidos adicionalmente em um sinal analógico, e o sinal vídeo é reproduzido e produzido.

[00542] Em um caso onde a tecnologia presente é aplicada ao processador de vídeo 1332 configurado como tal, a tecnologia presente de acordo com cada concretização descrita acima pode ser aplicada à máquina de codificação/decodificação 1407. Em outras palavras, por exemplo, a máquina de codificação/decodificação 1407 pode ser configurada para ter as funções do dispositivo de codificação de imagem 100 (Figura 1) de acordo com a primeira concretização ou do dispositivo de decodificação de imagem 200 (Figura 19) de acordo com a segunda concretização. Configurando como tal, o processador de vídeo 1332 pode adquirir as mesmas vantagens como aquelas descritas acima com referência às Figuras 1 a 31.

[00543] Além disso, na máquina de codificação/decodificação 1407, a tecnologia presente (em outras palavras, as funções do dispositivo de codificação de imagem e do dispositivo de decodificação de imagem de acordo com cada concretização descrita acima) pode ser realizada através de hardware tais como circuitos lógicos, pode ser realizada através de software tal como um programa embutido, ou pode ser realizada por ambos hardware e o software.

Outro Exemplo de Configuração de Processador Vídeo

[00544] A Figura 44 é um diagrama que ilustra outro exemplo da configuração esquemática do processador de vídeo 1332 (Figura 42) ao qual a tecnologia presente é aplicada. No caso do exemplo ilustrado na Figura 44, o processador de vídeo 1332 tem uma função de codifícar/decodificar os dados de vídeo conforme um sistema predeterminado.

[00545] Mais especificamente, como ilustrado na Figura 44, o processador de vídeo 1332 compreende: uma unidade de controle 1511; uma interface de exibição 1512; uma máquina de exibição 1513; uma máquina de processamento de imagem 1514; e uma memória interna 1515. Além disso, o processador de vídeo 1332 compreende: uma máquina de codec 1516; uma interface de memória 1517; um multiplexador/desmultiplexador (MUX DMUX) 1518; uma interface de rede 1519; e uma interface de vídeo 1520.

[00546] A unidade de controle 1511 controla as operações de unidades de processamento arranjadas dentro do processador de vídeo 1332 tais como a interface de exibição 1512, a máquina de exibição 1513, a máquina de processamento de imagem 1514 e a máquina de codec 1516.

[00547] Como ilustrado na Figura 44, a unidade de controle 1511, por exemplo, compreende uma CPU principal 1531, uma sub-CPU 1532 e um controlador de sistema 1533. A CPU principal 1531 executa um programa que é usado para controlar a operação de cada unidade de processamento disposta dentro do processador de vídeo 1332. A CPU principal 1531 gera um sinal de controle conforme o programa ou similar e provê o sinal de controle para cada unidade de processamento (em outras palavras, controla a operação de cada unidade de processamento). A sub-CPU 1532 alcança um papel auxiliar para a CPU principal 1531. Por exemplo, a sub-CPU 1532 executa um processamento de criança, uma subrotina, e similar do programa executado pela CPU principal 1531. O controlador de sistema 1533 controla as operações da CPU principal 1531 e da sub-CPU 1532 tal como designação de programas a serem executados pela CPU principal 1531 e pela sub-CPU 1532.

[00548] A interface de exibição 1512 produz os dados de imagem, por exemplo, para a conectividade 1321 (Figura 42) ou similar sob o controle da unidade de controle 1511. Por exemplo, a interface de exibição 1512 converte os dados de imagem que são dados digitais em um sinal analógico e produz os dados de imagem para o dispositivo de monitoração ou similar da conectividade 1321 (Figura 42) como um sinal de vídeo reproduzido ou os dados de imagem que são os dados digitais.

[00549] A máquina de exibição 1513, sob o controle da unidade de controle 1511, executa vários processos de conversão tais como uma conversão de formato, uma conversão de tamanho, e uma conversão de gama de cor para os dados de imagem de modo a serem ajustados às especificações de hardware do dispositivo de monitoração exibindo a imagem ou similar.

[00550] A máquina de processamento de imagem 1514, sob o controle da unidade de controle 1511, executa processamento de imagem predeterminado tal como um processamento de filtro para melhorar a qualidade de imagem ou similar para os dados de imagem.

[00551] A memória interna 1515 é uma memória disposta dentro do processador de vídeo 1332 que é compartilhada pela máquina de exibição 1513, a máquina de processamento de imagem 1514 e a máquina de codec 1516. A memória interna 1515, por exemplo, é usada para intercâmbio de dados executado entre a máquina de exibição 1513, a máquina de processamento de imagem 1514 e a máquina de codec 1516. Por exemplo, a memória interna 1515 armazena dados providos da máquina de exibição 1513, da máquina de processamento de imagem 1514, ou da máquina de codec 1516 e provê os dados para a máquina de exibição 1513, a máquina de processamento de imagem 1514, ou a máquina de codec 1516 como é necessário (por exemplo, conforme um pedido). Enquanto esta memória interna 1515 pode ser realizada por qualquer dispositivo de armazenamento, geralmente, a memória interna 1515 é usada frequentemente para armazenar dados tendo uma capacidade pequena como dados de imagem configurados em unidades de blocos ou parâmetros, e por conseguinte, é realizada preferivelmente por uma memória de semicondutor tendo uma capacidade relativamente pequena (por exemplo, comparada à memória externa 1312) e uma velocidade de resposta alta tal como uma SRAM (Memória Acesso Aleatório Estática).

[00552] A máquina de codec 1516 executa o processo relativo a codificar ou decodificar dados de imagem. O sistema de codificação/decodificação ao qual a máquina de codec 1516 corresponde é arbitrário, e o número disso pode ser um ou dois ou mais. Por exemplo, a máquina de codec 1516 pode compreender uma função de codec de uma pluralidade de sistemas de codificação/decodificação e executar a codificação de dados de imagem ou a decodificação de dados de imagem codificados usando o selecionado da pluralidade de sistemas de codificação/decodificação.

[00553] No exemplo ilustrado na Figura 44, a máquina de codec 1516, por exemplo, compreende MPEG-2 Vídeo 1541, AVC/H.2641542, HEVC/H.2651543, HEVC/H.265 (Graduável) 1544, HEVC/H.265 (Multi- visão) 1545 e MPEG-DASH1551 como blocos funcionais do processo relativo ao codec.

[00554] O MPEG-2 Vídeo 1541 é um bloco funcional usado para codificar ou decodificar dados de imagem conforme o sistema de MPEG-2. O AVC/H.264 1542 é um bloco funcional usado para codificar ou decodificar dados de imagem conforme o sistema de AVC. Além disso, o HEVC/H.265 1543 é um bloco funcional usado para codificar ou decodificar dados de imagem conforme o sistema de HEVC. O HEVC/H.265 (Graduável) 1544 é um bloco funcional usado para codificação graduável ou decodificação graduável de dados de imagem conforme o sistema de HEVC. O HEVC/H.265 (Multi-visão) 1545 é um bloco funcional usado para codificação de múltiplo ponto de vista ou decodificação de múltiplo ponto de vista de dados de imagem conforme o sistema de HEVC.

[00555] O MPEG-DASH1551 é um bloco funcional usado para transmitir/receber dados de imagem conforme um sistema de MPEG-DASH (Fluxo Adaptável dinâmico de MPEG através de HTTP). O MPEG-DASH é uma tecnologia para transmitir em fluxo um vídeo usando um HTTP (Protocolo de Transferência de Hipertexto) e tem uma característica que um é selecionado apropriadamente dentre uma pluralidade de pedaços de dados codificados tendo resoluções mutuamente diferentes e similar, que estão preparados com antecedência, em unidades de segmentos e são transmitidos. O MPEG-DASH1551 executa geração de um fluxo, controle de transmissão do fluxo, e similar que são complacentes com a especificação, e, para codificar/decodificar dados de imagem, usa MPEG-2 Vídeo 1541 ou HEVC/H.265 (Multi-visão) 1545 descritos acima.

[00556] A interface de memória 1517 é uma interface usada para a memória externa 1312. Dados providos da máquina de processamento de imagem 1514 ou da máquina de codec 1516 são providos à memória externa 1312 pela interface de memória 1517. Além disso, os dados lidos da memória externa 1312 são providos ao processador de vídeo 1332 (a máquina de processamento de imagem 1514 ou a máquina de codec 1516) pela interface de memória 1517.

[00557] O multiplexador/desmultiplexador (MUX DMUX) 1518 multiplexa ou desmultiplexa vários tipos de dados relativos a uma imagem tais como um fluxo de bits de dados codificados, dados de imagem, ou um sinal de vídeo. O método de multiplexação/desmultiplexação é arbitrário. Por exemplo, na hora do processo de multiplexação, o multiplexador/desmultiplexador (MUX DMUX) 1518 pode não só arranjar uma pluralidade de pedaços de dados em um, mas também adicionar informação de cabeçalho predeterminada ou similar aos dados. Além disso, na hora do processo de desmultiplexação, o multiplexador/desmultiplexador (MUX DMUX) 1518 pode não só dividir um pedaço de dados em uma pluralidade de partes, mas também adicionar informação de cabeçalho predeterminada ou similar aos dados divididos. Em outras palavras, o multiplexador/desmultiplexador (MUX DMUX) 1518 pode converter o formato de dados por um processo de multiplexação/desmultiplexação. Por exemplo, o multiplexador/desmultiplexador (MUX DMUX) 1518 pode converter o fluxo de bits em um fluxo de transporte que está no formato para transmissão ou dados (dados de arquivo) que estão no formato de arquivo para gravação multiplexando o fluxo de bits. É aparente que a conversão inversa pode ser executada por um processo de desmultiplexação.

[00558] A interface de rede 1519 é uma interface dedicada tal como o modem de banda larga 1333 (Figura 42) ou a conectividade 1321 (Figura 42). A interface de vídeo 1520 é uma interface dedicada tal como a conectividade 1321 (Figura 42) ou a câmera 1322 (Figura 42).

[00559] A seguir, um exemplo da operação de um tal processador de vídeo 1332 será descrito. Por exemplo, quando um fluxo de transporte é recebido da rede externa pela conectividade 1321 (Figura 42), o modem de banda larga 1333 (Figura 42), ou similar, o fluxo de transporte é provido ao multiplexador/desmultiplexador (MUX DMUX) 1518 pela interface de rede 1519, é desmultiplexado, e é decodificado pela máquina de codec 1516. Para os dados de imagem adquiridos pelo processo de decodificação executado pela máquina de codec 1516, por exemplo, processamento de imagem predeterminado é executado pela máquina de processamento de imagem 1514, e conversão predeterminada é executada pela máquina de exibição 1513, os dados de imagem resultantes são providos, por exemplo, para a conectividade 1321 (Figura 42) ou similar pela interface de exibição 1512, e a imagem é exibida no monitor. Além disso, por exemplo, os dados de imagem adquiridos pelo processamento de decodificação executado pela máquina de codec 1516 são recodificados pela máquina de codec 1516, são multiplexados pelo multiplexador/desmultiplexador (MUX DMUX) 1518, são convertidos em dados de arquivo, são produzidos, por exemplo, para a conectividade 1321 (Figura 42) ou similar pela interface de vídeo 1520, e são gravados em várias mídias de gravação.

[00560] Além disso, por exemplo, dados de arquivo de dados codificados que são adquiridos codificando os dados de imagem lidos de um meio de gravação não ilustrado na figura pela conectividade 1321 (Figura 42) ou similar são providos ao multiplexador/desmultiplexador (MUX DMUX) 1518 pela interface de vídeo 1520, são desmultiplexados, e são decodificados pela máquina de codec 1516. Os dados de imagem adquiridos pelo processamento de decodificação executado pela máquina de codec 1516 são sujeitos a processamento de imagem predeterminado executado pela máquina de processamento de imagem 1514, e uma conversão predeterminada é executada pela máquina de exibição 1513, e os dados de imagem resultantes são providos, por exemplo, à conectividade 1321 (Figura 42) ou similar pela interface de exibição 1512, e a imagem é exibida no monitor. Além disso, por exemplo, os dados de imagem adquiridos pelo processo de decodificação executado pela máquina de codec 1516 são recodificados pela máquina de codec 1516, são multiplexados pelo multiplexador/desmultiplexador (MUX DMUX) 1518, são convertidos em um fluxo de transporte, são providos, por exemplo, para a conectividade 1321 (Figura 42), ao modem de banda larga 1333 (Figura 42), ou similar pela interface de rede 1519, e são transmitidos para outro dispositivo não ilustrado na figura.

[00561] Além disso, o intercâmbio de dados de imagem ou outros dados entre unidades de processamento dispostas dentro do processador de vídeo 1332, por exemplo, é executado usando a memória interna 1515 ou a memória externa 1312. Além disso, o módulo de administração de energia 1313, por exemplo, controla a provisão de energia à unidade de controle 1511.

[00562] Em um caso onde a tecnologia presente é aplicada ao processador de vídeo 1332 configurado como tal, a tecnologia presente de acordo com cada concretização descrita acima pode ser aplicada à máquina de codec 1516. Em outras palavras, por exemplo, a máquina de codec 1516 pode compreender um bloco funcional que realiza o dispositivo de codificação de imagem 100 (Figura l) de acordo com a primeira concretização ou o dispositivo de decodificação de imagem 200 (Figura 19) de acordo com a segunda concretização. Configurando como tal, o processador de vídeo 1332 pode adquirir as mesmas vantagens como aquelas descritas acima com referência às Figuras 1 a 31.

[00563] Além disso, na máquina de codec 1516, a tecnologia presente (em outras palavras, as funções do dispositivo de codificação de imagem e do dispositivo de decodificação de imagem de acordo com cada concretização descrita acima) podem ser realizadas através de hardware tais como circuitos lógicos, podem ser realizadas através de software tal como um programa embutido, ou podem ser realizadas por ambos hardware e o software.

[00564] Como acima, enquanto duas configurações do processador de vídeo 1332 foram descritas como exemplos, a configuração do processador de vídeo 1332 é arbitrária e pode ser uma configuração diferente das duas configurações descritas acima. Além disso, este processador de vídeo 1332 pode ser configurado por qualquer um chip de semicondutor ou uma pluralidade de chips de semicondutor. Por exemplo, o processador de vídeo 1332 pode ser configurado por um LSI laminado tridimensional no qual uma pluralidade de semicondutores está laminada. Além disso, o processador de vídeo 1332 pode ser realizado por uma pluralidade de LSIs.

Exemplo de Aplicação a Dispositivo

[00565] O aparelho de vídeo 1300 pode ser construído em vários dispositivos que processam dados de imagem. Por exemplo, o aparelho de vídeo 1300 pode ser construído no aparelho de televisão 900 (Figura 35), no telefone móvel 920 (Figura 36), no dispositivo de gravação e reprodução 940 (Figura 37), no dispositivo de geração de imagem 960 (Figura 38), e similar. Construindo o aparelho de vídeo 1300 nisso, os dispositivos podem adquirir vantagens que são iguais àquelas descritas acima com referência às Figuras 1 a31.

[00566] Além disso, o aparelho de vídeo 1300, por exemplo, pode ser construído nos dispositivos terminais do sistema de transmissão de dados 1000 ilustrado na Figura 39 tais como o computador pessoal 1004, o dispositivo de AV 1005, o dispositivo de tablete 1006 e o telefone móvel 1007, a estação de radiodifusão ] 101 e o dispositivo terminal 1102 do sistema de transmissão de dados 1100 ilustrado na Figura 40, e o dispositivo de geração de imagem 1201 e o dispositivo de armazenamento de dados codificado graduável 1202 do sistema de geração de imagem 1200 ilustrado na Figura 41, e similar. Construindo o aparelho de vídeo 1300 nisso, os dispositivos podem adquirir vantagens que são iguais às vantagens descritas acima com referência às Figuras 1 a 31.

[00567] Além disso, até mesmo se algumas das configurações do aparelho de vídeo 1300 descritas acima podem ser configurações, mas o processador de vídeo 1332 está incluído, as configurações podem ser implementadas como uma na qual a tecnologia presente é aplicada em um caso. Por exemplo, só o processador de vídeo 1332 pode ser configurado como um processador de vídeo ao qual a tecnologia presente é aplicada. Além disso, como descrito acima, o processador, o módulo de vídeo 1311, e similar denotado pela linha pontilhada 1341 pode ser configurado como um processador, um módulo, e similar ao qual a tecnologia presente é aplicada. Além disso, por exemplo, o módulo de vídeo 1311, a memória externa 1312, o módulo de administração de energia 1313, e o módulo de extremidade dianteira 1314 podem ser combinados de modo a serem configurados como uma unidade de vídeo 1361 à qual a tecnologia presente é aplicada. Em quaisquer das configurações, as mesmas vantagens como aquelas descritas acima com referência às Figuras 1 a 31 podem ser adquiridas.

[00568] Em outras palavras, qualquer configuração que inclua o processador de vídeo 1332, semelhante ao caso do aparelho de vídeo 1300, pode ser construída em vários dispositivos que processam dados de imagem. Por exemplo, o processador de vídeo 1332, o processador e o módulo de vídeo 1311 denotados pela linha pontilhada 1341, ou a unidade de vídeo 1361 podem ser construídos no aparelho de televisão 900 (Figura 35), no telefone móvel 920 (Figura 36), no dispositivo de gravação e reprodução 940 (Figura 37), no dispositivo de geração de imagem 960 (Figura 38), nos dispositivos terminais do sistema de transmissão de dados 1000 ilustrados na Figura 39 como o computador pessoal 1004, o dispositivo de AV 1005, o dispositivo de tablete 1006 e o telefone móvel 1007, a estação de radiodifusão 1101 e o dispositivo terminal 1102 do sistema de transmissão de dados 1100 ilustrado na Figura 40, e o dispositivo de geração de imagem 1201 e o dispositivo de armazenamento de dados codificado graduável 1202 do sistema de geração de imagem 1200 ilustrado na Figura 41, e similar. Construindo qualquer configuração à qual a tecnologia presente é aplicada nisso, semelhante ao caso do aparelho de vídeo 1300, os dispositivos podem adquirir as mesmas vantagens como aquelas descritas acima com referência às Figuras 1 a 31.

[00569] Adicionalmente, na especificação presente, os exemplos foram descritos em que vários tipos de informação tal como informação de habilitar salto ou informação de identificação de salto são multiplexados em um fluxo codificado, e o fluxo codificado é transmitido do lado de codificação para o lado de decodificação. Porém, a técnica para transmitir a informação não está limitada a isso. Por exemplo, a informação pode ser transmitida ou gravada como dados separados associados com um fluxo de bits codificado sem ser multiplexado no fluxo de bits codificado. Aqui, o termo "estando associado" representa que uma imagem (um pedaço, um bloco, ou similar; pode ser uma parte da imagem) incluída em fluxo de bits e informação correspondendo à imagem estão ligadas entre si na hora do processo de decodificação. Em outras palavras, a informação pode ser transmitida em uma linha de transmissão que é diferente daquela da imagem (ou o fluxo de bits). Além disso, a informação pode ser gravada em um meio de gravação (ou uma área de armazenamento diferente do mesmo meio de gravação) diferente do meio de gravação da imagem (ou o fluxo de bits). Além disso, a informação e a imagem (ou o fluxo de bits) podem ser associados entre si em uma unidade arbitrária tal como uma pluralidade de quadros, um quadro, ou uma parte dos quadros.

[00570] As concretizações preferidas da descrição presente foram descritas em detalhes com referência aos desenhos anexos, mas a extensão técnica da descrição presente não está limitada aos exemplos anteriores. Deveria ser entendido por aqueles qualificados na técnica que várias modificações ou alterações podem ocorrer dentro da extensão do espírito técnico descrito nas reivindicações e elas estão dentro da extensão técnica da presente invenção.

[00571] A tecnologia presente também pode ter as configurações seguintes: (1) Um dispositivo de processamento de imagem compreendendo: uma unidade de quantização que usa um coeficiente de ponderação aplicado a um bloco de salto de transformada ortogonal no qual processamento de transformada ortogonal é saltado e quantiza o bloco de salto de transformada ortogonal; e uma unidade de codificação que codifica um coeficiente do bloco de salto de transformada ortogonal quantizado pela unidade de quantização. (2) O dispositivo de processamento de imagem descrito em (1), em que a unidade de quantização usa um valor de domínio espacial como o coeficiente de ponderação. (3) O dispositivo de processamento de imagem descrito em (2), em que a unidade de quantização usa um do coeficiente de ponderação. (4) O dispositivo de processamento de imagem descrito em (2), em que a unidade de quantização usa um componente de CC de uma matriz de quantização usada em quantizar um bloco de transformada ortogonal no qual o processamento de transformada ortogonal é executado, como o coeficiente de ponderação. (5) O dispositivo de processamento de imagem descrito em (2), em que a unidade de quantização quantiza o bloco de salto de transformada ortogonal usando uma matriz de coeficiente de ponderação obtida executando processamento de matriz em um componente de CC de uma matriz de quantização. (6) O dispositivo de processamento de imagem descrito em (1), em que a unidade de quantização quantiza o bloco de salto de transformada ortogonal usando uma matriz de coeficiente de ponderação obtida executando processamento de matriz no coeficiente de ponderação. (7) O dispositivo de processamento de imagem descrito em (1), adicionalmente compreendendo uma unidade de transmissão que transmite o coeficiente de ponderação como um conjunto de parâmetros de sequência ou um conjunto de parâmetros de quadro. (8) O dispositivo de processamento de imagem descrito em (1), adicionalmente compreendendo uma unidade de transmissão que transmite informação de habilitar salto indicando se ou não habilitar o salto do processamento de transformada ortogonal como um conjunto de parâmetros de quadro ou como um cabeçalho de pedaço. (9) O dispositivo de processamento de imagem descrito em (8), em que a unidade de transmissão transmite a informação de habilitar salto só quando um tamanho mínimo de bloco em executar uma transformada ortogonal é 4 x 4. (10) O dispositivo de processamento de imagem descrito em (1), adicionalmente compreendendo uma unidade de transmissão que transmite a informação de habilitar salto como um conjunto de parâmetros de sequência só quando um tamanho mínimo de bloco em executar uma transformada ortogonal é 4x4. (11)0 dispositivo de processamento de imagem descrito em (10), em que a unidade de transmissão transmite o coeficiente de ponderação subsequente à informação de habilitar salto quando a informação de habilitar salto é um valor para habilitar o salto do processamento de transformada ortogonal. (12) Um método de processamento de imagem de um dispositivo de processamento de imagem, em que o dispositivo de processamento de imagem usa um coeficiente de ponderação aplicado a um bloco de salto de transformada ortogonal no qual processamento de transformada ortogonal é saltado, quantiza o bloco de salto de transformada ortogonal, e codifica um coeficiente do bloco de salto de transformada ortogonal quantizado. (13) Um dispositivo de processamento de imagem compreendendo: uma unidade de filtro que executa um filtro de desblocagem em uma imagem decodificada localmente quando uma imagem é sujeita a um processo de codificação; uma unidade de controle que controla o filtro de desblocagem pela unidade de filtro de modo a aumentar a intensidade do filtro de desblocagem com relação a um limite entre um bloco de salto de transformada ortogonal no qual processamento de transformada ortogonal é saltado e um bloco de transformada ortogonal no qual a transformada ortogonal é executada; e uma unidade de codificação que usa uma imagem na qual o filtro de desblocagem é executado pela unidade de filtro e codifica a imagem. (14) Um método de processamento de imagem de um dispositivo de processamento de imagem, em que o dispositivo de processamento de imagem executa um filtro de desblocagem em uma imagem decodificada localmente quando uma imagem é sujeita a um processo de codificação, controla o filtro de desblocagem pela unidade de filtro de modo a aumentar a intensidade do filtro de desblocagem com relação a um limite entre um bloco de salto de transformada ortogonal no qual processamento de transformada ortogonal é saltado e um bloco de transformada ortogonal no qual a transformada ortogonal é executada, usa uma imagem na qual o filtro de desblocagem é executado pela unidade de filtro, e codifica a imagem. (15) Um dispositivo de processamento de imagem compreendendo: uma unidade de decodificação que executa um processo de decodificação em fluxo de bits para gerar uma imagem; uma unidade de filtro que executa um filtro de desblocagem na imagem gerada pela unidade de decodificação; e uma unidade de controle que controla o filtro de desblocagem pela unidade de filtro de modo a aumentar a intensidade do filtro de desblocagem com relação a um limite entre um bloco de salto de transformada ortogonal no qual processamento de transformada ortogonal é saltado e um bloco de transformada ortogonal no qual a transformada ortogonal é executada. (16) Um método de processamento de imagem de um dispositivo de processamento de imagem, em que o dispositivo de processamento de imagem executa um processo de decodificação em um fluxo de bits para gerar uma imagem, executa um filtro de desblocagem na imagem gerada, e controla o filtro de desblocagem de modo a aumentar a intensidade do filtro de desblocagem com relação a um limite entre um bloco de salto de transformada ortogonal no qual processamento de transformada ortogonal é saltado e um bloco de transformada ortogonal no qual a transformada ortogonal é executada. (21) Um dispositivo de processamento de imagem compreendendo: uma unidade de decodificação que decodifica dados codificados e gera um coeficiente quantizado; e uma unidade de quantização inversa que usa um coeficiente de ponderação aplicado a um bloco de salto de transformada ortogonal no qual processamento de transformada ortogonal é saltado, para quantizar inversamente o coeficiente quantizado do bloco de salto de transformada ortogonal gerado pela unidade de decodificação. (22) O dispositivo de processamento de imagem de acordo com (21), em que a unidade de quantização inversa usa o um coeficiente de ponderação. (23) O dispositivo de processamento de imagem de acordo com (22), em que a unidade de quantização inversa quantiza inversamente um coeficiente quantizado de um bioco de salto de transformada ortogonal tendo um tamanho de bloco de 4 x 4, usando o coeficiente de ponderação. (24) O dispositivo de processamento de imagem de acordo com (23), adicionalmente compreendendo uma unidade receptora que recebe informação de habilitar salto transmitida como um conjunto de parâmetros de quadro e indicando se ou não habilitar o salto do processamento de transformada ortogonal. (25) O dispositivo de processamento de imagem de acordo com (24), em que a unidade receptora adicionalmente recebe o coeficiente de ponderação transmitido, e a unidade de quantização inversa quantiza inversamente o coeficiente quantizado do bloco de salto de transformada ortogonal, usando o coeficiente de ponderação recebido pela unidade receptora. (26) O dispositivo de processamento de imagem de acordo com (21), em que a unidade de quantização inversa quantiza inversamente um coeficiente quantizado de um bloco de salto de transformada não ortogonal no qual o processamento de transformada ortogonal é executado, usando uma matriz de quantização diferente de uma matriz de coeficiente de ponderação obtida executando processamento de matriz no coeficiente de ponderação. (27) O dispositivo de processamento de imagem de acordo com (24), adicionalmente compreendendo uma unidade de transmissão que extrai um sinal de canal desejado recebendo sinais de radiodifusão e obtém dados codificados decodificando o sinal extraído, em que a unidade de decodificação decodifica os dados codificados obtidos dos sinais de radiodifusão pela unidade de transmissão. (28) O dispositivo de processamento de imagem de acordo com (24), adicionalmente compreendendo um desmultiplexador que desmultiplexa os dados codificados transmitidos para separar em dados codificados de vídeo e dados codificados de áudio, em que a unidade de decodificação decodifica os dados codificados de vídeo separados dos dados codificados de áudio pelo desmultiplexador. (29) O dispositivo de processamento de imagem de acordo com (24), adicionalmente compreendendo uma unidade de reprodução que reproduz dados de vídeo obtidos executando decodificação pela unidade de decodificação e processamento de quantização inversa pela unidade de quantização inversa nos dados codificados. (30) O dispositivo de processamento de imagem de acordo com (24), adicionalmente compreendendo uma unidade de codec de áudio que executa codificação e decodificação em dados de áudio. (31) O dispositivo de processamento de imagem de acordo com (24), adicionalmente compreendendo uma unidade de reprodução que extrai dados codificados gravados em um meio de armazenamento, em que a unidade de decodificação decodifica os dados codificados extraídos do meio de armazenamento pela unidade de reprodução. (32) Um método de processamento de imagem compreendendo: decodificar dados codificados e gerar um coeficiente quantizado; e quantizar inversamente o coeficiente quantizado gerado do bloco de salto de transformada ortogonal usando um coeficiente de ponderação aplicado a um bloco de salto de transformada ortogonal no qual processamento de transformada ortogonal é saltado. LISTA DE SINAIS DE REFERÊNCIA 100 Dispositivo de codificação de imagem 104 Unidade de transformada ortogonal 105 Unidade de quantização 106 Unidade de codificação sem perda 108 Unidade de quantização inversa 109 Unidade de transformada ortogonal inversa 111 Filtro de desblocagem 121 Unidade de salto de transformada ortogonal 131 Unidade de codificação de salto 132 Unidade de determinação de salto 141 Unidade de colocação de matriz de quantização 142 Unidade de geração de coeficiente de ponderação 143 Unidade de processamento de quantização 151 Unidade de determinação de limite 152 Unidade de ajuste de intensidade 153 Unidade de filtragem 200 Dispositivo de decodificação de imagem 202 Unidade de decodificação sem perda 203 Unidade de quantização inversa 204 ‘ 206 Unidade de transformada ortogonal inversa Filtro de desblocagem , 221 Unidade de salto de transformada ortogonal inversa 231 Memória temporária de TransformSkipFlag 232 Unidade de geração de sinal de controle 241 Memória temporária de matriz de quantização 242 Unidade de geração de coeficiente de ponderação 243 Memória temporária de parâmetro de quantização 244 Unidade de quantização inversa 251 Unidade de determinação de limite 252 Unidade de ajuste de intensidade 253 Unidade de filtragem

Claims (11)

1. Dispositivo de processamento de imagem, caracterizado pelo fato de compreender: uma unidade de decodificação (202) que decodifica dados codificados e gera coeficientes quantizados; e uma unidade de quantização inversa (108) que quantiza inversamente os coeficientes quantizados gerados de um bloco de salto de transformada ortogonal no qual um processamento de transformada ortogonal é saltado utilizando uma matriz de quantização com coeficientes tendo os mesmos valores.

2. Dispositivo de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que a matriz de quantização é uma matriz 4 x 4.

3. Dispositivo de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de quantização inversa (108) quantiza inversamente um coeficiente quantizado de um bloco de salto de transformada ortogonal tendo um tamanho de bloco de 4 x 4, usando a matriz de quantização.

4. Dispositivo de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de compreender uma unidade receptora que recebe informação de habilitar salto transmitida como um conjunto de parâmetros de quadro e indicando se ou não habilita o salto do processamento de transformada ortogonal.

5. Dispositivo de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de quantização inversa (108) quantiza inversamente um coeficiente quantizado de um bloco de salto de transformada não ortogonal sujeito a processamento de transformada ortogonal, usando uma matriz de quantização diferente da matriz de quantização.

6. Dispositivo de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente uma unidade de transmissão que extrai um sinal de canal desejado recebendo sinais de radiodifusão e obtém dados codificados decodificando o sinal do canal desejado extraído, em que a unidade de decodificação (202) decodifica os dados codificados obtidos dos sinais de radiodifusão pela unidade de transmissão.

7. Dispositivo de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente um desmultiplexador (611) que desmultiplexa os dados codificados transmitidos para separar em dados codificados de vídeo e dados codificados de áudio, em que a unidade de decodificação (202) decodifica os dados codificados de vídeo separados dos dados codificados de áudio pelo desmultiplexador (611).

8. Dispositivo de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente uma unidade de reprodução que reproduz dados de vídeo obtidos executando decodificação pela unidade de decodificação (202) e processamento de quantização inversa pela unidade de quantização inversa (108) nos dados codificados.

9. Dispositivo de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente uma unidade de codec de áudio que executa codificação e decodificação em dados de áudio.

10. Dispositivo de processamento de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de compreender adicionalmente uma unidade de reprodução que extrai dados codificados gravados em um meio de armazenamento, em que a unidade de decodificação decodifica os dados codificados extraídos do meio de armazenamento pela unidade de reprodução.

11. Método de processamento de imagem, caracterizado pelo fato de compreender: decodificar dados codificados e gerar coeficientes quantizados; e quantizar inversamente o coeficiente quantizado gerado do bloco de salto de transformada ortogonal no qual processamento de transformada ortogonal é saltado, usando uma matriz de quantização com coeficientes tendo os mesmos valores.

Images