BR112016000132B1

BR112016000132B1 - Dispositivo e método para decodificação de imagem

Info

Publication number: BR112016000132B1
Application number: BR112016000132-0A
Authority: BR
Inventors: Mitsuhiro Hirabayashi; Ohji Nakagami; Shinobu Hattori
Original assignee: Sony Corporation
Priority date: 2013-07-12
Filing date: 2014-07-09
Publication date: 2023-02-28
Also published as: SG10201604902PA; KR20160031461A; JP2018164300A; JP6358475B2; US20160173890A1; JP6780761B2; US20230388525A1; RU2015156212A3; JP2020039153A; RU2669685C2; CN105359522B; SG11201600044QA; CN106210746A; US11218710B2; US20220124354A1; WO2015005367A1; RU2015156212A; US11812042B2; JP6642631B2; EP3021580A1

Abstract

DISPOSITIVO E MÉTODO PARA DECODIFICAÇÃO DE IMAGEM A presente descrição refere-se a um dispositivo e método para decodificação de imagem que permite determinação mais precisa do desempenho requerido para decodificação. Ambos dados codificados produzidos a partir de dados de imagem e informação de definição de carga de decodificação que define a quantidade de carga de processar em decodificação uma região parcial da imagem representada pelos dados de imagem, são obtidos, e a decodificação dos dados codificados obtidos é controlada com base na informação de definição de carga de decodificação obtida, decodificando os dados codificados obtidos de acordo com o controle. A presente descrição pode ser aplicada a dispositivos de processamento de imagem tais como, por exemplo, dispositivos decodificação de imagem que codificam gradualmente dados de imagem e dispositivos de decodificaÁ?o de imagem que decodificam dados codificados obtidos codificando gradualmente dados de imagem.

Description

Campo Técnico

[001] A presente descrição refere-se a um dispositivo e método para decodificação de imagem, e particularmente, refere-se a um dispositivo para decodificação de imagem capaz de reconhecer desempenho necessário para decodificar mais precisamente e um método.

Técnica de Fundamento

[002] Nos últimos anos, a fim de melhorar adicionalmente a eficiência de codificação sobre MPEG-4 Parte 10 (Codificação de Vídeo Avançada, doravante referida como "AVC"), Equipe de Colaboração Conjunta - Codificação de Vídeo (JCTVC), que é uma organização de padronização conjunta da União de Telecomunicação Internacional - Setor de Padronização de Telecomunicação (ITU-T) e Organização Internacional para Padronização/Comissão de Eletrotécnica Internacional (ISO/IEC), procedeu com padronização de um esquema de codificação chamado Codificação de Vídeo de Alta Eficiência (HEVC) (por exemplo, se refira à Literatura Não Patente 1).

[003] Em HEVC, é possível decodificar apenas uma região cuja decodificação é necessária por um aplicativo usando uma estrutura de azulejo. A fim de indicar o fato que uma região de azulejo é decodificável independentemente, segunda e versões posteriores (incluindo MV-HEVC, SHVC, Ext. de Gama e similar) de HEVC são suportadas por SEI de conjuntos de azulejo constrangido em movimento. Lista de Citação Literatura Não Patente Literatura Não Patente 1 Benjamim Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Last Call)", JCTVC-L1003_v34, Time Colaborador Conjunto em Codificação de Vídeo (JCT-VC) de ITU-T SG 16 WP 3 e ISO/IEC JTC 1/SC 29/WG 11 12a Reunião: Genebra, CH, 14-23 de janeiro de 2013.

Sumário da Invenção Problema Técnico

[004] Porém, como informação sobre um nível que serve como uma referência para determinar se um decodificador pode decodificar uma transferência contínua, e uma capacidade de buffer, só um valor da transferência contínua inteiro ou um valor de uma unidade de camada está definido.

[005] Portanto, até mesmo em um aplicativo que decodifica só uma parte de uma imagem inteira, determinação de se decodificação é possível é executada assumindo uma carga quando uma tela inteira é decodificada. Por conseguinte, há preocupação de um decodificador de nível desnecessariamente alto ser necessário. Além disso, há preocupação de aplicativos a serem entregues serem desnecessariamente limitados por conseguinte.

[006] A presente descrição foi feita devido aos supracitados problemas e pode reconhecer desempenho necessário para decodificar mais precisamente.

Solução para o Problema

[007] Um aspecto da tecnologia presente é um dispositivo para decodificação de imagem incluindo: uma unidade de aquisição configurada para adquirir dados codificados de dados de imagem e informação de definição de carga de decodificação para definir uma magnitude de uma carga de um processo de decodificação de uma região parcial de uma imagem dos dados de imagem; uma unidade de controle configurada para controlar decodificação dos dados codificados adquiridos pela unidade de aquisição com base na informação de definição de carga de decodificação adquirida pela unidade de aquisição; e uma unidade de decodificação configurada para decodificar os dados codificados adquiridos sob controle pela unidade de aquisição da unidade de controle.

[008] A região parcial pode ser decodificável independentemente.

[009] A informação de definição de carga de decodificação pode incluir informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com um nível indicando uma magnitude de uma carga do processo de decodificação.

[0010] A informação de definição de carga de decodificação pode incluir informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com informação indicando um tamanho da região parcial.

[0011] A informação de definição de carga de decodificação pode incluir informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com informação indicando um comprimento em uma direção vertical e informação indicando um comprimento em uma direção horizontal da região parcial.

[0012] A informação de definição de carga de decodificação pode ser incluída em informação de aprimoramento suplementar (SEI) de uma região parcial decodificável independentemente.

[0013] Os dados de imagem podem incluir uma pluralidade de camadas, e a informação de definição de carga de decodificação da pluralidade de camadas pode ser incluída na SEI.

[0014] A informação de definição de carga de decodificação pode incluir informação indicando um tamanho da região parcial servindo como uma referência, e um nível indicando uma magnitude de uma carga de um processo de decodificação da região parcial.

[0015] A região parcial pode ser um azulejo.

[0016] A região parcial pode ser um conjunto de uma pluralidade de azulejos.

[0017] A informação de definição de carga de decodificação pode incluir informação para definir uma magnitude máxima de uma carga de um processo de decodificação entre uma pluralidade de regiões parciais incluídas em uma figura dos dados de imagem de acordo com um nível indicando uma magnitude de uma carga do processo de decodificação.

[0018] A informação de definição de carga de decodificação pode incluir informação para definir uma magnitude de uma carga comum em uma pluralidade de regiões parciais incluídas em uma figura dos dados de imagem de acordo com um nível indicando uma magnitude de uma carga do processo de decodificação.

[0019] Quando a pluralidade de regiões parciais incluídas na figura tem uma forma de L, uma magnitude da carga pode ser definida para uma região retangular incluindo a forma de L.

[0020] A unidade de aquisição pode adicionalmente adquirir informação indicando se a informação de definição de carga de decodificação está estabelecida, e quando a informação adquirida indica que a informação de definição de carga de decodificação está estabelecida, adquire a informação de definição de carga de decodificação.

[0021] Um aspecto da tecnologia presente é uma método para decodificação de imagem incluindo: adquirir dados codificados de dados de imagem e informação de definição de carga de decodificação para definir uma magnitude de uma carga de um processo de decodificação de uma região parcial de uma imagem dos dados de imagem; controlar a decodificação dos dados codificados adquiridos com base na informação de definição de carga de decodificação adquirida; e decodificar os dados codificados adquiridos de acordo com o controle.

[0022] Em um aspecto da tecnologia presente, dados codificados de dados de imagem e informação de definição de carga de decodificação para definir uma magnitude de uma carga de um processo de decodificação de uma região parcial de uma imagem dos dados de imagem são adquiridos; decodificação dos dados codificados adquiridos é controlada com base na informação de definição de carga de decodificação adquirida; e os dados codificados adquiridos são decodificados de acordo com o controle.

Efeitos Vantajosos da Invenção

[0023] De acordo com a presente descrição, é possível codificar e decodificar uma imagem. Em particular, é possível reconhecer desempenho necessário para decodificar mais precisamente.

Descrição Breve dos Desenhos

[0024] Figura 1 é um diagrama descrevendo uma configuração exemplar de uma unidade de codificação.

[0025] Figura 2 é um diagrama ilustrando um exemplo de um esquema de codificação de imagem em camadas.

[0026] Figura 3 é um diagrama para descrever um exemplo de codificação graduável espacial.

[0027] Figura 4 é um diagrama para descrever um exemplo de codificação graduável temporal.

[0028] Figura 5 é um diagrama para descrever um exemplo de codificação graduável de uma relação de sinal para ruído.

[0029] Figura 6 é um diagrama descrevendo um aplicativo exemplar que executa exibição parcial.

[0030] Figura 7 é um diagrama descrevendo outro aplicativo exemplar que executa exibição parcial.

[0031] Figura 8 é um diagrama descrevendo um método exemplar de definir uma carga de decodificação à qual a tecnologia presente é aplicada.

[0032] Figura 9 é um diagrama ilustrando um exemplo de extensão de MCTS SEI.

[0033] Figura 10 é um diagrama descrevendo um panorama de MCTS SEI.

[0034] SEI. Figura 11 é um diagrama descrevendo um panorama de MCTS

[0035] SEI. Figura 12 é um diagrama descrevendo um panorama de MCTS

[0036] SEI. Figura 13 é um diagrama descrevendo um panorama de MCTS

[0037] SEI. Figura 14 é um diagrama descrevendo um panorama de MCTS

[0038] SEI. Figura 15 é um diagrama descrevendo um panorama de MCTS

[0039] SEI. Figura 16 é um diagrama descrevendo um panorama de MCTS

[0040] SEI. Figura 17 é um diagrama descrevendo um panorama de MCTS

[0041] Figura 18 é um diagrama ilustrando transmissão exemplar de uma sintaxe para cada ROI.

[0042] Figura 19 é um diagrama ilustrando um exemplo de extensão de MCTS SEI.

[0043] Figura 20 é um diagrama ilustrando uma sintaxe exemplar de MCTS SEI.

[0044] Figura 21 é um diagrama ilustrando um exemplo de extensão de MCTS SEI.

[0045] Figura 22 é um diagrama descrevendo um estado de mapeamento de parâmetro.

[0046] Figura 23 é um diagrama descrevendo elementos de sintaxe.

[0047] Figura 24 é um diagrama ilustrando um exemplo de extensão de MCTS SEI.

[0048] Figura 25 é um diagrama descrevendo um estado de mapeamento de parâmetro.

[0049] Figura 26 é um diagrama descrevendo elementos de sintaxe.

[0050] Figura 27 é um diagrama de bloco ilustrando um exemplo de configuração principal de um dispositivo de codificação de imagem.

[0051] Figura 28 é um diagrama de bloco ilustrando um exemplo de configuração principal de uma unidade de codificação de imagem de camada base.

[0052] Figura 29 é um diagrama de bloco ilustrando um exemplo de configuração principal de uma unidade de codificação de imagem de camada de aprimoramento.

[0053] Figura 30 é um diagrama de bloco ilustrando um exemplo de configuração principal de uma unidade geradora de informação de cabeçalho.

[0054] Figura 31 é uma transferência contínuagrama descrevendo uma transferência contínua exemplar de processos de codificação de imagem.

[0055] Figura 32 é uma transferência contínuagrama descrevendo uma transferência contínua exemplar de processos de codificação de camada base.

[0056] Figura 33 é uma transferência contínuagrama descrevendo uma transferência contínua exemplar de processos de codificação de camada de aprimoramento.

[0057] Figura 34 é uma transferência contínuagrama descrevendo uma transferência contínua exemplar de processos de geração de informação de cabeçalho.

[0058] Figura 35 é um diagrama de bloco ilustrando um exemplo de configuração principal de um dispositivo para decodificação de imagem.

[0059] Figura 36 é um diagrama de bloco ilustrando um exemplo de configuração principal de uma unidade de decodificação de imagem de camada base.

[0060] Figura 37 é um diagrama de bloco ilustrando um exemplo de configuração principal de uma unidade de decodificação de imagem de camada de aprimoramento.

[0061] Figura 38 é um diagrama de bloco ilustrando uma configuração exemplar de uma unidade de análise de informação de cabeçalho.

[0062] Figura 39 é uma transferência contínuagrama descrevendo uma transferência contínua exemplar de processos de decodificação de imagem.

[0063] Figura 40 é uma transferência contínuagrama descrevendo uma transferência contínua exemplar de processos de análise de informação de cabeçalho.

[0064] Figura 41 é uma transferência contínuagrama descrevendo uma transferência contínua exemplar de processos de decodificação de camada base.

[0065] Figura 42 é uma transferência contínuagrama descrevendo uma transferência contínua exemplar de processos de decodificação de camada de aprimoramento.

[0066] Figura 43 é um diagrama ilustrando um exemplo de um esquema de codificação de imagem de multi-visão.

[0067] Figura 44 é um diagrama ilustrando um exemplo de configuração principal de um dispositivo de codificação de imagem de multi- visão ao qual a tecnologia presente é aplicada.

[0068] Figura 45 é um diagrama ilustrando um exemplo de configuração principal de um dispositivo para decodificação de imagem de multi-visão ao qual a tecnologia presente é aplicada.

[0069] Figura 46 é um diagrama de bloco ilustrando um exemplo de uma configuração principal de um computador.

[0070] Figura 47 é um diagrama de bloco ilustrando um exemplo de uma configuração esquemática de um dispositivo de televisão.

[0071] Figura 48 é um diagrama de bloco ilustrando um exemplo de uma configuração esquemática de um telefone móvel.

[0072] Figura 49 é um diagrama de bloco ilustrando uma configuração esquemática exemplar de um dispositivo de gravação e reprodução.

[0073] Figura 50 é um diagrama de bloco ilustrando uma configuração esquemática exemplar de um dispositivo de formação de imagem.

[0074] Figura 51 é um diagrama de bloco ilustrando um exemplo de uso de codificação graduável.

[0075] Figura 52 é um diagrama de bloco ilustrando outro exemplo de uso de codificação graduável.

[0076] Figura 53 é um diagrama de bloco ilustrando ainda outro exemplo de uso de codificação graduável.

[0077] Figura 54 é um diagrama de bloco ilustrando um exemplo de uma configuração esquemática de um aparelho de vídeo.

[0078] Figura 55 é um diagrama de bloco ilustrando um exemplo de uma configuração esquemática de um processador de vídeo.

[0079] Figura 56 é um diagrama de bloco ilustrando outro exemplo da configuração esquemática do processador de vídeo.

Descrição das Modalidades

[0080] Em seguida, aspectos (em seguida chamadas "modalidades") para implementar a presente descrição serão descritos. As descrições procederão na ordem seguinte. 1. Primeira modalidade (definição de carga de decodificação de imagem parcial) 2. Segunda modalidade (dispositivo de codificação de imagem) 3. Terceira modalidade (dispositivo para decodificação de imagem) 4. Quarta modalidade (dispositivo de codificação de imagem de multi-visão e decodificação de imagem de multi-visão) 5. Quinta modalidade (computador) 6. Sexta modalidade (exemplo de aplicação) 7. Sétima modalidade (exemplo de aplicação de codificação graduável) 8. Oitava modalidade (aparelho, unidade, módulo e processador)

<1. Primeira modalidade> <Fluxo de padronização de codificação de imagem>

[0081] Nos últimos anos, dispositivos nos quais informação de imagem é operada digitalmente, e neste caso, a fim de transmitir e acumular informação com alta eficiência, redundância específica de informação de imagem é usada, e uma imagem é codificada por compressão empregando um esquema de codificação no qual uma transformada ortogonal tal como uma transformada de cosseno discreta e compensação de movimento são usados para compressão proliferou. Como o esquema de codificação, Grupo de Especialistas em Imagens com Movimento (MPEG) é exemplificado.

[0082] Em particular, MPEG2 (ISO/IEC 13818-2) é um padrão que está definido como um esquema de codificação de imagem de propósito geral, e geralmente suporta ambas uma imagem de varredura entrelaçada e uma imagem de varredura progressiva como também uma imagem de resolução padrão e uma imagem de alta definição. Por exemplo, MPEG2 está sendo atualmente usado extensamente para uma ampla gama de aplicações incluindo aplicações profissionais e aplicações de consumidor. Quando um esquema de compressão de MPEG2 é usado, por exemplo, uma imagem de varredura entrelaçada tendo uma resolução padrão de 720x480 pixels pode ser nomeada uma quantidade de código (taxa de bit) de 4 a 8 Mbps. Além disso, quando o esquema de compressão de MPEG2 é usado, por exemplo, uma imagem de varredura entrelaçada tendo uma resolução alta de 1920x1088 pixels pode ser nomeada uma quantidade de código (taxa de bit) de 18 a 22 Mbps. Portanto, é possível implementar uma alta taxa de compressão e boa qualidade de imagem.

[0083] MPEG2 é principalmente projetado para codificação de qualidade de imagem alta satisfatória para difusão, mas não corresponde a uma quantidade de código mais baixa (taxa de bit) que aquela de MPEG1, quer dizer, um esquema de codificação de uma taxa de compressão mais alta. Com a proliferação de terminais móveis, é assumido que necessidades por um tal esquema de codificação aumentará no futuro. Por conseguinte, esquemas de codificação de MPEG4 foram padronizados. Um padrão de esquemas de codificação imagem foi aprovado como um padrão internacional ISO/IEC14496-2 em dezembro de 1998.

[0084] Adicionalmente, nos últimos anos, para o propósito inicial de codificação de imagem para vídeo-conferência, um padrão chamado H.26L (ITU-T (União de Telecomunicação Internacional - Setor de Padronização de Telecomunicação) Q6/16 VCEG (Grupo de Peritos em Codificação de Vídeo)) foi padronizado. É conhecido que H.26L pede uma quantidade maior de computação para codificação e decodificação do que esquemas de codificação da técnica relacionada tais como MPEG2 ou MPEG4, mas tem uma eficiência de codificação mais alta. Além disso, atualmente, como uma parte de atividades de MPEG4, com base em H.26L, padronização na qual funções que são suportadas em H.26L incorporadas também não são incorporadas para implementar eficiência de codificação mais alta está sendo executada como Modelo Conjunto de Codificação de Vídeo de Compressão Aprimorada.

[0085] Como programas de padronização, H.264 e MPEG-4 Parte 10 (Codificação de Vídeo Avançada, em seguida chamada "AVC") se tornaram padrões internacionais em março de 2003.

[0086] Adicionalmente, como extensões de H.264/AVC, padronização de Extensão de Gama de Fidelidade (FRExt) incluindo ferramentas de codificação necessárias para uso profissional tais como RGB, 4:2:2, ou 4:4:4, e 8x8 DCT ou uma matriz de quantização definida em MPEG-2 foi completada em fevereiro de 2005. Portanto, quando H.264/AVC é usado, o esquema de codificação também pode representar apropriadamente ruído de filme incluído em um filme e é usado para uma ampla gama de aplicações tal como um Disco de Blu-ray (marca registrada).

[0087] Porém, nos últimos anos, necessidades por codificação de taxa de compressão mais alta incluindo compressão de uma imagem de cerca de 4000x2000 pixels, quatro vezes aquela de uma imagem de alta definição, ou entrega de uma imagem de alta definição em um ambiente tendo uma capacidade de transmissão limitada tal como a Internet, estão aumentando. Portanto, em VCEG descrito previamente sob ITU-T, estudo para aumentar a eficiência de codificação continua.

[0088] Portanto, atualmente, a fim de adicionalmente aumentar a eficiência de codificação sobre aquela de AVC, Equipe de Colaboração Conjunta -Codificação de Vídeo (JCTVC), que é uma organização de padronização conjunta de ITU-T e Organização Internacional para Padronização/Comissão de Eletrotécnica Internacional (ISO/IEC), procedendo com uma padronização de um esquema de codificação chamado Codificação de Vídeo de Alta Eficiência (HEVC). Como um padrão de HEVC, uma minuta de comitê, que é uma especificação de minuta foi emitida em janeiro de 2013 (por exemplo, se refira à Literatura Não Patente 1).

[0089] Em seguida, a tecnologia presente será descrita com exemplos de aplicação de codificação e decodificação de imagem de um esquema de Codificação de Vídeo de Alta Eficiência (HEVC).

[0090] No esquema de Codificação de Vídeo Avançada (AVC), uma estrutura em camadas de macroblocos e sub-macroblocos está definida. Porém, um macrobloco de 16x16 pixels não é ótimo para uma figura de imagem grande provido no esquema de codificação de próxima geração UltraAlta Definição (UHD, 4000 pixels x 2000 pixels).

[0091] Por outro lado, no esquema de HEVC, como ilustrado na Figura 1, uma unidade de codificação (CU) está definida.

[0092] A CU também é chamada um bloco de árvore de codificação (CTB) e é uma região parcial de uma imagem de uma unidade de figura, que semelhantemente serve como o macrobloco no esquema de AVC. O anterior é fixado a um tamanho de 16x16 pixels. Por outro lado, o anterior tem um tamanho que não é fixo, mas é designado em informação de compressão de imagem em sequências respectivas.

[0093] Por exemplo, no conjunto de parâmetros de sequência (SPS) incluído em dados codificados a serem produzidos, um tamanho máximo (unidade de codificação maior (LCU)) e um tamanho mínimo (unidade de codificação menor (SCU)) da CU estão definidos.

[0094] Em cada LCU, em uma gama igual a ou maior do que um tamanho da SCU, quando split_flag=1 é fixado, a unidade pode ser dividida em CUs tendo um tamanho menor. Em um exemplo da Figura 1, a LCU tem um tamanho de 128 e uma profundidade de nível máxima de 5. Quando um valor de split_flag está fixado a "1", uma CU tendo um tamanho de 2Nx2N é dividida no próximo nível mais baixo de CUs tendo um tamanho de NxN.

[0095] Adicionalmente, a CU é dividida em uma unidade de predição (PU), que é uma região (uma região parcial de uma imagem de uma unidade de figura) servindo como uma unidade de processamento de intra ou inter- predição, e é dividida em uma unidade de transformada (TU)), que é uma região (uma região parcial de uma imagem de uma unidade de figura) servindo como uma unidade de processo de uma transformada ortogonal. Atualmente, no esquema de HEVC, é possível usar transformada ortogonal de 16x16 e 32x32 além de 4x4 e 8x8.

[0096] Em um esquema de codificação no qual a CU é definida e vários processos são executados em unidades de CUs como no esquema de HEVC descrito acima, o macrobloco no esquema de AVC pode ser considerado corresponder à LCU e o bloco (sub-bloco) pode ser considerado corresponder à CU. Além disso, um bloco de compensação de movimento no esquema de AVC pode ser considerado corresponder à PU. Porém, desde que a CU tem uma estrutura em camadas, a LCU do nível mais alto tem um tamanho que geralmente é fixado para ser maior do que um macrobloco do esquema de AVC, por exemplo, 128x128 pixels.

[0097] Por conseguinte, em seguida, a LCU pode incluir o macrobloco no esquema de AVC, e a CU pode incluir o bloco (sub-bloco) no esquema de AVC. Quer dizer, o termo "bloco" usado na descrição seguinte se refere a qualquer região parcial na figura e tem um tamanho, uma forma, uma característica e similar que não estão limitadas. Em outras palavras, o "bloco" inclui qualquer região (unidade de processamento), por exemplo, uma TU, uma PU, uma SCU, uma CU, uma LCU, um sub-bloco, um macrobloco, ou uma fatia. É desnecessário dizer que uma região parcial (unidade de processamento) diferente destas está incluída. Quando há uma necessidade para limitar um tamanho, uma unidade de processamento ou similar, será descrito apropriadamente.

[0098] Além disso, nesta especificação, uma unidade de árvore de codificação (CTU) é uma unidade incluindo um parâmetro quando processamento é executado no bloco de árvore de codificação (CTB) da LCU (um número máximo da CU) e uma base de LCU (nível) disso. Além disso, a unidade de codificação (CU) da CTU é uma unidade incluindo um parâmetro quando processamento é executado em um bloco de codificação (CB) e uma base de CU (nível) disso.

<Seleção de modo>

[0099] Enquanto isso, nos esquemas de codificação de AVC e HEVC, a fim de alcançar eficiência de codificação mais alta, é importante selecionar um modo de predição apropriado.

[00100] Como um exemplo de um tal esquema de seleção, um método implementado em software de referência (exposto em http://iphome.hhi.de/suehring/tml/index.htm) de H.264/MPEG-4 AVC chamado Modelo Conjunto (JM) pode ser exemplificado.

[00101] Em JM, é possível selecionar um método de determinar dois modos, um modo de complexidade alta e um modo de complexidade baixa, a serem descritos abaixo. Em ambos, um valor de função de custo para cada Modo de predição é calculado, e um modo de predição minimizando o valor é selecionado como um modo ótimo para o bloco ou o macrobloco.

[00102] Uma função de custo no modo de complexidade alta é representada como a Equação seguinte (1). FAVOR TRADUZIR! [Math 1]

[00103] Aqui, denota um conjunto inteiro de modos de candidato para codificar o bloco ou o macrobloco, e D denota energia de diferença entre uma imagem decodificada e uma imagem de entrada quando codificação é executada no modo de predição. n denota um multiplicador indeterminado de Lagrange provido como uma função de um parâmetro de quantização. R denota uma quantidade total de códigos quando codificação é executada no modo incluindo um coeficiente de transformada ortogonal.

[00104] Quer dizer, quando codificação é executada no modo de complexidade alta, a fim de calcular os parâmetros, D e R, é necessário executar um processo de codificação provisório uma vez em todos os modos de candidato. Portanto, uma quantidade mais alta de computação é necessária.

[00105] Uma função de custo no modo de complexidade baixa é representada como a Equação seguinte (2). FAVOR TRADUZIR! [Math 2]

[00106] Aqui, D denota energia de diferença entre uma imagem de predição e uma imagem de entrada distinto do modo de complexidade alta. QP2Quant (QP) é provido como uma função de um parâmetro de quantização QP. HeaderBit denota uma quantidade de código de informação pertencendo a um cabeçalho em um vetor de movimento ou um modo não tendo nenhum coeficiente de transformada ortogonal.

[00107] Quer dizer, no modo de complexidade baixa, é necessário executar um processo de predição em modos de candidato respectivos, mas não é necessário para a imagem decodificada. Portanto, não é necessário executar um processo de codificação. Por esta razão, uma quantidade de computação mais baixa que aquela no modo de complexidade alta pode ser implementada.

<Codificação em camadas>

[00108] Incidentemente, os esquemas de codificação de imagem tais como MPEG2 e AVC descritos acima têm uma função de capacidade de graduação. Codificação graduável (codificação em camadas) se refere a um esquema no qual uma imagem é dividida em uma pluralidade de camadas (em camadas), e codificação é executada para cada camada. Figura 2 é um diagrama ilustrando um exemplo de um esquema de codificação de imagem em camadas.

[00109] Como ilustrado na Figura 2, ao estender em camadas a imagem, usando um parâmetro predeterminado tendo uma função de capacidade de graduação como uma referência, uma imagem é dividida em uma pluralidade de níveis (camadas). Quer dizer, a imagem em camadas (imagem hierárquica) inclui uma imagem de uma pluralidade de camadas cujos valores de parâmetro predeterminados são diferentes um do outro. A pluralidade de camadas da imagem em camadas inclui uma camada base na qual codificação e decodificação são executadas usando só uma imagem de sua própria camada sem usar uma imagem de outra camada, e uma camada não base (também chamada uma "camada de aprimoramento") na qual codificação e decodificação são executadas usando uma imagem de outra camada. A camada não base pode usar uma imagem da camada base ou usar uma imagem de outra camada não base.

[00110] Em geral, a camada não base inclui dados (dados de diferença) de uma imagem de diferença entre sua própria imagem e uma imagem de outra camada de forma que redundância seja reduzida. Por exemplo, quando uma imagem é dividida em duas camadas, a camada base e a camada não base (também chamada uma "camada de aprimoramento"), uma imagem tendo qualidade mais baixa que uma imagem original pode ser obtida quando só dados da camada base são usados. Portanto, quando dados da camada base e dados da camada não base são sintetizados, a imagem original (quer dizer, uma imagem de alta qualidade) pode ser obtida.

[00111] Quando a imagem é estendida em camadas desta maneira, é possível obter facilmente uma imagem de uma variedade de níveis de qualidade de acordo com circunstâncias. Por exemplo, em terminais tendo uma baixa capacidade de processamento tal como um telefone móvel, informação de compressão de imagem só da camada base é transmitida, e uma imagem em movimento tendo uma baixa resolução espacial e temporal ou tendo baixa qualidade de imagem é reproduzida e em terminais tendo uma capacidade de processamento alta tal como uma televisão ou um computador pessoal, informação de compressão de imagem da camada de aprimoramento além da camada base é transmitida, e uma imagem em movimento tendo uma resolução espacial e temporal alta ou qualidade de imagem alta é reproduzida, de forma que um processo de transcodificação não é executado e informação de compressão de imagem pode ser transmitida de um servidor de acordo com uma capacidade de um terminal ou uma rede.

<Parâmetro graduável>

[00112] Em tal codificação de imagem em camadas e decodificação de imagem em camadas (codificação graduável e decodificação graduável), um parâmetro tendo uma função de capacidade de graduação é arbitrário. Por exemplo, uma resolução espacial ilustrada na Figura 3 pode ser usada como um parâmetro disso (capacidade de graduação espacial). No capacidade de graduação espacial, uma resolução de uma imagem é diferente para cada camada. Quer dizer, como ilustrado na Figura 3, cada figura é dividida em duas camadas, e a camada base tendo uma resolução espacial mais baixa do que a imagem original e a camada de aprimoramento em que sintetização com a imagem da camada base é executada e a imagem original (resolução espacial original) pode ser obtido. É desnecessário dizer que o número de níveis é só um exemplo, e a imagem pode ser estendida em camadas em qualquer número de níveis.

[00113] Além disso, como um parâmetro habilitando uma tal propriedade graduável, outro exemplo, por exemplo, uma resolução temporal também pode ser aplicada (capacidade de graduação temporal) como ilustrado na Figura 4. Na capacidade de graduação temporal, uma taxa de figura é diferente para cada camada. Quer dizer, neste caso, como ilustrado na Figura 4, a imagem é dividida em camadas tendo taxas de figura diferentes, e quando uma camada tendo uma taxa de figura alta é adicionada a uma camada tendo uma baixa taxa de figura, uma imagem em movimento tendo uma taxa de figura mais alta pode ser obtida, e quando todas as camadas são adicionadas, uma imagem em movimento original (taxa de figura original) pode ser obtida. O número de níveis é só um exemplo, e a imagem pode ser estendida em camadas em qualquer número de níveis.

[00114] Adicionalmente, como um parâmetro habilitando uma tal propriedade graduável, em outro exemplo, por exemplo, como ilustrado na Figura 5, um relação de sinal para ruído (SNR) pode ser aplicada (capacidade de graduação de SNR). Na capacidade de graduação de SNR, a SNR é diferente para cada camada. Quer dizer, neste caso, como ilustrado na Figura 5, cada figura é estendido em camadas em dois níveis, uma camada base tendo uma SNR mais baixa que a imagem original e uma camada de aprimoramento que pode ser sintetizada com uma imagem da camada base para obter a imagem original (SNR original). Quer dizer, em informação de compressão de imagem de camada base, informação é transmitida sobre uma imagem de uma baixa PSNR, e informação de compressão de imagem de camada de aprimoramento é adicionada a isso. Portanto, é possível reconstruir uma imagem de PSNR alta. É desnecessário dizer que o número de níveis é só um exemplo e a imagem pode ser estendida em camadas em qualquer número de níveis.

[00115] É desnecessário dizer que o parâmetro habilitando uma tal propriedade graduável pode ser um parâmetro diferente do exemplo descrito acima. Por exemplo, em capacidade de graduação de profundidade de bit, a camada base é uma imagem de 8 bits, a camada de aprimoramento é adicionada a isso, e assim uma imagem de 10 bits é obtida.

[00116] Além disso, em capacidade de graduação de croma, a camada base é uma imagem de componente de um formato 4:2:0, a camada de aprimoramento é adicionada a isso, e assim uma imagem de componente de um formato 4:2:2 é obtida.

<Definição de estrutura de azulejo e camada>

[00117] Em HEVC, é possível decodificar só uma região cuja decodificação é necessária por um aplicativo usando uma estrutura de azulejo. A fim de indicar o fato que uma região de azulejo é decodificável independentemente, segunda e versões posteriores (incluindo MV-HEVC, SHVC, Ext. de Gama e similar) de HEVC são suportadas por conjuntos de azulejo de movimento constrangido SEI.

[00118] Exemplos de aplicação aos quais a tecnologia presente é aplicada serão descritos.

[00119] Em um sistema configurado para entregar uma imagem de um servidor para um terminal, por exemplo, como exemplificado na Figura 6, há um aplicativo no qual uma única tela é dividida em uma pluralidade de telas e entrega é executada enquanto uma região de exibição é trocada. Além disso, por exemplo como exemplificado na Figura 7, há um aplicativo no qual uma região parcial a ser exibida (entregue) é selecionada a fim de selecionar uma relação de aspecto ou uma resolução de uma imagem.

[00120] Na aplicação da Figura 6, imagens parciais são segmentadas de uma imagem inteira usando um azulejo como uma unidade em codificação e decodificação da imagem, e entregue a terminais. Posições das imagens parciais segmentadas na imagem inteira podem ser designadas, por exemplo, por um usuário do terminal. Portanto, no terminal, é possível exibir uma imagem parcial de uma posição desejada da imagem inteira. Por exemplo, em um serviço tal como difusão de esportes, em uma imagem de ângulo largo que é provida de um servidor ou similar e obtida capturando uma imagem de um local inteiro, um campo inteiro ou similar, focalizando em uma parte desejada (por exemplo, um jogador favorito, um treinador, em frente a uma meta, um banco, e um assento de audiência) do usuário, a imagem parcial pode ser segmentada e descarregada (ou tansferida continuamente), e exibida no terminal. Quer dizer, o usuário do terminal pode focalizar na parte desejada da imagem inteira.

[00121] Na aplicação da Figura 7, selecionando simplesmente um azulejo, uma resolução de uma imagem de exibição pode ser estabelecida a HD ou um tamanho de cinema.

[00122] Porém, como informação sobre um nível que serve como uma referência para determinar se um decodificador pode decodificar uma transferência contínua, e uma capacidade de buffer, só um valor da transferência contínua inteiro ou um valor de uma unidade de camada está definido.

[00123] Portanto, até mesmo em uma aplicação que decodifica só uma parte de uma imagem inteira, determinação de se decodificação é possível é executada assumindo uma carga quando uma tela inteira é decodificada. Por conseguinte, há preocupação de um decodificador de nível desnecessariamente alto ser necessário. Além disso, há preocupação de aplicativos a serem entregues serem desnecessariamente limitados por conseguinte.

[00124] Portanto, informação de definição de carga de decodificação para definir uma magnitude de uma carga de um processo de decodificação de uma região parcial decodificável independentemente de uma imagem de dados de imagem a ser codificada é estabelecida, e a informação de definição de carga de decodificação é transmitida. Por exemplo, a informação de definição de carga de decodificação é transmitida de um lado de codificação para um lado de decodificação junto com dados codificados de dados de imagem.

[00125] Desta maneira, o decodificador pode reconhecer desempenho necessário para decodificar a região parcial de acordo com a informação de definição de carga de decodificação, e determinar se decodificação é possível. Quer dizer, é possível reconhecer desempenho necessário para decodificar mais precisamente. Portanto, é possível selecionar o decodificador tendo desempenho apropriado para os dados de imagem. Portanto, é possível suprimir uma situação de aplicar o decodificador tendo um nível desnecessariamente alto com respeito a uma carga de decodificação de dados de imagem de ocorrer. Além disso, é possível suprimir aplicativos a serem entregues de serem desnecessariamente limitados por conseguinte.

<Colocação de informação de definição de carga de decodificação>

[00126] A informação de definição de carga de decodificação está definida de acordo com, por exemplo, Figura 8. Por exemplo, como exemplificado em A da Figura 8, as informação de definição de carga de decodificação para definir uma magnitude de uma carga de um processo de decodificação da região parcial pode ser estabelecida para uma região parcial decodificável independentemente de uma única camada. No exemplo de A da Figura 8, nível 4.0 está fixado para decodificar uma imagem inteira de uma única camada, e nível 2.0 está fixado para decodificar um azulejo decodificável independentemente (região parcial) da imagem.

[00127] Além disso, por exemplo, como exemplificado em B da Figura 8, a informação de definição de carga de decodificação pode ser estabelecida para uma região parcial decodificável independentemente de cada camada de uma imagem incluindo uma pluralidade de camadas. No exemplo de B da Figura 8, nível 5.0 está fixado para decodificar uma imagem de todas as camadas, e nível 4.0 está fixado para decodificar uma imagem inteira da camada base (camada 0). Adicionalmente, nível 2.0 está fixado para decodificar um azulejo decodificável independentemente (região parcial) da imagem da camada base (camada 0). Adicionalmente, nível 4.0 está fixado para decodificar (quer dizer, decodificação de um azulejo da camada base (camada 0) a ser referido e um azulejo da camada de aprimoramento (camada 1) se referindo a isso) um azulejo que se refere só a um azulejo decodificável independentemente de uma imagem da camada base (camada 0) de uma imagem de uma camada de aprimoramento (camada 1).

[00128] Adicionalmente, por exemplo, como exemplificado em C da Figura 8, a informação de definição de carga de decodificação pode ser estabelecida para a imagem inteira da camada se referindo só à região parcial decodificável independentemente e à região parcial referida. Quer dizer, um lado que se refere ao azulejo decodificável independentemente (região parcial) pode ser a imagem inteira em lugar da região parcial. No exemplo de C da Figura 8, basicamente, o mesmo nível como no exemplo de B da Figura 8 está fixado. Porém, no exemplo de B da Figura 8, o nível está fixado para decodificar um azulejo se referindo só a um azulejo decodificável independentemente da imagem da camada base (camada 0) na imagem da camada de aprimoramento (camada 1). Porém, no exemplo de C da Figura 8, alternativamente, nível 4.0 está fixado para decodificar (quer dizer, decodificar o azulejo da camada base (camada 0) a ser referido e a imagem inteira da camada de aprimoramento (camada 1) se referindo a isso) a imagem inteira da camada de aprimoramento (camada 1) se referindo só ao azulejo decodificável independentemente da imagem da camada base (camada 0).

[00129] Também, neste caso, a fim de identificar uma região parcial (azulejo) (uma posição disso) referenciada pela imagem inteira da camada de aprimoramento (camada 1), informação de posição do azulejo da camada base (camada 0) servindo como uma fonte de referência pode ser associada com (mapeada com) a imagem inteira da camada de aprimoramento (camada 1) servindo como uma fonte de referência. No exemplo de C da Figura 8, coordenadas da mesma posição no azulejo da camada base (camada 0) são mapeadas com coordenadas de canto superior esquerdo na imagem inteira da camada de aprimoramento (camada 1).

<Parâmetro definido por nível>

[00130] Note que, um parâmetro definido por um nível inclui um número de pixel máximo (MaxLumaPs), uma capacidade de buffer máxima (Tamanho de MaxCPB), um número máximo de pixels (MaxLumaSr) de uma imagem por segundo, uma taxa de bit máxima (MaxBR) de uma imagem ou similar.

<Informação de definição de carga de decodificação>

[00131] Definição de uma magnitude de uma carga necessária para decodificação é executada estendendo, por exemplo, informação de aprimoramento suplementar de conjunto de azulejo de movimento constrangido (MCTS SEI).

[00132] Por exemplo, como em uma sintaxe descrita em A da Figura 9, em MCTS SEI, como a informação de definição de carga de decodificação para definir uma magnitude de uma carga de um processo de decodificação da região parcial decodificável independentemente, um nível (mcts_level_idc[i]) indicando uma magnitude de uma carga de um processo de decodificação da região parcial pode ser fixado. Aqui, "i" denota um conjunto (também chamado um "conjunto de azulejo"), que é a região parcial composta de um único azulejo ou uma pluralidade de azulejos. Quer dizer, no exemplo de A da Figura 9, um valor de informação nível (mcts_level_idc) necessário para decodificação é fixado para cada conjunto. Neste caso, semântica pode ser como descrita em, por exemplo, B da Figura 9.

[00133] Em MCTS SEI, a região parcial decodificável independentemente é estabelecida para cada conjunto retangular. Por exemplo, quando uma parte sombreada superior esquerda de A da Figura 10 é a região parcial decodificável independentemente, a região parcial é estabelecida para cada conjunto, em MCTS SEI, como ilustrado em B da Figura 10. Também, como exemplificado em C da Figura 10, um azulejo incluído no conjunto pode sobrepor outro conjunto. O número de pixels da região parcial pode ser calculado do número de pixels de cada conjunto, por exemplo, como exemplificado em D da Figura 10.

[00134] Além disso, por exemplo como em uma sintaxe descrita A da Figura 11, em MCTS SEI, como a informação de definição de carga de decodificação para definir uma magnitude de uma carga de um processo de decodificação da região parcial decodificável independentemente de uma pluralidade de camadas, um nível (mcts_level_idc[i][j]) indicando uma magnitude de uma carga de um processo de decodificação da região parcial de cada camada pode ser fixado. Aqui, "i" denota um conjunto e "j" denota uma camada. Quer dizer, no exemplo de A da Figura 11, um valor de informação nível (mcts_level_idc) necessário para decodificação é fixado para cada conjunto e para cada camada. Neste caso, semântica pode ser como descrita em, por exemplo, B da Figura 11.

[00135] Adicionalmente, por exemplo, como em uma sintaxe descrita A da Figura 12, em MCTS SEI, como a informação de definição de carga de decodificação para definir uma magnitude de uma carga de um processo de decodificação do região parcial decodificável independentemente, informação (maxLumaPS_in_set[i]) indicando um tamanho da região parcial pode ser estabelecida. Aqui, "i" denota um conjunto. Quer dizer, no exemplo de A da Figura 12, um valor de informação (maxLumaPS_in_set) indicando um tamanho do conjunto (região parcial) é fixado para cada conjunto. Neste caso, semântica pode ser como descrita em, por exemplo, B da Figura 12.

[00136] Além disso, por exemplo, como em uma sintaxe descrita em A da Figura 13, em MCTS SEI, como a informação de definição de carga de decodificação para definir uma magnitude de uma carga de um processo de decodificação do região parcial decodificável independentemente, informação (mcts_height_in_luma_samples[i]) indicando um comprimento em uma direção vertical e informação (mcts_width_in_luma_samples[i]) indicando um comprimento em uma direção horizontal da região parcial pode ser estabelecida. Aqui, "i" denota um conjunto. Quer dizer, no exemplo de A da Figura 13, um valor de informação (mcts_height_in_luma_samples) indicando um comprimento em uma direção vertical e um valor de informação (mcts_width_in_luma_samples) indicando um comprimento em uma direção horizontal do conjunto (região parcial) são fixados para cada conjunto. Neste caso, semântica pode ser como descrita em, por exemplo, B da Figura 13.

[00137] Adicionalmente, por exemplo, como em uma sintaxe descrita na Figura 14, em MCTS SEI, como a informação de definição de carga de decodificação para definir uma magnitude de uma carga de um processo de decodificação do região parcial decodificável independentemente, um parâmetro (mcts_hrd_parameters ()) de um decodificador de referência virtual configurado para decodificar a região parcial pode ser fixado.

[00138] Neste caso, por exemplo, como em uma sintaxe descrita em A da Figura 15, como o parâmetro (mcts_hrd_parameters ()) do decodificador de referência virtual, uma taxa de bit de entrada máxima (mcts_bit_rate_value_minus1) e uma capacidade de buffer (mcts_cpb_size_value_minus1) do decodificador de referência virtual podem ser estabelecidas. Neste caso, semântica pode ser como descrita em, por exemplo, B da Figura 15.

[00139] Além disso, por exemplo, como ilustrado em A da Figura 16, além da extensão de MCTS SEI descrita acima, no conjunto de parâmetros de sequência (SPS), informação (mcts_present_flag) indicando se a informação de definição de carga de decodificação descrita acima está estabelecida em MCTS SEI pode ser estabelecida. Neste caso, semântica pode ser como descrita em, por exemplo, B da Figura 16.

[00140] Adicionalmente, por exemplo, como ilustrado em A da Figura 17, no conjunto de parâmetros de sequência (SPS), em vez da informação indicando se a informação de definição de carga de decodificação está estabelecida, a mesma informação de definição de carga de decodificação como a informação de definição de carga de decodificação estabelecida em MCTS SEI pode ser estabelecida. Neste caso, semântica pode ser como descrita em, por exemplo, B da Figura 17.

[00141] Também, informação estabelecida no conjunto de parâmetros de sequência (SPS) pode ser estabelecida em um conjunto de parâmetros de vídeo (VPS), em vez do conjunto de parâmetros de sequência (SPS).

[00142] É desnecessário dizer que um método de fixar a informação de definição de carga de decodificação é arbitrário, e não está limitado ao exemplo descrito acima. Além disso, a pluralidade descrita acima de métodos pode ser combinada. Adicionalmente, o método descrito acima pode ser combinado com outros métodos.

[00143] Como descrito acima, quando a informação de definição de carga de decodificação para definir uma magnitude de uma carga de um processo de decodificação da região parcial decodificável independentemente está estabelecida, é possível reconhecer desempenho necessário para decodificar mais precisamente com base na informação de definição de carga de decodificação. Além disso, quando a informação de definição de carga de decodificação é transmitida ao lado de decodificação, é possível reconhecer desempenho necessário para decodificar mais precisamente até mesmo no lado de decodificação.

<Adaptação a DASH>

[00144] Por exemplo, em um caso de uso de DASH como ilustrado na Figura 6, é preferível que um certo número de regiões de azulejo seja movido e reproduzido. Porém, quando todas as imagens parciais (uma combinação de azulejos) a serem reproduzidas são registradas como um conjunto de azulejo (tile_set), e a informação de definição de carga de decodificação é estabelecida para isso, há uma possibilidade de uma quantidade de informação ser aumentada quando o número de conjuntos de azulejo é grande.

[00145] Por exemplo, como exemplificado na Figura 18, quando uma imagem parcial (conjunto de azulejo) de 2x2 azulejos é reproduzida (exibida), se uma posição da imagem parcial for movida (quando uma parte a ser exibida na imagem inteira é mudada), todas as imagens parciais (conjuntos de azulejo) durante um movimento disso são exibidas (reproduzidas). O número de tais imagens parciais pode se tornar enorme, como mostrado na equação no lado direito do desenho. Por conseguinte, quando a informação de definição de carga de decodificação é estabelecida para todas tais imagens parciais, há uma possibilidade de uma quantidade de informação ser aumentada de modo não prático. Além disso, há uma possibilidade de redundância de informação de carga de decodificação de cada conjunto de azulejo neste caso ficar extremamente alto. Quer dizer, há uma possibilidade de uma quantidade de informação desnecessária ser aumentada.

[00146] Aqui, por exemplo, MCTS SEI está estendida, e como a informação de carga de decodificação, informação indicando um tamanho de uma imagem parcial servindo como uma referência e um nível indicando uma magnitude de uma carga de um processo de decodificação da imagem parcial são estabelecidas. Quer dizer, informação da qual é possível estimar uma magnitude de uma carga de um processo de decodificação de acordo com o tamanho da imagem parcial é armazenada em MCTS SEI.

[00147] Portanto, por exemplo, quando tal informação é referida (quando um tamanho de uma região a ser decodificada é comparado com um tamanho da imagem parcial servindo como uma referência disso), é possível reconhecer a uma magnitude de uma carga de um processo de decodificação da região mais precisamente.

[00148] Aqui, o tamanho da imagem parcial servindo como a referência pode ser indicado por qualquer informação, e pode ser indicado, por exemplo, em unidades de azulejos obtidas dividindo uniformemente a imagem inteira. Além disso, o número de tamanhos servindo como uma referência disso pode ser arbitrário, mas é preferível que o número de tamanhos seja vários a fim de que uma magnitude de uma carga de um processo de decodificação ser reconhecido mais precisamente. Além disso, uma magnitude de uma carga de um processo de decodificação pode ser indicada por qualquer informação, e pode ser indicada, por exemplo, por informação de nível (nível).

[00149] Incidentemente, em uma ROI existente, é assumido que um aplicativo pode designar qualquer posição, ou em outras palavras, é absolutamente necessário que alguma região (ROI) seja definida.

[00150] Porém, um aplicativo tal como transferência contínua em azulejos de DASH tem um conceito de segmentar e exibir uma região selecionada pelo usuário (também incluindo trocar a uma transferência contínua tendo uma resolução diferente). Quer dizer, desde que o usuário pode determinar arbitrariamente uma região a ser selecionada, é assumido que todos os azulejos são azulejos decodificáveis independentemente e são divididos adicionalmente uniformemente e o número de azulejos a ser selecionado diferindo de acordo com uma capacidade (nível) de um dispositivo a ser reproduzido é assumido corresponder à operação do serviço mais comum.

[00151] Portanto, suposição de um aplicativo para a ROI existente e suposição de um aplicativo para transferência contínua em azulejos de DASH tem direções ligeiramente diferentes.

[00152] Por conseguinte, um modo de um aplicativo é introduzido tal que um nível de uma unidade de região (azulejo) decodificada pelo aplicativo possa ser definido enquanto ambas das suposições estão satisfeitas em uma SEI, e informação a ser definida pode ser mudada para cada modo para extensão.

[00153] Por exemplo, um conceito de um modo está definido para cada aplicativo para mudar informação a ser definida como necessário. Por exemplo, um modo de DASH é fixado. Portanto, está definido que o modo de DASH =="divisão uniforme e independência de todos os azulejos". Quer dizer, a tela é assumida estar dividida uniformemente em azulejos no modo de DASH, (uniform_spacing_flag=1@PPS). Além disso, azulejos individuais são assumidos serem decodificáveis independentemente.

[00154] Portanto, no modo de DASH, o número de azulejos a ser decodificado de cada vez e informação de nível correspondendo a isso são descritas (definidas). Por exemplo, na Figura 19, como o número de azulejos a ser decodificado de cada vez, três casos, 4, 12 e 30 estão fixados. Informação de nível (informação de carga de decodificação) é estabelecida para cada um dos três casos.

[00155] Desta maneira, é possível fixar a informação de carga de decodificação mais apropriadamente para ambos dos aplicativos descritos acima.

[00156] Figura 20 ilustra um exemplo de extensão (uma sintaxe exemplar) de MCTS SEI neste caso. No exemplo da Figura 20, um modo (mcts_mode) de um aplicativo está fixado em uma 2a fila do topo. Portanto, como descrito em uma 4a fila do topo, quando o modo é um modo (modo para aplicativo de ROI atual) de um aplicativo para a ROI existente (mcts_mode==0), a informação de carga de decodificação é estabelecida independentemente para cada imagem parcial decodificável, semelhantemente para cada exemplo descrito acima. Por exemplo, informação de nível (mcts_level_idc[i]) necessária para decodificação está estabelecida em uma 13a fila do topo.

[00157] Além disso, quando o modo do aplicativo é o modo de DASH (modo para aplicativo de DASH) (mcts_mode==1), o número de azulejos de uma região a ser decodificada de cada vez e informação de nível correspondendo a isso são fixados. Por exemplo, na 17a fila do topo, informação de identificação (mcts_id[i]) da região é estabelecida. Na próxima fila, informação (num_of_tiles_minus1[i]) indicando o número de azulejos incluídos na região indicada pela informação de identificação é estabelecida. Adicionalmente, na próxima fila, informação de nível (mcts_level_idc[i]) necessária para decodificar a região é estabelecida.

[00158] Aqui, "i" denota um conjunto. Quer dizer, no exemplo da Figura 20, um valor de informação de nível (mcts_level_idc) necessário para decodificação, um valor de informação de identificação (mcts_id), e um valor de informação (num_of_tiles_minus1) indicando o número de azulejos incluídos em uma região indicada pela informação de identificação são fixados para cada conjunto.

[00159] Quando a informação de carga de decodificação é estabelecida como descrito acima, é possível reconhecer desempenho necessário para decodificar mais precisamente de acordo com um tamanho (o número de azulejos) da região a ser decodificada com base na informação de carga de decodificação. Além disso, quando a informação de definição de carga de decodificação é transmitida ao lado de decodificação, é possível reconhecer desempenho necessário para decodificar mais precisamente de acordo com um tamanho (o número de azulejos) da região a ser decodificada, até mesmo no lado de decodificação.

[00160] Um conjunto de azulejo retangular foi descrito acima. Neste caso, por exemplo, quando o MCTS (grupo de azulejos decodificáveis independentemente (região parcial)) é assumido ter uma forma de "L", é necessário definir dois conjuntos, um conjunto de azulejo no qual uma direção vertical indicando uma parte de linha vertical da letra "L" está definida como uma direção longitudinal, e um conjunto de azulejos no qual uma direção horizontal indicando uma parte de linha horizontal da letra "L" está definida como uma direção longitudinal.

[00161] Além disso, foi descrito acima que, como a informação de definição de carga de decodificação, um valor de informação (mcts_level_idc[i]) indicando um nível (nível necessário para decodificação) indicando uma magnitude de uma carga de um processo de decodificação da região parcial está fixado para cada conjunto retangular. Quer dizer, neste caso, na região parcial em forma de L, é necessário fixar dois pedaços de informação (mcts_level_idc[i]) indicando um nível necessário para decodificação. É desnecessário dizer que é possível lidar com um caso no qual níveis necessários para decodificar conjuntos é diferente desta maneira. Porém, quando níveis necessários para decodificar conjuntos são os mesmos, fica redundante e há uma possibilidade de diminuição de eficiência de codificação.

[00162] Portanto, um nível pode ser fixado para a região parcial decodificável independentemente em lugar de para cada conjunto. Um conjunto decodificável independentemente pode ser a região parcial decodificável independentemente. Quer dizer, um nível comum pode ser definido para uma pluralidade de regiões parciais decodificáveis independentemente. Uma sintaxe exemplar neste caso é descrita em A da Figura 21. Além disso, um exemplo de semântica neste caso é descrito em B da Figura 21.

[00163] No exemplo de A da Figura 21, em uma 3a fila do topo, informação (each_tile_one_tile_set_flag) indicando se todos os azulejos formam um conjunto decodificável independentemente é estabelecida. Em uma 4a fila do topo, informação (mcts_level_idc_present_flag) indicando se informação (mcts_level_idc) indicando um nível necessário para decodificar está incluída é estabelecida em conjuntos de azulejo constrangido em movimento definido em uma mensagem de SEI.

[00164] Portanto, em uma 5a fila do topo, quando é determinado que todos os azulejos não formam um conjunto decodificável exclusivamente (each_tile_one_tile_set_flag), em uma malha de uma 7a fila a uma 16a fila do topo, ajustes são executadas para cada conjunto, e um nível (mcts_level_idc) necessário para decodificação é fixado em uma 18a fila do topo diferente da malha.

[00165] Quer dizer, como exemplificado na Figura 22, quando todos os azulejos são decodificáveis independentemente, um conjunto no qual de "0"- ésima informação de identificação (mcts_id[0]) é nomeada e um conjunto no qual "1"a informação de identificação (mcts_id[1]) é nomeada estão adjacentes uma a outra, e níveis necessários para decodificar conjuntos são os mesmos, informação de nível (mcts_level_idc[i]) não é estabelecida para cada conjunto, mas informação de nível (mcts_level_idc) comum a ambos os conjuntos pode ser estabelecida.

[00166] Desta maneira, só um (comum) pedaço de informação de nível pode ser fixado para uma pluralidade de regiões parciais decodificáveis independentemente (por exemplo, regiões parciais necessárias a serem representadas por uma pluralidade de conjuntos). Portanto, é possível reduzir redundância e aumentar eficiência de codificação.

[00167] Também, em HEVC descrito em Literatura Não Patente 1, é assumido que o nível está definido em uma unidade de imagem inteira (figura), e definição de um parâmetro do nível também é executada na unidade de imagem inteira (figura). Portanto, quando o nível está definido em uma unidade de região parcial descrita acima, definição do parâmetro do nível para a região parcial também é executada, e a definição pode ser nomeada (mapeamento de parâmetro é executado) para definição do nível da unidade de imagem inteira (figura).

[00168] Por exemplo, quando a região parcial decodificável independentemente tem uma forma retangular, o parâmetro do nível para a região parcial está definido. A definição do nível da unidade de imagem inteira (figura) pode ser substituída com a definição. Além disso, por exemplo, quando a região parcial decodificável independentemente tem uma forma de "L", um retângulo incluindo a região parcial em forma de L é fixado, o parâmetro do nível para a região retangular está definido, e definição do nível da unidade de imagem inteira (figura) pode ser substituída com a definição.

[00169] Por exemplo, na Figura 22, quando a região parcial decodificável independentemente inclui o conjunto de informação de identificação (mcts_id[0]) e o conjunto de informação de identificação (mcts_id[1]), uma região retangular incluindo ambos os conjuntos é estabelecida, e é nomeada a uma figura (uma unidade de definição do parâmetro do nível). Quer dizer, um tamanho W da região retangular em uma direção horizontal é estimado como pic_width_in_luma_samples, um tamanho H da região retangular em uma direção vertical é estimado como pic_height_in_luma_samples, um tamanho WxH da região retangular é estimado como PicSizeInSamplesY, e o parâmetro do nível para a região retangular pode ser definido.

[00170] Desta maneira, um valor do parâmetro definido para a região retangular pode ser mapeado com o parâmetro definido na unidade de figura. Portanto, quando tal mapeamento de parâmetro é executado, é possível empregar definição mais apropriada para a região parcial decodificável independentemente.

[00171] Incidentemente, quando todos os azulejos são decodificáveis independentemente, é possível fixar um nível (mcts_level_idc[i]) necessário para decodificar a região parcial de acordo com um tamanho da região parcial. Neste caso, o tamanho da região parcial pode ser representado pelo número de azulejos (o número de filas) em uma direção vertical e o número de azulejos (o número de colunas) em uma direção horizontal da região parcial. Aqui, "i" denota o número de relações de correspondência entre o tamanho e o nível da região parcial.

[00172] No exemplo de A da Figura 21, em uma malha de uma 20a fila a uma 28a fila do topo, o tamanho e o nível da região parcial estão associados. Na malha, informação (num_mc_tile_columns_minus1[i]) indicando o número de azulejos da região parcial em uma direção vertical está estabelecida (uma 24a fila do topo), e informação (num_mc_tile_rows_minus1[i]) indicando o número de azulejos da região parcial em uma direção horizontal está estabelecida (uma 25a fila do topo).

[00173] Por exemplo, na Figura 23, em uma "0"-ésima relação de correspondência na qual informação de identificação (mcts_level_id[0]) está estabelecida, a região parcial de 2x2 azulejos está associada com um nível (meta_level_idc[0]). Quer dizer, na relação de correspondência, um valor de informação (num_mc_tile_columns_minus1[0]) indicando o número de azulejos da região parcial em uma direção vertical está fixado a "1", e informação (num_mc_tile_rows_minus1[0]) indicando o número de azulejos da região parcial em uma direção horizontal está estabelecida a "1". Quando tal informação é estabelecida, além do fato que o número de azulejos da região parcial correspondendo ao nível (meta_level_idc[0]) é 4, uma forma (um retângulo de dois azulejos verticais x dois azulejos horizontais) da região parcial também é mostrada.

[00174] Por exemplo, na Figura 23, em uma "1a" relação de correspondência na qual informação de identificação (mcts_level_id[1]) está estabelecida, a região parcial de 4x4 azulejos está associada com um nível (meta_level_idc[1]). Quer dizer, na relação de correspondência, um valor de informação (num_mc_tile_columns_minus1[1]) indicando o número de azulejos da região parcial em uma direção vertical está fixado a "3", e informação (num_mc_tile_rows_minus1[1]) indicando o número de azulejos da região parcial em uma direção horizontal está estabelecida a "3". Quando tal informação está estabelecida, além do fato que o número de azulejos da região parcial correspondendo ao nível (meta_level_idc[1]) é 16, uma forma (um retângulo de quatro azulejos verticais x quatro azulejos horizontais) da região parcial também é mostrada.

[00175] Desta maneira, é possível aumentar a conveniência de informação para associar a região parcial com o nível. Por exemplo, um terminal configurado para adquirir e exibir uma imagem parcial disso determina se a região parcial é horizontalmente longa com base na informação. Quando a região parcial é horizontalmente longa, é possível ajustar uma relação de aspecto de uma imagem de exibição tal como exibição inserindo uma faixa preta no topo e fundo mais facilmente.

[00176] Quando todos os azulejos são decodificáveis independentemente, um valor máximo (max_level_idc) de um nível de uma unidade de azulejo na figura pode ser fixado. Quer dizer, um azulejo é fixado como conjunto, um valor máximo na figura do nível fixado para cada conjunto pode ser fixado. Uma sintaxe exemplar neste caso é descrita em A da Figura 24. Além disso, um exemplo de semântica neste caso é descrito em B da Figura 24.

[00177] No exemplo de A da Figura 24, em uma 21a fila do topo, um valor máximo (max_level_idc) do nível na figura é fixado. Como exemplificado na Figura 26, o nível é um nível que é fixado para o conjunto composto de um azulejo. Por exemplo, na Figura 26, um valor máximo do nível fixado para cada conjunto de 60 conjuntos (60 azulejos) no total incluindo 6 conjuntos verticais (6 azulejos) x 10 conjuntos horizontais (10 azulejos) na figura é fixado como max_level_idc.

[00178] O número de azulejos segmentados da imagem inteira é determinado pelo aplicativo. Embora o número de azulejos correspondendo a cada nível não esteja definido completamente, o aplicativo pode determinar suficientemente precisamente o número de azulejos que podem ser segmentados (pode executar um processo tal como decodificação) com base no valor máximo (max_level_idc) do nível.

[00179] Quer dizer, em vez de definir completamente o número de azulejos correspondendo a cada nível, quando só um valor máximo (max_level_idc) do nível fixado para cada conjunto (quer dizer, para cada azulejo) composto de um azulejo é fixado na figura, o aplicativo pode controlar o número de azulejos segmentados com base na colocação de forma que o processo tal como decodificação não falhe.

[00180] Portanto, desta maneira, comparado quando o número de azulejos correspondendo a cada nível está definido completamente, uma sintaxe de todos os azulejos pode ser simplificada e uma carga do processo pode ser reduzida. Além disso, comparada quando o número de azulejos correspondendo a cada nível está definido completamente, uma quantidade de informação a ser transmitida pode ser reduzida e eficiência de codificação pode aumentar.

[00181] Também, como exemplificado em A da Figura 24, em uma 17a fila do topo, um nível (mcts_level_idc[i]) para cada região parcial é fixado. Quer dizer, como exemplificado em A da Figura 25, quando há dois conjuntos decodificáveis independentemente, um conjunto ao qual informação de identificação (mcts_id[0]) é nomeada e um conjunto ao qual informação de identificação (mcts_id[1]) é nomeada, é possível fixar um nível (mcts_level_idc[i]) para cada conjunto.

[00182] Neste caso, uma região retangular incluindo o conjunto é estabelecida para cada conjunto, e pode ser nomeada a cada figura (uma unidade de definir o parâmetro do nível). Por exemplo, em A da Figura 25, a região retangular incluindo o conjunto de informação de identificação (mcts_id[0]) é estabelecida, um tamanho W da região retangular em uma direção horizontal é estimado como pic_width_in_luma_samples, um tamanho H da região retangular em uma direção vertical é estimado como pic_height_in_luma_samples, um tamanho WxH da região retangular é estimado como PicSizeInSamplesY, e o parâmetro do nível para a região retangular pode ser definido. Semelhantemente, uma região retangular incluindo o conjunto de informação de identificação (mcts_id[1]) é estabelecida, um tamanho W da região retangular em uma direção horizontal é estimado como pic_width_in_luma_samples, um tamanho H da região retangular em uma direção vertical é estimado como pic_height_in_luma_samples, um tamanho WxH da região retangular é estimado como PicSizeInSamplesY, e o parâmetro do nível para a região retangular pode ser definido.

[00183] Desta maneira, um valor do parâmetro definido para cada região retangular pode ser mapeado com o parâmetro definido na unidade de figura. Portanto, quando tal mapeamento de parâmetro é executado, é possível empregar definição mais apropriada para cada região parcial decodificável independentemente.

[00184] Também, quando a região parcial decodificável independentemente é formada de uma pluralidade de regiões retangulares, um retângulo incluindo todas estas regiões retangulares pode ser fixado. Por exemplo, em B da Figura 25, um conjunto de informação de identificação (mcts_id[0]) inclui duas regiões retangulares, uma região retangular incluindo tudo do conjunto é estabelecida, um tamanho W da região retangular em uma direção horizontal é estimado como pic_width_in_luma_samples, um tamanho H da região retangular em uma direção vertical é estimado como pic_height_in_luma_samples, um tamanho WxH da região retangular é estimado como PicSizeInSamplesY, e o parâmetro do nível para a região retangular pode ser definido.

[00185] Desta maneira, até mesmo quando a região parcial decodificável independentemente é formada de uma pluralidade de regiões retangulares, um valor do parâmetro definido para a região retangular pode ser mapeado com o parâmetro definido na unidade de figura. Portanto, quando tal mapeamento de parâmetro é executado, é possível empregar definição mais apropriada da região parcial até mesmo se a região parcial decodificável independentemente for formada de uma pluralidade de regiões retangulares.

<2. Segunda modalidade> <Dispositivo de codificação de imagem>

[00186] A seguir, um dispositivo configurado para implementar a tecnologia presente descrita acima e um método disso serão descritos. Figura 27 é um diagrama ilustrando um dispositivo de codificação de imagem, que é um aspecto de um dispositivo de processamento de imagem ao qual a tecnologia presente é aplicada. Um dispositivo de codificação de imagem 100 ilustrado na Figura 27 é um dispositivo configurado para executar codificação de imagem em camadas (codificação graduável). Como ilustrado na Figura 27, o dispositivo de codificação de imagem 100 inclui uma unidade de codificação de imagem de camada base 101, uma unidade de codificação de imagem de camada de aprimoramento 102, uma unidade de multiplexação 103 e uma unidade de controle 104.

[00187] A unidade de codificação de imagem de camada base 101 codifica uma imagem de camada base e gera uma transferência contínua de codificação de imagem de camada base. A unidade de codificação de imagem de camada de aprimoramento 102 codifica uma imagem de camada de aprimoramento e gera uma transferência contínua de codificação de imagem de camada de aprimoramento. A unidade de multiplexação 103 multiplexa a transferência contínua de codificação de imagem de camada base gerado na unidade de codificação de imagem de camada base 101 e a transferência contínua de codificação de imagem de aprimoramento em camadas geradas na unidade de codificação de imagem de camada de aprimoramento 102, e gera uma transferência contínua de codificação de imagem em camadas. A unidade de multiplexação 103 transmite a transferência contínua de codificação de imagem em camadas gerado ao lado de decodificação.

[00188] A unidade de controle 104 executa ajustes relacionadas a todos os dados de imagem, controla a unidade de codificação de imagem de camada base 101 e a unidade de codificação de imagem de aprimoramento em camadas 102 com base nas ajustes, e assim controla a codificação de cada uma das camadas. Além disso, a unidade de controle 104 gera o conjunto de parâmetros de vídeo (VPS) usando as ajustes, provê o parâmetro para a unidade de multiplexação 103, e transmite o parâmetro para o lado de decodificação. Neste caso, o conjunto de parâmetros de vídeo pode ser transmitido para ser incluído na transferência contínua de codificação de imagem em camadas ou pode ser transmitido como dados separados da transferência contínua de codificação de imagem em camadas.

[00189] Além disso, quando a informação de definição de carga de decodificação ou informação indicando se a informação de definição de carga de decodificação está estabelecida é estabelecida no conjunto de parâmetros de vídeo (VPS), a unidade de controle 104 coleciona a informação de definição de carga de decodificação ou similar da unidade de codificação de imagem de camada base 101 e da unidade de codificação de imagem de aprimoramento em camadas 102, e fixa a informação de definição de carga de decodificação ou informação indicando se a informação de definição de carga de decodificação está estabelecida no conjunto de parâmetros de vídeo (VPS) com base na informação.

[00190] Além disso, a unidade de codificação de imagem de camada base 101 e a unidade de codificação de imagem de aprimoramento em camadas 102 podem trocar informação relacionada à carga de decodificação, que é informação sobre uma magnitude de uma carga de um processo de decodificação entre si. Por exemplo, como exemplificado na Figura 11, quando a informação de definição de carga de decodificação de uma pluralidade de camadas está estabelecida, uma unidade de codificação da camada coleciona informação relacionada à carga de decodificação de outras camadas.

[00191] Figura 28 é um diagrama de bloco ilustrando um exemplo de configuração principal da unidade de codificação de imagem de camada base 101 da Figura 27. Como ilustrado na Figura 28, a unidade de codificação de imagem de camada base 101 inclui uma unidade de conversão de A/D 111, uma buffer de rearranjo de tela 112, uma unidade de computação 113, uma unidade de transformada ortogonal 114, uma unidade de quantização 115, uma unidade de codificação reversível 116, uma buffer de acumulação 117, uma unidade de quantização inversa 118 e uma unidade de transformada ortogonal inversa 119. Além disso, a unidade de codificação de imagem de camada base 101 inclui uma unidade de computação 120, um filtro de malha 121, uma memória de figura 122, uma unidade de seleção 123, uma unidade de intra-predição 124, uma unidade de inter-predição 125, uma unidade de seleção de imagem de predição 126 e uma unidade de controle de taxa 127.

[00192] A unidade de conversão de A/D 111 executa conversão A/D de dados de imagem de entrada (informação de imagem de camada base), e provê e armazena os dados de imagem convertidos (dados digitais) na buffer de rearranjo de tela 112. A buffer de rearranjo de tela 112 rearranja imagens de figuras de uma ordem de exibição armazenada de acordo com uma ordem de figuras para codificação, dependendo de um grupo de figura (GOP), e provê a imagem cuja ordem de figura está rearranjada à unidade de computação 113. Além disso, a buffer de rearranjo de tela 112 provê a imagem na qual a ordem de figura está rearranjada à unidade de intra- predição 124 e à unidade de inter-predição 125.

[00193] A unidade de computação 113 subtrai uma imagem de predição provida da unidade de intra-predição 124 ou da unidade de inter- predição 125 pela unidade de seleção de imagem de predição 126 da imagem lida da buffer de rearranjo de tela 112, e produz informação de diferença de unidade de transformada 114 disso para o ortogonal. Por exemplo, em uma imagem na qual intra-codificação é executada, a unidade de computação 113 subtrai uma imagem de predição provida da unidade de intra-predição 124 da imagem lida da buffer de rearranjo de tela 112. Além disso, por exemplo em uma imagem na qual inter-codificação é executada, a unidade de computação 113 subtrai uma imagem de predição provida da unidade de inter-predição 125 da imagem lida da buffer de rearranjo de tela 112.

[00194] A unidade de transformada ortogonal 114 executa uma transformada ortogonal tal como uma transformada discreta de cosseno ou uma transformada de Karhunen-Loève na informação de diferença provida da unidade de computação 113. A unidade de transformada ortogonal 114 provê um coeficiente de conversão disso para a unidade de quantização 115.

[00195] A unidade de quantização 115 quantiza o coeficiente de conversão provido da unidade de transformada ortogonal 114. A unidade de quantização 115 fixa o parâmetro de quantização com base em informação sobre um valor visado de uma quantidade de código provido da unidade de controle de taxa 127, e executa quantização disso. A unidade de quantização 115 provê o coeficiente de conversão quantizado para a unidade de codificação reversível 116.

[00196] A unidade de codificação reversível 116 codifica o coeficiente de conversão quantizado na unidade de quantização 115 usando um esquema de codificação arbitrário. Desde que dados de coeficiente são quantizados sob controle da unidade de controle de taxa 127, a quantidade de código se torna um valor visado (ou próximo a um valor visado) fixado pela unidade de controle de taxa 127.

[00197] Além disso, a unidade de codificação reversível 116 adquire informação indicando um modo de intra-predição da unidade de intra- predição 124, e adquire informação indicando um modo de inter-predição ou informação de vetor de movimento diferencial da unidade de inter-predição 125. Adicionalmente, a unidade de codificação reversível 116 gera apropriadamente uma unidade de camada de abstração de rede (NAL) de uma camada base incluindo um conjunto de parâmetros de sequência (SPS), um conjunto de parâmetros de figura (PPS) e similar.

[00198] A unidade de codificação reversível 116 codifica vários pedaços de informação usando um esquema de codificação arbitrário e fixa a informação como uma parte de dados codificados (também chamado um "fluxo de codificação") (multiplexa). A unidade de codificação reversível 116 provê e acumula os dados codificados obtidos por codificação à buffer de acumulação 117.

[00199] Exemplos do esquema de codificação da unidade de codificação reversível 116 incluem codificação de comprimento variável e codificação aritmética. Exemplos da codificação de comprimento variável incluem codificação de comprimento variável adaptável a contexto (CAVLC) definida em um esquema de H.264 ou no esquema de AVC. Exemplos da codificação aritmética incluem codificação aritmética binária adaptável a contexto (CABAC).

[00200] A buffer de acumulação 117 mantém temporariamente a transferência contínua de codificação (fluxo de codificação de camada base) provido da unidade de codificação reversível 116. A buffer de acumulação 117 produz a transferência contínua de codificação de camada base mantido para a unidade de multiplexação 103 (Figura 27) a uma temporização predeterminada. Quer dizer, a buffer de acumulação 117 também serve como uma unidade de transmissão configurada para transmitir a transferência contínua de codificação de camada base.

[00201] Além disso, o coeficiente de conversão quantizado na unidade de quantização 115 também é provido à unidade de quantização inversa 118. A unidade de quantização inversa 118 executa quantização inversa do coeficiente de conversão quantizado usando um método correspondendo à quantização pela unidade de quantização 115. A unidade de quantização inversa 118 provê o coeficiente de conversão obtido para a unidade de transformada ortogonal inversa 119.

[00202] A unidade de transformada ortogonal inversa 119 executa uma transformada ortogonal inversa do coeficiente de conversão provido da unidade de quantização inversa 118 usando um método correspondendo a um processo de transformada ortogonal pela unidade de transformada ortogonal 114. Uma saída de transformada ortogonal inversa (informação de diferença restaurada) é provida à unidade de computação 120.

[00203] A unidade de computação 120 adiciona a imagem de predição da unidade de intra-predição 124 ou da unidade de inter-predição 125 pela unidade de seleção de imagem de predição 126 à informação de diferença restaurada, que é um resultado de transformada ortogonal inversa provido da unidade de transformada ortogonal inversa 119, e obtém uma imagem decodificada localmente (imagem decodificada). A imagem decodificada é provida ao filtro de malha 121 ou à memória de figura 122.

[00204] O filtro de malha 121 inclui um filtro de 'deblocking', um filtro de malha de adaptação ou similar, e executa um processo de filtro apropriado em uma imagem reconstruída provida da unidade de computação 120. Por exemplo, o filtro de malha 121 executa um processo de filtro de 'deblocking' na imagem reconstruída e assim remove distorção de bloco da imagem reconstruída. Além disso, por exemplo o filtro de malha 121 executa um processo de filtro de malha no resultado de processo de filtro de 'deblocking' (a imagem reconstruída cuja distorção de bloco é removida) usando um filtro de Wiener para melhorar a qualidade de imagem. O filtro de malha 121 provê o resultado de processo de filtro (em seguida também chamada uma "imagem decodificada") para a memória de figura 122.

[00205] Também, o filtro de malha 121 pode adicionalmente executar qualquer outro processo de filtro na imagem reconstruída. Além disso, o filtro de malha 121 pode prover informação sobre um coeficiente de filtro ou similar usado no processo de filtro para a unidade de codificação reversível 116 como necessário, e codificar a informação.

[00206] A memória de figura 122 armazena a imagem decodificada provida, e provê a imagem decodificada armazenada para a unidade de seleção 123 como uma imagem de referência a uma temporização predeterminada.

[00207] Mais especificamente, a memória de figura 122 armazena a imagem reconstruída provida da unidade de computação 120 e a imagem decodificada provida do filtro de malha 121. A memória de figura 122 provê a imagem reconstruída armazenada para a unidade de intra-predição 124 pela unidade de seleção 123 a uma temporização predeterminada ou com base em um pedido do exterior tal como a unidade de intra-predição 124. Além disso, a memória de figura 122 provê a imagem decodificada armazenada para a unidade de inter-predição 125 pela unidade de seleção 123 a uma temporização predeterminada ou com base em um pedido do exterior tal como a unidade de inter-predição 125.

[00208] A unidade de seleção 123 seleciona um destino de provisão da imagem de referência provida da memória de figura 122. Por exemplo, em intra-predição, a unidade de seleção 123 provê a imagem de referência (um valor de pixel em uma figura atual ou uma imagem decodificada de camada base) provida da memória de figura 122 para a unidade de intra-predição 124. Além disso, por exemplo em inter-predição, a unidade de seleção 123 provê a imagem de referência (uma imagem decodificada diferente da figura atual de uma camada de aprimoramento ou a imagem decodificada de camada base) provida da memória de figura 122 para a unidade de inter-predição 125.

[00209] A unidade de intra-predição 124 executa um processo de predição em uma figura atual, que é uma imagem de figuras de um objetivo de processo, e gera uma imagem de predição. A unidade de intra-predição 124 executa o processo de predição para cada bloco predeterminado (usando um bloco como uma unidade de processamento). Quer dizer, a unidade de intra- predição 124 gera uma imagem de predição de um bloco atual, que é um objetivo de processo da figura atual. Neste caso, a unidade de intra-predição 124 executa um processo de predição (predição em tela (também chamada "intra-predição")) usando a imagem reconstruída provida da memória de figura 122 pela unidade de seleção 123 como a imagem de referência. Quer dizer, a unidade de intra-predição 124 gera uma imagem de predição usando um valor de pixel na periferia do bloco atual incluído na imagem reconstruída. O valor de pixel periférico usado na intra-predição é um valor de pixel de um pixel que foi processado da figura atual. Na intra-predição (quer dizer, em um método de gerar uma imagem de predição), uma pluralidade de métodos (também chamados "modos de intra-predição") é preparada com antecedência como candidatos. A unidade de intra-predição 124 executa intra-predição na pluralidade de modos de intra-predição preparados com antecedência.

[00210] A unidade de intra-predição 124 gera uma imagem de predição em todos os modos de intra-predição servindo como candidatos, avalia um valor de função de custo de cada imagem de predição usando uma imagem de entrada provida da buffer de rearranjo de tela 112, e seleciona um modo ótimo. Quando um modo ótimo de intra-predição é selecionado, a unidade de intra-predição 124 provê a imagem de predição gerada no modo ótimo à unidade de seleção de imagem de predição 126.

[00211] Além disso, como descrito acima, a unidade de intra-predição 124 provê apropriadamente informação de modo de intra-predição indicando um modo de intra-predição empregado ou similar à unidade de codificação reversível 116 e a codifica.

[00212] A unidade de inter-predição 125 executa um processo de predição na figura atual e gera uma imagem de predição. A unidade de inter- predição 125 executa o processo de predição para cada bloco predeterminado (usando um bloco como uma unidade de processamento). Quer dizer, a unidade de inter-predição 125 gera uma imagem de predição de um bloco atual, que é um objetivo de processo da figura atual. Neste caso, a unidade de inter-predição 125 executa o processo de predição usando dados de imagem da imagem de entrada provida da buffer de rearranjo de tela 112 e dados de imagem da imagem decodificada provida da memória de figura 122 como a imagem de referência. A imagem decodificada é uma imagem (uma figura diferente da figura atual) de figuras que são processados antes da figura atual. Quer dizer, a unidade de inter-predição 125 executa um processo de predição (predição inter-tela (também chamada "inter-predição")) de gerar uma imagem de predição usando uma imagem de outra figura.

[00213] A inter-predição é executada por predição de movimento e compensação de movimento. Mais especificamente, a unidade de inter- predição 125 usa a imagem de entrada e a imagem de referência, executa uma predição de movimento no bloco atual, e detecta um vetor de movimento. Portanto, a unidade de inter-predição 125 usa a imagem de referência, executa um processo de compensação de movimento de acordo com o vetor de movimento detectado, e gera uma imagem de predição (informação de imagem de inter-predição) do bloco atual. Na inter-predição (quer dizer, em um método de gerar uma imagem de predição), uma pluralidade de métodos (também chamados "modos de inter-predição) é preparada com antecedência como candidatos. A unidade de inter-predição 125 executa tal inter-predição na pluralidade de modos de inter-predição preparados com antecedência.

[00214] A unidade de inter-predição 125 gera uma imagem de predição em todos os modos de inter-predição servindo como candidatos. A unidade de inter-predição 125 usa a imagem de entrada provida da buffer de rearranjo de tela 112 e informação de um vetor de movimento de diferença gerado, avalia um valor de função de custo de cada imagem de predição e seleciona um modo ótimo. Quando um modo ótimo de inter-predição é selecionado, a unidade de inter-predição 125 provê a imagem de predição gerada no modo ótimo à unidade de seleção de imagem de predição 126.

[00215] Quando informação indicando um modo de inter-predição empregado ou os dados codificados são decodificados, a unidade de inter- predição 125 provê informação necessária para executar um processo no modo de inter-predição ou similar à unidade de codificação reversível 116 e a codifica. Como informação necessária, por exemplo, informação de um vetor de movimento de diferença gerado ou uma bandeira indicando um índice de um vetor de movimento predito como informação de vetor de movimento predita é exemplificada.

[00216] A unidade de seleção de imagem de predição 126 seleciona uma fonte de provisão da imagem de predição provida à unidade de computação 113 ou à unidade de computação 120. Por exemplo, em intra- codificação, a unidade de seleção de imagem de predição 126 seleciona a unidade de intra-predição 124 como a fonte de provisão da imagem de predição, e provê a imagem de predição provida da unidade de intra-predição 124 para a unidade de computação 113 ou a unidade de computação 120. Além disso, por exemplo, em inter-codificação, a unidade de seleção de imagem de predição 126 seleciona a unidade de inter-predição 125 como a fonte de provisão da imagem de predição, e provê a imagem de predição provida da unidade de inter-predição 125 para a unidade de computação 113 ou a unidade de computação 120.

[00217] A unidade de controle de taxa 127 controla uma taxa da operação de quantização da unidade de quantização 115 baseada na quantidade de código dos dados codificados acumulada na buffer de acumulação 117 de forma que nenhum transbordamento ou subfluxo ocorra.

[00218] Além disso, a memória de figura 122 provê a imagem decodificada de camada base armazenada à unidade de codificação de imagem de camada de aprimoramento 102.

[00219] Além disso, como ilustrado na Figura 28, a unidade de codificação de imagem de camada base 101 adicionalmente inclui uma unidade geradora de informação de cabeçalho 128.

[00220] A unidade geradora de informação de cabeçalho 128 gera informação de cabeçalho tal como o conjunto de parâmetros de sequência (SPS) ou MCTS SEI. Neste caso, como descrito na primeira modalidade, a unidade geradora de informação de cabeçalho 128 executa um processo de fixar a informação de definição de carga de decodificação para definir uma magnitude de uma carga de um processo de decodificação da região parcial decodificável independentemente. Por exemplo, a unidade geradora de informação de cabeçalho 128 pode adquirir informação relacionada à carga de decodificação da camada base da unidade de codificação reversível 116 e gerar a informação de definição de carga de decodificação da região parcial decodificável independentemente da camada base com base na informação relacionada à carga de decodificação. Além disso, a unidade geradora de informação de cabeçalho 128 pode adquirir, por exemplo, informação relacionada à carga de decodificação da unidade de codificação de aprimoramento em camadas da imagem de camada de aprimoramento 102, e gerar a informação de definição de carga de decodificação da região parcial decodificável independentemente da camada de aprimoramento com base na informação relacionada à carga de decodificação.

[00221] Adicionalmente, a unidade geradora de informação de cabeçalho 128 pode prover a informação de definição de carga de decodificação ou similar à unidade de controle 104, e habilitar ajustes para a informação de definição de carga de decodificação a ser executada no conjunto de parâmetros de vídeo.

[00222] Figura 29 é um diagrama de bloco ilustrando um exemplo de configuração principal da unidade de codificação de imagem de camada de aprimoramento 102 da Figura 27. Como ilustrado na Figura 29, a unidade de codificação de imagem de camada de aprimoramento 102 basicamente tem a mesma configuração como a unidade de codificação de imagem de camada base 101 da Figura 28.

[00223] Quer dizer, como ilustrado na Figura 29, a unidade de codificação de imagem de camada de aprimoramento 102 inclui uma unidade de conversão A/D 131, uma buffer de rearranjo de tela 132, uma unidade de computação 133, uma unidade de transformada ortogonal 134, um unidade de quantização 135, uma unidade de codificação reversível 136, uma buffer de acumulação 137, uma unidade de quantização inversa 138 e uma unidade de transformada ortogonal inversa 139. Além disso, a unidade de codificação de imagem de camada de aprimoramento 102 inclui uma unidade de computação 140, um filtro de malha 141, uma memória de figura 142, uma unidade de seleção 143, uma unidade de intra-predição 144, uma unidade de inter- predição 145, uma unidade de seleção de imagem de predição 146 e uma unidade de controle de taxa 147.

[00224] A unidade de conversão de A/D 131 corresponde à unidade de controle de taxa 147 e executa os mesmos processos como a unidade de conversão A/D 111 para a unidade de controle de taxa 127 da Figura 28. Porém, unidades respectivas da unidade de codificação de imagem de aprimoramento em camadas 102 executam um processo de codificar informação de imagem de camada de aprimoramento em lugar da camada base. Portanto, quando processos da unidade de conversão de A/D 131 para a unidade de controle de taxa 147 são descritos, as descrições anteriores da unidade de conversão A/D 111 para a unidade de controle de taxa 127 da Figura 28 podem ser aplicadas. Porém, neste caso, é necessário que dados a serem processados sejam dados da camadas de aprimoramento em lugar de dados da camada base. Além disso, é necessário substituir apropriadamente uma unidade de processamento de uma fonte de entrada ou um destino de saída de dados com uma unidade de processamento correspondente entre a unidade de conversão A/D 131 para a unidade de controle de taxa 147 e ler isto.

[00225] A unidade de codificação de imagem de camada de aprimoramento 102 adicionalmente inclui uma unidade geradora de informação de cabeçalho 148.

[00226] A unidade geradora de informação de cabeçalho 148 corresponde à unidade geradora de informação de cabeçalho 128 da Figura 28 e executa o mesmo processo como a unidade geradora de informação de cabeçalho 128. Porém, a unidade geradora de informação de cabeçalho 148 executa um processo da camada de aprimoramento em lugar da camada base.

[00227] Alternativamente, quando a informação de definição de carga de decodificação da camada de aprimoramento também é criada na unidade geradora de informação de cabeçalho 128 da camada base, a unidade geradora de informação de cabeçalho 148 da camada de aprimoramento pode ser omitida.

[00228] Figura 30 é um diagrama ilustrando uma configuração exemplar de blocos de função da unidade geradora de informação de cabeçalho 128 da Figura 28. Na unidade geradora de informação de cabeçalho 128, por exemplo, quando um programa lido por uma CPU de uma ROM ou similar é executado usando uma RAM, o processo descrito acima é executado e assim vários blocos de função ilustrados na Figura 30 são implementados.

[00229] Como ilustrado na Figura 30, a unidade geradora de informação de cabeçalho 128 inclui uma unidade de aquisição de informação relacionada à carga de decodificação 151, uma unidade geradora de MCTS SEI 152 e um unidade geradora de SPS 153.

[00230] A unidade de aquisição de informação relacionada à carga de decodificação 151 adquire informação sobre uma carga do processo de decodificação que é usada para gerar a informação de definição de carga de decodificação da região parcial decodificável independentemente. Contanto que seja usado para gerar a informação de definição de carga de decodificação, qualquer conteúdo de informação sobre uma carga do processo de decodificação pode ser usado.

[00231] Como descrito na primeira modalidade, a unidade geradora de MCTS SEI 152 gera MCTS SEI incluindo a informação de definição de carga de decodificação da região parcial decodificável independentemente. Quer dizer, a unidade geradora de MCTS SEI 152 fixa a informação de definição de carga de decodificação da região parcial decodificável independentemente em MCTS SEI. Conteúdo da informação de definição de carga de decodificação é arbitrário. Por exemplo, na primeira modalidade, qualquer um ou mais de vários pedaços de informação descritos com referência às Figuras 9 a 26 podem ser incluídos na informação de definição de carga de decodificação. Também, quando um nível está definido em uma unidade de região parcial, a unidade geradora de MCTS SEI 152 também define um parâmetro do nível para a região parcial, como descrito na primeira modalidade. A definição pode ser nomeada (mapeamento de parâmetro é executado) à definição do nível da unidade de imagem inteira (figura).

[00232] Como descrito na primeira modalidade, a unidade geradora de SPS 153 gera o conjunto de parâmetros de sequência (SPS) incluindo a informação de definição de carga de decodificação da região parcial decodificável independentemente ou informação indicando se a informação de definição de carga de decodificação da região parcial decodificável independentemente está estabelecida em MCTS SEI (também referida coletivamente como "informação sobre definição de uma carga de decodificação"). Quer dizer, a unidade geradora de SPS 153 fixa informação sobre definição de uma carga de decodificação da região parcial decodificável independentemente no conjunto de parâmetros de sequência (SPS). Conteúdo da informação sobre definição de uma carga de decodificação é arbitrário. Por exemplo, na primeira modalidade, qualquer um ou mais de vários pedaços de informação descritos com referência às Figuras 9 a 26 podem ser incluídos na informação de definição de carga de decodificação.

[00233] Também, como descrito na primeira modalidade, a informação de definição de carga de decodificação da região parcial decodificável independentemente só é estabelecida em MCTS SEI, e esta informação pode não ser estabelecida no conjunto de parâmetros de sequência (SPS). Neste caso, a unidade geradora de SPS 153 pode ser omitida.

[00234] A seguir, uma transferência contínua de processos executado pelo dispositivo de codificação de imagem 100 descrito acima será descrito. Primeiro, uma transferência contínua exemplar de processos de codificação de imagem será descrito com referência a uma transferência contínuagrama da Figura 31.

[00235] Quando o processo de codificação de imagem inicia, a unidade de controle 104 do dispositivo de codificação de imagem 100 executa ajustes de codificação graduável inteira na Etapa S101.

[00236] Na Etapa S102, a unidade de controle 104 controla as unidades respectivas da unidade de codificação de imagem de camada base 101 na unidade de multiplexação 103 de acordo com ajustes executadas na Etapa S101.

[00237] Na Etapa S103, a unidade de controle 104 gera um conjunto de parâmetros de vídeo (VPS) aplicando as ajustes executadas na Etapa S101.

[00238] Na Etapa S104, a unidade de codificação de imagem de camada base 101 codifica dados de imagem da camada base.

[00239] Na Etapa S105, a unidade de codificação de imagem de camada de aprimoramento 102 codifica dados de imagem da camada de aprimoramento.

[00240] Na Etapa S106, a unidade de multiplexação 103 multiplexa a transferência contínua de codificação de imagem de camada base gerado na Etapa S104 e a transferência contínua de codificação de imagem de camada de aprimoramento gerado na Etapa S105 (quer dizer, fluxos de bits das camadas), e gera a transferência contínua de codificação de imagem em camadas de um sistema. Também, a unidade de multiplexação 103 inclui o conjunto de parâmetros de vídeo (VPS) gerado na Etapa S103 na transferência contínua de codificação de imagem em camadas como necessário. A unidade de multiplexação 103 produz a transferência contínua de codificação de imagem em camadas e transmite o fluxo para o lado de decodificação.

[00241] Quando o processo da Etapa S106 termina, o dispositivo de codificação de imagem 100 termina o processo de codificação de imagem. Uma figura é processado por tais processos de codificação de imagem. Portanto, o dispositivo de codificação de imagem 100 executa repetidamente tais processos de codificação de imagem para cada figura de dados de imagem em movimento em camadas. Porém, processos que não são executados necessariamente para cada figura, por exemplo, os processos das Etapas S101 a S103, são omitidos apropriadamente.

[00242] A seguir, na Etapa S104 da Figura 31, uma transferência contínua exemplar de processos de codificação de camada base executado pela unidade de codificação de imagem de camada base 101 será descrito com referência a uma transferência contínuagrama da Figura 32.

[00243] Quando o processo de codificação de camada base inicia, a unidade de conversão A/D 111 da unidade de codificação de imagem de camada base 101 executa conversão A/D de uma imagem de figuras (figura) da imagem em movimento de entrada na Etapa S121.

[00244] Na Etapa S122, a buffer de rearranjo de tela 112 armazena a imagem na qual conversão A/D é executada na Etapa S121, e executa rearranjo de acordo com uma ordem de codificação de uma ordem de exibição de figuras.

[00245] Na Etapa S123, a unidade de intra-predição 124 executa um processo de intra-predição em um modo de intra-predição.

[00246] Na Etapa S124, a unidade de inter-predição 125 executa um processo de inter-predição no qual predição de movimento ou compensação de movimento é executada no modo de inter-predição.

[00247] Na Etapa S125, a unidade de seleção de imagem de predição 126 seleciona a imagem de predição baseada em um valor de função de custo ou similar. Quer dizer, a unidade de seleção de imagem de predição 126 seleciona qualquer da imagem de predição gerada por intra-predição da Etapa S123 e da imagem de predição gerada por inter-predição da Etapa S124.

[00248] Na Etapa S126, a unidade de computação 113 computa uma diferença entre a imagem de entrada cuja ordem de figura é rearranjada no processo da Etapa S122 e a imagem de predição selecionada no processo da Etapa S125. Quer dizer, a unidade de computação 113 gera dados de imagem de uma imagem de diferença entre a imagem de entrada e a imagem de predição. Os dados de imagem da imagem de diferença obtida desta maneira tem uma quantidade menor de dados do que dados de imagem originais. Portanto, comparada quando a imagem é codificada diretamente, é possível comprimir uma quantidade de dados.

[00249] Na Etapa S127, a unidade de transformada ortogonal 114 executa transformada ortogonal dos dados de imagem da imagem de diferença gerada no processo da Etapa S126.

[00250] Na Etapa S128, a unidade de quantização 115 usa o parâmetro de quantização calculado pela unidade de controle de taxa 127 e quantiza o coeficiente de transformada ortogonal obtido no processo da Etapa S127.

[00251] Na Etapa S129, a unidade de quantização inversa 118 executa quantização inversa do coeficiente (também chamado um "coeficiente de quantização") gerado e quantizado no processo da Etapa S128 usando uma característica correspondendo a uma característica da unidade de quantização 115.

[00252] Na Etapa S130, a unidade de transformada ortogonal inversa 119 executa uma transformada ortogonal inversa do coeficiente de transformada ortogonal obtido no processo da Etapa S129.

[00253] Na Etapa S131, a unidade de computação 120 adiciona a imagem de predição selecionada no processo da Etapa S125 à imagem de diferença restabelecida no processo da Etapa S130, e assim gera dados de imagem da imagem reconstruída.

[00254] Na Etapa S132, o filtro de malha 121 executa o processo de filtro de malha dos dados de imagem da imagem reconstruída gerada no processo da Etapa S131. Portanto, distorção de bloco da imagem reconstruída ou similar é removida.

[00255] Na Etapa S133, a memória de figura 122 armazena dados tal como a imagem decodificada (a imagem decodificada de camada base) obtida no processo da Etapa S132 ou a imagem reconstruída obtida no processo da Etapa S131.

[00256] Na Etapa S134, a unidade de codificação reversível 116 codifica o coeficiente obtido e quantizado no processo da Etapa S128. Quer dizer, codificação reversível tal como codificação de comprimento variável ou codificação aritmética é executada em dados correspondendo à imagem de diferença.

[00257] Além disso, neste caso, a unidade de codificação reversível 116 codifica informação sobre um modo de predição da imagem de predição selecionada no processo da Etapa S125, e adiciona a imagem de diferença aos dados codificados obtidos por codificação. Quer dizer, a unidade de codificação reversível 116 também codifica informação de modo ótimo de intra-predição provida da unidade de intra-predição 124 ou informação correspondendo ao modo ótimo de inter-predição provido da unidade de inter- predição 125 e adiciona o resultado aos dados codificados.

[00258] Na Etapa S135, a unidade geradora de informação de cabeçalho 128 gera informação de cabeçalho de várias unidades nulas ou similar. A informação de cabeçalho gerada é provida à unidade de codificação reversível 116 e adicionada aos dados codificados.

[00259] Na Etapa S136, a buffer de acumulação 117 acumula os dados codificados (a transferência contínua de codificação de imagem de camada base) obtidos nos processos da Etapa S134 e Etapa S135. A transferência contínua de codificação de imagem de camada base acumulado na buffer de acumulação 117 é lido apropriadamente, provido à unidade de multiplexação 103, multiplexado com a transferência contínua de codificação de imagem de camada de aprimoramento, e então é transmitido ao lado de decodificação por um caminho de transmissão ou um meio de gravação.

[00260] Na Etapa S137, a unidade de controle de taxa 127 controla uma taxa da operação de quantização da unidade de quantização 115 baseada na quantidade de código (uma quantidade de códigos gerados) dos dados codificados acumulados na buffer de acumulação 117 no processo da Etapa S136 de forma que nenhum transbordamento ou subfluxo ocorra. Além disso, a unidade de controle de taxa 127 provê informação sobre o parâmetro de quantização para a unidade de quantização 115.

[00261] Quando o processo da Etapa S137 termina, o processo de codificação de camada base termina, e o processo retorna à Figura 31.

[00262] A seguir, na Etapa S105 da Figura 31, uma transferência contínua exemplar de processos de codificação de camada de aprimoramento executados pela unidade de codificação de imagem de camada de aprimoramento 102 será descrito com referência a uma transferência contínuagrama da Figura 33.

[00263] Processos respectivos (Etapas S141 a S157) dos processos de codificação de camada de aprimoramento correspondem a processos respectivos (Etapas S121 a S137) dos processos de codificação de camada base, e são executados basicamente da mesma maneira como estes processos. Enquanto os processos dos processos de codificação de camada bases são executados na camada base, processos respectivos (Etapas S141 a S157) dos processos de codificação de camada de aprimoramento são executados na camada de aprimoramento.

[00264] Além disso, quando a informação de definição de carga de decodificação da região parcial decodificável independentemente é estabelecida só na camada base, ajustes da informação de definição de carga de decodificação podem ser omitidas na Etapa S155.

[00265] Quando o processo da Etapa S157 termina, o processo de codificação de camada de aprimoramento termina, e o processo retorna à Figura 31.

[00266] A seguir, uma transferência contínua exemplar de processos de geração de cabeçalho executado na Etapa S135 da Figura 32 será descrito com referência a uma transferência contínuagrama da Figura 34.

[00267] Quando o processo de geração de cabeçalho inicia, a unidade geradora de informação de cabeçalho 128 gera vários pedaços de informação de cabeçalho, por exemplo, um conjunto de parâmetros de sequência (SPS), SEI, um conjunto de parâmetros de figura (PPS) e um cabeçalho de fatia (SliceHeader) na Etapa S161.

[00268] Na Etapa S162, a unidade de aquisição de informação relacionada à carga de decodificação 151 adquire informação relacionada à carga de decodificação, que é informação sobre uma carga de um processo de decodificação da região parcial necessária para gerar a informação de definição de carga de decodificação da região parcial decodificável independentemente. Adicionalmente, quando a informação de definição de carga de decodificação da camada de aprimoramento é estabelecida, informação relacionada à carga de decodificação também é adquirida da camada de aprimoramento. Contanto que seja usado para gerar a informação de definição de carga de decodificação, qualquer conteúdo da informação relacionada à carga de decodificação pode ser usado.

[00269] Na Etapa S163, a unidade geradora de MCTS SEI 152 fixa a informação de definição de carga de decodificação da região parcial em MCTS SEI da região parcial decodificável independentemente gerada na Etapa S161. Por exemplo, a unidade geradora de MCTS SEI 152 fixa a informação de definição de carga de decodificação, como descrito com referência às sintaxes das Figuras 9 a 26 na primeira modalidade.

[00270] Por exemplo, como ilustrado na Figura 10, quando a região parcial decodificável independentemente inclui uma pluralidade de conjuntos (uma pluralidade de azulejos), a unidade geradora de MCTS SEI 152 usa informação relacionada à carga de decodificação de cada azulejo, e fixa informação relacionada à carga de decodificação para cada conjunto. Além disso, a unidade geradora de MCTS SEI 152 pode usar informação relacionada à carga de decodificação de cada azulejo e fixar a informação de definição de carga de decodificação da região parcial inteira.

[00271] Também, quando há uma pluralidade de regiões parciais decodificáveis independentemente, a unidade geradora de MCTS SEI 152 pode fixar a informação de definição de carga de decodificação para cada região parcial. Conteúdo da informação de definição de carga de decodificação é arbitrário. Por exemplo, na primeira modalidade, qualquer um ou mais de vários pedaços de informação descritos com referência às Figuras 9 a 26 podem ser incluídos na informação de definição de carga de decodificação.

[00272] Na Etapa S164, a unidade de colocação de SPS 153 fixa a informação de definição de carga de decodificação da região parcial decodificável independentemente, ou informação (também chamada "informação sobre definição de uma carga de decodificação") indicando se a informação de definição de carga de decodificação da região parcial está estabelecida em MCTS SEI no conjunto de parâmetros de sequência (SPS) gerado na Etapa S161. Conteúdo da informação sobre definição de uma carga de decodificação é arbitrário. Por exemplo, na primeira modalidade, qualquer um ou mais de vários pedaços de informação descritos com referência às Figuras 9 a 26 podem ser incluídos na informação de definição de carga de decodificação.

[00273] Quando o processo da Etapa S164 termina, o processo de geração de informação de cabeçalho termina e o processo retorna à Figura 32.

[00274] Também, como descrito na primeira modalidade, a informação de definição de carga de decodificação da região parcial decodificável independentemente só é estabelecida em MCTS SEI, e esta informação pode não ser estabelecida no conjunto de parâmetros de sequência (SPS). Neste caso, o processo da Etapa que S164 pode ser omitido.

[00275] Além disso, na Etapa S163, quando um nível está definido em uma unidade de região parcial, a unidade geradora de MCTS SEI 152 também define um parâmetro do nível para a região parcial, como descrito na primeira modalidade. A definição pode ser nomeada a definição do nível da unidade de imagem inteira (figura) (mapeamento de parâmetro é executado).

[00276] A informação de cabeçalho estabelecida como descrito acima é provida à unidade de codificação reversível 116 e incluída nos dados codificados.

[00277] Quando os processos respectivos são executados desta maneira, o dispositivo de codificação de imagem 100 pode reconhecer desempenho necessário para decodificar mais precisamente.

[00278] Também, quando a informação de definição de carga de decodificação da região parcial decodificável independentemente é estabelecida na camada de aprimoramento, a unidade geradora de informação de cabeçalho 148 pode ser executada como descrito com referência ao fluxograma da Figura 34. Por outro lado, quando nenhuma informação de definição de carga de decodificação é estabelecida, só o processo da Etapa S161 da Figura 34 pode ser executado.

<3. Terceira modalidade> <Dispositivo para decodificação de imagem>

[00279] A seguir, decodificação dos dados codificados, codificados como descrito acima será descrita. Figura 35 é um diagrama de bloco ilustrando um exemplo de configuração principal de um dispositivo para decodificação de imagem correspondendo ao dispositivo de codificação de imagem 100, que é um aspecto de um dispositivo de processamento de imagem ao qual a tecnologia presente é aplicada. Um dispositivo para decodificação de imagem 200 ilustrado na Figura 35 decodifica dados codificados gerados pelo dispositivo de codificação de imagem 100 usando um método para decodificação correspondendo ao método de codificação (quer dizer, decodifica hierarquicamente dados codificados que estão codificados hierarquicamente). Como ilustrado na Figura 35, o dispositivo para decodificação de imagem 200 inclui uma unidade de multiplexação 201, uma unidade de decodificação de imagem de camada base 202, uma unidade de decodificação de imagem de camada de aprimoramento 203 e uma unidade de controle 204.

[00280] A unidade de multiplexação 201 recebe a transferência contínua de codificação de imagem em camadas no qual a transferência contínua de codificação de imagem de camada base e a transferência contínua de codificação de imagem de camada de aprimoramento transmitido do lado de codificação são multiplexados, desmultiplexa o fluxo recebido, e extrai a transferência contínua de codificação de imagem de camada base e a transferência contínua de codificação de imagem de camada de aprimoramento. A unidade de decodificação de imagem de camada base 202 decodifica a transferência contínua de codificação de imagem de camada base pela unidade de multiplexação 201 e obtém a imagem de camada base. A unidade de decodificação de imagem de camada de aprimoramento 203 decodifica a transferência contínua de codificação de imagem de camada de aprimoramento pela unidade de multiplexação 201 e obtém a imagem de camada de aprimoramento.

[00281] A unidade de controle 204 analisa o conjunto de parâmetros de vídeo (VPS) provido da unidade de desmultiplexação 201, e controla a unidade de decodificação de imagem de camada base 202 e a unidade de decodificação de imagem de camada de aprimoramento 203 com base na informação (controla codificação de cada uma das camadas).

[00282] Além disso, a unidade de controle 204 adquire o resultado de análise da informação de definição de carga de decodificação da informação de cabeçalho da unidade de decodificação de imagem de camada base 202 e da unidade de decodificação de imagem de camada de aprimoramento 203, e controla as operações de unidades de processo respectivas do dispositivo para decodificação de imagem 200 de acordo com o resultado de análise.

[00283] Figura 36 é um diagrama de bloco ilustrando um exemplo de configuração principal da unidade de decodificação de imagem de camada base 202 da Figura 35. Como ilustrado na Figura 36, a unidade de decodificação de imagem de camada base 202 inclui uma buffer de acumulação 211, uma unidade de decodificação reversível 212, uma unidade de quantização inversa 213, uma unidade de transformada ortogonal inversa 214, uma unidade de computação 215, um filtro de malha 216, uma buffer de rearranjo de tela 217 e uma unidade de conversão D/A 218. Além disso, a unidade de decodificação de imagem de camada base 202 inclui uma memória de figura 219, uma unidade de seleção 220, uma unidade de intra- predição 221, uma unidade de inter-predição 222 e uma unidade de seleção de imagem de predição 223.

[00284] A buffer de acumulação 211 também serve como uma unidade de recepção configurada para receber os dados codificados transmitidos (a transferência contínua de codificação de imagem de camada base provido da unidade de multiplexação 201). A buffer de acumulação 211 recebe e acumula os dados codificados transmitidos, e provê os dados codificados para a unidade de decodificação reversível 212 a uma temporização predeterminada. Informação necessária para decodificação tal como informação de modo de predição é adicionada aos dados codificados.

[00285] A unidade de decodificação reversível 212 decodifica a informação que é provida pela buffer de acumulação 211 e codificada pela unidade de codificação reversível 116 usando um esquema de decodificação correspondendo ao esquema de codificação. A unidade de decodificação reversível 212 provê os dados de coeficiente quantizados da imagem de diferença obtida por decodificação à unidade de quantização inversa 213.

[00286] Além disso, a unidade de decodificação reversível 212 determina se o modo de intra-predição ou o modo de inter-predição está selecionado como um modo ótimo de predição, e provê informação sobre o modo ótimo de predição em um modo que é determinado ter sido selecionado entre a unidade de intra-predição 221 e a unidade de inter-predição 222. Isso é, por exemplo, quando o modo de intra-predição é selecionado como o modo ótimo de predição no lado de codificação, a informação sobre o modo ótimo de predição (informação de modo de intra-predição) é provida à unidade de intra-predição 221. Além disso, por exemplo quando o modo de inter- predição é selecionado como o modo ótimo de predição no lado de codificação, a informação sobre o modo ótimo de predição (informação de modo de inter-predição) é provida à unidade de inter-predição 222.

[00287] Adicionalmente, a unidade de decodificação reversível 212 extrai informação necessária para quantização inversa, por exemplo, uma matriz de quantização ou um parâmetro de quantização, dos dados codificados, e provê a informação para a unidade de quantização inversa 213.

[00288] A unidade de quantização inversa 213 executa quantização inversa dos dados de coeficiente quantizados obtidos por decodificação da unidade de decodificação reversível 212 usando um esquema correspondendo a um esquema de quantização da unidade de quantização 115. Também, a unidade de quantização inversa 213 é a mesma unidade de processamento como a unidade de quantização inversa 118. A unidade de quantização inversa 213 provê os dados de coeficiente obtidos (o coeficiente de transformada ortogonal) para a unidade de transformada ortogonal inversa 214.

[00289] A unidade de transformada ortogonal inversa 214 executa uma transformada ortogonal inversa do coeficiente de transformada ortogonal provido da unidade de quantização inversa 213 usando um esquema correspondendo a um esquema de transformada ortogonal da unidade de transformada ortogonal 114, como necessário. Também, a unidade de transformada ortogonal inversa 214 é a mesma unidade de processamento como a unidade de transformada ortogonal inversa 119.

[00290] De acordo com o processo de transformada ortogonal inversa, os dados de imagem da imagem de diferença são restaurados. Os dados de imagem restaurados da imagem de diferença correspondem aos dados de imagem da imagem de diferença antes que uma transformada ortogonal seja executada no lado de codificação. No seguinte, os dados de imagem restaurados da imagem de diferença obtidos pelo processo de transformada ortogonal inversa da unidade de transformada ortogonal inversa 214 também são chamados "dados residuais decodificados". A unidade de transformada ortogonal inversa 214 provê os dados residuais decodificados para a unidade de computação 215. Além disso, os dados de imagem da imagem de predição são providos da unidade de intra-predição 221 ou da unidade de inter- predição 222 para a unidade de computação 215 pela unidade de seleção de imagem de predição 223.

[00291] A unidade de computação 215 usa os dados residuais decodificados e os dados de imagem da imagem de predição, e obtém os dados de imagem da imagem reconstruída em que a imagem de diferença e a imagem de predição estão adicionadas. A imagem reconstruída corresponde à imagem de entrada antes que a imagem de predição seja subtraída pela unidade de computação 113. A unidade de computação 215 provê a imagem reconstruída para o filtro de malha 216.

[00292] O filtro de malha 216 executa apropriadamente o processo de filtro de malha incluindo o processo de filtro de 'deblocking' ou um processo de filtro de malha adaptável na imagem reconstruída provida, e gera a imagem decodificada. Por exemplo, o filtro de malha 216 executa o processo de filtro de 'deblocking' na imagem reconstruída e assim remove distorção de bloco. Além disso, por exemplo o filtro de malha 216 executa o processo de filtro de malha no resultado de processo de filtro de 'deblocking' (a imagem reconstruída cuja distorção de bloco é removida) usando um filtro de Wiener para melhorar a qualidade de imagem.

[00293] Também, um tipo do processo de filtro executado pelo filtro de malha 216 é arbitrário, e um processo de filtro diferente do processo descrito acima pode ser executado. Além disso, o filtro de malha 216 pode executar o processo de filtro usando o coeficiente de filtro provido do dispositivo de codificação de imagem. Adicionalmente, o filtro de malha 216 pode omitir um tal processo de filtro e produzir dados de entrada sem o processo de filtro.

[00294] O filtro de malha 216 provê a imagem decodificada (ou a imagem reconstruída), que é o resultado de processo de filtro, para a buffer de rearranjo de tela 217 e a memória de figura 219.

[00295] A buffer de rearranjo de tela 217 rearranja uma ordem de figuras da imagem decodificada. Quer dizer, a buffer de rearranjo de tela 217 rearranja a imagem de figuras rearranjados em uma ordem de codificação pela buffer de rearranjo de tela 112 de acordo com uma ordem de exibição original. Quer dizer, a buffer de rearranjo de tela 217 armazena os dados de imagem da imagem decodificada de figuras providos na ordem de codificação nesta ordem, lê os dados de imagem da imagem decodificada de figuras armazenados na ordem de codificação, e provê o resultado para a unidade de conversão D/A 218 na ordem de exibição. A unidade de conversão D/A 218 executa conversão D/A da imagem decodificada (dados digitais) de figuras providos da buffer de rearranjo de tela 217, e produz e exibe o resultado em um visor (não ilustrado) como dados analógicos.

[00296] A memória de figura 219 armazena a imagem decodificada provida, e provê a imagem decodificada armazenada para a unidade de intra- predição 221 ou a unidade de inter-predição 222 pela unidade de seleção 220 como a imagem de referência a uma temporização predeterminada ou com base em um pedido do exterior tal como a unidade de intra-predição 221 ou a unidade de inter-predição 222.

[00297] A informação de modo de intra-predição ou similar é provida apropriadamente à unidade de intra-predição 221 da unidade de decodificação reversível 212. A unidade de intra-predição 221 executa intra-predição no modo de intra-predição (modo ótimo de intra-predição) usado na unidade de intra-predição 124, e gera a imagem de predição. Neste caso, a unidade de intra-predição 221 executa intra-predição usando os dados de imagem da imagem reconstruída provida da memória de figura 219 pela unidade de seleção 220. Quer dizer, a unidade de intra-predição 221 usa a imagem reconstruída como a imagem de referência (pixel periférico). A unidade de intra-predição 221 provê a imagem de predição gerada para a unidade de seleção de imagem de predição 223.

[00298] Informação de modo ótimo de predição, informação de movimento ou similar é provida apropriadamente à unidade de inter-predição 222 da unidade de decodificação reversível 212. A unidade de inter-predição 222 executa inter-predição usando a imagem decodificada (a imagem de referência) adquirida da memória de figura 219 no modo de inter-predição (modo ótimo de inter-predição) indicado pela informação de modo ótimo de predição adquirida da unidade de decodificação reversível 212, e gera a imagem de predição.

[00299] A unidade de seleção de predição de imagem 223 provê a imagem de predição provida da unidade de intra-predição 221 ou a imagem de predição provida da unidade de inter-predição 222 para a unidade de computação 215. Então, na unidade de computação 215, a imagem de predição e os dados residuais decodificados (informação de imagem de diferença) da unidade de transformada ortogonal inversa 214 são adicionados para obter a imagem reconstruída.

[00300] Além disso, a memória de figura 219 provê a imagem decodificada de camada base armazenada à unidade de decodificação de imagem de camada de aprimoramento 203.

[00301] A unidade de decodificação de imagem de camada base 202 adicionalmente inclui uma unidade de análise de informação de cabeçalho 224. A unidade de análise de informação de cabeçalho 224 adquire informação de cabeçalho da transferência contínua de codificação pela unidade de decodificação reversível 212, e analisa a informação. Por exemplo, a unidade de análise de informação de cabeçalho 224 analisa a informação de definição de carga de decodificação incluída na informação de cabeçalho. A unidade de análise de informação de cabeçalho 224 provê informação indicando o resultado de análise à unidade de controle 204.

[00302] Figura 37 é um diagrama de bloco ilustrando um exemplo de configuração principal da unidade de decodificação de imagem de camada de aprimoramento 203 da Figura 35. Como ilustrado na Figura 37, a unidade de decodificação de imagem de camada de aprimoramento 203 inclui a mesma configuração basicamente como a unidade de decodificação de imagem de camada base 202 da Figura 36.

[00303] Quer dizer, como ilustrado na Figura 37, a unidade de decodificação de imagem de camada de aprimoramento 203 inclui uma buffer de acumulação 231, uma unidade de decodificação reversível 232, uma unidade de quantização inversa 233, uma unidade de transformada ortogonal inversa 234, uma unidade de computação 235, um filtro de malha 236, um buffer de rearranjo de tela 237 e uma unidade de conversão D/A 238. Além disso, a unidade de decodificação de imagem de camada de aprimoramento 203 inclui uma memória de figura 239, uma unidade de seleção 240, uma unidade de intra-predição 241, uma unidade de inter-predição 242 e uma unidade de seleção de imagem de predição 243.

[00304] A buffer de acumulação 231 corresponde à unidade de seleção de imagem de predição 243 e executa os mesmos processos como a buffer de acumulação 211 para a unidade de seleção de imagem de predição 223 da Figura 36. Porém, unidades respectivas da unidade de decodificação de imagem de camada de aprimoramento 203 executam um processo de codificar informação de imagem de camada de aprimoramento em lugar da camada base. Portanto, quando processo da buffer de acumulação 231 para a unidade de seleção de imagem de predição 243 é descrito, as descrições anteriores da buffer de acumulação 211 para a unidade de seleção de imagem de predição 223 da Figura 36 podem ser aplicadas. Porém, neste caso, é necessário que dados a serem processados sejam dados da camada de aprimoramento em lugar de dados da camada base. Além disso, é necessário substituir apropriadamente uma unidade de processamento de uma fonte de entrada ou uma fonte de saída de dados com uma unidade de processamento correspondente da unidade de decodificação de imagem de camada de aprimoramento 203 e ler isto.

[00305] Também, a memória de figura 239 adquire a imagem decodificada de camada base provida da unidade de decodificação de imagem de camada base 202 e armazena a imagem como, por exemplo, uma figura de referência a longo prazo. A imagem decodificada de camada base é usada como a imagem de referência de, por exemplo, inter-predição de camada, no processo de predição pela unidade de intra-predição 241 ou pela unidade de inter-predição 242.

[00306] A unidade de decodificação de imagem de camada de aprimoramento 203 adicionalmente inclui uma unidade de análise de informação de cabeçalho 244.

[00307] A unidade de decodificação reversível 232 adquire informação de cabeçalho tal como o conjunto de parâmetros de sequência (SPS) ou MCTS SEI da transferência contínua de codificação de imagem de camada de aprimoramento. Há uma possibilidade da informação de definição de carga de decodificação da região parcial decodificável independentemente estar incluída na informação de cabeçalho. A unidade de decodificação reversível 232 provê a informação de cabeçalho para a unidade de análise de informação de cabeçalho 244.

[00308] A unidade de análise de informação de cabeçalho 244 analisa a informação de definição de carga de decodificação da região parcial decodificável independentemente incluída na informação de cabeçalho provida, e provê o resultado de análise para a unidade de controle 204.

[00309] Também, quando a informação de definição de carga de decodificação está estabelecida só na camada base, a unidade de análise de informação de cabeçalho 244 da camada de aprimoramento pode ser omitida.

[00310] Figura 38 é um diagrama ilustrando uma configuração exemplar de blocos de função da unidade de análise de informação de cabeçalho 224 da Figura 36. Na unidade de análise de informação de cabeçalho 224, por exemplo, quando um programa lido por uma CPU de uma ROM ou similar é executado usando uma RAM, o processo descrito acima é executado e assim vários blocos de função ilustrados na Figura 38 são implementados.

[00311] Como ilustrado na Figura 38, a unidade de análise de informação de cabeçalho 224 inclui uma unidade de aquisição de informação de cabeçalho 251, uma unidade de análise de SPS 252, uma unidade de análise de MCTS SEI 253, uma unidade de especificação de nível 254 e uma unidade de provisão 255.

[00312] A unidade de aquisição de informação de cabeçalho 251 adquire vários pedaços de informação de cabeçalho providos da unidade de decodificação reversível 212. A unidade de análise de SPS 252 analisa o conjunto de parâmetros de sequência (SPS) adquirido como informação de cabeçalho pela unidade de aquisição de informação de cabeçalho 251. Como descrito na primeira modalidade, a informação sobre definição de uma carga de decodificação da região parcial decodificável independentemente está incluída no conjunto de parâmetros de sequência (SPS). Conteúdo da informação sobre definição de uma carga de decodificação é arbitrário. Por exemplo, na primeira modalidade, qualquer um ou mais de vários pedaços de informação descrita com referência às Figuras 9 a 26 podem ser incluídos na informação de definição de carga de decodificação.

[00313] A unidade de análise de MCTS SEI 253 analisa MCTS SEI adquirida como informação de cabeçalho pela unidade de aquisição de informação de cabeçalho 251. Como descrito na primeira modalidade, a MCTS SEI inclui a informação de definição de carga de decodificação do região parcial decodificável independentemente. Conteúdo da informação de definição de carga de decodificação é arbitrário. Por exemplo, na primeira modalidade, qualquer um ou mais de vários pedaços de informação descrita com referência às Figuras 9 a 26 podem ser incluídos na informação de definição de carga de decodificação.

[00314] A unidade de especificação de nível 254 especifica um nível necessário para decodificar a região parcial decodificável independentemente com base no resultado de análise da unidade de análise de SPS 252 e MCTS SEI. A unidade de provisão 255 provê o nível especificado pela unidade de especificação de nível 254 ou informação sobre uma carga do processo de decodificação correspondendo ao nível à unidade de controle 104.

[00315] Também, como descrito na primeira modalidade, quando um parâmetro definido em uma região predeterminada incluindo a região parcial é mapeado com definição do nível da unidade de imagem inteira (figura), a unidade de especificação de nível 254 ou a unidade de provisão 255 pode empregar o parâmetro de mapeamento quando o nível é especificado ou o nível é interpretado.

[00316] Também, como descrito na primeira modalidade, a informação de definição de carga de decodificação da região parcial decodificável independentemente só está estabelecida em MCTS SEI, e esta informação pode não ser estabelecida no conjunto de parâmetros de sequência (SPS). Neste caso, a unidade de análise de SPS 252 pode ser omitida.

[00317] A seguir, uma transferência contínua de processos executado pela dispositivo para decodificação de imagem 200 descrita acima será descrito. Primeiro, uma transferência contínua exemplar de processos de decodificação de imagem será descrito com referência a uma transferência contínuagrama da Figura 39.

[00318] Quando o processo de decodificação de imagem inicia, na Etapa S201, a unidade de desmultiplexação 201 do dispositivo para decodificação de imagem 200 desmultiplexa a transferência contínua de codificação de imagem em camadas transmitido do lado de codificação para cada camada.

[00319] Na Etapa S202, a unidade de decodificação reversível 212 extrai a informação de cabeçalho incluindo a informação de definição de carga de decodificação da transferência contínua de codificação de imagem de camada base no processo da Etapa S201.

[00320] Alternativamente, por exemplo, quando a informação de definição de carga de decodificação também está incluída na camada de aprimoramento, a unidade de decodificação reversível 232 executa o processo semelhantemente, e extrai a informação de cabeçalho da camada de aprimoramento.

[00321] Na Etapa S203, a unidade de análise de informação de cabeçalho 224 analisa a informação de cabeçalho na Etapa S202, e especifica o nível necessário para decodificação da informação de definição de carga de decodificação.

[00322] Na Etapa S204, a unidade de controle 204 determina se a transferência contínua de codificação é decodificável com base no resultado de análise da Etapa S203. Quando é determinado que a transferência contínua de codificação é decodificável, o processo avança à Etapa S205.

[00323] Na Etapa S205, a unidade de decodificação de imagem de camada base 202 decodifica a transferência contínua de codificação de imagem de camada base. Na Etapa S206, a unidade de decodificação de imagem de camada de aprimoramento 203 decodifica a transferência contínua de codificação de imagem de camada de aprimoramento.

[00324] Quando o processo da Etapa S206 termina, o processo de decodificação de imagem termina.

[00325] Por outro lado, na Etapa S204, quando é determinado que a transferência contínua de codificação não é decodificável, o processo avança à Etapa S207. Neste caso, na Etapa S207, a unidade de controle 204 executa um processo de erro, que é um processo predeterminado quando decodificação normal não pode ser executada.

[00326] O processo de erro pode ser qualquer processo. Por exemplo, decodificação pode ser terminada forçadamente (incluindo ser suspensa ou pausada), ou uma advertência tal como uma imagem ou áudio pode ser provida ao usuário. Além disso, por exemplo, outra transferência contínua de codificação tendo um nível mais baixo pode ser adquirido e decodificação pode ser reiniciada. Adicionalmente, por exemplo, ocorrência de desordem na imagem decodificada pode ser permitida e a transferência contínua de codificação pode ser decodificado forçadamente.

[00327] Quando o processo da Etapa S207 termina, o processo de decodificação de imagem termina.

[00328] A seguir, uma transferência contínua exemplar de processos de análise de informação de cabeçalho executado na Etapa S203 da Figura 39 será descrito com referência a uma transferência contínuagrama da Figura 40.

[00329] Quando o processo de análise de informação de cabeçalho inicia, a unidade de análise de SPS 252 determina se o conjunto de parâmetros de sequência (SPS) está referido na Etapa S211. Quando a informação sobre definição de uma carga de decodificação da região parcial decodificável independentemente está incluída no conjunto de parâmetros de sequência (SPS) adquirido como a informação de cabeçalho e é determinado que o conjunto de parâmetros de sequência (SPS) está referido, o processo avança à Etapa S212.

[00330] Na Etapa S212, a unidade de análise de SPS 252 analisa a informação sobre definição de uma carga de decodificação da região parcial decodificável independentemente incluída no conjunto de parâmetros de sequência (SPS). Conteúdo da informação sobre definição de uma carga de decodificação é arbitrário. Por exemplo, na primeira modalidade, qualquer um ou mais de vários pedaços de informação descritos com referência às Figuras 9 a 26 podem ser incluídos na informação de definição de carga de decodificação. Quando a análise termina, o processo avança à Etapa S213. Por outro lado, na Etapa S211, quando a informação sobre definição de uma carga de decodificação da região parcial decodificável independentemente não está incluída no conjunto de parâmetros de sequência (SPS) e é determinado que o conjunto de parâmetros de sequência (SPS) não está referido, o processo avança à Etapa S213.

[00331] Na Etapa S213, a unidade de análise de MCTS SEI 253 determina se MCTS SEI está referida. Quando a informação de definição de carga de decodificação da região parcial decodificável independentemente está estabelecida em MCTS SEI adquirida como a informação de cabeçalho e é determinado que MCTS SEI está referida, o processo avança à Etapa S214.

[00332] Na Etapa S214, a unidade de análise de MCTS SEI 253 analisa a informação de definição de carga de decodificação da região parcial decodificável independentemente incluída em MCTS SEI. Conteúdo da informação de definição de carga de decodificação é arbitrário. Por exemplo, na primeira modalidade, qualquer um ou mais de vários pedaços de informação descrita com referência às Figuras 9 a 26 podem ser incluídos na informação de definição de carga de decodificação. Quando a análise termina, o processo avança à Etapa S215. Por outro lado, na Etapa S213, quando a informação de definição de carga de decodificação da região parcial decodificável independentemente não está estabelecida em MCTS SEI e é determinado que MCTS SEI não está referida, o processo avança à Etapa S215.

[00333] Na Etapa S215, a unidade de especificação de nível 254 especifica um nível necessário para decodificação com base no resultado de análise das Etapas S212 e S214.

[00334] Na Etapa S216, a unidade de provisão 255 provê informação indicando o nível necessário para decodificação especificada na Etapa S215 para a unidade de controle 104.

[00335] Quando o processo da Etapa S216 termina, o processo de análise de informação de cabeçalho termina e o processo retorna à Figura 39.

[00336] Também, como descrito na primeira modalidade, quando um parâmetro definido em uma região predeterminada incluindo a região parcial é mapeado com definição do nível da unidade de imagem inteira (figura), a unidade de especificação de nível 254 ou a unidade de provisão 255 pode empregar o parâmetro de mapeamento no processo da Etapa S215 ou Etapa S216.

[00337] Também, como descrito na primeira modalidade, a informação de definição de carga de decodificação da região parcial decodificável independentemente só é estabelecida em MCTS SEI, e esta informação pode não ser estabelecida no conjunto de parâmetros de sequência (SPS). Neste caso, o processo da Etapa S211 e Etapa S212 pode ser omitido.

[00338] Quando decodificação é possível de acordo com o resultado de determinação de se decodificação é possível com base na informação de definição de carga de decodificação descrita acima, o processo de decodificação de camada base é executado na Etapa S205 da Figura 39. Uma transferência contínua exemplar dos processos de decodificação de camada base será descrito com referência a uma transferência contínuagrama da Figura 41.

[00339] Quando o processo de decodificação de camada base inicia, na Etapa S221, a buffer de acumulação 211 da unidade de decodificação de imagem de camada base 202 acumula a transferência contínua de codificação de camada base transmitido. Na Etapa S222, a unidade de decodificação reversível 212 decodifica a transferência contínua de codificação de camada base provido da buffer de acumulação 211. Quer dizer, dados de imagem como uma fatia I, uma fatia P, e uma fatia B codificadas pela unidade de codificação reversível 116 são decodificados. Neste caso, vários pedaços de informação diferentes dos dados de imagem incluídos no fluxo de bits tal como a informação de cabeçalho também são decodificados.

[00340] Na Etapa S223, a unidade de quantização inversa 213 executa quantização inversa do coeficiente quantizado obtido no processo da Etapa S222.

[00341] Na Etapa S224, a unidade de transformada ortogonal inversa 214 executa uma transformada ortogonal inversa no coeficiente que é quantizado inversamente na Etapa S223.

[00342] Na Etapa S225, a unidade de intra-predição 221 e a unidade de inter-predição 222 executam o processo de predição e geram a imagem de predição. Quer dizer, o processo de predição é executado no modo de predição que é determinado na unidade de decodificação reversível 212 aplicado quando codificação é executada. Mais especificamente, Por exemplo, se intra-predição for aplicada quando codificação é executada, a unidade de intra-predição 221 gera a imagem de predição no modo de intra- predição que está fixado como ótimo quando codificação é executada. Além disso, por exemplo, se inter-predição for aplicada quando codificação é executada, a unidade de inter-predição 222 gera a imagem de predição no modo de inter-predição que está fixado como ótimo quando codificação é executada.

[00343] Na Etapa S226, a unidade de computação 215 adiciona a imagem de predição gerada na Etapa S226 à imagem de diferença obtida pela transformada ortogonal inversa na Etapa S225. Portanto, os dados de imagem da imagem reconstruída são obtidos.

[00344] Na Etapa S227, o filtro de malha 216 executa o processo de filtro de malha por conseguinte incluindo o processo de filtro de 'deblocking' ou o processo de filtro de malha adaptável nos dados de imagem da imagem reconstruída obtida no processo da Etapa S227.

[00345] Na Etapa S228, a buffer de rearranjo de tela 217 rearranja figuras da imagem reconstruída na qual o processo de filtro é executado na Etapa S227. Quer dizer, uma ordem de figuras rearranjados quando codificação é executada é rearranjada a uma ordem de exibição original.

[00346] Na Etapa S229, a unidade de conversão D/A 218 executa conversão D/A da imagem cuja ordem de figura é rearranjada na Etapa S228. A imagem é produzida a um visor (não ilustrado) e a imagem é exibida.

[00347] Na Etapa S230, a memória de figura 219 armazena dados como a imagem decodificada obtida no processo da Etapa S227 ou a imagem reconstruída obtida no processo da Etapa S226.

[00348] Quando o processo da Etapa S230 termina, o processo de decodificação de camada base termina e o processo retorna à Figura 39.

[00349] Semelhante ao processo de decodificação de camada base, quando decodificação é possível de acordo com o resultado de determinação de se decodificação é possível com base na informação de definição de carga de decodificação descrita acima, o processo de decodificação de camada de aprimoramento é executado na Etapa S206 da Figura 39. Uma transferência contínua exemplar dos processos de decodificação de camada de aprimoramento será descrito com referência a uma transferência contínuagrama da Figura 42.

[00350] Processos respectivos (Etapas S241 a S250) dos processos de decodificação de camada de aprimoramento correspondem a processos respectivos (Etapas S221 a S230) dos processos de decodificação de camada base da Figura 41, e são executados basicamente da mesma maneira como estes processos. Enquanto processos respectivos (Etapas S221 a S230) dos processos de decodificação de camada base são executados na camada base, processos respectivos (Etapas S241 a S250) dos processos de decodificação de camada de aprimoramento são executados na camada de aprimoramento.

[00351] Quando o processo da Etapa S250 termina, o processo de decodificação de camada de aprimoramento termina e o processo retorna à Figura 39.

[00352] Quando os processos respectivos são executados desta maneira, se o dispositivo para decodificação de imagem 200 usar a informação de definição de carga de decodificação da região parcial decodificável independentemente, é possível reconhecer desempenho necessário para decodificar mais precisamente.

[00353] Uma gama de aplicação da tecnologia presente inclui aplicações a todos os dispositivos de codificação de imagem e dispositivos de decodificação de imagem capazes de codificar e decodificar imagens parciais.

[00354] Além disso, a tecnologia presente pode ser aplicada a um dispositivo de codificação de imagem e um dispositivo para decodificação de imagem usados para receber informação de imagem (uma transferência contínua de bits) comprimida por compensação de movimento e uma transformada ortogonal tal como um transformada discreta de cosseno, semelhantemente a, por exemplo, MPEG, ou H.26x, por difusão de satélite, televisão a cabo, a Internet, ou mídia de rede tal como um telefone móvel. Além disso, a tecnologia presente pode ser aplicada a um dispositivo de codificação de imagem e um dispositivo para decodificação de imagem usados para executar um processo em meios de armazenamento tais como discos ópticos e magnéticos e uma memória flash.

<4. Quarta modalidade> <Aplicação à codificação de imagem de multi-visão e decodificação de imagem de multi-visão>

[00355] A série descrita acima de processos pode ser aplicada à codificação de imagem de multi-visão e decodificação de imagem de multi- visão. Figura 43 ilustra um exemplo de um esquema de codificação de imagem de multi-visão.

[00356] Como ilustrado na Figura 43, uma imagem de multi-visão inclui imagens tendo uma pluralidade de visões. A pluralidade de visões da imagem de multi-visão inclui uma visão básica para qual codificação/decodificação é executada usando só a imagem de sua própria visão sem usar informação de outras visões e visões não básicas para quais codificação/decodificação é executada usando informação de outras visões. Em codificação/decodificação de uma visão não básica, a informação da visão básica pode ser usada, e a informação da outra visão não básica pode ser usada.

[00357] Quer dizer, uma relação de referência entre visões em codificação e decodificação de imagem de multi-visão é semelhante a uma relação de referência entre camadas em codificação e decodificação de imagem em camadas. Portanto, em codificação e decodificação da imagem de multi-visão na Figura 43, o método descrito acima pode ser aplicado. Desta maneira, semelhantemente à imagem de multi-visão, é possível reconhecer desempenho necessário para decodificar mais precisamente.

[00358] Figura 44 é um diagrama ilustrando um dispositivo de codificação de imagem de multi-visão que executa a codificação de imagem de multi-visão descrita acima. Como ilustrado na Figura 44, o dispositivo de codificação de imagem de multi-visão 600 tem uma unidade de codificação 601, uma unidade de codificação 602 e uma unidade de multiplexação 603.

[00359] A unidade de codificação 601 codifica uma imagem de visão básica para gerar uma transferência contínua codificado de imagem de visão básica. A unidade de codificação 602 codifica uma imagem de visão não básica para gerar uma transferência contínua codificado de imagem de visão não básica. A unidade de multiplexação 603 multiplexa o fluxo codificado de imagem de visão básica gerado pela unidade de codificação 601 e o fluxo codificado de imagem de visão não básica gerado pela unidade de codificação 602 para gerar uma transferência contínua codificado de imagem de multi- visão.

[00360] A unidade de codificação de imagem de camada base 101 pode ser aplicada como a unidade de codificação 601 do dispositivo de codificação de imagem de multi-visão 600, e a unidade de codificação de imagem de camada de aprimoramento 102 pode ser aplicada como a unidade de codificação 602. Desta maneira, é possível reconhecer desempenho necessário para decodificar mais precisamente.

[00361] Figura 45 é um diagrama ilustrando um dispositivo para decodificação de imagem de multi-visão que executa a decodificação de imagem de multi-visão descrita acima. Como ilustrado na Figura 45, o dispositivo para decodificação de imagem de multi-visão 610 tem uma unidade de desmultiplexação 611, uma unidade de decodificação 612 e outra unidade de decodificação 613.

[00362] A unidade de desmultiplexação 611 desmultiplexa o fluxo codificado de imagem de multi-visão obtido multiplexando o fluxo codificado de imagem de visão básica e o fluxo codificado de imagem de visão não básica para extrair o fluxo codificado de imagem de visão básica e o fluxo codificado de imagem de visão não básica. A unidade de decodificação 612 decodifica o fluxo codificado de imagem de visão básica extraído pela unidade de desmultiplexação 611 para obter a imagem de visão básica. A unidade de decodificação 613 decodifica o fluxo codificado de imagem de visão não básica extraído pela unidade de desmultiplexação 611 para obter a imagem de visão não básica.

[00363] A unidade de decodificação de imagem de camada base 202 pode ser aplicada como a unidade de decodificação 612 do dispositivo para decodificação de imagem de multi-visão 610, e a unidade de decodificação de imagem de camada de aprimoramento 203 pode ser aplicada como a unidade de decodificação 613. Desta maneira, é possível reconhecer desempenho necessário para decodificar mais precisamente.

<5. Quinta modalidade> <Computador>

[00364] A série descrita acima de processos também pode ser executada através de hardware e também pode ser executada através de software. Quando a série de processos é executada através de software, um programa do software é instalado em um computador. Aqui, o computador inclui um computador embutido em hardware dedicado e, por exemplo, um computador pessoal geral capaz de várias funções por instalação de vários programas.

[00365] Figura 46 é um diagrama de bloco ilustrando um exemplo de uma configuração de hardware do computador que executa a série descrita acima de processos de acordo com um programa.

[00366] Em um computador 800 ilustrado na Figura 46, uma unidade de processamento central (CPU) 801, uma memória somente para leitura (ROM) 802 e uma memória de acesso aleatório (RAM) 803 estão conectadas mutuamente por um barramento 804.

[00367] Uma interface de entrada e saída 810 também está conectada ao barramento 804. Uma unidade de entrada 811, uma unidade de saída 812, uma unidade de armazenamento 813, uma unidade de comunicação 814 e uma unidade de disco 815 estão conectadas à interface de entrada e saída 810.

[00368] A unidade de entrada 811 é formada, por exemplo, por um teclado, um mouse, um microfone, um painel de toque, ou um terminal de entrada. A unidade de saída 812 é formada, por exemplo, por um visor, um alto-falante, ou um terminal de saída. A unidade de armazenamento 813 é formada, por exemplo, por um disco rígido, um disco de RAM, ou uma memória não volátil. A unidade de comunicação 814 é formada, por exemplo, por uma interface de rede. A unidade de disco 815 aciona um meio removível 821 tal como um disco magnético, um disco óptico, um disco magneto-óptico, ou uma memória de semicondutor.

[00369] No computador tendo a configuração descrita acima, por exemplo, a CPU 801 executa os processos descritos acima carregando um programa armazenado na unidade de armazenamento 813 à RAM 803 pela interface de entrada e saída 810 e o barramento 804 e executando o programa. A RAM 803 também armazena apropriadamente dados necessários para a CPU 801 executar vários processos.

[00370] Por exemplo, um programa executado pelo computador (a CPU 801) pode ser gravado no meio removível 821 tal como um meio de pacote a ser aplicado. Neste caso, montando o meio removível 821 na unidade de disco 815, o programa pode ser instalado na unidade de armazenamento 813 pela interface de entrada e saída 810.

[00371] O programa também pode ser provido por um meio de transmissão por fios ou sem fios tal como uma rede de área local, a Internet, ou difusão de satélite digital. Neste caso, o programa pode ser recebido pela unidade de comunicação 814 a ser instalado na unidade de armazenamento 813.

[00372] Adicionalmente, o programa também pode ser instalado com antecedência na ROM 802 ou na unidade de armazenamento 813.

[00373] Programas executados pelo computador podem ser programas que são processados cronologicamente na ordem descrita na especificação presente ou podem ser programas que são processados nas temporizações necessárias, por exemplo, em paralelo ou quando chamado.

[00374] Na especificação presente, etapas descrevendo um programa gravado em um meio de gravação incluem não só processos que são executados cronologicamente na ordem descrita, mas também processos que são executados em paralelo ou individualmente, mas não cronologicamente.

[00375] Na especificação presente, um sistema significa um conjunto de uma pluralidade de elementos constituintes (dispositivos, módulos (componentes), e similar) e todos os elementos constituintes podem estar incluídos ou podem não estar incluídos na mesma cobertura. Por conseguinte, uma pluralidade de dispositivos acomodados em coberturas separadas e conectados por redes e um único dispositivo no qual uma pluralidade de módulos está acomodada em uma única cobertura são todos sistemas.

[00376] Uma configuração descrita acima como um único dispositivo (ou unidade de processamento) pode ser dividida e configurada como uma pluralidade de dispositivos (ou unidades de processamento). Em contraste, uma configuração descrita acima como uma pluralidade de dispositivos (ou unidades de processamento) pode ser colecionada e configurada como um único dispositivo (ou unidade de processamento). Configurações diferentes das configurações descritas acima podem, certamente, ser adicionadas às configurações dos dispositivos (ou às unidades de processamento). Adicionalmente, contanto que configurações ou operações sejam substancialmente as mesmas no sistema inteiro, partes das configurações de certos dispositivos (ou unidades de processamento) podem ser incluídas nas configurações dos outros dispositivos (ou outras unidades de processamento).

[00377] As modalidades preferidas da presente descrição foram descritas acima com referência aos desenhos acompanhantes, enquanto a presente descrição não está limitada aos exemplos anteriores, certamente. Uma pessoa qualificada na técnica pode achar várias alterações e modificações dentro da extensão das reivindicações anexas, e deveria ser entendido que elas virão naturalmente sob a extensão técnica da presente descrição.

[00378] Por exemplo, na tecnologia presente, é possível realizar uma configuração de computação de nuvem na qual uma única função é compartilhada e processada juntamente por uma pluralidade de dispositivos por redes.

[00379] Cada etapa descrita nos fluxogramas descritos acima pode ser executada por um único dispositivo e também pode ser compartilhada e executada por uma pluralidade de dispositivos.

[00380] Quando uma pluralidade de processos está incluída em uma única etapa, a pluralidade de processos incluída na única etapa pode ser executada por um único dispositivo e também pode ser compartilhada e executada por uma pluralidade de dispositivos.

[00381] O dispositivo de codificação de imagem e o dispositivo para decodificação de imagem de acordo com as modalidades descritas acima podem ser aplicados a vários dispositivos eletrônicos tal como um transmissor ou um receptor em entrega de difusão de satélite, uma difusão por fios tal como uma TV a cabo, ou a Internet e entrega para um terminal através de comunicação celular, um dispositivo de gravação gravando uma imagem em um meio tal como um disco óptico, um disco magnético, ou uma memória flash, ou um dispositivo de reprodução reproduzindo uma imagem do meio de armazenamento. Em seguida, quatro exemplos de aplicação serão descritos.

<6. Sexta modalidade> <Primeiro exemplo de aplicação: receptor de televisão>

[00382] Figura 47 é um diagrama de bloco ilustrando um exemplo de uma configuração esquemática de um dispositivo de televisão ao qual as modalidades descritas acima são aplicadas. Um dispositivo de televisão 900 inclui uma antena 901, um sintonizador 902, um desmultiplexador 903, um decodificador 904, uma unidade de processamento de sinal de vídeo 905, uma unidade de exibição 906, uma unidade de processamento de sinal de áudio 907, um alto-falante 908, uma unidade de interface externa (I/F) 909, uma unidade de controle 910, uma unidade de interface de usuário (I/F) 911 e um barramento 912.

[00383] O sintonizador 902 extrai um sinal de um canal desejado de um sinal radiodifundido recebido pela antena 901 e demodula o sinal extraído. O sintonizador 902 então produz uma transferência contínua de bits codificado obtido pela demodulação ao desmultiplexador 903. Quer dizer, no dispositivo de televisão 900, o sintonizador 902 serve como uma unidade de transmissão configurada para receber uma transferência contínua de codificação no qual uma imagem está codificada.

[00384] O desmultiplexador 903 desmultiplexa uma transferência contínua vídeo e uma transferência contínua de áudio de um programa alvo de visão da transferência contínua de bits codificado e produz os fluxos desmultiplexados para o decodificador 904. O desmultiplexador 903 extrai dados auxiliares tal como um guia de programa eletrônico (EPG) da transferência contínua de bits codificado e provê os dados extraídos para a unidade de controle 910. Também, quando o fluxo de bits de codificação está embaralhado, o desmultiplexador 903 pode executar desembaralhamento.

[00385] O decodificador 904 decodifica o fluxo de vídeo e o fluxo de áudio entrados do desmultiplexador 903. O decodificador 904 produz dados de vídeo gerados pelo processo de decodificação à unidade de processamento de sinal de vídeo 905. O decodificador 904 produz dados de áudio gerados pelo processo de decodificação à unidade de processamento de sinal de áudio 907.

[00386] A unidade de processamento de sinal de vídeo 905 reproduz os dados de vídeo entrados do decodificador 904, e faz um vídeo ser exibido na unidade de exibição 906. Além disso, a unidade de processamento de sinal de vídeo 905 pode fazer uma tela de aplicativo provida pela rede ser exibida na unidade de exibição 906. Além disso, a unidade de processamento de sinal de vídeo 905 pode executar um processo adicional, por exemplo, eliminação de ruído, nos dados de vídeo de acordo com ajustes. Adicionalmente, a unidade de processamento de sinal de vídeo 905 pode gerar uma imagem de uma interface gráfica de usuário (GUI), por exemplo, um menu, um botão ou um cursor, e sobrepor a imagem gerada sobre uma imagem de saída.

[00387] A unidade de exibição 906 é excitada por um sinal de excitação provido da unidade de processamento de sinal de vídeo 905 e exibe um vídeo ou uma imagem em um plano de vídeo de um dispositivo de exibição (por exemplo, um mostrador de cristal líquido, um mostrador de plasma ou um mostrador de eletroluminescência orgânica (OELD) (mostrador de EL orgânica)).

[00388] A unidade de processamento de sinal de áudio 907 executa um processo de reprodução tal como conversão D/A e amplificação em dados de áudio entrados do decodificador 904, e faz áudio ser produzido do alto-falante 908. Além disso, a unidade de processamento de sinal de áudio 907 pode executar um processamento adicional tal como eliminação de ruído nos dados de áudio.

[00389] A unidade de interface externa 909 é uma interface que conecta o dispositivo de televisão 900 e um dispositivo externo ou a rede. Por exemplo, o fluxo de vídeo ou o fluxo de áudio recebido pela unidade de interface externa 909 pode ser decodificado pelo decodificador 904. Quer dizer, no dispositivo de televisão 900, a unidade de interface externa 909 serve como uma unidade de transmissão configurada para receber uma transferência contínua de codificação no qual uma imagem está codificada.

[00390] A unidade de controle 910 inclui um processador tal como uma CPU e memórias tais como uma RAM e uma ROM. As memórias armazenam programas executados pela CPU, dados de programa, dados de EPG, dados adquiridos por uma rede, e similar. Os programas armazenados nas memórias são lidos e executados pela CPU, por exemplo, quando o dispositivo de televisão 900 é ativado. A CPU controla uma operação do dispositivo de televisão 900, por exemplo, de acordo com um sinal de operação entrado da unidade de interface de usuário 911 executando um programa.

[00391] A unidade de interface de usuário 911 está conectada à unidade de controle 910. A unidade de interface de usuário 911 inclui, por exemplo, um botão e uma chave usados pelo usuário para operar o dispositivo de televisão 900, e uma unidade de recepção de um sinal de controle remoto. A unidade de interface do usuário 911 detecta a operação do usuário por um tal componente, gera um sinal de operação e produz o sinal de operação gerado para a unidade de controle 910.

[00392] O barramento 912 conecta o sintonizador 902, o desmultiplexador 903, o decodificador 904, a unidade de processamento de sinal de vídeo 905, a unidade de processamento de sinal de áudio 907, a unidade de interface externa 909 e a unidade de controle 910 entre si.

[00393] No dispositivo de televisão 900 configurado desta maneira, o decodificador 904 tem funções do dispositivo para decodificação de imagem 200 de acordo com a modalidade descrita acima. Por conseguinte, é possível reconhecer desempenho necessário para decodificar a imagem mais precisamente no dispositivo de televisão 900.

[00394] Figura 48 ilustra uma configuração esquemática exemplar de um telefone móvel 920 ao qual a modalidade descrita acima é aplicada. Um telefone móvel 920 inclui uma antena 921, uma unidade de comunicação 922, um codec de áudio 923, um alto-falante 924, um microfone 925, uma unidade de câmera 926, uma unidade de processamento de imagem 927, uma unidade de desmultiplexação 928, uma unidade de gravação e reprodução 929, uma unidade de exibição 930, uma unidade de controle 931, uma unidade de operação 932 e um barramento 933.

[00395] A antena 921 está conectada à unidade de comunicação 922. O alto-falante 924 e o microfone 925 estão conectados ao codec de áudio 923. A unidade de operação 932 está conectada à unidade de controle 931. O barramento 933 conecta a unidade de comunicação 922, o codec de áudio 923, a unidade de câmera 926, a unidade de processamento de imagem 927, a unidade de desmultiplexação 928, a unidade de gravação e reprodução 929, a unidade de exibição 930 e a unidade de controle 931 entre si.

[00396] O telefone móvel 920 executa operações tais como transmissão e recepção de sinais de áudio, transmissão e recepção de correio eletrônico ou dados de imagem, captura de imagem, e gravação de dados em vários modos de operação tais como um modo de chamada de áudio, um modo de comunicação de dados, um modo de fotografia e um modo de videofone.

[00397] No modo de chamada de áudio, um sinal de áudio analógico gerado pelo microfone 925 é provido ao codec de áudio 923. O codec de áudio 923 converte o sinal de áudio analógico nos dados de áudio e executa conversão A/D e compressão dos dados de áudio convertidos. Portanto, o codec de áudio 923 produz os dados de áudio comprimidos para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula os dados de áudio e gera um sinal de transmissão. Portanto, a unidade de comunicação 922 transmite o sinal de transmissão gerado para uma estação base (não ilustrada) pela antena 921. Além disso, a unidade de comunicação 922 amplifica um sinal sem fios recebido pela antena 921, executa conversão de freqüência nele, e adquire um sinal recebido. Portanto, a unidade de comunicação 922 demodula e decodifica o sinal recebido para gerar dados de áudio, e produz os dados de áudio gerados para o codec de áudio 923. O codec de áudio 923 estende os dados de áudio e executa conversão D/A neles, e gera um sinal de áudio analógico. Portanto, o codec de áudio 923 provê o sinal de áudio gerado para o alto-falante 924 e faz áudio ser produzido.

[00398] Além disso, no modo de comunicação de dados, por exemplo, a unidade de controle 931 gera dados de texto de E-mail de acordo com a operação do usuário pela unidade de operação 932. Além disso, a unidade de controle 931 faz texto ser exibido na unidade de exibição 930. Além disso, a unidade de controle 931 gera dados de e-mail de acordo com uma instrução de transmissão pelo usuário pela unidade de operação 932, e produz os dados de e-mail gerados para a unidade de comunicação 922. A unidade de comunicação 922 codifica e modula os dados de e-mail e gera um sinal de transmissão. Portanto, a unidade de comunicação 922 transmite o sinal de transmissão gerado à estação base (não ilustrada) pela antena 921. Além disso, a unidade de comunicação 922 amplifica um sinal sem fios recebido pela antena 921, executa conversão de freqüência nele, e adquire um sinal recebido. Portanto, a unidade de comunicação 922 demodula e decodifica o sinal recebido, restaura os dados de e-mail, e produz os dados de e-mail restaurados para a unidade de controle 931. A unidade de controle 931 faz conteúdo de E-mail ser exibido na unidade de exibição 930 e provê os dados de e-mail para a unidade de gravação e reprodução 929 e faz os dados serem escritos no meio de armazenamento.

[00399] A unidade de gravação e reprodução 929 inclui um meio de armazenamento legível e gravável arbitrário. Por exemplo, o meio de armazenamento pode ser um meio de armazenamento embutido tal como uma RAM ou uma memória flash, ou um meio de armazenamento de um tipo de montagem externa tal como um disco rígido, um disco magnético, um disco magneto-óptico, um disco óptico, uma memória de Barramento Serial Universal (USB) ou um cartão de memória.

[00400] Além disso, no modo de fotografia, por exemplo, a unidade de câmera 926 captura uma imagem de um assunto, gera dados de imagem, e produz os dados de imagem gerados para a unidade de processamento de imagem 927. A unidade de processamento de imagem 927 codifica os dados de imagem entrados da unidade de câmera 926, provê a transferência contínua de codificação para a unidade de gravação e reprodução 929, e faz o fluxo ser escrito no meio de armazenamento.

[00401] Adicionalmente, em um modo de exibição de imagem, a unidade de gravação e reprodução 929 lê a transferência contínua de codificação gravado no meio de armazenamento e produz o fluxo lido para a unidade de processamento de imagem 927. A unidade de processamento de imagem 927 decodifica a transferência contínua de codificação entrado da unidade de gravação e reprodução 929, provê os dados de imagem para a unidade de exibição 930, e faz a imagem ser exibida.

[00402] Além disso, no modo de videofone, por exemplo, a unidade de desmultiplexação 928 multiplexa o fluxo de vídeo codificado pela unidade de processamento de imagem 927 e o fluxo de áudio entrado do codec de áudio 923 e produz o fluxo multiplexado à unidade de comunicação 922. A unidade de comunicação 922 codifica e modula o fluxo e gera um sinal de transmissão. Portanto, a unidade de comunicação 922 transmite o sinal de transmissão gerado à estação base (não ilustrada) pela antena 921. Além disso, a unidade de comunicação 922 amplifica um sinal sem fios recebido pela antena 921, executa conversão de freqüência nele, e adquire um sinal recebido. O fluxo de bits de codificação pode ser incluído no sinal de transmissão e no sinal recebido. Portanto, a unidade de comunicação 922 demodula e decodifica o sinal recebido, restaura o fluxo, e produz o fluxo restaurado para a unidade de desmultiplexação 928. A unidade de desmultiplexação 928 separa o fluxo de vídeo e o fluxo de áudio da transferência contínua de entrada, e produz o fluxo vídeo para a unidade de processamento de imagem 927 e o fluxo de áudio para o codec de áudio 923. A unidade de processamento de imagem 927 decodifica o fluxo vídeo e gera os dados de vídeo. Os dados de vídeo são providos à unidade de vídeo 930, e uma série de imagens é exibida na unidade de exibição 930. O codec de áudio 923 estende o fluxo de áudio e executa conversão D/A nele, e gera um sinal de áudio analógico. Portanto, o codec de áudio 923 provê o sinal de áudio gerado para o alto-falante 924 e faz áudio ser produzido.

[00403] No telefone móvel 920 configurado desta maneira, a unidade de processamento de imagem 927 tem funções do dispositivo de codificação de imagem 100 ou do dispositivo para decodificação de imagem 200 de acordo com a modalidade descrita acima. Por conseguinte, é possível reconhecer desempenho necessário para decodificar mais precisamente no telefone móvel 920.

[00404] Figura 49 ilustra uma configuração esquemática exemplar de um dispositivo de gravação e reprodução ao qual a modalidade descrita acima é aplicada. Um dispositivo de gravação e reprodução 940 codifica, por exemplo, dados de áudio e dados de vídeo recebidos de um programa radiodifundido, e grava o resultado no meio de gravação. Além disso, o dispositivo de gravação e reprodução 940 pode codificar os dados de áudio e dados de vídeo adquiridos de, por exemplo, outro dispositivo e gravar o resultado no meio de gravação. Além disso, o dispositivo de gravação e reprodução 940 reproduz dados gravados no meio de gravação por um monitor e um alto-falante de acordo com, por exemplo, a instrução do usuário. Neste caso, o dispositivo de gravação e reprodução 940 decodifica os dados de áudio e os dados de vídeo.

[00405] O dispositivo de gravação e reprodução 940 inclui um sintonizador 941, uma unidade de interface externa (I/F) 942, um codificador 943, uma unidade de disco rígido (HDD) 944, uma unidade de disco 945, um seletor 946, um decodificador 947, uma exibição em tela (OSD) 948, uma unidade de controle 949 e uma unidade de interface de usuário (I/F) 950.

[00406] O sintonizador 941 extrai um sinal de canal desejado de um sinal radiodifundido recebido pela antena (não ilustrada), e demodula o sinal extraído. Portanto, o sintonizador 941 produz o fluxo de bits de codificação obtido por demodulação ao seletor 946. Quer dizer, o sintonizador 941 serve como uma unidade de transmissão no dispositivo de gravação e reprodução 940.

[00407] A unidade de interface externa 942 é uma interface que conecta o dispositivo de gravação e reprodução 940 e o dispositivo externo ou a rede. A unidade de interface externa 942 pode ser, por exemplo, uma interface do Instituto de Engenheiros Elétricos e Eletrônicos (IEEE) 1394, uma interface de rede, uma interface de USB, ou uma interface de memória flash. Por exemplo, os dados de vídeo e dados de áudio recebidos pela unidade de interface externa 942 são entrados ao codificador 943. Quer dizer, a unidade de interface externa 942 serve como uma unidade de transmissão no dispositivo de gravação e reprodução 940.

[00408] Quando os dados de vídeo e dados de áudio entrados da unidade de interface externa 942 não estão codificados, o codificador 943 codifica os dados de vídeo e os dados de áudio. Portanto, o codificador 943 produz o fluxo de bits de codificação para o seletor 946.

[00409] O HDD 944 grava o fluxo de bits de codificação no qual dados de conteúdo tal como um vídeo e áudio estão comprimidos, vários programas e outros dados em um disco rígido interno. Além disso, quando o vídeo e o áudio são reproduzidos, o HDD 944 lê estes dados do disco rígido.

[00410] A unidade de disco 945 grava e lê dados no meio de gravação instalado. O meio de gravação instalado na unidade de disco 945 pode ser, por exemplo, um disco versátil digital (DVD) (tal como um DVD-vídeo, uma memória de acesso aleatório de DVD (DVD-RAM), um DVD-Gravável (DVD-R), um DVD-Regravável (DVD-RW), um DVD+Gravável (DVD+R), e um DVD+Regravável (DVD+RW)) ou um disco de Blu-ray (marca registrada).

[00411] Quando um vídeo e áudio são gravados, o seletor 946 seleciona o fluxo de bits de codificação entrado do sintonizador 941 ou do codificador 943, e produz o fluxo de bits de codificação selecionado para o HDD 944 ou a unidade de disco 945. Além disso, quando um vídeo e áudio são reproduzidos, o seletor 946 produz o fluxo de bits de codificação entrado do HDD 944 ou da unidade de disco 945 para o decodificador 947.

[00412] O decodificador 947 decodifica o fluxo de bits de codificação e gera dados de vídeo e dados de áudio. Portanto, o decodificador 947 produz os dados de vídeo gerados para o OSD 948. Além disso, o decodificador 947 produz os dados de áudio gerados para um alto-falante externo.

[00413] O OSD 948 reproduz os dados de vídeo entrados do decodificador 947 e exibe um vídeo. Além disso, o OSD 948 pode sobrepor uma imagem de uma GUI, por exemplo, um menu, um botão ou um cursor, no vídeo a ser exibido.

[00414] A unidade de controle 949 inclui um processador tal como uma CPU e memórias tais como uma RAM e uma ROM. As memórias armazenam programas executados pela CPU, dados de programa, e similar. Os programas armazenados nas memórias são lidos e executados pela CPU, por exemplo, quando o dispositivo de gravação e reprodução 940 é ativado. A CPU controla uma operação do dispositivo de gravação e reprodução 940, por exemplo, de acordo com um sinal de operação entrado da unidade de interface de usuário 950 executando um programa.

[00415] A unidade de interface de usuário 950 está conectada à unidade de controle 949. A unidade de interface de usuário 950 inclui, por exemplo, um botão e uma chave usados pelo usuário para operar o dispositivo de gravação e reprodução 940, e uma unidade de recepção de um sinal de controle remoto. A unidade de interface de usuário 950 detecta a operação do usuário por um tal componente, gera um sinal de operação e produz o sinal de operação gerado para a unidade de controle 949.

[00416] No dispositivo de gravação e reprodução 940 configurado desta maneira, o codificador 943 tem funções do dispositivo de codificação de imagem 100 de acordo com a modalidade descrita acima. Além disso, o decodificador 947 tem funções da dispositivo para decodificação de imagem 200 de acordo com a modalidade descrita acima. Por conseguinte, é possível reconhecer desempenho necessário para decodificar a imagem mais precisamente no dispositivo de gravação e reprodução 940.

[00417] Figura 50 ilustra uma configuração esquemática exemplar de um dispositivo de formação de imagem ao qual a modalidade descrita acima é aplicada. Um dispositivo de formação de imagem 960 gera uma imagem capturada de um assunto, codifica dados de imagem, e grava os dados no meio de gravação.

[00418] O dispositivo de formação de imagem 960 inclui um bloco óptico 961, uma unidade de formação de imagem 962, uma unidade de processamento de sinal 963, uma unidade de processamento de imagem 964, uma unidade de exibição 965, uma unidade de interface externa (I/F) 966, uma unidade de memória 967, uma unidade de mídia 968, uma OSD 969, uma unidade de controle 970, uma unidade de interface de usuário (I/F) 971 e um barramento 972.

[00419] O bloco óptico 961 está conectado à unidade de formação de imagem 962. A unidade de formação de imagem 962 está conectada à unidade de processamento de sinal 963. A unidade de exibição 965 está conectada à unidade de processamento de imagem 964. A unidade de interface de usuário 971 está conectada à unidade de controle 970. O barramento 972 conecta a unidade de processamento de imagem 964, a unidade de interface externa 966, a unidade de memória 967, a unidade de mídia 968, a OSD 969 e a unidade de controle 970 entre si.

[00420] O bloco óptico 961 inclui uma lente de foco e um mecanismo de abertura. O bloco óptico 961 faz uma imagem óptica do assunto ser formada sobre um plano de formação de imagem da unidade de formação de imagem 962. A unidade de formação de imagem 962 inclui um sensor de imagem tal como um dispositivo acoplado por carga (CCD) ou um semicondutor de óxido de metal complementar (CMOS), e converte a imagem óptica formada no plano de formação de imagem em um sinal de imagem tal como um sinal elétrico através de conversão fotoelétrica. Portanto, a unidade de formação de imagem 962 produz o sinal de imagem para a unidade de processamento de sinal 963.

[00421] A unidade de processamento de sinal 963 executa vários processos de sinal de câmera tais como correção de joelho, correção de gama, e correção de cor no sinal de imagem entrado da unidade de formação de imagem 962. A unidade de processamento de sinal 963 produz dados de imagem depois do processo de sinal de câmera para a unidade de processamento de imagem 964.

[00422] A unidade de processamento de imagem 964 codifica os dados de imagem entrados da unidade de processamento de sinal 963 e gera dados codificados. Portanto, a unidade de processamento de imagem 964 produz os dados codificados gerados para a unidade de interface externa 966 ou a unidade de mídia 968. Além disso, a unidade de processamento de imagem 964 decodifica os dados codificados entrados da unidade de interface externa 966 ou da unidade de mídia 968 e gera dados de imagem. Portanto, a unidade de processamento de imagem 964 produz os dados de imagem gerados para a unidade de exibição 965. Além disso, a unidade de processamento de imagem 964 pode produzir os dados de imagem entrados da unidade de processamento de sinal 963 e fazer a imagem a ser exibida na unidade de exibição 965. Além disso, a unidade de processamento de imagem 964 pode sobrepor a imagem a ser produzida à unidade de exibição 965 em dados de exibição adquiridos da OSD 969.

[00423] A OSD 969 gera uma imagem de uma GUI, por exemplo, um menu, um botão ou um cursor, e produz a imagem gerada para a unidade de processamento de imagem 964.

[00424] A unidade de interface externa 966 está configurada como, por exemplo, um terminal de entrada e saída de USB. A unidade de interface externa 966 conecta o dispositivo de formação de imagem 960 e uma impressora, por exemplo, quando a imagem é impressa. Além disso, uma unidade de disco está conectada à unidade de interface externa 966 como necessário. Um meio removível, por exemplo, um disco magnético ou um disco óptico, é instalado na unidade, e um programa lido do meio removível pode ser instalado no dispositivo de formação de imagem 960. Adicionalmente, a unidade de interface externa 966 pode ser configurada como uma interface de rede que está conectada à rede tal como a LAN ou a Internet. Quer dizer, a unidade de interface externa 966 serve como uma unidade de transmissão no dispositivo de formação de imagem 960.

[00425] O meio de gravação instalado na unidade de mídia 968 pode ser qualquer meio removível legível e gravável, por exemplo, um disco magnético, um disco magneto-óptico, um disco óptico, ou uma memória de semicondutor. Além disso, o meio de gravação pode ser instalado fixamente na unidade de mídia 968, e uma unidade de armazenamento não portátil, por exemplo, uma unidade de disco rígido embutido ou uma unidade de estado sólido (SSD), pode ser configurada.

[00426] A unidade de controle 970 inclui um processador tal como uma CPU e memórias tais como uma RAM e uma ROM. As memórias armazenam programas executados pela CPU, dados de programa, e similar. Os programas armazenados nas memórias são lidos e executados pela CPU, por exemplo, quando o dispositivo de formação de imagem 960 é ativado. A CPU controla uma operação do dispositivo de formação de imagem 960, por exemplo, de acordo com um sinal de operação entrado da unidade de interface de usuário 971 executando um programa.

[00427] A unidade de interface de usuário 971 está conectada à unidade de controle 970. A unidade de interface de usuário 971 inclui, por exemplo, um botão e uma chave usados pelo usuário para operar o dispositivo de formação de imagem 960, e similar. A unidade de interface de usuário 971 detecta a operação do usuário por um tal componente, gera um sinal de operação e produz o sinal de operação gerado para a unidade de controle 970.

[00428] No dispositivo de formação de imagem 960 configurado desta maneira, a unidade de processamento de imagem 964 tem funções do dispositivo de codificação de imagem 100 e do dispositivo para decodificação de imagem 200 de acordo com a modalidade descrita acima. Por conseguinte, é possível reconhecer desempenho necessário para decodificar mais precisamente no dispositivo de formação de imagem 960.

<7. Sétima modalidade> <Exemplo de aplicação de codificação graduável: primeiro sistema>

[00429] A seguir, um exemplo de uso detalhado de dados codificados graduavelmente que são codificados graduavelmente (codificação em camadas (imagem)) será descrito. A codificação graduável é usada para selecionar dados a serem transmitidos, por exemplo, como exemplificado na Figura 51.

[00430] Em um sistema de transmissão de dados 1000 ilustrado na Figura 51, um servidor de entrega 1002 lê dados codificados graduavelmente armazenados em uma unidade de memória de dados codificados graduavelmente 1001 e entrega os dados a um dispositivo terminal tal como um computador pessoal 1004, um instrumento de AV 1005, um dispositivo de tablet 1006, ou um telefone móvel 1007 por uma rede 1003.

[00431] Neste caso, o servidor de distribuição 1002 seleciona e transmite dados codificados de qualidade apropriada de acordo com uma capacidade do dispositivo terminal, um ambiente de comunicação ou similar. Até mesmo quando o servidor de distribuição 1002 transmite dados de qualidade alta desnecessariamente, não só pode uma imagem de qualidade de imagem alta não ser obtida no dispositivo terminal, mas um atraso ou um transbordamento pode ser causado. Além disso, há preocupação de uma banda de comunicação ser ocupada desnecessariamente, e uma carga no dispositivo terminal aumentar desnecessariamente. Por outro lado, até mesmo quando o servidor de distribuição 1002 transmite desnecessariamente dados de baixa qualidade, há preocupação de uma imagem de qualidade de imagem suficiente não ser obtida no dispositivo terminal. Portanto, o servidor de distribuição 1002 lê apropriadamente os dados codificados graduavelmente armazenados na unidade de armazenamento de dados codificados graduavelmente 1001 como dados codificados de qualidade apropriada e transmite os dados de acordo com uma capacidade do dispositivo terminal, um ambiente de comunicação ou similar.

[00432] Por exemplo, a unidade de armazenamento de dados codificados graduavelmente 1001 armazena dados codificados graduavelmente (BL+EL) 1011 que estão codificados graduavelmente. Os dados codificados graduavelmente (BL+EL) 1011 são dados codificados incluindo ambas a camada base e a camada de aprimoramento, e são dados dos quais ambas a imagem da camada base e a imagem da camada de aprimoramento podem ser obtidas por decodificação.

[00433] O servidor de entrega 1002 seleciona uma camada apropriada de acordo com uma capacidade do dispositivo terminal configurado para transmitir dados, um ambiente de comunicação ou similar, e lê dados da camada. Por exemplo, o servidor de entrega 1002 lê os codificados dados graduavelmente (BL+EL) 1011 de alta qualidade da unidade de armazenamento de dados codificados graduavelmente 1001 para o computador pessoal 1004 ou o dispositivo de tablet 1006 tendo uma capacidade de processamento alta e transmite os dados sem mudança. Por outro lado, por exemplo, o servidor de entrega 1002 extrai dados da camada base dos dados codificados graduavelmente (BL+EL) 1011 para o instrumento de AV 1005 ou o telefone móvel 1007 tendo uma baixa capacidade de processamento, e transmite os dados como dados codificados graduavelmente (BL) 1012 que têm o mesmo conteúdo como os dados codificados graduavelmente (BL+EL) 1011, mas tem qualidade mais baixa do que os dados codificados graduavelmente (BL+EL) 1011.

[00434] Quando tais dados codificados graduavelmente são usados, desde que é possível ajustar facilmente uma quantidade de dados, é possível suprimir um atraso ou um transbordamento de ocorrer, e suprimir uma carga desnecessária no dispositivo terminal ou um meio de comunicação de aumentar. Além disso, desde que redundância entre camadas é reduzida, é possível diminuir a quantidade de dados nos dados codificados graduavelmente (BL+EL) 1011, comparado a quando dados codificados de cada camada são fixados como dados separados. Portanto, é possível usar uma área de armazenamento da unidade de armazenamento de dados codificados graduavelmente 1001 com eficiência mais alta.

[00435] Também, semelhantemente ao computador pessoal 1004 para o telefone móvel 1007, desde que vários dispositivos podem ser aplicados ao dispositivo terminal, desempenho de hardware do dispositivo terminal é diferente de acordo com o dispositivo. Além disso, desde que há vários aplicativos que são executados pelo dispositivo terminal, uma capacidade de software disso é diferente. Adicionalmente, como a rede 1003 servindo como um meio de comunicação, qualquer rede de canal de comunicação incluindo qualquer uma ou ambas de comunicação por fios e sem fios, por exemplo, a Internet ou uma rede de área local (LAN) pode ser aplicada, e uma capacidade de transmissão de dados disso é diferente. Adicionalmente, a capacidade pode ser mudada de acordo com outra comunicação ou similar.

[00436] Portanto, antes que transmissão de dados inicie, o servidor de entrega 1002 pode executar comunicação com o dispositivo terminal servindo como um destino de transmissão de dados, e obter informação sobre uma capacidade do dispositivo terminal tal como desempenho de hardware do dispositivo terminal ou desempenho do aplicativo (software) executado pelo dispositivo terminal, e informação sobre um ambiente de comunicação tal como uma largura de banda disponível da rede 1003. Portanto, o servidor de entrega 1002 pode selecionar uma camada apropriada com base na informação obtida aqui.

[00437] Também, extração da camada pode ser executada no dispositivo terminal. Por exemplo, o computador pessoal 1004 pode decodificar os dados codificados graduavelmente transmitidos (BL+EL) 1011, exibir a imagem da camada base, ou exibir a imagem da camada de aprimoramento. Além disso, por exemplo, depois de extrair os dados codificados graduavelmente (BL) 1012 da camada base dos dados codificados graduavelmente transmitidos (BL+EL) 1011, o computador pessoal 1004 pode armazena-los, transferi-los para outro dispositivo, decodifica-los e exibir a imagem da camada base.

[00438] É desnecessário dizer que a unidade de armazenamento de dados codificados graduavelmente 1001, o servidor de entrega 1002, a rede 1003, e o número de dispositivos terminais são arbitrários. Além disso, enquanto o exemplo no qual o servidor de entrega 1002 transmite dados ao dispositivo terminal foi descrito acima, o exemplo de uso não está limitado a isso. O sistema de transmissão de dados 1000 pode ser aplicado a qualquer sistema contanto que o sistema selecione e transmita uma camada apropriada de acordo com uma capacidade do dispositivo terminal, um ambiente de comunicação ou similar quando dados codificados que estão codificados graduavelmente são transmitidos ao dispositivo terminal.

[00439] Portanto, semelhantemente a uma aplicação para a codificação em camadas e decodificação em camadas descritas acima com referência às Figuras 1 a 42, quando a tecnologia presente é aplicada ao sistema de transmissão de dados 1000 na Figura 51, é possível obter os mesmos efeitos que foram descritos acima com referência às Figuras 1 a 42.

[00440] Além disso, a codificação graduável é usada para transmissão por uma pluralidade de mídias de comunicação, por exemplo, como exemplificado na Figura 52.

[00441] Em um sistema de transmissão de dados 1100 ilustrado na Figura 52, uma estação de difusão 1101 transmite dados codificados graduavelmente da camada base (BL) 1121 por difusão terrestre 1111. Além disso, a estação de difusão 1101 transmite dados codificados graduavelmente da camada de aprimoramento (EL) 1122 por qualquer rede 1112 formada de qualquer uma ou ambas de redes de comunicação por fios e sem fios (por exemplo, dados são empacotados e transmitidos).

[00442] Um dispositivo terminal 1102 inclui uma função de receber a difusão terrestre 1111 que é radiodifundida da estação de difusão 1101, e recebe os dados codificados graduavelmente da camada base (BL) 1121 transmitidos pela difusão terrestre 1111. Além disso, o dispositivo terminal 1102 adicionalmente inclui uma função de comunicação de executar comunicação pela rede 1112, e recebe os dados codificados graduavelmente da camada de aprimoramento (EL) 1122 transmitidos pela rede 1112.

[00443] O dispositivo terminal 1102 decodifica os dados codificados graduavelmente da camada base (BL) 1121 adquiridos pela difusão terrestre 1111 de acordo com, por exemplo, a instrução do usuário, obtém e armazena a imagem da camada base, e transmite o resultado para outro dispositivo.

[00444] Além disso, o dispositivo terminal 1102 sintetiza os dados codificados graduavelmente da camada base (BL) 1121 adquiridos pela difusão terrestre 1111 e os dados codificados graduavelmente da camada de aprimoramento (EL) 1122 adquiridos pela rede 1112 de acordo com, por exemplo, a instrução do usuário, obtém dados codificados graduavelmente (B+EL), decodifica os dados, obtém e armazena a imagem da camada de aprimoramento, e transmite o resultado para outro dispositivo.

[00445] Como descrito acima, os dados codificados graduavelmente podem ser transmitidos, por exemplo, por um meio de comunicação diferente para cada camada. Portanto, é possível entregar uma carga e suprimir um atraso ou um transbordamento de ocorrer.

[00446] Além disso, de acordo com circunstâncias, um meio de comunicação usado para transmissão pode ser selecionado para cada camada. Por exemplo, os dados codificados graduavelmente da camada base (BL) 1121 tendo uma quantidade relativamente grande de dados podem ser transmitidos por um meio de comunicação tendo uma largura de banda larga, e os dados codificados graduavelmente da camada de aprimoramento (EL) 1122 tendo uma quantidade relativamente pequena de dados podem ser transmitidos por um meio de comunicação tendo uma largura de banda estreita. Além disso, por exemplo, o meio de comunicação para transmitir os dados codificados graduavelmente da camada de aprimoramento (EL) 1122 pode ser trocado à rede 1112 ou à difusão terrestre 1111 de acordo com uma largura de banda disponível da rede 1112. É desnecessário dizer que isto é semelhante para dados de qualquer camada.

[00447] Quando controle é executado desta maneira, é possível adicionalmente suprimir uma carga em transmissão de dados de aumentar.

[00448] É desnecessário dizer que o número de camadas é arbitrário, e o número de mídias de comunicação usadas para transmissão também é arbitrário. Além disso, o número de dispositivos terminais 1102 servindo como um destino de entrega de dados também é arbitrário. Adicionalmente, enquanto o exemplo de difusão da estação de difusão 1101 foi descrito acima, o exemplo de uso não está limitado a isso. O sistema de transmissão de dados 1100 pode ser aplicado a qualquer sistema contanto que o sistema divida os dados codificados que estão codificados graduavelmente em uma pluralidade de pedaços de dados usando uma camada como uma unidade, e transmita os dados por uma pluralidade de linhas.

[00449] Portanto, semelhantemente a uma aplicação à codificação em camadas e decodificação em camadas descritas acima com referência às Figuras 1 a 42, quando a tecnologia presente é aplicada ao sistema de transmissão de dados 1100 em 43 descrito acima, é possível obter os mesmos efeitos que foram descritos acima com referência às Figuras 1 a 42.

[00450] Também, a codificação graduável é usada para armazenar dados codificados, por exemplo, como exemplificado na Figura 53.

[00451] Em um sistema de formação de imagem 1200 ilustrado na Figura 53, um dispositivo de formação de imagem 1201 codifica graduavelmente dados de imagem obtidos capturando uma imagem de um assunto 1211, e provê o resultado para um dispositivo de armazenamento de dados codificados graduavelmente 1202 como dados codificados graduavelmente (BL+EL) 1221.

[00452] O dispositivo de armazenamento de dados codificados graduavelmente 1202 armazena os dados codificados graduavelmente (BL+EL) 1221 providos do dispositivo de formação de imagem 1201 com qualidade de acordo com circunstâncias. Por exemplo, a tempos normais, o dispositivo de armazenamento de dados codificados graduavelmente 1202 extrai dados da camada base do dados codificados graduavelmente (BL+EL) 1221, e armazena como dados codificados graduavelmente da camada base (BL) 1222 tendo uma quantidade pequena de dados com baixa qualidade. Por outro lado, por exemplo, em tempos de significação, o dispositivo de armazenamento de dados codificados graduavelmente 1202 armazena diretamente os dados codificados graduavelmente (BL+EL) 1221 tendo uma quantidade grande de dados com qualidade alta.

[00453] Desta maneira, desde que o dispositivo de armazenamento de dados codificados graduavelmente 1202 só pode salvar a imagem com qualidade de imagem alta como necessário, é possível suprimir uma quantidade de dados de aumentar e é possível aumentar a eficiência de utilização de uma área de armazenamento enquanto suprimindo um valor de uma imagem de diminuir devido à degradação de qualidade de imagem.

[00454] Por exemplo, o dispositivo de formação de imagem 1201 é uma câmera de vigilância. Quando não há nenhum objetivo de monitoração (por exemplo, um intruso) em uma imagem capturada (a tempos normais), desde que conteúdo da imagem capturada é altamente provável ser sem importância, reduzir uma quantidade de dados tem uma prioridade e os dados de imagem (dados codificados graduavelmente) são armazenados em baixa qualidade. Por outro lado, quando um objetivo de monitoração é mostrado na imagem capturada como o assunto 1211 (em tempos de significação), desde que conteúdo da imagem capturada é altamente provável ser importante, qualidade de imagem tem uma prioridade, e os dados de imagem (dados codificados graduavelmente) são armazenados em qualidade alta.

[00455] Também, o dispositivo de armazenamento de dados codificados graduavelmente 1202 pode determinar tempos normais e tempos de significação, por exemplo, analisando a imagem. Alternativamente, o dispositivo de formação de imagem 1201 pode executar determinação e transmitir o resultado de determinação ao dispositivo de armazenamento de dados codificados graduavelmente 1202.

[00456] Também, uma referência para determinar tempos normais e tempos de significação é arbitrária, e conteúdo da imagem servindo como a referência de determinação é arbitrário. É desnecessário dizer que uma condição diferente de conteúdo da imagem pode ser estabelecida como a referência de determinação. Por exemplo, a referência de determinação pode ser trocada de acordo com uma magnitude, uma forma de onda ou similar de áudio gravado, trocada a intervalos de tempo predeterminados ou trocada de acordo com uma instrução do exterior tal como a instrução do usuário.

[00457] Além disso, enquanto o exemplo no qual dois estados, a tempos normais e em tempos de significação, são trocados foi descrito acima, o número de estados é arbitrário. Por exemplo, três ou mais estados tais como tempos normais, tempos de significação leve, tempos de significação, e tempos de grande significação podem ser trocados. Porém, um número máximo de estados a ser trocado depende do número de camadas dos dados codificados graduavelmente.

[00458] Além disso, o dispositivo de formação de imagem 1201 pode determinar o número de camadas de codificação graduável de acordo com o estado. Por exemplo, a tempos normais, o dispositivo de formação de imagem 1201 pode gerar os dados codificados graduavelmente da camada base (BL) 1222 tendo uma quantidade pequena de dados com baixa qualidade e prover os dados gerados ao dispositivo de armazenamento de dados codificados graduavelmente 1202. Além disso, por exemplo, em tempos de significação, o dispositivo de formação de imagem 1201 pode gerar os dados codificados graduavelmente (BL+EL) 1221 da camada base tendo uma quantidade grande de dados com qualidade alta e prover os dados gerados ao dispositivo de armazenamento de dados codificados graduavelmente 1202.

[00459] Enquanto a câmera de vigilância foi exemplificada acima, uma aplicação do sistema de formação de imagem 1200 é arbitrária, e não está limitada à câmera de vigilância.

[00460] Portanto, semelhantemente a uma aplicação à codificação em camadas e decodificação em camadas descritas acima com referência às Figuras 1 a 42, quando a tecnologia presente é aplicada ao sistema de formação de imagem 1200 na Figura 53, é possível obter os mesmos efeitos que foram descritos acima com referência às Figuras 1 a 42.

[00461] Também, a tecnologia presente pode ser aplicada, por exemplo, à transferência contínua de HTTP tal como MPEG DASH pela qual dados apropriados são selecionados dentre uma pluralidade de pedaços preparados previamente de dados codificados tendo resoluções diferentes em unidades de segmentos e são usados. Quer dizer, informação sobre codificação ou decodificação pode ser compartilhada entre a pluralidade de pedaços de dados codificados.

<8. Oitava modalidade> <Outros exemplos>

[00462] Embora os exemplos de dispositivos, sistemas, e similar aos quais a tecnologia presente é aplicada tenham sido descritos acima, a tecnologia presente não está limitada a isso, e pode ser implementada como qualquer configuração montada nos dispositivos ou dispositivos constituindo os sistemas, por exemplo, processadores na forma de integração em larga escala de sistema (LSI), módulos que usam uma pluralidade de processadores, unidades que usam uma pluralidade de módulos, conjuntos obtidos adicionalmente adicionando outras funções às unidades (isto é, uma configuração parcial dos dispositivos), e similar.

[00463] Um exemplo no qual a tecnologia presente é implementada como um aparelho será descrito com referência à Figura 54. Figura 54 ilustra um exemplo de uma configuração esquemática de um aparelho de vídeo ao qual a presente descrição é aplicada.

[00464] Como aparelhos eletrônicos se tornaram gradualmente multifuncionais nos últimos anos, quando algumas configurações de cada aparelho estão preparadas para venda, provisão, e similar na fase de desenvolvimento e fabricação, não só há casos nos quais um tal aparelho está configurado para ter uma função, mas também muitos casos nos quais uma pluralidade de configurações tendo funções pertinentes são combinadas e implementadas como um aparelho com a pluralidade de funções.

[00465] O aparelho de vídeo 1300 ilustrado na Figura 54 está configurado para ser multifuncional como descrito acima combinando dispositivos tendo funções de codificação e decodificação (que pode ter qualquer uma ou ambos das funções) de imagens com dispositivos tendo outras funções relativas às funções precedentes.

[00466] Como ilustrado na Figura 54, o aparelho de vídeo 1300 tem um grupo de módulos incluindo um módulo de vídeo 1311, uma memória externa 1312, um módulo de administração de energia 1313, um módulo de extremidade dianteira 1314 e similar, e dispositivos tendo funções pertinentes tais como conectividade 1321, uma câmera 1322, um sensor 1323, e similar.

[00467] Um módulo é uma forma de um componente na qual várias funções de componente relacionadas são juntadas para prover uma função coesa. Uma configuração física específica é arbitrária; porém, é considerado que é uma integração na qual, por exemplo, uma pluralidade de processadores cada um tendo funções, elementos de circuito eletrônicos tais como um resistor e um capacitor, e outros dispositivos estão dispostos sobre uma placa de circuito. Além disso, fazer um módulo novo combinando um módulo com outro módulo, um processador, ou similar também é considerado.

[00468] No exemplo da Figura 54, o módulo de vídeo 1311 é uma combinação de configurações com funções relativas a processamento de imagem, e tem um processador de aplicativo, um processador de vídeo, um modem de banda larga 1333 e um módulo de RF 1334.

[00469] Um processador é um chip de semicondutor integrado com uma configuração tendo funções predeterminadas usando Sistema sobre Chip (SoC), e também é chamado, por exemplo, integração em larga escala de sistema (LSI), ou similar. A configuração tendo uma função predeterminada pode ser um circuito lógico (configuração de hardware), pode ser, junto com a CPU, uma ROM, e uma RAM, um programa que é executado usando os elementos (configuração de software), ou pode ser uma combinação de ambas as configurações. Por exemplo, um processador pode ter um circuito lógico, uma CPU, uma ROM, uma RAM, e similar e pode realizar algumas funções com o circuito lógico (configuração de hardware), ou pode realizar as outras funções com um programa executado pela CPU (configuração de software).

[00470] O processador de aplicativo 1331 da Figura 54 é um processador que executa um aplicativo relativo a processamento de imagem. O aplicativo executado pelo processador de aplicativo 1331 não só pode executar um processo aritmético, mas também pode controlar uma configuração interna e externa para o módulo de vídeo 1311, por exemplo, o processador de vídeo 1332 quando necessário a fim de realizar funções predeterminadas.

[00471] O processador de vídeo 1332 é um processador tendo uma função relativa à (uma ou ambas de) codificação e decodificação de imagem.

[00472] O modem de banda larga 1333 modula digitalmente dados (um sinal digital) transmitidos por comunicação de banda larga por fios ou sem fios (ou ambas) que é executada por uma linha de banda larga tal como a Internet ou uma rede de telefone público, converte o resultado em um sinal analógico, e demodula o sinal analógico recebido pela comunicação de banda larga e converte o resultado em dados (sinal digital). O modem de banda larga 1333 processa qualquer informação, por exemplo, dados de imagem processados pelo processador de vídeo 1332, uma transferência contínua no qual dados de imagem estão codificados, um programa aplicativo, ou dados de colocação.

[00473] O módulo de RF 1334 é um módulo que executa conversão de freqüência, modulação e demodulação, amplificação, um processo de filtragem, e similar em um sinal de radiofrequência (RF) transmitido e recebido por uma antena. Por exemplo, o módulo de RF 1334 gera um sinal de RF executando conversão de freqüência e similar em um sinal de banda base gerado pelo modem de banda larga 1333. Além disso, o módulo de RF 1334, por exemplo, gera um sinal de banda base executando conversão de frequência e similar em um sinal de RF recebido pelo módulo de extremidade dianteira 1314.

[00474] Note que, como indicado pela linha tracejada 1341 na Figura 54, o processador de aplicativo 1331 e o processador de vídeo 1332 podem ser integrados para constituir um processador.

[00475] A memória externa 1312 é um módulo que é provido fora do módulo de vídeo 1311, tendo um dispositivo de armazenamento usado pelo módulo de vídeo 1311. O dispositivo de armazenamento da memória externa 1312 pode ser realizado com qualquer configuração física, mas é usado geralmente quando grandes quantidades de dados tais como dados de imagem em unidades de figuras são armazenadas, e assim é desejável realizar o dispositivo de armazenamento com uma memória de semicondutor relativamente barata e de alta capacidade, por exemplo, uma memória de acesso aleatório dinâmica (DRAM).

[00476] O módulo de administração de energia 1313 administra e controla a provisão de energia ao módulo de vídeo 1311 (cada elemento constituinte dentro do módulo de exibição 1311).

[00477] O módulo de extremidade dianteira 1314 é um módulo que provê o módulo de RF 1334 com uma função de extremidade dianteira (servindo como um circuito de uma extremidade transmissora e receptora em um lado de antena). O módulo de extremidade dianteira 1314 tem, por exemplo, uma unidade de antena 1351, um filtro 1352 e uma unidade amplificadora 1353 como ilustrado na Figura 54.

[00478] A unidade de antena 1351 está configurada com uma antena que transmite e recebe sinais sem fios e periféricos disso. A unidade de antena 1351 transmite um sinal provido da unidade amplificadora 1353 como um sinal de rádio e provê um sinal de rádio recebido para o filtro 1352 como um sinal elétrico (sinal de RF). O filtro 1352 executa um processo de filtragem ou similar no sinal de RF recebido pela unidade de antena 1351 e provê o sinal de RF processado ao módulo de RF 1334. A unidade amplificadora 1353 amplifica um sinal de RF provido do módulo de RF 1334, e provê o sinal para a unidade de antena 1351.

[00479] A conectividade 1321 é um módulo tendo uma função relativa à conexão ao exterior. Uma configuração física da conectividade 1321 é arbitrária. A conectividade 1321 tem, por exemplo, uma configuração com uma função de comunicação diferente de um padrão de comunicação ao qual o modem de banda larga 1333 corresponde, um terminal de entrada e saída externo, ou similar.

[00480] Por exemplo, a conectividade 1321 pode ter uma função de comunicação que está baseada em um padrão de comunicação sem fios tal como Bluetooth (uma marca registrada), IEEE 802.11 (por exemplo, Fidelidade Sem fios (Wi-Fi; uma marca registrada), comunicação de campo próximo (NFC), ou Associação de Dados de Infravermelho (IrDA), uma antena que transmite e recebe sinais com base no padrão, ou similar. Além disso, a conectividade 1321 pode ter, por exemplo, um módulo tendo uma função de comunicação baseada em um padrão de comunicação por fios tal como Barramento Serial Universal (USB), ou Interface de Multimídia de Alta Definição (HDMI; uma marca registrada), ou um terminal com base no padrão. Além disso, a conectividade 1321 pode ter, por exemplo, outra função de transmissão de dados (sinal) de um terminal de entrada e saída analógico ou similar.

[00481] Note que a conectividade 1321 pode ser estabelecida para incluir um dispositivo servindo como um destino de transmissão de dados (sinal). Por exemplo, a conectividade 1321 pode ser estabelecida para ter uma unidade de disco (incluindo uma unidade não só de um meio removível, mas também de um disco rígido, uma unidade de estado sólido (SSD), um armazenamento ligado à rede (NAS), ou similar) que lê e escreve dados com respeito a um meio de gravação tal como um disco magnético, um disco óptico, um disco magneto-óptico, ou uma memória de semicondutor. Além disso, a conectividade 1321 pode ser estabelecida para ter um dispositivo de saída imagem ou áudio (um monitor, um alto-falante, ou similar).

[00482] A câmera 1322 é um módulo tendo uma função de capturar um assunto e obter dados de imagem do assunto. Dados de imagem obtidos de captura pela câmera 1322 são, por exemplo, providos e codificados pelo processador de vídeo 1332.

[00483] O sensor 1323 é um módulo tendo funções de sensoriamento arbitrárias de, por exemplo, um sensor de som, um sensor de ultra-som, um sensor de luz, um sensor de iluminância, um sensor de infravermelho, um sensor de imagem, um sensor de rotação, um sensor de ângulo, um sensor de velocidade angular, um sensor de velocidade, um sensor de aceleração, um sensor de inclinação, um sensor de identificação magnética, um sensor de choque, um sensor de temperatura, e similar. Dados detectados pelo sensor 1323 são, por exemplo, providos ao processador de aplicativo 1331 e usados por um aplicativo ou similar.

[00484] As configurações descritas como módulos acima podem ser realizadas como processadores, ou reciprocamente as configurações descritas como processadores podem ser realizadas como módulos.

[00485] No aparelho de vídeo 1300 com a configuração descrita acima, a tecnologia presente pode ser aplicada ao processador de vídeo 1332 como será descrito abaixo. Assim, o aparelho de vídeo 1300 pode ser implementado como um aparelho ao qual a tecnologia presente é aplicada.

[00486] Figura 55 ilustra um exemplo de uma configuração esquemática do processador de vídeo 1332 (da Figura 54) ao qual a tecnologia presente é aplicada.

[00487] No exemplo da Figura 55, o processador de vídeo 1332 tem uma função de receber um sinal vídeo e sinal de áudio entrados e codificar a entrada usando um esquema predeterminado, e uma função de decodificar os dados de vídeo codificados e dados de áudio e reproduzir e produzir o sinal de vídeo e sinal de áudio.

[00488] Como ilustrado na Figura 55, o processador de vídeo 1332 tem uma unidade de processamento de entrada de vídeo 1401, uma primeira unidade ampliadora e redutora de imagem 1402, uma segunda unidade ampliadora e redutora de imagem 1403, uma unidade de processamento de saída de vídeo 1404, uma memória de figura 1405, e uma unidade de controle de memória 1406. Além disso, o processador de vídeo 1332 tem uma máquina de codificação/decodificação 1407, buffers de fluxo elementar de vídeo (ES) 1408A e 1408B, e buffers de ES de áudio 1409A e 1409B. Além disso, o processador de vídeo 1332 tem um codificador de áudio 1410, um decodificador de áudio 1411, um multiplexador (MUX) 1412, um desmultiplexador (DMUX) 1413 e uma buffer de fluxo 1414.

[00489] A unidade de processamento de entrada de vídeo 1401 adquire um sinal de vídeo entrado, por exemplo, da conectividade 1321 (Figura 54), e converte o sinal em dados de imagem digitais. A primeira unidade ampliadora e redutora de imagem 1402 executa conversão de formato, um processo de ampliação ou redução de imagem ou similar em dados de imagem. A segunda unidade ampliadora e redutora de imagem 1403 executa um processo de ampliação ou redução de imagem nos dados de imagem de acordo com o formato de um destino para o qual os dados são produzidos pela unidade de processamento de saída de vídeo 1404, ou executa conversão de formato, um processo de ampliação ou redução de imagem ou similar da mesma maneira como a primeira unidade ampliadora e redutora de imagem 1402. A unidade de processamento de saída de vídeo 1404 executa conversão de formato, conversão em um sinal analógico, ou similar em dados de imagem, e produz os dados para, por exemplo, a conectividade 1321 como um sinal de vídeo reproduzido.

[00490] A memória de figura 1405 é uma memória para dados de imagem compartilhados pela unidade de processamento de entrada de vídeo 1401, a primeira unidade ampliadora e redutora de imagem 1402, a segunda unidade ampliadora e redutora de imagem 1403, a unidade de processamento de saída de vídeo 1404, e a máquina de codificação/decodificação 1407. A memória de figura 1405 é realizada como uma memória de semicondutor, por exemplo, uma DRAM, ou similar.

[00491] A unidade de controle de memória 1406 recebe um sinal de sincronização da máquina de codificação/decodificação 1407 e controla acesso à memória de figura 1405 para escrever e ler de acordo com um programa de acesso à memória de figura 1405 que está escrito em uma tabela de administração de acesso 1406A. A tabela de administração de acesso 1406A é atualizada pela memória unidade de controle 1406 de acordo com processos executados na máquina de codificação/decodificação 1407, na primeira unidade ampliadora e redutora de imagem 1402, na segunda unidade ampliadora e redutora de imagem 1403, e similar.

[00492] A máquina de codificação/decodificação 1407 executa um processo de codificação de dados de imagem e um processo de decodificação de uma transferência contínua de vídeo que são dados obtidos codificando dados de imagem. Por exemplo, a máquina de codificação/decodificação 1407 codifica dados de imagem lidos da memória de figura 1405, e escreve sequencialmente os dados na buffer de ES de vídeo 1408A como fluxos de vídeo. Além disso, por exemplo a máquina de codificação/decodificação 1407 lê sequencialmente fluxos de vídeo da buffer de ES de vídeo 1408B, e escreve sequencialmente os dados na memória de figura 1405 como dados de imagem. A máquina de codificação/decodificação 1407 usa a memória de figura 1405 como uma área de trabalho para tal codificação e decodificação. Além disso, a máquina de codificação/decodificação 1407 produz um sinal de sincronização para a unidade de controle de memória 1406 a uma temporização à qual, por exemplo, um processo em cada micro-bloco é começado.

[00493] A buffer de ES de vídeo 1408A armazena temporariamente uma transferência contínua vídeo gerado pela máquina de codificação/decodificação 1407 e provê o fluxo para o multiplexador (MUX) 1412. A buffer de ES de vídeo 1408B armazena temporariamente uma transferência contínua vídeo provido do desmultiplexador (DMUX) 1413 e provê o fluxo para a máquina de codificação/decodificação 1407.

[00494] A buffer de ES de áudio 1409A armazena temporariamente uma transferência contínua de áudio gerado por um codificador de áudio 1410 e provê o fluxo para o multiplexador (MUX) 1412. A buffer de ES de áudio 1409B armazena temporariamente uma transferência contínua de áudio provido do desmultiplexador (DMUX) 1413 e provê o fluxo para um decodificador de áudio 1411.

[00495] O codificador de áudio 1410, por exemplo, converte digitalmente um sinal de áudio de entrada, por exemplo, da conectividade 1321 ou similar, e codifica o sinal em um esquema predeterminado, por exemplo, um esquema de áudio de MPEG, um esquema de AudioCode número 3 (AC3), ou similar. O codificador de áudio 1410 escreve sequencialmente fluxos de áudio que são dados obtidos codificando sinais de áudio na buffer de ES de áudio 1409A. O decodificador de áudio 1411 decodifica uma transferência contínua de áudio provido da buffer de ES de áudio 1409B, executa conversão em um sinal analógico, por exemplo, e provê o sinal para, por exemplo, a conectividade 1321 ou similar como um sinal de áudio reproduzido.

[00496] O multiplexador (MUX) 1412 multiplexa uma transferência contínua de vídeo e uma transferência contínua de áudio. Um método para esta multiplexação (isto é, um formato de uma transferência contínua de bits gerado de multiplexação) é arbitrário. Além disso, durante multiplexação, o multiplexador (MUX) 1412 também pode adicionar informação de cabeçalho predeterminada ou similar a uma transferência contínua de bits. Quer dizer, o multiplexador (MUX) 1412 pode converter o formato de uma transferência contínua por multiplexação. Multiplexando uma transferência contínua vídeo e uma transferência contínua de áudio, por exemplo, o multiplexador (MUX) 1412 converte os fluxos em uma transferência contínua de transporte que é uma transferência contínua de bits de um formato para transporte. Além disso, multiplexando uma transferência contínua de vídeo e uma transferência contínua de áudio, por exemplo, o multiplexador (MUX) 1412 converte os fluxos em dados de um formato de arquivo para gravação (dados de arquivo).

[00497] O desmultiplexador (DMUX) 1413 desmultiplexa uma transferência contínua de bits obtido multiplexando uma transferência contínua de vídeo e uma transferência contínua de áudio usando um método que corresponde à multiplexação executada pelo multiplexador (MUX) 1412. Quer dizer, o desmultiplexador (DMUX) 1413 extrai uma transferência contínua de vídeo e uma transferência contínua de áudio de uma transferência contínua de bits lido da buffer de fluxo 1414 (separa o fluxo de bits no fluxo de vídeo e no fluxo de áudio). O desmultiplexador (DMUX) 1413 pode converter o formato de uma transferência contínua por desmultiplexação (conversão inversa à conversão pelo multiplexador (MUX) 1412). Por exemplo, o desmultiplexador (DMUX) 1413 pode adquirir uma transferência contínua de transporte provido, por exemplo, da conectividade 1321, do modem de banda larga 1333, ou similar pela buffer de fluxo 1414, e converter o fluxo em uma transferência contínua de vídeo e uma transferência contínua de áudio por desmultiplexação. Além disso, por exemplo o desmultiplexador (DMUX) 1413 pode adquirir dados de arquivo lidos de várias mídias de gravação, por exemplo, pela conectividade 1321 pela buffer de fluxo 1414, e converter os dados em uma transferência contínua de vídeo e uma transferência contínua de áudio para desmultiplexação.

[00498] A buffer de fluxo 1414 armazena temporariamente fluxos de bits. Por exemplo, o buffer de fluxo 1414 armazena temporariamente uma transferência contínua de transporte provido do multiplexador (MUX) 1412, e provê o fluxo para, por exemplo, a conectividade 1321, o modem de banda larga 1333, ou similar a uma temporização predeterminada ou com base em um pedido do exterior ou similar.

[00499] Além disso, por exemplo a buffer de fluxo 1414 armazena temporariamente dados de arquivo providos do multiplexador (MUX) 1412, e provê os dados para, por exemplo, a conectividade 1321 ou similar a uma temporização predeterminada ou com base em um pedido do exterior ou similar para fazer os dados a serem gravados em quaisquer de vários tipos de mídias de gravação.

[00500] Além disso, a buffer de fluxo 1414 armazena temporariamente uma transferência contínua de transporte adquirido, por exemplo, a conectividade 1321, o modem de banda larga 1333, ou similar, e provê o fluxo para o desmultiplexador (DMUX) 1413 a uma temporização predeterminada ou com base em um pedido de fora ou similar.

[00501] Além disso, a buffer de fluxo 1414 armazena temporariamente dados de arquivo lidos de quaisquer de vários tipos de mídias de gravação, por exemplo, pela conectividade 1321 ou similar, e provê os dados para o desmultiplexador (DMUX) 1413 a uma temporização predeterminada ou com base em um pedido de fora ou similar.

[00502] A seguir, um exemplo de uma operação do processador de vídeo 1332 tendo esta configuração será descrito. Por exemplo, um sinal de vídeo entrado ao processador de vídeo 1332 da conectividade 1321 ou similar é convertido em dados de imagem digitais em um formato predeterminado tal como um formato de YCbCr de 4:2:2 na unidade de processamento de entrada de vídeo 1401, e escrito sequencialmente na memória de figura 1405. Estes dados de imagem digitais são lidos pela primeira unidade ampliadora e redutora de imagem 1402 ou pela segunda unidade ampliadora e redutora de imagem 1403, sofrem conversão de formato e um processo de ampliação ou redução em um formato predeterminado tal como um formato de YCbCr de 4:2:0, e então são escritos na memória de figura 1405 novamente. Este dados de imagem são codificados pela máquina de codificação/decodificação 1407, e escritos na buffer de ES de vídeo 1408A como uma transferência contínua de vídeo.

[00503] Além disso, um sinal de áudio entrado ao processador de vídeo 1332 da conectividade 1321 é codificado pelo codificador de áudio 1410, e então escrito na buffer de ES de áudio 1409A como uma transferência contínua de áudio.

[00504] O fluxo de vídeo da buffer de ES de vídeo 1408A e o fluxo de áudio da buffer de ES de áudio 1409A são lidos e multiplexados pelo multiplexador (MUX) 1412 para serem convertidos em uma transferência contínua de transporte, dados de arquivo, ou similar. O fluxo de transporte gerado pelo multiplexador (MUX) 1412 é armazenado temporariamente na buffer de fluxo 1414, e então produzido a uma rede externa, por exemplo, a conectividade 1321, ao modem de banda larga 1333, ou similar. Além disso, os dados de arquivo gerados pelo multiplexador (MUX) 1412 são armazenados temporariamente na buffer de fluxo 1414, e produzidos, por exemplo, para a conectividade 1321 (da Figura 29) a serem gravados em quaisquer de vários tipos de mídias de gravação.

[00505] Além disso, uma transferência contínua de transporte entrada ao processador de vídeo 1332 de uma rede externa, por exemplo, a conectividade 1321, o modem de banda larga 1333, ou similar é armazenado temporariamente na buffer de fluxo 1414, e então desmultiplexado pelo desmultiplexador (DMUX) 1413. Além disso, por exemplo, dados de arquivo lidos de quaisquer de vários tipos de mídias de gravação pela conectividade 1321 e introduzidos ao processador de vídeo 1332 são armazenados na buffer de fluxo 1414, e então desmultiplexados pelo desmultiplexador (DMUX) 1413. Quer dizer, o fluxo de transporte ou os dados de arquivo entrados ao processador de vídeo 1332 são separados em uma transferência contínua de vídeo e uma transferência contínua de áudio pelo desmultiplexador (DMUX) 1413.

[00506] O fluxo de áudio é provido ao decodificador de áudio 1411 pela buffer de ES de áudio 1409B para ser decodificado, e um sinal de áudio é reproduzido. Além disso, o fluxo de vídeo é escrito na buffer de ES de vídeo 1408B, então lido consecutivamente pela máquina de codificação/decodificação 1407 para ser decodificado, e escrito na memória de figura 1405. Os dados de imagem decodificados sofrem um processo de ampliação e redução pela segunda unidade ampliadora e redutora de imagem 1403, e são escritos na memória de figura 1405. Então, os dados de imagem decodificados são lidos pela unidade de processamento de saída de vídeo 1404, sofrem conversão de formato em um formato predeterminado tal como o formato de YCbCr de 4:2:2, e são adicionalmente convertidos em um sinal analógico, e um sinal de vídeo é reproduzido para ser produzido.

[00507] Quando a tecnologia presente é aplicada ao processador de vídeo 1332 configurado desta maneira, a tecnologia presente de acordo com cada modalidade descrita acima pode ser aplicada à máquina de codificação/decodificação 1407. Quer dizer, por exemplo, a máquina de codificação/decodificação 1407 pode ter funções do dispositivo de codificação de imagem 100 e do dispositivo para decodificação de imagem 200 de acordo com a modalidade descrita acima. Desta maneira, o processador de vídeo 1332 pode obter os mesmos efeitos que foram descritos acima com referência às Figuras 1 a 42.

[00508] Também, na máquina de codificação/decodificação 1407, a tecnologia presente (quer dizer, funções do dispositivo de codificação de imagem e do dispositivo para decodificação de imagem de acordo com cada modalidade descrita acima) pode ser implementada por qualquer um ou ambos de hardware como um circuito lógico e software tal como um programa embutido.

Outro exemplo de uma configuração de um processador de vídeo

[00509] Figura 56 ilustra outro exemplo de uma configuração esquemática do processador de vídeo 1332 ao qual a tecnologia presente é aplicada. No caso do exemplo da Figura 56, o processador de vídeo 1332 tem funções de codificar e decodificar dados de vídeo em um esquema predeterminado.

[00510] Mais especificamente, como ilustrado na Figura 56, o processador de vídeo 1332 inclui uma unidade de controle 1511, uma interface de exibição 1512, uma máquina de exibição 1513, uma máquina de processamento de imagem 1514 e uma memória interna 1515. O processador de vídeo 1332 inclui uma máquina de codec 1516, uma interface de memória 1517, uma unidade de multiplexação e desmultiplexação (MUX DMUX) 1518, uma interface de rede 1519 e uma interface de vídeo 1520.

[00511] A unidade de controle 1511 controla uma operação de cada unidade de processamento no processador de vídeo 1332, tais como a interface de exibição 1512, a máquina de exibição 1513, a máquina de processamento de imagem 1514 e a máquina de codec 1516.

[00512] Como ilustrado na Figura 56, por exemplo, a unidade de controle 1511 inclui uma CPU principal 1531, uma sub-CPU 1532 e um controlador de sistema 1533. A CPU principal 1531 executa um programa ou similar para controlar uma operação de cada unidade de processamento no processador de vídeo 1332. A CPU principal 1531 gera um sinal de controle de acordo com o programa ou similar e provê o sinal de controle para cada unidade de processamento (quer dizer, controla a operação de cada unidade de processamento). A sub-CPU 1532 serve como um papel auxiliar da CPU principal 1531. Por exemplo, a sub-CPU 1532 executa um processo subalterno ou uma sub-rotina de um programa ou similar executado pela CPU principal 1531. O controlador de sistema 1533 controla as operações da CPU principal 1531 e da sub-CPU 1532, por exemplo, designa programas executados pela CPU principal 1531 e pela sub-CPU 1532.

[00513] A interface de exibição 1512 produz os dados de imagem para, por exemplo, a conectividade 1321 sob o controle da unidade de controle 1511. Por exemplo, a interface de exibição 1512 converte os dados de imagem de dados digitais em um sinal analógico e produz os dados de imagem como o sinal de vídeo reproduzido ou os dados de imagem dos dados digitais para um dispositivo de monitor ou similar da conectividade 1321.

[00514] A máquina de exibição 1513 executa vários processos de conversão tais como conversão de formato, conversão de tamanho e conversão de escala de cor nos dados de imagem para casar com uma especificação de hardware do dispositivo de monitor ou similar para exibir a imagem sob o controle da unidade de controle 1511.

[00515] A máquina de processamento de imagem 1514 executa processamento de imagem predeterminado tal como processamento de filtro nos dados de imagem, por exemplo, para melhorar a qualidade de imagem sob o controle da unidade de controle 1511.

[00516] A memória interna 1515 é uma memória compartilhada pela máquina de exibição 1513, pela máquina de processamento de imagem 1514, e pela máquina de codec 1516 e provida dentro do processador de vídeo 1332. Por exemplo, a memória interna 1515 é usada para transmitir e receber dados entre a máquina de exibição 1513, a máquina de processamento de imagem 1514 e a máquina de codec 1516. Por exemplo, a memória interna 1515 armazena dados providos da máquina de exibição 1513, da máquina de processamento de imagem 1514, ou da máquina de codec 1516 e provê os dados para a máquina de exibição 1513, a máquina de processamento de imagem 1514, ou a máquina de codec 1516, como necessário (por exemplo, de acordo com um pedido). A memória interna 1515 pode ser realizada por qualquer dispositivo de armazenamento, mas a memória interna 1515 geralmente é usada para armazenar dados com uma capacidade pequena tais como parâmetros ou dados de imagem em unidades de blocos em muitos casos. Portanto, a memória interna 1515 é realizada preferivelmente, por exemplo, por uma memória de semicondutor com uma capacidade relativamente pequena (comparada, por exemplo, à memória externa 1312) e uma velocidade de resposta rápida, tal como uma memória de acesso aleatório estática (SRAM).

[00517] A máquina de codec 1516 executa um processo relacionado à codificação ou decodificação dos dados de imagem. Qualquer esquema de codificação e decodificação ao qual a máquina de codec 1516 corresponde pode ser usado, e o número de esquemas pode ser singular ou plural. Por exemplo, a máquina de codec 1516 pode incluir funções de codec de uma pluralidade de esquemas de codificação e decodificação, e pode codificar os dados de imagem usando a função de codec selecionada disto e decodificar os dados codificados.

[00518] No exemplo ilustrado na Figura 56, como blocos funcionais de processos relacionados ao codec, a máquina de codec 1516 inclui, por exemplo, um MPEG-2 vídeo 1541, um AVC/H.264 1542, um HEVC/H.265 1543, um HEVC/H.265 (graduável) 1544 e um HEVC/H.265 (multi-visão) 1545 e inclui um MPEG-DASH 1551.

[00519] O MPEG-2 vídeo 1541 é um bloco funcional que codifica ou decodifica os dados de imagem em um esquema de MPEG-2. O AVC/H.264 1542 é um bloco funcional que codifica ou decodifica os dados de imagem em um esquema de AVC. O HEVC/H.265 1543 é um bloco funcional que codifica ou decodifica os dados de imagem em um esquema de HEVC. O HEVC/H.265 (graduável) 1544 é um bloco funcional que executa codificação graduável ou decodificação graduável nos dados de imagem em um esquema de HEVC. O HEVC/H.265 (multi-visão) 1545 é um bloco funcional que executa codificação de multi-visão ou decodificação de multi-visão nos dados de imagem em um esquema de HEVC.

[00520] O MPEG-DASH 1551 é um bloco de função que transmite e recebe dados de imagem usando um Transferência contínua Adaptável de MPEG dinâmico através de esquema de HTTP (MPEG-DASH). O MPEG- DASH é uma técnica para transmitir em fluxo um vídeo usando um Protocolo de Transferência de Hipertexto (HTTP), e tem uma característica na qual dados apropriados são selecionados dentre uma pluralidade de pedaços preparados previamente de dados codificados tendo resoluções diferentes em unidades de segmentos, e são transmitidos. O MPEG-DASH 1551 gera uma transferência contínua complacente com um padrão, controla a transmissão da transferência contínua ou similar, e usa o MPEG-2 Vídeo 1541 para o HEVC/H.265 (Multi-visão) 1545 descrito acima para codificar e decodificar os dados de imagem.

[00521] A interface de memória 1517 é uma interface para a memória externa 1312. Os dados providos da máquina de processamento de imagem 1514 ou da máquina de codec 1516 são providos à memória externa 1312 pela interface de memória 1517. Os dados lidos da memória externa 1312 são providos ao processador de vídeo 1332 (a máquina de processamento de imagem 1514 ou o máquina de codec 1516) pela interface de memória 1517.

[00522] A unidade de multiplexação e desmultiplexação (MUX DMUX) 1518 multiplexa ou desmultiplexa vários tipos de dados relacionados a imagens tais como dados de imagem, sinais de vídeo, e fluxos de bits de dados codificados. Quaisquer métodos de multiplexação e desmultiplexação podem ser usados. Por exemplo, na hora de multiplexação, a unidade de multiplexação e desmultiplexação (MUX DMUX) 1518 pode colecionar uma pluralidade de pedaços de dados em um pedaço de dados e também adicionar informação de cabeçalho predeterminada ou similar aos dados. Na hora de desmultiplexação, a unidade de multiplexação e desmultiplexação (MUX DMUX) 1518 divide um pedaço de dados em uma pluralidade de pedaços de dados e também pode adicionar informação de cabeçalho predeterminada ou similar a cada um dos pedaços de dados divididos. Quer dizer, a unidade de multiplexação e desmultiplexação (MUX DMUX) 1518 pode converter o formato dos dados pela multiplexação e desmultiplexação. Por exemplo, a unidade de multiplexação e desmultiplexação (MUX DMUX) 1518 pode converter dados em uma transferência contínua de transporte que é uma transferência contínua de bits com um formato de transmissão ou dados (dados de arquivo) com um formato de arquivo para gravação multiplexando o fluxo de bits. Certamente, a conversão inversa também pode ser executada pela desmultiplexação.

[00523] A interface de rede 1519 é, por exemplo, uma interface para o modem de banda larga 1333, a conectividade 1321, ou similar. A interface de vídeo 1520 é, por exemplo, uma interface para a conectividade 1321, a câmera 1322, ou similar.

[00524] A seguir, um exemplo de uma operação do processador de vídeo 1332 será descrito. Por exemplo, quando o fluxo de transporte é recebido de uma rede externa pela conectividade 1321, pelo modem de banda larga 1333, ou similar, o fluxo de transporte é provido à unidade de multiplexação e desmultiplexação (MUX DMUX) 1518 pela interface de rede 1519 para ser desmultiplexado, e então é decodificado pela máquina de codec 1516. Por exemplo, os dados de imagem obtidos pela decodificação da máquina de codec 1516 são sujeitos a processamento de imagem predeterminado pela máquina de processamento de imagem 1514, são sujeitos à conversão predeterminada pela máquina de exibição 1513, e são providos, por exemplo, à conectividade 1321 pela interface de exibição 1512, e então a imagem é exibida em um monitor. Por exemplo, os dados de imagem obtidos pela máquina de decodificação do codec 1516 são re-codificados pela máquina de codec 1516, são multiplexados pela unidade de multiplexação e desmultiplexação (MUX DMUX) 1518 para serem convertidos em dados de arquivo, são produzidos, por exemplo, à conectividade 1321 pela interface de vídeo 1520, e são gravados em várias mídias de gravação.

[00525] Adicionalmente, por exemplo, os dados de arquivo de dados codificados lidos de um meio de gravação (não ilustrado) pela conectividade 1321 ou similar e obtidos codificando os dados de imagem são providos à unidade de multiplexação e desmultiplexação (MUX DMUX) 1518 pela interface de vídeo 1520 para serem desmultiplexados, e então são decodificados pela máquina de codec 1516. Os dados de imagem obtidos pela decodificação da máquina de codec 1516 são sujeitos a processamento de imagem predeterminado pela máquina de processamento de imagem 1514, são sujeitos à conversão predeterminada pela máquina de exibição 1513, e são providos, por exemplo, à conectividade 1321 pela interface de exibição 1512, e então a imagem é exibida em um monitor. Por exemplo, os dados de imagem obtidos pela máquina de decodificação do codec 1516 são re- codificados pelo máquina de codec 1516, são multiplexados pela unidade de multiplexação e desmultiplexação (MUX DMUX) 1518 para serem convertidos em uma transferência contínua de transporte, são providos, por exemplo, à conectividade 1321 ou ao modem de banda larga 1333 pela interface de rede 1519, e são transmitidos para outro dispositivo (não ilustrado).

[00526] Transmissão e recepção dos dados de imagem ou outros dados entre as unidades de processamento no processador de vídeo 1332 são executadas usando, por exemplo, a memória interna 1515 ou a memória externa 1312. O módulo de administração de energia 1313 controla a provisão de energia para, por exemplo, a unidade de controle 1511.

[00527] Quando a tecnologia presente é aplicada ao processador de vídeo 1332 configurado desta maneira, a tecnologia presente de acordo com cada modalidade descrita acima pode ser aplicada à máquina de codec 1516. Quer dizer, por exemplo, a máquina de codec 1516 pode ter blocos de função que realizam o dispositivo de codificação de imagem 100 e o dispositivo para decodificação de imagem 200 de acordo com a modalidade descrita acima. Desta maneira, o processador de vídeo 1332 pode obter os mesmos efeitos que foram descritos acima com referência às Figuras 1 a 42.

[00528] Também, na máquina de codec 1516, a tecnologia presente (quer dizer, funções do dispositivo de codificação de imagem e do dispositivo para decodificação de imagem de acordo com cada modalidade descrita acima) pode ser implementada por qualquer um ou ambos de hardware tal como um circuito lógico e software tal como um programa embutido.

[00529] As duas configurações do processador de vídeo 1332 foram exemplificadas, mas a configuração do processador de vídeo 1332 é arbitrária e pode ser uma configuração diferente das duas configurações descritas acima. O processador de vídeo 1332 pode ser configurado como um único chip de semicondutor ou pode ser configurado como uma pluralidade de chips de semicondutor. Por exemplo, um LSI laminado tridimensional no qual uma pluralidade de semicondutores está laminada pode ser usado. O processador de vídeo 1332 pode ser realizado por uma pluralidade de LSIs.

[00530] O aparelho de vídeo 1300 pode ser embutido em vários dispositivos que processam dados de imagem. Por exemplo, o aparelho de vídeo 1300 pode ser embutido no dispositivo de televisão 900 (Figura 47), no telefone móvel 920 (Figura 48), no dispositivo de gravação e reprodução 940 (Figura 49), no dispositivo de formação de imagem 960 (Figura 50), ou similar. Embutindo o aparelho de vídeo 1300, o dispositivo pode obter as mesmas vantagens como as vantagens descritas com referência às Figuras 1 a 42.

[00531] Além disso, o aparelho de vídeo 1300 pode ser embutido, por exemplo, em um dispositivo terminal tal como o computador pessoal 1004, o instrumento de AV 1005, o dispositivo de tablet 1006, e o telefone móvel 1007 no sistema de transmissão de dados 1000 da Figura 51, a estação de difusão 1101 e o dispositivo terminal 1102 no sistema de transmissão de dados 1100 da Figura 52 e o dispositivo de formação de imagem 1201 e o dispositivo de armazenamento de dados codificados graduavelmente 1202 no sistema de formação de imagem 1200 da Figura 53. Quando o aparelho de vídeo 1300 está embutido, o dispositivo pode obter os mesmos efeitos que foram descritos acima com referência às Figuras 1 a 42.

[00532] Uma parte de cada configuração do aparelho de vídeo 1300 descrito acima também pode ser implementada como uma configuração à qual a tecnologia presente é aplicada, contanto que a parte da configuração inclua o processador de vídeo 1332. Por exemplo, só o processador de vídeo 1332 pode ser implementado como um processador de vídeo ao qual a tecnologia presente é aplicada. Por exemplo, o módulo de vídeo 1331 ou o processador indicado pela linha tracejada 1341, como descrito acima, pode ser implementado como um processador, um módulo, ou similar ao qual a tecnologia presente é aplicada. Adicionalmente, por exemplo, o módulo de vídeo 1311, o externo 1312, o módulo de administração de energia 1313, e o módulo de extremidade dianteira 1314 podem ser combinados para serem implementados como uma unidade de vídeo 1361 à qual a tecnologia presente é aplicada. É possível obter as mesmas vantagens como as vantagens descritas com referência às Figuras 1 a 42, indiferente da configuração.

[00533] Quer dizer, qualquer configuração pode ser embutida em vários dispositivos processando dados de imagem, como no caso do aparelho de vídeo 1300, contanto que a configuração inclua o processador de vídeo 1332. Por exemplo, o processador de vídeo 1332, o processador indicado pela linha tracejada 1341, o módulo de vídeo 1311, ou a unidade de vídeo 1361 pode ser embutido no dispositivo de televisão 900 (Figura 47), no telefone móvel 920 (Figura 48), no dispositivo de gravação e reprodução 940 (Figura 49), no dispositivo de formação de imagem 960 (Figura 50), dispositivos terminais tais como o computador pessoal 1004, o instrumento de AV 1005, o dispositivo de tablet 1006, e o telefone móvel 1007 no sistema de transmissão de dados 1000 da Figura 51, a estação de difusão 1101 e o dispositivo terminal 1102 no sistema de transmissão de dados 1100 da Figura 52, e o dispositivo de formação de imagem 1201 e o dispositivo de armazenamento de dados codificados graduavelmente 1202 no sistema de formação de imagem 1200 da Figura 53. Embutindo qualquer configuração à qual a tecnologia presente é aplicada, o dispositivo pode obter as mesmas vantagens como as vantagens descritas com referência às Figuras 1 a 42, como no aparelho de vídeo 1300.

[00534] Na especificação presente, os exemplos nos quais os vários pedaços de informação são multiplexados na transferência contínua de codificação e são transmitidos do lado de codificação ao lado de decodificação foram descritos. Porém, os métodos de transmitir a informação não estão limitados aos exemplos. Por exemplo, a informação pode ser transmitida ou gravada como pedaços separados de dados associados com o fluxo de bits de codificação sem serem multiplexados no fluxo de bits de codificação. Aqui, o termo "associado" significa que uma imagem (que pode ser uma parte de uma imagem, tal como uma fatia ou um bloco) incluída em uma transferência contínua de bits e informação correspondendo à imagem podem ser ligadas na hora de decodificação. Quer dizer, a informação pode ser transmitida ao longo de um caminho de transmissão diferente da imagem (ou o fluxo de bits). A informação pode ser gravada em um meio de gravação diferente (ou uma área de gravação diferente do mesmo meio de gravação) da imagem (ou o fluxo de bits). Adicionalmente, a informação e a imagem (ou o fluxo de bits) podem ser associadas mutuamente, por exemplo, em qualquer unidade tal como uma pluralidade de figuras, uma única figura, ou uma parte de uma figura.

[00535] Adicionalmente, a tecnologia presente também pode ser configurada como abaixo. (1) Um dispositivo de codificação de imagem incluindo: uma unidade de codificação configurada para codificar dados de imagem; uma unidade de colocação de informação de definição de carga de decodificação configurada para fixar informação de definição de carga de decodificação para definir uma magnitude de uma carga de um processo de decodificação de uma região parcial decodificável independentemente de uma imagem dos dados de imagem; e uma unidade de transmissão configurada para transmitir dados codificados dos dados de imagem gerados pela unidade de codificação e a informação de definição decodificação de carga estabelecida pela unidade de colocação de informação de definição de carga de decodificação. (2) O dispositivo de codificação de imagem de acordo com qualquer de (1), e (3) a (13), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com um nível indicando uma magnitude de uma carga do processo de decodificação. (3) O dispositivo de codificação de imagem de acordo com qualquer de (1), (2), e (4) a (13), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com informação indicando um tamanho da região parcial. (4) O dispositivo de codificação de imagem de acordo com qualquer de (1) a (3), e (5) a (13), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com informação indicando um comprimento em uma direção vertical e informação indicando um comprimento em uma direção horizontal da região parcial. (5) O dispositivo de codificação de imagem de acordo com qualquer de (1) a (4), e (6) a (13), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com informação indicando uma taxa de bit de entrada máxima e uma capacidade de buffer de um decodificador de referência virtual configurado para decodificar a região parcial. (6) O dispositivo de codificação de imagem de acordo com qualquer de (1) a (5), e (7) a (13), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com um nível indicando uma magnitude de uma carga do processo de decodificação comum em uma pluralidade das regiões parciais. (7) O dispositivo de codificação de imagem de acordo com qualquer de (1) a (6), e (8) a (13), em que a informação de definição de carga de decodificação inclui informação para definir um tamanho em uma direção vertical e um tamanho em uma direção horizontal da região parcial correspondendo a cada nível indicando uma magnitude de uma carga do processo de decodificação. (8) O dispositivo de codificação de imagem de acordo com qualquer de (1) a (7), e (9) a (13), em que a informação de definição de carga de decodificação inclui informação para definir um valor máximo de um nível indicando uma magnitude de uma carga do processo de decodificação na imagem. (9) O dispositivo de codificação de imagem de acordo com qualquer de (1) a (8), e (10) a (13), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com um nível indicando uma magnitude de uma carga do processo de decodificação, e em que a unidade de colocação de informação de definição de carga de decodificação define um parâmetro do nível para uma região predeterminada incluindo a região parcial e a nomeia à definição da unidade de imagem. (10) O dispositivo de codificação de imagem de acordo com qualquer de (1) a (9), e (11) a (13), em que a unidade de colocação de informação de definição de carga de decodificação fixa a informação de definição de carga de decodificação para cada uma das regiões parciais em informação de aprimoramento suplementar (SEI) da região parcial decodificável independentemente. (11) O dispositivo de codificação de imagem de acordo com qualquer de (1) a (10), (12), e (13), em que os dados de imagem incluem uma pluralidade de camadas, e em que a unidade de colocação de informação de definição de carga de decodificação fixa a informação de definição de carga de decodificação da pluralidade de camadas na SEI. (12) O dispositivo de codificação de imagem de acordo com qualquer de (1) a (11), e (13), em que a unidade de colocação de informação de definição de carga de decodificação adicionalmente fixa informação indicando se a informação de definição de carga de decodificação está estabelecida na SEI ou a mesma informação de definição de carga de decodificação como a informação de definição de carga de decodificação estabelecida na SEI em um conjunto de parâmetros de sequência (SPS). (13) O dispositivo de codificação de imagem de acordo com qualquer de (1) a (12), em que a informação de definição de carga de decodificação inclui informação indicando um tamanho da região parcial servindo como uma referência, e um nível indicando uma magnitude de uma carga de um processo de decodificação da região parcial. (14) Um método de codificação de imagem incluindo: codificar dados de imagem; fixar informação de definição de carga de decodificação para definir uma magnitude de uma carga de um processo de decodificação de uma região parcial decodificável independentemente de uma imagem dos dados de imagem; e transmitir dados codificados gerados dos dados de imagem e a informação de definição de carga de decodificação estabelecida. (15) Um dispositivo para decodificação de imagem incluindo: uma unidade de aquisição configurada para adquirir dados codificados de dados de imagem e decodificar informação de definição de carga para definir uma magnitude de uma carga de um processo de decodificação de uma região parcial de uma imagem dos dados de imagem, a região parcial sendo decodificável independentemente; uma unidade de análise configurada para analisar a informação de definição de carga de decodificação adquirida pela unidade de aquisição; uma unidade de controle configurada para controlar decodificação dos dados codificados adquiridos pela unidade de aquisição com base em um resultado de análise da informação de definição de carga de decodificação pela unidade de aquisição; e uma unidade de decodificação configurada para decodificar os dados codificados adquiridos pela unidade de aquisição sob controle da unidade de controle. (16) O dispositivo para decodificação de imagem de acordo com qualquer de (15), e (17) a (27), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com um nível indicando uma magnitude de uma carga do processo de decodificação. (17) O dispositivo para decodificação de imagem de acordo com qualquer de (15), (16), e (18) a (27), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com informação indicando um tamanho da região parcial. (18) O dispositivo para decodificação de imagem de acordo com qualquer de (15) a (17), e (19) a (27), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com informação indicando um comprimento em uma direção vertical e informação indicando um comprimento em uma direção horizontal da região parcial. (19) O dispositivo para decodificação de imagem de acordo com qualquer de (15) a (18), e (20) a (27), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com informação indicando uma taxa de bit de entrada máxima e uma capacidade de buffer de um decodificador de referência virtual configurado para decodificar a região parcial. (20) O dispositivo para decodificação de imagem de acordo com qualquer de (15) a (19), e (21) a (27), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com um nível indicando uma magnitude de uma carga do processo de decodificação comum em uma pluralidade das regiões parciais. (21) O dispositivo para decodificação de imagem de acordo com qualquer de (15) a (20), e (22) a (27), em que a informação de definição de carga de decodificação inclui informação para definir um tamanho em uma direção vertical e um tamanho em uma direção horizontal da região parcial correspondendo a cada nível indicando uma magnitude de uma carga do processo de decodificação. (22) O dispositivo para decodificação de imagem de acordo com qualquer de (15) a (21), e (23) a (27), em que a informação de definição de carga de decodificação inclui informação para definir um valor máximo de um nível indicando uma magnitude de uma carga do processo de decodificação na imagem. (23) O dispositivo para decodificação de imagem de acordo com qualquer de (15) a (22), e (24) a (27), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com um nível indicando uma magnitude de uma carga do processo de decodificação, e em que a unidade de controle controla decodificar os dados de codificação usando um parâmetro do nível definido para uma região predeterminada incluindo a região parcial e nomeada à definição da unidade de imagem (24) O dispositivo para decodificação de imagem de acordo com qualquer de (15) a (23), e (25) a (27), em que a unidade de análise analisa a informação de definição de carga de decodificação estabelecida para cada uma das regiões parciais em informação de aprimoramento suplementar (SEI) da região parcial decodificável independentemente. (25) O dispositivo para decodificação de imagem de acordo com qualquer de (15) a (24), (26), e (27), em que os dados de imagem incluem uma pluralidade de camadas, e em que a unidade de análise analisa a informação de definição de carga de decodificação da pluralidade de conjunto de camadas na SEI. (26) O dispositivo para decodificação de imagem de acordo com qualquer de (15) a (25), e (27), em que a unidade de análise adicionalmente analisa informação indicando se a informação de definição de carga de decodificação está estabelecida na SEI ou a mesma informação de definição de carga de decodificação como a informação de definição de carga de decodificação estabelecida na SEI estabelecida em um conjunto de parâmetros de sequência (SPS). (27) O dispositivo para decodificação de imagem de acordo com qualquer de (15) a (26), em que a informação de definição de carga de decodificação inclui informação indicando um tamanho da região parcial servindo como uma referência, e um nível indicando uma magnitude de uma carga de um processo de decodificação da região parcial. (28) Um método para decodificação de imagem incluindo: adquirir dados codificados de dados de imagem e decodificar informação de definição de carga para definir uma magnitude de uma carga de um processo de decodificação de uma região parcial de uma imagem dos dados de imagem; controlar decodificação dos dados codificados adquiridos com base na informação de definição de carga de decodificação adquirida; e decodificar os dados codificados adquiridos de acordo com o controle. (31) Um dispositivo para decodificação de imagem incluindo: uma unidade de aquisição configurada para adquirir dados codificados de dados de imagem e decodificar informação de definição de carga para definir uma magnitude de uma carga de um processo de decodificação de uma região parcial de uma imagem dos dados de imagem; uma unidade de controle configurada para controlar decodificação dos dados codificados adquiridos pela unidade de aquisição com base na informação de definição de carga de decodificação adquirida pela unidade de aquisição; e uma unidade de decodificação configurada para decodificar os dados codificados adquiridos pela unidade de aquisição sob controle da unidade de controle. (32) O dispositivo para decodificação de imagem de acordo com (31), em que a região parcial é decodificável independentemente. (33) O dispositivo para decodificação de imagem de acordo com (31) ou (32), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com um nível indicando uma magnitude de uma carga do processo de decodificação. (34) O dispositivo para decodificação de imagem de acordo com qualquer de (31) a (33), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com informação indicando um tamanho da região parcial. (35) O dispositivo para decodificação de imagem de acordo com qualquer de (31) a (34), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga de um processo de decodificação da região parcial de acordo com informação indicando um comprimento em uma direção vertical e informação indicando um comprimento em uma direção horizontal da região parcial. (36) O dispositivo para decodificação de imagem de acordo com qualquer de (31) a (35), em que a informação de definição de carga de decodificação está incluída em informação de aprimoramento suplementar (SEI) de uma região parcial decodificável independentemente. (37) O dispositivo para decodificação de imagem de acordo com qualquer de (31) a (36), em que os dados de imagem incluem uma pluralidade de camadas, e em que a informação de definição de carga de decodificação da pluralidade de camadas está incluída na SEI. (38) O dispositivo para decodificação de imagem de acordo com qualquer de (31) a (37), em que a informação de definição de carga de decodificação inclui informação indicando um tamanho da região parcial servindo como uma referência, e um nível indicando uma magnitude de uma carga de um processo de decodificação da região parcial. (39) O dispositivo para decodificação de imagem de acordo com qualquer de (31) a (38), em que a região parcial é um azulejo. (40) O dispositivo para decodificação de imagem de acordo com qualquer de (31) a (39), em que a região parcial é um conjunto de uma pluralidade de azulejos. (41) O dispositivo para decodificação de imagem de acordo com qualquer de (31) a (40), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude máxima de uma carga de um processo de decodificação entre uma pluralidade de regiões parciais incluídas em uma figura dos dados de imagem de acordo com um nível indicando uma magnitude de uma carga do processo de decodificação. (42) O dispositivo para decodificação de imagem de acordo com qualquer de (31) a (41), em que a informação de definição de carga de decodificação inclui informação para definir uma magnitude de uma carga comum em uma pluralidade de regiões parciais incluídas em uma figura dos dados de imagem de acordo com um nível indicando uma magnitude de uma carga do processo de decodificação. (43) O dispositivo para decodificação de imagem de acordo com qualquer de (31) a (42), em que, quando a pluralidade de regiões parciais incluídas na figura tem uma forma de L, uma magnitude da carga é definida para uma região retangular incluindo a forma de L. (44) O dispositivo para decodificação de imagem de acordo com qualquer de (31) a (43), em que a unidade de aquisição adquire adicionalmente informação indicando se a informação de definição de carga de decodificação está estabelecida, e quando a informação adquirida indica que a informação de definição de carga de decodificação está estabelecida, adquire a informação de definição de carga de decodificação. (45) Um método para decodificação de imagem incluindo: adquirir dados codificados de dados de imagem e decodificar informação de definição de carga para definir uma magnitude de uma carga de um processo de decodificação de uma região parcial de uma imagem dos dados de imagem; controlar decodificação dos dados codificados adquiridos com base na informação de definição de carga de decodificação adquirida; e decodificar os dados codificados adquiridos de acordo com o controle. Lista de Sinais de Referência 100 dispositivo de codificação de imagem 101 unidade de codificação de imagem de camada base 102 unidade de codificação de imagem de camada de aprimoramento 103 unidade de multiplexação 104 unidade de controle 128 unidade geradora de informação de cabeçalho 148 unidade geradora de informação de cabeçalho 151 unidade de aquisição de informação relacionada à carga de decodificação 152 unidade geradora de MCTS SEI 153 unidade geradora de SPS 200 dispositivo para decodificação de imagem 201 unidade de desmultiplexação 202 unidade de decodificação de imagem de camada base 203 unidade de decodificação de imagem de camada de aprimoramento 204 unidade de controle 224 unidade de análise de informação de cabeçalho 244 unidade de análise de informação de cabeçalho 251 unidade de aquisição de informação de cabeçalho 252 unidade de análise de SPS 253 unidade de análise de MCTS SEI 254 unidade de especificação de nível 255 unidade de provisão

Claims

1. Dispositivo para decodificação de imagem (200), caracterizado pelo fato de que compreende: uma unidade de controle (204) configurada para controlar decodificação de dados codificados, que foram transmitidos a partir de um dispositivo de codificação de imagem e recebidos pelo dispositivo de decodificação de imagem e na qual a imagem é codificada, com base na informação para indicar um tamanho de uma região parcial da imagem e um nível indicando uma magnitude de uma carga de um processo de decodificação da região parcial, a informação indicando o tamanho da região parcial da imagem e o nível indicando a carga do processo de decodificação da região parcial, ambos sendo também transmitidos a partir do dispositivo de codificação de imagem juntamente com os dados codificados e recebidos pelo dispositivo de decodificação de imagem; e uma unidade de decodificação (202, 203) configurada para decodificar os dados codificados sob controle da unidade de controle (204); em que a região parcial é uma região independentemente decodificável da imagem que é menor do que uma integridade da imagem, e a integridade da imagem tem associado a ela um nível respectivo definido para decodificar que é diferente do nível indicando a carga do processo de decodificação da região parcial.

2. Dispositivo para decodificação de imagem (200) de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle (204) controla decodificação dos dados codificados usando informação para definir uma magnitude de uma carga do processo de decodificação da região parcial de acordo com o nível indicando uma magnitude da carga do processo de decodificação da região parcial.

3. Dispositivo para decodificação de imagem (200) de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle (204) controla decodificação dos dados codificados usando informação para definir uma magnitude da carga do processo de decodificação da região parcial de acordo com a informação indicando o tamanho da região parcial.

4. Dispositivo para decodificação de imagem (200) de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle (204) controla decodificação dos dados codificados usando informação para definir uma magnitude da carga do processo de decodificação da região parcial de acordo com informação indicando um comprimento em uma direção vertical e informação indicando um comprimento em uma direção horizontal da região parcial.

5. Dispositivo para decodificação de imagem (200) de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente uma unidade de aquisição configurada para adquirir informação indicando a magnitude da região parcial e o nível indicando uma magnitude da carga do processo de decodificação da região parcial como decodificando informação de definição de carga indicando uma magnitude da carga do processo de decodificação da região parcial, em que a unidade de controle (204) controla decodificação dos dados codificados usando a informação de definição de carga de decodificação adquirida pela unidade de aquisição.

6. Dispositivo para decodificação de imagem (200) de acordo com a reivindicação 5, caracterizado pelo fato de que a unidade de aquisição adquire a informação de definição de carga de decodificação como informação auxiliar dos dados codificados.

7. Dispositivo para decodificação de imagem (200) de acordo com a reivindicação 6, caracterizado pelo fato de que a unidade de aquisição adquire a informação de definição de carga de decodificação como informação de aprimoramento suplementar, SEI, de uma região parcial independentemente decodificável.

8. Dispositivo para decodificação de imagem (200) de acordo com a reivindicação 7, caracterizado pelo fato de que os dados codificados incluem dados de imagem de uma pluralidade de camadas, e em que a unidade de aquisição adquire a informação de definição de carga de decodificação da pluralidade de camadas como a SEI.

9. Dispositivo para decodificação de imagem (200) de acordo com a reivindicação 1, caracterizado pelo fato de que a região parcial é um azulejo.

10. Dispositivo para decodificação de imagem (200) de acordo com a reivindicação 1, caracterizado pelo fato de que a região parcial é um conjunto de uma pluralidade de azulejos.

11. Dispositivo para decodificação de imagem (200) de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle (204) controla decodificação dos dados codificados usando informação para definir uma magnitude máxima da carga de um processo de decodificação entre uma pluralidade de regiões parciais incluídas em uma figura de dados de imagem incluídos nos dados codificados de acordo com um nível indicando uma magnitude de uma carga do processo de decodificação.

12. Dispositivo para decodificação de imagem (200) de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle (204) controla decodificação dos dados codificados usando informação para definir uma magnitude da carga comum em uma pluralidade de regiões parciais incluídas em uma figura de dados de imagem incluídos nos dados codificados de acordo com um nível indicando uma magnitude da carga do processo de decodificação.

13. Dispositivo para decodificação de imagem (200) de acordo com a reivindicação 12, caracterizado pelo fato de que, quando uma pluralidade das regiões parciais incluídas na figura tem uma forma de L, a unidade de controle (204) controla decodificação dos dados codificados usando informação para definir uma magnitude da carga para uma região retangular incluindo a forma de L.

14. Dispositivo para decodificação de imagem (200) de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle (204) controla decodificação dos dados codificados usando informação indicando se a informação de definição de carga de decodificação está estabelecida.

15. Método para decodificação de imagem, caracterizado pelo fato de que compreende: receber, a partir de um dispositivo de codificação de imagem, dados codificados nos quais uma imagem é codificada, juntamente com informação indicando um tamanho de uma região parcial da imagem e um nível indicando uma magnitude de uma carga de um processo de decodificação da região parcial; controlar, com base na informação indicando um tamanho da região parcial da imagem e o nível indicando uma magnitude de uma carga do processo de decodificação da região parcial, decodificação dos dados codificados em que a imagem é codificada; e decodificar os dados codificados de acordo com o controle, em que a região parcial é uma região independentemente decodificável da imagem que é menor do que uma integridade da imagem, e a integridade da imagem tem associado à ela um nível respectivo definido para decodificar que é diferente do nível indicando a carga do processo de decodificação da região parcial.