BRPI0611668A2

BRPI0611668A2 - mÉtodos de codificaÇço e de decodificaÇço de imagem, codificador e decodificador de imagem, fluxo de bit, e, meio de gravaÇço

Info

Publication number: BRPI0611668A2
Application number: BRPI0611668-0A
Authority: BR
Inventors: Shunichi Sekiguchi; Yoshimi Moriya; Kazuo Sugimoto; Yoshihisa Yamada; Kohtaro Asai; Tokumichi Murakami; Yuuichi Idehara
Original assignee: Mitsubishi Electric Corp
Priority date: 2005-09-20
Filing date: 2006-06-19
Publication date: 2012-07-31
Also published as: EP1928184B1; CN101707713A; US20090080534A1; KR20100018083A; EP2228995A3; CN101867820B; CA2623297C; KR101099865B1; RU2011119121A; KR20100097232A; EP2228994A3; EP2228997A3; CN101783943A; EP2228996A2; CN101218831A; KR101023365B1; CN101783943B; RU2008115481A; US20080123972A1; CN101867819A

Abstract

MÉTODOS DE CODIFICAÇçO E DE DECODIFICAÇçO DE IMAGEM, CODIFICADOR E DECODIFICADOR DE IMAGEM, FLUXO DE BIT, E, MEIO DE GRAVAÇçO - A presente invenção torna possível incluir, quando processamento de codificação é aplicado a três componentes de cores usando formato 4:0:0, dados para uma imagem em uma unidade de acesso e torna possível configurar ao mesmo tempo informação ou o mesmo conjunto de modos de codificação entre os respectivos componentes de cor. Em um sistema de codificação de imagem para aplicar processamento de compressão a um sinal de imagem de entrada incluindo diversos componentes de cor, dados codificados obtidos submetendo independentemente um sinal de imagem de entrada de cada um dos componentes de cor a processamento de codificação e um parâmetro indicado a qual componente de cor os dados codificados correspondem são multiplexados com um fluxo de bit. Em um sistema de decodificação de imagem para inserir um fluxo de bit no qual um sinal de imagem incluindo diversos componentes de cor é comprimido para efetuar processamento de decodificação, processamento de decodificação dos dados codificados de cada um dos componentes de cor efetuado usando um parâmetro indicando a qual componente de cor os dados codificados correpondem.

Description

"MÉTODOS DE CODIFICAÇÃO E DE DECODIFICAÇÃO DE IMAGEM, CODIFICADOR E DECODIFICADOR DE IMAGEM, FLUXO DE BIT, E, MEIO DE GRAVAÇÃO"

CAMPO TÉCNICO

A presente invenção relaciona-se a um método de codificação de imagem e um codificador de imagem para aplicar processamento de compressão a sinais de imagem de entrada compostos de diversos componentes de cor, um método de decodificação de imagem e um decodificador de imagem para inserir um fluxo de bit no qual sinais de imagem compostos de diversos componentes de cor são comprimidos e efetuam processamento de decodificação, e um fluxo de bit codificado de imagem e um meio de gravação.

TÉCNICA FUNDAMENTAL

Convencionalmente, sistemas de codificação de vídeo padrão internacional, tais como MPEG e ITU-TH.26x são adotados principalmente na condição de que um formato de sinal de entrada chamado um formato "4:2:0" seja usado. O formato 4:2:0 representa um formato para converter um sinal de imagem de cor tal como RGB em um componente de luminância (Y) e dois componentes de crominância (CB e CR) e reduzir o número de amostras dos componentes de crominância à metade em ambas direções horizontal e vertical com respeito ao número de amostras do componente de luminância. Uma vez que a visibilidade para os componentes de crominância é baixa comparada com aquela do componente de crominância devido às características de visão do ser humano, o sistema de codificação de vídeo padrão internacional convencional é adotado na condição de que uma quantidade de informação sobre um objeto de codificação é reduzido, reduzindo o número de amostras de componentes de crominância antes da codificação ser efetuada.

Por outro lado, de acordo com o aumento na resolução e a diminuição na gradação de um visor de vídeo nos anos recentes, um sistema para codificar uma imagem com amostras idênticas aos componentes de luminância sem sub amostrar os componentes de crominância, é examinado. Um formato no qual o número de amostras dos componentes de luminância e o número de amostras dos componentes de crominância são idênticos, é chamado um formato "4:4:4". Para um sistema de codificação para inserir o formato 4:4:4, um "alto perfil 444" é decidido (ver, por exemplo, o Documento Não Patente 1).

Embora o formato 4:2:0 convencional seja adotado na condição de que os componentes de crominância sejam sub amostrados e seja limitado a espaços de cor de Y, CB e CR, não há distinção de uma relação de amostragem entre componentes de cor no formato 4:4:4, e assim é possível usar diretamente R, G e B diferentes de Y, CB e CR e definir o uso de outros espaços de cor.

Documento Não Patente 1: padrão ISO/IEC 14496-10|ITU- TH.264 (Codificação de Vídeo Avançada: AVC).

DESCRIÇÃO DA INVENÇÃO

PROBLEMA A SEREM RESOLVIDOS PELA INVENÇÃO

Quando o alto perfil 444 definido no padrão ISO/IEC 14496- 10[ITU-TH.264 (2005) (posteriormente abreviado como AVC) é usado, como no sistema de codificação convencional, é necessário efetuar processamento de codificação e processamento de decodificação com um macro bloco como uma unidade.

Em outras palavras, uma vez que os dados de três componentes de cor estão incluídos em um macro bloco, os dados dos respectivos componentes de cor são processados em ordem, em unidades de macro bloco. Isto não é preferível para a finalidade de efetuar processamento de codificação e decodificação em paralelo.

Por outro lado, no AVC, um formato 4:0:0 é definido. Este formato originalmente objetiva processamento de codificação de uma imagem somente dos componentes de luminância, isto é, uma imagem monocromática. É também possível adotar um método para gerar três dados codificados independentes, aplicando processamento de codificação aos respectivos três componentes de cores do formato 4:4:4 usando o formato 4:0:0. Neste caso, uma vez que os respectivos componentes de cor são independentemente processados, o processamento paralelo é possível.

Entretanto, uma vez que os respectivos componentes de cor são processados independentemente, é impossível realizar, no presente padrão, processamento de ajuste da mesma informação de tempo e usar um modo de codificação uniforme entre os respectivos componentes de cor. Portanto, há um problema no qual é impossível realizar facilmente reprodução de acesso randômico (avanço rápido, retorno, etc.) e editar o processamento em unidades de imagem.

Este problema será explicado adicionalmente. Vários dados definidos no AVC são arranjados em uma ordem de um delimitador de unidade de acesso (AUD), um conjunto de parâmetros de seqüência (SPS), um conjunto de parâmetros de imagem (PPS), e dados de imagem. Dados não relacionados à presente invenção não são explicados aqui.

No AVC, é definido que uma unidade de acesso (AU) é constituída por uma imagem (equivalente a um quadro ou um campo). E possível indicar um limite das unidades de acesso usando um delimitador de unidade de acesso (AUD). Por exemplo, em um perfil de Linha Base do AVC, uma vez que delimitadores de unidade de acesso são arranjados em contornos das respectivas imagens, é possível extrair independentemente e facilmente uma unidade de acesso, detectando os delimitadores de unidade de acesso. Isto torna possível decodificar dados para uma imagem.

Por outro lado, quando três componentes de cor são codificados pelo formato 4:0:0 usando o presente sistema AVC, uma unidade de acesso é definida para cada um dos componentes de cor. Conseqüentemente, uma imagem é constituída por três unidades de acesso. Portanto, é impossível extrair dados para uma imagem simplesmente detectando os delimitadores de unidades de acesso. É impossível realizar facilmente reprodução de acesso randômico e editar o processamento em unidades de imagem. Uma vez que o processamento de codificação é efetuado independentemente para cada um dos componentes de cor, é difícil estabelecer a mesma informação de tempo e usar um modo de codificação uniforme.

Então, é um objetivo da presente invenção prover um método de codificação de imagem e um método de decodificação de imagem, um codificador de imagem e um decodificador de imagem, e um fluxo de bit codificado de imagem e um meio de gravação que torna possível incluir dados para uma imagem em uma unidade de acesso, estendendo o AVC mesmo quando o processamento de codificação é aplicado aos respectivos três componentes de cor do formato 4:4:4 usando o formato 4:0:0 e torna possível ajustar a mesma informação de tempo e usar um modo de codificação uniforme entre os respectivos componentes de cor.

MEIOS PARA RESOLVER OS PRORl .FMAS

De acordo com a presente invenção, em um método de codificação de imagem para aplicar processamento de compressão a um sinal de imagem de entrada incluindo diversos componentes de cor, dados codificados obtidos submetendo independentemente um sinal de imagem de entrada de cada um dos componentes de cor a processamento de codificação e um parâmetro indicando a qual componente de cor os dados codificados correspondem, são multiplexados com um fluxo de bit.

Adicionalmente, de acordo com a presente invenção, um método de decodificação de imagem para executar processamento de decodificação baseado em uma entrada de um fluxo de bit gerado comprimindo um sinal de imagem incluindo diversos componentes de cor, o processamento de decodificação para dados codificados de cada um dos componentes de cor é efetuado usando um parâmetro indicando a qual componente de cor os dados codificados correspondem.

Adicionalmente, de acordo com a presente invenção, um codificador de imagem para aplicar processamento de compressão a um sinal de imagem de entrada incluindo diversos componentes de cor, inclui meio de multiplexação para multiplexar dados codificados obtidos submetendo independentemente um sinal de imagem de entrada de cada um dos componentes de cor a processamento de codificação, e um parâmetro indicando a qual componente de cor os dados codificados correspondem, com um fluxo de bit.

Adicionalmente, de acordo com a presente invenção, um decodificador de imagem para efetuar processamento de decodificação baseado em uma entrada de um fluxo de bit gerado comprimindo um sinal de imagem incluindo diversos componentes de cor, inclui meio de detecção para detectar um parâmetro indicando a qual componente de cor os dados codificados correspondem.

Adicionalmente, de acordo com a presente invençao, em um fluxo de bit gerado como um resultado de uma compressão-codificação de um sinal de imagem de entrada incluindo diversos componentes de cor, dados comprimidos de um sinal de imagem de cada um dos componentes de cor são constituídos em unidades de setor, e um parâmetro indicando a qual componente de cor os dados comprimidos incluídos nos dados de setor correspondem, é multiplexado com uma região de cabeçalho do setor.

Adicionalmente, a presente invenção prove um meio de gravação gravado com um fluxo de bit que é gerado como um resultado de compressão-codificação de um sinal de imagem de entrada incluindo diversos componentes de cor, e nos quais os dados comprimidos de um sinal de imagem de cada um dos componentes de cor é constituído em unidades de setor, e um parâmetro indicando a qual componente de cor os dados comprimidos incluídos nos dados de setor correspondem, é multiplexado com uma região de cabeçalho da setor.

EFEITOS DA INVENÇÃO

De acordo com a presente invenção, é possível executar facilmente reprodução de acesso randômico e processamento de edição em unidades de imagem usando um AUD. É possível incluir dados para uma imagem em uma unidade de acesso mesmo quando o processamento de codificação é aplicado a três componentes de cor usando o formato 4:0:0. Em adição, é possível configurar a mesma informação de tempo e usar um modo de codificação uniforme entre os respectivos componentes de cor.

BREVE DESCRIÇÃO DOS DESENHOS

Figura 1 é um diagrama de porções relacionadas à presente invenção extraídas de sintaxes de um fluxo de bit codificado gerado por um codificador de imagem de acordo com a presente invenção.

Figura 2 é um diagrama para explicar uma definição de um parâmetro colourjd como um outro método de assegurar compatibilidade com um padrão existente.

Figura 3 é um diagrama explicativo no qual dados de todos os componentes de cor constituindo uma imagem entre um AUD e um AUD são incluídos em uma unidade de acesso (AU).

Figura 4 é um diagrama explicativo no qual dados de quatro componentes de cor são delimitados para cada componente de cor por um delimitador e arranjados juntos em uma unidade de acesso.

Figura 5 é um diagrama explicativo no qual modos de codificação de um formato 4:0:0 e um formato 4:4:4 são comutados em uma unidade arbitrária.

Figura 6 é um diagrama para explicar processamento de codificaçao comum de acordo com uma sétima realização da presente invenção.

Figura 7 é um diagrama para explicar processamento de codificação independente de acordo com a sétima realização da presente invenção.

Figura 8 é um diagrama mostrando uma relação de referência de predição de movimento em uma direção no tempo entre imagens e um codificador e um decodiflcador, de acordo com a sétima realização da presente invenção.

Figura 9 é um diagrama mostrando um exemplo de uma estrutura de um fluxo de bit gerado no decodiflcador e submetido a processamento de entrada e decodificação pelo decodiflcador de acordo com a sétima realização da presente invenção.

Figura 10 é um diagrama mostrando estruturas de fluxo de bit de dados e setor nos casos do processamento de codificação comum e processamento de codificação independente de acordo com a sétima realização da presente invenção.

Figura 11 é um diagrama em blocos mostrando uma estrutura esquemática do codificador de acordo com a sétima realização da presente invenção.

Figura 12 é um diagrama para explicar um fluxo de bit 106 multiplexado e emitido por uma unidade de multiplexação 105 mostrada na Figura 11.

Figura 13 é um diagrama em blocos mostrando uma estrutura interna de uma primeira unidade de codificação de imagem 102 mostrada na Figura 11.

Figura 14 é um diagrama em blocos mostrando uma estrutura interna de uma segunda unidade de codificação de imagem 104 mostrada na Figura 11. Figura 15 é um diagrama em blocos mostrando uma estrutura esquemática do decodificador de acordo com a sétima realização da presente invenção.

Figura 16 é vim diagrama em blocos mostrando uma estrutura interna de uma primeira unidade de decodificação de imagem 302 mostrada na Figura 15.

Figura 17 é um diagrama em blocos mostrando uma estrutura interna de uma segunda unidade de decodificação de imagem 304 mostrada na Figura 15.

Figura 18 é um diagrama em blocos mostrando uma modificação de um codificador mostrado na Figura 11.

Figura 19 é um diagrama em blocos mostrando uma outra modificação do codificador mostrado na Figura 11.

Figura 20 é um diagrama em blocos mostrando um decodificador correspondente ao codificador mostrado na Figura 18.

Figura 21 é um diagrama em blocos mostrando um decodificador correspondente ao codificador mostrado na Figura 19.

Figura 22 é um diagrama mostrando uma estrutura de dados codificados de informação de cabeçalho de macro bloco incluída em um fluxo de bit de um formato convencional YUV 4:2:0.

Figura 23 é um diagrama mostrando uma estrutura interna de uma unidade de predição 311 de uma primeira unidade de decodificação de imagem 302 que assegura compatibilidade do formato convencional YUV 4:2:0 com o fluxo de bit.

Figura 24 é um diagrama mostrando um outro exemplo de uma estrutura de um fluxo de bit.

Figura 25 e um diagrama mostrando ainda um outro exemplo da estrutura do fluxo de bit.

MELHOR MODO PARA REALIZAR A INVENÇÃO Primeira Realização

Figura 1 é um diagrama de porções relacionadas à presente invenção, extraídas de sintaxes de um fluxo de bit codificado gerado por um codificador de imagem de acordo com a presente invenção. Na Figura 1, a parte (a) indica uma sintaxe de informação de cabeçalho de uma unidade NAL (camada de abstração de rede), a parte (b) indica uma sintaxe de um SPS (conjunto de parâmetros de seqüência), a parte (c) indica uma sintaxe de um PPS (conjunto de parâmetros de imagem) e a parte (d) indica uma sintaxe de um cabeçalho de setor. Porções diferentes das porções sombreadas são sintaxes que são definidas no padrão AVC existente. As porções sombreadas são sintaxes que são definidas no padrão AVC existente porém às quais são adicionadas novas funções de acordo com a presente invenção, ou sintaxes que não são definidas no padrão AVC existente e adicionadas novamente de acordo com a presente invenção.

Parâmetros definidos no AVC serão posteriormente descritos brevemente.

Na parte (a) da Figura 1, nal_ref_idc da unidade NAL é um parâmetro indicando se os dados da unidade NAL são dados de imagem usados para predição e referência. Adicionalmente, nal_unit_type é um parâmetro indicando se a unidade NAL consiste de dados de setor, SPS, PPS ou um delimitador de unidade de acesso (AUD).

Na parte (b) da Figura 1, profile_idc de SPS indica um perfil de uma seqüência de codificação. Linha base, principal, alto, alto 444, e similares são definidos como perfis no AVC. Seq_parameter_set_id indica um ID do SPS. Diversos SPS são definidos em uma seqüência de codificação e gerenciados com os ID. Ainda mais, chroma_for_mat_idc é usado somente no instante do perfil alto 444 e é um parâmetro indicando qual formato dentre 4:0:0, 4:2:0, 4:2:2 e 4:4:4 é a seqüência de codificação.

Na parte (c) da Figura 1, pic_parameter_set_id do PPS indica um ID do PPS. Diversos PPS são definidos em uma seqüência de codificação e gerenciados com os ID. Seq_parameter_set_id no PPS é um parâmetro indicando a qual SPS este PPS pertence.

Na parte (d) da Figura 1, first_mb_in_slice do cabeçalho de setor é um parâmetro indicando em qual posição em uma tela, os dados de bloco adiantados de dados de setor estão localizados. Adicionalmente, slice type é um parâmetro indicando quais dentre codificação intra quadro, codificação preditiva e codificação bi-preditiva são os dados de setor. Ainda mais, pic_parameter_set_id é um parâmetro indicando a qual PPS os dados de setor pertencem.

As operações serão explicadas a seguir.

Quando o processamento de codificação é aplicado a um sinal de imagem de três componentes de cor independentemente para cada um dos componentes de cor usando o formato 4:0:0, dados indicando o processamento de codificação independentemente dos três componentes de cor usando o formato 4:0:0 são providos novamente em profile idc que é um dos parâmetros incluídos no SPS mostrado na parte (b) da Figura 1. Um parâmetro de colour_id é provido novamente no cabeçalho de setor mostrado na parte (d) da Figura 1, para indicar quais dos dados codificados dos três componentes de cor são os dados de setor.

Quando o processamento de codificação é efetuado no formato 4:0:0 existente (uma imagem monocromática), formato 4:2:0, formato 4:2:2 e formato 4:4:4 o parâmetro colour_id mostrado na parte (d) da Figura 1 não é usado. Somente no modo de codificar independentemente os dados dos três componentes de cor usando o formato 4:0:0 definido novamente de acordo com a presente invenção, o parâmetro colour_id é usado para deste modo tornar possível evitar que o padrão existente seja afetado.

No modo de codificar independentemente os dados dos três componentes de cores usando o formato 4:0:0 definido novamente pela presente invenção, o parâmetro colourid é usado para, conforme mostrado na Figura 3, incluir os dados dos três componentes de cores em uma unidade de acesso (AU) e colocar os dados de todos os componentes de cores constituindo uma imagem entre um AUD e um próximo AUD.

Como um outro método de assegurar compatibilidade com o padrão existente, o parâmetro colour_id pode ser definido conforme mostrado na Figura 2. Quando colour id é definido desta forma, no caso em que colour_id=0, isto indica que dados de setor que são codificados em um formato no qual os dados dos três componentes de cores estão incluídos em um macro bloco como um padrão existente. No caso de outros valores, é possível indicar dados de setor codificados pelo processamento de codificar independentemente os dados dos três componentes de cores usando o formato 4:0:0 descrito na primeira realização.

Isto torna possível constituir um fluxo de bit cobrindo ambos sistema existente e o sistema descrito na primeira realização, o que é útil para manter compatibilidade com o sistema existente. Quando o número de setores aumenta e uma sobrecarga de uma quantidade de codificação do próprio parâmetro colour_id afeta a eficiência da codificação, a quantidade do próprio parâmetro colour id pode ser reduzida efetuando codificação de extensão variável apropriada com base em um critério de julgamento definindo qual dentre o sistema existente e o sistema descrito na primeira realização é mais facilmente selecionado.

Deste modo, no sistema de codificação de imagem para aplicar o processamento de compressão para inserir sinais de imagem aplicando independentemente o processamento de codificação aos sinais de imagem de entrada dos respectivos componentes de cor e um parâmetro indicando a partir de qual componente de cor os dados codificados são obtidos, são multiplexados com um fluxo de bit. Isto torna possível executar facilmente reprodução de acesso randômico e processamento de edição em unidades de imagem, usando o AUD.

No sistema de decodificação de imagem para inserir um fluxo de bit no qual um sinal de imagem composto de diversos componentes de cor é comprimido e efetuado o processamento de decodificação. E possível efetuar facilmente o processamento de decodificação para os dados codificados dos respectivos componentes de cor usando um parâmetro indicando a partir de qual componente de cor os dados codificados são obtidos.

Uma vez que os dados dos três componentes de cor são incluídos em uma unidade de acesso, os dados dos três componentes de cores são simultaneamente codificados como uma imagem IDR (Atualização de Decodificação Instantânea).

A imagem IDR é definida no AVC. O processamento de decodificação normal pode ser efetuado instantaneamente a partir da imagem IDR. A imagem IDR é provida sob a suposição de que a imagem IDR é usada como o topo da reprodução de acesso randômico.

Quando é desejado extrair somente um componente de cor dos três componentes de cores, isto pode ser facilmente realizado extraindo somente dados de setor de colourid tendo um valor específico.

Na Figura 1, o parâmetro colourjd é provido no topo do cabeçalho do setor. Entretanto, não é sempre necessário arranjar o colour_id no topo do cabeçalho do setor. É possível obter os mesmos efeitos, se o parâmetro colour id é incluído no cabeçalho de setor.

Segunda Realização

Como na primeira realização, dados codificados dos três componentes de cores são incluídos em uma unidade de acesso. Entretanto, enquanto os dados (R, B, G) dos respectivos componentes de cor são arranjados em ordem na primeira realização mostrada na Figura 3, é também possível adotar um método para arranjar os mesmos componentes de cor R, B ou G juntos, respectivamente, conforme mostrado na Figura 4. Ainda mais, é também possível extrair facilmente somente dados de um componente de cor predeterminado inserindo "Delimitador" o que não está definido no presente padrão AVC.

Conseqüentemente, por exemplo, é possível alocar facilmente diferentes processadores para os respectivos componentes de cor, para executar processamento em paralelo. É possível realizar o "Delimitador" descrito na presente invenção, sem afetar o padrão existente, estendendo uma carga útil de mensagem SEI (Informação de Melhoramento Suplementar) do AVC. É desnecessário dizer que é possível obter os mesmos efeitos quando o "Delimitador" é definido de acordo com outros métodos.

Terceira Realização

É também possível obter os mesmos efeitos da primeira realização inserindo um parâmetro indicando um componente de cor em uma parte da unidade NAL ao invés de colour_id do cabeçalho de setor. No AVC, uma vez que um cabeçalho de setor e dados de setor em seguida ao cabeçalho de setor são definidos como uma carga útil da unidade NAL, o parâmetro nal_unit_type da unidade NAL é estendido para indicar neste parâmetro qual componente de cor são os dados de vídeo incluídos na carga útil do NAL. Ainda mais, incluindo os dados dos três componentes de cores em uma unidade de acesso (AU), todos os dados constituindo uma imagem são colocados entre um AUD e um próximo AUD.

Conseqüentemente, como na primeira realização, é possível executar facilmente reprodução de acesso randômico e processamento de edição em unidades de imagem. Em adição, quando é desejado extrair somente um componente entre os três componentes de cores, é possível extrair o componente de acordo somente com dados de cabeçalho da unidade NAL, sem analisar o cabeçalho de setor.

Quarta Realização Na primeira a terceira realizações, é provida uma limitação de tal modo que o mesmo valor é sempre ajustado para o parâmetro first_mb_in_slice do cabeçalho de setor codificado, no qual os dados dos três componentes de cores são codificados. O parâmetro first mb in slice indica uma posição dos primeiros dados dos dados de setor em uma tela.

No sistema de decodificação do AVC convencional, desde que é possível obter um formato arbitrário para uma estrutura de um setor, diferentes estruturas dos setores entre os respectivos componentes de cor podem ser adotadas. Entretanto, provendo esta limitação, é possível decodificar e exibir uma parte de uma imagem tendo um estado correto de cores, coletando três dados de setor tendo o mesmo valor de first_mb_in_slice.

Conseqüentemente, quando é desejado exibir uma porção específica de uma tela, por exemplo, somente o centro, é possível efetuar decodificação e exibir processamento usando somente dados de setor de uma parte da tela, ao invés da tela plena, ao passo que, quando a limitação não é provida, é impossível combinar os três componentes de cores para obter uma imagem decodificada correta, a menos que a tela inteira seja decodificada usando dados de setor da tela inteira, porque valores de first_mb_in_slice são diferentes entre os respectivos componentes de cor. Quando o processamento paralelo é efetuado usando os respectivos processadores para os dados dos respectivos componentes de cor, itens de dados de setor respectivos são iniciados a partir da mesma posição, e assim é fácil gerenciar o processamento paralelo.

Quinta Realização

Uma limitação é adicionalmente provida, de tal modo que o mesmo valor é sempre ajustado para o parâmetro slice_type do cabeçalho de setor dos respectivos componentes de cor em adição à limitação na quarta realização. O parâmetro slice type indica, por exemplo, quais dentre codificação intra quadro, codificação preditiva, e codificação bi-preditiva são os dados de setor em seguida ao cabeçalho de setor. Se os dados de setor são a codificação intra quadro, uma vez que não é usado processamento de predição intra quadro, é possível efetuar instantaneamente processamento de decodificação e visualização.

Então, para dados de setor na mesma posição em uma tela, um tipo de codificação é tornado comum a todos os componentes de cor e o mesmo processamento de codificação é efetuado. Isto permite que um decodificador efetue processamento de decodificação e visualização em alta velocidade, submetendo somente um setor da codificação intra quadro a processamento de decodificação no instante da reprodução de acesso randômico.

Sexta Realização

Adotando as estruturas descritas na primeira e quinta realizações, é possível comutar, em uma unidade arbitrária, um modo de codificar independentemente dados de três componentes de cores usando o formato 4:0:0 definido novamente e um modo de codificação do formato 4:4:4.

Por exemplo, conforme mostrado na Figura 5, o formato 4:0:0 definido novamente é ajustado para seq_parameter_set_id=l de um SPS. Um parâmetro do formato 4:4:4 é ajustado para seq_parameter_set_id=2. Os SPS correspondentes a seq_parameter_set_id são ajustados com pic_parameter_set_id diferente atribuído a eles. Isto torna possível comutar ambos formatos 4:0:0 e 4:4:4 em unidades de imagem.

Conseqüentemente, é possível selecionar um dos formatos com alta eficiência de codificação para efetuar processamento de codificação e selecionar um conveniente dos formatos, dependendo de uma aplicação para efetuar processamento de codificação.

Na quinta realização, é explicado que ambos os formatos são comutados em unidades de imagem. Entretanto, sob o padrão do AVC, é também possível comutar os formatos em unidades de setor de acordo com o mesmo processamento.

A presente invenção é explicada usando o AVC, que é o padrão internacional do sistema de codificação de imagem móvel. Entretanto, é desnecessário dizer que é possível obter os mesmos efeitos usando outros sistemas de comunicação.

Sétima Realização

Em uma sétima realização da presente invenção, uma estrutura de aparelho e uma operação para efetuar codificação e decodificação enquanto muda a codificação de três componentes de cores de sinais por um cabeçalho de macro bloco comum e codificação dos sinais de três componentes de cores por cabeçalhos de macro bloco separados em uma unidade de um quadro (ou um campo) será explicado com base nos desenhos específicos. Na seguinte explicação, a menos que indicado especificamente de outro modo, a descrição "um quadro" é vista como uma unidade de dados de um quadro ou um campo.

É suposto que um cabeçalho de macro bloco de acordo com a sétima realização inclui: informação de modo de codificação e predição tal como um tipo de macro bloco, um tipo de sub macro bloco e um modo de intra predição; informação de predição de movimento tal como número de identificação de imagem de referência e um vetor de movimento; e informação de sobre carga de macro bloco diferente de dados de coeficiente transformado tal como um parâmetro de quantização para um coeficiente transformado, uma marcação de indicação de tamanho de bloco transformado e uma marcação de julgamento de presença/ausência de coeficiente transformado efetivo em 8x8 unidades de bloco.

Na explicação seguinte, o processamento de codificação de sinais de três componentes de cores de um quadro com o cabeçalho de macro bloco comum é referido como "processamento de codificação comum" e o processamento de codificação de sinais de três componentes de cores de um quadro com cabeçalhos de macro bloco independentes separados é referido como "processamento de codificação independente". Similarmente, o processamento de dados de imagem de quadro de decodificação a partir de um fluxo de bit no qual sinais de três componentes de cores de um quadro são codificados pelo cabeçalho de macro bloco comum é referido como "processamento de decodificação comum" e processamento de decodificação de dados de imagem de quadro a partir de um fluxo de bit no qual sinais de três componentes de cores de um quadro são codificados por cabeçalhos de macro bloco independentes separados, é referido como "processamento de decodificação independente".

No processamento de codificação comum de acordo com a sétima realização, conforme mostrado na Figura 6, um sinal de vídeo de saída para um quadro é dividido em macro blocos para serem submetidos ao processamento de codificação comum em um grupo de três componentes de cor de um componente CO, um componente Cl e um componente C2, respectivamente. Por outro lado, no processamento de codificação independente, conforme mostrado na Figura 7, um sinal de vídeo de entrada para um quadro é separado em três componentes de cores de um componente CO, um componente Cle um componente C2 e os três componentes de cores são divididos em macro blocos compostos de componentes de cor únicos, isto é, respectivos macro blocos a serem submetidos ao processamento de codificação independente para o respectivo componente CO, componente Cle componente C2.

Os macro blocos a serem submetidos ao processamento de codificação comum incluem amostras dos três componentes de cores de CO, Cl e C2. Os macro blocos a serem submetidos ao processamento de codificação independente incluem amostras de qualquer um dos componente CO, Cl e C2.

Na Figura 8, uma relação de referência de predição de movimento em uma direção no tempo entre imagens em um codificador e um decodificador de acordo com a sétima realização, é mostrada. Neste exemplo, uma unidade de dados indicada por uma linha de barra vertical em negrito é ajustada como uma imagem e uma relação entre a imagem e uma unidade de acesso é indicada por uma linha pontilhada em torno. No caso de processamento de codificação e decodificação comum, uma imagem consiste de dados representando um sinal de vídeo para um quadro no qual três componentes de cor são misturados. No caso do processamento de codificação e decodificação independentes, uma imagem é um sinal de vídeo para um quadro de qualquer um dos componentes de cor.

A unidade de acesso é uma unidade de dados mínimos para produzir uma marcação de tempo para sincronização com informação de áudio/som ou similar para um sinal de vídeo. No caso do processamento de codificação e decodificação comum, dados para uma imagem são incluídos em uma unidade de acesso.

Por outro lado, no caso do processamento de codificação e decodificação independente, três imagens são incluídas em uma unidade de acesso. Isto é porque, no caso do processamento independente de codificação e decodificação, um sinal de vídeo de reprodução para um quadro não é obtido até que imagens no tempo de visualização idêntico para todos os três componentes de cores sejam obtidas. Números afixados acima das respectivas imagens indicam uma ordem do processamento de codificação e decodificação em uma direção no tempo das imagens (framenum do AVC (Codificação de Vídeo Avançado), que é um padrão de um sistema de codificação de compressão para dados de imagem móveis).

Na Figura 8, setas entre as imagens indicam uma direção de referência de predição de movimento. No caso do processamento de codificação e decodificação independente, referência de predição de movimento entre figuras incluídas em uma unidade de acesso idêntico e referência de predição de movimento entre diferentes componentes de cor não são efetuadas. Imagens dos respectivos componentes de cor de CO, Cl e C2 são codificadas e decodificadas enquanto prevendo e referenciando movimento somente para sinais de componentes de cor idênticos.

Com tal estrutura, no caso do processamento de codificação e decodificação independente de acordo com a sétima realização, é possível executar codificação e decodificação dos respectivos componentes de cor sem se apoiar no processamento de codificação e decodificação dos outros componentes de cor como um todo. Então, é fácil executar processamento paralelo.

No AVC, uma imagem IDR (atualização de decodificador instantâneo) que executa intra codificação por si mesma e reinicia conteúdos de uma memória de imagem de referência usada para predição de compensação de movimento, é definida. Uma vez que a imagem IDR é decodificável sem apoiar em quaisquer outras imagens, a imagem IDR é usada como um ponto de acesso randômico.

Em uma unidade de acesso no caso do processamento de codificação comum, uma unidade de acesso é uma imagem. Entretanto, em uma unidade de acesso no caso do processamento de codificação independente, uma unidade de acesso é constituída por diversas imagens. Então, quando uma certa imagem de componente de cor é uma imagem IDR, supondo que as outras imagens de componente de cor restantes também são imagens IDR, uma unidade de acesso IDR é definida para assegurar uma função de acesso randômico.

Na seguinte explicação, informação de identificação (informação equivalente a uma marcação de identificação de modo comum de inter predição ou uma marcação de identificação de cabeçalho comum de macro bloco) indicando se a codificação pelo processamento de codificação comum é efetuada ou a codificação pelo processamento de codificação independente é executada, é referida como um sinal de identificação de codificação comum/codificação independente.

Na Figura 9, uma estrutura de um fluxo de bit que é gerado pelo codificador de acordo com a sétima realização e submetida a processamento de entrada e decodificação pelo decodificador de acordo com a sétima realização, é mostrada. Na figura, uma estrutura de fluxo de bit a partir de um nível de seqüência até um nível de quadro, é mostrada. Primeiramente, um sinal de identificação de codificação comum/codificação independente é multiplexado com um cabeçalho superior do nível de seqüência (no caso do AVC, SPS (conjunto de parâmetros de seqüência), etc.).

Quadros respectivos são codificados em uma unidade da unidade de acesso. Um AUD indica uma unidade NAL de Delimitador de Unidade de Acesso que é uma unidade NAL única para identificar uma interrupção da unidade de acesso no AVC. Quando o sinal de identificação de codificação comum/codificação independente indica "codificação de imagem pelo processamento de codificação comum", dados codificados para uma imagem são incluídos na unidade de acesso.

É suposto que a imagem neste caso consiste de dados representando um sinal de vídeo para um quadro no qual três componentes de cores são misturados conforme descrito acima. Neste caso, dados codificados de uma i-ésima unidade de acesso são constituídos como um conjunto de dados de setor Slice(i,j), e "j" é um índice de dados de setor em uma imagem.

Por outro lado, quando o sinal de identificação de codificação comum/codificação independente comum indica "codificação de imagem pelo processamento de codificação independente", uma imagem é um sinal de vídeo para um quadro de qualquer um dos componentes de cor. Neste caso, dados codificados de uma p-ésima unidade de acesso são constituídos como um conjunto de dados de setor Slice(p,q,r), de uma q-ésima imagem na unidade de acesso e "r" é um indica de dados de setor em uma imagem. No caso de um sinal de vídeo constituído por três componentes de cores tais como RGB, "q" é qualquer um dentre O, 1 e 2.

No caso por exemplo onde, quando dados adicionais tais como informação de permeabilidade para combinação alfa são codificados e decodificados como uma unidade de acesso idêntica em adição a um sinal de vídeo, incluindo as três cores primárias ou um caso em que, quando um sinal de vídeo constituído por componentes de cor (por exemplo, YMCK usados na impressão a cores) iguais ou mais de quatro componentes são codificados e decodificados, "q" pode ser maior que 3.

Se o processamento de codificação independente for selecionado, o codificador e o decodificador de acordo com a sétima realização, codifica respectivos componentes de cor constituindo um sinal de vídeo, inteiramente independentemente um do outro. Então, é possível mudas livremente o número de peças dos componentes de cor, sem trocar o processamento de codificação e decodificação, em princípio. Há um efeito que, mesmo quando um formato de sinal para efetuar representação de cor de um sinal de vídeo é mudado no futuro, é possível conviver com a mudança, com base no processamento de codificação independente de acordo com a sétima realização.

No sentido de realizar tal estrutura, na sétima realização, o sinal de identificação de codificação comum/codificação independente é representado como uma forma do "número de imagens incluídas em uma unidade de acesso e codificadas independentemente, sem serem submetidas a referência de predição de movimento uma à outra".

Um sinal de identificação de codificação comum/codificação independente 3 é referido como num_pictures_in_au abaixo. Em outras palavras, numjpictures_in_au = 1 indica o "processamento de codificação comum" e num_pictures_in_au = 3 indica o "processamento de codificação independente" de acordo com a sétima realização. Quando há quatro ou mais componentes de cor, numjpictures_in_au somente tem que ser ajustado para um valor maior do que 3.

Executando tal sinalização, se o decodificador decodifica e se refere a num_pictures_in_au, o decodificador pode não só distinguir dados codificados pelo processamento de codificação comum e dados codificados pelo processamento de codificação independente, mas também simultaneamente se instrui sobre quantas imagens do componente de cor único estão presentes em uma unidade de acesso. Então é possível tratar o processamento de codificação comum e o processamento de codificação independente de forma inconsútil em um fluxo de bit, enquanto torna-se possível cooperar com extensão da representação de cor de um sinal de vídeo no futuro.

Estruturas de fluxo de bit de dados de setor no caso do processamento de codificação comum e do processamento de codificação independente são mostradas na Figura 10. Em um fluxo de bit codificado pelo processamento de codificação independente, no sentido de atingir os efeitos descritos mais tarde, uma marcação de identificação de componente de cor (color_channel_idc) é dada a uma região de cabeçalho no topo dos dados de setor recebidos pelo decodificador, de tal modo que é possível identificar a qual imagem de componente de cor em uma unidade de acesso os dados de setor pertencem.

Color channeHdc agrupa setores tendo o mesmo valor de color_channel_idc. Em outras palavras, entre setores tendo diferentes valores de colorchannelidc, nenhuma dependência de codificação e decodificação (por exemplo, referência de predição de movimento, aprendizado de contexto de modelagem/probabilidade de ocorrência, etc. da CABAC (Codificação Aritmética Binária de Contexto Adaptivo) é dada. Color channel idc é o mesmo que colourJd de acordo com a primeira realização mostrada na parte

(d) da Figura 1 e é informação de mesma semântica.

Com tal prescrição, a independência das respectivas imagens em uma unidade de acesso no caso do processamento de codificação independente, é assegurada. Frame_num (uma ordem de processamento de codificação e decodificação de uma imagem a qual pertence um setor) multiplicado pelo respectivo cabeçalho de setor é ajustado para um valor idêntico em todas as imagens de componentes de cor em uma unidade de acesso.

Uma estrutura esquemática do codificador de acordo com a sétima realização é mostrada na Figura 11. Na figura, o processamento de codificação comum é executado em uma primeira unidade de codificação de imagem 102 e o processamento de codificação independente é executado na segunda unidade de codificação de imagem 104 (preparadas para três componentes de cores). Um sinal de vídeo 1 é fornecido à primeira unidade de codificação de imagem 102 ou uma unidade de separação de componente de cor 103 ou qualquer uma dentre as segundas unidades de codificação de imagem 104 para cada componente de cor por uma chave (SW) 100. A chave 100 é acionada por um sinal de identificação de codificação comum/codificação independente 101 e fornece o sinal de vídeo de entrada a um caminho designado.

A seguir, é feita descrição de um caso em que o sinal de identificação de codificação comum/codificação independente 101 (num_pictures_in_au) é um sinal multiplexado com um conjunto de parâmetro de seqüência quando um sinal de vídeo de entrada é um sinal do formato 4:4:4 e usado para selecionar o processamento de codificação comum e o processamento de codificação independente em uma unidade de seqüência.

Quando o processamento de codificação comum é usado, é necessário executar o processamento de decodificação comum no lado do decodificador. Quando o processamento de codificação independente é usado, é necessário executar o processamento de decodifícação independente no lado do decodificador. Então, é necessário multiplexar o sinal de identificação de codificação comum/codificação independente 101 com um fluxo de bit como informação designando o processamento. Portanto, o sinal de identificação de codificação comum/codificação independente 101 é inserido na unidade de multiplexação 105. Uma unidade da multiplexação do sinal de identificação de codificação comum/codificação independente 101 pode ser qualquer unidade tal como uma unidade do Grupo De Imagens (GOP) composta de vários grupos de imagem em uma seqüência, enquanto a unidade estiver em uma camada mais alta que as imagens.

No sentido de executar o processamento de codificação comum, a primeira unidade de codificação de imagem 102 divide o sinal de vídeo de entrada 1 nos macro blocos em um grupo de amostras de três componentes de cores conforme mostrado na Figura 6 e avança o processamento de codificação naquela unidade. O processamento de codificação na primeira unidade de codificação de imagem 102 será descrito mais tarde.

Quando o processamento de codificação independente é selecionado, o sinal de vídeo de entrada 1 é separado em dados para um quadro de CO, Cl e C2 na unidade de separação de componente de cor 103 e fornecido às segundas unidades de codificação de imagem 104 correspondentes a ela, respectivamente. As segundas unidades de codificação de imagem 104 dividem um sinal para um quadro separado para cada componente de cor nos macro blocos do formato mostrado na Figura 7 e avançam o processamento de codificação naquela unidade. O processamento de codificação nas segundas unidades de codificação de imagem será descrito mais tarde. Um sinal de vídeo para uma imagem composta de três componentes de cores é inserido na primeira unidade de codificação de imagem 102. Dados codificados são emitidos como um fluxo de bit 133. Um sinal de vídeo para uma imagem composta de componente de cor único é inserido nas segundas unidades de codificação de imagem 104. Dados codificados são emitidos como fluxos de bit 233a a 233c.

Estes fluxos de bit são multiplexados em um formato de um fluxo de bit 106 na unidade de multiplexação 105 com base em um estado do sinal de identificação de codificação comum/codificação independente 101 e emitidos. Em outras palavras, a unidade de multiplexação 105 multiplexa, com os fluxos de bits, dados codificados obtidos codificando independentemente sinais de imagem dos respectivos componentes de cor e um parâmetro indicando a quais dados de componente de cor os dados codificados correspondem.

Na multiplexação do fluxo de vídeo 106, na unidade de acesso no caso em que é efetuado processamento de codificação independente, é possível intercalar uma ordem de multiplexação e uma ordem de transmissão em um fluxo de bit de dados de setor entre imagens (respectivos componentes de cor) na unidade de acesso.

Figura 12 mostra um caso (a) no qual intercalamento de setor na unidade de acesso é impossível e um caso (b) no qual intercalamento de setor é possível. No caso (a) onde intercalamento de setor é impossível, é impossível multiplexar dados de imagem do componente Cl com um fluxo de bit até a codificação do componente CO ser completada e é impossível multiplexar dados de imagem do componente C2 com o fluxo de bit até que a codificação dos componentes CO, Cl seja completada. Entretanto, no caso (b) onde o intercalamento de setor é possível, é possível multiplexar imediatamente o componente Cl se um setor do componente CO é multiplexado com o fluxo de bit e é possível multiplexar imediatamente o componente C2 se um setor do componente CO e Cl é multiplexado com o fluxo de bit.

Neste caso, no lado do decodificador, é necessário decidir a qual componente de cor na unidade de acesso os dados de setor recebidos pertencem. Portanto, uma marcação de identificação de componentes de cor multiplexada com a região do cabeçalho do topo dos dados de setor, conforme mostrado na Figura 10, é usada. O conceito de intercalamento de setor da Figura 2 descrito aqui é equivalente ao conceito descrito na Figura 3.

Com tal estrutura, como no codificador na Figura 11, quando o codificador codifica as imagens dos três componentes de cores de acordo com o processamento paralelo usando três conjuntos de cada uma das segundas unidades de codificação de imagem independentes uma da outra, é possível transmitir dados codificados sem aguardar a conclusão dos dados codificados das outras imagens de componentes de cor, tão logo dados de setor de uma imagem da segunda unidade de codificação de imagem 104 sejam preparados.

No AVC, é possível dividir uma imagem em diversos dados de setor e codificar os dados de setor. E possível mudar flexivelmente uma extensão de dados de setor e o número de micro blocos incluídos em um setor, de acordo com condições de codificação.

Entre setores adjacentes um ao outro em um espaço de imagem, uma vez que a independência do processamento de decodificação para os setores é assegurada, é impossível usar contextos próximos tais como intra predição e codificação aritmética. Então, quanto maior a extensão dos dados de setor, mais alta é a eficiência de codificação.

Por outro lado, quando um erro é misturado em um fluxo de bit no decurso de uma transmissão e gravação, o retorno a partir do erro é mais cedo, pois a extensão dos dados de setor é menor e é mais fácil suprimir a deterioração na qualidade. Quando a extensão e a estrutura do setor, uma ordem dos componentes de cor e similares são fixados sem multiplexar a marcação de identificação de componente de cor, condições para gerar um fluxo de bit são fixadas no codificador. E impossível cooperar de modo flexível com várias condições requeridas para codificação.

Se é possível constituir o fluxo de bit conforme mostrado na Figura 2, no codificador, é possível reduzir um tamanho de meio de armazenagem temporária de transmissão necessário para transmissão, isto é, um retardo de processamento no lado do codificador.

Um estado da redução em um retardo de processamento é mostrado na Figura 11. Se a multiplexação de dados de setor através de imagem não é permitida, até que a codificação de uma imagem numeração certo componente de cor seja completada, o codificador necessita efetuar a armazenagem temporária dos dados codificados das outras imagens. Isto significa que um retardo ocorre em um nível de imagem.

Por outro lado, conforme mostrado na seção mais inferior da figura, se é possível efetuar intercalamento em um nível de setor, a unidade de codificação de imagem de um certo componente de cor pode emitir dados codificados para a unidade de multiplexação em uma unidade de dados de setor que pode suprimir o retardo.

Em uma imagem de componente de cor, dados de setor incluídos na imagem podem ser transmitidos em uma ordem de varredura de quadriculação de macro blocos ou podem ser constituídos de modo a tornar possível executar transmissão intercalada mesmo em uma imagem.

Operações da primeira unidade de codificação de imagem 102 e segunda unidade de codificação de imagem 104 serão posteriormente explicadas em detalhe.

Linhas gerais de operações da primeira unidade de codificação de imagem 102.

Uma estrutura interna da primeira unidade de codificação de imagem 102 é mostrada na Figura 13. Na figura, o sinal de vídeo de entrada 1 é inserido no formato 4:4:4 e em uma unidade do macro bloco em um grupo de três componentes de cor no formato da Figura 6.

Primeiramente, a unidade de predição 110 seleciona uma imagem de referência além dos dados de imagem de referência de predição de compensação de movimento armazenados na memória 111 e efetua o processamento de predição de compensação de movimento em uma unidade do macro bloco. E possível armazenar diversas peças de dados de imagem de referência constituídas por três componentes de cores ao longo de diversas vezes. A unidade de predição 110 seleciona uma imagem de referência ótima em uma unidade do macro bloco além dos dados de imagem de referência e executa predição de movimento.

Como o arranjo dos dados de imagem de referência na memória 111, os dados de imagem de referência podem ser separadamente armazenados para cada um dos componentes de cor de uma maneira seqüencial plana ou amostras dos respectivos componentes de cor podem ser armazenadas de uma maneira seqüencial de pontos. Sete tipos são preparados como tamanhos de bloco para efetuar predição de compensação de movimento. Primeiramente, é possível selecionar um tamanho de qualquer um dentre 16x16, 16x8, 8x16 e 8x8 em unidades de macro bloco. Ainda mais, quando é selecionado 8x8, é possível selecionar um tamanho dentre 8x8, 8x4, 4x8 e 4x4 para cada bloco 8x8.

A unidade de predição 110 executa, para cada tamanho de macro bloco, o processamento de predição de compensação de movimento em todos ou parte dos tamanhos de blocos de 16x16, 16x8, 8x16 e 8x8, os tamanhos de sub blocos de 8x8, 8x4, 4x8 e 4x4, vetores de movimento em uma faixa de busca predeterminada e uma ou mais imagens de referência utilizáveis. A unidade de predição 110 obtém um sinal diferencial de predição 114 para cada bloco servindo como uma unidade de predição de compensação de movimento usando os vetores de movimento, e informação de identificação de imagem de referência 112 e um sub trator 113 usado para a predição.

A eficiência de predição do sinal diferencial de predição 114 é avaliada em uma unidade de julgamento de modo de codificação 115. A unidade de julgamento de modo de codificação 115 emite um tipo de macro bloco/tipo de sub macro bloco 116 e a informação de identificação de imagem de vetor/referência de movimento 112, com a qual eficiência de predição ótima é obtida para um macro bloco a ser previsto, além do processamento de predição executado na unidade de predição 110.

Todas as peças de informação de cabeçalho de macro bloco tais como tipos de macro bloco, tipos de sub macro bloco, índice de imagem de referência e vetores de movimento são determinados como informação de cabeçalho comum aos três componentes de cor, usados para codificar e multiplexados com um fluxo de bit.

Na avaliação da eficiência de predição ótima, para a finalidade de controlar uma quantidade de operação aritmética, uma quantidade de erro de predição para um componente de cor predeterminado (por exemplo, componente G de RGB ou componente Y de YUV) pode ser avaliada. Alternativamente, embora uma quantidade de operação aritmética seja aumentada, no sentido de obter desempenho de predição ótimo, uma quantidade de erro de predição para todos os componentes de cor pode ser compreensivamente avaliada. Na seleção final do tipo de macro bloco/tipo de sub macro bloco 116, um coeficiente de ponderação 118 para cada tipo decidido no julgamento por uma unidade de controle de codificação 117 pode ser levado em conta.

Similarmente, a unidade de predição 110 também executa intra predição. Quando a intra predição é executada, a informação de modo de intra predição é emitida para o sinal 112. Na seguinte explicação, quando a intra predição e a predição de compensação de movimento não são especificamente distinguidos, como o sinal de saída 112, a informação de modo de intra predição, a informação de vetor de movimento, o número de identificação de imagem de referência são coletivamente referidos como informação de sobrecarga de predição. Com referência à intra predição, uma quantidade de erro de predição somente para um componente de cor predeterminado pode ser avaliada, ou uma quantidade de erro de predição para todos os componentes de cor pode ser compreensivamente avaliada. Finalmente, a unidade de predição 110 seleciona a intra predição ou a inter predição do tipo de macro bloco, avaliando o tipo de macro bloco de acordo com a eficiência de predição ou eficiência de codificação na unidade de julgamento de modo de codificação 115.

A unidade de predição 110 emite o tipo de macro bloco/tipo de sub macro bloco 116 selecionado e o sinal diferencial de predição 114 obtido pela intra predição e a predição de compensação de movimento baseada na informação de sobrecarga de predição 112 para uma unidade de transformação 119. A unidade de transformação 119 transforma o sinal diferencial de predição 114 inserido e emite o sinal diferencial de predição 114 para uma unidade de quantização 120 como um coeficiente de transformação. Neste caso, um tamanho de um bloco servindo como uma unidade para transformação pode ser selecionado dentre 4x4 e 8x8. Quando o tamanho do bloco de transformação é tomado selecionável, um tamanho de bloco selecionado no instante da codificação é refletido em um valor de uma marcação de designação de tamanho de bloco de transformação 134 e a marcação é multiplexada com o fluxo de bit.

A unidade de quantização 120 quantiza o coeficiente de transformação inserido com base em um parâmetro de quantização 121 decidido pela unidade de controle de codificação 117 e emite o coeficiente de transformação para uma unidade de codificação de extensão variável 123 como um coeficiente de transformação quantizado 122. O coeficiente de transformação quantizado 122 inclui informação para os três componentes de cores e codificados por entropia por codificação de Huffman, codificação aritmética ou similar na unidade de codificação de extensão variável 123.

O coeficiente de transformação quantizado 122 é restaurado para um sinal diferencial de predição de decodificação local 126 através de uma unidade de quantização inversa 124 e uma unidade de transformada inversa 125. O coeficiente de transformação quantizado 122 é adicionado a uma imagem de predição 127 gerada com base no tipo de macro bloco/tipo de sub macro bloco 116 e informação de sobrecarga de predição 112 por um somador 128. Conseqüentemente, uma imagem decodificada local 129 é gerada. Após ser submetida a processamento de remoção de distorção de bloco em um filtro de desbloqueio 130, a imagem decodificada local 129 é armazenada na memória 111 a ser usada no processamento de predição de compensação de movimento seguinte.

Uma marcação de controle de filtro de desbloqueio 131 indicando se um filtro de desbloqueio é aplicado ao macro bloco é também inserida na unidade de codificação de extensão variável 123.

O coeficiente de transformação quantizado 122, o tipo de macro bloco/tipo de sub macro bloco 116a informação de sobrecarga de predição 112 e o parâmetro de quantização 121 inseridos na unidade de codificação de extensão variável 123 são arranjados e conformados como um fluxo de bit de acordo com uma regra predeterminada (sintaxe) e emitidos para uma armazenagem temporária de transmissão 132 como dados codificados por unidade NAL em uma unidade de dados de setor em um ou em um grupo de diversos macro blocos do formato mostrado na Figura 6.

A armazenagem temporária de transmissão 17 suaviza o fluxo de bit de acordo com uma faixa de uma linha de transmissão à qual o codificador é conectado e a velocidade de leitura de um meio de gravação, e emite o fluxo de bit como um fluxo de bit 133. A armazenagem temporária de transmissão 17 aplica realimentação à unidade de controle de codificação 117 de acordo com o estado de acumulação de fluxos de bits na armazenagem temporária de transmissão 133 e controla uma quantidade de códigos gerados nos quadros de codificação de vídeo seguintes.

Uma saída da primeira unidade de codificação de imagem 102 é um setor de uma unidade de três componentes e é equivalente a uma quantidade de códigos em uma unidade de um grupo de unidades de acesso. Então, a armazenagem temporária de transmissão 132 pode ser arranjada na unidade de multiplexação 105 como é.

Na unidade de codificação de imagem 102 de acordo com a sétima realização é possível decidir que todos os dados de setor em uma seqüência consistem de um setor no qual CO, Cl e C2 são mixados (isto é, setor no qual peças de informação dos três componentes de cores são mixados) de acordo com o sinal de identificação de codificação comum/codificação independente 101. Então, uma marcação de identificação de componente de cor não é multiplexada com um cabeçalho de setor.

Linhas gerais de operações da segunda unidade de codificação de imagem 104.

Uma estrutura interna da segunda unidade de codificação de imagem 104 é mostrada na Figura 14. Uma explicação da Figura H é criada desviando a explicação da Figura 1 em 557769JP03. Entretanto, alguns numerais de referência não são trocados a partir daqueles na Figura 1. Na figura, é suposto que um sinal de vídeo de entrada Ia é inserido em uma unidade de macro bloco composta de uma amostra de um único componente de cor do formato mostrado na Figura 7.

Primeiramente, a unidade de predição 210 seleciona uma imagem de referência além dos dados de imagem de referência de predição de compensação de movimento armazenados na memória 211 e efetua o processamento de predição de compensação de movimento em uma unidade do macro bloco. E possível armazenar diversas peças de dados de imagem de referência constituídas por um único componente de cor através de diversas vezes (o ponto é que o componente de cor único é ajustado como um objeto de processamento de codificação. Uma diferença na aparência da Figura H e Figura I é o número de planos na memória 16). A unidade de predição 210 seleciona uma imagem de referência ótima em uma unidade do macro bloco além dos dados de imagem de referência e executa predição de movimento.

As memórias 211 em uma unidade de um grupo dos três componentes de cor podem ser comumente usadas com as memórias correspondentes 111. Sete tipos são preparados com tamanhos de blocos para efetuar predição de compensação de movimento. Primeiramente, é possível selecionar um tamanho em qualquer um dentre 16x16, 16x8, 8x16 e 8x8 em unidades de macro bloco. Ainda mais, quando 8x8 é selecionado, é possível selecionar um tamanho de qualquer um dentre 8x8, 8x4, 4x8 e 4x4 para cada bloco 8x8.

A unidade de predição 210 executa, para cada tamanho de macro bloco, o processamento de predição de compensação de movimento em todos ou parte dos tamanhos de bloco de 16x16, 16x8, 8x16 e 8x8, os tamanhos de sub bloco de 8x8, 8x4, 4x8 e 4x4, vetores de movimento em uma faixa de busca predeterminada, e uma ou mais imagens de referência utilizáveis. A unidade de predição 210 obtém um sinal diferencial de predição 214 para cada bloco servindo como uma unidade de predição de compensação de movimento usando os vetores de movimento, e um índice de imagem de referência 212 e um sub trator 213 usado para a predição.

A eficiência de predição do sinal diferencial de predição 214 é avaliada em uma unidade de julgamento de modo de codificação 215. A unidade de julgamento de modo de codificação 215 emite um tipo de macro bloco/tipo de sub macro bloco 216 e o índice de imagem de vetor/referência de movimento 212 com o qual eficiência de predição ótima é obtida para um macro bloco a ser prevista, além do processamento de predição executado na unidade de predição 210. Todas as peças de informação de cabeçalho de macro bloco tais como tipos de macro bloco, tipos de sub macro bloco, índices de imagem de referência e vetores de movimento são determinados como informação de cabeçalho com respeito ao componente de cor único do sinal de vídeo de entrada la, usado para codificar e multiplexado por um fluxo de bit.

Na avaliação de eficiência de predição ótima, somente uma quantidade de erro de predição para um componente de cor único a ser submetido a processamento de codificação é avaliada. Na seleção final do tipo de macro bloco/tipo de sub macro bloco 216, um coeficiente de ponderação 218 para cada tipo decidido no julgamento por uma unidade de controle de codificação 217 pode ser levado em conta.

Similarmente, a unidade de predição 210 também executa a intra predição. A unidade de predição 110 é um bloco que executa ambas intra predição e inter predição. No instante da execução da intra predição, informação de modo de intra predição é emitida para o sinal 212. Na seguinte explicação, quando a intra predição e a predição de compensação de movimento não é particularmente distinguida, o sinal 212 é referido como informação de sobrecarga de predição. Também, referente à intra predição, apenas uma quantidade de erro de predição para um único componente de cor a ser submetido a processamento de codificação é avaliada. Finalmente, a unidade de predição 210 seleciona a intra predição ou a inter predição do tipo de macro bloco, avaliando o tipo de macro bloco de acordo com a eficiência de predição ou eficiência de codificação na unidade de julgamento de modo de codificação 115.

A unidade de predição 210 emite o tipo de macro bloco/tipo de sub macro bloco 216 selecionado e o sinal diferencial de predição 214 obtido pela informação de sobrecarga de predição 212 para uma unidade de transformada 219. A unidade de transformada 219 transforma o sinal diferencial de predição 214 inserido para uma unidade de quantização 220 como um coeficiente de transformação. Neste, um tamanho de um bloco servindo como uma unidade para transformação pode ser selecionado dentre 4x4 e 8x8. Quando a seleção é tornada possível, um tamanho de bloco selecionado no instante da codificação é refletido em um valor de uma marcação de designação de tamanho de bloco de transformação 234 e a marcação é multiplexada com o fluxo de bit.

A unidade de quantização 220 quantiza o coeficiente de transformação inserido com base em um parâmetro de quantização 221 decidido pela unidade de controle de codificação 217 e emite o coeficiente de transformada para uma unidade de codificação de extensão variável 223 como um coeficiente de transformação quantizado 222. O coeficiente de transformação quantizado 222 inclui informação para o componente único de cor e codificado por entropia por meio de codificação de Huffman, codificação aritmética ou similar na unidade de codificação de extensão variável 223.

O coeficiente de transformação quantizado 222 é restaurado para um sinal diferencial de predição de decodificação local 226 através de uma unidade de quantização inversa 224 e uma unidade de transformada inversa 225. O coeficiente de transformação quantizado 222 é adicionado a uma imagem prevista 227 gerada com base no tipo de macro bloco/tipo de sub macro bloco 216 e informação de sobrecarga de predição 212 por um somador 221. Conseqüentemente, uma imagem decodificada local 229 é gerada.

Após ser submetida a processamento de remoção de distorção de bloco em um filtro de desbloqueio 230, a imagem decodificada local 229 é armazenada na memória 211 a ser usada no seguinte processamento de predição de compensação de movimento. Uma marcação de controle de filtro de desbloqueio 231 indicando se um filtro de desbloqueio é aplicado ao macro bloco é também inserida na unidade de codificação de extensão variável 223.

O coeficiente de transformação quantizado 222, o tipo de macro bloco/tipo de sub macro bloco 216, a informação de sobrecarga de predição 212 e o parâmetro de quantização 221 inseridos na unidade de codificação de extensão variável 223 são arranjados e conformados como um fluxo de bit de acordo com uma regra predeterminada (sintaxe) e emitidos para uma armazenagem temporária de transmissão 232 como dados codificados de unidade NAL em uma unidade de dados de setor em um dentre um grupo de diversos macro blocos do formato mostrado na Figura 7.

A armazenagem temporária de transmissão 232 suaviza o fluxo de bit de acordo com uma faixa de uma linha de transmissão à qual o codificador é conectado e a velocidade lida de um meio de gravação, e emite o fluxo de bit como um fluxo de vídeo 233. A armazenagem temporária de transmissão 232 aplica realimentação à unidade de controle de codificação 217 de acordo com um estado de acumulação de fluxos de bit na armazenagem temporária de transmissão 232 e controla uma quantidade de códigos gerados na codificação seguinte de quadros de vídeo.

Uma saída da segunda unidade de codificação de imagem 104 e um setor composto somente de dados de um componente de cor único. Quando o controle de uma quantidade de códigos em uma unidade de um grupo de unidades de acesso é necessário, uma armazenagem temporária de transmissão comum em uma unidade de setores multiplexados de todos os componentes de cor pode ser provida na unidade de multiplexação 105 para aplicar realimentação à unidade de controle de codificação 217 dos respectivos componentes de cor com base em uma quantidade de ocupação da armazenagem temporária.

Neste caso, o controle de codificação pode ser efetuado usando apenas uma quantidade de informação na geração de todos os componentes de cor ou pode ser efetuado levando em conta um estado da armazenagem temporária de transmissão 232 de cada um dos componentes de cor. Quando o controle de codificação é efetuado usando apenas uma quantidade de informação na geração dos componentes de cor, é também possível realizar uma função equivalente à armazenagem temporária de transmissão 232 com a armazenagem temporária de transmissão comum na unidade de multiplexação 105 e omitir a armazenagem temporária de transmissão 232.

Na segunda unidade de codificação de imagem 104 de acordo com a sétima realização, é possível decidir que todos os dados de setor em uma seqüência são um único setor de componente de cor (por exemplo, um setor CO, um setor Cl ou um setor C2) de acordo com o sinal de identificação de codificação comum/codificação independente 101. Então, uma marcação de identificação de componente de cor é sempre multiplexada com um cabeçalho de setor para tornar possível decidir, no lado do decodificador, qual setor corresponde a quais dados de imagem em uma unidade de acesso.

Portanto, as respectivas segundas unidades de codificação de imagem 104 podem transmitir saídas das respectivas armazenagens temporárias de transmissão 232 em um ponto no qual dados para um setor são acumulados sem acumular as saídas para uma imagem.

A primeira unidade de codificação de imagem 102 e as segundas unidades de codificação de imagem 104 são apenas diferentes se a informação de cabeçalho de macro bloco é tratada como informação comum aos três componentes ou tratada como informação de um único componente de cor e uma estrutura de fluxo de bit de dados de setor. É possível realizar a maior parte dos blocos de processamento básicos tais como as unidades de predição, as unidades de transformação e as unidades de transformação inversa, as unidades de quantização e as unidade de quantização inversa, e os filtros de desbloqueio mostrados nas Figuras 13 e 14 podem ser realizados em blocos funcionais comuns à primeira unidade de codificação de imagem 102 e segundas unidades de codificação de imagem 104, somente com uma diferença de que a informação dos três componentes de cores é processada coletivamente ou apenas informação de um único componente de cor é tratada.

Portanto, é possível realizar implementação não só da unidade de processamento de codificação completamente independente na Figura 11, como também vários codificadores, combinando apropriadamente os componentes básicos mostrados nas Figuras 13 e 14. Se o arranjo da memória 111 na primeira unidade de codificação de imagem 102 é provido de uma forma seqüencial plana, é possível compartilhar a estrutura da memória de armazenagem de imagem de referência entre a primeira unidade de codificação de imagem 102 3 a segunda unidade de codificação de imagem 104.

Embora não mostrado na figura, no decodificador de acordo com esta realização, supondo a presença de uma armazenagem temporária de fluxo imaginário (uma armazenagem temporária de imagem de codificação)que armazena temporariamente o fluxo de vídeo 106 em conformidade com os arranjos mostrados nas Figuras 9 e 10 e uma memória de quadro imaginária (uma armazenagem temporária de imagem de decodificação) que armazena temporariamente imagens decodificadas 313a e 313b, o fluxo de vídeo 106 é gerado para evitar um "overflow" ou um "underflow" da armazenagem temporária de imagem de codificação e uma falha da armazenagem temporária de imagem de decodificação. O controle é principalmente efetuado pelas unidades de controle de codificação 117 e 217.

Conseqüentemente, quando o fluxo de vídeo 106 é decodificado de acordo com operações (modelos de armazenagem temporária imaginários) da armazenagem temporária de imagem de codificação e a armazenagem temporária de imagem de decodificação no decodificador, é garantido que uma falha não ocorre no decodificador. Os modelos de armazenagem temporária imaginários são definidos abaixo.

Operações da armazenagem temporária de imagem de codificação são efetuadas em unidades de uma unidade de acesso. Conforme descrito acima, quando o processamento de decodificação comum é efetuado, dados codificados de uma imagem são incluídos em uma unidade de acesso. Quando o processamento de decodificação independente é efetuado, dados codificados de imagens para o número de componentes de cor (para três imagens no caso de três componentes) são incluídos em uma unidade de acesso.

Operações definidas para a armazenagem temporária de imagem de codificação consistem no tempo quando um primeiro bit e um último bit da unidade de acesso é inserido na armazenagem temporária de imagem de codificação e tempo quando um bit da unidade de acesso é lido a partir da armazenagem temporária de imagem de codificação. É definido que a leitura a partir da armazenagem temporária de imagem de codificação é instantaneamente efetuada. É suposto que todos os bits da unidade de acesso são lidos a partir da armazenagem temporária de imagem de codificação ao mesmo tempo.

Quando um bit da unidade de acesso é lido a partir da armazenagem temporária de imagem de codificação, o bit é inserido em uma unidade de análise de cabeçalho superior. Conforme descrito acima, o bit é submetido a processamento de decodificação na primeira unidade de decodificação de imagem ou segunda unidade de decodificação de imagem e emitido como um quadro de vídeo de cor empacotado em unidades de uma unidade de acesso. O processamento a partir da leitura de um bit a partir da armazenagem temporária de imagem de codificação e saída da imagem como um quadro de vídeo de cor em unidades de uma unidade de acesso é instantaneamente efetuado em termos da definição do modelo de armazenagem temporária imaginária. O quadro de vídeo de cor constituído em unidades de uma unidade de acesso é inserido na armazenagem temporária de imagem de decodificação e o tempo de saída do quadro de vídeo de cor a partir da armazenagem temporária de imagem de decodificação é calculado. O tempo de saída a partir da armazenagem temporária de imagem de decodificação é um valor calculado adicionando um tempo de retardo predeterminado ao tempo de leitura a partir da armazenagem temporária de imagem de codificação.

E possível multiplexar este tempo de retardo com o fluxo de bit para controlar o decodificador. Quando o tempo de retardo é 0, isto é, quando o tempo de saída da armazenagem temporária de imagem de decodificação é igual ao tempo de leitura a partir da imagem de codificação, o quadro de vídeo de cor é inserido na armazenagem temporária de imagem de decodificação e simultaneamente emitido a partir da armazenagem temporária de imagem de decodificação.

Em outros casos, isto é, quando o tempo de saída a partir da armazenagem temporária de imagem de decodificação é posterior ao tempo de leitura da armazenagem temporária de imagem de codificação, o quadro de vídeo de cor é armazenado na armazenagem temporária de imagem de decodificação até que o tempo de saída a partir da armazenagem temporária de imagem de decodificação venha. Conforme descrito acima, operações a partir da armazenagem temporária de imagem de decodificação são definidas em unidades de uma unidade de acesso.

Uma estrutura esquemática do decodificador de acordo com a sétima realização é mostrada na Figura 15. Na figura, processamento de decodificação comum é executado em uma primeira unidade de decodificação de imagem 302. O processamento de decodificação independente é executado em uma unidade de julgamento de componente de cor 303 e segundas unidades de decodificação de imagem 304 (preparadas para três componentes de cores).

O fluxo de bit 106 é dividido em unidades de uma unidade NAL em uma unidade de análise de cabeçalho superior 300. Informação de cabeçalho superior tal como um conjunto de parâmetro de seqüência e um conjunto de parâmetro de imagens é decodificada como é e armazenada em uma área de memória predeterminada na qual a primeira unidade de decodificação de imagem 302, a unidade de julgamento de componente de cor 303 e as segundas unidades de decodificação de imagem 304 são capazes de se referir à informação de cabeçalho superior. O sinal de identificação de codificação comum/codificação independente (num_pictures_in_au) multiplexado em unidades de seqüência é decodificado e mantido como uma parte da informação de cabeçalho superior.

O num_pictures_in_au decodificado é fornecido a uma chave (SW) 301. Se numjpictures_in_au = 1, a chave 301 fornece uma unidade NAL de setor para cada imagem à primeira unidade de decodificação de imagem 302. Se, num_pictures_in_au = 3, a chave 301 fornece a unidade NAL de setor à unidade de julgamento de componente de cor 303.

Em outras palavras, se num_pictures_in_au = 1, o processamento de decodificação comum é efetuado pela primeira unidade de decodificação de imagem 302. Se, num_pictures_in_au = 3, o processamento de decodificação independente é efetuado pelas três segundas unidades de decodificação de imagem 304. Operações detalhadas da primeira e segunda unidades de decodificação de imagem serão descritas mais tarde.

A unidade de julgamento de componente de cor 303 é o meio de detecção para detectar um parâmetro indicando a qual componente de cor os dados decodificados correspondem. A unidade de julgamento de componente de cor 303 decide a qual imagem de componente de cor em uma unidade de acesso presente corresponde uma unidade NAL de setor de acordo com um valor da marcação de identificação de componente de cor mostrada na Figura 10 e distribui e fornece a unidade NAL de setor a uma segunda unidade de decodificação de imagem 304 apropriada.

Com tal estrutura de decodificador, há um efeito que, mesmo se um fluxo de bit obtido intercalando e codificando um setor na unidade de acesso, conforme mostrado na Figura 12, é recebido, é possível julgar facilmente qual setor pertence a qual imagem de componente de cor e decodificar corretamente o fluxo de bit.

Linhas gerais das operações da primeira unidade de decodificação de imagem 302.

Uma estrutura interna da primeira unidade de decodificação de imagem 302 é mostrada na Figura 16. A primeira unidade de decodificação de imagem 302 recebe o fluxo de bit 106 conforme aos arranjos mostrados nas Figuras 9 e 10, que é emitido a partir do codificador mostrado na Figura 11, em uma unidade de um setor misto de CO, Cl e C2. A primeira unidade de decodificação de imagem 302 efetua processamento de decodificação com um macro bloco composto de amostras dos três componentes de cores mostrado na Figura 6 e restaura um quadro de vídeo de saída.

O fluxo de bit 106 é inserido em uma unidade de decodificação de extensão variável 310. A unidade de decodificação de extensão variável 310 interpreta o fluxo de bit 106 de acordo com uma regra predeterminada (sintaxe) e extrai o coeficiente de transformação quantizado 122 para os três componente e informação de cabeçalho de macro bloco (o tipo de macro bloco/tipo de sub macro bloco 116), a informação de sobrecarga de predição 112, a marcação de designação de tamanho de bloco de transformação 134 e o parâmetro de quantização 121) comumente usados para os três componentes. O coeficiente de transformação quantizado 122 é inserido na unidade de quantização inversa 124 que efetua o mesmo processamento que o da primeira unidade de codificação de imagem 102, juntamente com o parâmetro de quantização 121 e submetido a processamento de quantização inverso.

Subseqüentemente, uma saída da unidade de quantização inversa 124 é inserida na unidade de transformada inversa 125 que efetua o mesmo processamento que o da primeira unidade de codificação de imagem 102, e restaurado para o sinal diferencial de predição de decodificação local 126 (se a marcação de designação de tamanho de bloco de transformação 134 está presente no fluxo de bit 106, a marcação de designação de tamanho de bloco de transformação 134 é referida na etapa de quantização inversa e etapa de processamento de transformada inversa.

Por outro lado, somente o processamento de referir-se à informação de sobrecarga de predição 112 para gerar a imagem de predição 127 na unidade de predição 110 na primeira unidade de codificação de imagem 102 é incluído na unidade de predição 311. O tipo de macro bloco/tipo de sub macro bloco 116 e a informação de sobrecarga de predição 112 são inseridos na unidade de predição 311 para obter a imagem de predição 127 para os três componentes.

Quando o tipo de macro bloco indica a intra predição, a imagem de predição 127 para os três componentes é obtida a partir da informação de sobrecarga de predição 112 de acordo com a informação de modo de intra predição. Quando o tipo de macro bloco indica a inter predição, a imagem de predição 127 para os três componentes é obtida a partir da informação de sobrecarga de predição 112 de acordo com o vetor de movimento e índice de imagem de referência.

O sinal diferencial de predição de decodificação local 126 e a imagem de predição 127 são adicionados pelo somador 128 para obter a imagem decodificada provisória 129 para os três componentes. Uma vez que a imagem decodificada provisória 129 é usada para predição de compensação de movimento dos macro blocos seguintes, após o processamento de remoção de distorção de bloco ser aplicado a amostras de imagem decodificada provisórias para os três componentes no filtro de desbloqueio 130, que executa o mesmo processamento que o da primeira unidade de codificação de imagem 102, a imagem decodificada provisória 129 é emitida como uma imagem decodificada 313 e armazenada numa memória 312.

Neste caso, o processamento de filtro de desbloqueio é aplicado à imagem decodificada provisória 129 com base em uma instrução da marcação de controle de filtro de desbloqueio 131 interpretada pela unidade de decodificação de extensão variável 310. Diversas peças de dados de imagem de referência constituídas pelos três componentes de cor através de diversas vezes, são armazenadas na memória 312.

A unidade de predição 311 seleciona uma imagem de referência indicada por um índice de imagem de referência extraído de um fluxo de bit em uma unidade de um macro bloco além dos dados de imagem de referência e gera uma imagem de predição. Como o arranjo dos dados da imagem de referência na memória 312, os dados de imagem de referência podem ser armazenados separadamente para cada um dos componentes de cor de uma maneira seqüencial plana ou amostras dos respectivos componentes de cor podem ser armazenadas de uma maneira seqüencial em pixel. A imagem decodificada 313 inclui os três componentes de cores e um quadro diretamente trocado para vídeo de cor constituindo uma unidade de acesso 313a no processamento de decodificação comum.

Linhas gerais das operações da segunda unidade de decodificação de imagem 304

Uma estrutura interna da segunda unidade de decodificação de imagem 304 é mostrada na Figura 17. A segunda unidade de decodificador de imagem 304 recebe o fluxo de bit 106 conforme aos arranjos nas Figuras 9 e 10 emitidos a partir do decodificador mostrado na Figura 11 em uma unidade de uma unidade NAL de setor CO, Cl ou C2 450 alocada pela unidade de julgamento de componente de cor 303, efetua processamento de decodificação com o macro bloco composto da amostra do componente de cor único mostrado na Figura 7 como uma unidade, e restaura um quadro de vídeo de entrada.

O fluxo de bit 450 é inserido em uma unidade de decodificação de extensão variável 410. A unidade de decodificação de extensão variável 410 interpreta o fluxo de bit 450 de acordo com uma regra predeterminada (sintaxe) e extrai um coeficiente de transformação quantizado 222 para o componente de cor único e informação de cabeçalho de macro bloco (o tipo de macro bloco/tipo de sub macro bloco 216, a informação de sobrecarga de predição 212, uma marcação de designação de tamanho de bloco de transformação 234 e um parâmetro de quantização 221) comumente usados para componente de cor único.

O coeficiente de transformação quantizado 222 é inserido em uma unidade de quantização inversa 224, que executa o mesmo processamento que o da segunda unidade de codificação de imagem 104, juntamente com o parâmetro de quantização 221 e submetido a processamento de quantização inverso. Subseqüentemente, uma saída da unidade de quantização inversa 224 é inserida em uma unidade de transformada inversa 225, que executa o mesmo processamento da segunda unidade de codificação de imagem 104, e restaurado para um sinal diferencial de predição de decodificação local 226 (se a marcação de designação de tamanho de bloco de transformação 234 está presente no fluxo de bit 450, a marcação de designação de tamanho de bloco de transformação 234 é referida na etapa de quantização inversa e etapa de processamento de transformada inversa).

Por outro lado, somente o processamento de referir-se à informação de sobrecarga de predição 212 para gerar a imagem de predição 227 na unidade de predição 210 na segunda unidade de codificação de imagem 104 é incluído na unidade de predição 411. O tipo de macro bloco/tipo de sub macro bloco 216 e a informação de sobrecarga de predição 212 são inseridos na unidade de predição 411 para obter a imagem de predição 227 para o componente de cor único.

Quando o tipo de macro bloco indica a intra predição, a imagem de predição 227 para o componente de cor único é obtida a partir da informação de sobrecarga de predição 212 de acordo com a informação de modo de intra predição. Quando o tipo de macro bloco indica a inter predição, a imagem de predição 227 para o componente de cor único é obtida a partir da informação de sobrecarga de predição 212 de acordo com o vetor de movimento e índice de imagem de referência.

O sinal diferencial de predição de decodificação local 226 e a imagem de predição 227 são adicionados por um somador 228 para obter a imagem decodificada provisória 229 para o macro bloco de componente de cor único. Uma vez que a imagem decodificada provisória 229 é usada para predição de compensação de movimento dos macro blocos seguintes, após o processamento de remoção de distorção de bloco ser aplicado a amostras de imagem decodificada provisórias para o componente de cor único em um filtro de desbloqueio 230, que executa o mesmo processamento que o da segunda unidade de codificação de imagem 104, a imagem decodificada provisória 229 é emitida como uma imagem decodificada 451 e armazenada em uma memória 412.

Neste caso o processamento de filtro de desbloqueio é aplicado à imagem decodificada provisória 229 com base em uma instrução da marcação de controle de filtro de desbloqueio 231 interpretada pela unidade de decodificação de extensão variável 410. A imagem decodificada 410 inclui somente uma amostra de um único componente de cor e é constituída como um quadro de vídeo de cor por empacotamento, em unidades da unidade de acesso 313b, saídas das outras segundas unidades de decodificação de imagem 304 respectivas a serem submetidas a processamento paralelo na Figura 15.

Como é evidente do acima, a primeira unidade de decodificação de imagem 302 e a segunda unidade de decodificador de imagem 304 são apenas diferentes em que a informação de cabeçalho de macro bloco é tratada como informação comum aos três componentes ou tratada como informação do único componente de cor e em uma estrutura de fluxo de bit de dados de setor. É possível realizar a maior parte dos blocos de processamento de decodificação básicos tal como o processamento de predição de compensação de movimento, a transformada inversa e a quantização inversa mostrada nas Figuras 13 e 14 e blocos funcionais comuns à primeira unidade de decodificação de imagem 302 e às segundas unidades de decodificação de imagem 304.

Portanto, é possível realizar implementação não só da unidade de processamento de decodificação completamente independente mostrada na Figura 15, como também vários decodificadores por combinar apropriadamente os componentes básicos mostrados nas Fig. 16 e 17. Entretanto, é impossível descrever todas as estruturas específicas de vários decodificadores no presente ponto... Adicionalmente, se o arranjo da memória 312 na primeira unidade de decodificação de imagem 302 é provido de uma maneira seqüencial plana, é possível compartilhar as estruturas das memórias 312 e 412 entre a primeira unidade de decodificação de imagem 302 e a segunda unidade de decodificador de imagem 304.

E desnecessário dizer, o decodificador mostrado na Figura 15 é capaz de receber e decodificar um fluxo de bit emitido a partir de um codificador constituído para sempre reparar o sinal de identificação de codificação comum/codificação independente 3 para o "processamento de codificação independente" e codificar independentemente todos os quadros sem usar a primeira unidade de codificação de imagem 102 de todo, como uma outra forma do decodificador mostrado na Figura 11. Como uma outra forma do decodificador mostrado na Figura 15, em uma forma de uso na condição de que o sinal de identificação de codificação comum/codificação independente 3 está sempre fixado ao "processamento de codificação independente", o decodificador pode ser constituído como um decodificador que não inclui a chave 301e a primeira unidade de decodificação de imagem 302 e somente efetua o processamento de codificação independente.

Se a primeira unidade de decodificação de imagem 302 inclui uma função para decodificar um fluxo de bit conforme ao AVC de alto perfil no qual os três componentes são coletivamente codificados com o YUV (um sinal para um formato representando uma cor usando três peças de informação de um sinal de luminância (Y), uma diferença (U) entre o sinal de luminância e um componente azul, e uma diferença (V) entre o sinal de luminância e um componente vermelho) formato 4:2:0 como um objeto e a unidade de análise de cabeçalho superior 300 julga por qual formato um fluxo de bit é codificado com referência a um identificador de perfil decodificado a partir do fluxo de bit 106 e comunica um resultado do julgamento à chave 301 e primeira unidade de decodificação de imagem 302 como uma parte de informação de uma linha de sinal do sinal de identificação de codificação comum/codificação independente 3, é também possível constituir um decodificador que assegura compatibilidade do formato 4:2:0 YUV convencional com o fluxo de bit.

Na primeira unidade de codificação de imagem 102, na sétima realização, as peças de informação dos três componentes de cores são mixadas nos dados de setor e completamente o mesmo processamento intra/inter predição é aplicado aos três componentes de cores. Conseqüentemente, uma correlação de sinal entre os componentes de cor pode permanecer em um espaço de sinal de erro de predição.

Como um instrumento para remover a correlação de sinal, por exemplo, ο processamento de transformação de espaço de cor pode ser aplicado a um sinal de erro de predição. Exemplos da primeira unidade de codificação de imagem 102 possuindo tal estrutura são mostrados nas Figuras 18 e 19. Nas Figuras 18 e 19, componentes são os mesmos daqueles mostrados na Figura 13, exceto por uma unidade de transformação de espaço de cor e uma unidade de transformação de espaço de cor inversa.

Figura 18 é um exemplo no qual o processo de transformação de espaço de cor é realizado em um nível de pixel antes do processamento de transformação ser executado. Uma unidade de transformação de espaço de cor 150a é arranjada antes que uma unidade de transformação e uma unidade de transformação de espaço de cor inversa 151a seja arranjada anteriormente a uma unidade de transformação inversa.

Figura 19 é um exemplo no qual o processo de transformação de espaço de cor é executado e composto enquanto um componente de freqüência a ser processado é apropriadamente selecionado com respeito a dados de coeficiente obtidos após o processamento de transformação ser executado. Uma unidade de transformação de espaço de cor 150b é arranjada anteriormente a uma unidade de transformação e uma unidade de transformação de espaço de cor inversa 151b é arranjada antes de uma unidade de transformação inversa. Existe um efeito que é possível para controlar um componente de ruído de alta freqüência incluído em um componente de cor específico para não ser propagado a outros componentes de cor incluindo fortemente ruído.

Quando um componente de freqüência a ser submetido ao processamento de transformação de espaço de cor é tornado adaptivamente selecionável, peças de informação de sinalização 152aa e 152b para julgar a seleção do tempo de codificação são multiplexadas com um fluxo de bit no lado de decodificação.

No processamento de transformação de espaço de cor, diversos sistemas de transformação podem ser comutados em unidades de macro bloco e usados de acordo com uma característica de um sinal de imagem a ser submetido a codificação ou presença ou ausência de transformação pode ser julgada em uma unidade de macro bloco. É também possível designar tipos de sistemas de transformação selecionáveis em um nível de seqüência antecipadamente, e designar um sistema de transformação a ser selecionado em uma unidade de uma imagem, um setor, um macro bloco ou similar. Pode ser possível selecionar se o processamento de transformação de espaço de cor é realizado antes da transformação ou depois da transformação.

Quando aquelas espécies de processamento de codificação adaptivo são executadas, é possível executar avaliação da eficiência de codificação para todas as opções selecionáveis com a unidade de julgamento de modo de codificação 115 ou 215 para selecionar uma opção com a eficiência de codificação mais alta. Quando aquelas espécies de processamento de codificação adaptiva são realizadas, peças de informação de sinalização 152a e 152b para julgar a seleção do tempo de codificação são multiplexadas com um fluxo de bit no lado da decodificação. Tal sinalização pode ser projetada em um nível diferente dos macro blocos tais como um setor, uma imagem, um GOP e uma seqüência.

Decodificadores correspondentes aos codificadores das Figuras 18 e 29 são mostrados nas Figuras 20 e 21. Componentes mostrados nas Figuras 20 e 21 são os mesmos daqueles mostrados na Figura 16, exceto por uma unidade de transformação de espaço de cor inverso. Figura 20 ilustra um decodificador que decodifica um fluxo de bit codificado pelo codificador mostrado na Figura 18, executando a transformação de espaço de cor antes do processamento de transformação.

A unidade de decodificação de extensão variável decodifica, a partir do fluxo de bit, informação na presença ou ausência de transformação, para selecionar se a transformação é executada na unidade de transformação de espaço de cor inversa 151a e informação 152aa para selecionar um método de conversão executável na unidade de transformação de espaço de cor inversa e fornece a informação à unidade de transformação de espaço de cor inversa 151a. O decodificador mostrado na Figura 20 realiza, na unidade de transformação de espaço de cor inversa 151a, o processamento de transformação de espaço de cor para um sinal de erro de predição após a transformação inversa com base naquelas espécies de informação.

Figura 21 ilustra um decodificador que decodifica um fluxo de bit codificado pelo codificador mostrado na Figura 19, selecionando um componente de freqüência a ser submetido a processamento após o processamento de transformação e executando a transformação de espaço de cor. A unidade de decodificação de extensão variável decodifica, a partir do fluxo de bit, a informação de identificação 152b incluindo informação na presença ou ausência de transformação para selecionar se a transformação é executada na presença ou ausência de uma transformação para selecionar se a transformação é efetuada na unidade de transformação de espaço de cor inversa 151b, informação para selecionar um método de conversão executado na unidade de transformação de espaço de cor inversa, informação para especificar um componente de freqüência no qual a transformação de espaço de cor é realizada, e similar, e fornece a informação à unidade de transformação de espaço de cor inversa 151b. O decodificador mostrado na Figura 21 realiza, na unidade de transformação de espaço de cor inversa 151b, o processamento de transformação de espaço de cor para dados de coeficiente de transformação, após quantização inversa com base nestas espécies de informação.

Nos decodificadores mostrados nas Figuras 20 e 21, como no decodificador na Figura 15, se a primeira unidade de decodificação de imagem 302 inclui uma função para decodificar um fluxo de bit conforme ao AVC de alto perfil no qual os três componentes são coletivamente codificados com o formato 4:2:0 YUV convencional como um objeto, e a unidade de análise de cabeçalho superior 300 julga por qual formato um fluxo de bit é codificado com referência a um identificador de perfil decodificado a partir do fluxo de bit 106 e comunica um resultado do julgamento à chave IOea primeira unidade de decodificação de imagem 302 como uma parte da informação de uma linha de sinal do sinal de identificação de codificação comum/codificação independente 101, é possível também constituir um decodificador que assegura compatibilidade do formato 4:2:0 YUV convencional com o fluxo de bit.

Uma estrutura dos dados codificados de informação de cabeçalho de macro bloco incluída em um fluxo de bit do formato 4:2:0 YUV convencional é mostrada na Figura 22. Quando o tipo de macro bloco é a intra predição, dados codificados de um modo de predição intra crominância 500 são incluídos. Quando o tipo de macro bloco é a inter predição, um vetor de movimento de um componente de crominância é gerado com um método diferente daquele para um componente de luminância usando um número de identificação de imagem de referência e vetor de informação incluído na informação de cabeçalho de macro bloco.

Operações do decodificador para assegurar compatibilidade do formato 4:2:0 YUV convencional com um fluxo de bit serão explicadas. Conforme descrito acima, a primeira unidade de decodificação de imagem 302 tem uma função para decodificar um fluxo de bit do formato 4:2:0 YUV convencional. Uma estrutura interna da primeira unidade de codificação de imagem é a mesma daquela mostrada na Figura 16.

Operações da primeira unidade de decodificação de imagem 302 e da unidade de decodificação de extensão variável 310 tendo a função de decodificar um fluxo de bit do formato 4:2:0 YUV convencional serão explicadas. Quando o fluxo de bit 106 é inserido na unidade de decodificação de extensão variável 310, a unidade de decodificação de extensão variável 310 decodifica uma marcação de indicação de formato de crominância. A marcação de indicação de formato de crominância é uma marcação incluída em um cabeçalho de parâmetro de seqüência do fluxo de vídeo 106 e indica se um formato de vídeo de entrada é 4:4:4, 4:2:2 ou 4:0:0.

O processamento de decodificação para informação de cabeçalho de macro bloco do fluxo de vídeo 106 é comutado de acordo com um valor da marcação de indicação de formato de crominância. Quando o tipo de macro bloco indica a intra predição e a marcação de designação de crominância indica 4:2:0 ou 4:2:2, o modo de predição de intra crominância é decodificado a partir do fluxo de bit. Quando a marcação de indicação de formato de crominância indica 4:4:4, a decodificação do modo de predição de intra crominância é pulada. Quando a marcação de indicação de formato de crominância indica 4:0:0, uma vez que um sinal de vídeo de entrada é um formato (o formato 4:0:0) constituído somente por um sinal de luminância, a decodificação do modo de predição intra crominância é pulada.

O processamento de decodificação para informação de cabeçalho de macro bloco diferente do modo de predição intra crominância é o mesmo daquele na unidade de decodificação de extensão variável 310 da primeira unidade de decodificação de imagem 302, não incluindo a função para decodificar um fluxo de bit do formato 4:2:0 YUV convencional.

Conseqüentemente, quando o fluxo de vídeo 106 é inserido na unidade de decodificação de extensão variável 310, a unidade de decodificação de extensão variável 310 extrai uma marcação de indicação de formato de crominância (não mostrada), um coeficiente de transformação quantizado para três componentes, e informação de cabeçalho de macro bloco (um tipo de macro bloco/tipo de sub macro bloco, informação de sobrecarga de predição, uma marcação de designação de tamanho de bloco de transformação e um parâmetro de quantização). A marcação de indicação de formato de crominância (não mostrada) e a informação de sobrecarga de predição são inseridas na unidade de predição 311 para obter a imagem de predição 127 para os três componentes. Uma estrutura interna da unidade de predição 311 da primeira unidade de decodificação de imagem 302 que assegura compatibilidade do formato 4:2:0 YUV convencional com um fluxo de bit é mostrada na Figura 23. Operações da unidade de predição 311 serão explicadas.

Uma unidade de comunicação 501 julga um tipo de macro bloco. Quando o tipo de macro bloco indica a intra predição, uma unidade de comutação 502 julga um valor da marcação de indicação de formato de crominância. Quando o valor da marcação de indicação de formato de crominância indica 4:2:0 ou 4:2:2, a unidade de predição 311 obtém a imagem de predição 127 para os três componentes a partir da informação de sobrecarga de predição de acordo com a informação de modo de intra predição e a informação de modo de predição de intra crominância. Uma imagem de predição de um sinal de luminância entre os três componentes é gerada em uma unidade de intra predição de sinal de luminância de acordo com a informação de modo de intra predição.

Uma imagem de predição de sinal diferencial de cor de dois componentes é gerada em uma unidade de intra predição de sinal diferencial de cor que efetua processamento diferente daquele para o componente de luminância, de acordo com a informação de modo de predição intra crominância. Quando o valor da marcação de indicação de formato de crominância indica 4:4:4, imagens de predição de todos os três componentes são geradas na unidade de intra predição de sinal de luminância, de acordo com a informação de modo de intra predição. Quando o valor da marcação de indicação de formato de crominância indica 4:0:0, uma vez que o formato 4:0:0 é constituído somente pelo sinal de luminância (um componente), somente uma imagem de predição de sinal de luminância é gerada na unidade de intra predição de sinal de luminância, de acordo com a informação de modo de intra predição.

Quando o tipo de macro bloco indica a inter predição na unidade de comutação 501, a unidade de comutação 503 julga um valor para a marcação de indicação de formato de crominância. Quando o valor da marcação de indicação de formato de crominância indica 4:2:0 ou 4:2:2, em relação ao sinal de luminância, uma imagem de predição é gerada a partir da informação de sobrecarga de predição na unidade de inter predição de sinal de luminância de acordo com um método de geração de imagem de predição para um sinal de luminância estabelecido pelo padrão AVC.

Com relação a uma imagem de predição do sinal diferencial de cor de dois componentes, na unidade de inter predição de sinal diferencial de cor, um vetor de movimento obtido a partir da informação de sobrecarga de predição é submetido a escalamento com base em um formato de processamento para gerar um vetor de movimento de processamento. Uma imagem de predição é gerada a partir de uma imagem de referência projetada por um índice de imagem de referência, que é obtida a partir da informação de sobrecarga de predição, com base no vetor de movimento de crominância de acordo com um método configurado pelo padrão AVC. Quando o valor da marcação de indicação de formato de crominância indica 4:0:0 uma vez que o formato 4:0:0 é constituído somente pelo sinal de crominância (um componente), uma imagem de predição de um sinal de luminância é gerada na unidade de inter predição de sinal de luminância, de acordo com o vetor de movimento e o índice de imagem de referência.

Conforme descrito acima, o meio para gerar uma imagem de predição de um sinal diferencial de cor do formato 4:2:0 YUV convencional é provido e o meio para geração de imagens de predição dos três componentes é comutado de acordo com um valor da marcação de indicação de formato de crominância decodificado a partir do fluxo de bit. Então, é possível constituir um decodificador que assegure compatibilidade do formato 4:2:0 YUV convencional com o fluxo de bit.

Se informação indicando um fluxo de bit que pode ser decodificado mesmo em um decodificador não suportando o processamento de transformação de espaço de cor tal como o decodificador mostrado na Figura 15 é dado ao fluxo de bit 106 fornecido aos decodificadores mostrados nas Figuras 20 e 21 em uma unidade de um parâmetro de seqüência ou similar, em todos os decodificadores nas Figuras 20, 21 e 15, é possível efetuar decodificação de um fluxo de bit correspondente ao desempenho de decodificação de cada um dos decodificadores.

Oitava Realização

Em uma oitava realização da presente invenção, será descrita uma outra realização na qual somente uma estrutura de um fluxo de bit a ser inserida e emitida é diferente no codificador e decodificador de acordo com a sétima realização mostrada nas Figuras 11, 15, e similares. Um codificador de acordo com a oitava realização efetua multiplexação de dados codificados com uma estrutura de fluxo de bit mostrada na Figura 24.

No fluxo de bit da estrutura mostrada na Figura 9, a unidade AUD NAL inclui informação primary_pic_type como um elemento desta. Conforme mostrado na tabela abaixo, isto indica informação de um tipo de codificação de imagem no instante em que dados de imagem em uma unidade de acesso começando da unidade AUD NAL são codificados.

Tabela 1

Significado de primary_pic_type (Extraído do padrão)

<table>table see original document page 57</column></row><table> Por exemplo, quando primary_pic_type=0, isto indica que uma imagem é inteiramente intra codificada. Quando primary_pic_type=1, isto indica que um setor a ser intra codificado e um setor para o qual predição de compensação de movimento pode ser efetuado usando apenas a lista de imagem de referência pode ser mixado em uma imagem. Uma vez que primary_pic_type é informação definindo um modo de codificação com o qual uma imagem pode ser codificada, no lado do codificador, é possível efetuar codificação adequada para várias condições, tal como uma característica de um sinal de vídeo de entrada e uma função de acesso randômico, operando esta informação.

Na sétima realização, uma vez que há somente um primary_pic_type para uma unidade, quando o processamento de codificação dependente é efetuado, primary_pic_type é comum a imagens de três componentes de cores na unidade de acesso. Na oitava realização, quando a codificação independente de cada uma das imagens de componente de cor é efetuada, primary_pic_type para as duas imagens de componente de cor restantes é adicionalmente inserido na unidade AUD NAL mostrada na Figura 9 de acordo com um valor de num_pictures_in_au. Alternativamente, como na estrutura de fluxo de bit mostrada na Figura 24, dados codificados para cada uma das imagens de componente de cor são iniciados a partir da uma unidade NAL (Delimitador de Canal de Cor) indicando o início da imagem de componente de cor e, nesta unidade CCD NAL, informação primary_pic_type correspondente a ela é incluída. Um conceito da unidade CCD NAL de acordo com a oitava realização é equivalente ao conceito descrito na Figura 4.

Nesta estrutura, uma vez que dados codificados das respectivas imagens de componentes de cor para uma imagem são coletivamente multiplexados, a marcação de identificação de componente de cor (color_channel ide) descrita na sétima realização é incluída na unidade CCD NAL ao invés de um cabeçalho de setor. Conseqüentemente, é possível consolidar informação da marcação de identificação de componente de cor requerida para ser multiplexada com os respectivos setores nos dados em unidades de imagem. Então, há um efeito de que é possível reduzir a informação de sobrecarga.

Uma vez que a unidade CCD NAL constituída como uma cadeia de byte somente deve ser detectada para verificar colorchannelidc apenas uma vez por uma imagem de componente de cor, é possível encontrar rapidamente o topo da imagem de componente de cor sem efetuar o processamento de decodificação de extensão variável. Então, no lado do decodificador, colorchannelidc em um cabeçalho de setor não tem que ser verificado toda vez no sentido de separar uma unidade NAL a ser decodificada para cada componente de cor. E possível efetuar suavemente fornecimento de dados para a segunda unidade de decodificação de imagem.

Por outro lado, com tal estrutura, o efeito de reduzir um tamanho de armazenagem temporária e um retardo de processamento do codificador descrito com referência à Figura 12 na sétima realização, é enfraquecido. Então, a marcação de identificação de componente de cor pode ser constituída para indicar em um nível mais alto (seqüência ou GOP) se os dados codificados são multiplexados em unidades de setor ou multiplexados em unidades de componentes de cor. Adotando tal estrutura de fluxo de bit, é possível executar implementação flexível do codificador, de acordo com uma forma de uso do codificador.

Nona Realização

Ainda mais, como ainda outra realização, a multiplexação de dados codificados pode ser efetuada com uma estrutura de fluxo de bit mostrada na Figura 25. Na figura, colorchannelidc e primaryjpicjype incluídos na unidade CCD NAL mostrada na Figura 24 são incluídos nos respectivos AUD. Na estrutura de fluxo de bit de acordo com uma nona realização da presente invenção, no caso o processamento de codificação independente, como no processamento de codificação comum, uma (componente de cor) imagem é incluída em uma unidade de acesso. Em outras palavras, na Figura 25, uma imagem (um componente de cor) é definida como uma unidade de acesso.

Com tal estrutura, como nas estruturas descritas acima, há o efeito de redução da informação de sobrecarga porque é possível consolidar informação da marcação de identificação de componentes de cor nos dados em unidades de imagem. Em adição, uma vez que a unidade AUD NAL constituída como uma cadeia de byte tem somente que ser detectada para verificar color channel idc somente uma vez por uma imagem de componente de cor, é possível encontrar rapidamente o topo da imagem de componente de cor sem efetuar o processamento de decodificação de extensão variável. Então, no lado do decodificador, color_channel_ídc em um cabeçalho de setor não tem que ser verificado toda vez no sentido de separar uma unidade NAL a ser decodificada para cada componente de cor. É possível executar suavemente o suprimento de dados à segunda unidade de decodificação de imagem.

Por outro lado, uma vez que uma imagem de um quadro ou um campo é constituída por três unidades de acesso, é necessário projetar as três unidades de acesso como dados de imagem em tempo idêntico. Portanto, na estrutura de fluxo de bit mostrada na Figura 25, números de seqüência (ordens de codificação e decodificação em uma direção no tempo, etc.) de respectivas imagens podem ser atribuídos aos AUD.

Como tal estrutura, no lado do decodificador é possível verificar decodificação e exibir ordens das respectivas imagens, atributos de componentes de cor, propriedade de IDR e similar, sem decodificação, de todo, de dados de setor. E possível efetuar eficientemente edição e reprodução especial em um nível de fluxo de bit.

Na estrutura de fluxo de bit mostrada nas Figuras 9, 24 ou 25, informação designando o número de unidades NAL de setor incluídas em uma imagem de componente de cor pode ser armazenada nas regiões dos AUD dos CCD.

Com relação a todas as realizações, o processamento de transformação e o processamento de transformação inversa pode ser transformado para garantir ortogonalidade, tal como DCT ou pode transformar tal AVC combinado com os processamentos de quantização e quantização inversa para aproximar ortogonalidade ao invés da transformada ortogonal estrita tal como o DCT. Adicionalmente, um sinal de erro de predição pode ser codificado como informação em um nível de pixel, sem executar transformação.

Claims

1. Método de codificação de imagem para aplicar processamento de compressão a um sinal de imagem de entrada incluindo diversos componentes de cor, caracterizado pelo fato de que dados codificados obtidos submetendo independentemente um sinal de imagem de entrada de cada um dos componentes de cor a processamento de codificação e um parâmetro indicando a qual componente de cor os dados codificados correspondem, são multiplexados com um fluxo de bit.

2. Método de codificação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que o parâmetro indicando a qual componente de cor os dados codificados correspondem, é incluído em uma parte do cabeçalho de setor em uma sintaxe do fluxo de bit.

3. Método de codificação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que os dados dos componentes de cor são delimitados para cada um dos componentes de cor por um delimitador e arranjados juntos em uma unidade de acesso.

4. Método de codificação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que o parâmetro indicando a qual componente de cor os dados codificados correspondem é incluído em uma parte de informação de cabeçalho de uma unidade NAL em uma sintaxe do fluxo de bit.

5. Método de codificação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que uma estrutura espacial de um setor dos dados codificados é comum a todos os componentes de cor.

6. Método de codificação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que um tipo de codificação dos dados codificados é comum a todos os componentes de cor.

7. Método de codificação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que parâmetros de diversos formatos são configurados em um ID de um conjunto de parâmetro de seqüência dos dados codificados para modos de comutação para efetuar o processamento de codificação em diferentes formatos.

8. Método de decodificação de imagem para efetuar processamento de decodificação baseado em uma entrada de um fluxo de bit gerado pela compressão de um sinal de imagem, incluindo diversos componentes de cor, caracterizado pelo fato de que o processamento de decodificação para dados codificados de cada um dos componentes de cor é efetuado usando um parâmetro indicando a qual componente de cor os dados codificados correspondem.

9. Método de decodificação de imagem de acordo com a reivindicação 8, caracterizado pelo fato de que o parâmetro indicando a qual componente de cor os dados codificados correspondem é detectado a partir de uma parte de um cabeçalho de setor em uma sintaxe do fluxo de bit.

10. Método de decodificação de imagem de acordo com a reivindicação 8, caracterizado pelo fato de que os dados codificados dos componentes de cor são delimitados para cada um dos componentes de cor por um delimitador e arranjados juntos em uma unidade de acesso.

11. Método de decodificação de imagem de acordo com a reivindicação 8, caracterizado pelo fato de que o parâmetro indicando a qual componente de cor os dados codificados correspondem é detectado a partir de uma parte de informação de cabeçalho de uma unidade NAL em uma sintaxe do fluxo de bit.

12. Método de decodificação de imagem de acordo com a reivindicação 8, caracterizado pelo fato de que uma estrutura espacial de um setor dos dados codificados é comum a todos os componentes de cor.

13. Método de decodificação de imagem de acordo com a reivindicação 8, caracterizado pelo fato de que um tipo de codificação dos dados codificados é comum a todos os componentes de cor.

14. Método de decodificação de imagem de acordo com a reivindicação 8, caracterizado pelo fato de que, com base em parâmetros de diversos formatos incluídos em um ID de um conjunto de parâmetro de seqüência dos dados codificados, modos para efetuar o processamento de decodificação em diferentes formatos são comutados.

15. Codificador de imagem para aplicar processamento de compressão a um sinal de imagem de entrada, incluindo diversos componentes de cor, caracterizado pelo fato de compreender meio de multiplexação para multiplexar dados codificados obtidos submetendo independentemente um sinal de imagem de entrada a cada um dos componentes de cor para processamento de codificação e um parâmetro indicando a qual componente de cor os dados codificados correspondem, com um fluxo de bit.

16. Decodificador de imagem para efetuar processamento de decodificação baseado em uma entrada de um fluxo de bit gerado comprimindo um sinal de imagem, incluindo diversos componentes de cor, caracterizado pelo fato de compreender meio de detecção para detectar um parâmetro indicando a qual componente de cor os dados codificados correspondem, onde o decodificador de imagem efetua processamento de decodificação para dados codificados de cada um dos componentes de cor usando o parâmetro detectado.

17. Fluxo de bit gerado como um resultado de compressão- codificação de um sinal de imagem de entrada incluindo diversos componentes de cor, caracterizado pelo fato de que: dados comprimidos de um sinal de imagem de cada um dos componentes de cor são constituídos em unidades de setor; e parâmetro indicando a qual componente de cor os dados comprimidos incluídos nos dados de setor correspondem, é multiplexado com uma região de cabeçalho do setor.

18. Meio de gravação, caracterizado pelo fato de ser gravado com um fluxo de bit que é gerado como um resultado de compressão- codificação de um sinal de imagem de entrada incluindo diversos componentes de cor, e no qual dados comprimidos de um sinal de imagem de cada um dos componentes de cor são constituídos em unidades de setor, e um parâmetro indicando a qual componente de cor os dados comprimidos incluídos nos dados de setor correspondem, é multiplexado com uma região de cabeçalho do setor.