BRPI0800008B1

BRPI0800008B1 - dispositivo e método de decodificação de imagem para obter sinais de imagem decodificando dados comprimidos de sinais de imagem em movimento digitais

Info

Publication number: BRPI0800008B1
Application number: BRPI0800008-5A
Authority: BR
Inventors: Yoshihisa Yamada; Yoshimi Moriya; Kazuo Sugimoto; Kohtaro Asai; Tokumichi Murakami; Shunichi Sekiguchi; Yuichi Idehara
Original assignee: Mitsubishi Electric Corporation
Priority date: 2007-01-12
Filing date: 2008-01-09
Publication date: 2020-08-25
Also published as: US20080170627A1; CA2615299C; US8718139B2; EP1947860A2; US20080170624A1; EP1947860B1; BRPI0800008A; US20080170793A1; EP1947860A3; CA2615299A1

Abstract

DISPOSITIVO DE CODIFICAÇÃO DE IMAGEM, DISPOSITIVO DE DECODIFICAÇÃO DE IMAGEM, MÉTODO DE CODIFICAÇÃO DE IMAGEM E MÉTODO DE DECODIFICAÇÃO DE IMAGEM. São fornecidos um dispositivo de codificação, um dispositivo de decodificação, um método de codificação e um método de decodificação que aprimora, de forma ótima, em um caso de codificação de sinais de imagem em movimento tendo nenhuma distinção de proporção de amostra entre componentes de cor tal como um formato 4: 4: 4. Em um caso de condução de codificação de compressão entrando sinais de imagem em movimento digital do formato 4: 4: 4, existe preparado um primeiro processo de codificação de codificação dos três sinais de componentes de cor dos sinais de imagem em movimento de entrada em um modo de codificação comum, e um segundo processo de codificação de codificação dos três sinais de componentes de cor dos sinais de imagem em movimento de entrada nos respectivos modos de codificação independentes. O processo de codificação é executado selecionando qualquer um do primeiro processo de codificação e do segundo processo de decodificação, e os dados de compressão contêm um sinal de identificação para especificar que processo é selecionado.

Description

DISPOSITIVO E MÉTODO DE DECODIFICAÇÃO DE IMAGEM PARA OBTER SINAIS DE IMAGEM DECODIFICANDO DADOS COMPRIMIDOS DE SINAIS DE IMAGEM EM MOVIMENTO DIGITAIS

CONHECIMENTO DA INVENÇÃO 1. Campo da Invenção

[001] A presente invenção se refere um dispositivo de codificação de sinal de imagem digital, um dispositivo de decodificação de sinal de imagem digital, um método de codificação de sinal de imagem digital, e um método de decodificação de sinal de imagem digital, usado por uma tecnologia de codificação de compressão de imagem, ou uma tecnologia de transmissão de dados de imagem comprimidos.

2. Descrição da Arte Relacionada

[002] Um sistema de codificação de vídeo de padrão internacional tal como MPEG ou ITU-Terminal H. 26x (e. g., “Information Techonology Coding of áudio-Visual Objects Particular 10: Advanced Vídeo Coding,” ISO/IEC 14496-10, 2003 (daqui adiante, referenciado como Non-Patent document 1)) convencionalmente tem sido premissa no uso de um formato de sinal de entrada padronizado chamado formato 4: 2: 0. O formato 4: 2: 0 é um formato onde um sinal de imagem em movimento colorida de RGB ou o similar é convertido em uma componente de luminância (Y) e duas componentes de crominância (Cb, Cr), e o número de amostras de componente de crominância é reduzido a metade das componentes de luminace ambos nas direções horizontal e vertical. A componente de crominância é inferior a componente de luminância em visibilidade. Conseqüentemente, o sistema de codificação de vídeo de padrão internacional tem sido baseado na premissa que a quantidade de informação original a ser codificada é reduzida através da amostragem decrescente dos componentes de crominância antes da codificação ser executada como mencionada acima. Por outro lado, recentes aumentos na resolução e gradação de um mostrador de vídeo têm sido acompanhados de estudos em um sistema para efetuar codificação mantendo o número de amostras igual àquelas das componentes de luminância sem amostrar de forma decrescente as componentes de crominância. Um formato onde os números de amostras de componente de luminância e crominância são completamente iguais é chamado de um formato 4: 4: 4. O formato 4: 2: 0 convencional tem sido limitado as definições de espaço de cor de Y, Cb, e Cr por causa da premissa de amostragem decrescente das componentes de crominância. No caso do formato 4: 4: 4, contudo, porque não existe distinção de proporção de amostra entre as componentes de cor, R, G, e B podem ser diretamente usada em adição a Y, Cb, e Cr, e uma grande quantidade de definições de espaço de cor pode ser usada. Um exemplo de um sistema de codificação de vídeo objetivando o formato 4: 4: 4 é, Woo-Shik Kim, Dae-Sung Cho, e Hyun Mun Kim, “INTER-PLANE PREDICTION FOR RGB VIDEO CODING,” ICIP 2004, Ocotober 2004 (daqui adiante, referenciada como Non-Patent Document 2). Non-Patent Document 2 propõe uma abordagem de reduzir um tamanho dos dados que são para serem codificados efetuando prognóstico entre componentes de cor diferentes empregando uma remanescente correlação entre os componentes de cor. Contudo,, um grau da correlação entre as componentes de cor varia dependendo dos tipos de conteúdos de vídeo e espaços de cor, e o prognóstico poderia, de forma adversa afetar em termos de eficiência de codificação. Ainda, o processamento de sinal é requerido sobre uma grande quantidade de componentes de cor de modo tal que um problema surge em que deteriora eficiência de processamento paralelo, por exemplo, executando um processamento em tempo realizar de sinais de vídeo tendo uma extremamente alta resolução como uma imagem de cinema digital (tendo 4000 x 2000 elementos mínimos de imagem).

SUMÁRIO DA INVENÇÃO

[003] Em um elevado perfil de 4: 2: 0 codificando o formato 4: 2: 0 de codificação de vídeo avançado de MPEG-4 (daqui adiante, referenciado como AVC) do Non-Patent Document 1, em uma área de macro blocos composta de componentes de luminância de 16 x 16 elementos mínimos de imagem, componentes de crominância correspondentes são de 8 x 8 blocos de elementos mínimos de imagem para ambas, Cb e Cr. Em prognóstico de compensação de movimento do elevado perfil de 4: 2: 0, informação de tamanho de bloco que se torna um áudio de prognóstico de compensação de movimento somente para os componentes de luminância, a informação de imagem de referência usada para prognóstico, e informação de vetor de movimento de cada bloco, são multiplexadas, e prognóstico de compensação de movimento é realizado para as componentes de crominância pela mesma informação que aquela das componentes de luminância.O formato 4: 2: 0 tem características em definição de espaço de cor em que quase todos os pedaços de informação de estrutura (informação de textura) de uma imagem são integradas em uma componente de luminância, visibilidade de distorção é mais baixa para uma componente de crominância do que para a componente de luminância, e uma contribuição para a reprodutibilidade de vídeo é pequena, e prognóstico e codificação do elevado perfil de 4: 2: 0 são baseados em tais características do formato 4: 2: 0. Contudo, no caso do formato 4: 4: 4, três componentes de cor mantêm igualmente a informação de textura. O sistema para efetuar prognóstico de compensação de movimento no modo de inter prognóstico dependendo somente de um componente e baseada na informação de imagem de referência e na informação de vetor de movimento não é necessariamente um método ótimo no formato 4: 4: 4, onde as componentes de cor fazem contribuições iguais na representação de uma estrutura de um sinal de imagem.

[004] Como descrito por meio da arte relacionada acima mencionada, é um objeto da presente invenção fornecer um dispositivo de codificação, um dispositivo de decodificação, um método de codificação, e um método de decodificação que aprimore, de forma ótima, e modo um caso de codificação de sinais de imagem em movimento tendo nenhuma distinção de proporção de amostra entre componentes de cor tal com um formato 4: 4: 4.

[005] De acordo com a presente invenção, em um caso de conduzir codificação de compressão entrando sinais de imagem em movimento digital do formato 4: 4: 4, existem preparado um primeiro processo de codificação de codificação de três sinais de componentes de cor dos sinais de imagem em movimento de entrada em um modo de codificação comum, e um segundo processo de codificação de codificação de três sinais de componente de cor dos sinais de imagem em movimento de entrada nos respectivos modos de codificação independentes. O processo de codificação é executado selecionando qualquer um do primeiro processo de codificação e do segundo processo de codificação, e os dados de compressão contêm um sinal de identificação para especificar que processo é selecionado.

[006] Ainda, em um caso de decodificação, os dados de compressão dos sinais de imagem em movimento digital do formato 4: 4: 4, existe preparado um primeiro processo de decodificação de decodificação de três sinais de componentes de cor no modo de codificação comum, e um segundo processo de decodificação de decodificação de três sinal de componente de cor nos respectivos modos de codificação independentes. O processo de decodificação é executado decodificando o sinal de identificação especificando se as três componentes de cor são codificadas a partir de dados de compressão no modo de decodificação comum ou nos respectivos modos de decodificação independentes, e empregando qualquer um do primeiro processo de decodificação e do segundo processo de decodificação de acordo com o sinal de identificação.

[007] De acordo com a presente invenção, em um caso de efetuar codificação que usa múltiplos espaços de cor sem estar limitado aos espaços de cor fixos de Y, Cb, Cr, etc., é possível selecionar, de forma flexível, informação de modo de inter prognóstico a ser usada para as respectivas componentes de cor, e conduzir um processo de codificação ótimo mesmo em um caso onde existem definições diversas dois espaços de cor.

DESCRIÇÃO BREVE DOS DESENHOS

[008] Nos desenhos anexos:
FIG. 1 é um diagrama explicativo mostrando uma estrutura hierárquica de sinais de vídeo consistindo de uma seqüência, um grupo de cenas (GOP), uma cena, uma fatia, e um macro bloco;
FIG. 2 é um diagrama explicativo mostrando uma estrutura de dados codificados de macro bloco;
FIG. 3 é um diagrama explicativo mostrando três componentes de como estruturando o macro bloco em um caso de um “processo de codificação comum”;
FIG. 4 é um diagrama explicativo mostrando três componentes de como estruturando o macro bloco em um caso de um “processo de codificação independente”;
FIG. 5 é um diagrama explicativo mostrando uma relação de referência de prognóstico de movimento direcionado no tempo;
FIG. 6 é um diagrama explicativo mostrando um exemplo de estrutura de uma seqüência de bit de acordo com a primeira modalidade da presente invenção;
FIG. 7 é um diagrama explicativo mostrando um exemplo de estrutura de uma seqüência de bit de dados da fatia acordo com a primeira modalidade da presente invenção;
FIG. 8 é um diagrama estrutural esquemático de um dispositivo de codificação de acordo com a primeira modalidade da presente invenção;
FIG. 9 é um diagrama de configuração interna de uma primeira unidade de codificação de cena 5;
FIGS. 10 (a) até 10 (h) são diagramas explicativos mostrando sete tipos de tamanhos de bloco com cada um dos quais, prognóstico de compensação de movimento é conduzido.
FIG. 11 é um diagrama estrutural interno de uma segunda unidade de codificação de cena 7;
FIG. 12 é um diagrama estrutural esquemático de um dispositivo de decodificação de acordo com a primeira modalidade da presente invenção;
FIG. 13 é um diagrama estrutural interno de uma primeira unidade de decodificação de cena 302;
FIG. 14 é um diagrama estrutural interno de uma segunda unidade de decodificação de cena 304; e
FIG. 15 é um diagrama explicativo mostrando um exemplo de como dados de imagem para as três componentes de cor são alocados.

DESCRIÇÃO DAS MODALIDADE Primeira Modalidade

[009] A primeira modalidade vai exemplificar um dispositivo de codificação que, de modo eficiente, codifica sinal de vídeo em um formato 4: 4: 4 que não é restringido por um espaço de cor específico, e um dispositivo de decodificação que recebe seqüência de bit codificadas geradas pelo dispositivo de codificação, decodifica os sinais de imagem. O dispositivo de codificação na primeira modalidade recebe os sinais de vídeo incluindo três componentes de cor tais como RGB, XYZ e YCbCr, e emite as seqüências de bit conduzindo codificação de compressão. Como ilustrando na FIG. 1, os sinais de vídeo de entrada são expressos como dados em série no tempo de informação de tela (daqui adiante, referenciado como cena) definida por uma base de quadro a quadro ou uma base de campo a campo através de amostragem no tempo. Uma unidade de dados, no qual as cenas são arrumadas em série no tempo, é referenciada como seqüência. A seqüência pode ser dividida em alguns grupos de cena (GOPs). Os GOPs são utilizados por aplicações tais como assegurando execução de decodificação a partir de um GOP inicial arbitrário sem depender de outros GOPs e assegurando um acesso aleatório para a seqüência de bits. A cena é ainda dividida em blocos quadrados chamados macros blocos, e compressão de vídeo são efetuados sobre uma base de macro bloco em uma maneira que aplica um processo de prognóstico/transformação/quantização.

[0010] Ainda, uma unidade na qual uma grande quantidade de macro blocos são agregados é chamado de fatia. A fatia é uma unidade de dados na qual a codificação e decodificação pode ser independentemente executadas em cada fatia. Por exemplo, quando processamento dos sinais de vídeo tendo uma resolução igual a ou maior do que uma televisão de alta definição (HDTV) em tempo realizar, a cena única é fatiada em uma grande quantidade de fatias, um período de tempo de computação é reduzido codificando/decodificando as respectivas fatias em paralelo, e as seqüências de bits são transmitidas através de uma linha tendo uma alta proporção de erro. Neste caso, a fatia é utilizada para tal uma aplicação que se uma imagem decodificada é perturbada por causa de uma certa fatia sendo destruída conforme é afetada por um erro, um processo de decodificação apropriado é restaurado a partir da próxima fatia. Geralmente, o prognóstico usando dependência de sinal da fatia vizinha não pode ser aplicado em uma fronteira entre as fatias, e conseqüentemente, desempenho de codificação declina conforme o número de fatias aumenta. Tal uma característica, contudo, existe que a flexibilidade do processamento paralelo e o erro de resilience aumentam.

[0011] A compressão de vídeo é realizada aplicando o processo de prognóstico/transformação/quantização nas bases de macro bloco, e por conseguinte, os dados codificados do macro bloco multiplexado sobre a seqüência de bits consiste de grosseiramente dois tipos de informação. Um tipo de informação é a categoria chamada informação secundária diferente do próprio sinal de vídeo tal como parâmetros para um modo de prognóstico, informação de prognóstico de movimento, e quantização, e esta categoria de informação é genericamente chamada de cabeçalho de macro bloco. Um outro tipo de informação é informação do próprio sinal de vídeo. De acordo com a primeira modalidade da presente invenção, o sinal de vídeo a ser codificado é dado comprimido de um sinal de erro de prognóstico adquirido conforme um resultado de condução de prognóstico/transformação/quantização baseado na informação de cabeçalho de macro bloco. O sinal de vídeo é expresso em um formato de quantizado de coeficiente de transformação e por conseguinte, será chamado daqui adiante, de dados codificados de coeficiente. FIG. 2 ilustra como os pedaços de dados codificados de macro bloco são arrumados na primeira modalidade. Na Fig. 2, o cabeçalho de macro bloco contém todos os itens de informação secundários anterior para os dados codificados de coeficiente, tais como a informação de modo de codificação/prognóstico de um tipo de macro bloco/tipo de sub macro bloco/modo de intra prognóstico, etc., a informação de prognóstico de movimento de uma imagem de referência identificando número/vetor de movimento, etc., um parâmetro de quantização com relação ao coeficiente de transformação, e um sinalizador de determinação de existência/ausência de coeficiente de transformação válido nas bases de bloco de 8 x 8.

[0012] A primeira modalidade da presente invenção vai exemplificar: um dispositivo de codificação que codifica as três componentes de cor, seletivamente, baseado no cabeçalho de macro bloco comum ou baseado no cabeçalho de macro bloco independente de acordo com cada componente de cor; e um dispositivo de decodificação que executa um processo de decodificação de vídeo recebendo as seqüências de bits obtidas como uma saída do dispositivo de codificação, e selecionando, baseado na informação de identificação extraída da seqüência de bits decodificando a seqüência de bits, se as três componentes de cor tem sido codificadas baseadas no cabeçalho de macro bloco comum ou baseadas no cabeçalho de macro bloco independente para cada componente de cor. A primeira modalidade da presente invenção particularmente, vai exemplificar, com referência aos desenhos específicos, configurações e operações do dispositivo de codificação e do dispositivo de decodificação que efetua codificação e decodificação, comutando através de uma base seqüencial, uma operação de codificação e decodificação dos três sinais de componente de cor baseado no cabeçalho de macro bloco comum, e uma operação de codificação e decodificação daqueles sinais de cor baseado no cabeçalho de macro bloco independente de acordo com cada componente de cor. O dispositivo de codificação e o dispositivo de decodificação são assim construídos, e por meio disso possibilitando as componentes de cor serem codificadas selecionando um caso de codificação de componentes de cor de acordo com o espaço de cor no qual os sinais de vídeo de entrada são definidos e com uma característica estatística dos sinais de vídeo pelo uso dos parâmetros de prognóstico comum, e um caso de codificação das componentes de cor pelos parâmetros de prognóstico independente. É por conseguinte, possível, de forma ótima, codificar os sinais de vídeo no formato 4: 4: 4.

[0013] Daqui adiante, o processo de codificação dos três sinais de componentes de cor de um quadro ou de um campo através do cabeçalho de macro bloco comum é referenciado como “processo de codificação comum”, e um processo de codificação dos três sinais de componentes de cor de um quadro ou de um campo através do cabeçalho de macro bloco independente individual é referenciado como “processo de codificação independente”. Igualmente, o processo de decodificação de dados de imagem a partir das seqüências de bits para as quais os três sinais de componentes de cor de um quadro ou de um campo são codificados através do cabeçalho de macro bloco comum é referenciado como “processo de decodificação comum”, e o processo de decodificação dos dados de imagem a partir das seqüências de bits para as quais os três sinais de componentes de cor de um quadro ou de um campo são codificados através do cabeçalho de macro bloco independente individual é referenciado como “processo de decodificação independente”. No processo de codificação comum, as três componentes de cor de um quadro ou de um campo são coletivamente definidas como uma cena e são, cada uma, divididas em macro blocos, consistindo d em uma modalidade alternativa agregação das três componentes de cor (FIG. 3). Na FIG. 3 e descrição a seguir, as três componentes de cor são chamadas de componentes C0, C1 e C2. Por outro lado, no processo de codificação independente, os sinais de vídeo de entrada de um quadro ou de um campo são separados nas três componentes de cor uma definida com uma cena, e cada cena é dividida nos macro blocos consistindo da componente de cor única (FIG.4). Em outras palavras, o macro bloco como um alvo do processo de codificação comum inclui amostras (elementos mínimos de imagem) das três componentes de cor de C0, C1 e C2, mas, o macro bloco como um alvo do processo de codificação independente inclui somente as amostras (elementos mínimos de imagem) de qualquer um componente dos componentes C0, C1 e C2.

[0014] FIG. 5 ilustra uma relação de referência de prognóstico de movimento em uma direção de tempo entre as cenas no dispositivo de codificação/dispositivo de decodificação de acordo com a primeira modalidade da presente invenção. Neste exemplo, a unidade de dados indicada por uma linha vertical cheia representa a cena, e a relação entre a cena e uma unidade de acesso é indicada por uma linha pontilhada. No caso do processo de codificação/decodificação comum, como descrito acima, uma cena são os dados representando os sinais de vídeo consistindo das agregações das três componentes de cor. No caso do processo de codificação/decodificação independente, uma cena são os sinais de vídeo consistindo de qualquer uma componente de cor. A unidade de acesso é uma unidade de dados mínima para fornecer estampa de tempo objetivando, por exemplo, sincronizar os sinais de vídeo com informação de áudio/som, etc. No caso do processo de codificação/decodificação comum, uma unidade de acesso inclui os dados para uma cena. Por outro lado, no caso do processo de codificação/decodificação independente, uma unidade de acesso inclui três cenas. Isto é porque, no caso do processo de codificação/decodificação independente, regeneração de sinais de vídeo para um quadro não são obtidos até as cenas de todas as três componentes de cor no mesmo tempo de exibição se torna disponível. Note que números anexados ao início das respectivas cenas indicam uma seqüência de processo de codificação/decodificação na direção do tempo (correspondendo ao frame_num de AVC) da cena. Na FIG. 5, uma seta entre as cenas indica uma direção de referência do prognóstico de movimento. Para ser específico, no caso do processo de codificação/decodificação, a referência de prognóstico de movimento entre as cenas incluída na mesma unidade de acesso e a referência de prognóstico de movimento entre as diferentes componentes de cor, não são efetuadas, mas o processo de codificação/decodificação é efetuado enquanto efetuando a referência de prognóstico limitando a cena dos componentes de cor de C0, C1 e C2 para os sinais da mesma componente de cor única. Com esta estrutura, no caso do processo de codificação/decodificação independente, de acordo com a primeira moda da presente invenção, cada componente de cor pode ser codificada e decodificada sem depender do processo de codificação/decodificação de outras componentes de cor por completo, e por meio disso facilitando o processo paralelo.

[0015] A informação de identificação indicando se a codificação baseada no processo de codificação comum é realizada ou a codificação baseada no processo de codificação independente é realizada, será daqui adiante referenciada como sinal de identificação de codificação comum/codificação independente 1.

[0016] FIG. 6 mostra um exemplo de uma estrutura da seqüência de bits gerada pelo dispositivo de codificação de acordo com a primeira modalidade da presente invenção e servindo côo um objetivo de um processo de recepção/decodificação pelo dispositivo de decodificação da com a primeira modalidade. FIG. 6 ilustra a estrutura da seqüência de bits a partira da seqüência para um nível de fatia. Primeiro, um cabeçalho de mais alta ordem do nível de seqüência (conjunto de parâmetro de seqüência no caso de AVC) é multiplexado sobre o sinal de identificação de codificação comum/codificação independente 1. AUD representa uma unidade NAL de Access Unit Delimiter, que é uma unidade NAL única para identificar um delimitador de unidade de acesso no AVC. O AUD é a informação especificando o início da unidade de acesso e pode ser, sem depender do formato de dados do AUD do AVC, aplicada a um formato de dados arbitrários se condizente com sua finalidade. Por exemplo, o AUD corresponde a um código inicial da cena de acordo com os padrões de MPEG-2 e par a um código inicial de VOP de acordo com os padrões de MPEG-4.

[0017] Quando o sinal de identificação de codificação comum/codificação independente 1, indica “processo de codificação comum”, a unidade de acesso contém os dados codificados para uma cena. A cena nesta hora são os dados representando os sinais de vídeo para um quadro ou para um campo, que consiste das agregações das três componentes de cor como descrito acima. Os dados codificados de vídeo reais são multiplexados na seqüência de bits com base na fatia da FIG. 1. Por outro lado, quando o sinal de identificação de codificação comum/codificação independente 1. indica “processo de codificação independente”, uma cena é o sinal de vídeo para qualquer uma componente de cor em um quadro ou em um campo, e uma unidade de acesso inclui as três cenas. Neste caso, a fatia é definida com relação a cena de cada componente de cor.

[0018] FIG. 7 ilustra estruturas das seqüências de bits dos dados da fatia no caso do processo de codificação comum e no caso do processo de codificação independente, respectivamente. Na seqüência de bits codificada pelo processo de codificação independente, de moda a alcançar um efeito que será descrito mais tarde, um sinalizador de identificação de componente de cor 2 (color_channel_idc) é fornecido em um campo de cabeçalho no início dos dados da fatia de modo que a fatia é distinguível, como a que cena de componente de cor pertencem os dados da fatia recebidos pelo dispositivo de decodificação. As fatias tendo os mesmos valores são agrupadas pelo sinalizador de identificação 2. Em outras palavras, nenhuma de dependência de codificação/decodificação (e. g., referência de prognóstico de movimento, modelação de contexto/aprendizado de probabilidade de geração de CABAC, etc.) é fornecido entre as fatias tendo valores diferentes do sinalizador de identificação de componente de cor 2. Esta regra assegura a independência da cena dentro da unidade de acesso no caso do processo de codificação independente. Ainda, frame_num (seqüência de processamento de codificação/decodificação da cena para a qual a fatia pertence) multiplexada em cada cabeçalho de fatia toma o mesmo valor nas cenas de componente de cor completa dentro de uma unidade de acesso.

[0019] FIG. 8 ilustra um esboço da configuração do dispositivo de codificação de acordo com uma primeira modalidade da presente invenção. Na FIG. 8, uma primeira unidade de codificação de cena 5 executa o processo de codificação comum, e segundas unidades de codificação de cena 7a à 7c (fornecida para as três componentes de cor) executam o processo de codificação independente.

[0020] Sinais de vídeo de entrada sinais de vídeo de entrada 3 são fornecidos a qualquer um da primeira unidade de codificação de cena 5, uma unidade de separação de componente de cor uma unidade de separação de componente de cor unidade de separação de componente de cor 6, e as segundas unidades de codificação de cena 7a à 7c através um comutador (SW) 4. O comutador 4 é ativado pelo sinal de identificação de codificação comum/codificação independente 1 e fornece os sinais de vídeo de entrada 3 para um caminho designado.

[0021] O sinal de identificação de codificação comum/codificação independente 1 é um sinal que, quando o sinal de vídeo de entrada pega o formato 4: 4: 4, é multiplexado no conjunto de parâmetro de seqüência e seleciona o processo de codificação comum e o processo de codificação independente com base na seqüência. O sinal de identificação de codificação comum/codificação independente 1 é multiplexado no conjunto de passo de seqüência em uma seqüência de bits 11 como informação que determina que processo foi empregado para gerar a seqüência de bits 11. Esta estrutura possibilita o dispositivo de codificação, que recebe a sequência de bits 11, executar o processo de codificação comum quando a seqüência de bits 11 é gerada pelo uso do processo de codificação comum decodificando o sinal de identificação de codificação comum/codificação independente 1 no conjunto de parâmetro de seqüência e verificando o valor deles, e executar o processo de decodificação independente quando a seqüência de bits 11 é gerada pelo uso do processo de codificação independente.

[0022] Se sinal de identificação de codificação comum/codificação independente 1 indica “processo de codificação comum”, na primeira unidade de codificação de cena 5, os sinais de vídeo de entrada 3 são divididos em macro blocos na forma de agregação de amostras das três componentes de cor como ilustrado na FIG. sinais de vídeo de entrada 3, o processo de codificação com base no macro bloco é executado, e o dados codificados são emitidos como uma seqüência de bits 8. O processo de codificação pela primeira unidade de codificação de cena 5 será descrito mais tarde.

[0023] Se o sinal de identificação de codificação comum/codificação independente 1 indica “processo de codificação independente”, os três sinais de componentes de cor são separados nos sinais das componentes de cor de C0, C1 e C2 pela unidade de separação de componente de cor unidade de separação de componente de cor 6 e são fornecidas às segundas unidades de codificação de cena 7a à 7c correspondendo às respectivas componentes de cor. Nas segundas unidades de codificação de cena 7a à 7c, os sinais separados de acordo com cada componente de cor são divididos nos macro blocos pegando o formato mostrado na FIG. 4, e o processo de codificação, com base no macro bloco, é executado, e por meio disso os sinais são emitidos como seqüências de bits 9a à 9c. O processo de codificação pelas segundas unidades de codificação de cena 7a à 7c será descrito mais tarde.

[0024] Em uma unidade de multiplexação 10, o sinal de identificação de codificação comum/codificação independente 1 é adicionado ao conjunto de parâmetros de seqüência é multiplexado na seqüência de bits 11. Na unidade de multiplexação 10, qualquer uma da seqüência de bits 8 e da seqüências de bits 9a à 9c, correspondendo ao valor do sinal de identificação de codificação comum/codificação independente 1, é selecionada, e a seqüência de bits selecionada é multiplexada na seqüência de bits 11.

[0025] Ainda, embora os detalhes serão descritos mais tarde, informação de coeficiente de peso de quantização (12a à 12c) para parâmetros de quantização usado sem um processo de codificação de cena, especialmente um processo de quantização/quantização inversa, é fornecido para cada três componentes de cor e entrado nas respectivas unidades de codificação de cena nas quais o processo de quantização coincidindo uma característica de cada componente de cor é executado. os coeficientes de peso de quantização 12a à 12c também são enviados para a unidade de multiplexação 10 para serem multiplexados no conjunto de parâmetros de seqüência de modo para imagem dispositivo de codificação usar os mesmos valores dos coeficientes 12a à 12c que aqueles empregados no processo de codificação.

[0026] Ainda, um sinal de instrução de somente intra codificação 13 é entrado nas unidades de codificação de cena 5 e 7a à 7c, e por meio disso controlar o processo de codificação. O sinal de instrução de somente intra codificação 13 é um sinal para instruir se a unidade de codificação de cena executa um processo de prognosticado na direção do tempo baseado em um prognóstico de compensação. Se o sinal de instrução de somente intra codificação 13 indica “somente intra codificação”, a codificação fechada dentro da cena é realizada com relação a todos as cenas dos sinais de vídeo de entrada 3 sem efetuar o prognóstico na direção do tempo baseado no prognóstico de compensação de movimento. Ainda, nessa hora, um filtro de desbloqueio intra laço é simultaneamente desativado (detalhes serão descritos mais tarde) dentro da unidade de codificação de cena. Se o sinal de instrução de somente intra codificação 13 indica “não somente intra codificação”, um processo de codificação inter usando uma correlação de intra cena/inter cena é executada com relação as cenas dos sinais de vídeo de entrada 3 também empregando o prognóstico na direção do tempo baseado no prognóstico de compensação de movimento. A unidade de multiplexação 10 adiciona o sinal de instrução de somente intra codificação 13 para o conjunto de parâmetros de seqüência e assim multiplexa o conjunto de parâmetros de seqüência com a seqüência de bits 11. Com esta multiplexação, o dispositivo de decodificação recebendo a seqüência de bits 11 decodifica o sinal de instrução de somente intra codificação 13 contida no conjunto de parâmetros de seqüência e verifica seu valor, através disso pode ser reconhecido se a seqüência de bits 11 é somente intra codificada ou não. Por conseguinte, se a seqüência de bits 11 é somente intra codificada, o processo de filtragem de desbloqueio de retorno de intra pode ser feito desnecessariamente, e uma quantidade de computação do dispositivo de decodificação pode ser reduzida.

[0027] O processo de intra codificação do AVC requer aproximadamente umas duas vezes a dez vezes a quantidade de codificação quando comparada com o processo de inter codificação, e conseqüentemente os dados codificados pela “somente intra codificação” tem um tamanho de dados que é consideravelmente maior do que os dados codificados pela “não somente intra codificação”.

[0028] O dispositivo de decodificação convencional fornece um limite superior par ao tamanho dos dados possibilitando o processo de decodificação ser executado, e reduz uma velocidade de operação e um tamanho de memória requerida no dispositivo para os maiores graus possíveis, problema meio disso contribuindo para estabilizar a operação. Por conseguinte, no caso de “somente intra codificação”, há uma possibilidade que os dados excedendo o limite superior configurado poderiam ser entrados, resultando em um problema de ser incapacitada para determinar se a operação estável pode ser efetuada ou não.

[0029] Isto sendo o caso, um sinalizador para amostrar se os dados codificados são menos do que ou excedem uma quantidade pré-determinada, é fornecido no conjunto de parâmetros de seqüência. Um processo de determinação é feito baseado no sinalizador, e, se os dados codificados são menores do que a quantidade pré-determinada, mesmo o processo de decodificação convencional é assumido se capaz de processar e por conseguinte, o processo de decodificação é executado. Se os dados codificados excedem a quantidade pré-determinada. é assumido que o dispositivo de decodificação convencional não pode executar o processo estável, e conseqüentemente um processo tal como alarmando pode ser tomado.

[0030] Mais ainda, informação de tamanho de imagem informação de tamanho de imagem 14 do sinal de vídeo de entrada 3 é entrada para as unidades de codificação de cena 5 e 7a à 7c, e é configurada para controlar o processo de codificação. A informação de tamanho de imagem 14 é informação representando o número de macro blocos de intra cena do sinal de vídeo de entrada 3, que é controlado para configurar um valor limite superior do número dos macro blocos contidos na fatia se um valor da informação 14 é maior do que um valor limite pré-determinado, e para prevenir a fatia de conter um número maior de macro blocos do que o valo limite superior. A informação de tamanho de imagem 14 é adicionada ao conjunto de parâmetros de seqüência, e o conjunto de parâmetros de seqüência é multiplexado na seqüência de bits 11. Com esta multiplexação, se o tamanho da cena do sinal de vídeo de entrada 3 é grande (i. e. uma resolução local é alta), ambos, o dispositivo de codificação e o dispositivo de decodificação podem especificar unidade que pode ser uma processada em paralelo e pode atribuir tarefas suavemente.

[0031] Daqui adiante, as operações da primeira e segunda unidade de codificação de cena serão explicadas em detalhes.

Esboço de operação da primeira unidade de codificação de cena

[0032] FIG. 9 ilustra uma configuração interna da primeira unidade de codificação de cena 5. Na FIG. 9, é assumido que o sinal de vídeo de entrada 3 toma o formato 4: 4: 4 e é codificado com base no macro bloco no formato da FIG. 3, onde o macro bloco consiste da agregação das três componentes de cor. O processo interno difere dependendo do valor do sinal de instrução de somente intra codificação 13.
(1) Caso do sinal de instrução de somente intra codificação 13 indicando “não somente intra codificação”

[0033] A unidade de prognóstico 15 seleciona uma imagem de referência de entre dados de imagem de referência de prognóstico de compensação de movimento armazenados na memória 16, e executa um problema de prognóstico de compensação de movimento com base no macro bloco. A memória 16 é armazenada com uma grande quantidade de pedaços de dados de imagem de referência, cada um consistindo das três componentes de cor através de uma grande quantidade de pontos de tempo do mais recente passado ou do passo e do futuro. A unidade de prognóstico 15 efetua prognóstico de movimento selecionando uma imagem de referência ótima com base no macro bloco, dentre aquelas imagens de referência. Conforme a alocação dos dados de imagem de referência na memória 16, os dados podem ser armazenados separadamente seqüencialmente em planos de acordo com cada componente de cor, e as amostra das respectivas componentes de cor também podem ser armazenados seqüencialmente em pontos. Sete tipos de tamanhos de bloco submetidos ao prognóstico de compensação de movimento são fornecidos. Primeiro, como ilustrado nas FIGS. 10 (a) à 10 (d), qualquer tamanho de memória 16 x 16, 16 x 8, 8 x 16, e 8 x 8 é selecionado com base no macro bloco. Ainda, quando o tamanho 8 x 8 é selecionado, como ilustrado nas FIGS. 10 (e) à 10 (h), qualquer tamanho de 8 x 8, 8 x 4, 4 x 8, e 4 x 4 é selecionado para cada bloco de 8 x 8. No processo de codificação comum executado pela primeira unidade de codificação de cena 5, o tamanho de bloco de prognóstico de compensação de movimento, comum as três componentes de cor, é selecionado e aplicado.

[0034] A unidade de prognóstico 15 executa o processo de prognóstico de compensação de movimento com base no macro bloco com relação a todos ou parte dos tamanhos de bloco/tamanhos de sub bloco da FIG. 10, a um vetor de movimento em um intervalo de procura pré-determinado, e a um ou mais pedaços de imagens de referência usáveis, e por meio disso emitindo informação de excesso de prognóstico 17 contendo o vetor de movimento e um índice de imagem de referência usado para o prognóstico e uma imagem prognosticada 33. Um diminuidor 18 obtém um sinal de diferença de prognóstico 19 para cada bloco que serve com uma unidade de prognóstico de compensação de movimento a partir da imagem prognosticada 33 e do sinal de vídeo de entrada 3. Uma unidade de determinação de modo de codificação 20 realiza um processo de seleção a partir do processo de prognóstico executado pela unidade de prognóstico 15, e emite o sinal de diferença de prognóstico 19 selecionado e um tipo de macro bloco/tipo de sub macro bloco 21. Todos os itens de informação de cabeçalho de macro bloco tal como o tipo de macro bloco, o tipo de sub macro bloco, o índice de imagem de referência e o vetor de movimento são determinados como a informação de cabeçalho comum para as três componentes de cor. A informação de cabeçalho de macro bloco é usada em comum para codificar as três componentes de cor e é multiplexada na seqüência de bits 8. Em um caso de avaliação do quão ótima é a eficiência de prognóstico, para o propósito de restringir a quantidade de computação, some uma quantidade de erro de prognóstico para uma certa componente de cor pré-determinada (e. g., a componente G de R, G, e B, e a componente Y de Y, Cb, e Cr) também pode ser avaliada, e as quantidades de erro de prognóstico para todas das componentes de cor também pode ser exaustivamente avaliada de modo a adquirir o desempenho de prognóstico ótimo, embora a quantidade de computação é aumentada.

[0035] Igualmente, a unidade de prognóstico 15 executa o intra prognóstico. Quando a unidade de prognóstico 15 executa o intra prognóstico, informação de modo de intra prognóstico é emitida para o sinal informação de excesso de prognóstico 17.

[0036] Daqui adiante, ao menos que não haja distinção particular entre o intra prognóstico e o prognóstico de compensação de movimento, o sinal informação de excesso de prognóstico 17 é chamada de informação de excesso de prognóstico. Note que os dados de imagem de referência para conduzir o intra prognóstico envolve usar uma imagem decodificada local 23 antes de ser submetida a um processo de um filtro de desbloqueio 22 (embora não ilustrada, a imagem decodificada local 23 é usada como dados de imagem de referência para o intra prognóstico e é por conseguinte, temporariamente armazenada na unidade de prognóstico 15 e o similar). Um modo de intra prognóstico comum para as três componentes de cor é selecionado e aplicado para o processo de codificação comum executado pela primeira unidade de codificação de cena 5. Como para o intra prognóstico, a quantidade de erro de prognóstico somente para a componente de cor pré-determinada pode ser avaliada, e as quantidades de erro de prognóstico para todas das componentes de cor também podem ser exaustivamente avaliadas. Finalmente, a unidade de determinação de modo de codificação 20 seleciona, avaliando em termos de eficiência de prognóstico ou de eficiência de codificação, se o tipo de macro bloco está configurado para intra prognóstico ou inter prognóstico.

[0037] A unidade de transformação 24 transforma o sinal de diferença de prognóstico 19 e emite o sinal transformado como um coeficiente de transformação para uma unidade de quantização 25. Neste caso um tamanho de bloco servindo como uma unidade para conduzir a transformação, pode ser selecionado de entre uma grande quantidade de tamanhos candidatos tais como 4 x 4 e 8 x 8. No caso de fazer o tamanho de bloco de transformação possível de ser selecionado, o tamanho de bloco selecionado quando codificado é refletido em um valor do sinalizador de designação de tamanho de bloco de transformação 26, e o sinalizador 26 é multiplexado na seqüência de bits 8. A unidade de quantização 25 faz a quantização do coeficiente de transformação para ser entrado com base no parâmetro de quantização 27 e nos coeficientes de ponderação de quantização 12a à 12c, e emite um resultado quantizado como um coeficiente de transformação quantizado 28 para uma unidade de codificação de comprimento variável 29 e uma unidade de quantização inversa 30.

[0038] O processo da unidade de quantização 25 será descrito. O coeficiente de transformação transformado em um sinal de um domínio da freqüência a partir daquele de um domínio local pela unidade de transformação 24 é separado em um domínio de baixa freqüência onde distorção é fácil de ser vista com os olhos em termos de características visuais de um homem e um domínio de alta freqüência onde a distorção é difícil de ser detectada. Assim sendo, cada domínio de freqüência é ponderado. Quantização fina é conduzida no domínio de baixa freqüência, enquanto quantização bruta é conduzida no domínio de alta freqüência, por meio disso, o processo de quantização adaptado para as características visuais de um homem pode ser realizado. Os coeficientes de ponderação de quantização 12a à 12c são parâmetros de ponderação dados em cada domínio de freqüência. 16 parâmetros de ponderação são usados para transformar o tamanho de bloco 4 x 4, 64 parâmetros de ponderação são usados para transformar o tamanho de bloco de 8 x 8. Como descrito acima, os coeficientes de ponderação de quantização 12a à 12c são multiplexados no conjunto de parâmetros de seqüência. No caso de executar o “processo de codificação comum”, contudo, o mesmo coeficiente de ponderação de quantização é usado para as três componentes de cor. Conseqüentemente não há necessidade de multiplexar os três coeficientes 12a, 12b, e 12c, e é suficiente mulitplexar somente um coeficiente. A unidade de quantização 25 executa o processo de quantização no qual os coeficientes de transformação das três componentes de cor são ponderados pelo uso dos coeficientes de ponderação de quantização 12a à 12c, por meio disso obtendo o coeficiente de transformação quantizado 28.

[0039] O coeficiente de transformação quantizado 28 para as três componentes de cor é codificado por entropia pela unidade de codificação de comprimento variável 29 usando medidas tais como codificação de Huffman e codificação aritmética.

[0040] Ainda, o coeficiente de transformação quantizado 28 é restaurado para um sinal de diferença de prognóstico local 32 através da unidade de quantização inversa 30 e uma unidade de transformação inversa 31. Então, em um somador 34, o sinal 32 é adicionado com uma imagem prognosticada 33 gerada com base no tipo de macro bloco/tipo de sub macro bloco 21 selecionado e a informação de excesso de prognóstico 17, por meio disso gerando a imagem decodificada local 23. A imagem decodificada local 23 é, após ser submetida a um processo de remoção de distorção de bloco no filtro de desbloqueio 22, armazenada na memória 16 de modo a ser empregada para o processo de prognóstico de compensação de movimento subseqüente.

[0041] O coeficiente de transformação quantizado 28, o tipo de macro bloco/tipo de sub macro bloco 21, a informação de excesso de prognóstico 17, e o parâmetro de quantização 27, que são entrados para a unidade de codificação de comprimento variável 29, são arrumados e formatados de acordo com uma sintaxe pré-determinada dos dados codificados de macro bloco, e são formados em pacotes (também chamado de individualização NAL no AVC) na unidade dos dados da fatia consistindo de um macro bloco ou da agregação de uma grande quantidade de macro blocos no formato mostrado na FIG. 3. Então, os pacotes de dados são emitidos com a seqüência de bits 8.
(2) Caso do sinal de instrução de somente intra codificação sinal de instrução de somente intra codificação 13 indicando “somente intra codificação”

[0042] A unidade de prognóstico 15 executa somente o processo de intra prognóstico descrito no item (1). Quando o intra prognóstico é executado, a informação de modo de intra prognóstico é emitida para informação de excesso de prognóstico 17. Note que os dados de imagem de referência para conduzir o intra prognóstico envolve usar a imagem decodificada local 23 antes de ser submetida ao processo do filtro de desbloqueio 22 (embora não ilustrada, a imagem decodificada local 23 é usada como dados de imagem de referência para o intra prognóstico e é por conseguinte, temporariamente armazenada na unidade de prognóstico 15 e o similar). Um modo de intra prognóstico comum para as três componentes de cor é selecionado e aplicado para o processo de codificação comum executado pela primeira unidade de codificação de cena 5. A unidade de determinação de modo de codificação 20 seleciona o modo de intra prognóstico avaliando em termos de eficiência de prognóstico ou de eficiência de codificação.

[0043] A unidade de determinação de modo de codificação 20 emite o sinal de diferença de prognóstico 19 selecionado para a unidade de transformação 24. A unidade de transformação 24 transforma o sinal de diferença de prognóstico 19 a ser entrado e emite o sinal transformado como um coeficiente de transformação para a unidade de quantização 25. Neste caso, o tamanho de bloco servindo como a unidade para conduzir a transformação, pode ser selecionado de entre a grande quantidade de tamanhos candidatos tais como 4 x 4 e 8 x 8. O AVC é configurado de modo que um bloco alvo de prognóstico do modo de intra prognóstico é ajustado para o tamanho de bloco de transformação. No caso de fazer o tamanho de bloco de transformação possível de ser selecionado, o tamanho de bloco selecionado quando codificado é refletido no valor do sinalizador de designação de tamanho de bloco de transformação 26, e o sinalizador 26 é multiplexado na seqüência de bits 8. A unidade de quantização 25 faz a quantização do coeficiente de transformação a ser entrado com base no parâmetro de quantização 27 e nos coeficientes de ponderação de quantização 12a à 12c, e emite o resultado quantizado como o coeficiente de transformação quantizado 28 para a unidade de codificação de comprimento variável 29. O exemplo do processo é como descrito acima.

[0044] O coeficiente de transformação quantizado 28 para as três componentes de cor é codificado por entropia pela unidade de codificação de comprimento variável 29 usando as medidas tais como codificação de Huffman e codificação aritmética.

[0045] Ainda, o coeficiente de transformação quantizado 28 é restaurado para um sinal de diferença de prognóstico local 32 através da unidade de quantização inversa 30 e uma unidade de transformação inversa 31. Então, em um somador 34, o sinal 32 é adicionado com uma imagem prognosticada 33 gerada na informação de excesso de prognóstico 17, por meio disso gerando a imagem decodificada local 23. Se o sinal de instrução de somente intra codificação 13 indica “somente intra codificação”, o prognóstico de compensação de movimento não é executado, e conseqüentemente, o filtro de desbloqueio 22 nem executa o processo nem a escrita dos dados como a imagem de referência para a memória 16. Com esta estrutura, acesso para a memória e a operação aritmética necessários para o processo do filtro de desbloqueio podem ser reduzidos.

[0046] O coeficiente de transformação quantizado 28, o tipo de macro bloco/tipo de sub macro bloco 21 (fixo para o modo de intra prognóstico), a informação de excesso de prognóstico 17, e o parâmetro de quantização 27, que são entrados para a unidade de codificação de comprimento variável 29, são arrumados e formatados de acordo com uma sintaxe pré-determinada dos dados codificados de macro bloco, e são formados em pacotes (também chamado de individualização NAL no AVC) na unidade dos dados da fatia consistindo de um macro bloco ou da agregação de uma grande quantidade de macro blocos no formato mostrado na FIG. 3. Então, os pacotes de dados são emitidos com a seqüência de bits 8.

[0047] Note que o número de macro blocos incluídos na fatia é restringindo não pelo valor do sinal de instrução de somente intra codificação 13 mas pela informação de tamanho de imagem 14. A informação de tamanho de imagem 14 é entrada para a unidade de codificação de comprimento variável 29. A unidade de codificação de comprimento variável 29 configura, com base na informação de tamanho de imagem 14, um valor de limite superior do número de macro blocos incluídos na fatia. A unidade de codificação de comprimento variável 29 conta o número de macro blocos codificados antecipadamente, e, quando o número de macro blocos incluídos na fatia alcança o valor de limite superior, fecha o pacote dos dados de fatia. Subseqüentes macros blocos são formados em pacotes como novos dados de fatia.

[0048] Mais ainda, a primeira unidade de codificação de cena 5 de acordo com a primeira modalidade da presente invenção não fornece o sinalizador de identificação de componente de cor 2 nos dados de fatia por causa de ser reconhecíveis, do sinal de identificação de codificação comum/codificação independente 1, que todos os pedaços dos dados de fatia na seqüência podem se definido com fatias agregadas de C0, C1 e C2 (i. e., cada fatia consistindo da agregação da informação das três componentes de cor).

Esboço de operação da segunda unidade de codificação de cena

[0049] FIG. 11 ilustra uma configuração interna da segunda unidade de codificação de cena 7a. Na FIG. 11, é assumido que o sinal de vídeo de entrada 3 a é entrado com base no macro bloco, o macro bloco consistindo das amostras do componente C0 no formato mostrando na FIG. 4. As segundas unidades de codificação de cena 7b, 7c têm, absolutamente, a mesma configuração interna exceto para tratamento dos sinais de vídeo de entrada 3b (componente C1) e 3c (componente C2) no lugar do sinal de vídeo de entrada 3a. Por conseguinte, uma operação da segunda unidade de codificação de cena daqui a diante será descrita por meio de um exemplo representativo das unidades de codificação de cena 7a.
(3) Caso do sinal de instrução de somente intra codificação 13 indicando “não somente intra codificação”

[0050] A unidade de prognóstico 115 seleciona uma imagem de referência de entre dados de imagem de referência de prognóstico de compensação de movimento armazenados na memória 116, e executa um problema de prognóstico de compensação de movimento com base no macro bloco. A memória 116 pode ser armazenada com uma grande quantidade de pedaços de dados de imagem de referência, cada um consistindo de componente de cor única sobre uma grande quantidade de pontos de tempo tais como do mais recente passado ou do passo e do futuro. A unidade de prognóstico 115 efetua prognóstico de movimento selecionando uma imagem de referência ótima com base no macro bloco, dentre aquelas imagens de referência. Note que cada uma das segundas unidades de codificação de cena 7a à 7c pode ser configurada a fim de empregar somente os dados de imagem de referência para cada componente de cor alvo e não para ter acesso aos dados de imagem de referência de outras componentes de cor. Conseqüentemente, a memória 116 pode não tomar a configuração de fornecer as memórias para as três componentes de cor, respectivamente, mas a configuração de agregação das memória em uma memória. Ainda, na seqüência onde as segundas unidades de codificação de cena 7a à 7c executam o processo de codificação, a primeira unidade de codificação de cena 5 não opera, e por conseguinte, a memória 116 é configurada para ser compartilhada com a memória 16. Sete tipos de tamanhos de bloco submetidos ao prognóstico de compensação de movimento são fornecidos. Primeiro, como ilustrado nas FIGS. 10 (a) à 10 (d), qualquer tamanho de memória 16 x 16, 16 x 8, 8 x 16, e 8 x 8 é selecionado com base no macro bloco. Ainda, quando o tamanho 8 x 8 é selecionado, como ilustrado nas FIGS. 10 (e) à 10 (h), qualquer tamanho de 8 x 8, 8 x 4, 4 x 8, e 4 x 4 é selecionado para cada bloco de 8 x 8. No processo de codificação independente executado pela segunda unidade de codificação de cena 7, os tamanhos de bloco de prognóstico de compensação de movimento, para as componentes C0 à C2 são individualmente selecionados e aplicados.

[0051] A unidade de prognóstico 115 executa o processo de prognóstico de compensação de movimento com base no macro bloco com relação a todos ou parte dos tamanhos de bloco/tamanhos de sub bloco da FIG. 10, a um vetor de movimento em um intervalo de procura pré-determinado, e a um ou mais pedaços de imagens de referência usáveis, e por meio disso emitindo informação de excesso de prognóstico 117 contendo o vetor de movimento e um índice de imagem de referência usado para o prognóstico e uma imagem prognosticada 133. Um diminuidor 118 obtém um sinal de diferença de prognóstico 119 para cada bloco que serve com uma unidade de prognóstico de compensação de movimento a partir da imagem prognosticada 133 e do sinal de vídeo de entrada 13a. Uma unidade de determinação de modo de codificação 120 realiza um processo de seleção a partir do processo de prognóstico executado pela unidade de prognóstico 115, e emite o sinal de diferença de prognóstico 119 selecionado e um tipo de macro bloco/tipo de sub macro bloco 121. Todos os itens de informação de cabeçalho de macro bloco tal como o tipo de macro bloco, o tipo de sub macro bloco, o índice de imagem de referência e o vetor de movimento são determinados como a informação de cabeçalho para o sinal de vídeo de entrada 3a. Então, a informação de cabeçalho de macro bloco é usada em comum para codificação e multiplexada em um a seqüência de bits 9a. Em um caso de avaliação do quão ótima é a eficiência de prognóstico, uma quantidade de erro de prognóstico com relação ao sinal de vídeo de entrada 3a servindo com objetivo do processo de codificação é avaliada.

[0052] Igualmente, a unidade de prognóstico 115 também executa o intra prognóstico. Quando o intra prognóstico é executado, informação de modo de intra prognóstico é emitida para o sinal 117.

[0053] O modo de intra prognóstico nas respectivas componentes de cor do sinal de vídeo de entrada 3 é selecionado e aplicado individualmente par a as respectivas componentes de cor. Note que os dados de imagem de referência para conduzir o intra prognóstico envolve usar uma imagem decodificada local imagem decodificada local 123 antes de ser submetida a um processo de um filtro de desbloqueio 22 (embora não ilustrada, a imagem decodificada local 123 é usada como dados de imagem de referência para o intra prognóstico e é por conseguinte, temporariamente armazenada na unidade de prognóstico 115). Como para o intra prognóstico, a quantidade de erro de prognóstico com relação ao sinal de vídeo de entrada 3a servindo com o objetivo do processo de codificação é avaliado. Finalmente, a unidade de determinação de modo de codificação 120 seleciona, avaliando em termos de eficiência de prognóstico ou de eficiência de codificação, se o tipo de macro bloco está configurado para intra prognóstico ou inter prognóstico.

[0054] A unidade de transformação 124 transforma o sinal de diferença de prognóstico 119 e emite o sinal transformado como um coeficiente de transformação para uma unidade de quantização 125. Neste caso, um tamanho de bloco servindo como uma unidade para conduzir a transformação, pode ser selecionado de entre 4 x 4 e 8 x 8. No AVC, um bloco alvo de prognóstico no modo de intra prognóstico é configurado para ser ajustado para o tamanho de bloco de transformação. No caso de fazer o tamanho de bloco de transformação possível de ser selecionado, o tamanho de bloco selecionado quando codificado é refletido em um valor do sinalizador de designação de tamanho de bloco de transformação 126, e o sinalizador 126 é multiplexado na seqüência de bits 9a. A unidade de quantização 125 faz a quantização do coeficiente de transformação para ser entrado com base em um parâmetro de quantização 127 e nos coeficientes de ponderação de quantização 12a à 12c, e emite um resultado quantizado como um coeficiente de transformação quantizado 128 para uma unidade de codificação de comprimento variável 129.

[0055] A seguir, o processo da unidade de quantização 125 será descrito. O coeficiente de transformação transformado em um sinal de um domínio da freqüência a partir daquele de um domínio local pela unidade de transformação 124 é separado em um domínio de baixa freqüência onde distorção é fácil de ser vista com os olhos em termos de características visuais de um homem e um domínio de alta freqüência onde a distorção é difícil de ser detectada. Por conseguinte, cada domínio de freqüência é ponderado. A quantização fina é conduzida no domínio de baixa freqüência, enquanto quantização bruta é conduzida no domínio de alta freqüência, por meio disso o processo de quantização adaptado para as características visuais de um homem pode ser realizado. Cada um dos coeficientes de ponderação de quantização 12a, 12b e 12c são parâmetros de ponderação dados em cada domínio de freqüência. 16 parâmetros de ponderação são usados para transformar o tamanho de bloco 4 x 4, 64 parâmetros de ponderação são usados para transformar o tamanho de bloco de 8 x 8. Como descrito acima, os coeficientes de ponderação de quantização 12a, 12b e 12c são multiplexados no conjunto de parâmetros de seqüência. No caso de executar o “processo de codificação independente”, contudo, os coeficientes de ponderação de quantização diferentes entre as três componentes de cor podem ser usados. Conseqüentemente todos os três coeficientes 12a, 12b, e 12c podem ser multiplexados, e, no caso de usar o mesmo valor, somente um coeficiente também pode ser multiplexado junto com a informação indicando este propósito. A unidade de quantização 125 executa o processo de quantização ponderado nos coeficientes de transformação das três componentes de cor usando cada uma, os coeficientes de ponderação de quantização 12a à 12c, por meio disso obtendo o coeficiente de transformação quantizado 128. O coeficiente de transformação quantizado 128 é codificado por entropia pela unidade de codificação de comprimento variável 129 usando medidas tais como codificação de Huffman e codificação aritmética.

[0056] Ainda, o coeficiente de transformação quantizado 128 é restaurado para um sinal de diferença de prognóstico local 132 através de uma unidade de quantização inversa 130 e uma unidade de transformação inversa 131. Então, o somador 134 adiciona o sinal de diferença de prognóstico local 132 para a imagem prognosticada 133, gerado com base no tipo de macro bloco/tipo de sub macro bloco 121 selecionado e a informação de excesso de prognóstico 117, por meio disso gerando a imagem decodificada local 123. A imagem decodificada local 123 é armazenada, após ser submetida a um processo de remoção de distorção de bloco no filtro de desbloqueio 122, na memória 116 de modo a ser empregada para o processo de prognóstico de compensação de movimento subseqüente. O coeficiente de transformação quantizado 128, o tipo de macro bloco/tipo de sub macro bloco 121, a informação de excesso de prognóstico 117, e o parâmetro de quantização 127, que são entrados para a unidade de codificação de comprimento variável 129, são arrumados e formatados de acordo com uma sintaxe pré-determinada dos dados codificados de macro bloco, e são formados em pacotes (também chamado de individualização NAL no AVC) na unidade dos dados da fatia consistindo de um macro bloco ou da agregação de uma grande quantidade de macro blocos no formato mostrado na FIG. 4. Então, os pacotes de dados são emitidos com a seqüência de bits 9a.
(4) Caso do sinal de instrução de somente intra codificação sinal de instrução de somente intra codificação 13 indicando “somente intra codificação”

[0057] A unidade de prognóstico 115 executa somente o processo de intra prognóstico descrito no item (2). Quando o intra prognóstico é executado, a informação de modo de intra prognóstico é emitida para informação de excesso de prognóstico 117. Note que os dados de imagem de referência par conduzir o intra prognóstico envolve usar a imagem decodificada local 123 antes de ser submetida ao processo do filtro de desbloqueio 122 (embora não ilustrada, a imagem decodificada local 123 é usada como dados de imagem de referência para o intra prognóstico e é por conseguinte, temporariamente armazenada na unidade de prognóstico 115). O intra prognóstico no AVC é como descrito acima e executado com relação ao sinal de vídeo de entrada 3a. Por conseguinte, o modo de intra prognóstico nas respectivas componentes de cor dos sinais de vídeo de entrada 3 é selecionada e aplicada individualmente para as respectivas componentes de cor. A unidade de determinação de modo de codificação 120 seleciona o modo de intra prognóstico avaliando em termos de eficiência de prognóstico ou de eficiência de codificação.

[0058] A unidade de determinação de modo de codificação 120 emite o sinal de diferença de prognóstico 119 selecionado para a unidade de transformação 124. A unidade de transformação 124 transforma o sinal de diferença de prognóstico 119 recebido e emite o sinal transformado como um coeficiente de transformação para a unidade de quantização 125. Neste caso, o tamanho de bloco servindo como a unidade para conduzir a transformação, pode ser selecionado de entre a grande quantidade de tamanhos candidatos tais como 4 x 4 e 8 x 8. O AVC é configurado de modo que um bloco alvo de prognóstico no modo de intra prognóstico é ajustado para o tamanho de bloco de transformação. No caso de fazer o tamanho de bloco de transformação possível de ser selecionado, o tamanho de bloco selecionado quando codificado é refletido no valor do sinalizador de designação de tamanho de bloco de transformação 126, e o sinalizador 126 é multiplexado na seqüência de bits 9a. A unidade de quantização 125 faz a quantização do coeficiente de transformação a ser entrado com base no parâmetro de quantização 127 e no coeficiente de ponderação de quantização 12a, e emite o resultado quantizado como o coeficiente de transformação quantizado 128 para a unidade de codificação de comprimento variável 129. O exemplo do processo é como descrito acima.

[0059] O coeficiente de transformação quantizado 128 é codificado por entropia pela unidade de codificação de comprimento variável 129 usando as medidas tais como codificação de Huffman e codificação aritmética.

[0060] O coeficiente de transformação quantizado 128 é restaurado para um sinal de diferença de prognóstico local 132 através da unidade de quantização inversa 130 e uma unidade de transformação inversa 131. Então, o somador 134, adiciona o sinal 132 para a imagem prognosticada 133 gerada na informação de excesso de prognóstico 117, por meio disso gerando a imagem decodificada local 123. Se o sinal de instrução de somente intra codificação 113 indica “somente intra codificação”, o prognóstico de compensação de movimento não é executado, e conseqüentemente, o filtro de desbloqueio 122 nem executa o processo nem a escrita dos dados como a imagem de referência para a memória 116. Com esta configuração, o acesso à memória e a operação aritmética necessários para o processo do filtro de desbloqueio podem ser reduzidos.

[0061] O coeficiente de transformação quantizado 128, o tipo de macro bloco/tipo de sub macro bloco 121 (fixo para o modo de intra prognóstico), a informação de excesso de prognóstico 117, e o parâmetro de quantização 127, que são entrados para a unidade de codificação de comprimento variável 129, são arrumados e formatados de acordo com uma sintaxe pré-determinada dos dados codificados de macro bloco, e são formados em pacotes (também chamado de individualização NAL no AVC) na unidade dos dados da fatia consistindo de um macro bloco ou da agregação de uma grande quantidade de macro blocos no formato mostrado na FIG. 4. Então, os pacotes de dados são emitidos com a seqüência de bits 9a.

[0062] As segundas unidades de codificação de cena 7a à 7c de acordo com a primeira modalidade da presente invenção codificam todos os pedaços de dados de fatia na seqüência com a fatia de componente de cor único (i. e., a fatia de C0 ou a fatia de C1 ou a fatia de C2) através do sinal de identificação de codificação comum/codificação independente 1. Conseqüentemente o sinalizador de identificação de componente de cor 2 é invariavelmente multiplexado no início dos dados de fatia. por meio disso o dispositivo de decodificação pode reconhecer que fatia corresponde a que dados de cena na unidade de acesso. Por exemplo, a segunda unidade de codificação de cena 7a configura “0” como o valor do sinalizador de identificação de componente de cor 2, a segunda unidade de codificação de cena 7b configura “1” como o valor do sinalizador de identificação de componente de cor 2, e a segunda unidade de codificação de cena 7c configura “2” como o valor do sinalizador de identificação de componente de cor 2, e cada um dos valores de sinalizador é anexado ao início dos dados de fatia. Conseqüentemente, mesmo quando serialmente multiplexando as seqüências de bits 9a à 9c na seqüência de bits seqüência de bits 11, o dispositivo de decodificação pode prontamente reconhecer que fatia corresponde a que dados codificados da componente C0, C1 e C2. Em outras palavras, as segundas unidades de codificação de cena 7a à 7c podem transmitir a saída de seqüência de bits a qualquer hora qualidade os dados para uma fatia são acumulados sem acumular as respectivas saídas de seqüência de bits para uma cena.

[0063] Note que o número de macro blocos incluídos na fatia é restringindo não pelo valor do sinal de instrução de somente intra codificação 13 mas pela informação de tamanho de imagem 14. A informação de tamanho de imagem 14 é entrada para a unidade de codificação de comprimento variável 129. A unidade de codificação de comprimento variável 129 configura, com base na informação de tamanho de imagem 14, um valor de limite superior do número de macro blocos incluídos na fatia. A unidade de codificação de comprimento variável 129 previamente conta o número de macro blocos codificados, e, apenas quando o número dos macros blocos incluídos na fatia alcança o valor de limite superior, fecha o pacote dos dados de fatia. Macros blocos subseqüentes são formados em pacotes como novos dados de fatia. Deve ser notado que a informação de tamanho de imagem 14 tem o mesmo valor com relação as componentes C0, C1, C2 no caso de formato 4: 4: 4, e pode, por conseguinte, ser bastante para multiplexar somente um pedaço de dados no conjunto de parâmetros de seqüência.

[0064] Ainda, a primeira unidade de codificação de cena 5 e as segundas unidades de codificação de cena 7a à 7c são diferentes em termos de se tratam a informação de cabeçalho de macro bloco como a informação comum para as três componentes de cor ou como a informação da componente de cor única, e a estrutura de seqüência de bits dos dados de fatia. Conseqüentemente, a unidade de transformação 24, a unidade de transformação inversa 31, a unidade de quantização 25, a unidade de quantização inversa 30 e o filtro de desbloqueio 22 da FIG. 9 são realizada em uma maneira que repetem as operações aritméticas, para as três componentes de cor, da unidade de transformação 124, da unidade de transformação inversa 131, da unidade de quantização 125, da unidade de transformação inversa, da unidade de quantização inversa 130 e do filtro de desbloqueio 122 da FIG. 11. Conseqüentemente, parte das configurações internas da primeira unidade de codificação de cena 5 e das segundas unidades de codificação de cena 7a à 7c também, pode ser realizada por blocos de função comuns. Conseqüentemente, é viável atualizar implementação de dispositivos de codificação de multi formas em uma maneira que opera repetidamente, e. g., os mesmos circuitos em uma grande quantidade de vezes para combinar apropriadamente os componentes da FIGS. 9 à 11 sem estar completamente limitado a unidade de processo de codificação independente como na FIG. 8. Ainda, como descrito acima, se o arranjo da memória 16 na primeira unidade de codificação de cena 5 é fornecido seqüencialmente no plano, a memória de armazenagem de imagem de referência pode ser compartilhada entre a primeira unidade de codificação de cena 5 e as segundas unidades de codificação de cena 7a à 7c.

[0065] FIG. 12 ilustra um esboço da configuração do dispositivo de decodificação de acordo com a primeira modalidade. Na FIG. 12, um processo de decodificação comum é executado por uma primeira unidade de decodificação de cena 302, e um processo de decodificação independente é executado por uma unidade de determinação de componente de cor 303 e segundas unidades de decodificação de cena 304 (fornecidas para as três componentes de cor).

[0066] A seqüência de bits 11 é dividida com base na unidade NAL por uma unidade de análise de cabeçalho de mais alta ordem 300. Informação de cabeçalho de mais alta ordem, tal como o conjunto de parâmetros de seqüência e o conjunto de parâmetro de cena, é decodificada e armazenada, em uma memória de cabeçalho de mais alta ordem 305 para acesso aleatório qual a primeira unidade de decodificação de cena 302, a unidade de determinação de componente de cor 303 e as segundas unidades de decodificação de cena 304 podem se referir. O sinal de identificação de codificação comum/codificação independente 1, os coeficientes de ponderação de quantização 12a à 12c, a sinal de instrução de somente intra codificação 13 e a informação de tamanho de imagem 14, que são multiplexadas com base na seqüência, são retidos como parte do conjunto de parâmetros de seqüência na memória de cabeçalho de mais alta ordem 305.

[0067] O sinal de identificação de codificação comum/codificação independente 1 é fornecido para um comutador (SW) 301. O comutador 301, se o sinal de identificação de codificação comum/codificação independente 1 indica “sendo submetido ao processo de codificação comum”, fornece todas as unidades NAL de fatia na seqüência como a seqüência de bits 8, para a primeira unidade de decodificação de cena 302. O comutador 301, se o sinal de identificação de codificação comum/codificação independente 1 indica “sendo submetido ao processo de codificação independente”, fornece todas as unidades NAL de fatia na seqüência, para a unidade de determinação de componente de cor 303. Operações detalhadas da primeira e segunda unidade de decodificação de cena serão descritas mais tarde.

[0068] A unidade de determinação de componente de cor 303 analisa um valor do sinalizador de identificação de componente de cor 2 mostrado na FIG. 7, de entre as unidades NAL de fatia recebidas, então reconhece que cena de componente de cor na unidade de acesso presente, as unidades NAL de fatia correspondem, e distribuem as unidades NAL de fatia como seqüência de bits 9a à 9c para as segundas unidades de decodificação de cena 304a para 304c. A configuração este tipo de dispositivo de decodificação tem um efeito tal que mesmo quando recebendo as seqüências de bits nas quais as fatias são intercaladas e codificadas para cada componente de cor na unidade de acesso, é prontamente determinado que fatia pertence a que cena de componente de cor, e a seqüência de bits decodificada pode ser apropriadamente codificada.

Esboço de operação da primeira unidade de decodificação de cena

[0069] FIG. 13 ilustra um esboço uma configuração interna da primeira unidade de decodificação de cena 302. A primeira unidade de decodificação de cena 302 recebe a seqüência de bits seqüência de bits 11 emitida do dispositivo de codificação ilustrado na FIG. 8, por exemplo, no formato da seqüência de bits 8 construída pelas fatias em que cada uma consistindo da agregação das três componentes de cor de C0, C1 e C2. A primeira unidade de decodificação de cena 302 restaura o quadro de vídeo de saída executando o processo de decodificação com base no macro bloco. O macro bloco consiste das amostras (elementos mínimos de imagem) das três componentes de cor ilustradas na FIG. 3.

[0070] Uma unidade de decodificação de comprimento variável 310 recebe a seqüência de bits 8, decodifica a seqüência de bits 8 de acordo com uma regra pré-determinada (sintaxe) e extrai, da seqüência de bits 8, o coeficiente de transformação quantizado 28 para as três componentes de cor e a informação de cabeçalho de macro bloco (o tipo de macro bloco/tipo de sub macro bloco 21, a informação de excesso de prognóstico 17, o sinalizador de designação de tamanho de bloco de transformação 26 e o parâmetro de quantização 27) usados em comum para as três componentes de cor.

[0071] Ainda, o coeficiente de transformação quantizado 28 é entrado junto com o parâmetro de quantização 27 para a unidade de quantização inversa 30, que executa o mesmo processo conforme a primeira unidade de codificação de cena 5, por meio disso efetuando o processo de quantização inversa é efetuado. Neste caso, os coeficientes de ponderação de quantização 12a à 12c usados para as respectivas componentes de cor são empregados referenciando à memória de cabeçalho de mais alta ordem 305. Note que se os três coeficientes de ponderação de quantização 12a à 12c tomam o mesmo valor, o decodificador não é necessariamente requerido para, internamente, ter os coeficientes computador três pedaços de dados, e um pedaço de dados pode ser empregado em comum. Subseqüentemente, a saída deles é entrada na unidade de transformação inversa 31 que executa o mesmo processo que a primeira unidade de codificação de cena 5, e a saída é restaurada para o sinal de diferença de prognóstico local 32 (se o sinalizador de designação de tamanho de bloco de transformação 26 existe na seqüência de bits 8, este sinalizador 26 é referenciando no processo de quantização inversa e no processo de transformação inversa). Por outro lado, a unidade de prognóstico 311, referenciando a informação de excesso de prognóstico 17 na unidade de prognóstico 15 da primeira unidade de codificação de cena 5, inclui somente o processo de geração de imagem prognosticada 33, e o tipo de macro bloco/tipo de sub macro bloco 21 e a informação de excesso de prognóstico 17 são entrados para a unidade de prognóstico 311, por meio disso obtendo a imagem prognosticada 33 para as três componentes de cor.

[0072] Se o tipo de macro bloco indica que tipo de macro bloco é o intra prognóstico, a imagem prognosticada 33 para as três componentes de cor é obtida da informação de excesso de prognóstico 17 de acordo com a informação de modo de intra prognóstico. Se o tipo de macro bloco indica que o tipo de macro bloco é o inter prognóstico, a imagem prognosticada 33 para as três componentes de cor é obtida da informação de excesso de prognóstico 17 de acordo com o vetor de movimento e o índice de imagem de referência. O somador 34 adiciona o sinal de diferença de prognóstico decodificado local 32 para a imagem prognosticada 33, por meio disso adquirindo uma imagem decodificada temporária 323 para as três componentes de cor. A imagem decodificada temporária 323 é usada para o prognóstico de compensação de movimento do macro bloco, e é por conseguinte, após executar o processo de remoção de distorção de bloco nas amostras de imagem decodificada temporária para as três componentes de cor pelo uso do filtro de desbloqueio 22 que executa o mesmo processo que a primeira unidade de codificação de cena 5, emitida e armazenada como uma imagem decodificada 313 em uma memória 312. A memória 312 armazena uma grande quantidade de conjuntos de dados de imagem de referência cada uma consistindo das três componentes de cor através de uma grande quantidade de pontos no tempo. A unidade de prognóstico 311 gera a imagem prognosticada selecionado a imagem de referência indicada pelo índice de imagem de referência extraído da seqüência de bits 8 com base no macro bloco dos dados de imagem de referência. Como para o arranjo da descrição detalhada a seguir de imagem de referência na memória 312, esses pedaços de dados podem ser armazenados separadamente e seqüencialmente em planos para cada componente de cor, e as amostras (elementos mínimos de imagem) das respectivas componentes de cor também podem ser armazenados seqüencialmente em pontos. A imagem decodificada 313 é definida como um quadro de vídeo de cor contendo as três componentes de cor.

[0073] Ainda, a primeira unidade de decodificação de cena 302 pode ser configurada como a seguir. Se a sinal de instrução de somente intra codificação sinal de instrução de somente intra codificação 13 armazenada na memória de cabeçalho de mais alta ordem 305 indica “somente intra codificação”, a imagem de referência se torna desnecessária porque o processo de prognóstico de compensação de movimento não é necessário. Assim, o processo efetuado no filtro de desbloqueio 22 é pulado, e escrita da imagem de referência na memória 312 não é efetuada. ESta configuração possibilita a redução no acesso à memória e na operação aritmética requerida para o processo da filtragem de desbloqueio. Mesmo no caso do “somente intra prognóstico”, contudo, a filtragem de desbloqueio ou filtragem de pós processamento similar pode ser realizado como o pós processamento para exibição da imagem decodificada.

Esboço de operação da segunda unidade de decodificação de cena

[0074] FIG. 14 ilustra uma configuração interna da segunda unidade de decodificação de cena 304. A segunda unidade de decodificação de cena 304 recebe qualquer uma das sequências de bits 9a à 9c formado de unidade NAL de fatia de C0, C1 e C2, para a qual a saída da seqüência de bits 11 do dispositivo de codificação ilustrado na FIG. 8, por exemplo, é alocada pela unidade de determinação de componente de cor 303. A segunda unidade de decodificação de cena 304 executa o processo de decodificação com base no macro bloco. O macro bloco consistindo das amostras da componente de como única ilustrada na FIG. 4, e por meio disso restaurando o quadro de vídeo de saída.

[0075] Uma unidade de decodificação de comprimento variável 410 recebe a seqüência de bits 9, decodifica a seqüência de bits 9 de acordo com uma regra pré-determinada (sintaxe) e extrai o coeficiente de transformação quantizado 128 para a componente de cor única e a informação de cabeçalho de macro bloco aplicada para a componente de cor única (o tipo de macro bloco/tipo de sub macro bloco 121, a informação de excesso de prognóstico 117, o sinalizador de designação de tamanho de bloco de transformação 126 e o parâmetro de quantização 127). O coeficiente de transformação quantizado 128 é entrado junto com o parâmetro de quantização 127 para a unidade de quantização inversa 130, que executa o mesmo processo conforme a segunda unidade de codificação de cena 5, por meio disso efetuando o processo de quantização inversa. Conforme o coeficiente de ponderação de quantização empregado neste caso, com base no sinalizador de identificação de componente de cor 2 decodificado pela unidade de decodificação de comprimento variável 410, um coeficiente de ponderação de quantização correspondendo a componente de cor considerada, é selecionada dos coeficientes de ponderação de quantização 12a à 12c na memória de cabeçalho de mais alta ordem 305, e o coeficiente de ponderação de quantização selecionado é referenciado. Subseqüentemente, a saída da unidade de transformação inversa 130 é entrada na unidade de transformação inversa 131 que executa o mesmo processo que a segunda unidade de codificação de cena 7, e é restaurada para o sinal de diferença de prognóstico local 132 decodificado (se o sinalizador de designação de tamanho de bloco de transformação 126 existe na seqüência de bits 8, este sinalizador 126 é referenciando no processo de quantização inversa e no processo de transformação ortogonal).

[0076] Por outro lado, a unidade de prognóstico 411 inclui somente o processo de geração da imagem prognosticada 133, referenciando a informação de excesso de prognóstico 117 na unidade de prognóstico 115 da segunda unidade de codificação de cena 7, e recebe o tipo de macro bloco/tipo de sub macro bloco 121 e a informação de excesso de prognóstico 117, por meio disso obtendo a imagem prognosticada 133 para a componente de cor única. Se o tipo de macro bloco indica o intra prognóstico, a imagem prognosticada 133 para a componente de cor única é obtida da informação de excesso de prognóstico 117 de acordo com a informação de modo de intra prognóstico. Se o tipo de macro bloco indica que o tipo de macro bloco é o inter prognóstico, a imagem prognosticada 133 para a componente de cor única é obtida da informação de excesso de prognóstico 117 de acordo com o vetor de movimento e o índice de imagem de referência. O somador 134 adiciona o sinal de diferença de prognóstico decodificado local 132 para a imagem prognosticada 133, por meio disso adquirindo uma imagem decodificada temporária 423 para a componente de cor única. A imagem decodificada temporária 423 é usada para o subseqüente prognóstico de compensação de movimento do macro bloco. Por conseguinte, após executar o processo de remoção de distorção de bloco nas amostras de imagem decodificada temporária para a componente de cor única pelo uso do filtro de desbloqueio 122 que executa o mesmo processo que a segunda unidade de codificação de cena 7, a imagem decodificada temporária 423 é emitida como uma imagem decodifica 413 a ser armazenada em uma memória 412. A imagem decodifica 413 inclui somente as amostras da componente de cor única, e é, como ilustrada na FIG. 5, formada como um quadro de vídeo de cor juntando as respectivas saídas das segundas unidades de decodificação de cena 304 para outras componentes de cor.

[0077] Ainda, a segunda unidade de decodificação de cena 304 pode ser configurada como a seguir. Se a informação de instrução de somente intra codificação 113 armazenada na memória de cabeçalho de mais alta ordem 305 indica que a informação de instrução de somente intra codificação 113 é de “somente intra codificação”, a imagem de referência se torna desnecessária porque o processo de prognóstico de compensação de movimento não é necessário. Assim, o processo efetuado no filtro de desbloqueio 122 é pulado, e escrita da imagem de referência na memória 412 não é efetuada. ESta configuração possibilita a redução no acesso à memória e na operação aritmética requerida para o processo da filtragem de desbloqueio. Mesmo no caso do “somente intra prognóstico”, contudo, a filtragem de desbloqueio ou filtragem de pós processamento similar pode ser realizado como o pós processamento para exibição da imagem decodificada.

[0078] Como aparente da descrição acima, a primeira unidade de decodificação de cena 302 e a segunda unidade de decodificação de cena 304 são diferentes em termos de se tratar a informação de cabeçalho de macro bloco com a informação comum para as três componentes de cor ou como a informação para a componente de cor única. Conseqüentemente, os blocos de processo de decodificação básicos tais como a unidade de prognóstico, a unidade de transformação inversa e unidade de quantização inversa das FIGS. 13 e 14 podem ser realizados pelos blocos de função comuns para a primeira unidade de decodificação de cena 302 e a segunda unidade de decodificação de cena 304. Conseqüentemente, é possível atualizar implementação de dispositivos de decodificação de multi formas combinando, de forma apropriada, os componentes básicos das FIGS. 13 e 14 sem estar completamente limitado à unidade de processamento de decodificação independente como ilustrado na FIG. 12. Ainda, se o arranjo da memória 312 na primeira unidade de decodificação de cena 7 é fornecido seqüencialmente em plano, as estruturas de memória 312 e a memória 412 pode ser feitas comum para a primeira unidade de decodificação de cena 302 e a segunda unidade de decodificação de cena 304.

[0079] A primeira unidade de decodificação de cena e a segunda unidade de decodificação de cena na primeira modalidade foram descritas tal que as unidades de decodificação recebem a seqüência de bits seqüência de bits 11 emitida pelo dispositivo de codificação. Contudo, a entrada da seqüência de bits para a primeira unidade de decodificação de cena e segunda unidade de decodificação de cena não são limitadas a seqüência de bits emitida pelo dispositivo de codificação, e seqüências de bits lidas do meio de armazenamento tal com um disco rígido e um DVD, e seqüências de bits lidas de um servidor e transmitidas através de uma rede podem ser entradas.

[0080] Note que o dispositivo de codificação e o dispositivo de decodificação de acordo com a modalidade acima, no caso do processo de codificação independente, como mostrado na FIG. 15, pode alcançar o mesmo efeito também arrumando os dados de cena para as três componentes de cor em seqüência e tratando esses pedaços de dados como um conjunto de dados de cena. Nessa hora, o arranjo é feita tal que, correspondendo a uma matriz de elementos mínimos de imagem de cor única, três pedaços de dados são conectados na direção vertical, com relação aos sinais de vídeo de cor com H elementos mínimos de imagem na direção horizontal e (V x 3) linhas na direção vertical. Deve ser notado que no dispositivo de codificação e no dispositivo de decodificação de acordo com a primeira modalidade, de modo que os sinais das respectivas componentes podem ser tratados como cenas independentes, a dependência entre as componentes de cor são eliminadas nos processo de codificação/decodificação nas fronteiras da linha pontilhada em negrito da FIG. 15 entre as respectivas componentes de cor. As condições seguintes são dadas por meio de um exemplo de eliminação de dependência.

[0081] Quando codificado, nos macro blocos posicionados nas fronteiras entre as respectivas componentes de cor, a pesquisa de vetor de movimento não emprega os elementos mínimos de imagem vizinhos de outras componentes de cor, e uma pesquisa fora do plano é conduzida a fim de estender os elementos mínimos de imagem dos pontos da borda da própria componente de cor na mesma maneira que o processo para a fronteira do plano. Quando decodificado, nos macro blocos posicionados nas fronteiras entre as componentes de cor, se o vetor de movimento desvia da área de imagem da própria componente de cor (se a pesquisa fora do plano é conduzida), no lugar de empregar os sinais de elemento mínimo de imagem de outras cores, a imagem de prognóstico é gerada estendendo os elementos mínimos de imagem dos pontos da borda da própria componente de cor as considerada para ser uma fronteira do plano.

[0082] O problema de filtragem de desbloqueio não é efetuado entre os blocos posicionados nas fronteiras entre a sistema respectivas componentes de cor.

[0083] No caso de usar uma codificação aritmética orientada ao aprendizado para os processos de codificação de comprimento variável/decodificação de comprimento variável nos processos de codificação/decodificação dos macro blocos das componentes de cor, e um processo de aprendizado é independentemente executado por cada componente de cor.

[0084] A independência do sinal de cada componente de cor é adquirida aplicando essas condições, e, a primeira, a segunda e a terceira unidades de codificação/decodificação podem, independentemente, executar os processos respectivamente.

[0085] Ainda, restrições são impostas tal que, uma fatia é inibida de ser definida através das fronteiras das respectivas componentes de cor, uma fatia é prevenida de conter os dados codificados da grande quantidade de diferentes componentes de cor, e o início dos dados do macro bloco de cada componente de cor, invariavelmente se torna o início do macro bloco dos dados da fatia.

[0086] Ainda mais, a configuração para especificar que dados de fatia pertencem a que componente de cor, pode envolver explicitamente especificar a componente de cor para qual a fatia pertence, definindo o sinalizador de identificação de componente de cor “color_channel_idc” e anexando o sinalizador para o campo do início dos dados de fatia. Uma outra configuração pode envolver usar não o “color_channel_idc”, mas o endereço do início do macro bloco de cada dados de fatia e a informação de tamanho de imagem 14, e reconhecendo que dados de fatia pertencem a que componente de cor. Por exemplo, quando uma contagem de elemento mínimo de imagem na horizontal Walkie-talkie = 1920 e uma contagem de elemento mínimo de imagem na vertical Vídeo = 1080, “0”, “8160”, “16320” são dados como os endereços de início de macro bloco das componentes C0, C1 e C2, logo, os macro blocos tendo os endereços de macro bloco “0 - 8159” são alocados para a componente C0, os macro blocos tendo os endereços de macro bloco “8160 - 16319” são alocados para a componente C1, e os macro blocos tendo os endereços de macro bloco “16320 - 24479” são alocados para a componente C2.

[0087] Com as configurações, a estrutura de cena/unidade de acesso para o processo de decodificação comum/processo de codificação independente pode ser feitas comuns, e por meio disso aumentando a eficiência do acesso aleatório e a operação de edição.

Claims

Dispositivo de decodificarão de imagem para obter sinais de imagem decodificando dados comprimidos de sinais de imagem em movimento digitais em um formato 4: 4: 4, caracterizado pelo fato de compreender:
- - uma unidade de análise de cabeçalho de alta ordem para decodificar um sinal de identificação incluído nos dados comprimidos, o sinal de identificação indicando se os três sinais de componentes de cor (CO, C1, C2) foram codificadas em um modo de codificação comum ou nos modos de decodificação independente, em que o modo de codificação comum corresponde a um processo de codificação dos três sinais de componentes de cor (CO, C1, C2) de um quadro por uma informação de tipo de macrobloco comum, e em que o modo de codificação independente corresponde a um processo de codificação dos três sinais de componentes de cor (CO, C1, C2) de um quadro por uma informação de tipo de macrobloco independente; e
- - uma unidade de decodificação de imagem para decodificar os três sinais de componentes de cor (CO, C1, C2) em um modo de codificação comum ou em um modo de codificação independente de acordo com o sinal de identificação, e para também realizar um processo de quantização inversa usando uma matriz de quantização comum ao decodificar os três sinais de componentes de cor (CO, C1, C2) em um modo de codificação comum, e para também realizar um processo de quantização inversa usando matrizes de quantização independentes ao decodificar os três sinais de componentes de cor respectivamente em modos de codificação independente.
Método de decodificação de imagem para obter sinais de imagem decodificando dados comprimidos de sinais de imagem em movimento digitais em um formato 4: 4: 4, o método de decodificação de imagem, caracterizado pelo fato de compreender:
- - uma etapa de análise de cabeçalho de alta ordem para decodificar um sinal de identificação incluído nos dados comprimidos, o sinal de identificação indicando se os três sinais de componentes de cor (CO, Cl, C2) foram codificadas em modo de codificação comum ou nos modos de decodificação independente, em que o modo de codificação comum corresponde a um processo de codificação dos três sinais de componentes de cor (CO, Cl, C2) de um quadro por uma informação de tipo de macrobloco comum, e em que o modo de codificação independente corresponde a um processo de codificação dos três sinais de componentes de cor (CO, Cl, C2) de um quadro por uma informação de tipo de macrobloco independente; e
- - uma etapa de realizar um processo de decodificação ao usar, com base no sinal de identificação decodificado na etapa de análise de cabeçalho de alta ordem, um de uma primeira etapa de decodificação ou uma segunda etapa de decodificação,
a primeira etapa de codificação para submeter os três sinais de componentes de cor a um processo de decodificação no modo de codificação comum e realizar um processo de quantização inversa usando uma matriz de quantização comum; e
a segunda etapa de codificação para submeter os três sinais de componentes de cor (CO, Cl, C2) respectivamente a um processo de decodificação no modo de codificação independente e realizar um processo de quantização inversa usando matrizes de quantização independente.