BR122020024451B1

BR122020024451B1 - Aparelho para decodificar uma imagem

Info

Publication number: BR122020024451B1
Application number: BR122020024451-8A
Authority: BR
Inventors: Min-su CHEON; Woo-jin Han; Hae-kyung JUNG; Il-koo KIM; Tammy Lee; Jianle Chen
Original assignee: Samsung Electronics Co., Ltd.
Priority date: 2010-01-14
Filing date: 2011-01-14
Publication date: 2022-03-03
Also published as: BR122020024465B1; RS56435B1; BR122020024474B1; PT2996340T; EP2996337A1; EP3300371B1; CN104735451B; PH12015500842B1; CN104735451A; JP2015111954A; US20180205950A1; WO2011087323A3; CN104967850A; JP5957560B2; PT2996342T; RS56436B1; CN104735453B; PH12015500840B1; HRP20171541T1; CN102792695A

Abstract

um método para codificar uma imagem, por transformação de um grupo de unidades de predição em um domínio da frequência. uma unidade de predição pode ser predita, usando valores de predição das unidades de predição no grupo de unidades de predição, ao invés de pixels gerados por codificação e, a seguir, restauração das outras unidades de predição no grupo de unidades de predição. assim, uma taxa de compressão de codificação pode ser aumentada, em decorrência do agrupamento das unidades de predição.

Description

Campo da Invenção

[0001] Formas de realização exemplares referem-se a um método e aparelho para codificar e decodificar uma imagem e, mais particularmente, a um método e aparelho para codificar e decodificar uma imagem, transformando uma imagem de domínio do pixel em coeficientes de um domínio da frequência.

Arte Anterior

[0002] Na maioria dos métodos e aparelhos para codificar e decodificar uma imagem, uma imagem de um domínio do pixel é transformada em um domínio da frequência, e a imagem transformada é codificada para compactar a imagem. Transformada discreta de cosseno (DCT) é uma tecnologia bem conhecida, usada para comprimir dados de áudio/vídeo (AV). Nos últimos anos, foram feitas muitas tentativas para encontrar métodos mais eficientes de codificação. Em codificação de áudio, codificação paramétrica funciona melhor que a DCT e, em dados bidimensionais, a transformada de Karhunen Loeve (KLT) tem um tamanho mínimo de bits, mas tem um grande tamanho de sobrecarga.

Divulgação da Invenção Solução para o Problema

[0003] Formas de realização exemplares fornecem um método e aparelho para codificar e decodificar uma imagem, usando a transformação eficaz e uma mídia de gravação de leitura por computador tendo, nela gravado, um programa de computador para executar a codificação e decodificação.

Efeitos Favoráveis da Invenção

[0004] De acordo com as formas de realização exemplares, uma imagem é mais eficientemente compactada e codificada, visto que uma unidade de transformação pode ser definida para ter um tamanho maior do que uma unidade de predição, e a transformação pode ser realizada na unidade de transformação.

Breve Descrição dos Desenhos

[0005] Os aspectos acima e/ou outros aspectos tornar-se-ão mais perceptíveis, através da descrição de algumas formas de realização exemplares, tendo como referência os desenhos que acompanham, em que: a Fig. 1 é um diagrama de blocos de um aparelho para codificar uma imagem, de acordo com uma forma de realização exemplar; a Fig. 2 é um diagrama de blocos de um aparelho para decodificar uma imagem, de acordo com uma forma de realização exemplar; a Fig. 3 ilustra unidades de codificação hierárquicas, de acordo com uma forma de realização exemplar; a Fig. 4 é um diagrama de blocos de um codificador de imagens com base em uma unidade de codificação, de acordo com uma forma de realização exemplar; a Fig. 5 é um diagrama de blocos de um decodificador de imagens com base em uma unidade de codificação, de acordo com uma forma de realização exemplar; a Fig. 6 ilustra uma unidade de codificação máxima, uma sub-unidade de codificação e uma unidade de predição, de acordo com uma forma de realização exemplar; a Fig. 7 ilustra uma unidade de codificação e uma unidade de transformação, de acordo com uma forma de realização exemplar; as Figs. 8A, 8B, 8C e 8D ilustram formas de divisão de uma unidade de codificação, de uma unidade de predição e de uma unidade de transformação, de acordo com uma forma de realização exemplar; a Fig. 9 é um diagrama de blocos de um aparelho para codificar uma imagem, de acordo com outra forma de realização exemplar ; a Fig. 10 é um diagrama para descrever um método de predição, de acordo com uma forma de realização exemplar; a Fig. 11 é um diagrama de blocos de um transformador, de acordo com uma forma de realização exemplar; as Figs. 12A a 12C são diagramas dos tipos de unidades de transformação, de acordo com formas de realização exemplares ; as Figs. 13A a 13D são diagramas dos tipos de unidades de transformação, de acordo com outras formas de realização exemplares; a Fig. 14 é um diagrama de diferentes unidades de transformação, de acordo com formas de realização exemplares; a Fig. 15 é um diagrama de blocos de um aparelho para decodificar uma imagem, de acordo com outra forma de realização exemplar; a Fig. 16 é um fluxograma, ilustrando um método para codificar uma imagem, de acordo com uma forma de realização exemplar; e a Fig. 17 é um fluxograma, ilustrando um método para decodificar uma imagem, de acordo com uma forma de realização exemplar.

Melhor Modo para Efetuar a Invenção

[0006] De acordo com um aspecto de uma forma de realização exemplar, é fornecido um método para codificar uma imagem, o método incluindo: realização da predição em uma pluralidade de unidades de codificação da imagem e geração de uma pluralidade de unidades de predição com base na pluralidade predita de unidades de codificação; agrupamento da pluralidade de unidades de predição em uma unidade de transformação; transformação dos valores residuais constantes na pluralidade agrupada de unidades de predição em um domínio da frequência, baseado na unidade de transformação, em coeficientes da componente de frequência do domínio da frequência; quantização dos coeficientes da componente de frequência; e codificação de entropia dos coeficientes da componente de frequência quantizados.

[0007] O agrupamento pode incluir agrupamento da pluralidade de unidades de predição, com base nas profundidades da pluralidade de unidades de predição, indicando um grau hierarquicamente decrescente de uma unidade de codificação máxima para a pluralidade de unidades de codificação.

[0008] O agrupamento pode incluir seleção de unidades de predição adjacentes dentre a pluralidade de unidades de predição, em que a predição é executada de acordo com um tipo de modo de predição.

[0009] A realização da predição pode incluir a geração de valores residuais da pluralidade de unidades de codificação por predição intra de uma unidade de predição, que é predita dentre a pluralidade de unidades de predição, com base nos valores de predição de pelo menos uma unidade de predição adjacente entre a pluralidade de unidades de predição.

[00010] A realização da predição pode incluir a geração de valores residuais da pluralidade de unidades de codificação por predição inter de todas as unidades de predição incluídas na pluralidade de unidades de codificação.

[00011] De acordo com outro aspecto de uma forma de realização exemplar, é fornecido um aparelho para codificar uma imagem, o aparelho incluindo: um preditor que executa a predição em uma pluralidade de unidades de codificação da imagem e gera uma pluralidade de unidades de predição, com base na pluralidade predita de unidades de codificação; um transformador, que agrupa a pluralidade de unidades de predição em uma unidade de transformação e transforma valores residuais constantes na pluralidade de unidades de predição agrupadas em um domínio da frequência, baseado na unidade de transformação, em coeficientes da componente de frequência do domínio da frequência; um quantizador, que quantiza os coeficientes da componente de frequência; e um codificador de entropia, que codifica por entropia os coeficientes da componente de frequência quantizados.

[00012] De acordo com outro aspecto de uma forma de realização exemplar, é fornecido um método para decodificar uma imagem, o método incluindo: decodificação por entropia dos coeficientes da componente de frequência de um domínio da frequência, gerada a partir de valores residuais transformados de uma pluralidade de unidades de predição de uma unidade de transformação, a pluralidade de unidades de predição incluída em uma pluralidade de unidades de codificação da imagem; quantização inversa dos coeficientes da componente de frequência, decodificados por entropia; transformação inversa dos coeficientes da componente de frequência, quantizados por inversão, em um domínio do pixel como valores residuais restaurados da pluralidade de unidades de codificação incluídas na unidade de transformação; e restauração da pluralidade de unidades de codificação, baseado nos valores residuais restaurados.

[00013] De acordo com outro aspecto de uma forma de realização exemplar, é fornecido um aparelho para decodificar uma imagem, o aparelho incluindo: um decodificador de entropia, que codifica por entropia os coeficientes da componente de frequência de um domínio da frequência, gerados a partir de valores residuais transformados da pluralidade de unidades de predição de uma unidade de transformação, a pluralidade de unidades de predição incluída em uma pluralidade de unidades de codificação da imagem; um quantizador inverso, que quantiza por inversão os coeficientes da componente de frequência, decodificados por entropia; um transformador inverso, que transforma por inversão os coeficientes da componente de frequência, quantizados por inversão, em um domínio do pixel como valores residuais restaurados da pluralidade de unidades de codificação incluídas na unidade de transformação; e um restaurador, que restaura a pluralidade de unidades de codificação, baseado nos valores residuais restaurados.

[00014] De acordo com outro aspecto de uma forma de realização exemplar, é fornecida uma mídia de gravação legível de computador, tendo nela gravado um programa para executar o método de decodificação e o método de codificação.

Modo para a Invenção

[00015] Certas formas de realização exemplares são abaixo descritas mais detalhadamente, tendo como referência os desenhos que acompanham. Expressões, tais como "pelo menos um dos," quando precederem uma lista de elementos, modificam toda a lista de elementos, e não modificam os elementos individuais da lista. No presente relatório descritivo, uma "imagem" pode denotar uma imagem parada de um vídeo, ou uma imagem em movimento, ou seja, o vídeo em si.

[00016] Na descrição seguinte, números de referência de desenho similares são utilizados para elementos similares, mesmo em diferentes desenhos. As matérias definidas na descrição, como a construção e elementos detalhados, são fornecidas para auxiliar em uma compreensão abrangente de formas de realização exemplares. No entanto, formas de realização exemplares podem ser praticadas sem essas questões especificamente definidas.

[00017] A Fig. 1 é um diagrama de blocos de um aparelho para codificar imagens 100, para codificar uma imagem, de acordo com uma forma de realização exemplar. O aparelho para codificar imagens 100 pode ser implementado como um aparato de hardware, como, por exemplo, um processador de um computador, ou um sistema de computador. O aparelho para codificar imagens 100 pode ser também executado como um módulo de software, que reside no sistema de computador.

[00018] Referindo-se à Fig. 1, o aparelho para codificar imagens 100 inclui um divisor da unidade de codificação máxima 110, um determinador da profundidade de codificação 120, um codificador de dados de imagem 130, e um codificador de informações de codificação 140, que podem ser aplicados, por exemplo, como módulos de hardware ou software integrados ao aparelho para codificar imagens 100, ou separadamente do aparelho para codificar imagens 100.

[00019] O divisor da unidade de codificação máxima 110 pode dividir um quadro ou fatia atual, com base em uma unidade de codificação máxima, que é uma unidade de codificação do maior tamanho. Ou seja, o divisor da unidade de codificação máxima 110 pode dividir o quadro ou fatia atual, pelo menos, numa unidade de codificação máxima.

[00020] De acordo com uma forma de realização exemplar, uma unidade de codificação pode ser representada, usando uma unidade de codificação máxima e uma profundidade. Como acima descrito, a unidade de codificação máxima indica uma unidade de codificação, tendo o maior tamanho entre unidades de codificação do quadro atual, e a profundidade indica um grau hierarquicamente decrescente da unidade de codificação. À medida que a profundidade aumenta, uma unidade de codificação pode diminuir, a partir de uma unidade de codificação máxima para uma unidade de codificação mínima, no qual uma profundidade da unidade de codificação máxima é definida como uma profundidade mínima, e uma profundidade da unidade de codificação mínima é definida como uma profundidade máxima. Visto que o tamanho de uma unidade de codificação diminui, a partir de uma unidade de codificação máxima, conforme a ia profundidade aumenta, uma sub-unidade de codificação de uma k profundidade pode incluir uma pluralidade de sub-unidades de codificação de uma (k+n)aprofundidade (k e n são números inteiros iguais ou maiores que 1).

[00021] De acordo com o aumento do tamanho de um quadro a ser codificado, a codificação de uma imagem em uma maior unidade de codificação pode causar uma maior taxa de compressão de imagem. No entanto, se uma maior unidade de codificação for fixa, uma imagem pode não ser eficientemente codificada, refletindo continuamente as características variáveis da imagem.

[00022] Por exemplo, quando uma área lisa, como o mar ou o céu, é codificada, quanto maior for uma unidade de codificação, mais uma taxa de compressão pode aumentar. No entanto, quando uma área complexa, como pessoas ou edifícios, é codificada, quanto menor for uma unidade de codificação, mais uma taxa de compressão pode aumentar.

[00023] Assim, em uma forma de realização exemplar, uma diferente unidade de codificação de imagem máxima e uma diferente profundidade máxima são definidas para cada quadro ou fatia. Visto que uma profundidade máxima indica o número máximo de vezes, que uma unidade de codificação pode diminuir, o tamanho de cada unidade de codificação mínima incluído em uma unidade de codificação de imagem máxima pode ser variavelmente definido, de acordo com uma profundidade máxima. A profundidade máxima pode ser determinada de forma diferente para cada quadro ou fatia, ou para cada unidade de codificação máxima.

[00024] O determinador da profundidade de codificação 120 determina uma forma de divisão da unidade de codificação máxima. A forma de divisão pode ser determinada, com base no cálculo dos custos de taxa-distorção (RD). A forma de divisão determinada da unidade de codificação máxima é fornecida para o codificador de informações de codificação 140, e dados de imagem, de acordo com unidades de codificação máximas, são fornecidos para o codificador de dados de imagem 130.

[00025] Uma unidade de codificação máxima pode ser dividida em sub-unidades de codificação com tamanhos diferentes, de acordo com diferentes profundidades, e as sub-unidades de codificação com tamanhos diferentes, que são incluídas na unidade de codificação máxima, podem ser preditas ou transformadas em frequência, com base em unidades de processamento com tamanhos diferentes. Em outras palavras, o aparelho para codificar imagens 100 pode executar uma pluralidade de operações de processamento para codificação de imagens, com base em unidades de processamento tendo vários tamanhos e formas. Para codificar os dados de imagem, operações de processamento, como predição, transformação, e codificação de entropia, são executadas, em que unidades de processamento tendo o mesmo tamanho ou tamanhos diferentes podem ser utilizadas para cada operação.

[00026] Por exemplo, o aparelho de codificação de imagens 100 pode selecionar uma unidade de processamento, que é diferente de uma unidade de codificação para predizer a unidade de codificação.

[00027] Quando o tamanho de uma unidade de codificação é 2N x 2N (onde N é um inteiro positivo), unidades de processamento para predição podem ser 2N x 2N, 2N x N, N x 2N, e N x N. Em outras palavras, predição de movimento pode ser realizada com base em uma unidade de processamento, tendo uma forma, segundo a qual, pelo menos uma altura e uma largura de uma unidade de codificação é dividida igualmente por dois. Doravante, uma unidade de processamento, que é a base da predição, é definida como uma unidade de predição.

[00028] Um modo de predição pode ser pelo menos um modo intra, um modo inter, e um modo de avanço, e um modo de predição específico pode ser realizado apenas para uma unidade de predição tendo um tamanho específico ou uma forma específica. Por exemplo, o modo intra pode ser efetuado apenas para unidades de predição tendo os tamanhos de 2N x 2N ou N x N e a forma de um quadrado. Além disso, o modo de avanço pode ser realizado apenas para uma unidade de predição, tendo o tamanho de 2N x 2N. Se uma pluralidade de unidades de predição existir em uma unidade de codificação, o modo de predição com o menor número de erros de codificação pode ser selecionado, depois de executar a predição para cada unidade de predição.

[00029] Como alternativa, o aparelho para codificar imagens 100 pode executar transformação de frequência nos dados de imagem, com base em uma unidade de processamento, tendo um tamanho diferente de um tamanho da unidade de codificação. Para a transformação de frequência na unidade de codificação, a transformação de frequência pode ser realizada com base em uma unidade de processamento, tendo um tamanho igual ou menor do aquele da unidade de codificação. Doravante, uma unidade de processamento, que é a base da transformação de frequência, é definida como uma unidade de transformação. A transformação de frequência pode ser transformada discreta de cosseno (DCT) ou transformada de Karhunen Loeve (KLT).

[00030] O determinador da profundidade de codificação 120 pode determinar sub-unidades de codificação incluídas em uma unidade de codificação máxima, usando otimização RD com base em um multiplicador de Lagrange. Em outras palavras, o determinador da profundidade de codificação 120 pode determinar uma forma de uma pluralidade de sub-unidades de codificação, divididas a partir da unidade de codificação máxima, onde as sub-unidades de codificação têm tamanhos diferentes, de acordo com as profundidades das sub-unidades de codificação. O codificador de dados de imagem 130 transmite um fluxo de bits, codificando a unidade de codificação máxima com base nas formas de divisão determinadas pelo determinador da profundidade de codificação 120.

[00031] O codificador de informações de codificação 140 codifica informações sobre um modo de codificação da unidade de codificação máxima determinada pelo determinador da profundidade de codificação 120. Em outras palavras, o codificador de informações de codificação 140 transmite um fluxo de bits, por codificação de informações sobre uma forma de divisão da unidade de codificação máxima, informações sobre a profundidade máxima, e informações sobre um modo de codificação de uma sub-unidade de codificação para cada profundidade. As informações sobre o modo de codificação da sub-unidade de codificação podem incluir informações sobre uma unidade de predição da sub-unidade de codificação, informações sobre um modo de predição para cada unidade de predição, e informações sobre uma unidade de transformação da sub-unidade de codificação.

[00032] As informações sobre a forma de divisão da unidade de codificação máxima podem ser informações de sinalizador, indicando se cada unidade de codificação foi dividida. Por exemplo, quando a unidade de codificação máxima é dividida e codificada, informações, indicando se a unidade de codificação máxima foi dividida, são codificadas. Além disso, quando uma sub-unidade de codificação, dividida a partir da unidade de codificação máxima, é dividida e codificada, informações, indicando se o sub-unidade de codificação foi dividida, são codificadas.

[00033] Visto que sub-unidades de codificação com tamanhos diferentes existem para cada unidade de codificação máxima, e informações sobre um modo de codificação são determinadas para cada sub-unidade de codificação, informações sobre pelo menos um modo de codificação podem ser determinadas para uma unidade de codificação máxima.

[00034] O aparelho para codificar imagens 100 pode gerar sub- unidades de codificação, dividindo igualmente a altura e a largura de uma unidade de codificação máxima por dois, de acordo com um aumento de profundidade. Isto é, quando o tamanho de uma unidade de codificação de uma kaprofundidade for 2N x 2N, o tamanho de uma unidade de codificação de uma (k + 1)a profundidade é N x N.

[00035] Assim, o aparelho para codificar imagens 100 pode determinar uma forma de divisão ideal para cada unidade de codificação máxima, baseado em tamanhos de unidades de codificação máximas e uma profundidade máxima, levando em consideração as características da imagem. Através do ajuste variável do tamanho de uma unidade de codificação máxima, levando em consideração as características da imagem e codificação de uma imagem através da divisão de uma unidade de codificação máxima em sub-unidades de codificação de diferentes profundidades, imagens tendo várias resoluções podem ser codificadas com mais eficiência.

[00036] A Fig. 2 é um diagrama de blocos de um aparelho para decodificar imagens 200, para decodificar uma imagem, de acordo com uma forma de realização exemplar. O aparelho para decodificar imagens 200 pode ser implementado como um aparato de hardware, como, por exemplo, um processador de um computador, ou um sistema de computador. O aparelho para decodificar imagens 200 pode ser também executado como um módulo de software que reside no sistema de computador.

[00037] Referindo-se à Fig. 2, o aparelho para decodificar imagens 200 inclui uma unidade de aquisição de dados de imagem 210, um extrator de informações de codificação 220 e um decodificador de dados de imagem 230, que podem ser aplicados, por exemplo, como módulos de hardware ou software integrados ao aparelho para decodificar imagens 200, ou separadamente do aparelho para decodificar imagens 200.

[00038] A unidade de aquisição de dados de imagem 210 adquire dados de imagem, de acordo com unidades de codificação máximas, ao analisar um fluxo de bits recebido pelo aparelho para decodificar imagens 200 e transmite os dados de imagem para o decodificador de dados de imagem 230. A unidade de aquisição de dados de imagem 210 pode extrair informações sobre uma unidade de codificação máxima de um quadro ou fatia atual, a partir de um cabeçalho do quadro ou fatia atual. Em outras palavras, a unidade de aquisição de dados de imagem 210 divide o fluxo de bits na unidade de codificação máxima, para que o decodificador de dados de imagem 230 possa decodificar os dados da imagem, de acordo com as unidades de codificação máximas.

[00039] O extrator de informações de codificação 220 extrai informações sobre uma unidade de codificação máxima, uma profundidade máxima, uma forma de divisão da unidade de codificação máxima, um modo de codificação das sub-unidades de codificação, a partir do cabeçalho do quadro atual, ao analisar o fluxo de bits recebido pelo aparelho para decodificar imagens 200. As informações sobre uma forma de divisão e as informações sobre um modo de codificação são fornecidas para o decodificador de dados de imagem 230.

[00040] As informações sobre uma forma de divisão da unidade de codificação máxima podem incluir informações sobre sub- unidades de codificação com tamanhos diferentes, de acordo com profundidades e incluídas na unidade de codificação máxima, e podem ser informações de sinalizador, indicando se cada unidade de codificação foi dividida.

[00041] As informações sobre um modo de codificação podem incluir informações sobre uma unidade de predição, de acordo com sub-unidades de codificação, informações sobre um modo de predição, e informações sobre uma unidade de transformação.

[00042] O decodificador de dados de imagem 230 restaura o quadro atual, ao decodificar dados de imagem de cada unidade de codificação máxima, com base nas informações extraídas pelo extrator de informações de codificação 220.

[00043] O decodificador de dados de imagem 230 pode decodificar sub-unidades de codificação incluídas em uma unidade de codificação máxima, com base nas informações sobre a forma de divisão da unidade de codificação máxima. Um processo de decodificação pode incluir um processo de predição, incluindo predição intra e compensação de movimento, e um processo de transformação inversa.

[00044] O decodificador de dados de imagem 230 pode realizar predição intra ou predição inter, com base em informações sobre uma unidade de predição e informações sobre um modo de predição, para predizer uma unidade de predição. O decodificador de dados de imagem 230 pode também executar transformação inversa para cada sub-unidade de codificação, com base em informações sobre uma unidade de transformação de um sub-unidade de codificação.

[00045] A Fig. 3 ilustra unidades de codificação hierárquicas, de acordo com uma forma de realização exemplar.

[00046] Referindo-se à Fig. 3, as unidades de codificação hierárquicas podem incluir unidades de codificação, cujas larguras e alturas são 64 x 64, 32 x 32, 16 x 16, 8 x 8 e 4 x 4. Além dessas unidades de codificação tendo formas de quadrado perfeito, unidades de codificação, cujas larguras e alturas são 64 x 32, 32 x 64, 32 x 16, 16 x 32, 16 x 8, 8 x 16, 8 x 4 e 4 x 8, também podem existir.

[00047] Referindo-se à Fig. 3, para o conjunto de dados de imagem 310, cuja resolução é 1920 x 1080, o tamanho de uma unidade de codificação máxima é definido como 64 x 64, e uma profundidade máxima é definida como 2.

[00048] Para o conjunto de dados de imagem 320, cuja resolução é de 1920 x 1080, o tamanho de uma unidade de codificação máxima é definido como 64 x 64, e uma profundidade máxima é definida como 3. Para o conjunto de dados de imagem 330, cuja resolução é de 352 x 288, o tamanho de uma unidade de codificação máxima é definido como 16 x 16, e uma profundidade máxima é definida como 1.

[00049] Quando a resolução é alta, ou a quantidade de dados é grande, um tamanho máximo de uma unidade de codificação pode ser definido de modo relativamente grande, para aumentar a taxa de compressão e refletir, mais precisamente, as características da imagem. Assim, para os conjuntos de dados de imagem 310 e 320 com resolução maior do que o conjunto de dados de imagem 330, 64 x 64 pode ser selecionado como o tamanho de uma unidade de codificação máxima.

[00050] Uma profundidade máxima indica o número total de camadas nas unidades de codificação hierárquicas. Visto que a profundidade máxima do conjunto de dados de imagem 310 é 2, uma unidade de codificação 315 do conjunto de dados de imagem 310 pode incluir uma unidade de codificação máxima, cujo maior tamanho de eixo é 64, e sub-unidades, cujos maiores tamanhos de eixo são 32 e 16, de acordo com um aumento de uma profundidade.

[00051] Por outro lado, visto que a profundidade máxima do conjunto de dados de imagem 330 é 1, uma unidade de codificação 335 do conjunto de dados de imagem 330 pode incluir uma unidade de codificação máxima, cujo maior tamanho do eixo é 16, e unidades de codificação, cujos maiores tamanhos de eixo são 8, de acordo com um aumento de uma profundidade.

[00052] No entanto, visto que a profundidade máxima dos dados de imagem 320 é 3, uma unidade de codificação 325 do conjunto de dados de imagem 320 pode incluir uma unidade de codificação máxima, cujo maior tamanho de eixo é 64, e sub-unidades, cujos maiores tamanhos são 32, 16, 8 e 4, de acordo com um aumento de profundidade. Visto que uma imagem é codificada, com base em uma menor sub-unidade de codificação, quando uma profundidade aumenta, formas de realização exemplares são adequadas para a codificação de uma imagem, incluindo cenas mais pequenas.

[00053] A Fig. 4 é um diagrama de blocos de um codificador de imagens 400, com base em uma unidade de codificação, de acordo com uma forma de realização exemplar. O codificador de imagens 400 pode ser implementado como um dispositivo de hardware, como, por exemplo, um processador de um computador, ou como um módulo de software que reside no sistema de computador.

[00054] Um preditor intra 410 executa predição intra em unidades de predição do modo intra em um quadro atual 405, e um estimador de movimento 420 e um compensador de movimento 425 realizam predição inter e compensação de movimento em unidades de predição do modo inter, usando o quadro atual 405 e um quadro de referência 495. O preditor intra 410, o estimador de movimento 420, o compensador de movimento 425, e o quadro de referência 495 podem ser implementados, por exemplo, como módulos de hardware ou software integrados ao codificador de imagens 400, ou separadamente do codificador de imagens 400.

[00055] Valores residuais são gerados com base nas unidades de predição transmitidas pelo preditor intra 410, o estimador de movimento 420, e o compensador de movimento 425. Os valores residuais gerados são transmitidos como coeficientes quantizados de transformação, passando através de um transformador 430 e um quantizador 440.

[00056] Os coeficientes quantizados de transformação são restaurados em valores residuais, passando por um quantizador inverso 460 e um transformador inverso 470, e os valores residuais restaurados são pós-processados, passando por uma unidade de desbloqueio 480, e uma unidade de filtragem de circuito 490, e transmitidos como o quadro de referência 495. Os coeficientes quantizados de transformação podem ser transmitidos como um fluxo de bits 455, passando através de um codificador de entropia 450.

[00057] Para executar a codificação com base em um método para codificar, de acordo com uma forma de realização exemplar, o preditor intra 410, o estimador de movimento 420, o compensador de movimento 425, o transformador 430, o quantizador 440, o codificador de entropia 450, o quantizador inverso 460, o transformador inverso 470, a unidade de desbloqueio 480, e a unidade de filtragem de circuito 490 do codificador de imagens 400 executam processos de codificação de imagem com base em uma unidade de codificação máxima, uma sub- unidade de codificação de acordo com profundidades, uma unidade de predição, e uma unidade de transformação.

[00058] A Fig. 5 é um diagrama de blocos de um decodificador de imagens 500 com base em uma unidade de codificação, de acordo com uma forma de realização exemplar. O decodificador de imagens 500 pode ser implementado como um dispositivo de hardware, como, por exemplo, um processador de um computador, ou como um módulo de software que reside no sistema de computador.

[00059] Um fluxo de bits 505 passa através de um analisador 510, para que os dados de imagem codificados sejam decodificados, e informações de codificação necessárias para decodificação sejam analisadas. Os dados de imagem codificados são transmitidos como dados quantizados por inversão, passando através de um decodificador de entropia 520 e um quantizador inverso 530, e restaurados para valores residuais, passando através de um transformador inverso 540. Os valores residuais são restaurados, de acordo com unidades de codificação, sendo adicionados a um resultado de predição intra de um preditor intra 550, ou a um resultado de compensação de movimento de um compensador de movimento 560. As unidades de codificação restauradas 585, 595 são usadas para predição das próximas unidades de codificação ou de um próximo quadro, passando por uma unidade de desbloqueio 570 e uma unidade de filtragem de circuito 580. O analisador 510, o decodificador de entropia 520, o quantizador inverso 530, o transformador inverso 540, o preditor intra 550, o compensador 560, a unidade de desbloqueio 570, e a unidade de filtragem de circuito 580 podem ser implementados, por exemplo, como módulos de hardware ou software integrados ao decodificador de imagens 500, ou separadamente do decodificador de imagens 500.

[00060] Para realizar a decodificação com base em um método para decodificar, de acordo com uma forma de realização exemplar, o analisador 510, o decodificador de entropia 520, o quantizador inverso 530, o transformador inverso 540, o preditor intra 550, o compensador de movimento 560, a unidade de desbloqueio 570, e a unidade de filtragem de circuito 580 do decodificador de imagens 500 executam processos de decodificação de imagem com base em uma unidade de codificação máxima, uma sub-unidade de codificação, de acordo com profundidades, uma unidade de predição, e uma unidade de transformação.

[00061] Em particular, o preditor intra 550 e o compensador de movimento 560 determinam uma unidade de predição e um modo de predição em uma sub-unidade de codificação, considerando uma unidade de codificação máxima e uma profundidade, e o transformador inverso 540 executa a transformação inversa, considerando o tamanho de uma unidade de transformação.

[00062] A Fig. 6 ilustra uma unidade de codificação máxima, uma sub-unidade de codificação, e uma unidade de predição, de acordo com uma forma de realização exemplar.

[00063] O aparelho para codificar imagens 100 ilustrado na Fig. 1 e o aparelho para decodificar imagens 200 ilustrado na Fig. 2 usam unidades de codificação hierárquicas para realizar a codificação e decodificação, levando em consideração as características da imagem. Uma unidade de codificação máxima e uma profundidade máxima podem ser adaptativamente definidas, de acordo com as características de imagem, ou variavelmente definidas, de acordo com as necessidades de um usuário.

[00064] Na Fig. 6, uma estrutura da unidade de codificação hierárquica 600 tem uma unidade de codificação máxima 610, que é uma unidade de codificação máxima, cuja altura e largura é 64, e profundidade máxima é de 4. Uma profundidade aumenta ao longo de um eixo vertical da estrutura hierárquica da unidade de codificação 600, e à medida que a profundidade aumenta, alturas e larguras das sub-unidades de codificação 620 a 650 diminuem. Unidades de predição da unidade de codificação máxima 610 e das sub-unidades de codificação 620 a 650 são mostradas ao longo de um eixo horizontal da estrutura hierárquica da unidade de codificação 600.

[00065] A unidade de codificação máxima 610 tem uma profundidade de 0 e o tamanho de uma unidade de codificação, ou uma altura e largura, de 64 x 64. Uma profundidade aumenta ao longo do eixo vertical, e existe uma primeira sub-unidade de codificação 620, cujo tamanho é de 32 x 32 e profundidade é 1, uma segunda sub-unidade de codificação 630, cujo tamanho é 16 x 16 e profundidade é 2, uma terceira sub-unidade de codificação 640, cujo tamanho é de 8 x 8 e profundidade é 3, e uma unidade de codificação mínima 650, cujo tamanho é 4 x 4 e profundidade é 4. A unidade de codificação mínima 650, cujo tamanho é 4 x 4 e profundidade é 4, é uma unidade de codificação mínima, e a unidade de codificação mínima pode ser dividida em unidades de predição, cada qual tendo um tamanho menor do que a unidade de codificação mínima.

[00066] Referindo-se à Fig. 6, exemplos de unidades de predição são mostrados ao longo do eixo horizontal, de acordo com cada profundidade. Ou seja, uma unidade de predição da unidade de codificação máxima 610, cuja profundidade é de 0, pode ser uma unidade de predição, cujo tamanho é igual ao tamanho 64 x 64 da unidade de codificação máxima, ou uma unidade de predição 612, cujo tamanho é 64 x 32, uma unidade de predição 614, cujo tamanho é de 32 x 64, ou uma unidade de predição 616, cujo tamanho é de 32 x 32, que tem um tamanho menor do que aquele da unidade de codificação máxima, cujo tamanho é de 64 x 64.

[00067] Uma unidade de predição da primeira sub-unidade de codificação 620, cuja profundidade é 1 e o tamanho é de 32 x 32, pode ser uma unidade de predição, cujo tamanho é igual ao tamanho 32 x 32, da primeira sub-unidade de codificação, ou uma unidade de predição 622, cujo tamanho é de 32 x 16, uma unidade de predição 624, cujo tamanho é 16 x 32, ou uma unidade de predição 626, cujo tamanho é 16 x 16, que tem um tamanho menor do que aquele da primeira sub-unidade de codificação 620, cujo tamanho é de 32 x 32.

[00068] Uma unidade de predição da segunda sub-unidade de codificação 630, cuja profundidade é 2 e o tamanho é 16 x 16, pode ser uma unidade de predição, cujo tamanho é igual ao tamanho de 16 x 16 da segunda sub-unidade de codificação 630, ou uma unidade de predição 632, cujo tamanho é 16 x 8, uma unidade predição 634, cujo tamanho é de 8 x 16, ou uma unidade de predição 636, cujo tamanho é de 8 x 8, que tem um tamanho menor do que aquele da segunda sub-unidade de codificação 630, cujo tamanho é 16 x 16.

[00069] Uma unidade de predição da terceira sub-unidade de codificação 640, cuja profundidade é 3 e o tamanho é de 8 x 8, pode ser uma unidade de predição, cujo tamanho é igual ao tamanho 8 x 8 da terceira sub-unidade de codificação 640, ou uma unidade de predição 642, cujo tamanho é de 8 x 4, uma unidade de predição 644, cujo tamanho é de 4 x 8, ou uma unidade de predição 646, cujo tamanho é 4 x 4, que tem um tamanho menor do que aquele da terceira sub-unidade de codificação 640, cujo tamanho é de 8 x 8.

[00070] A unidade de codificação mínima 650, cuja profundidade é 4 e o tamanho é 4 x 4, é uma unidade de codificação mínima e uma unidade de codificação de uma profundidade máxima. Uma unidade de predição da unidade de codificação mínima 650 pode ser uma unidade de predição 650, cujo tamanho é 4 x 4, uma unidade de predição 652 tendo um tamanho de 4 x 2, uma unidade de predição 654 tendo um tamanho de 2 x 4, ou uma unidade de predição 656 tendo um tamanho de 2 x 2.

[00071] A Fig. 7 ilustra uma unidade de codificação e uma unidade de transformação, de acordo com uma forma de realização exemplar.

[00072] O aparelho para codificar imagens 100 ilustrado na Fig. 1 e o aparelho para decodificar imagens 200 ilustrado na Fig. 2 executam codificação e decodificação com uma unidade de codificação máxima, ou com sub-unidades de codificação, que têm tamanho igual ou menor que a unidade de codificação máxima, divididas a partir da unidade de codificação máxima. No processo de codificação e decodificação, o tamanho de uma unidade de transformação para transformação de frequência é selecionado para não ser maior do que aquele de uma unidade de codificação correspondente. Por exemplo, se uma unidade de codificação atual 710 tiver o tamanho de 64 x 64, a transformação de frequência pode ser executada, utilizando uma unidade de transformação 720 tendo o tamanho de 32 x 32.

[00073] As Figs. 8A, 8B, 8C e 8D ilustram formas de divisão de uma unidade de codificação, uma unidade de predição, e uma unidade de transformação, de acordo com uma forma de realização exemplar.

[00074] As Figs. 8A e 8B ilustram, respectivamente, uma unidade de codificação e uma unidade de predição, de acordo com uma forma de realização exemplar.

[00075] A Fig. 8A mostra uma forma de divisão selecionada pelo aparelho para codificar imagens 100 ilustrado na Fig. 1, para codificar uma unidade de codificação máxima 810. O aparelho para codificar imagens 100 divide a unidade de codificação máxima 810 em várias formas, realiza a codificação, e seleciona uma forma de divisão ideal, comparando resultados de codificação de várias formas de divisão entre si com base nos custos de RD. Quando for ideal que a unidade de codificação máxima 810 seja codificada, a unidade de codificação máxima 810 pode ser codificada, sem dividir a unidade de codificação máxima 810, conforme ilustrado nas Figs. 8A a 8D.

[00076] Referindo-se à Fig. 8A, a unidade de codificação máxima 810, cuja profundidade é 0, é codificada, dividindo a unidade de codificação máxima 810 em sub-unidades de codificação 812, 854, cujas profundidades são iguais ou maiores que 1. Ou seja, a unidade de codificação máxima 810 é dividida em 4 sub-unidades de codificação, cujas profundidades são 1, e todas ou algumas das sub-unidades de codificação, cujas profundidades são 1, são divididas em sub-unidades de codificação 814, 816, 818, 828, 850 e 852, cujas profundidades são 2.

[00077] Uma sub-unidade de codificação localizada em um lado superior direito e uma sub-unidade de codificação localizada em um lado inferior esquerdo entre as sub-unidades de codificação, cujas profundidades são 1, são divididas em sub-unidades de codificação, cujas profundidades são iguais ou maiores que 2. Algumas das sub-unidades de codificação, cujas profundidades são iguais ou maiores que 2, podem ser ainda divididas nas sub- unidades de codificação 820, 822, 824, 826, 830, 832, 840, 842, 844, 846 e 848, cujas profundidades são iguais ou maiores que 3.

[00078] A Fig. 8B mostra uma forma de divisão de uma unidade de predição para a unidade de codificação máxima 810.

[00079] Referindo-se à Fig. 8B, uma unidade de predição 860 para a unidade de codificação máxima 810 pode ser dividida diferentemente da unidade de codificação máxima 810. Em outras palavras, uma unidade de predição para cada uma das sub- unidades de codificação pode ser menor do que uma sub-unidade de codificação correspondente.

[00080] Por exemplo, uma unidade de predição para uma sub- unidade de codificação 854 localizada no lado inferior direito, entre as sub-unidades de codificação 812, 854, cujas profundidades são 1, pode ser menor do que a sub-unidade de codificação 854. Além disso, unidades de predição para sub- unidades de codificação 814, 816, 850 e 852 das sub-unidades de codificação 814, 816, 818, 828, 850 e 852, cujas profundidades são 2, podem ser menores do que as sub-unidades de codificação 814, 816, 850 e 852, respectivamente.

[00081] Além disso, unidades de predição para sub-unidades de codificação 822, 832 e 848, cujas profundidades são 3, podem ser menores do que as sub-unidades de codificação 822, 832 e 848, respectivamente. As unidades de predição podem ter uma forma, segundo a qual respectivas sub-unidades de codificação são divididas igualmente por dois em uma direção da altura ou largura, ou têm uma forma, segundo a qual respectivas sub- unidades de codificação são igualmente divididas por quatro em direções de altura e largura.

[00082] As Figs. 8C e 8D ilustram uma unidade de predição e uma unidade de transformação, de acordo com uma forma de realização exemplar.

[00083] A Fig. 8C mostra uma forma de divisão de uma unidade de predição para a unidade de codificação máxima 810 mostrada na Fig. 8B, e a Fig. 8D mostra uma forma de divisão de uma unidade de transformação da unidade de codificação máxima 810.

[00084] Referindo -se à Fig. 8D, uma forma de divisão de uma unidade de transformação 870 pode ser definida de maneira diferente da unidade de predição 860.

[00085] Por exemplo, mesmo que uma unidade de predição para a sub-unidade de codificação 854, cuja profundidade é 1, seja selecionada com uma forma, segundo a qual a altura da sub- unidade de codificação 854 foi dividida igualmente por dois, uma unidade de transformação pode ser selecionada com o tamanho original da sub-unidade de codificação 854. Da mesma forma, mesmo que as unidades de predição para sub-unidades de codificação 814 e 850, cujas profundidades são 2, sejam selecionadas com uma forma, segundo a qual a altura de cada uma das sub-unidades de codificação 814 e 850 foi dividida igualmente por dois, uma unidade de transformação pode ser selecionada com o mesmo tamanho que o tamanho original de cada uma das sub-unidades 814 e 850.

[00086] Uma unidade de transformação pode ser selecionada com um tamanho menor do que uma unidade de predição. Por exemplo, quando uma unidade de predição para a sub-unidade de codificação 852, cuja profundidade é 2, for selecionada com uma forma, segundo a qual a largura da sub-unidade de codificação 852 foi dividida igualmente por dois, uma unidade de transformação pode ser selecionada com uma forma, segundo a qual a sub-unidade de codificação 852 foi dividida igualmente por quatro em direções de altura e largura, que têm um tamanho menor do que a forma da unidade de predição.

[00087] Como alternativa, conforme será descrito com referência às Figs. 13A a 13D, uma unidade de transformação pode ser definida, como tendo um tamanho maior do que uma unidade de codificação, independentemente da unidade de codificação.

[00088] A Fig. 9 é um diagrama de blocos de um aparelho 900 para codificação de uma imagem, de acordo com outra forma de realização exemplar.

[00089] Referindo-se à Fig. 9, o aparelho para codificar imagens 900, de acordo com a forma de realização exemplar atual, inclui um preditor 910, um transformador 920, um quantizador 930, e um codificador de entropia 940.

[00090] O preditor 910 gera valores residuais, realizando a predição intra ou predição inter em uma ou mais unidades de codificação. Como será descrito mais tarde, valores residuais, incluídos em uma pluralidade de unidades de predição, podem ser agrupados em uma unidade de transformação e, em seguida, transformados em um domínio da frequência e, assim, os valores residuais são gerados, predizendo-se uma ou mais unidades de codificação com base na pluralidade de unidades de predição. A transformação ao domínio da frequência pode ser por DCT ou KLT.

[00091] Conforme acima descrito com referência à Fig. 8A, no método para codificar uma imagem, de acordo com uma forma de realização exemplar, uma unidade de codificação pode incluir uma pluralidade de unidades de predição. Assim, o preditor 910 pode predizer cada uma das unidades de predição e gerar os valores residuais das unidades de predição incluídas em uma unidade de codificação.

[00092] Como alternativa, a unidade de predição 910 pode predizer a pluralidade das unidades de codificação, de uma só vez. Como será descrito mais tarde, de acordo com uma forma de realização exemplar, uma pluralidade de unidades de predição, incluída em uma pluralidade de unidades de codificação, pode ser agrupada em uma unidade de transformação e, assim, valores residuais são gerados por predição de cada uma das unidades de predição incluídas nas unidades de codificação. Por exemplo, todas as sub-unidades de codificação incluídas em uma única unidade de codificação máxima podem ser preditas, a fim de gerar os valores residuais das unidades de codificação.

[00093] De acordo com a tecnologia convencional, visto que a transformação (p. ex., DCT ou KLT) é realizada com um tamanho menor ou igual a uma unidade de predição, uma predeterminada unidade de predição é codificada de forma independente, restaurada e, a seguir, usada para predizer uma próxima unidade de predição. No entanto, de acordo com um método para codificar uma imagem, de acordo com uma forma de realização exemplar, que será descrita mais tarde, visto que a transformação é realizada, agrupando unidades de predição incluídas em uma ou mais unidades de codificação em uma unidade de transformação, uma predeterminada unidade de predição não pode ser independentemente codificada e restaurada. Isso será descrito detalhadamente, com referência à Fig. 10.

[00094] A Fig. 10 é um diagrama para descrever um método de predição, de acordo com uma forma de realização exemplar.

[00095] Referindo-se à Fig. 10, uma unidade de codificação 1000 pode incluir uma pluralidade de unidades de predição 1010 a 1040. Se a transformação for realizada com um tamanho menor ou igual a uma unidade de predição, como na tecnologia convencional, as unidades de predição 1010 a 1030 podem ser codificadas e restauradas, antes de codificar a unidade de predição 1040 em um lado inferior direito.

[00096] Assim, se a unidade de predição 1040 tiver que ser predita através de predição intra, de acordo com a tecnologia convencional, a unidade de predição 1040 é predita no modo intra, usando pixels adjacentes à unidade de predição 1040, entre os pixels gerados por codificação e, em seguida, restauração das unidades de predição 1010 a 1030.

[00097] Por outro lado, de acordo com uma forma de realização exemplar, uma pluralidade de unidades de predição é agrupada em uma unidade de transformação e, em seguida, é realizada a transformação. Aqui, se a unidades de predição 1010 a 1040 da Fig. 10 forem agrupadas em uma unidade de transformação, a unidade de predição 1040 no lado inferior direito é codificada com as outras unidades de predição 1010 a 1030 e, assim, as unidades de predição 1010 a 1030 não são codificadas, antes de codificar a unidade de predição 1040. Nesse sentido, a unidade de predição 1040 não pode ser predita no modo intra, usando os pixels gerados por codificação e, em seguida, restauração das unidades de predição 1010 a 1030.

[00098] Consequentemente, a unidade de predição 910 da Fig. 9 pode predizer a unidade de predição 1040, usando valores de predição das unidades de predição 1010 a 1030. A unidade de predição 1040, no lado inferior direito, é predita, usando os valores de predição das unidades de predição 1010 a 1030, em vez de pixels gerados pela codificação e, em seguida, restauração das unidades de predição 1010 a 1030.

[00099] Em outras palavras, se houver uma primeira unidade de predição predita através de predição intra, entre unidades de predição, agrupadas em uma unidade de transformação, a primeira unidade de predição pode ser predita no modo intra, usando valores de predição de pelo menos uma unidade de predição adjacente.

[000100] Alternativamente, as unidades de predição agrupadas em uma unidade de transformação podem ser todas preditas através de predição inter. Conforme descrito com referência à Fig. 10, visto que uma unidade de predição, que foi predita através de predição intra, está em questão durante o agrupamento de uma pluralidade de unidades de predição em uma unidade de transformação, todas as unidades de predição agrupadas na unidade de transformação podem ser preditas, usando apenas predição inter.

[000101] Voltando à Fig. 9, o transformador 920 recebe uma unidade de processamento de imagens em um domínio do pixel, e transforma a unidade de processamento de imagens em um domínio da frequência. O transformador 920 transforma os valores residuais gerados pela unidade de predição 910 no domínio da frequência.

[000102] Como acima descrito, o transformador 920 agrupa as unidades de predição em uma unidade de transformação e executa a DCT ou KLT, de acordo com a unidade de transformação. Os valores residuais podem ser valores residuais de uma pluralidade de unidades de predição incluída em uma ou mais unidades de codificação. Coeficientes das componentes de frequência são gerados, como resultado da transformação do domínio do pixel no domínio da frequência.

[000103] De acordo com uma forma de realização exemplar, a transformação do domínio da frequência pode ser realizada via DCT ou KLT, e coeficientes discretos de cosseno são gerados como resultado da DCT ou KLT. No entanto, qualquer transformação para transformar uma imagem em um domínio do pixel, no domínio da frequência, pode ser utilizada.

[000104] A Fig. 11 é um diagrama de blocos do transformador 920, segundo uma forma de realização exemplar.

[000105] Referindo-se à Fig. 11, o transformador 920 inclui um seletor 1110 e um executor de transformação 1120.

[000106] O seletor 1110 define uma unidade de transformação, selecionando uma pluralidade de unidades de predição adjacentes. De acordo com os aparelhos convencionais para codificar imagens, acima descritos, predição intra ou predição inter é realizada, de acordo com uma unidade de predição predeterminada, e DCT ou KLT é realizada com um tamanho menor ou igual à unidade de predição predeterminada. Em outras palavras, os aparelhos convencionais para codificar imagens executam DCT ou KLT, com base em uma unidade de transformação, tendo um tamanho menor ou igual a uma unidade de predição.

[000107] No entanto, uma taxa de compressão da codificação de imagens é deteriorada, visto que uma sobrecarga adicional aumenta, quando um tamanho de uma unidade de transformação é diminuído, devido às informações de cabeçalho adicionadas para cada unidade de transformação. Assim, o aparelho para codificar imagens 900, de acordo com a atual forma de realização exemplar, agrupa as unidades de predição adjacentes em uma unidade de transformação e, em seguida, executa a DCT ou KLT, de acordo com a unidade de transformação. Especificamente, uma vez que é altamente provável que as unidades de predição adjacentes tenham valores residuais similares, uma taxa de compressão de codificação pode ser notavelmente aumentada, quando a DCT ou KLT for realizada, de acordo com a unidade de transformação gerada pelo agrupamento das unidades de predição adjacentes.

[000108] Por conseguinte, o seletor 1110 seleciona as unidades de predição a serem agrupadas em uma unidade de transformação, e nas quais, a DCT ou KLT deve ser executada. As unidades de predição podem ser adjacentes entre si. Isso será descrito detalhadamente, fazendo referência às Figs. 12A a 12C e 13A a 13D.

[000109] As Figs. 12A a 12C são diagramas de tipos de unidades de transformação 1230 a 1250, segundo formas de realização exemplares.

[000110] Referindo-se às Figs. 12A a 12C, uma unidade de predição 1220 pode ter uma forma, segundo a qual, uma unidade de codificação 1210 é dividida igualmente por dois numa direção da largura. A unidade de codificação 1210 pode ser uma unidade de codificação máxima, conforme acima descrito, ou um sub- unidade de codificação tendo um tamanho menor do que a unidade de codificação máxima.

[000111] Mesmo quando a unidade de codificação 1210 e a unidade de predição 1220 forem idênticas, as unidades de transformação 1230 a 1250 podem ser diferentes. Um tamanho da unidade de transformação 1230 pode ser menor do que aquele da unidade de predição 1220, como mostrado na Fig. 12A, ou um tamanho da unidade de transformação 1240 pode ser idêntico àquele da unidade de predição 1220, como mostrado na Fig. 12B. Como alternativa, um tamanho da unidade de transformação 1250 pode ser maior do que aquele da unidade de predição 1220, como mostrado na Fig. 12C.

[000112] As unidades de predição agrupadas em uma unidade de transformação podem ser uma pluralidade de unidades de predição incluídas em uma unidade de codificação, como mostrado nas Figs. 12A a 12C, ou podem ser uma pluralidade de unidades de predição incluídas em diferentes unidades de codificação. Em outras palavras, uma pluralidade de unidades de predição incluída em pelo menos uma unidade de codificação pode ser agrupada em uma unidade de transformação, e depois transformada no domínio da frequência.

[000113] As Figs. 13A a 13D são diagramas de tipos de unidades de transformação, de acordo com formas de realização exemplares.

[000114] Uma unidade de codificação máxima 1300 pode ser dividida em sub-unidades de codificação 1302 a 1308, tendo diferentes tamanhos e, em seguida, codificadas, como mostrado na Fig. 13A, e cada uma das sub-unidades de codificação 1302 a 1308 pode incluir pelo menos uma unidade de predição 1310 a 1340, conforme mostrado na Fig. 13B.

[000115] O seletor 1110 pode agrupar as unidades de predição 1310 a 1340 mostradas na Fig. 13B em uma unidade de transformação 1350 mostrada na Fig. 13C, e depois transformar a unidade de transformação 1350 no domínio da frequência.

[000116] Como alternativa, o seletor 1110 pode agrupar as unidades de predição 1310 e 1330 a 1339 das sub-unidades de codificação 1302 e 1306 à esquerda em uma unidade de transformação 1360, e agrupar as unidades de predição 1320 a 1328 e 1340 das sub-unidades de codificação 1304 e 1308 à direita em uma unidade de transformação 1362, como mostrado na Fig. 13D.

[000117] Voltando à Fig. 11, um critério para o seletor 1110 selecionar uma pluralidade de unidades de predição adjacentes não é limitado. No entanto, de acordo com uma forma de realização exemplar, o seletor 1110 pode selecionar uma unidade de transformação, com base em uma profundidade. Como acima descrito, a profundidade indica um grau hierarquicamente decrescente de uma unidade de codificação, a partir de uma unidade de codificação máxima de uma fatia ou quadro atual para sub-unidades de codificação. Conforme acima descrito com referência às FIGS. 3 e 6, quando uma profundidade aumenta, um tamanho de uma sub-unidade de codificação diminui e, portanto, um tamanho de uma unidade de predição incluída na sub-unidade de codificação diminui. Aqui, quando a DCT ou KLT é realizada, de acordo com uma unidade de transformação tendo um tamanho menor ou igual a uma unidade de predição, uma taxa de compressão de codificação de imagem é reduzida, porque informações de cabeçalho são adicionadas a cada unidade de transformação, como acima descrito.

[000118] Assim, unidades de predição incluídas em uma sub- unidade de codificação, cuja profundidade é igual ou superior a um valor predeterminado, podem ser agrupadas em uma unidade de transformação e, em seguida, a DCT ou KLT pode ser executada na unidade de transformação. Assim, o seletor 1110 pode definir a unidade de transformação, com base na profundidade da sub- unidade de codificação. Por exemplo, quando uma profundidade da unidade de codificação 1210 da Fig. 12C é maior do que k, o seletor 1110 agrupa as unidades de predição 1220 em uma unidade de transformação 1250.

[000119] Como alternativa, quando uma unidade de codificação máxima inclui uma pluralidade de sub-unidades de codificação, cujas profundidades são iguais ou superiores a um valor predeterminado, o seletor 1110 pode agrupar unidades de predição das sub-unidades de codificação em uma unidade de transformação. A Fig. 13C ilustra um exemplo de agrupamento de unidades de predição de sub-unidades de codificação, cuja profundidade é maior do que uma unidade de codificação máxima, ou seja, cuja profundidade é maior que 1, em uma unidade de transformação.

[000120] De acordo com outra forma de realização exemplar, o seletor 1110 pode definir uma pluralidade de unidades de predição adjacentes, em que a predição é executada, de acordo com um mesmo tipo de modo de predição, em uma unidade de transformação. As unidades de predição adjacentes, que são preditas usando predição intra ou predição inter, são agrupadas em uma unidade de transformação. Uma vez que é altamente provável que as unidades de predição adjacentes, que são preditas de acordo com o mesmo tipo de modo de predição, tenham valores residuais similares, DCT ou KLT pode ser realizada, agrupando-se as unidades de predição adjacentes em uma unidade de transformação.

[000121] Quando o seletor 1110 definir a unidade de transformação, o executor de transformação 1120 transforma as unidades de predição adjacentes em um domínio da frequência, de acordo com a unidade de transformação definida. Coeficientes de domínio da frequência (por exemplo, coeficientes discretos de cosseno) são gerados, transformando as unidades de predição selecionadas em uma unidade de transformação.

[000122] Voltando à Fig. 9, o quantizador 930 quantiza os coeficientes da componente de frequência gerados pelo transformador 920. O quantizador 930 pode quantizar os coeficientes inseridos, de acordo com um processo de quantização predeterminado.

[000123] O codificador de entropia 940 codifica por entropia os coeficientes quantizados pelo quantizador 930. Aqui, os coeficientes discretos de cosseno podem ser codificados por entropia, usando codificação aritmética binária adaptável ao contexto (CABAC), ou codificação de comprimento variável adaptável ao contexto (CAVLC).

[000124] O aparelho para codificar imagens 900 pode codificar informações de sinalizador, indicando se a unidade de transformação gerada pelo agrupamento das unidades de predição inclui os coeficientes. Se não houver nenhum coeficiente a ser codificado por entropia, ou seja, quando os coeficientes quantizados forem todos '0', informações de sinalizador, indicando que a unidade de transformação não inclui os coeficientes, são codificadas, e os coeficientes quantizados não são separadamente codificados por entropia.

[000125] O aparelho para codificar imagens 900, de acordo com a atual forma de realização exemplar, pode determinar uma unidade de transformação ideal, realizando repetidamente transformação, quantização e codificação de entropia em diferentes unidades de transformação. A unidade de transformação ideal pode ser determinada, repetindo mecanicamente um processo de seleção de uma pluralidade de unidades de predição, usando vários métodos, em vez de selecionar as unidades de predição com base em um critério predeterminado, como uma profundidade ou um mesmo tipo de modo de predição. A unidade de transformação ideal pode ser determinada com base no cálculo dos custos de RD, e isso será descrito em detalhes com referência à Fig. 14.

[000126] A Fig. 14 é um diagrama de diferentes unidades de transformação 1430 a 1460, segundo formas de realização exemplares.

[000127] Referindo-se à Fig. 14, o aparelho para codificar imagens 900 codifica repetidamente diferentes unidades de transformação 1430 a 1460.

[000128] Como mostrado na Fig. 14, uma unidade de codificação 1410 pode ser predita e codificada, com base em uma unidade de predição 1420 tendo um tamanho menor do que a unidade de codificação 1410. DCT ou KLT é realizada em valores residuais gerados como resultado de predição, e aqui, a DCT ou KLT pode ser executada com base em diferentes unidades de transformação 1430 a 1460, como mostrado na Fig. 14.

[000129] A unidade de transformação 1430 tem o mesmo tamanho que a unidade de codificação 1410 e é gerada, agrupando todas as unidades de predição incluídas na unidade de codificação 1410.

[000130] As unidades de transformação 1440 têm um tamanho, pelo qual a unidade de codificação 1410 é dividida igualmente por dois numa direção da largura, e são geradas pelo agrupamento das unidades de predição, que são adjacentes numa direção vertical.

[000131] As unidades de transformação 1450 têm um tamanho, pelo qual a unidade de codificação 1410 é dividida igualmente por dois em uma direção de altura, e são geradas pelo agrupamento das unidades de predição, que são adjacentes numa direção horizontal.

[000132] As unidades de transformação 1460 têm os mesmos tamanhos que as unidades de predição 1420.

[000133] O aparelho para codificar imagens 900 pode determinar a unidade de transformação ideal, realizando repetidamente transformação, quantização e codificação de entropia nas unidades de transformação 1430 a 1460.

[000134] Alternativamente, o aparelho para codificar imagens 900 pode codificar informações de sinalizador, indicando se a unidade de transformação foi gerada por agrupamento de uma pluralidade de unidades de predição incluídas em uma ou mais unidades de codificação. Por exemplo, quando uma unidade de transformação é definida pelo agrupamento de uma pluralidade de unidades de predição incluídas em uma unidade de codificação, como mostrado nas Figs. 12A a 12C, informações de sinalizador são definida como '0', e quando uma unidade de transformação é definida pelo agrupamento de uma pluralidade de unidades de predição incluídas em uma pluralidade de unidades de codificação, como mostrado nas Figs. 13A a 13D, as informações de sinalizador são definidas como '1'.

[000135] A Fig. 14 ilustra um exemplo de determinação da unidade de transformação ideal, quando uma unidade de transformação é definida pelo agrupamento das unidades de predição incluídas em uma unidade de codificação. No entanto, a unidade de transformação ideal pode ser determinada por executar repetidamente a DCT, quantização e codificação de entropia em diferentes unidades de transformação, como mostrado na Fig. 14, mesmo quando uma unidade de transformação é definida pelo agrupamento de unidades de predição incluídas em uma pluralidade de unidades de codificação.

[000136] A Fig. 15 é um diagrama de blocos de um aparelho 1500 para decodificar uma imagem, de acordo com outra forma de realização exemplar.

[000137] Referindo-se à Fig. 15, o aparelho para decodificar imagens 1500 inclui um decodificador de entropia 1510, um quantizador inverso 1520, um transformador inverso 1530, e um restaurador 1540.

[000138] O decodificador de entropia 1510 decodifica por entropia coeficientes da componente de frequência de uma unidade de transformação predeterminada. Conforme acima descrito com referência às Figs. 12A a 12C e 13A a 13D, a unidade de transformação pode ser gerada por agrupamento de uma pluralidade de unidades de predição. Como acima descrito, as unidades de predição podem ser adjacentes entre si, e podem ser incluídas em uma unidade de codificação, ou numa pluralidade de diferentes unidades de codificação.

[000139] Como acima descrito com referência ao aparelho para codificar imagens 900, a unidade de transformação pode ser gerada por agrupamento de uma pluralidade de unidades adjacentes de predição, com base em uma profundidade, ou por agrupamento de uma pluralidade de unidades de predição adjacentes, nas quais a predição é realizada, de acordo com um mesmo tipo de modo de predição, ou seja, de acordo com um modo de predição intra, ou um modo de predição inter. Como alternativa, conforme descrito com referência à Fig. 14, uma unidade de transformação ideal pode ser selecionada, realizando repetidamente transformação, quantização, e decodificação de entropia em diferentes unidades de transformação, repetindo mecanicamente um processo de agrupamento de uma pluralidade de unidades de predição.

[000140] Se uma unidade de transformação não incluir coeficientes (p. ex. coeficientes discretos de cosseno), o decodificador de entropia 1510 não pode decodificar separadamente por entropia, coeficientes quantizados. Se a unidade de transformação não incluir os coeficientes quantizados, os coeficientes quantizados não são codificados separadamente por entropia, com referência às informações de sinalizador predeterminadas.

[000141] O quantizador inverso 1520 quantiza por inversão os coeficientes da componente de frequência, que são decodificados por entropia, pelo decodificador de entropia 1510. Os coeficientes da componente de frequência, que são decodificados por entropia, de acordo com uma etapa de quantização utilizada durante a codificação da unidade de transformação, são quantizados por inversão.

[000142] O transformador inverso 1530 transforma por inversão os coeficientes da componente de frequência quantizados por inversão em um domínio do pixel. DCT inversa ou KLT inversa é executada nos coeficientes discretos de cosseno, quantizados por inversão, para restaurar uma unidade de transformação em um domínio do pixel. Como resultado da transformação inversa, valores residuais da unidade de transformação são restaurados.

[000143] A unidade de transformação restaurada inclui uma pluralidade de unidades de predição e, como acima descrito, as unidades de predição podem ser incluídas em uma unidade de codificação, ou em uma pluralidade de diferentes unidades de codificação.

[000144] O restaurador 1540 gera valores de predição, predizendo uma pluralidade de unidades de predição incluídas na unidade de transformação restaurada. Valores de predição de uma unidade de codificação são gerados, se as unidades de predição, agrupadas em uma unidade de transformação, forem incluídas em uma única unidade de codificação, e valores de predição de uma pluralidade de unidades de codificação são gerados, se as unidades de predição, agrupadas em uma unidade de transformação, forem incluídas em uma pluralidade de unidades de codificação. Uma unidade de codificação ou uma pluralidade de unidades de codificação é restaurada, adicionando os valores de predição gerados e os valores residuais restaurados pelo transformador inverso 1530.

[000145] O fato dos valores de predição serem gerados para uma unidade de codificação, ou numa pluralidade de unidades de codificação, pode ser determinado, com base nas informações do sinalizador indicando se o aparelho para codificar imagens 900 gerou uma unidade de transformação, agrupando uma pluralidade de unidades de predição incluídas em uma unidade de codificação, ou em uma pluralidade de unidades de codificação.

[000146] De acordo com uma forma de realização exemplar, se as unidades de predição agrupadas em uma unidade de transformação incluírem uma unidade de predição, que é predita no modo intra, predição intra pode ser realizada com base nos valores de predição de pelo menos uma unidade de predição adjacente, conforme descrito com referência à Fig. 10. Alternativamente, uma pluralidade de unidades de predição agrupadas em uma unidade de transformação pode ser toda predita, usando predição inter.

[000147] A Fig. 16 é um fluxograma, ilustrando um método para codificar uma imagem, de acordo com uma forma de realização exemplar.

[000148] Referindo-se à Fig. 16, um aparelho para codificar uma imagem gera valores residuais, realizando predição em uma ou mais unidades de codificação na operação 1610.

[000149] Uma pluralidade de unidades de predição, agrupadas em uma unidade de transformação, pode ser incluída em uma unidade de codificação, ou em uma pluralidade de unidades de codificação. Assim, quando as unidades de predição forem incluídas em uma unidade de codificação, os valores residuais são gerados por execução de predição em uma unidade de codificação, e quando as unidades de predição forem incluídas em uma pluralidade de unidades de codificação, os valores residuais são gerados por execução de predição na pluralidade de unidades de codificação.

[000150] Um método para gerar valores residuais por predição das unidades de predição de uma só vez foi acima descrito com referência à Fig. 10.

[000151] Na operação 1620, o aparelho define uma unidade de transformação, selecionando uma pluralidade de unidades de predição. As unidades de predição podem ser incluídas em uma unidade de codificação, ou em uma pluralidade de unidades de codificação. As unidades de predição adjacentes podem ser selecionadas, com base em profundidade, ou unidades de predição adjacentes, em que a predição é executada em um mesmo tipo de modo de predição, podem ser selecionadas.

[000152] Na operação 1630, o aparelho transforma as unidades de predição em um domínio da frequência, de acordo com a unidade de transformação definida na operação 1620. Coeficientes do domínio da frequência são gerados por execução de transformação na unidade de transformação definida pelo agrupamento das unidades de predição.

[000153] Na operação 1640, o aparelho quantiza coeficientes da componente de frequência, por exemplo, os coeficientes discretos de cosseno gerados na operação 1630, de acordo com um processo de quantização predeterminado.

[000154] Na operação 1650, o aparelho codifica por entropia os coeficientes da componente de frequência quantizados na operação 1640. A codificação de entropia é realizada via CABAC ou CAVLC.

[000155] Conforme descrito com referência à Fig. 14, o método pode ainda incluir definição de uma unidade de transformação ideal, pela repetição das operações 1610 a 1640 em diferentes unidades de transformação. A unidade de transformação ideal pode ser definida por execução repetida da transformação, quantização e codificação de entropia nas diferentes unidades de transformação, como mostrado na Fig. 14.

[000156] A Fig. 17 é um fluxograma, ilustrando um método para decodificar uma imagem, de acordo com uma forma de realização exemplar.

[000157] Referindo-se à Fig. 17, o aparelho decodifica por entropia coeficientes da componente de frequência de uma unidade de transformação predeterminada, na operação 1710. Os coeficientes da componente de frequência podem ser coeficientes discretos de cosseno. A unidade de transformação pode ser definida por agrupamento de uma pluralidade de unidades de predição. Como acima descrito, as unidades de predição podem ser adjacentes entre si, e podem ser incluídas em uma unidade de codificação, ou numa pluralidade de unidades de codificação distintas.

[000158] Na operação 1720, o aparelho quantiza por inversão os coeficientes da componente de frequência, que são decodificados por entropia na operação 1710. Os coeficientes discretos de cosseno são quantizados por inversão, usando uma etapa de quantização utilizada durante a codificação.

[000159] Na operação 1730, o aparelho transforma por inversão os coeficientes da componente de frequência, que são quantizados por inversão na operação 1720 em um domínio do pixel, para restaurar uma unidade de transformação. A unidade de transformação restaurada é definida por agrupamento de uma pluralidade de unidades de predição. Valores residuais incluídos na unidade de transformação são restaurados. Valores residuais de uma unidade de codificação são restaurados, se as unidades de predição forem incluídas em uma unidade de codificação, e valores residuais de uma pluralidade de unidades de codificação são restaurados, se as unidades de predição forem incluídas nas unidades de codificação.

[000160] Como acima descrito, a unidade de transformação pode ser definida por agrupamento das unidades de predição adjacentes, com base em uma profundidade, ou por agrupamento das unidades de predição adjacentes, em que a predição é executada, de acordo com um mesmo tipo de modo de predição.

[000161] Na operação 1740, o aparelho restaura uma ou mais unidades de codificação, baseado nos valores residuais incluídos na unidade de transformação restaurada na operação 1730. Valores de predição são gerados, predizendo-se uma ou mais unidades de codificação, e uma ou mais unidades de codificação são restauradas, adicionando os valores de predição gerados e os valores residuais restaurados na operação 1730. Um método para predizer os valores de predição incluídos em uma ou mais unidades de codificação foi acima descrito com referência à Fig. 10.

[000162] Se a unidade de transformação for definida pelo agrupamento das unidades de predição incluídas em uma unidade de codificação, uma unidade de codificação é restaurada, e se a unidade de transformação for definida pelo agrupamento das unidades de predição incluídas em uma pluralidade de unidades de codificação, a pluralidade de unidades de codificação é restaurada.

[000163] De acordo com as formas de realização exemplares, uma imagem é mais eficientemente compactada e codificada, visto que uma unidade de transformação pode ser definida, para ter um tamanho maior do que uma unidade de predição, e a transformação pode ser realizada na unidade de transformação.

[000164] Apesar da presente invenção ter sido particularmente mostrada e descrita com referência a suas formas de realização exemplares, deve ficar claro a uma pessoa com habilidade comum na arte, que várias alterações na forma e detalhes podem ser feitas, sem se afastar do espírito e escopo da invenção, como definidos pelas reivindicações e seus equivalentes a seguir. Além disso, as formas de realização exemplares também podem ser incorporadas como códigos legíveis por computador em uma mídia de gravação legível por computador.

[000165] O aparelho para codificação ou decodificação de imagens, ou o codificador ou decodificador de imagens, ilustrados nas Figs. 1, 2, 4, 5, 9, 11 ou 15, podem incluir um barramento ligado a cada unidade do aparelho, ou codificador ou decodificador, pelo menos um processador, que é conectado ao barramento e se destina à execução de comandos, e memória conectada ao barramento para armazenar os comandos, mensagens recebidas, e mensagens geradas.

[000166] A mídia de gravação legível por computador é qualquer dispositivo de armazenamento de dados, que pode armazenar dados, que podem ser lidos posteriormente por um sistema de computador. Memória somente de leitura (ROM), memória de acesso aleatório (RAM), CD-ROMs, fitas magnéticas, discos flexíveis, e dispositivos de armazenamento de dados ópticos são exemplos da mídia de gravação legível por computador. A mídia de gravação legível por computador também pode ser distribuída ao longo de sistemas de computador ligados em rede, para que o código legível por computador seja armazenado e executado de forma distribuída. Como alternativa, as formas de realização exemplares podem ser incorporadas como mídia de transmissão legível por computador em ondas portadoras ou sinais para transmissão em uma rede, como a Internet.

Claims

1. APARELHO PARA DECODIFICAR UMA IMAGEM, o aparelho caracterizado pelo fato de que compreende: um processador que é configurado para determinar a pluralidade de unidades de codificação máximas quadradas a partir de uma imagem e determinar uma unidade de codificação quadrada que é hierarquicamente dividida a partir de uma unidade de codificação máxima dentre a pluralidade de unidades de codificação máxima mediante usar informações sobre uma unidade de codificação, em que as informações sobre um a unidade de codificação é analisada a partir do fluxo de bits; e um decodificador que é configurado para reconstruir resíduos mediante realizar quantização inversa e transformação inversa em coeficientes de transformação quantizados de uma unidade de transformação analisada a partir do fluxo de bits, realizar intra predição ou inter predição usando pelo menos uma unidade de predição incluída na unidade de codificação para gerar um preditor, e reconstruir a unidade de codificação usando os resíduos e o preditor, em que o processador está configurado para determinar a pelo menos uma unidade de predição, que é dividida da unidade de codificação mediante usar informações sobre uma unidade de predição, em que a informação sobre uma unidade de predição é analisada a partir do fluxo de bits, e determinar pelo menos uma unidade de transformação, que é dividida a partir da unidade de codificação mediante usar informações sobre uma unidade de transformação, em que as informações sobre uma unidade de transformação são analisadas a partir do fluxo de bits, em que quando um modo de predição é determinado ser um modo de inter predição e não um modo de intra predição, o aparelho para decodificação é configurado para suportar uma unidade de transformação, dentre a pelo menos uma unidade de transformação, possuindo um tamanho de 2N x 2N, que inclui quatro unidades de predição, dentre a pelo menos uma unidade de predição, possuindo um tamanho de N x N, em que a pelo menos uma unidade de predição é uma dentre os blocos, incluindo: um bloco de tamanho igual à unidade de codificação; e um bloco dentre uma pluralidade de blocos gerados mediante dividir igualmente pelo menos um de altura e largura da unidade de codificação, e em que a unidade de transformação é uma dentre os blocos, incluindo: um bloco igual em tamanho à unidade de codificação; e um bloco dentre uma pluralidade de blocos gerados pela divisão igual da altura e largura da unidade de codificação.