BR112012025407B1

BR112012025407B1 - Método de decodificação de vídeo baseado em unidades de codificação determinadas de acordo com uma estrutura de árvore

Info

Publication number: BR112012025407B1
Application number: BR112012025407-3A
Authority: BR
Inventors: Jung-hye MIN; Woo-jin Han
Original assignee: Samsung Electronics Co, Ltd
Priority date: 2010-04-13
Filing date: 2011-04-13
Publication date: 2022-03-22
Also published as: CN105812801B; KR102072733B1; MY176988A; KR20160119441A; JP2016129363A; CN102948146B; RU2669514C2; KR20150000855A; US20180184105A1; CA3007527A1; CN105812801A; CN106803957A; KR20150009501A; CN105847799B; AU2011241284B2; JP2017079486A; ZA201208459B; EP3200454A1; RU2598586C2; KR101906507B1

Abstract

MÉTODO PARA DECODIFICAR UM VÍDEO, MÉTODO CODIFICADOR DE VÍDEO, APARELHO DECODIFICADOR DE VÍDEO CONTENDO UM PROCESSADOR DECODIFICADOR DE VÍDEO, APARELHO CODIFICADOR DE VÍDEO CONTENDO UM PROCESSADOR CODIFICADOR DE VÍDEO, E MÍDIA DE GRAVAÇÃO LEGÍVEL POR COMPUTADOR. Método codificador de um vídeo, o método envolvendo a divisão de um quadro do vídeo em uma ou mais unidades codificadores máximas, que são unidades codificadoras tendo um tamanho máximo; codificação do quadro com base em unidades codificadoras, de acordo com profundidades, que são obtidas por divisão hierárquica de cada uma ou mais unidades codificadoras máximas, de acordo com profundidades em cada uma ou mais unidades codificadoras máximas, determinação de unidades codificadoras, de acordo com profundidades codificadoras em relação a cada uma das unidades codificadoras, de acordo com profundidades e, assim, determinação de unidades codificadoras tendo uma estrutura em árvore; e emissão de dados, que são codificados com base nas unidades codificadoras possuindo a estrutura em árvore, informações sobre as profundidades codificadas e um modo de codificação, e informações sobre estrutura da unidade codificadora indicando um tamanho e uma profundidade variável de uma unidade codificadora.

Description

Área Técnica

A presente invenção refere-se à codificação de vídeo e à decodificação de vídeo, que realizam transformação entre uma região espacial e uma região de transformação.

Técnica Anterior

Como hardware para reproduzir e armazenar conteúdo de vídeo de alta resolução ou de alta qualidade está sendo desenvolvido e fornecido, a necessidade de um codec de vídeo para a codificação ou decodificação, de forma eficaz, do conteúdo de vídeo de alta resolução ou de alta qualidade está aumentando. Em um codec de vídeo convencional, um vídeo é codificado, de acordo com um método codificador limitado, baseado em um macrobloco tendo um tamanho predeterminado. Além disso, o codec de vídeo convencional realiza transformação e transformação inversa no macrobloco, utilizando um bloco tendo o mesmo tamanho e, assim, codifica e decodifica dados de vídeo.

Descrição Detalhada da Invenção Problema Técnico

A presente invenção proporciona codificação de vídeo e decodificação de vídeo, que realizam transformação entre uma região espacial e uma região de transformação, utilizando uma unidade codificadora hierárquica.

Solução Técnica

De acordo com um aspecto da presente invenção, é proporcionado um método para decodificar um vídeo, baseado em unidades codificadoras tendo uma estrutura em árvore, o método incluindo operações de recepção de um fluxo de bits com respeito a um vídeo codificado, e análise do fluxo de bits; extração de informações sobre estrutura da unidade codificadora, indicando um tamanho e uma profundidade variável de uma unidade codificadora, que é uma unidade de dados para a decodificação de um quadro do vídeo, e informações sobre uma profundidade codificada e um modo de codificação em relação às unidades codificadoras tendo uma estrutura em árvore do quadro, a partir do fluxo de bits; e determinação das unidades codificadoras possuindo a estrutura em árvore, com base nas informações sobre estrutura da unidade codificadora e nas informações sobre a profundidade codificada, e o modo de codificação, e decodificação do quadro, com base nas unidades codificadoras.

Efeitos Vantajosos

Uma eficiência de compressão de imagem pode ser aumentada, uma vez que uma unidade codificadora é hierarquicamente ajustada, considerando simultaneamente as características de uma imagem, ao mesmo tempo em que se aumenta um tamanho máximo de uma unidade codificadora, considerando simultaneamente um tamanho da imagem. Uma vez que um codificador transmite dados de vídeo codificados com informações sobre uma profundidade codificada e um modo de codificação, um decodificador pode decodificar cada parte dos dados de imagem codificados, depois de determinar, pelo menos, uma profundidade codificada, de acordo com unidades codificadoras tendo uma estrutura em árvore, de modo que a eficiência de codificação e decodificação de uma imagem possa ser melhorada.

Descrição dos Desenhos

A FIG. 1 é um diagrama de blocos de um aparelho para codificar um vídeo, com base em unidades codificadoras tendo uma estrutura em árvore, de acordo com uma forma de realização da presente invenção.

A FIG. 2 é um diagrama de blocos de um aparelho para decodificar um vídeo, com base em unidades codificadoras tendo uma estrutura em árvore, de acordo com uma forma de realização da presente invenção.

A FIG. 3 é um diagrama para descrever um conceito de unidades codificadoras, de acordo com uma forma de realização da presente invenção.

A FIG. 4 é um diagrama de blocos de um codificador de imagens, com base em unidades codificadoras, de acordo com uma forma de realização da presente invenção.

A FIG. 5 é um diagrama de blocos de um decodificador de imagens, com base em unidades codificadoras, de acordo com uma forma de realização da presente invenção.

A FIG. 6 é um diagrama, ilustrando unidades codificadoras mais profundas, de acordo com profundidades, e partições, de acordo com uma forma de realização da presente invenção.

A FIG. 7 é um diagrama para descrever uma relação entre uma unidade codificadora e unidades de transformação, de acordo com uma forma de realização da presente invenção.

A FIG. 8 é um diagrama para descrever informações sobre codificação de unidades codificadoras correspondentes a uma profundidade codificada, de acordo com uma forma de realização da presente invenção.

A FIG. 9 é um diagrama de unidades codificadoras mais profundas, de acordo com profundidades, de acordo com uma forma de realização da presente invenção.

As FIGS. 10 a 12 são diagramas para descrever uma relação entre unidades codificadoras, unidades de predição, e unidades de transformação, de acordo com uma forma de realização da presente invenção.

A FIG. 13 é um diagrama para descrever uma relação entre uma unidade codificadora, uma unidade de predição ou uma partição, e uma unidade de transformação, de acordo com informações sobre modo de codificação da Tabela 1.

A FIG. 14 é um fluxograma, ilustrando um método codificador de um vídeo, com base em unidades codificadoras tendo uma estrutura em árvore, de acordo com uma forma de realização da presente invenção.

A FIG. 15 é um fluxograma, ilustrando um método para decodificar um vídeo, com base em unidades codificadoras tendo uma estrutura em árvore, de acordo com uma forma de realização da presente invenção.

Melhor Modo

De acordo com um aspecto da presente invenção, é proporcionado um método para decodificar um vídeo, com base em unidades codificadoras com uma estrutura em árvore, o método incluindo operações de recepção de um fluxo de bits com respeito a um vídeo codificado, e análise do fluxo de bits; extração das informações sobre estrutura da unidade codificadora indicando um tamanho e uma profundidade variável de uma unidade codificadora, que é uma unidade de dados para decodificar um quadro do vídeo, e informações sobre uma profundidade codificada, e um modo de codificação em relação às unidades codificadoras tendo uma estrutura em árvore do quadro, a partir do fluxo de bits; e determinação das unidades codificadoras possuindo a estrutura em árvore, com base nas informações sobre estrutura da unidade codificadora e nas informações sobre a profundidade codificada e o modo de codificação, e decodificação do quadro, com base nas unidades codificadoras.

De acordo com outro aspecto da presente invenção, é proporcionado um método codificador de um vídeo, com base em unidades codificadoras com uma estrutura em árvore, o método incluindo as operações de divisão de um quadro do vídeo em uma ou mais unidades codificadoras máximas, que são unidades codificadoras tendo um tamanho máximo; codificação do quadro com base em unidades codificadoras, de acordo com profundidades, que são obtidas por divisão hierárquica de cada uma ou mais unidades codificadoras máximas, de acordo com profundidades em cada uma ou mais unidades codificadoras máximas, determinação das unidades codificadoras, de acordo com profundidades codificadas em relação a cada uma das unidades codificadoras, de acordo com profundidades e, assim, determinação das unidades codificadoras com uma estrutura em árvore; e emissão de dados codificadores, que são codificados, com base nas unidades codificadoras possuindo a estrutura em árvore, informações sobre as profundidades codificadas e um modo de codificação, e informações sobre estrutura de unidade indicando um tamanho e uma profundidade variável de uma unidade codificadora.

De acordo com outro aspecto da presente invenção, é proporcionado um aparelho decodificador de vídeo, incluindo um processador para decodificação de vídeo, e com base em unidades codificadoras com uma estrutura em árvore, o aparelho decodificador de vídeo incluindo um receptor para receber um fluxo de bits com respeito a um vídeo codificado e, em seguida, analisar o fluxo de bits; um extrator para extrair informações sobre estrutura da unidade codificadora, indicando um tamanho e uma profundidade variável de uma unidade codificadora, que é uma unidade de dados para decodificar um quadro do vídeo, e informações sobre uma profundidade codificada e um modo codificador em relação às unidades codificadoras com uma estrutura em árvore do quadro, a partir do fluxo de bits; e um decodificador para determinar as unidades codificadoras possuindo a estrutura em árvore, com base nas informações sobre estrutura da unidade codificadora e nas informações sobre a profundidade codificada e o modo de codificação, e decodificar o quadro com base nas unidades codificadoras, em associação com o processador para decodificação de vídeo.

De acordo com outro aspecto da presente invenção, é proporcionado um aparelho codificador de vídeo, incluindo um processador para codificação de vídeo e baseado em unidades codificadoras com uma estrutura em árvore, o aparelho codificador de vídeo incluindo um divisor de unidade codificadora máxima para dividir um quadro de um vídeo em uma ou mais unidades codificadoras máximas, que são unidades codificadoras tendo um tamanho máximo; um determinador de unidade codificadora para codificar o quadro, com base em unidades codificadoras, de acordo com profundidades, que são obtidas por divisão hierárquica de cada uma ou mais unidades codificadoras máximas, de acordo com profundidades em cada uma ou mais unidades codificadoras máximas, determinar as unidades codificadoras, de acordo com profundidades codificadas em relação a cada uma das unidades codificadoras, de acordo com profundidades e, assim, determinar unidades codificadoras tendo uma estrutura em árvore, em associação com o processador codificador de vídeo; e uma unidade de emissão para emitir dados, que são codificados com base nas unidades codificadoras possuindo a estrutura em árvore, informações sobre as profundidades codificadas e um modo de codificação, e informações sobre estrutura da unidade codificadora indicando um tamanho e uma profundidade variável de uma unidade codificadora.

As informações sobre estrutura da unidade codificadora podem incluir informações sobre o tamanho máximo da unidade codificadora dentre as unidades codificadoras possuindo a estrutura em árvore, informações sobre um tamanho mínimo da unidade codificadora, e informações sobre a profundidade variável.

De acordo com outro aspecto da presente invenção, é proporcionada uma mídia de gravação legível por computador tendo, nela gravado, um programa para executar o método decodificador de vídeo, por meio de um computador. De acordo com outro aspecto da presente invenção, é proporcionada uma mídia de gravação legível por computador tendo, nela gravado, um programa para executar o método para codificar um vídeo, por meio de um computador.

Modo do Invento

Daqui em diante, a presente invenção será descrita mais completamente com referência aos desenhos anexos, nos quais são mostradas formas de realização exemplificativas da presente invenção. Nas formas de realização da invenção, o termo ‘imagem’ pode indicar coletivamente, não só uma imagem estática, mas também um quadro em movimento, tal como vídeo.

Daqui em diante, aparelhos e métodos para codificação e decodificação de um vídeo, com base em unidades codificadoras tendo uma estrutura em árvore, serão descritos em detalhes com referência às Figs. 1 a 15.

A FIG. 1 é um diagrama de blocos de um aparelho para codificar um vídeo, com base em unidades codificadoras tendo uma estrutura em árvore 100, de acordo com uma forma de realização da presente invenção.

O aparelho para codificar um vídeo, com base em unidades codificadoras com uma estrutura em árvore 100, inclui um divisor de unidade codificadora máxima 110, um determinador de unidade codificadora 120, e uma unidade de emissão 130. Daqui em diante, por conveniência de descrição, o aparelho para codificar um vídeo, com base em unidades codificadoras com uma estrutura em árvore 100, é referido como ‘aparelho codificador de vídeo 100'.

O divisor de unidade codificadora máxima 110 pode dividir um quadro atual, baseado em uma unidade codificadora máxima para o quadro atual de uma imagem. Se o quadro atual é maior do que a unidade codificadora máxima, dados de imagem do quadro atual podem ser divididos em, pelo menos, uma unidade codificadora máxima. A unidade codificadora máxima, de acordo com uma forma de realização da presente invenção, pode ser uma unidade de dados possuindo um tamanho de 32x32, 64x64, 128x128, 256x256 etc., em que um formato da unidade de dados é um quadrado com uma largura e comprimento em quadrados de 2. Os dados de imagem podem ser enviados para o determinador de unidade codificadora 120, de acordo com, pelo menos, uma unidade codificadora máxima.

Uma unidade codificadora, de acordo com uma forma de realização da presente invenção, pode ser caracterizada por um tamanho máximo e uma profundidade. A profundidade indica um número de vezes, que a unidade codificadora é espacialmente dividida, a partir da unidade codificadora máxima e, conforme a profundidade aumenta, unidades codificadoras mais profundas, de acordo com profundidades, podem ser divididas, a partir da unidade codificadora máxima, em uma unidade codificadora mínima. Uma profundidade da unidade codificadora máxima é uma profundidade mais alta, e uma profundidade da unidade codificadora mínima é uma profundidade mais baixa. Uma vez que um tamanho de uma unidade codificadora correspondendo a cada profundidade diminui, à medida que a profundidade da unidade codificadora máxima aumenta, uma unidade codificadora correspondente a uma profundidade superior pode incluir uma pluralidade de unidades codificadoras correspondente às menores profundidades.

Como acima descrito, os dados de imagem do quadro atual são divididos nas unidades codificadoras máximas, de acordo com um tamanho máximo da unidade codificadora, e cada uma das unidades codificadoras máximas pode incluir unidades codificadoras mais profundas, que são divididas de acordo com profundidades. Uma vez que a unidade codificadora máxima, de acordo com uma forma de realização da presente invenção, é dividida de acordo com profundidades, os dados de imagem de um domínio espacial incluídos na unidade codificadora máxima podem ser hierarquicamente classificados, de acordo com profundidades.

Uma profundidade máxima e um tamanho máximo de uma unidade codificadora, que limitam o número total de vezes, que uma altura e uma largura da unidade codificadora máxima são hierarquicamente divididas, podem ser predeterminados.

O determinador de unidade codificadora 120 codifica, pelo menos, uma região dividida, obtida através da divisão de uma região da unidade codificadora máxima, de acordo com profundidades, e determina uma profundidade para emitir dados de imagem finalmente codificados, de acordo com pelo menos uma região dividida. Em outras palavras, o determinador de unidade codificadora 120 determina uma profundidade codificada, por codificação dos dados de imagem nas unidades codificadoras mais profundas, de acordo com profundidades, de acordo com a unidade codificadora máxima do quadro atual, e seleção de uma profundidade tendo o menor erro de codificação. Assim, os dados de imagem codificados da unidade codificadora correspondente à profundidade codificada, determinada, são finalmente emitidos. Além disso, as unidades codificadoras correspondentes à profundidade codificada podem ser consideradas como unidades codificadoras, codificadas.

A profundidade codificada, determinada, e os dados de imagem codificados, de acordo com a profundidade codificada, determinada, são enviados para a unidade de emissão 130.

Os dados de imagem na unidade codificadora máxima são codificados, com base nas unidades codificadoras mais profundas correspondentes a pelo menos uma profundidade igual, ou inferior, à profundidade máxima, e os resultados de codificação dos dados de imagem são comparados, com base em cada uma das unidades codificadoras mais profundas. Uma profundidade, tendo o menor erro de codificação, pode ser selecionada, depois de comparar os erros de codificação das unidades codificadoras mais profundas. Pelo menos uma profundidade codificada pode ser selecionada para cada unidade codificadora máxima.

O tamanho da unidade codificadora máxima é dividido, quando uma unidade codificadora é hierarquicamente dividida, de acordo com profundidades, e quando o número de unidades codificadoras aumenta. Além disso, mesmo se as unidades codificadoras corresponderem à mesma profundidade em uma unidade codificadora máxima, é determinada a divisão de cada uma das unidades codificadoras correspondentes à mesma profundidade a uma menor profundidade, medindo-se um erro de codificação dos dados de imagem de cada unidade codificadora, separadamente. Por conseguinte, mesmo quando dados de imagem são incluídos numa única unidade codificadora máxima, os dados de imagem são divididos em regiões, de acordo com as profundidades, e os erros de codificação podem variar, de acordo com regiões naquela unidade codificadora máxima, e, assim, as profundidades codificadas podem variar, de acordo com regiões nos dados de imagem. Assim, uma ou mais profundidades codificadas podem ser determinadas naquela unidade codificadora máxima, e os dados de imagem da unidade codificadora máxima podem ser divididos, de acordo com unidades codificadoras de, pelo menos, uma profundidade codificada.

Por conseguinte, o determinador de unidade codificadora 120 pode determinar unidades codificadoras, tendo uma estrutura em árvore incluída na unidade codificadora máxima. As ‘unidades codificadoras tendo uma estrutura em árvore', de acordo com uma forma de realização do presente invento, incluem unidades codificadoras correspondentes a uma profundidade determinada, como sendo a profundidade codificada dentre todas as unidades codificadoras mais profundas incluídas na unidade codificadora máxima. Uma unidade codificadora de uma profundidade codificada pode ser hierarquicamente determinada, de acordo com profundidades na mesma região da unidade codificadora máxima, e pode ser determinada de forma independente, em diferentes regiões. Da mesma forma, uma profundidade codificada numa região atual pode ser determinada de forma independente, a partir de uma profundidade codificada em outra região.

Uma profundidade máxima, de acordo com uma forma de realização da presente invenção, é um índice relacionado ao número de vezes de divisão, a partir de uma unidade codificadora máxima para uma unidade codificadora mínima. Uma profundidade máxima, de acordo com uma forma de realização do presente invento, pode identificar o número total de vezes de divisão, a partir da unidade codificadora máxima para a unidade codificadora mínima. Por exemplo, quando uma profundidade da unidade codificadora máxima é 0, uma profundidade de uma unidade codificadora, na qual a unidade codificadora máxima é dividida uma vez, pode ser definida como 1, e uma profundidade de uma unidade codificadora, em que a unidade codificadora máxima é dividida por duas vezes, pode ser definida como 2. Aqui, se a unidade codificadora mínima é uma unidade codificadora, em que a unidade codificadora máxima é dividida por quatro vezes, existem cinco níveis de profundidade das profundidades 0, 1, 2, 3 e 4 e, portanto, a profundidade máxima pode ser definida como 4.

Codificação de predição e transformação podem ser realizadas, de acordo com a unidade codificadora máxima. A codificação de predição e a transformação também são realizadas, com base nas unidades codificadoras mais profundas, de acordo com uma profundidade igual, ou profundidades inferiores, à profundidade máxima, de acordo com a unidade codificadora máxima. Transformação pode ser realizada, de acordo com o método de transformação de frequência, transformação ortogonal, ou transformação de números inteiros.

Uma vez que o número de unidades codificadoras mais profundas aumenta, sempre que a unidade codificadora máxima é dividida, de acordo com profundidades, a codificação, incluindo a codificação de predição e a transformação, é realizada em todas as unidades codificadoras mais profundas geradas, quando a profundidade aumenta. Por conveniência de descrição, a codificação de predição e a transformação serão agora descritas, com base em uma unidade codificadora de uma profundidade atual, em uma unidade codificadora máxima.

O aparelho codificador de vídeo 100 pode selecionar, de modo variável, um tamanho ou formato de uma unidade de dados para codificar os dados de imagem. A fim de codificar os dados de imagem, operações, tais como a codificação de predição, transformação, e codificação de entropia, são executadas e, neste momento, a mesma unidade de dados pode ser utilizada para todas as operações, ou diferentes unidades de dados podem ser utilizadas para cada operação.

Por exemplo, o aparelho codificador de vídeo 100 pode selecionar, não apenas uma unidade codificadora para codificar os dados de imagem, mas também uma diferente unidade de dados da unidade codificadora, de modo a realizar a codificação de predição sobre os dados de imagem na unidade codificadora.

A fim de realizar codificação de predição na unidade codificadora máxima, a codificação de predição pode ser realizada, com base numa unidade codificadora correspondente a uma profundidade codificada, isto é, com base numa unidade codificadora, que não é mais dividida em unidades codificadoras correspondentes a uma menor profundidade. Daqui em diante, a unidade codificadora, que não é mais dividida, e se torna uma unidade básica para codificação de predição, passará a ser referida como uma ‘unidade de predição'. Uma partição obtida, dividindo-se a unidade de predição, pode incluir uma unidade de predição, ou uma unidade de dados, obtida através da divisão de pelo menos uma dentre altura e largura da unidade de predição.

Por exemplo, quando uma unidade codificadora de 2Nx2N (onde N é um número inteiro positivo) não é mais dividida e se torna uma unidade de predição de 2Nx2N, e um tamanho de uma partição pode ser 2Nx2N, 2NxN, Nx2N, ou NxN. Exemplos de um tipo de partição incluem partições simétricas, que são obtidas por divisão simétrica de uma altura ou largura da unidade de predição, partições obtidas por divisão assimétrica da altura ou largura da unidade de predição, por exemplo, 1:n ou n:1, partições que são obtidas por divisão geométrica da unidade de predição, e partições tendo formatos arbitrários.

Um modo de predição da unidade de predição pode ser, pelo menos, um dentre um modo intra, um modo inter, e um modo de avanço. Por exemplo, o modo inter pode ser efetuado na partição de 2Nx2N, 2NxN, Nx2N, ou NxN. Além disso, o modo de avanço pode ser efetuado apenas na partição de 2Nx2N. A codificação é realizada, de forma independente, em uma unidade de predição em uma unidade codificadora, selecionando, assim, um modo de predição que causa o menor erro de codificação.

O aparelho codificador de vídeo 100 pode também executar a transformação nos dados de imagem, numa unidade codificadora, com base não só na unidade codificadora para codificar os dados de imagem, mas também com base numa unidade de dados, que é diferente da unidade codificadora.

A fim de realizar a transformação na unidade codificadora, a transformação pode ser realizada com base numa unidade de transformação tendo um tamanho menor, ou igual, à unidade codificadora. Por exemplo, a unidade de transformação para a transformação pode incluir uma unidade de transformação para um modo intra e uma unidade de transformação para um modo inter.

Da mesma forma que a unidade codificadora tendo uma estrutura em árvore, a unidade de transformação na unidade codificadora pode ser recursivamente dividida em regiões de menores dimensões. Assim, dados residuais na unidade codificadora podem ser divididos, de acordo com a transformação tendo a estrutura em árvore, de acordo com profundidades de transformação.

Uma profundidade de transformação, indicando o número de vezes de divisão para atingir a unidade de transformação, por divisão da altura e largura da unidade codificadora, pode ser também definida na unidade de transformação. Por exemplo, em uma unidade codificadora atual de 2Nx2N, uma profundidade de transformação pode ser 0, quando o tamanho de uma unidade de transformação também for 2Nx2N, pode ser 1, quando o tamanho da unidade de transformação for, portanto, NxN, e pode ser 2, quando o tamanho da unidade de transformação for, portanto, N/2xN/2. Por exemplo, a unidade de transformação pode ser definida, de acordo com uma estrutura hierárquica em árvore, de acordo com as características hierárquicas das profundidades de transformação.

As informações sobre codificação, de acordo com unidades codificadoras correspondentes a uma profundidade codificada, requerem não apenas informações sobre a profundidade codificada, mas também sobre informações relacionadas à codificação de predição e à transformação. Por conseguinte, o determinador de unidade codificadora 120 não só determina uma profundidade codificada tendo um menor erro de codificação, mas também determina um tipo de partição em uma unidade de predição, um modo de predição de acordo com unidades de predição, e um tamanho de uma unidade de transformação para a transformação.

Unidades codificadoras, de acordo com uma estrutura em árvore, em uma unidade codificadora máxima, e um método para determinar uma partição, de acordo com formas de realização da presente invenção, serão mais tarde descritos em detalhes com referência às Figs. 3 a 13.

O determinador de unidade codificadora 120 pode medir um erro de codificação das unidades codificadoras mais profundas, de acordo com profundidades, usando Otimização em Taxa - Distorção, com base em multiplicadores de Lagrange.

A unidade de emissão 130 emite os dados de imagem da unidade codificadora máxima, que são codificados com base em, pelo menos, uma profundidade codificada, determinada pelo determinador de unidade codificadora 120, informações sobre o modo de codificação, de acordo com a profundidade codificada, e informações sobre estrutura da unidade codificadora acerca de um tamanho e uma profundidade variável da unidade codificadora em fluxos de bits.

Os dados de imagem codificados podem ser obtidos, através da codificação de dados residuais de uma imagem.

As informações sobre o modo de codificação, de acordo com profundidade codificada, podem incluir informações sobre a profundidade codificada, sobre o tipo de partição na unidade de predição, o modo de predição, e o tamanho da unidade de transformação.

As informações sobre a profundidade codificada podem ser definidas, usando as informações de divisão de acordo com profundidades, indicando se a codificação foi realizada em unidades codificadoras de uma menor profundidade, em vez de uma profundidade atual. Se a profundidade atual da unidade codificadora atual for a profundidade codificada, dados de imagem na unidade codificadora atual são codificados e emitidos e, assim, as informações sobre divisão podem ser definidas, para não dividir a unidade codificadora atual em uma menor profundidade. Alternativamente, se a profundidade atual da unidade codificadora atual não for a profundidade codificada, a codificação é realizada na unidade codificadora da menor profundidade e, portanto, as informações de divisão podem ser definidas, para dividir a unidade codificadora atual, para obter as unidades codificadoras da menor profundidade.

Se a profundidade atual não for a profundidade codificada, a codificação é realizada na unidade codificadora, que foi dividida na unidade codificadora da menor profundidade. Uma vez que pelo menos uma unidade codificadora da menor profundidade existe em uma unidade codificadora da profundidade atual, a codificação é realizada repetidamente em cada unidade codificadora da menor profundidade e, portanto, a codificação pode ser efetuada de forma recursiva para as unidades codificadoras tendo a mesma profundidade.

Uma vez que as unidades codificadoras tendo uma estrutura em árvore são determinadas para uma unidade codificadora máxima, e informações sobre pelo menos um modo de codificação são determinadas para uma unidade codificadora de uma profundidade codificada, informações acerca de pelo menos um modo de codificação podem ser determinadas para uma unidade codificadora máxima. Além disso, uma profundidade codificada dos dados de imagem da unidade codificadora máxima pode ser diferente, de acordo com localizações, uma vez que os dados de imagem são hierarquicamente divididos, de acordo com profundidades e, assim, informações sobre a profundidade codificada e o modo de codificação podem ser ajustadas para os dados da imagem.

Por conseguinte, a unidade de emissão 130 pode atribuir informações sobre codificação sobre uma profundidade codificada correspondente, e um modo de codificação para pelo menos uma dentre a unidade codificadora, a unidade de predição, e uma unidade mínima incluída na unidade codificadora máxima. A unidade de emissão 130 pode inserir informações sobre uma profundidade codificada correspondente e um modo de codificação correspondente em um cabeçalho de um fluxo de bits, um Conjunto de Parâmetros de Sequência (SPS), ou um Conjunto de Parâmetros de Quadros (PPS), e pode emiti-los.

A unidade mínima, de acordo com uma forma de realização da presente invenção, é uma unidade de dados retangular obtida, dividindo-se a unidade codificadora mínima, que constitui a profundidade mais baixa, por 4. A unidade mínima, de acordo com uma forma de realização da presente invenção, pode ser uma unidade máxima retangular de dados, que pode ser incluída em todas as unidades codificadoras, unidades de predição, unidades de partição, e unidades de transformação incluídas na unidade codificadora máxima.

Por exemplo, a emissão de informações sobre codificação através da unidade de emissão 130 pode ser classificada em informações sobre codificação, de acordo com unidades codificadoras, e informações sobre codificação, de acordo com unidades de predição. As informações sobre codificação, de acordo com as unidades codificadoras, podem incluir as informações sobre o modo de predição e sobre o tamanho das partições. As informações sobre codificação, de acordo com as unidades de predição, podem incluir informações sobre uma direção prevista de um modo inter, sobre um índice de imagem de referência de modo inter, sobre um vetor de movimento, sobre um componente de crominância de um modo intra, e acerca de um método de interpolação do modo intra.

Além disso, as informações sobre estrutura da unidade codificadora acerca de um tamanho e uma profundidade variável da unidade codificadora definida, de acordo com sequências, quadros, fatias, ou GOPs, podem ser inseridas em um SPS, um PPS, ou um cabeçalho de um fluxo de bits.

A profundidade variável pode indicar, não só uma profundidade máxima permitida das unidades codificadoras atuais com uma estrutura em árvore, mas também pode indicar uma profundidade mais baixa de uma unidade codificadora tendo um tamanho mínimo, o número de níveis de profundidade, ou variação de profundidade.

O número de níveis de profundidade pode indicar o número dos níveis de profundidade das unidades codificadoras mais profundas, de acordo com profundidades, que podem existir nas unidades codificadoras atuais possuindo a estrutura em árvore.

A variação de profundidade pode indicar o número de variação das unidades codificadoras mais profundas, de acordo com profundidades, que podem existir nas unidades codificadoras atuais possuindo a estrutura em árvore. Por exemplo, a variação de profundidade pode indicar o número da variação dos níveis de profundidade da unidade codificadora tendo um tamanho mínimo e uma unidade codificadora tendo um tamanho máximo dentre as unidades codificadoras atuais possuindo a estrutura em árvore, ou seja, o número da variação dos níveis de profundidade, a partir da menor profundidade para a maior profundidade.

Como alternativa, a variação da profundidade das unidades codificadoras atuais possuindo a estrutura em árvore pode indicar o número da variação dos níveis de profundidade da unidade codificadora com o tamanho máximo e a unidade codificadora tendo o tamanho mínimo e dentre as unidades codificadoras atuais possuindo a estrutura em árvore, ou seja, o número da variação dos níveis de profundidade, a partir da profundidade mais alta para a profundidade mais baixa.

Daqui em diante, a profundidade variável será descrita com referência a um caso, em que um tamanho máximo e um tamanho mínimo de uma unidade de codificação, que são determinados nas unidades codificadoras atuais possuindo a estrutura em árvore, são 128x128 e 16x16, respectivamente.

Como acima descrito, a profundidade máxima pode indicar um número total de divisões da unidade codificadora, de acordo com profundidades a partir de uma unidade codificadora máxima para uma unidade decodificadora mínima. Neste caso, uma vez que a unidade codificadora é dividida 3 vezes, a partir de 128x128 para 64x64, de 64x64 para 32x32, e de 32x32 para 16x16, a profundidade máxima pode ser ajustada para 3.

Neste caso, profundidades das unidades codificadoras de 128x128, 64x64, 32x32, e 16x16 são 0, 1, 2, e 3, respectivamente, de modo que o número de níveis de profundidade podem ser 4.

Neste caso, a variação de profundidade pode indicar o número de variação dos níveis de profundidade das unidades codificadoras de 128x128, 64x64, 32x32, e 16x16, dentre as unidades codificadoras atuais possuindo a estrutura em árvore. Isto é, uma vez que uma profundidade da unidade codificadora é mudada três vezes, a partir de uma profundidade de 0 para profundidades de 1, 2, e 3, ou a partir de uma profundidade de 3 para profundidades de 2, 1 e 0, a variação da profundidade pode ser 3.

Por conseguinte, quando o tamanho máximo e o tamanho mínimo da unidade codificadora dentre as unidades codificadoras atuais possuindo a estrutura em árvore são 128x128, e 16x16, respectivamente, a variação de profundidade pode indicar uma dentre 3, que é uma profundidade máxima admissível para uma unidade codificadora atual, 3, que é uma menor profundidade da unidade codificadora tendo o tamanho mínimo, 4, que é o número de níveis de profundidade, e 3, que é a variação de profundidade.

Informações sobre a profundidade variável podem ser definidas, de acordo com sequências, quadros, fatias, ou GOPs. Isto é, as informações sobre a profundidade variável e informações sobre o tamanho máximo, ou informações sobre o tamanho mínimo da unidade codificadora dentre as unidades codificadoras atuais possuindo a estrutura em árvore podem ser definidas para cada uma das unidades de dados das sequências, quadros, fatias, ou dos GOPs.

Assim, a unidade de emissão 130 pode incluir informações sobre codificação, incluindo, como informações sobre estrutura da unidade codificadora, pelo menos, duas das informações sobre a profundidade variável, as informações sobre o tamanho máximo da unidade codificadora, e as informações sobre o tamanho mínimo da unidade codificadora, pode inserir as informações sobre codificação em um cabeçalho de um fluxo de bits, ou seja, um SPS ou um PPS e, em seguida, pode emitir o fluxo de bits. A profundidade variável, o tamanho máximo e o tamanho mínimo da unidade codificadora são determinados, de acordo com sequências, quadros, fatias, ou GOPs, respectivamente.

Por exemplo, as informações sobre codificação podem incluir a combinação das informações sobre a profundidade variável e das informações sobre o tamanho máximo da unidade codificadora, dentre as unidades codificadoras atuais tendo a estrutura em árvore.

Por exemplo, as informações sobre codificação podem incluir a combinação das informações sobre a profundidade variável e das informações sobre o tamanho mínimo da unidade codificadora, dentre as unidades codificadoras atuais tendo a estrutura em árvore. Isto é, as informações sobre codificação podem incluir as informações sobre o tamanho mínimo da unidade codificadora, dentre as unidades codificadoras atuais possuindo a estrutura em árvore, e podem também incluir as informações sobre a profundidade variável, que indica uma dentre a profundidade máxima, a menor profundidade da unidade codificadora tendo o tamanho mínimo, o número dos níveis de profundidade, e a variação de profundidade.

Por exemplo, as informações sobre codificação podem incluir a combinação das informações sobre a profundidade variável e das informações sobre o tamanho máximo da unidade codificadora, dentre as unidades codificadoras atuais tendo a estrutura em árvore. Isto é, as informações sobre codificação podem incluir as informações sobre o tamanho máximo da unidade codificadora, dentre as unidades codificadoras atuais possuindo a estrutura em árvore, e podem também incluir as informações sobre a profundidade variável, que indica uma dentre a profundidade máxima, a menor profundidade da unidade codificadora tendo o tamanho máximo, o número dos níveis de profundidade, e a variação da profundidade.

Além disso, a emissão de informações sobre codificação a partir da unidade de emissão 130 pode indicar índices de transformação. Informações sobre índices de transformação podem indicar informações a respeito de uma estrutura de uma unidade de transformação, que é usada para transformar a unidade codificadora atual. Por exemplo, as informações sobre índices de transformação podem incluir informações sobre o número total de divisões da unidade codificadora, a partir da unidade codificadora atual até uma unidade de transformação de nível final, e informações sobre um tamanho e um formato da unidade de transformação.

As informações sobre índices de transformação podem indicar, se uma unidade de transformação atual foi dividida em unidades de transformação de nível inferior. Por exemplo, um bit de divisão da unidade de transformação, que são dados de bit indicando se uma unidade de transformação foi dividida em unidades de transformação de nível inferior, pode ser utilizado como as informações sobre índices de transformação.

No aparelho codificador de vídeo 100, a unidade codificadora mais profunda pode ser uma unidade codificadora obtida, dividindo-se uma altura ou largura de uma unidade codificadora de uma profundidade mais alta, que está a um nível acima, por dois. Em outras palavras, quando o tamanho da unidade codificadora da profundidade atual é 2Nx2N, o tamanho da unidade codificadora da menor profundidade é NxN. Além disso, a unidade codificadora da profundidade atual tendo o tamanho de 2Nx2N pode incluir, no máximo, quatro unidades codificadoras da menor profundidade.

Por conseguinte, o aparelho codificador de vídeo 100 pode formar as unidades codificadoras possuindo a estrutura em árvore, por meio da determinação de unidades codificadoras tendo um formato ideal e um tamanho ideal para cada unidade codificadora máxima, com base no tamanho da unidade codificadora máxima e na profundidade máxima determinada, considerando características do quadro atual. Além disso, uma vez que a codificação pode ser realizada em cada unidade codificadora máxima, usando qualquer um dos vários modos de predição e transformações, um modo de codificação ideal pode ser determinado, considerando características das unidades codificadoras de vários tamanhos de imagem.

Deste modo, se uma imagem com alta resolução ou grande quantidade de dados for codificada em um macrobloco convencional, uma série de macroblocos por quadro aumenta excessivamente. Deste modo, um número de partes de informações comprimidas, geradas para cada macrobloco aumenta e, portanto, é difícil transmitir as informações comprimidas e a eficiência dos dados de compressão diminui. No entanto, utilizando o aparelho codificador de vídeo 100, a eficiência de compressão da imagem pode ser aumentada, uma vez que uma unidade codificadora é ajustada, ao se considerar as características de uma imagem, enquanto que aumentando um tamanho máximo de uma unidade codificadora, considerando simultaneamente um tamanho da imagem.

A FIG. 2 é um diagrama de blocos de um aparelho para decodificar um vídeo, com base em unidades codificadoras tendo uma estrutura em árvore 200, de acordo com uma forma de realização da presente invenção.

O aparelho para decodificar um vídeo com base em unidades codificadoras, de acordo com uma estrutura em árvore 200, inclui um receptor 210, um extrator de informações sobre codificação e dados de imagem 220, e um decodificador de dados de imagem 230. Daqui em diante, por conveniência de descrição, o aparelho para decodificar um vídeo, com base em unidades codificadoras, tendo uma estrutura em árvore 200, é referido como ‘aparelho decodificador de vídeo 200'.

Definições de vários termos, tais como uma unidade codificadora, uma profundidade, uma unidade de predição, uma unidade de transformação, e informações sobre vários modos de codificação, para várias operações do aparelho decodificador de vídeo 200, são idênticas às descritas com referência à FIG. 1 e ao aparelho codificador de vídeo 100.

O receptor 210 recebe e analisa um fluxo de bits de um vídeo codificado. O extrator de informações sobre codificação e dados de imagem 220 extrai dados de imagem codificados para cada unidade codificadora, a partir do fluxo de bits analisado, em que as unidades codificadoras têm uma estrutura em árvore, de acordo com cada uma das unidades codificadoras máximas, e emite os dados de imagem extraídos para o decodificador de dados de imagens 230. O extrator de informações sobre codificação e dados de imagem 220 pode extrair informações sobre estrutura da unidade codificadora acerca de um tamanho e uma profundidade variável de uma unidade codificadora de um quadro atual, e informações sobre uma profundidade codificada e um modo de codificação, a partir de pelo menos um cabeçalho, um SPS, e um PPS, com respeito ao quadro atual do fluxo de bits recebido.

O extrator de informações sobre codificação e dados de imagem 220 pode extrair as informações sobre a profundidade variável e uma das informações sobre um tamanho máximo permitido e informações acerca de um tamanho mínimo admissível de uma unidade codificadora, dentre as unidades codificadoras atuais tendo uma estrutura em árvore para cada uma das unidades de dados de sequências, quadros, fatias, ou GOPs, a partir das informações sobre codificação. O decodificador de dados de imagem 230 pode determinar o tamanho máximo admissível e o tamanho mínimo admissível da unidade codificadora dentre as unidades codificadoras atuais possuindo a estrutura em árvore para cada uma das unidades de dados de sequências, quadros, fatias, ou GOPs, utilizando, pelo menos, duas partes das informações sobre a profundidade variável, as informações sobre o tamanho máximo da unidade codificadora, e as informações sobre o tamanho mínimo da unidade codificadora.

Pelo menos, duas partes das informações sobre a profundidade variável, as informações sobre o tamanho máximo da unidade codificadora, e as informações sobre o tamanho mínimo da unidade codificadora, que são determinadas para cada um dos quadros, fatias, ou GOPs, podem ser extraídas a partir das informações sobre codificação.

Por exemplo, a combinação das informações sobre o tamanho máximo e das informações sobre o tamanho mínimo da unidade codificadora dentre as unidades codificadoras atuais tendo a estrutura em árvore pode ser lida a partir das informações sobre codificação, e tamanhos admissíveis máximo e mínimo da unidade codificadora em uma unidade de dados atual podem ser determinados a partir das informações sobre codificação.

Por exemplo, a combinação das informações sobre a profundidade variável e das informações sobre o tamanho mínimo da unidade codificadora, dentre as unidades codificadoras atuais possuindo a estrutura da árvore, pode ser lida a partir das informações sobre codificação. Isto é, as informações sobre a profundidade variável, que indicam uma dentre a profundidade máxima, a menor profundidade da unidade codificadora tendo o tamanho mínimo, o número de níveis de profundidade, e variação de profundidade, e as informações sobre o tamanho mínimo da unidade codificadora, dentre as unidades codificadoras atuais possuindo a estrutura em árvore, podem ser lidas em conjunto, a partir das informações sobre codificação. Ao utilizar o tamanho mínimo de leitura e profundidade variável da unidade codificadora, o tamanho máximo admissível da unidade codificadora na unidade de dados atuais pode ser determinado.

Por exemplo, a combinação das informações sobre a profundidade variável e das informações sobre o tamanho máximo da unidade codificadora, dentre as unidades codificadoras atuais possuindo a estrutura em árvore, pode ser lida a partir das informações sobre codificação. Isto é, as informações sobre a profundidade variável, que indicam uma dentre a profundidade máxima, a menor profundidade da unidade codificadora tendo o tamanho mínimo, o número de níveis de profundidade, e variação de profundidade, e as informações sobre o tamanho máximo da unidade codificadora dentre as unidades codificadoras atuais possuindo a estrutura em árvore, podem ser lidas em conjunto, a partir das informações sobre codificação. Ao utilizar o tamanho máximo lido e profundidade variável da unidade codificadora, o tamanho mínimo permitido da unidade codificadora na unidade de dados atuais pode ser determinado.

Além disso, o extrator de informações sobre codificação e dados de imagem 220 extrai informações sobre uma profundidade codificada e um modo de codificação para as unidades codificadoras tendo uma estrutura em árvore, de acordo com cada uma das unidades codificadoras máximas, a partir do fluxo de bits analisado. As informações extraídas sobre a profundidade codificada e o modo de codificação são emitidas para o decodificador dos dados de imagem 230. Em outras palavras, os dados de imagem em um fluxo de bits são divididos na unidade codificadora máxima, de modo que o decodificador dos dados de imagem 230 decodifique os dados de imagem para cada unidade codificadora máxima.

As informações sobre a profundidade codificada e o modo de codificação, de acordo com a unidade codificadora máxima, podem ser ajustadas para informações sobre pelo menos uma unidade codificadora correspondente à profundidade codificada, e informações sobre um modo de codificação podem incluir informações sobre um tipo de partição de uma unidade codificadora correspondente à profundidade codificada, sobre um modo de predição, e um tamanho de uma unidade de transformação. Além disso, informações de divisão, de acordo com profundidades, podem ser extraídas como as informações sobre a profundidade codificada.

Além disso, o decodificador de dados de imagem 230 pode ler informações sobre índices de transformação, a partir das informações sobre codificação, que são extraídas do fluxo de bits analisado. O decodificador de dados de imagem 230 pode configurar uma unidade de transformação da unidade codificadora atual, com base nos dados de imagem e informações sobre índices de transformação extraídas pelo extrator de informações sobre codificação e dados de imagem 220, pode realizar a transformação inversa da unidade codificadora atual com base na unidade de transformação e, portanto, pode decodificar dados codificados. Como resultado da decodificação das unidades codificadoras, o quadro atual pode ser restaurado.

As informações sobre a profundidade codificada e o modo de codificação, de acordo com cada uma das unidades codificadoras máximas extraídas pelo extrator de informações sobre codificação e dados de imagem 220 são informações sobre uma profundidade codificada e um modo de codificação determinado para gerar um erro mínimo de codificação, quando um codificador, tal como o aparelho codificador de vídeo 100, executa repetidamente a codificação para cada unidade codificadora mais profunda, de acordo com profundidades, de acordo com cada uma das unidades codificadoras máximas. Por conseguinte, o aparelho decodificador de vídeo 200 pode restaurar uma imagem, por decodificação dos dados da imagem, de acordo com uma profundidade codificada e um modo de codificação, que gera o erro mínimo de codificação.

Uma vez que as informações codificadas sobre a profundidade codificada e o modo de codificação podem ser atribuídas a uma unidade de dados predeterminada dentre uma unidade codificadora correspondente, uma unidade de predição, e uma unidade mínima, o extrator de informações sobre codificação e dados de imagem 220 pode extrair as informações acerca da profundidade codificada e o modo de codificação, de acordo com as unidades de dados predeterminadas. As unidades de dados predeterminadas, às quais as mesmas informações sobre a profundidade codificada e o modo de codificação são atribuídas, podem ser inferidas como sendo as unidades de dados incluídas na mesma unidade codificadora máxima.

O decodificador de dados de imagem 230 restaura o quadro atual, por decodificar os dados de imagem em cada uma das unidades codificadoras máximas, com base nas informações sobre a profundidade codificada e o modo de codificação, de acordo com as unidades codificadoras máximas. Em outras palavras, o decodificador de dados de imagem 230 pode decodificar os dados de imagem codificados, com base nas informações extraídas sobre o tipo de partição, o modo de predição, e a unidade de transformação para cada unidade codificadora dentre as unidades codificadoras possuindo a estrutura em árvore incluída em cada unidade codificadora máxima. Um processo de decodificação pode incluir uma predição, incluindo predição intra e compensação de movimento, e uma transformação inversa. Transformação inversa pode ser executada, de acordo com o método de transformação ortogonal inversa, ou transformação inversa de números inteiros.

O decodificador de dados de imagem 230 pode realizar predição intra ou compensação de movimento, de acordo com uma partição e um modo de predição de cada unidade codificadora, com base nas informações sobre o tipo de partição e o modo de predição da unidade de predição da unidade codificadora, de acordo com profundidades codificadas.

Além disso, o decodificador de dados de imagem 230 pode realizar transformação inversa, de acordo com cada uma das unidades de transformação na unidade codificadora, pela leitura da unidade de transformação, de acordo com uma estrutura em árvore, e as informações sobre o tamanho da unidade de transformação da unidade codificadora, de acordo com profundidades codificadas, de forma a realizar a transformação inversa, de acordo com as unidades codificadoras máximas.

O decodificador de dados de imagem 230 pode determinar, pelo menos, uma profundidade codificada de uma unidade codificadora máxima atual, usando informações de divisão, de acordo com profundidades. Se as informações de divisão indicarem que os dados de imagem não são mais divididos na profundidade atual, a profundidade atual é uma profundidade codificada. Consequentemente, o decodificador de dados de imagem 230 pode decodificar dados codificados de, pelo menos, uma unidade codificadora correspondente a cada profundidade codificada na unidade codificadora máxima atual, usando as informações sobre o tipo de partição da unidade de predição, o modo de predição, e o tamanho da unidade de transformação para cada unidade codificadora correspondente à profundidade codificada, e emitir os dados de imagem da unidade codificadora máxima atual.

Em outras palavras, unidades de dados contendo as informações sobre codificação, incluindo as mesmas informações de divisão, podem ser recolhidas por meio de observação do conjunto de informações sobre codificação atribuído para a unidade de dados predeterminada dentre a unidade codificadora, a unidade de predição, e a unidade mínima, e as unidades de dados recolhidas podem ser consideradas como uma unidade de dados sendo decodificada pelo decodificador de dados de imagem 230, no mesmo modo de codificação.

O aparelho decodificador de vídeo 200 pode obter informações acerca de pelo menos uma unidade codificadora, que gera o erro mínimo de codificação, quando a codificação é executada de forma recursiva para cada unidade codificadora máxima, e pode usar as informações para decodificar o quadro atual. Em outras palavras, as unidades codificadoras possuindo a estrutura em árvore, determinadas como sendo as unidades codificadoras ideais em cada unidade codificadora máxima, podem ser decodificadas. Além disso, o tamanho máximo da unidade codificadora é determinado, considerando resolução e uma quantidade de dados de imagem.

Deste modo, mesmo se os dados de imagem possuírem alta resolução e uma grande quantidade de dados, os dados de imagem podem ser eficientemente decodificados e restaurados, utilizando um tamanho de uma unidade codificadora e um modo de codificação, que são determinados de maneira adaptável, de acordo com as características dos dados de imagem, usando informações sobre um modo de codificação ideal recebido de um codificador.

Um método para determinar unidades codificadoras com uma estrutura em árvore, uma unidade de predição, e uma unidade de transformação, de acordo com uma forma de realização da presente invenção, será agora descrito com referência às Figs. 3 a 13.

A FIG. 3 é um diagrama, que descreve um conceito de unidades codificadoras, de acordo com uma forma de realização da presente invenção.

Um tamanho de uma unidade codificadora pode ser expresso em altura x largura, e pode ser de 64x64, 32x32, 16x16, e 8x8. Uma unidade codificadora de 64x64 pode ser dividida em partições de 64x64, 64x32, 32x64, ou 32x32, e uma unidade codificadora de 32x32 pode ser dividida em partições de 32x32, 32x16, 16x32, ou 16x16, uma unidade codificadora de 16x16 pode ser dividida em partições de 16x16, 16x8, 8x16, ou 8x8, e uma unidade codificadora de 8x8 pode ser dividida em partições de 8x8, 8x4, 4x8, ou 4x4.

Nos dados de vídeo 310, uma resolução é de 1920x1080, um tamanho máximo de uma unidade codificadora é de 64, e uma profundidade máxima é de 2. Nos dados de vídeo 320, uma resolução é de 1920x1080, um tamanho máximo de uma unidade codificadora é de 64, e uma profundidade máxima é de 3. Nos dados de vídeo 330, uma resolução é de 352x288, um tamanho máximo de uma unidade codificadora é de 16, e uma profundidade máxima é de 1. A profundidade máxima mostrada na FIG. 3 indica um número total de divisões, a partir de uma unidade codificadora máxima para uma unidade decodificadora mínima.

Se uma resolução for elevada ou uma quantidade de dados for grande, um tamanho máximo de uma unidade codificadora pode ser grande, de modo a não só aumentar a eficiência de codificação, mas também para refletir com precisão as características de uma imagem. Por conseguinte, o tamanho máximo da unidade codificadora dos dados de vídeo 310 e 320, com a resolução mais elevada do que os dados de vídeo 330, pode ser 64.

Uma vez que a profundidade máxima dos dados de vídeo 310 é 2, unidades codificadoras 315 dos dados de vídeo 310 podem incluir uma unidade codificadora máxima tendo um tamanho de eixo longo de 64, e as unidades codificadoras com tamanhos de eixo longo 32 e 16, uma vez que as profundidades são aumentadas para dois níveis, dividindo a unidade codificadora máxima por duas vezes. Ao mesmo tempo, uma vez que a profundidade máxima dos dados de vídeo 330 é 1, unidades codificadoras 335 dos dados de vídeo 330 podem incluir uma unidade codificadora máxima tendo um tamanho de eixo longo de 16, e as unidades codificadoras tendo um tamanho de eixo longo de 8, visto que profundidades são aumentadas em um nível, dividindo a unidade codificadora máxima por uma vez.

Uma vez que a profundidade máxima dos dados de vídeo 320 é 3, unidades codificadoras 325 dos dados de vídeo 320 podem incluir uma unidade codificadora máxima tendo um tamanho de eixo longo 64, e as unidades codificadoras com tamanhos de eixo longo 32, 16, e 8, uma vez que as profundidades são aumentadas em 3 níveis, dividindo a unidade codificadora máxima por três vezes. Quando uma profundidade é aumentada, informações detalhadas podem ser precisamente expressas.

A FIG. 4 é um diagrama de blocos de um codificador de imagens 400 com base em unidades codificadoras, de acordo com uma forma de realização da presente invenção.

O codificador de imagens 400 executa operações do determinador de unidade codificadora 120 do aparelho codificador de vídeo 100 para codificar dados de imagem. Em outras palavras, um preditor intra 410 realiza a predição intra em unidades codificadoras em um modo intra, dentre um quadro atual 405 e um estimador de movimento 420, e um compensador de movimento 425 executa estimativa inter e compensação de movimento nas unidades codificadoras, em um modo inter, dentre o quadro atual 405 usando o quadro atual 405, e um quadro de referência 495.

Os dados emitidos pelo preditor intra 410, o estimador de movimento 420, e o compensador de movimento 425 são emitidos como um coeficiente de transformação quantizado, por meio de um transformador 430 e um quantificador 440. O coeficiente de transformação quantizado é restaurado como dados em um domínio espacial, através de um quantificador inverso 460 e um transformador inverso 470, e os dados restaurados no domínio espacial são transmitidos como o quadro de referência 495, depois de serem pós-processados por meio de uma unidade de desbloqueio 480 e uma unidade de filtragem de circuito 490. O coeficiente de transformação quantizado pode ser emitido como um fluxo de bits 455, por meio de um codificador de entropia 450.

Para que o codificador de imagens 400 seja aplicado no aparelho codificador de vídeo 100, todos os elementos do codificador de imagens 400, ou seja, o preditor intra 410, o estimador de movimento 420, o compensador de movimento 425, o transformador 430, o quantizador 440, o codificador de entropia 450, o quantificador inverso 460, o transformador inverso 470, a unidade de desbloqueio 480, e a unidade de filtragem de circuito 490 executam operações, com base em cada uma das unidades codificadoras dentre as unidades codificadoras tendo uma estrutura em árvore, considerando simultaneamente a profundidade máxima de cada unidade codificadora máxima.

Especificamente, o preditor intra 410, o estimador de movimento 420, e o compensador de movimento 425 determinam partições e um modo de predição de cada unidade codificadora dentre as unidades codificadoras tendo uma estrutura em árvore, considerando simultaneamente o tamanho máximo e a profundidade máxima de uma unidade codificadora máxima atual, e o transformador 430 determina o tamanho da unidade de transformação em cada unidade codificadora dentre as unidades codificadoras tendo uma estrutura em árvore.

A FIG. 5 é um diagrama de blocos de um decodificador de imagens 500, com base em unidades codificadoras, de acordo com uma forma de realização da presente invenção.

Um analisador 510 analisa dados de imagem codificados, para serem decodificados, e informações sobre codificação necessárias à decodificação, a partir de um fluxo de bits 505. Os dados de imagem codificados são emitidos como dados quantizados inversos, através de um decodificador de entropia 520 e um quantificador inverso 530, e os dados quantizados inversos são restaurados em dados de imagem, em um domínio espacial, através de um transformador inverso 540.

Um preditor intra 550 realiza predição intra em unidades codificadoras, em um modo intra, em relação aos dados de imagem no domínio espacial, e um compensador de movimento 560 executa compensação de movimento em unidades codificadoras em um modo inter, usando um quadro de referência 585.

Os dados de imagem no domínio espacial, que passaram através do preditor intra 550 e o compensador de movimento 560, podem ser transmitidos como um quadro restaurado 595, após serem pós-processados por meio de uma unidade de desbloqueio 570 e uma unidade de filtragem de circuito 580. Além disso, os dados de imagem, que são pós- processados através da unidade de desbloqueio 570 e da unidade de filtragem de circuito 580, podem ser emitidos como o quadro de referência 585.

A fim de decodificar os dados de imagem no decodificador de dados de imagem 230 do aparelho decodificador de vídeo 200, o decodificador de imagens 500 pode executar operações, que são realizadas após o analisador 510.

A fim de que o decodificador de imagens 500 seja aplicado no aparelho decodificador de vídeo 200, todos os elementos do decodificador de imagens 500, ou seja, o analisador 510, o decodificador de entropia 520, o quantificador inverso 530, o transformador inverso 540, o preditor intra 550, o compensador de movimento 560, a unidade de desbloqueio 570, e a unidade de filtragem de circuito 580 executam operações, com base em unidades codificadoras tendo uma estrutura em árvore para cada unidade codificadora máxima.

Especificamente, a predição intra 550 e o compensador de movimento 560 realizam operações, com base em partições e um modo de predição para cada uma das unidades codificadoras com uma estrutura em árvore, e o transformador inverso 540 realiza operações com base em um tamanho de uma unidade de transformação para cada unidade codificadora.

O aparelho codificador de vídeo 100 e o aparelho decodificador de vídeo 200 usam unidades codificadoras hierárquicas, de modo a considerar as características de uma imagem. Uma altura máxima, uma largura máxima, e uma profundidade máxima de unidades codificadoras podem ser adaptativamente determinadas, de acordo com as características da imagem, ou podem ser diferentemente definidas por um utilizador. Tamanhos de unidades codificadoras mais profundas, de acordo com profundidades, podem ser determinados, de acordo com o tamanho máximo predeterminado da unidade codificadora.

Em uma estrutura hierárquica 600 de unidades codificadoras, de acordo com uma forma de realização da presente invenção, a altura máxima e a largura máxima das unidades codificadoras são, cada qual, igual a 64, e a profundidade máxima é igual a 3. Aqui, a profundidade máxima indica um número total de divisões da unidade codificadora, de acordo com profundidades, a partir de uma unidade codificadora máxima para uma unidade decodificadora mínima. Uma vez que uma profundidade aumenta ao longo de um eixo vertical da estrutura hierárquica 600, uma altura e uma largura da unidade codificadora mais profunda são, cada qual, divididas. Além disso, uma unidade de predição e partições, que são a base para codificação de predição de cada unidade codificadora mais profunda, são mostradas ao longo de um eixo horizontal da estrutura hierárquica 600.

Em outras palavras, uma unidade codificadora 610 é uma unidade codificadora máxima na estrutura hierárquica 600, em que uma profundidade é 0 e um tamanho, isto é, uma altura por largura, é 64x64. A profundidade aumenta ao longo do eixo vertical, existindo uma unidade codificadora 620 tendo um tamanho de 32x32 e uma profundidade de 1, uma unidade codificadora 630 tendo um tamanho de 16x16, e uma profundidade de 2, e uma unidade codificadora 640 tendo um tamanho de 8x8 e uma profundidade de 3. A unidade codificadora 640, com um tamanho de 8x8 e uma profundidade de 3, é uma unidade codificadora mínima.

A unidade de predição e as partições de uma unidade codificadora são dispostas ao longo do eixo horizontal, de acordo com cada profundidade. Em outras palavras, se a unidade codificadora 610 tendo o tamanho de 64x64 e a profundidade de 0 é uma unidade de predição, a unidade de predição pode ser dividida em partições incluídas na unidade codificadora 610, ou seja, uma partição 610 com um tamanho de 64x64, partições 612 tendo o tamanho de 64x32, ou partições 614 com o tamanho de 32x64 partições 616 com o tamanho de 32x62.

Da mesma forma, uma unidade de predição da unidade codificadora 620 tendo o tamanho de 32x32 e a profundidade de 1 pode ser dividida em partições incluídas na unidade codificadora 620, ou seja, uma partição 620 com um tamanho de 32x32, partições 622 tendo um tamanho de 32x16, partições 624 tendo um tamanho de 16x32, e partições 626 com o tamanho de 16x16.

Da mesma forma, uma unidade de predição da unidade codificadora 630 tendo o tamanho de 16x16 e a profundidade de 2 pode ser dividida em partições incluídas na unidade codificadora 630, ou seja, uma partição tendo um tamanho de 16x16 incluído na unidade codificadora 630, partições 632 tendo um tamanho de 16x8, partições 634 com um tamanho de 8x16 e partições 636 com o tamanho de 8x8. Finalmente, uma unidade de predição da unidade codificadora 640 tendo o tamanho de 8x8 e a profundidade de 3 pode ser dividida em partições incluídas na unidade codificadora 640, ou seja, uma partição com um tamanho de 8x8 incluída na unidade codificadora 640, partições 642 com um tamanho de 8x4, partições 644 com um tamanho de 4x8, e partições 646 com um tamanho de 4x4.

A fim de determinar pelo menos uma profundidade codificada das unidades codificadoras, que constituem a unidade codificadora máxima 610, o determinador de unidade codificadora 120 do aparelho codificador de vídeo 100 executa codificação para unidades codificadoras correspondentes a cada profundidade incluída na unidade codificadora máxima 610.

Uma série de unidades codificadoras mais profundas, de acordo com profundidades incluindo dados na mesma faixa e do mesmo tamanho, aumenta, conforme a profundidade aumenta. Por exemplo, quatro unidades codificadoras correspondentes a uma profundidade de 2 são necessárias para abranger dados, que são incluídos numa unidade codificadora correspondendo a uma profundidade de 1. Consequentemente, a fim de comparar resultados de codificação dos mesmos dados, de acordo com profundidades, a unidade codificadora correspondente à profundidade de 1 e quatro unidades codificadoras correspondentes à profundidade de 2 são, cada qual, codificadas.

A fim de executar a codificação para uma profundidade atual dentre as profundidades, um menor erro de codificação pode ser selecionado para a profundidade atual, através da realização de codificação para cada unidade de predição nas unidades codificadoras correspondentes à profundidade atual, ao longo do eixo horizontal da estrutura hierárquica 600. Em alternativa, o erro mínimo de codificação pode ser pesquisado, por comparação dos menores erros de codificação, de acordo com profundidades, através da realização de codificação para cada profundidade, quando a profundidade aumenta ao longo do eixo vertical da estrutura hierárquica 600. Uma profundidade e uma partição tendo o erro mínimo de codificação na unidade codificadora 610 podem ser selecionadas como a profundidade codificada e um tipo de partição da unidade codificadora 610.

No que diz respeito à estrutura hierárquica 600 das unidades codificadoras, uma vez que um número total de divisões de unidades codificadoras, de acordo com profundidades, a partir de um tamanho máximo de 64x64 para um tamanho mínimo de 4x4, é 4, uma profundidade máxima pode ser ajustada para 4.

Além disso, uma vez que profundidades das unidades de codificadoras de 64x64, 32x32, 16x16, 8x8, e 4x4 são 0, 1, 2, 3, e 4, respectivamente, de modo que o número de níveis de profundidade pode ser de 5.

Além disso, uma vez que uma profundidade da unidade codificadora pode ser alterada 4 vezes, a partir de uma profundidade de 0 para profundidades de 1, 2, 3, e 4, ou a partir de uma profundidade de 4 para profundidades de 3, 2, 1 e 0, a variação da profundidade pode ser 4.

Assim, informações sobre a profundidade variável em relação às unidades codificadoras atuais com uma estrutura em árvore da estrutura hierárquica 600 das unidades codificadoras podem indicar um de 4, que é a profundidade máxima, 4, que é uma menor profundidade do tamanho mínimo da unidade codificadora, 5, que é o número dos níveis de profundidade, e 4, que é a variação de profundidade.

Por conseguinte, o aparelho codificador de vídeo 100, de acordo com a presente forma de realização, pode incluir informações sobre codificação, incluindo, pelo menos, duas partes de informações dentre informações indicando a profundidade variável de 4 ou 5 em relação às unidades codificadoras atuais possuindo a estrutura em árvore, informações indicando 64x64, que é o tamanho máximo da unidade codificadora, e informações indicando 4x4, que é o tamanho mínimo da unidade codificadora, pode inserir as informações sobre codificação em um cabeçalho de um fluxo de bits, ou seja, um SPS, um PPS, e similares e, em seguida, pode emitir o fluxo de bits.

O aparelho decodificador de vídeo 200 pode extrair as informações sobre codificação, a partir do cabeçalho do fluxo de bits, do SPS, do PPS, e semelhantes, pode ler, pelo menos, duas partes de informações dentre as informações indicando a profundidade variável de 4 ou 5 em relação às unidades codificadoras atuais possuindo a estrutura em árvore, as informações indicando 64x64, que é o tamanho máximo da unidade codificadora, e as informações indicando 4x4, que é o tamanho mínimo da unidade codificadora, a partir das informações sobre codificação e, assim, pode determinar que o tamanho máximo e o tamanho mínimo das unidades codificadoras atuais possuindo a estrutura em árvore são 64x64 e 4x4, respectivamente.

A FIG. 7 é um diagrama para descrever uma relação entre uma unidade codificadora 710 e unidades de transformação 720, de acordo com uma forma de realização da presente invenção.

O aparelho codificador de vídeo 100 ou 200 codifica ou decodifica uma imagem, de acordo com unidades codificadoras com tamanhos menores ou iguais a uma unidade codificadora máxima para cada unidade codificadora máxima. Tamanhos de unidades de transformação, para transformação durante a codificação, podem ser selecionados com base em unidades de dados, que não são maiores do que uma unidade codificadora correspondente.

Por exemplo, no aparelho codificador de vídeo 100 ou 200, se um tamanho da unidade codificadora 710 for 64x64, a transformação pode ser realizada, usando as unidades de transformação 720 com um tamanho de 32x32.

Além disso, dados da unidade codificadora 710 tendo o tamanho de 64x64 podem ser codificados, por realização da transformação em cada uma das unidades de transformação tendo o tamanho de 32x32, 16x16, 8x8, e 4x4, que são menores do que 64x64 e, em seguida, uma unidade de transformação tendo o menor erro de codificação pode ser selecionada.

A unidade de emissão 130 do aparelho codificador de vídeo 100 pode codificar e transmitir informações 800 sobre um tipo de partição, informações 810 sobre um modo de predição, e informações 820 sobre o tamanho de uma unidade de transformação para cada unidade codificadora correspondente a uma profundidade codificada, como informações sobre um modo de codificação.

As informações 800 indicam informações sobre um formato de partição obtida por divisão de uma unidade de predição de uma unidade codificadora atual, na qual a partição é uma unidade de dados para codificação de predição da unidade codificadora atual. Por exemplo, uma unidade codificadora atual CU0 tendo um tamanho de 2Nx2N pode ser dividida em qualquer uma dentre uma partição 802 com um tamanho de 2Nx2N, uma partição 804 com um tamanho de 2NxN, uma partição 806 com um tamanho de Nx2N, e uma partição 808 com um tamanho de NxN. Aqui, as informações 800 acerca de um tipo de partição são definidas, para indicar uma dentre a partição 804 com um tamanho de 2NxN, a partição 806 com um tamanho de Nx2N, e a partição 808 com um tamanho de NxN.

As informações 810 indicam um modo de predição de cada partição. Por exemplo, as informações 810 podem indicar um modo de codificação de predição, realizado em uma partição indicada pelas informações 800, ou seja, um modo intra 812, um modo inter 814, ou um modo de avanço 816.

As informações 820 indicam uma unidade de transformação a ser baseada, quando transformação é realizada em uma unidade codificadora atual. Por exemplo, a unidade de transformação pode ser uma primeira unidade de transformação intra 822, uma segunda unidade de transformação intra 824, uma primeira unidade de transformação inter 826, ou uma segunda unidade de transformação intra 828.

O extrator de informações sobre codificação e dados de imagem 220 do aparelho decodificador de vídeo 200 pode extrair e utilizar as informações 800, 810, e 820 para a decodificação, de acordo com cada unidade codificadora mais profunda.

Informações de divisão podem ser usadas para indicar uma alteração de uma profundidade. As informações de divisão indicam, se uma unidade codificadora de uma profundidade atual é dividida em unidades codificadoras de uma menor profundidade.

Uma unidade de predição 910 para codificação de predição de uma unidade codificadora 900, tendo uma profundidade de 0 e um tamanho de 2N_0x2N_0, pode incluir partições de um tipo de partição 912 com um tamanho de 2N_0x2N_0, um tipo de partição 914 com um tamanho de 2N_0xN_0, tipo de partição 916 com um tamanho de N_0x2N_0, e um tipo de partição 918 com um tamanho de N_0xN_0. A FIG. 9 ilustra apenas os tipos de partição 912 a 916, que são obtidos através da divisão simétrica da unidade de predição 910, mas um tipo de partição não está a eles limitado, e as partições da unidade de predição 910 podem incluir partições assimétricas, partições com um formato arbitrário, e partições tendo uma forma geométrica.

Codificação de predição é repetidamente realizada em uma partição com um tamanho de 2N_0x2N_0, duas partições com um tamanho de 2N_0xN_0, duas partições com um tamanho de N_0x2N_0, e quatro partições com um tamanho de N_0xN_0, de acordo com cada tipo de partição. A codificação de predição em um modo intra e um modo inter pode ser efetuada nas partições com os tamanhos de 2N_0x2N_0, N_0x2N_0, 2N_0xN_0, e N_0xN_0. A codificação de predição em um modo de avanço é apenas realizada na partição tendo o tamanho de 2N_0x2N_0.

Erros de codificação, incluindo a codificação de predição nos tipos de partição 912 a 918, são comparados, e o menor erro de codificação é determinado dentre os tipos de partição. Se um erro de codificação for o menor deles em um dos tipos de partição 912 a 916, a unidade de predição 910 talvez não possa ser dividida em uma menor profundidade.

Se o erro de codificação for o menor deles no tipo de partição 918, uma profundidade é alterada de 0 para 1, para dividir o tipo de partição 918 na operação 920, e codificação é repetidamente realizada nas unidades codificadoras 930 tendo uma profundidade de 2 e um tamanho de N_0xN_0, para procurar um erro mínimo de codificação.

Uma unidade de predição 940 para codificação de predição da unidade codificadora 930, tendo uma profundidade de 1 e um tamanho de 2N_1x2N_1 (= N_0xN_0), pode incluir partições de um tipo de partição 942 tendo um tamanho de 2N_1x2N_1, um tipo de partição 944 tendo um tamanho de 2N_1xN_1, um tipo de partição 946 com um tamanho de N_1x2N_1 e um tipo de partição 948 com um tamanho de N_1xN_1.

Se um erro de codificação for o menor deles no tipo de partição 948, uma profundidade é alterada de 1 para 2, para dividir o tipo de partição 948 na operação 950, e a codificação é executada repetidamente nas unidades codificadoras 960, tendo uma profundidade de 2 e o tamanho de N_2xN_2, para buscar um erro mínimo de codificação.

Quando uma profundidade máxima é de d-1, uma unidade codificadora, de acordo com cada profundidade, pode ser dividida, até quando uma profundidade se tornar d-1, e informações de divisão podem ser codificadas, até quando uma profundidade for uma dentre 0 a d-2. Em outras palavras, quando a codificação é realizada até quando a profundidade for d-1, depois de uma unidade codificadora correspondente a uma profundidade de d-2 ser dividida na operação 970, uma unidade de predição 990 para codificação de predição de uma unidade codificadora 980, tendo uma profundidade de d-1 e um tamanho de 2N_(d-1)x2N_(d-1), pode incluir partições de um tipo de partição 992 com um tamanho de 2N_(d-1) x2N_(d-1), um tipo de partição 994 possuindo um tamanho de 2N_(d-1)xN_(d-1), um tipo de partição 996 com um tamanho de N_(d-1)x2N_(d-1), e um tipo de partição 998 com um tamanho de N_(d-1)xN_(d-1).

Codificação de predição pode ser realizada repetidamente em uma partição com um tamanho de 2N_(d- 1)x2N_(d-1), duas partições com um tamanho de 2N_(d- 1)xN_(d-1), duas partições com um tamanho de N_(d-1)x2N_(d- 1), quatro partições com um tamanho de N_(d-1)xN_(d-1), dentre os tipos de partição 992 a 998 para pesquisar um tipo de partição com um erro mínimo de codificação.

Mesmo quando o tipo de partição 998 tiver o erro mínimo de codificação, uma vez que uma profundidade máxima é de d-1, uma unidade codificadora CU_(d-1) com uma profundidade de d-1 não é mais dividida em uma menor profundidade, e uma profundidade codificada para as unidades codificadoras, que constituem uma unidade codificadora máxima atual 900, é determinada como sendo d- 1, e um tipo de partição da unidade codificadora máxima atual 900 pode ser determinado como sendo N_(d-1)xN_(d-1). Além disso, visto que a profundidade máxima é de d-1, e uma unidade codificadora mínima 980 tendo uma profundidade mais baixa de d-1 não é mais dividida em uma menor profundidade, informações de divisão para a unidade codificadora mínima 980 não são definidas.

Uma unidade de dados 999 pode ser uma 'unidade mínima’ para a unidade codificadora máxima atual. Uma unidade mínima, de acordo com uma forma de realização da presente invenção, pode ser uma unidade de dados retangular obtida, dividindo-se uma unidade codificadora mínima 980 por 4. Ao realizar a codificação repetidamente, o aparelho codificador de vídeo 100 pode selecionar uma profundidade com o menor erro de codificação, por meio da comparação dos erros de codificação, de acordo com profundidades da unidade codificadora 900, para determinar uma profundidade codificada, e definir um tipo de partição correspondente e um modo de predição como um modo codificador da profundidade codificada.

Como tal, os erros mínimos de codificação, de acordo com profundidades, são comparados em todas as profundidades de 1 a d, e uma profundidade tendo o menor erro de codificação pode ser determinada como uma profundidade codificada. A profundidade codificada, o tipo de partição da unidade de predição, e o modo de predição podem ser codificados e transmitidos como informações sobre um modo de codificação. Além disso, uma vez que uma unidade codificadora é dividida, a partir de uma profundidade de 0 a uma profundidade codificada, apenas informações de divisão da profundidade codificada são definidas como 0, e informações de divisão de profundidades, excluindo a profundidade codificada, são definidas como 1.

O extrator de informações sobre codificação e dados de imagem 220 do aparelho decodificador de vídeo 200 pode extrair e utilizar as informações sobre a profundidade codificada, e a unidade de predição da unidade codificadora 900 para decodificar a partição 912. O aparelho decodificador de vídeo 200 pode determinar uma profundidade, na qual informações de divisão são 0, como uma profundidade codificada, utilizando informações de divisão, de acordo com profundidades, e usar informações sobre um modo de codificação da profundidade codificada, para decodificar a unidade codificadora correspondente à profundidade codificada.

As FIGS. 10 a 12 são diagramas para descrever uma relação entre unidades codificadoras 1010, unidades de predição 1060, e unidades de transformação 1070, de acordo com uma forma de realização da presente invenção.

As unidades codificadoras 1010 são unidades codificadoras com uma estrutura em árvore, que correspondem às profundidades codificadas, determinadas pelo aparelho codificador de vídeo 100, em uma unidade codificadora máxima. As unidades de predição 1060 são partições de unidades de predição de cada uma das unidades codificadoras 1010, e as unidades de transformação 1070 são unidades de transformação de cada uma das unidades codificadoras 1010.

Quando uma profundidade de uma unidade codificadora máxima for 0 nas unidades codificadoras 1010, profundidades de unidades codificadoras 1012 e 1054 são 1, profundidades de unidades codificadoras 1014, 1016, 1018, 1028, 1050, e 1052 são 2, profundidades de unidades codificadoras 1020, 1022, 1024, 1026, 1030, 1032, e 1048 são 3, e profundidades de unidades codificadoras 1040, 1042, 1044, e 1046 são 4.

Nas unidades de predição 1060, algumas unidades codificadoras 1014, 1016, 1022, 1032, 1048, 1050, 1052, e 1054 são obtidas por divisão das unidades codificadoras nas unidades codificadoras 1010. Em outras palavras, os tipos de partição nas unidades codificadoras 1014, 1022, 1050, e 1054 têm um tamanho de 2NxN, tipos de partição nas unidades codificadoras 1016, 1048, e 1052 têm um tamanho de Nx2N, e um tipo de partição da unidade codificadora 1032 tem um tamanho de NxN. Unidades de predição e partições das unidades codificadoras 1010 são menores, ou iguais, a cada unidade codificadora.

Transformação ou transformação inversa é realizada nos dados de imagem da unidade codificadora 1052, nas unidades de transformação 1070, em uma unidade de dados, que é menor do que a unidade codificadora 1052. Além disso, as unidades codificadoras 1014, 1016, 1022, 1032, 1048, 1050, e 1052 nas unidades de transformação 1070 são diferentes daquelas nas unidades de predição 1060, em termos de tamanhos e formatos. Em outras palavras, os aparelhos de codificação e decodificação de vídeo 100 e 200 podem realizar predição intra, estimativa de movimento, compensação de movimento, transformação, e transformação inversa individualmente em uma unidade de dados, na mesma unidade codificadora.

Deste modo, a codificação é executada recursivamente em cada uma das unidades codificadoras tendo uma estrutura hierárquica em cada uma das regiões de uma unidade codificadora máxima, para determinar uma unidade codificadora ideal e, assim, unidades codificadoras tendo uma estrutura em árvore recursiva podem ser obtidas. Informações sobre codificação podem incluir informações de divisão sobre uma unidade codificadora, informações sobre um tipo de partição, informações sobre um modo de predição, e informações sobre um tamanho de uma unidade de transformação. A Tabela 1 apresenta as informações sobre codificação, que podem ser definidas pelos aparelhos de codificação e decodificação de vídeo 100 e 200.Tabela 1

A unidade de emissão 130 do aparelho codificador de vídeo 100 pode enviar as informações sobre codificação acerca das unidades codificadoras com uma estrutura em árvore, e o extrator de informações sobre codificação e dados de imagem 220 do aparelho decodificador de vídeo 200 pode extrair as informações sobre codificação acerca das unidades codificadoras tendo uma estrutura em árvore, a partir do fluxo de bits recebido.

Informações de divisão indicam se uma unidade codificadora atual é dividida em unidades codificadoras de uma menor profundidade. Se informações de divisão de uma profundidade atual d forem 0, uma profundidade, na qual uma unidade codificadora atual não é mais dividida em uma menor profundidade, é uma profundidade codificada e, portanto, informações acerca de um tipo de partição, modo de predição, e um tamanho de uma unidade de transformação podem ser definidas para a profundidade codificada. Se a unidade codificadora atual for ainda dividida, de acordo com as informações de divisão, a codificação é realizada de forma independente em quatro unidades codificadoras divididas de uma menor profundidade.

Um modo de predição pode ser aquele de um modo intra, um modo inter, e um modo de avanço. O modo intra e o modo inter podem ser definidos em todos os tipos de partição, e o modo de avanço é definido apenas em um tipo de partição com um tamanho de 2Nx2N.

As informações sobre o tipo de partição podem indicar tipos de partição simétrica tendo tamanhos de 2Nx2N, 2NxN, Nx2N e NxN, que são obtidas através da divisão simétrica de uma altura ou de uma largura de uma unidade de predição, e tipos de partição assimétrica tendo tamanhos de 2NxnU, 2NxnD, nLx2N e nRx2N, que são obtidos através da divisão, de forma assimétrica, da altura ou da largura da unidade de predição. Os tipos de partição assimétrica com os tamanhos de 2NxnU e 2NxnD podem ser obtidos, respectivamente, por divisão de altura da unidade de predição em 1:3 e 3:1, e os tipos de partição assimétrica com os tamanhos de nLx2N e nRx2N podem ser obtidos, respectivamente, através da divisão da largura da unidade de predição em 1:3 e 3:1.

O tamanho da unidade de transformação pode ser configurado para ser de dois tipos no modo intra, e de dois tipos no modo inter. Em outras palavras, se informações de divisão da unidade de transformação forem 0, o tamanho da unidade de transformação pode ser 2Nx2N, que é o tamanho da unidade codificadora atual. Se informações de divisão da unidade de transformação forem 1, as unidades de transformação podem ser obtidas, através da divisão da unidade codificadora atual. Além disso, se um tipo de partição da unidade codificadora atual tendo o tamanho de 2Nx2N for um tipo de partição simétrica, um tamanho de uma unidade de transformação pode ser NxN, e se o tipo de partição da unidade codificadora atual for um tipo de partição assimétrica, o tamanho da unidade de transformação pode ser N/2xN/2.

As informações sobre codificação acerca de unidades codificadoras tendo uma estrutura em árvore podem incluir pelo menos uma dentre uma unidade codificadora correspondente a uma profundidade codificada, uma unidade de predição, e uma unidade mínima. A unidade codificadora correspondente à profundidade codificada pode incluir, pelo menos, uma dentre uma unidade de predição e uma unidade mínima contendo as mesmas informações sobre codificação.

Deste modo, é determinado se as unidades de dados adjacentes são incluídas na mesma unidade codificadora correspondente à profundidade codificada, por comparação das informações sobre codificação das unidades de dados adjacentes. Além disso, uma unidade codificadora correspondente a uma profundidade codificada é determinada, usando informações sobre codificação de uma unidade de dados e, portanto, uma distribuição de profundidades codificadas em uma unidade codificadora máxima pode ser determinada.

Por conseguinte, se uma unidade codificadora atual for prevista com base em informações codificadoras de unidades de dados adjacentes, as informações codificadoras das unidades de dados em unidades codificadoras mais profundas adjacentes à unidade codificadora atual podem ser diretamente referidas e usadas.

Alternativamente, se uma unidade codificadora atual for prevista com base em informações codificadoras de unidades de dados adjacentes, unidades de dados adjacentes à unidade codificadora atual são pesquisadas, utilizando as informações codificadas das unidades de dados, e as unidades codificadoras adjacentes pesquisadas podem ser referidas para a predição da unidade codificadora atual.

Uma unidade codificadora máxima 1300 inclui unidades codificadoras 1302, 1304, 1306, 1312, 1314, 1316, e 1318 de profundidades codificadas. Aqui, uma vez que a unidade codificadora 1318 é uma unidade codificadora de uma profundidade codificada, informações de divisão podem ser definidas como 0. As informações sobre um tipo de partição da unidade codificadora 1318 com um tamanho de 2Nx2N podem ser configuradas, para ser uma dentre um tipo de partição 1322 tendo um tamanho de 2Nx2N, um tipo de partição 1324 tendo um tamanho de 2NxN, um tipo de partição 1326 tendo um tamanho de Nx2N, um tipo de partição 1328 tendo um tamanho de NxN, um tipo de partição 1332 tendo um tamanho de 2NxnU, um tipo de partição 1334 tendo um tamanho de 2NxnD, um tipo de partição 1336 tendo um tamanho de nLx2N, e um tipo de partição 1338 tendo um tamanho de nRx2N.

Informações de divisão (sinalizador de tamanho TU) da unidade de transformação são um tipo de um índice de transformação, e um tamanho de uma unidade de transformação, que corresponde ao índice de transformação, pode ser mudado, de acordo com um tipo de unidade de predição, ou um tipo de partição da unidade codificadora.

Por exemplo, quando o tipo de partição for definido para ser simétrico, ou seja, o tipo de partição 1322, 1324,1326, ou 1328, uma unidade de transformação 1342 tendo um tamanho de 2Nx2N é definida, se as informações de divisão da unidade de transformação forem 0, e uma unidade de transformação 1344 tendo um tamanho de NxN é definida, se um sinalizador de tamanho TU for 1.

Quando o tipo de partição for definido para ser assimétrico, ou seja, o tipo de partição 1332, 1334, 1336,ou 1338, uma unidade de transformação 1352 tendo um tamanho de 2Nx2N é definido, se um sinalizador de tamanho TU for 0,e uma unidade de transformação 1354 com um tamanho de N/2xN/2 é definido, se um sinalizador de tamanho TU for 1.

Referindo-se à FIG. 13, o sinalizador de tamanho TU é uma sinalizador com um valor de 0 ou 1, mas o sinalizador de tamanho TU não está limitado a 1 bit, e uma unidade de transformação pode ser dividida hierarquicamente tendo uma estrutura em árvore, quando o sinalizador de tamanho TU aumentar a partir de 0. As informações de divisão da unidade de transformação podem ser usadas como um exemplo do índice de transformação.

Neste caso, se as informações de divisão da unidade de transformação forem usadas em conjunto com um tamanho máximo da unidade de transformação e um tamanho mínimo da unidade de transformação, um tamanho da unidade de transformação, que é realmente utilizado, pode ser expresso. O aparelho codificador de vídeo 100 pode codificar informações de tamanho máximo da unidade de transformação, informações de tamanho mínimo da unidade de transformação, e informações de divisão máxima da unidade de transformação. As informações codificadas de tamanho máximo da unidade de transformação, as informações codificadas de tamanho mínimo da unidade de transformação, e as informações codificadas de divisão máxima da unidade de transformação podem ser inseridas em um SPS. O aparelho decodificador de vídeo 200 pode decodificar um vídeo, usando as informações de tamanho máximo da unidade de transformação, as informações de tamanho mínimo da unidade de transformação, e as informações de divisão máxima da unidade de transformação.

Em um exemplo, (a) se o tamanho de uma unidade codificadora atual for 64x64, e o tamanho máximo da unidade de transformação for 32x32, (a-1) um tamanho da unidade de transformação pode ser definido como 32x32, quando as informações de divisão da unidade de transformação forem 0, (a-2) o tamanho da unidade de transformação pode ser definido como 16x16, quando as informações de divisão da unidade de transformação forem 1, e (a-3) o tamanho da unidade de transformação pode ser definido como 8x8, quando as informações de divisão da unidade de transformação forem de 2.

Em outro exemplo, (b) se o tamanho da unidade codificadora atual for 32x32, e o tamanho mínimo da unidade de transformação for 32x32, (b-1) o tamanho da unidade de transformação pode ser definido como 32x32, quando as informações de divisão da unidade de transformação forem 0, e uma vez que o tamanho da unidade de transformação não pode ser menor do que um tamanho de 32x32, as informações de divisão da unidade de transformação não podem ser mais definidas.

Em outro exemplo, (c) se o tamanho da unidade codificadora atual for 64x64, e as informações de divisão máxima da unidade de transformação forem 1, as informações de divisão da unidade de transformação podem ser 0 ou 1, e outras informações de divisão da unidade de transformação não podem ser definidas.

Assim, se for definido que o sinalizador de tamanho TU máximo for 'MaxTransformSizeIndex', um tamanho da unidade de transformação mínima é 'MinTransformSize', e um tamanho da unidade de transformação é 'RootTuSize' quando o sinalizador de tamanho TU for 0, então, um tamanho da unidade de transformação mínima atual 'CurrMinTuSize', que pode ser determinado em uma unidade codificadora atual, pode ser definido pela Equação (1): CurrMinTuSize = max (MinTransformSize, RootTuSize/ (2A MaxTransformSizeIndex)) (1)

Em relação ao tamanho da unidade de transformação mínima atual 'CurrMinTuSize', que pode ser determinado na unidade codificadora atual, um tamanho da unidade de transformação 'RootTuSize', quando o sinalizador de tamanho TU for 0, pode denotar um tamanho da unidade de transformação máxima, que pode ser selecionado no sistema. Na Equação (1), 'RootTuSize/ (2A MaxTransformSizeIndex)' denota um tamanho da unidade de transformação, quando o tamanho da unidade de transformação 'RootTuSize', quando o sinalizador de tamanho TU for 0, é dividido por um número de vezes correspondente ao sinalizador de tamanho máximo TU, e 'MinTransformSize' denota um tamanho mínimo de transformação. Assim, um menor valor dentre 'RootTuSize/ (2AMaxTransformSizeIndex)' e 'MinTransformSize’ pode ser otamanho da unidade de transformação mínima atual ‘CurrMinTuSize', que pode ser determinado na unidade codificadora atual.

De acordo com uma forma de realização da presente invenção, o tamanho da unidade de transformação máxima RootTuSize pode variar, de acordo com o tipo de um modo de predição.

Por exemplo, se um modo de predição atual for um modo inter, então, 'RootTuSize' pode ser determinado, usando a Equação (2) abaixo. Na Equação (2), 'MaxTransformSize' denota um tamanho da unidade de transformação máxima, e 'PUSize' denota um tamanho da unidade de predição atual.RootTuSize = min (MaxTransformSize, PUSize) (2)

Isto é, se o modo de predição atual for o modo inter, o tamanho da unidade de transformação 'RootTuSize', quando a sinalizador de tamanho TU for 0, pode ser um menor valor dentre o tamanho da unidade de transformação máxima e o tamanho da unidade de predição atual.

Se um modo de predição de uma unidade de partição atual for um modo intra, 'RootTuSize' pode ser determinado, usando a Equação (3) abaixo. Na Equação (3), 'PartitionSize' denota o tamanho da unidade de partição atual.RootTuSize = min (MaxTransformSize, PartitionSize) . . (3)

Isto é, se o modo de predição atual for o modo intra, o tamanho da unidade de transformação 'RootTuSize', quando o sinalizador de tamanho TU for 0, pode ser um menor valor dentre o tamanho da unidade de transformação máxima e o tamanho da unidade de partição atual.

No entanto, o tamanho da unidade de transformação máxima atual 'RootTuSize', que varia de acordo com o tipo de um modo de predição, em uma unidade de partição, é apenas um exemplo, e o presente invento não está a ele limitado.

Na operação 1210, um quadro atual é dividido em, pelo menos, uma unidade codificadora máxima. Uma profundidade máxima, indicando o número total de divisões possíveis, pode ser predeterminada.

Na operação 1220, uma profundidade codificada para emitir um resultado de codificação final, de acordo com pelo menos uma região dividida, que é obtida através da divisão de uma região de cada uma das unidades codificadoras máximas, de acordo com profundidades, é determinada pela codificação de pelo menos uma região dividida, e unidades codificadoras, de acordo com uma estrutura em árvore, são determinadas.

A unidade codificadora máxima é espacialmente dividida, sempre que a profundidade aumenta e, assim, é dividida em unidades codificadoras de uma menor profundidade. Cada unidade codificadora pode ser dividida em unidades codificadoras de outra menor profundidade, ao ser dividida espacialmente, de forma independente, a partir de unidades codificadoras adjacentes. A codificação é executada repetidamente em cada unidade codificadora, de acordo com profundidades.

Além disso, uma unidade de transformação, de acordo com os tipos de partição tendo o erro mínimo de codificação, é determinada para cada unidade codificadora mais profunda. A fim de determinar uma profundidade codificada tendo um erro mínimo de codificação em cada unidade codificadora máxima, erros de codificação podem ser medidos e comparados em todas as unidades codificadoras mais profundas, de acordo com profundidades.

Quando a unidade de transformação é determinada, uma unidade de transformação para a transformação da unidade codificadora pode ser determinada. A unidade de transformação, de acordo com a presente forma de realização, pode ser determinada como uma unidade de dados para minimizar um erro efetuado pela unidade de transformação, para a transformação da unidade codificadora.

Na operação 1230, dados de imagem codificados, que constituem o resultado final de codificação, de acordo com a profundidade codificada, são gerados para cada unidade codificadora máxima, com informações codificadoras sobre a profundidade codificada e um modo de codificação. As informações sobre o modo de codificação podem incluir informações sobre uma profundidade codificada ou informações de divisão, informações sobre um tipo de partição de uma unidade de predição, informações sobre um modo de predição, informações sobre um tamanho de uma unidade de transformação, informações sobre índice de transformação, e semelhantes.

Informações sobre estrutura da unidade codificadora acerca de um tamanho e de uma profundidade variável da unidade codificadora, definidas de acordo com uma unidade de dados, tais como sequências, quadros, fatias, ou GOPs, podem ser inseridas em um cabeçalho de um fluxo de bits, um SPS, ou um PPS. As informações sobre estrutura da unidade codificadora acerca do tamanho e da profundidade variável da unidade codificadora podem incluir informações sobre a profundidade variável, informações sobre o tamanho máximo da unidade codificadora, bem como informações sobre o tamanho mínimo da unidade codificadora. A profundidade variável pode incluir, não só uma profundidade máxima admissível de uma unidade codificadora atual, mas pode também incluir, pelo menos, uma dentre a menor profundidade da unidade codificadora tendo o tamanho mínimo, o número de níveis de profundidade, e variação de profundidade.

As informações codificadas sobre o modo de codificação, as informações sobre estrutura da unidade codificadora acerca do tamanho e da profundidade variável da unidade codificadora, e as informações de divisão podem ser inseridas no cabeçalho do fluxo de bits, no SPS, ou no PPS e, em seguida, podem ser transmitidas para um decodificador com os dados de imagem codificados.

Na operação 1310, um fluxo de bits de um vídeo codificado é recebido e analisado.

Na operação 1320, dados de imagem codificados de um quadro atual atribuído a uma unidade codificadora máxima, e informações sobre uma profundidade codificada e um modo de codificação, de acordo com unidades codificadoras máximas, e as informações sobre estrutura da unidade codificadora acerca do tamanho e da profundidade variável da unidade codificadora, são extraídas do fluxo de bits analisado. As informações sobre a profundidade codificada e o modo de codificação, as informações sobre estrutura da unidade codificadora acerca do tamanho e da profundidade variável da unidade codificadora, e as informações de divisão podem ser extraídas a partir de um cabeçalho de um fluxo de bits, um SPS, ou um PPS.

A profundidade codificada de cada unidade codificadora máxima é uma profundidade tendo o menor erro de codificação em cada unidade codificadora máxima. Na codificação de cada unidade codificadora máxima, os dados de imagem são codificados com base em pelo menos uma unidade de dados obtida pela divisão hierárquica de cada unidade codificadora máxima, de acordo com profundidades.

De acordo com as informações sobre a profundidade codificada e o modo de codificação, a unidade codificadora máxima pode ser dividida em unidades codificadoras com uma estrutura em árvore. Cada uma das unidades codificadoras possuindo a estrutura em árvore é determinada como uma unidade codificadora correspondente a uma profundidade codificada, e é idealmente codificada para emitir o menor erro de codificação. Consequentemente, a eficiência de codificação e decodificação de uma imagem pode ser melhorada através da decodificação de cada parte dos dados de imagem codificados nas unidades codificadoras, após determinar, pelo menos, uma profundidade codificada, de acordo com unidades codificadoras.

Pelo menos, duas partes das informações sobre a profundidade variável, as informações sobre o tamanho máximo da unidade codificadora, e as informações sobre estrutura da unidade codificadora acerca do tamanho mínimo da unidade codificadora, que são determinadas para cada um dos quadros, fatias ou GOPs, podem ser extraídas a partir das informações sobre o tamanho e a profundidade variável da unidade codificadora. A profundidade variável, de acordo com a presente forma de realização, pode indicar, não só uma profundidade máxima admissível de uma unidade codificadora atual, mas também pode indicar, pelo menos, uma dentre a menor profundidade da unidade codificadora tendo o tamanho mínimo, o número de níveis de profundidade, e variação de profundidade.

O tamanho máximo e o tamanho mínimo da unidade codificadora, dentre as unidades codificadoras atuais possuindo a estrutura em árvore, podem ser determinados com base nas informações sobre codificação, incluindo, pelo menos, duas das informações sobre a profundidade variável das unidades codificadoras atuais possuindo a estrutura em árvore, as informações sobre o tamanho máximo da unidade codificadora, e as informações sobre o tamanho mínimo da unidade codificadora.

Além disso, as unidades de transformação, de acordo com a estrutura em árvore nas unidades codificadoras, podem ser determinadas com base no índice de transformação das informações sobre codificação.

Na operação 1330, os dados de imagem de cada unidade codificadora máxima são decodificados com base nas informações sobre a profundidade codificada e o modo de codificação, de acordo com as unidades codificadoras máximas. Os dados de imagem decodificados podem ser reproduzidos por um aparelho de reprodução, armazenados em uma mídia de armazenamento, ou transmitidos através de uma rede.

As formas de realização da presente invenção podem ser gravadas como programas de computador, e podem ser implementadas em computadores digitais para uso geral, que executam os programas, utilizando uma mídia de gravação legível por computador. Exemplos da mídia de gravação legível por computador incluem mídia de armazenamento magnético (por exemplo, ROM, disquetes, discos rígidos etc.) e mídia de gravação ótica (por exemplo, CD-ROMs ou DVDs).

Embora essa invenção tenha sido particularmente mostrada e descrita com referência às suas formas de realização preferidas, será compreendido pelos peritos na arte, que várias alterações na forma e detalhes podem ser feitas sem afastamento do espírito e do âmbito da invenção, tais como definidos pelas reivindicações anexas. As formas de realização preferenciais devem ser consideradas apenas no sentido descritivo, e não para fins de limitação. Por conseguinte, o âmbito do invento é definido, não pela descrição detalhada da invenção, mas pelas reivindicações em anexo, e todas as diferenças dentro do âmbito de aplicação devem ser interpretadas, como estando incluídas na presente invenção.

Claims

1. MÉTODO PARA DECODIFICAR UM VÍDEO, caracterizado por o método compreender: receber um fluxo de bits com respeito a um vídeo codificado; extrair, a partir do fluxo de bits recebido, informação a respeito de um tamanho de uma unidade codificadora que é uma unidade de dados para decodificar uma imagem do vídeo codificado, uma profundidade variável da unidade codificadora, informação de divisão e um modo de codificação com respeito às unidades codificadoras possuindo uma estrutura em árvore da imagem; determinar um tamanho máximo da unidade codificadora com base nas informações sobre o tamanho e a profundidade variável; dividir a imagem em uma ou mais unidades de codificação máximas com base no tamanho máximo determinado; determinar as unidades codificadoras possuindo a estrutura em árvore com base na informação de divisão, e decodificar e reconstruir a imagem com base nas unidades codificadoras determinadas com base no modo de codificação, em que uma unidade codificadora máxima, entre uma ou mais unidades codificadoras máximas, é hierarquicamente dividida em uma ou mais unidades codificadoras de profundidade, incluindo pelo menos uma profundidade atual e uma profundidade menor de acordo com a informação dividida, quando a informação de divisão indica uma divisão para a profundidade atual, uma unidade codificadora da profundidade atual é dividida em quatro unidades codificadoras da profundidade inferior, independentemente das unidades codificadoras vizinhas, e quando a informação de divisão indica uma não divisão para a profundidade atual, a unidade codificadora da profundidade atual é dividida em uma ou mais unidades de previsão.