BR112013020878B1

BR112013020878B1 - Dispositivos e métodos de codificação e decodificação de imagem

Info

Publication number: BR112013020878B1
Application number: BR112013020878-3A
Authority: BR
Inventors: Yusuke Itani; Shunichi Sekiguchi; Kazuo Sugimoto; Tokumichi Murakami
Original assignee: Mitsubishi Electric Corporation
Priority date: 2011-06-30
Filing date: 2012-06-11
Publication date: 2022-05-10
Also published as: ES2862898T3; EP2680588A1; JP6391500B2; JP2015130689A; PL2680588T3; EP2680588B1; JP6381724B2; JP6615287B2; JP2018186569A; JP2017121089A; US20130343460A1; CN103385004B; JPWO2013001730A1; JP5711370B2; WO2013001730A1; CN103385004A; BR112013020878A2; KR20130135925A; EP2680588A4; US9503718B2

Abstract

DISPOSITIVOS E MÉTODOS DE CODIFICAÇÃO E DECODIFICAÇÃO DE IMAGEM. Estão incluídos: uma etapa de decodificação de comprimento variável de decodificação de comprimento variável, de dados codificados, dados comprimidos, que é relacionada a um bloco codificado, um sinalizador de limitação de imagem de referência, que indica se um limite, para uma predeterminada área, um área significativa de imagem de referência que é uma em uma imagem de referência que pode ser usada para a compensação de prognóstico de movimento, e informação de movimento que é informação de vetores de movimento; uma etapa de prognóstico de compensação de movimento para implementar, nas bases da informação de informação de movimento, um processo de compensação de prognóstico de movimento para o bloco codificado, e por meio disso, gerar uma imagem prognosticada; um etapa de geração de imagem residual para gerar uma imagem residual a ser comprimida a partir dos dados comprimidos relacionados ao bloco codificado; e uma etapa de geração de imagem decodificada para adicionar a imagem residual para a imagem prognosticada, e por meio disso, gerar uma imagem decodificada. Quando a etapa de compensação de movimento gera a imagem prognosticada, a etapa de compensação de movimento efetua um predeterminado processo de extensão para (...).

Description

CAMPO DA INVENÇÃO

A presente invenção se refere a um dispositivo de codificação 5 de imagem, um dispositivo de decodificação de imagem, um método de codificação de imagem, e um método de decodificação de imagem para uso em uma tecnologia de codificação de compressão de imagem, uma tecnologia de transmissão de dados comprimidos de imagem, etc.

CONHECIMENTO DA INVENÇÃO

Em um método de codificação de vídeo de padrão internacional convencional, tal como ISO/IEC 14496-10|ITU-T H.264 (referido como AVC/H.264 daqui em diante), um método para comprimir dados de imagem nas unidades de dados de bloco (referidas como um bloco macro daqui em diante), que é uma combinação de um sinal de luminância de 16x16 pixels e dois sinais de diferença de cor de 8 x 8 pixels correspondendo ao sinal de luminância, nas bases de uma tecnologia de prognóstico de movimento compensado, e uma tecnologia de quantização de coeficiente de transformada/transformação ortogonal é usada. Em um prognóstico de movimento compensado, uma pesquisa de vetor de movimento e geração de uma imagem de prognóstico é realizada nas unidades de um bloco macro usando uma figura há codificada |à frente ou para trás como uma imagem de referência. Uma figura na qual codificação de prognóstico de interquadro é realizada referindo-se somente a uma figura única é chamada uma figura P, e uma figura na qual codificação de prognóstico de interquadro é realizada, de forma simultânea, referindo-se à duas figuras é chamado uma figura B.

Documento da técnica relacionada Referência de não patente Referência de não patente de nr 1: padrões de MPEG-4 AVC (ISO/IEC 14496-10)/H.ITU-T 264 SUMÁRIO DA INVENÇÃO PROBLEMAS A SEREM RESOLVIDOS PELA INVENÇÃO

Em geral, porque quando um dispositivo de codificação realiza um processo de codificação usando um método de codificação convencional 5 em um vídeo de alta resolução, o tamanho de memória requerido para produzir um único tela é grande e a carga do processo de pesquisa de movimento é enorme, há um caso no qual o dispositivo de codificação é construído em tal uma maneira quanto à dividir cada quadro em pequenas regiões tendo um tamanho fixo (o método de codificação de convencional 10 pode usar uma unidade a ser processada que é chamado uma fatia), e realizar uma pesquisa de vetor de movimento na pequenas regiões em paralelo enquanto limitando um intervalo de acesso de memória associado com a pesquisa de vetor de movimento (Fig. 19). Neste caso, pode haver uma necessidade para limitar uma área de memória de imagem de referência que 15 cada unidade de processo de pesquisa de movimento pode acessar a partir do ponto de vista de construção do dispositivo de codificação. Em tal um caso, há um caso no qual o dispositivo de codificação não pode pesquisar por um vetor de movimento ótimo.

A presente invenção é feita de modo a resolver este problema, 20 e é, por conseguinte, um objeto da presente invenção, fornecer um dispositivo de codificação de imagem que fornece um método de codificação de vídeo para realizar uma divisão de tela, codificar uma imagem de alta resolução com estabilidade e com um alto grau de eficiência, e tomar possível decodificar a imagem de alta resolução codificada mesmo se o dispositivo de 25 codificação tem uma quantidade de memória limitada e uma frequência limitada de acesso à memória, e um dispositivo de decodificação de imagem, um método de codificação de imagem e um método de decodificação de imagem.

MEIOS PARA RESOLVER O PROBLEMA

De acordo com a presente invenção, é fornecido um dispositivo de codificação de imagem que divide cada figura de um sinal de imagem em movimento nos blocos de codificação cada uma da qual é uma unidade para predeterminada codificação, e realiza codificação de compressão em cada um dos blocos de codificação usando um prognóstico de movimento compensado, o dispositivo de codificação de imagem incluindo: uma unidade de compensação de movimento para gerar uma imagem de prognóstico para cada uma das áreas de unidade de prognóstico de movimento compensado na qual cada um dos blocos de codificação é dividido usando um vetor de movimento selecionado para cada um dos blocos de codificação ou cada uma das áreas de unidade de prognóstico de movimento compensado; e uma unidade de codificação de comprimento variável para codificar por comprimento variável dados comprimidos sobre uma imagem de diferença comprimida entre um sinal de entrada correspondendo à imagem de prognóstico e à imagem de prognóstico, e informação sobre o vetor de movimento para gerar uma sequência de bits, e para multiplexar um sinalizador de restrição de imagem de referência indicando se é ou não para restringir uma área significativa de imagem de referência que é uma área em uma imagem de referência que pode ser usada para o prognóstico de movimento compensado para uma área tendo um tamanho predeterminado e uma forma predeterminada na sequência de bits, na qual a parte de compensação de movimento determina a área significativa de imagem de referência nas bases do sinalizador de restrição de imagem de referência, e, quando a imagem de prognóstico inclui um pixel localizado fora da área significativa de imagem de referência, realiza um predeterminado processo de extensão.

VANTAGENS DA INVENÇÃO

De acordo com a presente invenção, o dispositivo de codificação que detecta ou gera um vetor de movimento para cada uma das 30 unidades nas quais cada figura é dividida em paralelo é construída em tal uma maneira quanto ser capaz de usa um vetor de movimento ótimo eficientemente com uma pequena quantidade de memória e uma baixa frequência do acesso de memória, e um dispositivo de decodificação que gera uma imagem de prognóstico de movimento compensado usando o vetor de 5 movimento é construído em tal uma maneira quanto à ser capaz de usar um vetor de movimento ótimo eficientemente com uma pequena quantidade de memória e uma baixa frequência de acesso de memória. Por conseguinte, é fornecida uma vantagem de ser capaz tomar possível realizar codificação de imagem de alta eficiência também quando sendo usado para codificar de um 10 vídeo de alta resolução ou o similar tendo uma alta carga de processamento, e tomar possível decodificação de imagem de alta eficiência também quando sendo usada para decodificação de um vídeo de alta resolução ou o similar tendo uma alta carga de processamento.

BREVE DESCRIÇÃO DAS FIGURAS

A Fig. 1 é um desenho explicativo para explicar as características de um dispositivo de codificação de imagem de acordo com a Modalidade 1 da presente invenção; a Fig. 2 é um diagrama em bloco mostrando o dispositivo de codificação de imagem de acordo com a Modalidade 1 da presente invenção; a Fig. 3 é um fluxograma mostrando a operação do dispositivo de codificação de imagem de acordo com a Modalidade 1 da presente invenção; a Fig. 4 é um desenho para explicar um estado no qual um maior bloco de codificação é dividido hierarquicamente em uma grande 25 quantidade de blocos de codificação; a Fig. 5 é um desenho mostrando um exemplo do resultado de dividir uma grande bloco de codificação hierarquicamente em uma grande quantidade de blocos de codificação; a Fig. 6 é um desenho explicativo de ladrilhos cada um dos quais é uma unidade a ser processada de uma parte de prognóstico de movimento compensado 9 de acordo com a Modalidade 1 da presente invenção; a Fig. 7 é um diagrama em bloco mostrando a parte de prognóstico de movimento compensado 9 de acordo com a Modalidade 1 da presente invenção; a Fig. 8 é um desenho explicativo de um sinalizador de restrição de imagem de referência 105 de acordo com a Modalidade 1 da presente invenção; a Fig. 9 é um desenho explicativo do sinalizador de restrição de imagem de referência 105 de acordo com a Modalidade 1 da presente invenção; a Fig. 10 é um diagrama em bloco mostrando um dispositivo de decodificação de imagem de acordo com a Modalidade 1 da presente 15 invenção; a Fig. 11 é um fluxograma mostrando a operação do dispositivo de decodificação de imagem de acordo com a Modalidade 1 da presente invenção; a Fig. 12 é um diagrama em bloco mostrando uma parte de compensação de movimento 70 de acordo com a Modalidade 1 da presente invenção; a Fig. 13 é um diagrama em bloco mostrando customização de uma área que está localizada fora de um ladrilho e que pode ser referida na Modalidade 1 da presente invenção; a Fig. 14 é um diagrama em bloco mostrando um caso no qual informação de movimento é gerada a partir de uma grande quantidade de blocos já codificados na Modalidade 1 da presente invenção; a Fig. 15 é um diagrama em bloco mostrando um exemplo no qual uma imagem é dividida hierarquicamente em uma grande quantidade de blocos de codificação na Modalidade 1 da presente invenção; a Fig. 16 é um diagrama em bloco mostrando um exemplo no qual uma imagem é dividida hierarquicamente em uma grande quantidade de blocos de codificação na Modalidade 1 da presente invenção; a Fig. 17 é um diagrama em bloco mostrando um exemplo na qual uma imagem é dividida hierarquicamente em uma grande quantidade de blocos de codificação na Modalidade 1 da presente invenção; a Fig. 18 é um diagrama em bloco mostrando um exemplo na qual uma imagem é dividida hierarquicamente em uma grande quantidade de blocos de codificação na Modalidade 1 da presente invenção; e a Fig. 19 é um desenho explicativo para explicar um método de codificação convencional.

MODALIDADES DA INVENÇÃO

Daqui em diante, de modo à explicar esta invenção em maiores detalhes, as modalidades preferidas da presente invenção serão descrita com referência aos desenhos anexos.

Modalidade 1.

Uma porção caracterizada de um dispositivo de codificação (um dispositivo de retirada de codificação) de acordo com a Modalidade 1 da presente invenção será explicado com referência à Fig. 1. Na figura, um exemplo no qual uma pesquisa de vetor de movimento no momento de codificação é feita para cada predeterminada unidade dividida de tela que é uma área tendo um tamanho de w*h é mostrada, onde um tamanho de quadro horizontal é expresso como w e o número de linhas alinhadas em uma direção vertical de cada área dividida é expresso como h. E assumido que cada área tendo um tamanho de w*h é a uma (referida como uma área significativa de imagem de referência daqui em diante) na qual a imagem de referência pode ser acessada como dados de imagem significativos. Neste caso, quando fazendo uma pesquisa de vetor de movimento em tal uma maneira quanto à maximizar a mansidão de uma imagem de prognóstico é considerada, é idealmente desejável também aceitar um caso no qual a parte da imagem de prognóstico aponta um lado de fora da área significativa de imagem de referência, conforme mostrado na Fig. 1(a). Contudo, porque nenhuns dados 5 fora de tal uma área significativa de imagem de referência existem em um circuito para fazer uma pesquisa de vetor de movimento, é mecessário forçosamente estreitar o intervalo de pesquisa do vetor de movimento em uma caso efetivo, conforme mostrado na Fig. 1(b), para encontrar um vetor de movimento que completa o acesso para a área significativa de imagem de 10 referência.

Por outro lado, porque o dispositivo de decodificação não realiza um processo de pesquisa de vetor de movimento tendo uma alta carga, conforme mostrado na Fig. 1(c), a necessidade de realizar uma divisão de tela e então realizar processamento paralelo é baixa. Porque cada própria área 15 significativa de imagem de prognóstico não é dividida em tal um caso, todos os pixels em cada bloco de imagem de prognóstico podem ser gerados a partir dos dados de imagem de referência significativos mesmo quando usando quaisquer dos vetores de movimento conforme mostrado nas Figs. 1(a) e 1(b). Em outras palavras, um problema é que embora o dispositivo de 20 decodificação possa gerar uma imagem de prognóstico sem quaisquer problemas mesmo quando recebendo um vetor de movimento ideal, o dispositivo de codificação não pesquisa por qualquer vetor de movimento ideal. Daqui em diante, o a dispositivo de codificação de imagem e o dispositivo de decodificação de imagem de acordo com a Modalidade 1 será 25 explicado.

Nesta modalidade 1, um exemplo no qual o dispositivo de codificação de imagem recebe cada imagem de quadro de um vídeo, realiza codificação de comprimento variável na imagem de quadro para gerar uma sequência de bits após realizar um prognóstico de movimento compensado entre quadros adjacentes e então realizar um processo de compressão com uma transformação e quantização ortogonal em um sinal de diferença de prognóstico que o dispositivo de codificação de imagem adquire, e o dispositivo de decodificação de imagem decodifica a sequência de bits 5 emitidos a partir do dispositivo de codificação de imagem será explicado.

O dispositivo de codificação de imagem de acordo com esta modalidade 1 é caracterizada no fato que o dispositivo de codificação de imagem se adapta a uma mudança local de um sinal de vídeo nas direções de espaço e tempo para dividir o sinal de vídeo em regiões de vários tamanhos, e 10 realiza codificação adaptativa de intraquadro e interquadro. Em geral, um sinal de vídeo tem uma característica de sua complexidade variando localmente no espaço e tempo. Pode haver um caso no qual um padrão tendo uma característica de sinal uniforme em uma área de imagem relativamente grande, tal como uma imagem do céu ou uma imagem de parede, ou um 15 padrão tendo um padrão de textura complicado em uma área de imagem pequena, tal como uma imagem de pessoa ou uma figura incluindo uma textura fina, também coexistem em um determinado quadro de vídeo a partir do ponto de vista de espaço. Também a partir do ponto de vista de time, uma área de imagem relativamente grande, tal como uma imagem de céu ou uma 20 imagem de parede, tem uma pequena mudança local em uma direção do tempo em seu padrão, enquanto uma imagem de uma pessoa ou objeto em movimento tem uma maior mudança temporal porque seu esboço tem um movimento de um corpo rígido e um movimento de um corpo não rígido com relação ao tempo. Embora no processo de codificação um processo para gerar 25 um sinal de diferença de prognóstico tendo pequena potência de sinal e pequena entropia usando um prognóstico temporal e espacial, e por meio disso, reduzindo a quantidade de código total, é realizado, uma quantidade de código de um parâmetro para o prognóstico pode ser reduzido enquanto o parâmetro pode ser aplicado uniformemente a uma região de sinal de imagem tão grande quanto possível. Por outro lado, porque a quantidade de erros ocorrendo no prognóstico aumenta quando o mesmo parâmetro de prognóstico parâmetro é aplicado à região de imagem grande em um sinal de imagem padrão tendo uma grane mudança no tempo e espaço, a quantidade 5 de código do sinal de diferença de prognóstico não pode ser reduzida. Por conseguinte, é desejável reduzir o tamanho de uma região que é submetida a um processo de prognóstico em tal uma região de imagem grande, e por meio disso, reduzindo a energia elétrica e entropia do sinal de diferença de prognóstico mesmo embora o volume de dados do parâmetro que é usado para 10 o prognóstico seja aumentado. De modo a realizar codificação que é adaptada para tais características típicas de um sinal de vídeo, o dispositivo de codificação de imagem de acordo com esta modalidade 1 divide o sinal de vídeo hierarquicamente em blocos enquanto iniciando a partir de cada região tendo um predeterminado tamanho máximo de bloco do sinal de vídeo, e 15 realiza o processo de prognóstico e o processo de codificação para codificar a diferença de codificação em cada um dos blocos em que cada região é dividida.

Um sinal de vídeo tendo um formato que é para ser processado pelo dispositivo de codificação de imagem de acordo com esta modalidade 1 20 pode ser um sinal de YUV que consiste de uma luminância e dois sinais de diferença de cor ou um sinal de vídeo de cor no espaço de cor arbitrário, tal como um sinal de RGB emitido api de um sensor de imagem digital. Como uma alternativa, um sinal de vídeo tendo um formato que é para ser processado pelo dispositivo de codificação de imagem de acordo com esta 25 modalidade 1 é um sinal de vídeo arbitrário no qual cada quadro de vídeo consiste de uma série de amostras digitais (pixels) em duas dimensões, horizontal e vertical, tal como um sinal de imagem monocromático ou um sinal de imagem de infravermelho. A graduação de cada pixel pode ser um de 8 bits, de 10 bits, ou de 12 bits. Na seguinte explicação, embora um caso no qual o sinal de vídeo entrado é um sinal de YUV ao menos que ao contrário especificado, e os dois componente de diferença de cor U e V são sinais tendo um formato de 4:2:0 que são subamostrados com relação ao componente de luminância Y serão mencionados, a presente invenção também pode ser 5 aplicada a um outro formato (por ex., um formato de 4:2:2 formato, um formato de 4:4:4, ou o similar) no qual os períodos de amostragem de U e V são diferentes daqueles do formato de 4:2:0. Além disso, a unidade de dados a ser processada que corresponde à cada quadro do sinal de vídeo é referido como uma “figura”. Nesta modalidade 1, embora uma “figura” é explicada 10 como um sinal de quadro de vídeo sinal no qual varredura progressiva é realizada, uma “figura” pode ser alternativamente um sinal de imagem de campo que é uma unidade que constrói um quadro de vídeo quando o sinal de vídeo é um sinal entrelaçado.

A Fig. 2 é um diagrama em bloco mostrando a estrutura do 15 dispositivo de codificação de imagem de acordo com Modalidade 1 da presente invenção. Um fluxo do processo em um nível de figura do dispositivo de codificação de imagem mostrado na Fig. 2 é mostrado na Fig. 3. Daqui em diante, a operação do dispositivo de codificação de imagem de acordo com esta modalidade 1 será explicada com referência a essas figuras.

No dispositivo de codificação de imagem mostrado na Fig. 2, a parte de controle de codificação 3 determina o tamanho de cada um dos maiores blocos de codificação que é usado para a codificação de uma figura (figura corrente) que é o alvo a ser codificado, e um limite superior no número de camadas hierárquicas nas quais cada maior bloco de codificação é dividido 25 primeiro (etapa SI da Fig. 3). Como um método de determinar o tamanho de cada um dos maiores blocos de codificação, por exemplo, há um método de determinar o mesmo tamanho para todas as figuras de acordo com a resolução do sinal de vídeo entrado 1, e um método de quantificar uma variação na complexidade de um movimento local do sinal de vídeo entrado 1 como um parâmetro e então determinar um pequeno tamanho para uma figura tendo um grande e vigoroso movimento enquanto determinando um grande tamanho para uma figura tendo um pequeno movimento. Como um método de determinar o limite superior no número de camada hierárquica dividida, por 5 exemplo, há um método de aumentar a profundidade da hierarquia, i.e., o ’ número de camadas hierárquicas para tomar possível detectar um movimento mais refinado quando o sinal de vídeo entrado 1 tem um grande e vigoroso movimento ou diminuindo a profundidade da hierarquia, i.e., o número de camadas hierárquicas quando o sinal de vídeo entrado 1 tem um pequeno 10 movimento.

Uma parte de divisão de bloco 2 então divide a figura nos blocos com a maior tamanho de bloco de codificação determinado pela parte de controle de codificação. A parte de controle de codificação 3 hierarquicamente determina um tamanho de bloco de codificação 4 e um 15 modo de codificação 7 correspondendo à cada bloco de codificação em cada camada hierárquica até o número de camada hierárquica atingir o determinado limite superior mencionado acima no número de camada hierárquica dividida para cada área de imagem tendo o maior tamanho de bloco de codificação. A parte de divisão de bloco 2 então divide cada bloco em blocos de codificação 20 5 de acordo com o tamanho de bloco de codificação 4, e emite os blocos de codificação 5 (etapa S2 da Fig. 3).

A Fig. 4 mostra um exemplo no qual cada maior bloco de codificação é hierarquicamente dividido em uma grande quantidade de blocos de codificação 5. Cada maior bloco de codificação é definida como um bloco 25 de codificação cuja componente de luminância, que é mostrado pela “0-ésima camada hierárquica” na Fig. 4, tem um tamanho de (L°, M°). Realizando uma divisão hierárquica com este maior bloco de codificação sendo configurado como um ponto inicial até a profundidade da hierarquia atingir uma predeterminada profundidade que é configurada separadamente de acordo com uma estrutura de árvore, blocos de codificação 5 podem ser obtidos. Na profundidade de n, cada bloco de codificação 5 é uma área de imagem tendo um tamanho de (Ln, Mn). Neste exemplo, embora Ln pode ser o mesmo que ou difere de Mn, o caso de Ln = Mn é mostrado na Fig. 4. Daqui em diante, o tamanho de bloco de codificação 4 é definido como o tamanho de (Ln, Mn) no componente de luminância de cada bloco de codificação 5. De modo a realizar uma divisão em estrutura de árvore, (Ln+1, Mn+1) = (Ln/2, Mn/2) é sempre estabelecida. No caso de um sinal de imagem de vídeo de cor (formato de 4:4:4) no qual todos os componentes de cor têm o mesmo número de amostra, tal como um sinal de RGB, todos os componentes de cor têm um tamanho de (Ln, Mn), enquanto no caso de tratar um formato de 4:2:0, um correspondente componente de diferença de cor tem um tamanho de bloco de codificação de (Ln/2, Mn/2). Daqui em diante, cada bloco de codificação 5 na n-ésima camada hierárquica é expressa como Bn, e um modo de codificação 7 passível de ser selecionado para cada bloco de codificação B" é expresso como m(Bn). No caso de um sinal de vídeo de cor que consiste de uma grande quantidade de componentes de cor, o modo de codificação m(Bn) 7 pode ser configurado em tal uma maneira que um modo individual é usado para cada componente de cor. Daqui em diante, embora uma explicação será feita assumindo que o modo de codificação indica o um para o componente de luminância de um bloco de codificação tendo um formato de 4:2:0 em um sinal de YUV ao menos que ao contrário especificado, a presente invenção também pode ser aplicada a um formato de vídeo arbitrário, um componente de cor arbitrário, e um modo de codificação arbitrário.

O modo de codificação m(B") 7 pode ser um de um ou mais intra modos de codificação (genericamente referido como INTRA) ou um ou mais inter modos de codificação (genericamente referido como INTER), e a parte de controle de codificação 3 seleciona, como o modo de codificação m(Bn), um modo de codificação com a mais alta eficiência de codificação para cada bloco de codificação Bn 5 dentre todos os modos de codificação disponíveis na figura correntemente sendo processada ou um subconjunto desses modos de codificação de acordo com um método de seleção que será mencionado abaixo.

Cada bloco de codificação Bn é ainda dividido em uma ou mais unidades para processo de prognóstico (partições) pela parte de divisão de bloco, conforme mostrado na Fig. 4. Daqui em diante, cada partição pertencendo a um bloco de codificação B" é expresso como Pjn (i mostra um número de partição na n-ésima camada hierárquica). Como a divisão de 10 partição em cada bloco de codificação Bn é realizada é incluída como informação no modo de codificação m(Bn) 7. Enquanto o processo de prognóstico é realizado em cada um de todas as partições Pi” de acordo com o modo de codificação m(B”) 7, um parâmetro de prognóstico individual pode ser selecionado para cada partição Pj".

A parte de controle de codificação 3 gera tal um estado de divisão de bloco conforme mostrado na Fig. 5 para cada maior bloco de codificação, e então especifica blocos de codificação 5. Porções sombreadas mostradas na Fig. 5(a) mostram uma distribuição de partições na qual cada maior bloco de codificação é dividida, e Fig. 5(b) mostra uma situação na 20 qual modos de codificação m(Bn) 7 são respectivamente atribuídos para as partições de acordo com a divisão de camada hierárquica usando um gráfico em estrutura de árvore. Cada nó envolvido por mostrado na Fig. 5(b) é um nó para o qual um modo de codificação 7 é atribuído, i.e., um bloco de codificação 5. Os detalhes desta divisão de camada hierárquica e processo de 25 determinação de modo de codificação realizado pela parte de controle de codificação 3 será mencionado abaixo.

Quando um modo de intracodificação é selecionado para um bloco de codificação 5 (quando m(Bπ) INTRA) (quando Sim na etapa S3 da Fig. 3), uma parte de intraprognóstico 8 mostrada na Fig. 2 realiza um processo de intraprognóstico em cada partição Pjn no bloco de codificação Bn nas bases de um parâmetro de intraprognóstico 10 para gerar uma imagem de intraprognósticoll, e emite a imagem de intraprognóstico 11 gerada para uma parte de subtração 12 (etapa S4 da Fig. 3). O parâmetro de intraprognóstico 10 usado para a geração da imagem de intraprognósticoll é multiplexada em uma sequência de bits 30 pela parte de codificação de comprimento variável 23 de modo a permitir ao dispositivo de decodificação gerar a completamente mesma imagem de intraprognósticoll. Embora o processo de intraprognóstico mostrado nesta modalidade 1 não é limitado a um de acordo com um algoritmo definido pelos padrões de AVC/H.264 (ISO/IEC 14496- 10), o parâmetro de intraprognóstico necessita incluir informação requerida para o dispositivo de codificação de imagem e o dispositivo de decodificação de imagem para gerar a completamente mesma imagem de intraprognóstico.

Quando um modo de intercodificação é selecionado para um bloco de codificação 5 (quando m(Bn) INTER) (quando Não na etapa S3 da Fig. 3), uma parte de prognóstico de movimento compensado 9 mostrada na Fig. 2 realiza um processo de prognóstico de movimento interquadro em cada partição P" para gerar uma imagem de interprognóstico 17 nas bases de parâmetros de interprognóstico 16, e emite a imagem de interprognóstico 17 gerada e por meio disso, para a parte de subtração 12 e também emite um vetor de movimento 31 para a parte de codificação de comprimento variável 23 (etapa S5 da Fig. 3). Os parâmetros de interprognóstico 16 usados para a geração da imagem de interprognóstico 17 são multiplexados na sequência de bits 30 pela parte de codificação de comprimento variável 23 de modo a permitir ao dispositivo de decodificação gerar a completamente mesma imagem de interprognóstico 17. Os parâmetros de interprognóstico usados para a geração da imagem de interprognóstico incluem: • modo informação no qual a divisão do bloco de codificação Bn em partições é descrita; • o vetor de movimento de cada partição; • imagem de referência indicação informação de índice mostrando que imagem de referência é usada para efetuar um prognóstico quando uma memória de quadro de prognóstico de movimento compensado 5 14 armazena uma grande quantidade de imagens de referência; • informação de índice mostrando que valor prognosticado de vetor de movimento é selecionado e usado quando há uma grande quantidade de candidatos de valor de prognosticado de vetor de movimento; • informação de índice mostrando que filtro é selecionado e 10 usado quando há uma grande quantidade de filtros de interpolação de compensação de movimento; e • informação de seleção mostrando que precisão de pixel é usada quando o vetor de movimento da partição correntemente sendo processada pode mostrar uma grande quantidade de graus de precisão de pixel 15 (meio pixel, 1/4 de pixel, 1/8 de pixel, etc.).

Os parâmetros de interprognóstico são multiplexados na sequência de bits pela parte de codificação de comprimento variável 23 de modo a permitir ao dispositivo de decodificação de imagem gerar a completamente mesma imagem de interprognóstico. Os detalhes do 20 processamento realizado pela parte de prognóstico de movimento compensado 9 serão mencionados abaixo.

A parte de subtração 12 subtrai ou a imagem de intraprognósticoll ou a imagem de interprognóstico 17 da partição P" para obter um sinal de diferença de prognóstico ejn 13 (etapa S6 da Fig. 3). Uma 25 parte de transformação/quantização 19 realiza um processo de transformação ortogonal, tal como uma DCT (transformada de coseno discreto) ou uma transformada de KL, nas quais bases são designadas para uma sequência de aprendizado específico antecipadamente, no sinal de diferença de prognóstico ejn 13 para calcular coeficientes de transformadas nas bases dos parâmetros de codificação de diferença de prognóstico 20 notificados a ela a partir da parte de controle de codificação 3, faz quantização dos coeficientes de transformada nas bases dos parâmetros de codificação de diferença de prognóstico 20 notificados a ela a partir da parte de controle de codificação 3 (etapa S7 da Fig. 3), e emite dados comprimidos 21 que são os coeficiente de transformadas aos quais foi aplicada quantização e por meio disso, para uma parte de transformação/quantização inversa 22 (parte de processamento de transformação/quantização inversa na etapa S8 da Fig. 3), e a parte de codificação de comprimento variável 23 (parte de codificação de comprimento variável na etapa S8 da Fig. 3).

A parte de transformação/quantização inversa 22 faz quantização inversa nos dados comprimidos 21 entrados para ela a partir da parte de transformação/quantização 19 nas bases dos parâmetros de codificação de diferença de prognóstico 20 notificada a ele a partir da parte de controle de codificação 3, e ainda realiza um processo de transformação inversa, tal como uma transformada de DCT inversa ou de KL inversa, para gerar um sinal de diferença de prognóstico decodificado local ejn’ 24 do sinal de diferença de prognóstico einl3, e emitente o sinal de diferença de prognóstico decodificado local para uma parte de adição 25 (etapa S9 da Fig. 2).

Os parâmetros de codificação de diferença de prognóstico 20 incluem um parâmetro de quantização usado para a codificação do sinal de diferença de prognóstico e" 13 dentro de cada bloco de codificação 5, e informação de tamanho de bloco de transformação sobre cada bloco de codificação 5. Os parâmetros de codificação de diferença de prognóstico 20 são determinados como parte da determinação do modo de codificação da etapa S2 mostrada na Fig. 3 pela parte de controle de codificação 3. O parâmetro de quantização pode ser fornecido em uma forma na qual é atribuído para cada maior bloco de codificação em uma base de uma a um, e é usado em comum para cada um dos blocos de codificação nos quais cada maior bloco de codificação é dividido, ou é altemativamente expresso como um valor de diferença a partir de um valor estabelecido para cada maior bloco de codificação para cada um dos blocos de codificação. A informação de 5 tamanho de bloco de transformação pode ser expresso usando uma divisão de ■ estrutura em árvore, iniciando a partir de cada bloco de codificação 5, como no caso da divisão de cada maior bloco de codificação, ou pode ser expresso em uma forma na qual cada um de alguns tamanhos de bloco de transformação passíveis de serem selecionados é expresso como informação 10 de índice. A parte de transformação/quantização 19 e a parte de transformação/quantização inversa 22 realizam seus respectivos processos especificando o tamanho de bloco para o processo de transformação e quantização nas bases desta informação de tamanho de bloco de transformação. Esta informação de tamanho de bloco de transformação pode 15 ser configurada em tal uma maneira quanto à ser determinado não para cada bloco de codificação 5, mas para cada uma das partições P" na qual cada bloco de codificação 5 é dividida.

A parte de adição 25 adiciona o sinal de diferença de prognóstico decodificado local e®’ 24 e ou a imagem de intraprognósticoll 20 ou a imagem de interprognóstico 17 para gerar um bloco de codificação imagem decodificado local Bn* (referido como uma imagem decodificada local daqui em diante) 26 que é ou um imagem de partição decodificada local Pi"* ou um grupo de imagens de partição decodificado local (etapa S10 da Fig. 3), e emite esta imagem decodificada local 26 para uma parte de filtragem de 25 laço 27 (parte de filtragem de laço na etapa Sll da Fig. 3) e também armazena a imagem decodificada local em uma memória 28 para intraprognóstico(memória para intraprognóstico na etapa Sll da Fig. 3). A imagem decodificada local 26 é um sinal de imagem para o subsequente intraprognóstico. Quando a destinação de saída é a memória para intraprognóstico, o dispositivo de codificação de imagem determina se processou todos os blocos de codificação na figura, e, quando não tendo completado o processo em todos os blocos de codificação, desloca para o próximo bloco de codificação e repetidamente realiza o mesmo processo de 5 codificação no próximo bloco de codificação (etapa S12 da Fig. 3).

Quando a destinação de saída da parte de adição 25 é a parte de filtragem de laço 27, a parte de filtragem de laço 27 realiza um predeterminado processo de filtragem na imagem decodificada local 26 emitida para ele a partir da parte de adição 25, e armazena a imagem 10 decodificada local 29 na qual a parte de filtragem de laço realizou o processo de filtragem na memória de quadro de prognóstico de movimento compensado 14 (etapa SI3 da Fig. 3). A imagem decodificada local 29 na qual a parte de filtragem de laço realizou o processo de filtragem é uma imagem de referência 15 para prognóstico de movimento compensado. O 15 processo de filtragem pela parte de filtragem de laço 27 pode ser realizado em cada maior bloco de codificação da imagem decodificada local 26 entrado ou cada bloco de codificação da imagem decodificada local entrado. Como uma alternativa, após o sinal de imagem decodificado local 26 correspondendo à todos os blocos macros de uma tela ser emitido, a parte de filtragem de laço 20 pode realizar o processo de filtragem em todos os blocos macros da uma tela em um momento.

A parte de codificação de comprimento variável 23 codifica por entropia os dados comprimidos 21 emitido para ela a partir da parte de transformação/quantização 19, o modo de codificação 7 emitido para ela a 25 partir da parte de controle de codificação 3 (incluindo o estado da divisão de cada maior bloco de codificação), o parâmetro de intraprognóstico 10 ou os parâmetros de interprognóstico 16, e os parâmetros de codificação de diferença de prognóstico 20 para gerar uma sequência de bits 30 mostrando os resultados codificados daqueles dados (etapa SI4 da Fig. 3).

Daqui em diante, a parte de prognóstico de movimento compensado 9 que é um componente chave da presente invenção será descrita. A parte de prognóstico de movimento compensado de acordo com esta modalidade 1 é construído em tal uma maneira quanto à dividir cada 5 figura em regiões retangulares em uma foram de grade (cada uma das regiões na qual cada figura é dividida é referida como uma ladrilho daqui em diante), e independentemente realizam um prognóstico de movimento compensado em cada um dos ladrilhos, conforme mostrado na Fig. 6. Cada um dos tamanhos horizontal e vertical de cada um dos ladrilhos é um múltiplo integral do 10 tamanho de cada maior bloco de codificação. O estado da divisão de cada figura em ladrilhos pode ser determinado de modo fixo e de modo único, pelo dispositivo de codificação (neste caso, o dispositivo de decodificação realiza o processo de decodificação sem estar consciente de uma estrutura dos ladrilhos). Como uma alternativa, assumindo que o dispositivo de codificação 15 pode também realizar um processo outro do que o processo de prognóstico de movimento compensado independentemente, o dispositivo de codificação pode ser construído em tal uma maneira como para determinar a posição do canto esquerdo superior de cada um dos ladrilhos e o tamanho de cada um dos ladrilhos livremente, e o dispositivo de decodificação pode ser construído em 20 tal uma maneira quanto à ter um mecanismo para transmitir a posição do canto esquerdo superior de cada um dos ladrilhos e o tamanho de cada um dos ladrilhos via a sequência de bits. Cada um dos ladrilhos pode ser uma fatia para uso no AVC/H.264 convencional ou o similar. A parte de prognóstico de movimento compensado 9 realiza o processo em cada bloco de codificação 5 25 em cada um dos ladrilhos. Como um resultado, porque a parte de prognóstico de movimento compensado pode dividir o interior de cada figura em ladrilhos e realizar o processo de prognóstico de movimento compensado nos ladrilhos em paralelo, o dispositivo de codificação pode realizar o processo de codificação em uma velocidade alta mesmo quando o sinal de vídeo entrado tem uma alta resolução.

A estrutura da parte de prognóstico de movimento compensado 9 é mostrada na Fig. 7. Primeiro, a parte de geração de informação de movimento 100 gera informação de movimento 103 sobre cada 5 partição Pj" no bloco de codificação 5 e emite a informação de movimento para uma parte de geração de imagem de interprognóstico 104, por exemplo, fazendo uma pesquisa de vetor de movimento com referência a imagem de referência 15, ou referindo à informação de movimento 102 sobre uma grande quantidade de blocos já codificados já codificados mantidos na memória de 10 informação de movimento 101. Neste momento, a parte de geração de informação de movimento 100 gera a informação de movimento nas bases do valor de um sinalizador de restrição de imagem de referência 105 indicando se é ou não para restringir uma área na imagem de referência 15 que pode ser usado para o prognóstico de movimento compensado (referido como a área 15 significativa de imagem de referência daqui em diante) para uma predeterminada área (por ex., área do ladrilho corrente).

Esta geração é mostrada nas Figs. 8 e 9. Quando o sinalizador de restrição de imagem de referência 105 está ON (Fig. 8), i.e., quando “a área do title corrente é definida como a área significativa de imagem de 20 referência”, a parte de prognóstico de movimento compensado toma uma medida de, quando a partição corrente é movida usando o vetor de movimento, e uma parte dos pixels na partição na posição para a qual a partição corrente é movida está localizada fora da área significativa de imagem de referência, adicionando pixels adjacentes a uma porção de 25 extremidade da área significativa de imagem de referência para gerar pixels que virtualmente serve como uma imagem de prognóstico usando um predeterminado método. Como um método de adicionar pixels adjacentes a uma porção de extremidade da área significativa de imagem de referência para gerar pixels que virtualmente servem como uma imagem de prognóstico, há um método de replicar os pixels na porção de extremidade da área significativa de imagem de referência, ou um método de espalhar pixels em tomo dos pixels na porção de extremidade da área significativa de imagem de referência para adicionar os pixels para a área significativa de imagem de referência. Porque a parte de prognóstico de movimento compensado pode limitar a quantidade de memória para armazenar figuras de referência para o tamanho de cada ladrilho fazendo nesta maneira, é fornecida uma vantagem de ser capaz para reduzir a quantidade de memória usada. Porque o lado exterior de cada ladrilho também pode ser referido adicionando pixels usando um predeterminado método mesmo quando a quantidade de memória para armazenar figuras de referência é limitada, não é necessário forçosamente estreitar o intervalo da pesquisa de vetor de movimento, diferente no caso da Fig. 1, uma contribuição é feita para um melhoramento da eficiência de codificação.

Ao contrário, quando o sinalizador de restrição de imagem de referência 105 está OFF, i.e., quando “nenhuma restrição é imposta na área significativa de imagem de referência”, a parte de prognóstico de movimento compensado determina o vetor de movimento gerado pela parte de geração de informação de movimento 100 em tal uma maneira que, quando a partição corrente é movida usando o vetor de movimento, todos os pixels na partição na posição para a qual a partição corrente é movida existe na área significativa de imagem de referência (figura). Quando não há nenhum limite na quantidade de memória disponível (quando uma memória tendo uma quantidade requerida para armazenar as imagens de referência pode ser alocada), é fornecida uma vantagem de ser capaz de melhorar a eficiência de codificação porque todos os pixels em cada imagem de referência podem ser referidos. Além disso, quando o sinalizador de restrição de imagem de referência 105 está OFF, e há um limite na quantidade de memória disponível a partir do ponto de construção do dispositivo de codificação, o intervalo de pesquisa pode ser determinado em tal uma maneira que somente pixels em cada ladrilho são referidos através da pesquisa do vetor de movimento (no caso da Fig. 1(b), e, quando a informação de movimento é gerada com referência a informação de movimento sobre uma grande quantidade de 5 blocos já codificados, e a informação de movimento sobre uma grande quantidade de blocos já codificados inclui um vetor de movimento que se refere a um lado de fora do ladrilho, o vetor de movimento pode ser excluído a partir da informação de movimento ou pode ser corrigido. Porque a parte de prognóstico de movimento compensado pode reduzir a quantidade de 10 informação a ser processado não realizando o processo de adição de pixel para adicionar pixels para uma porção de extremidade da área significativa de imagem de referência, a parte de prognóstico de movimento compensado pode realizar um processo de controle, por exemplo, configurando o sinalizador de restrição de imagem de referência 105 para OFF quando a 15 capacidade de prognóstico não é melhorada mesmo embora a parte de prognóstico de movimento compensado realize o processo de adição de pixel.

A parte de geração de imagem de interprognóstico 104 gera e emite uma imagem de interprognóstico 17 nas bases da informação de movimento 103, a imagem de referência 15 e o sinalizador de restrição de 20 imagem de referência 105 entrado nela. Quando o sinalizador de restrição de imagem de referência 105 está ON, para um pixel pertencendo a um ladrilho na partição na posição para a qual a partição corrente é movida usando o vetor de movimento (informação de movimento 103), a parte de geração de imagem de interprognóstico gera dados de imagem de referência virtualmente usando 25 os dados de imagem de referência no ladrilho para obter uma imagem de interprognóstico 17, ao passo que para um pixel pertencendo para o lado de fora do ladrilho na partição, a parte de geração de imagem de interprognóstico gera dados de imagem de referência virtualmente de acordo com o mesmo procedimento que aquele do método usado pela parte de geração de informação de movimento 100 para obter uma imagem de interprognóstico 17. Ao contrário, quando o sinalizador de restrição de imagem de referência r 105 está OFF, é assumido que a parte de geração de imagem de interprognóstico realiza um prognóstico na figura total. O sinalizador de restrição de imagem de referência 105 é entrado para a parte de codificação de comprimento variável 23, e é codificado por entropia como um parâmetro de sintaxe de maior ordem, que é definida em uma base por sequência ou outra unidade, e é multiplexada na sequência de bits 30. A imagem de interprognóstico 17 gerada pela parte de' geração de imagem de interprognóstico 104 tem de ser equivalente a uma imagem de interprognóstico 72 adquirida pelo dispositivo de decodificação, como será mencionado abaixo.

A parte de prognóstico de movimento compensado 9 tendo a estrutura mencionada acima fornece uma vantagem de ser capaz de otimamente prognosticar e gerar um vetor de movimento ou fazendo uma pesquisa de vetor de movimento ou obtendo o vetor de movimento de um bloco já codificado para fazer a imagem de prognóstico gerada e por meio disso, sempre coincidir com a imagem de prognóstico obtida pelo dispositivo de decodificação mesmo quando independentemente realizando o processo de geração de informação de movimento em uma base de ladrilho.

A seguir, o dispositivo de decodificação de imagem que decodifica a sequência de bits 30 emitida pelo dispositivo de codificação de imagem de acordo com esta modalidade será explicado. Fig. 10 é um diagrama em bloco mostrando uma estrutura do dispositivo de decodificação de imagem de acordo com Modalidade 1 da presente invenção. Um fluxo de um processo em um nível de figura do dispositivo de decodificação de imagem da Fig. 10 é mostrado na Fig. 11. Daqui em diante, a operação do dispositivo de decodificação de imagem de acordo com esta modalidade 1 será explicada com referência a esses diagramas.

Quando o dispositivo de decodificação de imagem de acordo com esta modalidade 1 recebe a sequência de bits 30, uma parte de decodificação de comprimento variável 61 realiza um processo de decodificação de comprimento variável na sequência de bits 30 (etapa S21 da 5 Fig. 11) para decodificar um tamanho de quadro em uma base por sequência ou por figura, cada sequência consistindo de um ou mais quadros de figuras. A parte de decodificação de comprimento variável determina o maior tamanho de bloco de codificação e o limite superior no número de camadas hierárquicas divididas, que são determinadas pelo dispositivo de codificação 10 de imagem de acordo com esta modalidade 1, de acordo com o mesmo procedimento que aquele de acordo com o qual o dispositivo de codificação os determina (etapa S22 da Fig. 11). Por exemplo, quando o maior tamanho de bloco de codificação é determinado de acordo com a resolução do sinal de vídeo entrado, a parte de decodificação de comprimento variável determina o 15 maior tamanho de bloco de codificação nas bases do tamanho de quadro decodificado e de acordo com o mesmo procedimento que aquele de acordo com o qual o dispositivo de codificação determina. Quando o maior tamanho de bloco de codificação e o limite superior no número de camadas hierárquicas divididas são multiplexadas na sequência de bits 30 pelo 20 dispositivo de codificação, a parte O dispositivo de codificação de imagem de acordo com esta modalidade 1 multiplexa o modo de codificação, que o dispositivo de codificação de imagem obteve em um base por bloco de codificação dividindo a imagem hierarquicamente entrada em uma grande quantidade de blocos de codificação com cada maior bloco de obteve 25 realizando a transformação e quantização, na sequência de bits 30. A parte de decodificação de comprimento variável 61 que recebe esta sequência de bits 30 decodifica o estado de divisão de cada determinado maior bloco de codificação que está incluída no modo de codificação para cada maior bloco de codificação.

A parte de decodificação de comprimento variável especifica os blocos de codificação hierarquicamente nas bases do estado da divisão decodificada (etapa S23 da Fig. 11).

A parte de decodificação de comprimento variável então 5 decodifica o modo de codificação 62 atribuído à cada bloco de codificação especificado. A parte de decodificação de comprimento variável decodifica o parâmetro de prognóstico 63 para cada uma de uma ou mais unidades para processo de prognóstico (partições) na qual cada bloco de codificação é dividido nas bases da informação incluída no modo de codificação 10 decodificado 62 (etapa S24 da Fig. 11).

Quando o modo de codificação 62 atribuído a um bloco de codificação é um modo de intracodificação, a parte de decodificação de comprimento variável decodifica um parâmetro de intraprognóstico 63a para cada uma de uma ou mais partições que é incluída no bloco de codificação e 15 que é uma unidade para processo de prognóstico. A parte de decodificação de comprimento variável realiza a decodificação do parâmetro de intraprognóstico 63a calculando um valor prognosticado do parâmetro de intraprognóstico 63a of cada partição Pjn que é um alvo as ser decodificado de acordo com o mesmo procedimento como aquele de acordo com o qual o 20 dispositivo de codificação faz nas bases do parâmetro de intraprognóstico 63a de uma partição adjacente já decodificada para a partição Pj" e usando o valor prognosticado calculado.

Quando o modo de codificação 62 atribuído a um bloco de codificação é um modo de intercodificação, a parte de decodificação de 25 comprimento variável decodifica parâmetros de interprognóstico 63b para cada uma de uma ou mais partições que está incluída no bloco de codificação e que é uma unidade para processo de prognóstico.

A parte de decodificação de comprimento variável ainda divide cada partição que é uma unidade para processo de prognóstico em uma ou mais partições cada uma da qual é uma unidade para processo de transformação nas bases da informação de tamanho de bloco de transformação (não mostrado) que está incluída nos parâmetros de codificação de diferença de prognóstico 65, e decodifica os dados comprimidos (o coeficiente de transformadas transformado e ao qual foi aplicado quantização) para cada uma da uma ou mais partições que é uma unidade para processo de transformação (etapa S24 da Fig. 11).

Quando a destinação de saída da parte de decodificação de comprimento variável 61 é um comutador de seleção (comutador de seleção na etapa S25 da Fig. 11), e o modo de codificação 62 atribuído ao bloco de codificação é um modo de intracodificação (SIM na etapa S26 da Fig. 11), a parte de intraprognóstico 69 realiza um processo de intraprognóstico em cada partição no bloco de codificação para gerar uma imagem de intraprognóstico 71 nas bases do parâmetro de intraprognóstico decodificado 63a (etapa S27 da Fig. 11), e emite uma imagem de intraprognóstico 71 gerado por meio disso para uma parte de adição 73. O processo de intraprognóstico com base no parâmetro de intraprognóstico 63a é o mesmo que aquele realizado pela parte de intraprognóstico 8 do dispositivo de codificação.

Quando o modo de codificação 62 atribuído ao bloco de codificação é um modo de intercodificação (NÃO na etapa S26 da Fig. 11), uma parte de compensação de movimento 70 realiza um processo de prognóstico de movimento de interquadro em cada partição no bloco de codificação para gerar uma imagem de interprognóstico 72 nas bases dos parâmetros de interprognóstico decodificado 63b (incluindo o vetor de movimento) (etapa S28 da Fig. 11), e emite a imagem de interprognóstico 72 gerada por meio disso para a parte de adição 73.

Por outro lado, quando a destinação de saída da parte de decodificação de comprimento variável 61 é uma parte de transformação/quantização inversa 66 (parte de transformação/quantização inversa na etapa S25 da Fig. 11), a parte de transformação/quantização inversa 66 faz quantização inversa dos dados comprimidos 64 entrado nela em uma base por unidade de processo de transformação a partir da parte de decodificação de comprimento variável 61 nas bases do parâmetro de 5 quantização incluído nos parâmetros de codificação de diferença de prognóstico 65, e gera um sinal de diferença de prognóstico decodificada 67 realizando um processo de transformação inverso, tal como uma transformada de DCT inversa ou uma KL inversa (etapa S29 da Fig. 11), e emite o sinal de diferença de prognóstico decodificado para a parte de adição 73.

A parte de adição 73 adiciona o sinal de diferença de prognóstico decodificado 67 e a imagem de intraprognóstico 71 ou a imagem de interprognóstico 72 para gerar uma imagem de partição decodificada (etapa S30 da Fig. 11), e emite a imagem de partição decodificada 74 como um grupo de uma ou mais partições decodificadas incluídas no bloco de codificação para uma parte de filtragem de laço 78, e também armazena a imagem de partição decodificada em uma memória 77 para intraprognóstico. A imagem de partição decodificada 74 é um sinal de imagem usada para o subsequente intraprognóstico.

Após o processo em todos os blocos de codificação ser concluído (SIM na etapa S31 da Fig. 11), a parte de filtragem de laço 78 realiza o mesmo processo de filtragem que aquele realizado pela parte de filtragem de laço 27 do dispositivo de codificação na imagem decodificada 79 (etapa S32 da Fig. 11), e armazena a imagem decodificada 79 na qual a parte de filtragem de laço realizou o processo de filtragem em uma memória de quadro de prognóstico de movimento compensado 75. Esta imagem decodificada 79 é uma imagem de referência 76 usada para o subsequente processo de compensação de movimento, e é também uma imagem reproduzida.

Daqui em diante, a parte de compensação de movimento 70 que é um componente caracterizado da presente invenção será explicada. A estrutura interna da parte de compensação de movimento 70 é mostrada na Fig. 12. Primeiro, a parte de geração de informação de movimento 200 se refere aos parâmetros de interprognóstico 63b fornecidos a ela a partir da 5 parte de decodificação de comprimento variável 61 e informação de movimento 202 sobre uma grande quantidade de blocos já codificados mantida em uma memória de informação de movimento 201 para gerar informação de movimento 203 sobre cada partição Pjn incluindo um vetor de movimento, e entra esta informação de movimento 203 para uma parte de 10 geração de imagem de interprognóstico 204. A parte de geração de imagem de interprognóstico 204 gera e emite uma imagem de interprognóstico 72 nas bases da informação de movimento 203 entrada nela, a imagem de referência 76 para prognóstico de movimento compensado, e o sinalizador de restrição de imagem de referência 105 decodificado a partir da sequência de 15 bits 30 pela parte de decodificação de comprimento variável 61. Quando o sinalizador de restrição de imagem de referência 105 está ON, para um pixel pertencendo a um ladrilho na partição na posição para a qual a partição corrente é movida usando o vetor de movimento, a parte de geração de imagem de interprognóstico gera dados de imagem de referência virtualmente 20 usando os dados de imagem de referência no ladrilho para obter uma imagem de prognóstico, ao passo que para um pixel pertencendo ao lado de fora do ladrilho na partição, a parte de geração de imagem de interprognóstico gera dados de imagem de referência virtualmente de acordo com o mesmo procedimento que aquele do método usado pela parte de geração de 25 informação de movimento 100 para obter uma imagem de prognóstico. Ao contrário, quando o sinalizador de restrição de imagem de referência 105 está OFF, nenhum limite é imposto no intervalo de uso da imagem de referência, e a parte de geração de imagem de interprognóstico adquire uma imagem de prognóstico a partir da imagem de referência de acordo com o mesmo procedimento que o método usado pela parte de geração de informação de movimento 100. A imagem de interprognóstico 72 gerada pela parte de geração de imagem de interprognóstico 204 tem de ser equivalente à imagem de interprognóstico 17 obtida pelo dispositivo de codificação, conforme 5 mencionado acima, e a introdução do sinalizador de restrição de imagem de referência 105 pode evitar um erro entre a imagem de prognóstico no momento da codificação e que no momento da decodificação e permite ao dispositivo de codificação realizar a codificação com estabilidade e com um alto grau de eficiência mesmo quando o dispositivo de codificação realiza o 10 processo de pesquisa de vetor de movimento nos ladrilhos ou o similar em paralelo.

Além disso, embora o dispositivo de codificação de acordo com esta modalidade 1 seja construído em tal uma maneira quanto à adicionar pixels localizados no lado de fora do ladrilho virtualmente para gerar pixels 15 quando o sinalizador de restrição de imagem de referência 105 está ON, o dispositivo de codificação pode ser altemativamente construído em tal uma maneira quanto à personalizar a área localizada no lado de fora do ladrilho que pode ser referida conforme mostrado na Fig. 13. Fig. 13 mostra uma operação quando o sinalizador de restrição de imagem de referência 105 está 20 ON em um caso no qual a área significativa de imagem de referência é estendida. Os parâmetros dx e dy para especificar a área significativa de imagem de referência podem ser predeterminados como valores fixos em um nível de perfil ou o similar. Como uma alternativa, os parâmetros podem ser multiplexados na sequência de bits como uma parte de um cabeçalho de maior 25 ordem, tal como um cabeçalho de sequência ou um cabeçalho de figura. Porque a área de referência pode ser determinada de acordo com a habilidade do dispositivo quando os parâmetros são definidos usando um cabeçalho de maior ordem, é possível fornecer um equilíbrio entre a habilidade e a carga de implementação. Mesmo neste caso, quando uma área localizada no lado de fora da área significativa de imagem de referência é referida, pixels podem ser adicionados virtualmente e uma imagem de prognóstico pode ser gerada, como anteriormente explicado com referência à Fig. 8 e assim por diante.

Como um exemplo do caso de gerar a informação de 5 movimento a partir da grande quantidade de blocos mencionada acima já codificados, um modo no qual ou a informação de movimento (o vetor de movimento, o índice da imagem de referência, a direção de prognóstico, etc.) de um bloco adjacente já codificado ou a informação de movimento de um bloco espacialmente localizada na mesma posição na imagem de referência, 10 que é mantida na memória de informação de movimento 101 ou 201, é sucessivamente usada, apenas como ela é, pode ser considerado, conforme mostrado na Fig. 14. De modo a obter a informação de movimento correspondendo a este modo, o que é necessário é apenas deixar somente um candidato que pode ser usado como informação de movimento nas bases do 15 sinalizador de restrição de imagem de referência 105 para gerar informação de movimento. Porque um candidato correspondendo à MV_A pontos para uma área localizada no lado de fora da área significativa de imagem de referência no exemplo mostrado na Fig. 14, este candidato é excluído dos candidatos passíveis de serem selecionados e somente candidatos 20 correspondendo à MV_B e MV_C são determinados como candidatos passíveis de serem selecionados como a informação de movimento correspondendo a este modo. Quando não excluindo o candidato correspondendo à MV_A a partir dos candidatos passíveis de serem selecionados, um índice tendo um dos seguintes três diferentes valores 25 possíveis: 0, 1, e 2 é fornecido, e a quantidade de informação do índice codificado aumenta. É fornecida uma vantagem de ser capaz de também reduzir a quantidade de código requerida para notificar o índice realizando o processamento de exclusão.

Embora o sinalizador de restrição de imagem de referência 105 seja multiplexado na sequência de bits 30 como um sintaxe de cabeçalho de maior ordem, tal como uma sequência, nesta modalidade 1, uma restrição correspondendo a este sinalizador pode ser altemativamente definido em um nível de perfil ou o similar, e a mesma vantagem é fornecida neste caso.

Embora o caso de Ln = Mn conforme mostrado na Fig. 4 é mostrado nesta modalidade 1, pode haver um caso de Ln^ Mn. Por exemplo, conforme mostrado na Fig. 15, pode haver um caso de Ln = kMn. Neste caso, (Ln+1, Mn+1) se toma igual à (Ln, Mn) na próxima divisão, e subsequentes divisões podem ser realizadas na mesma maneira que aquelas mostradas na 10 Fig. 4 ou em tal uma maneira que (Ln+1, Mn+1) se toma igual à (Ln/2, M72), conforme mostrado na Fig. 16. Como uma alternativa, conforme mostrado na Fig. 17, uma da divisão s mostrada na Fig. 15 e aquela mostrada na Fig. 16 pode ser selecionada. No caso no qual uma da divisão mostrada na Fig. 15 e aquela mostrada na Fig. 16 pode ser selecionado, um sinalizador indicando que divisão é selecionada é codificado. Porque este caso pode ser implementado horizontalmente acoplando blocos cada um dos quais consiste de 16 x 16 pixels, como aqueles definidos no AVC/H.264 divulgado em referência da não patente de número 1, é fornecido uma vantagem de facilmente realizar a codificação que mantém compatibilidade com tal um 20 método existente.

Embora Ln = kMn no caso mencionado acima, não é necessário dizer que uma divisão pode ser realizada no mesmo um grande bloco de codificação que é formado de blocos acoplados verticalmente, tal como blocos no caso de kLn = Mn, sob a mesma idéia.

As unidades de bloco para transformação da parte de transformação e quantização e aquelas da parte de transformação/quantização inversa podem ser determinadas de modo único, de acordo com as unidades para processo de transformação, ou pode ser formado para ter uma estrutura hierárquica conforme mostrado na Fig. 18. Neste caso, um sinalizador indicando se é ou não para realizar uma divisão é codificada para cada camada hierárquica.

A divisão mencionada acima pode ser realizada para cada partição ou para cada bloco de codificação.

Embora seja assumido que a transformação mencionada acima seja um quadrado, esta transformação pode ser altemativamente um retângulo ou o similar.

Enquanto a invenção foi descrita emite modalidades preferidas, é para ser entendido que uma combinação arbitrária de duas ou 10 mais das modalidades mencionadas acima pode ser feita, várias mudanças podem ser feitas em um componente arbitrário de acordo com qualquer uma das modalidades mencionadas acima, e um componente arbitrário de acordo com qualquer uma das modalidades mencionadas acima pode ser omitido dentro do escopo da invenção.

APLICABILIDADE INDUSTRIAL

Conforme mencionado acima, porque o dispositivo de codificação de imagem e o método de codificação de imagem de acordo com a presente invenção toma possível realizar codificação de imagem de alta eficiência também quando sendo usada para codificação de um vídeo de alta 20 ou o similar tendo uma alta carga de processamento, e o dispositivo de decodificação de imagem e o método de decodificação de imagem de acordo com a presente invenção toma possível realizar decodificação de imagem de alta eficiência também quando sendo usada para decodificação de um vídeo de alta resolução ou o similar tendo um alta carga de processamento, o 25 dispositivo de codificação de imagem, o dispositivo de decodificação de imagem, o método de codificação de imagem, o método de decodificação de imagem são adequados para uso como um dispositivo de codificação de imagem, um dispositivo de decodificação de imagem, um método de codificação de imagem, e um método de decodificação de imagem que são usados para uma tecnologia de codificação de compressão de imagem, uma tecnologia de transmissão de dados comprimidos de imagem, e assim por diante, respectivamente.

EXPLANAÇÕES DE NUMERAIS DE REFERÊNCIA

2 - parte de divisão de bloco, 3 - parte de controle de codificação, 6 - comutador de seleção, 8 - parte de intraprognóstico, 9 - parte de prognóstico de movimento compensado, 12 - parte de subtração, 14 - memória de quadro de prognóstico de movimento compensado, 19 - parte de transformação/quantização, 22 - parte de transformação/quantização inversa, 10 23 - parte de codificação de comprimento variável, 25 - parte de adição, 27 - parte de filtragem de laço, 28 - memória para intraprognóstico, 61 - parte de decodificação de comprimento variável, 66 - parte de transformação/quantização inversa, 68 - comutador de seleção, 69 - parte de intraprognóstico, 70 - parte de compensação de movimento, 73 - parte de 15 adição, 75 - memória de quadro de prognóstico de movimento compensado, 77 - memória para intraprognóstico, 78 - parte de filtragem de laço, 100 - parte de geração de informação de movimento, 101 - memória de informação de movimento memória, 104 - parte de geração de imagem de interprognóstico , 200 - parte de geração de informação de movimento, 201 - 20 memória de informação de movimento memória, 204 - parte de geração de imagem de interprognóstico .

Claims

1. Dispositivo de codificação de imagem que divide cada figura de um sinal de imagem em movimento em blocos de codificação cada um do qual é uma unidade para predeterminada codificação, e realiza codificação de compressão em cada um dos blocos de codificação usando um prognóstico de movimento compensado, o dispositivo de codificação de imagem compreendendo: uma unidade de compensação de movimento (9) para gerar uma imagem de prognóstico para cada uma das áreas de unidade de prognóstico de movimento compensado nas quais cada um dos blocos de codificação é dividido usando um vetor de movimento selecionado para cada um dos blocos de codificação ou cada uma das áreas de unidade de prognóstico de movimento compensado; e uma unidade de codificação de comprimento variável (23) para codificar por comprimento variável dados comprimidos sobre uma imagem de diferença comprimida entre um sinal de entrada correspondendo à imagem de prognóstico e à imagem de prognóstico, e informação sobre o vetor de movimento para gerar uma sequência de bits, e para multiplexar um sinalizador de restrição de imagem de referência (105) indicando se é ou não para restringir a área significativa de imagem de referência que é uma área em uma imagem de referência que pode ser usada para o prognóstico de movimento compensado para uma área tendo um tamanho predeterminado e uma forma predeterminada na sequência de bits, caracterizado pelo fato de que a unidade de compensação de movimento (9), quando o sinalizador de restrição de imagem de referência (105) está ON, estende a área significativa de imagem de referência.

2. Dispositivo de decodificação de imagem compreendendo: uma unidade de decodificação de comprimento variável para decodificar comprimento variável dados codificados multiplexados em uma sequência de bits para obter dados comprimidos associados com um bloco de codificação, um sinalizador de restrição de imagem de referência indicando se é ou não para restringir uma área significativa de imagem de referência que é uma em uma imagem de referência que pode ser usada para o prognóstico de movimento compensado para uma área tendo um tamanho predeterminado e uma forma predeterminada, e informação de movimento sobre um vetor de movimento; uma unidade de prognóstico de movimento compensado para realizar um processo de prognóstico de movimento compensado no bloco de codificação em uma base da informação de movimento para gerar uma imagem de prognóstico; e uma unidade de geração de imagem decodificada para adicionar uma pré-imagem de diferença comprimida gerada a partir dos dados comprimidos associados com o bloco de codificação e a imagem de prognóstico para gerar uma imagem decodificada, caracterizado pelo fato de que quando o sinalizador de restrição de imagem de referência (105) está ON, estende a área significativa de imagem de referência.

3. Método de codificação de imagem para dividir cada figura de um sinal de imagem em movimento nos blocos de codificação cada um dos quais é uma unidade para predeterminada codificação, e realizar codificação de compressão em cada um dos blocos de codificação usando um prognóstico de movimento compensado, o método de codificação de imagem compreendendo: uma etapa de compensação de movimento para gerar uma imagem de prognóstico para cada uma das áreas da unidade de prognóstico de movimento compensado na qual a cada um dos blocos de codificação é dividido usando um vetor de movimento selecionado para o cada um dos blocos de codificação ou a cada uma das áreas de unidade de prognóstico de movimento compensado; e uma etapa de codificação de comprimento variável para codificar por comprimento variável dados comprimidos sobre uma imagem de diferença comprimida entre um sinal de entrada correspondendo à imagem de prognóstico e à imagem de prognóstico, e informação sobre o vetor de movimento para gerar uma sequência de bits, e multiplexar um sinalizador de restrição de imagem de referência indicando se é ou não para restringir uma área significativa de imagem de referência que é uma área em uma imagem de referência que pode ser usada para o prognóstico de movimento compensado para uma área tendo um tamanho predeterminado e uma forma predeterminada na sequência de bits, caracterizado pelo fato de quando o sinalizador de restrição de imagem de referência (105) está ON, a área significativa de imagem de referência é estendida.

4. Método de decodificação de imagem compreendendo: uma etapa de decodificação de comprimento variável para decodificar comprimento variável dados codificados multiplexados em uma sequência de bits para obter dados comprimidos associados com um bloco de codificação, um sinalizador de restrição de imagem de referência indicando se é ou não para restringir uma área significativa de imagem de referência que é uma área em uma imagem de referência que pode ser usada para o prognóstico de movimento compensado para uma área tendo um tamanho predeterminado e uma forma predeterminada, e informação de movimento sobre um vetor de movimento; uma etapa de prognóstico de movimento compensado para realizar um processo de prognóstico de movimento compensado no bloco de codificação em uma base da informação de movimento para gerar uma imagem de prognóstico; e uma etapa de geração de imagem decodificada para adicionar uma imagem de diferença pré-comprimida gerada a partir dos dados comprimidos associados com o bloco de codificação e a imagem de prognóstico para gerar uma imagem decodificada, caracterizado pelo fato de que quando o sinalizador de restrição de imagem de referência (105) está ON, a área significativa de imagem de referência.