BRPI0516336B1

BRPI0516336B1 - equipamento e método para a geração de uma seqüencia de vídeo codificado usando uma predição de dados de movimento de camada intermediária

Info

Publication number: BRPI0516336B1
Application number: BRPI0516336A
Authority: BR
Inventors: Marpe Detlev; Schwarz Heiko; Wiegand Thomas
Original assignee: Fraunhofer Ges Forschung
Priority date: 2004-10-15
Filing date: 2005-09-21
Publication date: 2018-11-06
Also published as: JP2011101410A; BR122018016188B1; US20060083309A1; CN101980535A; CN101931813A; CN101959066B; CN102055986B; US20110038421A1; CN101980535B; US20120250759A1; US8218628B2; CN101959066A; CN101854550B; CN101931811B; JP5470280B2; CN102055985A; US8873623B2; CN102098514A; CN102055985B; CN101931810A

Abstract

equipamento e método para a geração de uma seqüência de vídeo codificado usando uma predição de dados de movimento de camada intermediária. na codificação escalável de vídeo em conjunto com compensação de movimentos (1006, 1014) ambas em uma camada de base (1002) e em uma camada de realce, é feita uma predição (1014, 1016) dos dados de movimentos da camada de realce (1004) usando os dados de movimentos da camada de base (1004) para obter um conceito de escalabilidade, que proporciona, por um lado, uma flexibilidade máxima para o cálculo dos dados de movimentos das diferentes camadas e, por outro lado, admite uma menor taxa de dados.

Description

(54) Título: EQUIPAMENTO E MÉTODO PARA A GERAÇÃO DE UMA SEQÜENCIA DE VÍDEO CODIFICADO USANDO UMA PREDIÇÃO DE DADOS DE MOVIMENTO DE CAMADA INTERMEDIÁRIA (51) IntCI.: H04N 19/103; H04N 19/105; H04N 19/107; H04N 19/109; H04N 19/11; (...).

(52) CPC: H04N 19/103; H04N 19/105; H04N 19/107; H04N 19/109; H04N 19/11; (...).

(30) Prioridade Unionista: 13/12/2004 DE 10 2004 059 993.9; 15/10/2004 US 60/619,457.

(73) Titular(es): FRAUNHOFER-GESELLSCHAFT ZUR FÕRDERUNG DER ANGEWANDTEN FORSCHUNG E.V..

(72) Inventorfes): HEIKO SCHWARZ; DETLEV MARPE; THOMAS WIEGAND.

(86) Pedido PCT: PCT EP2005010223 de 21/09/2005 (87) Publicação PCT: WO 2006/042611 de 27/04/2006 (85) Data do Início da Fase Nacional: 12/04/2007 (57) Resumo: EQUIPAMENTO E MÉTODO PARA A GERAÇÃO DE UMA SEQÜÊNCIA DE VÍDEO CODIFICADO USANDO UMA PREDIÇÃO DE DADOS DE MOVIMENTO DE CAMADA INTERMEDIÁRIA. Na codificação escalável de vídeo em conjunto com compensação de movimentos (1006, 1014) ambas em uma camada de base (1002) e em uma camada de realce, é feita uma predição (1014,1016) dos dados de movimentos da camada de realce (1004) usando os dados de movimentos da camada de base (1004) para obter um conceito de escalabilidade, que proporciona, por um lado, uma flexibilidade máxima para o cálculo dos dados de movimentos das diferentes camadas e, por outro lado, admite uma menor taxa de dados.

t

Q • · · · · ♦ · EQUIPAMENTO E MÉTODO PARA A GERAÇÃO DE

UMA

SEQÜÊNCIA DE VÍDEO CODIFICADO USANDO

UMA PREDIÇÃO DE DADOS

DE

MOVIMENTO DE CAMADA INTERMEDIÁRIA

Descrição

A presente invenção refere-se a sistemas de codificação de video e, em particular, a sistemas de codificação de vídeo escalável, que podem ser usados em conexão com o padrão de codificação de video H.264/AVC ou com os novos sistemas de codificação de video MPEG.

O padrão H.264/AVC é o resultado de um projeto de padronização de video do ITU-T video coding expert group VCEG e do

ISO/IEC motion picture expert group (MPEG). Os obj etivos principais desse projeto de padronização são prover um nítido conceito de codificação de video, com comportamento de compressão muito bom e, ao mesmo tempo, gerar uma representação de video adequada à rede, que compreenda tanto a aplicação com caráter de conversação, como vídeo telefonia, assim como aplicações sem o caráter de conversão (armazenagem, difusão, transmissão de fluxo).

Além do padrão ISO/IEC 14496-10 supramencionado, também existe uma pluralidade de publicações referentes ao padrão.

Somente como exemplo, é feita referência ao The Emerging H.264AVC standarc., Ralf Schãfer, Thomas Wiegand and Heiko Schwarz, EBU

Technical Review, January 2003. Além disso, a publicação especializada Overview of the H.264/AVC Video Coding Standard, 25 Thomas Wiegand, Gary J. Sullivan, Gesle Bjontegaard and Ajay

Lothra, IEEE Transactions on Circuits and Systems for Video

Technology, July 2003, assim como a publicação especializada Context-based adaptive Binary Arithmethic Coding in the H.264/AVC

Video

Compression Standard, Detlev

Thomas

Wiegand, IEEE Transactions on

Video

Technology, September 2003,

4·

44

Marpe,

Heiko

Circuits and compreendem uma

Schwarz and

Systems for visão geral detalhada dos diferentes aspectos de padrão de codificação de video.

Entretanto, para uma melhor compreensão, será dada uma visão geral do algoritmo de codificação/decodificação de video com referência às Figs. 9 a 11.

		A Fig	9 mostra a	estrutura	completa	de um
10 codificador	de	vídeo,	que geralmente	consiste	de dois estágios
diferentes.	Em	geral,	o primeiro estágio, que	geralmente	opera
relacionado	ao	vídeo,	gera dados	de saída,	que são	então

submetidos a uma codificação de entropia por um segundo estágio, que está indicado por 80 na

Fig. 9. Os dados são dados 81a, coeficientes de transformação quantizada 81b assim como dados de movimento

81c, caracterizado pelo fato de que esses dados 81a, são fornecidos ao codificador de entropia 80 para gerar um sinal de video codificado na saida do codificador de entropia

80.

Especificamente, o sinal de video de entrada é particionado e dividido, respectivamente, em macroblocos, onde cada macrobloco tem 16 x 16 pixels. Então, é escolhida a associação dos macroblocos com os grupos de fatia e as fatias, de acordo com as quais cada macrobloco de cada fatia é processado pela rede de blocos operativos como ilustrado na Fig. 8. Deve ser notado que é possível um eficiente processamento paralelo de macroblocos quando existem diferentes fatias em uma imagem de vídeo. É feita a associação de macroblocos com os grupos de fatia >* • · ·*· *·« «4 • · · • · · · · • · · · « e as • * ·· • · « • · · <» ♦ » w * · · o ♦ · · fatias por meio de um controle do codificador de bloco 82 na

8. Existem diferentes fatias,

Fatia I: A fatia

I é uma fatia caracterizada pelo fato de que todos os macroblocos da fatia são codificados usando uma intra predição.

Fatia P: Além dos tipos de codificação das fatias

I, alguns macroblocos da fatia P também podem ser codificados usando uma inter predição com pelo menos um sinal de predição com movimento compensado por bloco de predição.

Fatia

B:

Além dos tipos de codificadores disponíveis na Fatia P, ser codificados usando alguns macroblocos da Fatia B também podem uma inter predição com dois sinais de predição com movimento compensados por bloco de predição.

Os três tipos de codificadores acima são muito similares aos dos padrões anteriores, porém com a exceção do uso de imagens de referência, como será descrito abaixo. Os dois tipos de codificadores para fatias a seguir são novos no padrão

H. 2 64/AVC:

Fatia SP: É também denominada de fatia P de

comutação, que é codificada de maneira que seja possível uma eficiente comutação entre diferentes imagens pré-codificadas.

Fatia SI: A fatia SI é também denominada de fatia

I de comutação, que permite uma exata adaptação dos macroblocos em uma fatia SP para um acesso randômico direto e para objetivos de 25 recuperação de erro.

De qualquer forma, as fatias são uma seqüência de macroblocos, que são processados na ordem de um raster scan, caso não seja usada uma propriedade do FMO de ordenamento do macrobloco *

Λ · ♦ · · ♦ * · • ♦ * * * · • ·

V *·« flexível, que também pode ser definida no • ·· * »* , ♦ · « * t · • J •

padrão.

·*» ·♦· • · * β • · * ·

Uma imagem • V » « V pode ser particionada em uma ou várias fatias, como ilustrado na

Fig.

11. Assim, uma imagem é uma coleção de uma ou várias fatias. Nesse sentido, as fatias são independentes entre si, já que seus elementos de sintaxe podem ser analisados (divididos em componentes) a partir da taxa de transferência de bits, caracterizada pelo fato de que os valores das amostras podem ser corretamente decodificados na faixa da imagem representada pela

fatia, sem necessitar dos dados de outras fatias, desde que as imagens de referência usadas sejam idênticas tanto no codificador como no decodificador. Entretanto, podem ser necessárias algumas informações de outras fatias para a aplicação do filtro de desbloqueio nos limites das fatias.

A característica FMO modifica a maneira como as imagens são particionadas em fatias e macroblocos, usando o conceito de grupos de fatias. Cada grupo de fatias é um conjunto de macroblocos definido por um macrobloco para o mapeamento do grupo de fatias, que é especificado pelo conteúdo de um conjunto de parâmetros de imagens e por determinadas informações dos

0 cabeçalhos das fatias. Esse macrobloco para o mapeamento do grupo de fatias consiste de um número de identificação de um grupo de fatias para cada macrobloco na imagem, caracterizado pelo fato de que é especificado para qual grupo de fatias pertence o macrobloco associado. Cada grupo de fatias pode ser particionado em uma ou 25 várias fatias, de maneira que uma fatia é uma seqüência de macroblocos dentro do mesmo grupo de fatias, que é processada na ordem de uma amostragem raster dentro do conjunto de macroblocos de um específico grupo de fatias.

Cada macrobloco pode ser *· ·· • · • · · · * · · • · ··· · transmitido ··· • « em ··« ·« • · • ·· • · • · · · • · um ou vários tipos de codificadores, dependendo do tipo de codificador

de fatias. Em todos os	tipos de codificadores de fatias,	são
suportados os	seguintes	tipos	de	intracodificação,	que	são
5 denominados de	intra„4_X4 ou intra.	-16x16	, caracterizado pelo	fato	de
que ainda são	suportados	um modo	de	predição chroma e um	modo	de
predição I_p_CM.
	0 modo	intra__4x4	se	baseia na predição	de cada

bem adequado para é muito bloco chroma

4x4 separadamente

codificar partes de uma imagem com detalhes importantes. O modo intra.i_6xi6/ por outro lado, faz uma predição de

16x16 sendo mais adequado para a codificação de uma imagem.

Além desses dois tipos de todo o bloco chroma de regiões suaves predição chroma, é feita uma predição chroma em separado. Como alternativa para intra_₄v₁ e intra-igxie, o tipo de codificador I_4_X4 permite que o codificador simplesmente pule a predição, assim como o código de transformação, e por sua vez transmite diretamente os valores das

amostras codificadas. O modo I__PCm tem os seguintes objetivos:

Permite que o codificador represente os valores das amostras precisamente. Fornece uma maneira para representar os valores de conteúdo de imagem muito anormal exatamente sem ampliação de dados. Além disso, permite determinar um limite rígido para o número de bits, que o codificador precisa ter para o manuseio do 25 macrobloco sem perda de eficiência de codificação.

Ao contrário dos padrões de codificação de vídeo anteriores (isto é, H.263 plus e MPEG-4 visual), onde a intra predição foi feita no domínio da transformação, a intra predição

em H.264/AVC é sempre feita no domínio espacial, referindo-se às amostras adjacentes de blocos previamente codificados, que estão à esquerda e acima, respectivamente, do bloco a ser predito (Fig.

10). Em determinados ambientes, onde ocorrem erros de transmissão, isto pode provocar uma propagação de erros, onde essa propagação de erros ocorre devido à compensação de movimentos nos macroblocos intracodifiçados. Assim, pode ser sinalizado um modo de intracodificação limitado, que permite uma predição de somente

macroblocos intracodifiçados adjacentes.

Quando é usado o modo intra__4x4, é predito cada bloco 4x4 das amostras espacialmente adjacentes. As 16 amostras do bloco 4x4 são preditas usando amostras previamente decodificadas nos blocos adj acentes. Pode ser usado um dos 9 modos de predição para cada bloco 4x4. Além da predição DC (onde é usado um valor para predizer todo o bloco modos de predição de direção.

Esses modos são adequados para predizer estruturas de direção em uma imagem, como as bordas em diferentes ângulos.

Além dos tipos de codificadores intra macroblocos, são especificados diferentes tipos de codificadores preditivos ou com compensação de movimentos como os tipos de macroblocos P. Cada tipo de macrobloco P corresponde a uma partição especifica do macrobloco nas formas de blocos, que são usadas para uma predição com movimento compensado. As partições com tamanhos de blocos luma de amostras 16x16, 16x8, 8x8 ou 8x16 são suportadas pela sintaxe. No caso de partições de amostras 8x8, é transmitido um outro elemento de sintaxe para cada partição 8x8. Esse elemento de sintaxe especifica se a respectiva partição 8x8

será ainda particionada em partições de amostras luma 8x4, 4x8 ou

4x4 e nas correspondentes amostras chroma.

O sinal de predição para cada bloco luma MxM codificado com predição é obtido mudando uma região da respectiva 5 imagem de referência especificada por um vetor de movimento de transiação e um índice de referência de imagem. Assim, se o macrobloco for codificado usando quatro partições 8x8, e quando cada partição 8x8 for ainda particionada em quatro partições 4x4,

pode ser transmitida a quantidade máxima de 16 vetores de movimento para um único macrobloco P dentro do denominado campo de movimento.

A fatia do parâmetro de quantização QP é usada para determinar a quantização dos coeficientes de transformação em

H.264/AVC. 0 parâmetro pode assumir 52 valores. Esses valores são dispostos de maneira que um aumento de 1 com relação ao parâmetro de quantização significa um aumento de uma largura de etapa de quantização de cerca de

12% . Isto significa que um aumento do parâmetro de quantização em 6 provoca um aumento exato por um fator 2 da largura da etapa quantizadora. Deve ser notado que uma alteração do tamanho da etapa em cerca de 12 % também significa uma redução da taxa de bits em cerca de 12 %.

Os coeficientes de transformação quantizada de um bloco são geralmente são mostrados em formato de ziguezague e processados usando métodos de codificação de entropia. Os 25 coeficientes 2x2 DC da componente chroma são amostras em seqüência raster scan e podem ser implementadas todas as operações de transformação inversa dentro de H.264/AVC usando somente adições e operações de mudança dos valores inteiros de 16 bits.

<3

Com referência à

Fig. 9, o sinal de entrada é primeiro particionado imagem a imagem em uma seqüência de video, para cada imagem, nos macroblocos com 16x16 pixels. Então, cada imagem é enviada a um subtrator 84, gue subtrai a imagem original, que é enviado por um decodificador 85, que está contido no codificador. Os resultados da subtração, que significa os sinais residuais no domínio espacial, são agora transformados, escalados e quantizados (bloco 86) para obter os coeficientes de

transformação quantizada na linha 81b. Para a geração do sinal de subtração, que é alimentado no subtrator 874, os coeficientes de transformação quantizada são primeiro novamente escalados transformados inversamente (bloco 87) , para serem enviados a um somador 88, cuja saída alimenta o filtro de desbloqueio

89, caracterizado pelo fato de que o sinal de vídeo de saída que, por exemplo, será decodificado por um decodificador, pode ser monitorado na saída do filtro de desbloqueio, por exemplo, com objetivos de controle (saída 90) .

Usando o sinal de saída decodificado na saída

90/

é feita uma estimativa de movimento no bloco 91. Para a estimativa de movimento do bloco 90, é fornecida uma imagem do sinal de vídeo original, como visto na Fig. 9. O padrão permite duas diferentes estimativas de movimento, isto é, uma estimativa de movimento para frente e uma estimativa de movimento para trás. Na estimativa de movimento para frente, o movimento da imagem corrente é estimado com relação à imagem anterior. Na estimativa de movimento para trás, entretanto, o movimento da imagem corrente é estimado usando uma imagem futura. Os resultados da estimativa de movimento (bloco

91) são enviados a um bloco de compensação de movimentos 92, que realiza uma inter predição · · · * 44*44 · · _φ de movimento compensado, particularmente quando um comutador é acionado para o modo de inter predição, como é o caso na

9. Se, entretanto, o comutador 93 for acionado para a predição intra imagens, é feita uma predição intra imagens usando um bloco

490.

Portanto, não são necessários os dados de movimento, já que não é feita compensação de movimentos para uma predição intra imagens.

O bloco de estimativa de movimentos 91 gera dados

de movimentos e campos de movimentos, respectivamente, caracterizado pelo fato de que os dados de movimentos e os campos de movimentos, respectivamente, que consistem de vetores de movimento, são transmitidos ao decodificador, de maneira que possa ser feita uma predição inversa correspondente, que significa a reconstrução usando os coeficientes de transformação e os dados de movimentos. Deve ser notado que no caso de uma predição para frente, o vetor de movimentos pode ser calculado a partir da imagem imediatamente anterior e partir de várias imagens anteriores, respectivamente.

Acima disso, deve ser notado que no caso de uma predição para trás, a imagem corrente pode ser calculada usando a imagem futura imediatamente adjacente e, // claro, também usando outras imagens futuras.

Trata-se de uma desvantagem do conceito de codificação de video ilustrado na Fig. 9, de que este não proporciona uma simples possibilidade de escalabilidade. Como conceito de codificador/decodificador, em que o codificador provê uma taxa de transferência de dados escalados. A taxa de conhecido na técnica, o termo escalabilidade significa um transferência de dados escalados compreende uma camada de escalação base, assim como uma ou mais camadas de escalação de realces. A camada de escalação base compreende uma representação do sinal a ser codificado, geralmente com menor qualidade, mas também com menor taxa de transferência de dados. A camada de /s escalação de realce contém vídeo, que proporciona relação à camada de representação do sinal outro lado, a camada requisitos individuais uma uma outra representação do sinal representação de melhor qualidade de com escalação base, comumente junto com a de de de vídeo na escalação bits _t de camada de escalação base. Por de realce tem, logicamente, maneira que o número de bits para a representação do sinal a ser codificado aumenta em cada camada de realce.

Dependendo do projeto e das possibilidades, o decodificador escalação base comparativa do

Entretanto, a decodificador (às custas da transmissão pelo menos camada de suficiente fará para a decodificação, seja somente da camada de prover uma má representação qualitativamente sinal cada de imagem representado pelo sinal codificado.

adição pode melhorar taxa de bits).

Dependendo do codificador de mais uma camada de escalação, o a qualidade do sinal_r passo a passo da para a camada de escalação implementação e o decodificador, do base, j á que a taxa canal de transmitida de bits da escalação base é tipicamente tão baixa, um canal de transmissão tão limitado. Se que será o canal de será transmitida somente a camada de escalação base, mas não a camada de escalação de realce. Como consequência, o decodificador somente poderá gerar uma representação de baixa qualidade do sinal transmissão não permitir mais larguras de bandas para a aplicação, de imagem.

Comparado com um caso

não escalado,

onde a taxa de dados teria sido tão alta que um sistema de transmissão não teria sido possível, a representação de baixa qualidade é vantajosa. Se o canal de transmissão permitir a transmissão de uma ou várias camadas de realce, o codificador transmitirá uma ou várias camadas de realce para o decodificador, de maneira poder aumentar qualidade do sinal de video de saida passo a passo, dependendo do pedido.

Com relação à codificação das sequências de vídeo, podem ser distintas duas diferentes escalações. Uma escalação é a escalação temporal, no que nem todas as imagens de uma seqüência de video são transmitidas, mas que para a redução da taxa de dados, por exemplo, somente cada segundo quadro, cada terceiro quadro, cada quarto quadro, etc. é transmitido.

A outra escalação é a escalabilidade SNR (SNR razão sinal:ruído), caracterizado pelo fato de que cada camada de escalação, por exemplo, tanto a camada de escalação base como a

primeira, segunda, terceira, ... camada de escalação de realce todas compreendem informações de tempo, mas com qualidade variada.

Assim, a camada de escalação base teria uma baixa taxa de dados, mas uma baixa razão sinal:ruído, onde esta razão sinal:ruído pode então ser aperfeiçoada, passo a passo pela adição em cada de uma camada de escalação de realce.

conceito de codificador ilustrado na Fig. 9 é

5 problemático, já que se baseia no fato de que somente valores residuais são gerados pelo subtrator 84, sendo então processados.

Esses valores residuais são calculados com base em algoritmos de predição, na disposição mostrada na Fig. 9, que forma um circuito ♦

89, fechado pelo uso dos caracterizado pelo fato no circuito fechado, o fosse implementada uma blocos 86,

87, • · * * * * • ·

88, de que um parâmetro de que significa nos blocos única escalabilidade SNR ♦ it · « · · * * •»· * ·

93, 94 quantização entra

86, 87. Se agora em, por exemplo, cada sinal residual predito sendo primeiramente quantizado com uma largura de etapa quantizadora grossa, e então quantizado passo a passo com larguras de etapa quantizadora mais finas, usando camadas de realce, isto teria as seguintes consequências. Devido à

quantização inversa e à predição, particularmente com relação à estimativa de movimento (bloco 91) e à compensação de movimento (bloco 92), que ocorrem usando a imagem original, por um lado, e a imagem quantizada pelo outro lado, resulta uma divergência das larguras das etapas quantizadoras, tanto no codificador como no decodificador. Isto leva ao fato de que a geração de camadas de escalação de realce no lado do codificador se torna muito problemática. Depois, o processamento das camadas de escalação de realce no lado do decodificador se torna impossível, pelo menos

com relação aos elementos definidos no padrão H.264/AVC. Portanto, a razão é o circuito fechado no codificador de vídeo ilustrado com relação à Fig. 9, onde está contida uma quantização.

No documento de padronização JVT-I 032 tl denominado SNR-Scalable Extension of H.264/AVC, Heiko Schwarz, que Detlev Marpe e Thomas Wiegand apresentaram na nona reunião JVT entre 2 e 5 de dezembro de 2003 em San Diego, foi apresentada uma 25 extensão escalável para H.264/AVC, que compreende uma escalabilidade tanto com relação ao tempo como à razão sinal .-ruído (com igual ou diferente precisão temporal). Portanto, é introduzida uma representação de elevação das partições da sub/3 < 9 banda de tempo, o que permite o uso de * * » * w · » · · * · • · · <· métodos *♦*

V » • · * 4 · n • · * · 1 ·· · « conhecidos • v) para a predição com compensação de movimento.

Os algoritmos codificadores de video baseados em ondiculas, onde são usadas implementações de elevação para a análise de ondiculas e para a síntese de ondiculas, são descritos em J.-R. Ohm, Complexity and delay analysis of MCTF interframe wavelet structures, ISO/IECJTC1/WG11

Doc.M8520, July 2002. Também podem ser encontrados comentários sobre escalabilidade em D.

Taubman, Successive refinement of video: fundamental issues _r past efforts and new directions,

Proc.

of SPIE (VCIP' 03) , vol. 5150, pp. 649-663,

2003, em que, entretanto, são necessárias significativas alterações da estrutura do codificador. De acordo com a invenção, obtido o conceito codificador/decodificador, que por um lado tem possível escalabilidade e pode, por outro lado, se basear em elementos em conformidade com o padrão, particularmente, por exemplo, para a compensação de movimentos.

Antes será feita referência em maiores detalhes a uma estrutura codificador/decodificador com relação à Fig. 3,

primeiro, será ilustrado com relação à Fig. 4 um esquema de elevação básico no lado do codificador e um esquema de elevação inverso no lado do decodificador, respectivamente. Podem ser encontradas explicações detalhadas sobre o histórico da combinação dos esquemas de elevação e das transformações de ondícula em W.

Sweldens, A custom design construction of biorthogonal wavelets,

J. Appl. Comp. Harm. Anal., vol. 3 (no. 2), pp. 186-200, 1996 e I.

Daubechies and W. Sweldens, Factoring wavelet transforms into lifting Steps, J. Fourier Anal. Appl., vol. 4 (no.3), pp. 247269, 1998. Em geral, o esquema de elevação consiste de três /7 • r · ♦ · *

• · ·· • · · • · · ·

etapas, a etapa de decomposição polifásica, a etapa de predição e a etapa de atualização.

A etapa de decomposição compreende particionamento do fluxo de dados no lado de entrada em uma primeira cópia idêntica para o ramal inferior 40a, assim como uma cópia idêntica para o ramal superior 40b. Também, a cópia idêntica do ramal superior 40b é retardada por um estágio de tempo (z^_1), de maneira que uma amostra s_2k+1 com um índice ímpar k passa por um respectivo decimador e downsampler 42a, 42b, respectivamente, da mesma forma que uma amostra com um índice par s_2k· O decimador 42a e 42b, respectivamente, reduz o número de amostras nos ramais superior e inferior 40b, 40a, respectivamente, pela eliminação de cada segunda amostra.

A segunda região II, que se relaciona com a etapa de predição, compreende um operador de predição 43 assim como um subtrator 44. A terceira região, que significa a etapa de atualização, compreende um operador de atualização 45 assim como um somador 46. No lado de saída, existem dois normalizadores 47, 48, para a normalização do sinal passa-alta h_k (normalizador 47) e para a normalização do sinal passa-baixa l_k pelo normalizador 48.

Particularmente, a decomposição polifásica conduz ao particionamento das amostras ímpares e pares de um sinal dado s[k] . Como a estrutura de correlação tipicamente mostra uma característica local, as componentes polifásicas pares e ímpares 25 estão altamente correlacionadas. Assim, em uma etapa final, é feita uma predição (P) das amostras ímpares usando amostras inteiras. O operador de predição (P) correspondente para cada amostra ímpar s_odd [&] = s\2k +1] é uma combinação linear das amostras

• · pares adjacentes -V_even [&]= φ&], isto é, ··· ····· • ·· • · · · • · ·· ······ • · ·

Como resultado da etapa de predição, as amostras impares são substituídas por seus respectivos valores residuais de predição

Deve ser notado que a etapa de predição equivalente filtros de à realização de um filtro passa-alta de dois canais, como ilustrado em

Sweldens, Factoring wavelet transforms into

Fourier Anal. Appl. vol 4 (no.3), pp.

247-269, um banco

I. Daubechies e lifting steps,

1998.

de

W.

J.

Na terceira etapa do esquema de elevação, é feita a filtragem passa-baixa, substituindo as amostras pares -?_even [&] por uma combinação linear de valores residuais de predição h[k]. O respectivo operador de atualização U é dado por

υ(Λ)[*]=Σ'^ΛΐΑ⁺4

I

Substituindo as amostras pares por

4*1=^Η+υ(φ] o sinal dado s[k] pode finalmente ser representado por l(k) e h(k), caracterizado pelo fato de que cada sinal tem a metade da taxa da amostra. Como tanto a etapa de atualização como a etapa de predição são totalmente inversíveis, cuja correspondente transformação pode ser interpretada como banco de filtros de reconstrução perfeita criticamente amostrado. Na realidade, pode ser demonstrado que qualquer família biortogonal de filtros de ondículas pode ser feita por uma seqüência de uma ou * · · ·· • · ·· · • · ·· • · · ·· • · · * · · • · · · · várias etapas de predição e de uma ou várias etapas de atualização. Para a normalização das componentes passa-baixa e passa-alta, os normalizadores 47 e 48 são fornecidos com fatores de escalação adequadamente escolhidos Fj. e F_h, como foi explicado.

O esquema de elevação inverso, que corresponde ao banco de filtro de síntese, está mostrado na

Fig. 4 no lado direito.

Consiste simplesmente da aplicação do operador de predição de atualização em ordem inversa com sinais invertidos, seguido pela reconstrução usando as componentes polifásicas pares e impares.

Especificamente, decodificador direito mostrado na compreende novamente uma primeira região decodificadora

I, uma segunda região decodificadora II, assim como uma terceira região decodificadora III. A primeira região decodificadora cancela o efeito do operador de atualização

45. Isto é realizado pelo fornecimento do sinal passa-alta, que foi renormalizado por um outro normalizador 50, para o operador de atualização 45.

Então, o sinal de saída do operador de atualização do lado do decodificador

5 é enviado ao subtrator 52, contrariamente ao somador 46 na Fig. 4. De maneira correspondente, é processado o sinal de saída do preditor 43, cujo sinal de saída é agora enviado a um somador 53 e não ao subtrator como no lado do codificador. Agora, ocorre um upsampling do sinal pelo fator 2 em cada ramal (blocos 54a, 54b). Então, o ramal superior é mudado por uma amostra no futuro, o que é equivalente a retardar o ramal inferior, para então realizar uma adição dos fluxos de dados no sinal reconstruído s_k na saída do banco de filtro de síntese.

ramal superior e no ramal inferior em um somador 55, para obter o

Podem ser implementadas várias ondícuias pelo *

preditor 43 e o operador de atualização 45, respectivamente. Se a denominada ondícula hair for implementada, o operador de predição e ο operador de atualização recebem a seguinte equação:

P>lair (Seven )[^k] = ^S[^2k] ^{e U}Hair (^h)[^kJ = “ ^hM ' de maneira que correspondam ao sinal de saída (análise) alta e passa-baixa não normalizado, respectivamente, do passafiltro haír.

No caso da ondícula de ranhura biortogonal

5/3, filtro de análise passa-baixa e passa-alta dessa ondícula tem 5 saídas de filtro, respectivamente, caracterizadas pelo fato de correspondente função de escalação é uma ranhura

B de segunda ordem. Em aplicações de codificador para imagens paradas, como

JPEG 2000, essa ondícula é usada por um esquema codificador de sub-banda de tempo. Em um ambiente de elevação, a predição correspondente e os operadores de atualização da transformação 5/3 são dados como segue:

^P5/3 (\>,n )H = |('í²d + s[2á + 2]) e υ_5Ο(Λ)Μ=|(ΛΜ+φ-Φ

A Fig. 3 mostra um diagrama de blocos de uma exemplares quatro de estrutura codificador/decodificador com

níveis de filtros,	dois	no	lado	do	codificador
decodificador. Pela	Fig.	3,	pode	ser	visto que <
25 filtros, o segundo	nivel	de	filtros,	o terceiro

o primeiro nivel de nível de filtros e e dois no lado do o quarto nivel de filtros são idênticos com relação ao

Zò

* · ♦· • · ♦ * · · · • · codificador. Os niveis de filtros com relação ao decodificador também são idênticos. No lado do codificador, cada nível de filtros compreende um preditor para trás M_i0 assim como um preditor para frente M_u 61 como elementos centrais. 0 preditor para trás 60 5 corresponde em princípio ao preditor 43 da Fig. 4, enquanto o preditor para frente 61 corresponde ao operador de atualização da Fig. 4.

Ao contrário da Fig.

4, deve ser notado que a

Fig. 4 refere-se a um fluxo de amostras, em que a amostra tem um índice ímpar 2k+l, enquanto outra amostra tem um índice par 2k. Entretanto, como já explicado com relação á Fig. 1, a notação da

Fig. 3 refere-se a um grupo de imagens ao invés de a um grupo de amostras. Se uma imagem tiver, por exemplo, um número de amostras e imagens, respectivamente, essa imagem é enviada totalmente.

Então, a próxima imagem é enviada a, etc. Assim, não mais existem amostras impares e pares, mas imagens impares e pares. De acordo com a invenção, o esquema de elevação descrito para amostras impares e pares se aplica ás imagens ímpares e pares, respectivamente, cada uma das quais tem uma pluralidade de amostras. Agora, o preditor amostra por amostra 43 da Fig. 4 se torna a predição de compensação de movimento para trás 60, enquanto o operador de atualização amostra por amostra 45 se torna a predição de compensação de movimentos para frente imagem a imagem 61.

Deve ser notado que os filtros de movimento, que consistem de vetores de movimento e representam coeficientes para o bloco 60 e 61, são calculados para duas imagens relacionadas subsequentes e são transmitidos como informações colaterais do

-| q·· ·*··

19» * · *« • * L · *«·“ * *♦ * ♦ ·· • ·<· « * ·· ·*· ·«*

codificador para o decodificador. Entretanto, é uma importante vantagem do conceito da invenção que os elementos 91, 92, como descritos com referência à Fig. 9 e padronizados no padrão H.264/AVC, possam ser facilmente usados para calcular ambos os campos de movimentos M₁₀ e os campos de movimentos Mn

Assim, nenhum novo preditor/operador de atualização deve ser usado para o conceito da invenção, mas o já existente algoritmo mencionado no padrão de vídeo, que é examinado e verificado quanto à

funcionalidade e eficiência, pode ser usado para a compensação de movimentos na direção para frente ou na direção para trás.

Particularmente, a estrutura geral do banco de filtros usado ilustrado na Fig. 3 mostra uma decomposição temporal do sinal de vídeo com um grupo de 16 imagens, que são enviadas para uma entrada 64. A decomposição é uma decomposição temporal diádica do sinal de vídeo, caracterizado pelo fato de que na configuração mostrada na

Fig. 3 com quatro níveis 2⁴=16 de imagens, o que significa um tamanho de grupo de 16 imagens, necessária para a obtenção da representação com a menor resolução temporal, o que significa os sinais na saída 28a e na saída 28b.

Assim, se forem agrupadas 16 imagens, isto leva a um retardo de 16 imagens, o que torna o conceito, mostrado na Fig.

com quatro níveis, bastante problemático para aplicações interativas.

se forem objetivadas aplicações interativas, é preferível

Assim, formar menores grupos de imagens, como o agrupamento de quatro ou oito imagens. Então, o retardo é correspondentemente reduzido, de maneira que o uso para aplicações interativas se torna possível. Nos casos em que a interatividade não é necessária, como para propósitos de armazenagem, etc., o número de imagens de um grupo, <75 que significa o tamanho do correspondente, como para 32,

Dessa forma,

20«*· • · * · grupo, ·< · * ····»

I» ·» • · • * · I * « pode ser ·· «

« • « aumentado «

• · de • · ·· • · • · forma

64, etc., imagens.

é usada uma aplicação interativa do esquema de elevação com compensação de consiste da predição de compensação de como em H.264/AVC, compreendendo ainda que compreende

Tanto a etapa processo de movimentos movimentos uma etapa hair-based, que para trás (M_i0) , de atualização, uma compensação de movimentos para frente (M_i3) .

de pr edição como a etapa de atualização usam compensação de movimentos, como ilustrado na

H.264/AVC. Também, não movimentos, como também o número de referência 89 na

O segundo somente é usada a compensação de filtro de desbloqueio 89 indicado

Fig. 9.

pelo nivel de filtros compreende novamente o downsampler 66a, 66b, o subtrator 69, um preditor para trás 67, um preditor para frente 68, assim como um somador 70 e ainda um meio de processamento para enviar a primeira e a segunda imagem passaalta do segundo nível para uma saida do outro meio de processarnento, enquanto a primeira e a segunda imagens passa-baixa do segundo nivel são enviadas pela saida do somador 70.

Além disso, o codificador da Fig. 3 compreende um terceiro nível, assim como um quarto nível, caracterizado pelo fato de que é enviado um grupo de 16 imagens para a entrada do quarto nível 64. Em uma saida passa-alta de quarto nivel 72, que também é denominada de HP4, são enviadas oito imagens passa-alta quantizadas com um parâmetro de quantização Q e passa-baixa em uma saída passa-baixa 73 do quarto nível de correspondentemente processadas. Também, são enviadas oito imagens filtros, que são alimentadas em uma entrada c/ Ç de filtros. Esse nível, novamente é efetivo para gerar quatro imagens passa-alta em uma saída passa-alta 75, que também é denominada de HP3, e para gerar quatro imagens passa-baixa em uma saída passa-baixa 7 6, que são alimentadas em uma entrada 10 do 5 segundo nível de filtros e decompostas.

Deve ser particularmente notado que o grupo de imagens processado por um nível de filtros não necessariamente deve ser de imagens de vídeo originando-se de uma seqüência

original de video, mas também pode ser de imagens passa-baixa, que são enviadas por um maior nível seguinte de filtros em uma saída passa-baixa do nível de filtros.

Além disso, deve ser notado que o conceito de codificador mostrado na Fig. 3 para 16 imagens pode facilmente ser reduzido para oito imagens, quando simplesmente é omitido o quarto nível de filtros e o grupo de imagens é enviado na entrada 74. Da mesma forma, o conceito mostrado na

Fig. 3 também pode ser ampliado para um grupo de imagens, pela adição de um quinto nível de filtros e então pelo envio de imagens passa-alta na saída passa-alta do quinto nível de filtros, alimentando as dezesseis imagens passa-baixa na saída do quinto nível de filtros na entrada 64 do quarto nível de filtros.

O conceito do tipo árvore do lado do codificador é também aplicado no lado do decodificador, mas agora não mais, como no lado do codificador, do nível alto para o nível baixo mas, 25 no lado do decodificador, do nível mais baixo para o nível mais alto. Portanto, o fluxo de dados é recebido a partir de um meio de transmissão, denominado esquematicamente de camada de abstração da rede 100, e a taxa de transferência de bits recebida é

4 4 4 4

4

4 primeiramente submetida a um outro processamento inverso usando um • 4 outro meio de processamento inverso, para obter uma versão reconstruída da primeira imagem passa-alta do primeiro nível na saída do meio 30a e uma versão reconstruída da imagem passa-baixa de primeiro nível na saída do bloco 30b da Fig. 3. Então, de maneira análoga à metade direita da Fig. 4, primeiro a predição de compensação de movimentos para frente é revertida por meio do preditor 61, para então subtrair o sinal de saída do preditor 61

da versão reconstruída do sinal passa-baixa (subtrator 101).

O sinal de saída do subtrator 101 é enviado a um preditor de compensação para trás 60 para gerar um resultado de predição, que é adicionado à versão reconstruída da imagem passaalta em um somador 102. Então, ambos os sinais, que significa os ramais do ramal inferior 103a, 103b, são levados à taxa de dupla amostragem, usando o upsampler 104a, 104b, caracterizado pelo fato de que então o sinal no ramal superior é retardado ou acelerado, dependendo da implementação.

feito pela ponte 10 4a, 104b

Deve ser notado que o upsampling é simplesmente pela inserção de alguns zeros, o que corresponde ao número de amostras de uma imagem. A mudança pelo retardo de uma imagem pelo elemento mostrado com z ¹ no ramal superior 103b com relação ao ramal inferior 103a mostra que a adição por um somador

106 faz com que as duas imagens passabaixa de segundo nível ocorram de maneira subsequente no lado de saída com relação ao somador 106.

imagens passa-baixa de segundo nível são então enviadas para o

As versões reconstruídas da primeira e da segunda filtro inverso do lado do decodificador do segundo nível, sendo aí combinadas novamente com as imagens passa-alta de segundo nível

filtros transmitidas pela implementação idêntica do banco de inverso para obter uma seqüência das quatro imagens passa-baixa de terceiro nível em uma saída 101 do segundo nível. As quatro imagens passa-baixa de terceiro nível são então combinadas em um nível de filtros inverso do terceiro nível com as imagens passaalta de terceiro nível transmitidas para obter oito imagens passabaixa de quarto nível em formato subseqüente em uma saída 110 do filtro inverso de terceiro nível. Essas oito imagens passa-baixa de terceiro nível serão então combinadas novamente com as oito imagens passa-alta de quarto nível recebidas a partir do meio de transmissão 100 pela entrada

HP4, em um filtro inverso de quarto nível, conforme discutido em relação ao primeiro nível_t para obter um grupo reconstruído de 16 imagens em uma saída 112 do filtro inverso de quarto nível.

Assim, em todos os estágios do banco de filtros de análise, duas figuras, sejam as figuras originais ou as figuras que representam os sinais passa-baixa e gerados em um próximo nível mais alto, são decompostas em um sinal passa-baixa e em um sinal passa-alta. O sinal passa-baixa pode ser considerado como uma representação das características comuns das imagens de entrada, enquanto o sinal passa-alta pode ser considerado como uma representação das diferenças entre as imagens de entrada. No estágio correspondente do banco de filtro de síntese, as duas imagens de entrada são novamente reconstruídas usando o sinal passa-baixa e o sinal passa-alta. Como as operações inversas da etapa de análise são feitas na etapa de síntese, o banco de filtro de análise/síntese (sem quantização, é claro) garante uma reconstrução perfeita.

• * • * • · ·

A única ocorrência de perdas é devida a uma quantização nos demais meios de processamento, como em 26a,

26b, forma fina, é obtida uma boa razão sinal:ruído. Se, entretanto, a quantização for feita muito grosseiramente, é obtida uma razão sinal:ruído relativamente má, mas com baixa taxa de bits, o que significa baixa demanda.

Sem escalabilidade SNR, pode ser implementado um controle de escalabilidade de tempo já com o conceito mostrado na

Fig. 3. Portanto, é usado o controle de escalabilidade de tempo

120, que é formado para obter a saída passa-alta e passa-baixa, respectivamente, e as saídas dos demais meios de processamento (26a, 26b, 18 , respectivamente, no lado de entrada para gerar um fluxo de dados escalado a partir desses fluxos parciais de dados TP1, HP1, HP2, HP3, HP4, que tem a versão processada da primeira imagem passa-baixa e a primeira imagem passa-alta em uma camada de escalação base. Então, a versão processada da segunda imagem passa-alta poderia se acomodar em uma primeira camada de

escalação de realce. As versões processadas das imagens passa-alta de terceiro nível poderíam ser acomodadas em uma segunda camada de escalação de realce, enquanto as versões processadas das imagens passa-alta de quarto nível são introduzidas em uma terceira camada de escalação de realce. Portanto, somente baseado na camada de escalação base, o decodificador já poderia gerar uma seqüência de número de imagens reconstruídas por grupo sempre pode ser dobrado.

A funcionalidade do decodificador é tipicamente controlada por um imagens passa-baixa de baixo nível com menor qualidade de tempo, que significa duas imagens passa-baixa de primeiro nível por grupo de imagens. Com a adição de cada camada de escalação de realce, o controle de escalação, que é formado de escalação estão contidas no fluxo para detectar quantas camadas de dados e quantas camadas de escalação devem ser consideradas pelo decodificador durante a decodificação, respectivamente.

O documento JVT, JVT-J 035, com o título SNRScalable Extension of H.264/AVC Heiko Schwarz,

Thomas Wiegand, apresentado durante a décima

Waikoloa, extensão ilustrado escalação de dezembro de escalável nas Figs.

de tempo é

SNR do individuais, é obtida de

Detlev Marpe reunião JVT

2003, mostra and em uma esquema de decomposição temporal

4. Particularmente, uma camada de particionada em subcamadas de escalação SNR caracterizada pelo fato de que uma camada de base SNR maneira que uma determinada camada de tempo é quantizada com uma primeira largura de etapa mais grossa para obter a camada coisas, é feita uma quantização inversa sinal de diferença, etapa quantizadora quantização é subtraído que mais escalação. Entretanto, escalação de quantizadora de base SNR. Então, entre outras inversa, e o sinal resultante do sinal original para obter é então quantizado com uma largura da um de fina para a segunda requantizada com a largura da subtrair o para obter etapa obter a camada segunda camada de de escalação quantizadora mais fina para sinal obtido após um outro sinal de a requantização diferença, que, mais fina, represente uma segunda camada camada de realce SNR, respectivamente.

Portanto, foi achado do sinal original outra vez após a de escalação SNR e uma que os esquemas de quantização, porém agora com uma largura de etapa quantizadora escalabilidade supramencionados, baseados na filtragem temporal

com compensação de movimento (MCTF)_t já provêem uma alta flexibilidade com relação à escalabilidade temporal como também à escalabilidade SNR. Mas ainda existe um problema de que a taxa de bits de várias camadas de escalação em conjunto ainda está significativamente acima da taxa de bits, que pode ser obtida quando as imagens da maior qualidade forem codificadas sem escalabilidade. Devido às informações colaterais das diferentes camadas de escalação, os codificadores escaláveis podem nunca

obter a taxa de bits do caso não escalado. Entretanto, a taxa de bits de um fluxo de dados com.várias camadas de escalação deveria aproximar-se o mais possível da taxa de bits do caso não escalado.

Ainda, o conceito de escalabilidade deve prover alta flexibilidade para todos os tipos de escalabilidade, o que significa alta flexibilidade tanto em relação ao tempo como ao 15 espaço, e também com relação ao SNR.

A alta flexibilidade é particularmente importante quando as imagens prontas com baixa resolução forem suficientes, mas seja desejável uma maior resolução temporal. Essa situação ocorre, por exemplo, quando existirem rápidas mudanças nas figuras, como, por exemplo, em vídeos de esportes coletivos, quando além da bola,

Uma muitas pessoas se movimentam ao mesmo tempo.

outra desvantagem dos conceitos existentes de escalabilidade, é que utilizam os dados de movimentos idênticos para todas as camadas de escalação, que ou limitam a flexibilidade 25 da escalabilidade ou resultam em uma predição de movimentos não ideal ou em um sinal residual crescente da predição de movimentos, respectivamente.

Por outro lado, uma transmissão de dados de movimento totalmente escalação conduz a particularmente quando relativamente baixas,

AZ diferente de duas diferentes camadas um bloqueio significativo, já são consideradas camadas de escalação em que a quantização é feita de relativamente grosseira, a porção de dados de movimentos de transferência geral de bits de escalabilidade flexível, diferentes se tornam bits, que que todos de que

SNR maneira na taxa dados de movimentos possíveis, é assim os

Além disso, movimentos escalação, predição se torna considerável. Um caracterizado pelo fato conceito de que e diferentes camadas de escalação compensado pela taxa adicional de particularmente desvantajoso com relação ao fato de esforços são feitos para a redução da taxa de bits.

os novos bits para a transmissão de dados existem particularmente nas camadas mais baixas comparados com os bits dos valores residuais de de de de movimento. Entretanto, particularmente escalação é suficientemente exatamente ai, torna-se desagradável, j á que nas camadas mais baixas de feito um aceitável, parâmetro de quantização tempo, obter uma menor taxa esforço para obter o que significa usar uma pelo suficientemente razoável e, de bits.

um conceito escalável de sistema proporcione uma menor taxa de flexibilidade.

a geração de reivindicação qualidade menos um ao mesmo da presente invenção prover codificador de video, que dados e ainda demonstre uma sequência de video codificado de acordo com a

1, um método para a geração de uma sequência de

Esse objetivo é alcançado por um equipamento para vídeo codificado de acordo com a reivindicação 15, um equipamento

• ··· * ··* * · * ··♦ ··* ····· ·*· · · « ····«· ··· · *· • *·· ···* « · · « «*·· · ····*»· ♦ · · · · ·«· · · · para a decodificação de uma seqüência de video codificado de acordo com a reivindicação 16, um método para a decodificação de uma seqüência de video codificado de acordo com a reivindicação 21, um programa de computador de acordo com a reivindicação 22 ou 5 um meio de leitura por computador de acordo com a reivindicação

23.

A presente invenção se baseia no conhecimento de que outras economias de taxa de dados com flexibilidade simultânea

relativas às diferentes camadas de escalação

SNR ou espaciais são obtidas com o uso dos dados de movimento de base no cálculo dos dados de movimentos de realce dentro de uma compensação de movimentos de realce da camada de escalação de realce. Assim, de acordo com a invenção, no cálculo dos dados de movimentos de realce, não é fingido que não houve dados de movimentos da camada de base, mas os dados de movimentos da camada de base são integrados no cálculo.

Aqui, de acordo com as configurações preferidas

da presente invenção, é usado um conceito de adaptação, isto é, de que para diferentes blocos de uma imagem podem ser tomadas diferentes formas de consideração dos dados de movimento de base, e que obviamente para um bloco pode ser totalmente omitido uma predição de dados de movimentos de realce com os dados de movimento de base como preditor, quando estiver provado que a predição não tem sucesso para a redução dos dados. Caso tiver sido 25 feita alguma predição de dados de movimentos de realce utilizando os dados de movimento de base e sobre qual tipo se tratou, será transmitida na taxa de transferência de bits com as informações de sinalização associadas a um bloco e indicadas ao decodificador.

♦

• 4 movimento

Assim, o decodificador pode recorrer aos dados base já reconstruídos no decodificador para a dados de movimentos para um bloco, caracterizado deve recorrer e de que maneira deve recorrer, pelas informações de sinalização •4

4 de reconstrução pelo fato de de dos que sendo sinalizado na taxa de transferência de bits transmitida bloco a bloco.

Dependendo da implementação, os dados de movimento de base podem ser considerados no cálculo real dos dados de movimentos de realce, já que serão subsequentemente usados pelo compensador de movimento de realce. Entretanto, de acordo com a invenção, é preferível calcular os dados de movimentos de realce independentemente dos dados de movimento de base e usar os dados de movimento de base somente no pós-processamento dos dados de movimentos de realce para obter os dados de movimentos de realce que sejam realmente transmitidos para o codificador de imagem de realce. Portanto, de acordo com a invenção, com o objetivo de alta flexibilidade, é feito um cálculo independente dos dados de movimentos de realce, caracterizado pelo fato de que são usados independentes dos dados de movimentos de realce calculados a partir dos dados de movimento de base para a predição de movimentos no lado do codificador, enquanto os dados de movimento de base são somente usados com o objetivo de calcular um sinal residual de qualquer tipo para reduzir os bits necessários para a transmissão dos vetores de movimento de realce.

Em uma configuração preferida da presente invenção, a predição da camada intermediária dos dados de movimentos é suplementada por uma predição de valor residual da camada intermediária, de maneira a utilizar as redundâncias entre as diferentes camadas de escalação da melhor também nos valores residuais da predição com movimentos e para considerá-las com ob jetivos da de dados.

Em uma configuração invenção, a redução de taxa de dados não predição com compensação de movimentos

forma possível, compensação de redução da taxa preferida é somente realizada camada de escalação, mas também com uma predição da presente obtida por dentro de de camada escalação intermediária das imagens residuais após a predição compensação de movimentos de uma camada inferior, por camada de escalação escalação escalados uma uma de com exemplo, a base, para

Foi temporal, uma camada superior, como a camada determinado que dentro da mesma os individuais com relação de realce.

camada de valores residuais consideradas, à resolução das demais camadas de que ou são preferivelmente com relação à razão sinal:ruído (SNR), também possuem correlações entre os valores residuais após a predição com compensação de movimentos. De acordo

com a invenção, essas correlações são utilizadas vantajosamente, já que é provido um preditor de camada intermediária no lado do codificador para a camada de escalação de realce, que corresponde a um combinador de camada intermediária no lado do decodificador.

De preferência, este preditor de camada intermediária é projetado de maneira adaptativa, para poder decidir, por exemplo, para cada macrobloco, se é compensador o esforço de predição de uma camada 25 intermediária, ou se a predição deveria de preferência conduzir a um aumento da taxa de bits. Este último é o caso de quando o sinal residual da predição se torna maior do que o sinal residual de compensação de movimentos originais da camada de realce com relação a um subseqüente codificador de entropia. Entretanto, o problema não ocorrerá em muitos casos, de maneira que o preditor de camada intermediária é ativado e conduz a uma significativa redução da taxa de bits.

As configurações preferidas da presente invenção

serão explicadas a seguir, com	referência	aos desenhos	de
	acompanhamento, onde:
*	A Fig. Ia é uma	configuração	preferida	de	um
•	codificador da invenção;
10	A Fig. lb é uma	representação	detalhada	de	um

codificador de imagem de base da Fig. Ia;

		A Fig.	lc	é	uma discussão sobre a funcionalidade
de	um marcador	preditor	de	camada intermediária;
		A Fig.	ld	é	uma descrição de um marcador de dados
15 de	movimento;
		A Fig.	le	é	uma implementação preferida do

compensador de movimento de realce 1014 da Fig. Ia;

A Fig. If é uma implementação preferida dos meios de determinação dos dados de movimentos de realce 1078 da Fig. 2;

20			A Fig. lg é uma	representação da	visão geral	de
	três configurações preferidas	para o cálculo	dos dados	de
	movimentos	de	realce e para	o processamento	dos dados	de
	movimentos	de	realce com o	objetivo de sinalização e	da
	transmissão	de	dados residuais, se necessário;
25			A Fig. 2 é uma	l configuração	preferida	do
	decodificador da invenção;
			A Fig. 3 é um	diagrama de	blocos de	um

decodificador com quatro níveis;

Ά • 44

44 ·4 de blocos ·· • · « · • ·

4 4·44 • ·· • 4· • 44 • 4 4 44

A Fig. 4 é um diagrama para a ilustração da decomposição de elevação de um banco de filtros de sub-banda de tempo;

A Fig. 5a é uma representação da funcionalidade do esquema de elevação mostrado na Fig. 4;

A Fig. 5b é uma representação de duas especificações preferidas de levantamento com predição unidirecional (ondicula hair) e predição bidirecional (transformação

5/3) ;

A Fig. 5c é uma preferida dos operadores de predição e atualização com compensação de movimentos e índices de referência para uma escolha arbitrária de duas imagens a serem processadas pelo esquema de elevação;

A Fig. 5d é uma representação do intramodo onde as informações da imagem original podem ser inseridas, macrobloco a macrobloco, nas imagens passa-alta;

A Fig. 6a é uma representação esquemática para a sinalização de um modo macrobloco;

A Fig. 6b é uma representação esquemática para o upsampling de dados de movimentos em uma escalabilidade espacial de acordo com uma configuração preferida da presente invenção;

Fig.

6c é uma representação esquemática da sintaxe de fluxo de dados para diferenças de vetores de movimentos ;

Fig.

6d é uma representação esquemática de um preferida da presente invenção;

realce de sintaxe de valor residual de acordo com uma configuração

A Fig. 7 é um diagrama de visão geral para a

·· ··· · ··· · ·* ·*· ··« «· ·»··«· ··· · · · ♦»····» · ·· · · ·· ·· ««· · · · · · ··· • * «··· · ·«·*«··« • *··* ····* * · * ilustração da mudança de tempo de um grupo de, por exemplo, 8 imagens;

A Fig. 8 é uma colocação preferida de tempo de imagens passa-baixa para um grupo de 16 imagens;

A Fig. 9 é um diagrama de blocos da visão geral da ilustração da estrutura codificadora básica de um codificador de acordo com o padrão H.264/AVC para um macrobloco;

A Fig. 10 é uma disposição do contexto que

consiste de dois elementos pixel adjacentes A e B na esquerda e acima e um elemento de sintaxe corrente C, respectivamente, e

A Fig. 11 é uma representação da partição de uma imagem em fatias.

A Fig. la mostra uma configuração preferida de um equipamento para a geração de uma seqüência de video codificado, que tem uma camada de escalação base e uma camada de escalação de realce. É enviada uma seqüência original de vídeo com um grupo de

8, 16 ou qualquer número de imagens por meio da entrada 1000.

No lado de saída, a seqüência de vídeo codificado contém a camada de escalação base 1002 e a camada de escalação de realce 1004.

camada de escalação de realce 1004 e a camada de escalação base

1002 podem ser enviadas a um multiplexador de fluxo de bits, que gera um único fluxo escalável de bits no lado de saída. Entretanto, dependendo da implementação, é também possível e útil em alguns casos uma transmissão separada das duas camadas de 25 escalação. A Fig. la mostra um codificador para a geração de duas camadas de escalação, que significa uma camada de escalação base e uma camada de escalação de realce. Para obter um codificador, que, caso necessário, gera uma ou mais outras camadas de realce, a

funcionalidade da camada de escalação de realce deve ser repetida, caracterizada pelo fato de que uma maior camada de escalação de realce é sempre fornecida com os dados da próxima camada de escalação de realce mais baixa, como a camada de escalação de realce 1004 mostrada na Fig. 1 é enviada com os dados da camada de escalação base 1002.

Antes será feita referência em detalhes dos diferentes tipos de escalação, como a escalabilidade SNR ou a

escalabilidade espacial ou uma escalabilidade combinada de escalabilidade espacial e SNR; primeiro, será ilustrado o princípio básico da presente invenção. Primeiro, o codificador compreende um compensador de movimento de base ou estimador de movimento de base 1006 para o cálculo dos dados de movimento de base, o que indica como um macrobloco movimentou-se em uma imagem corrente em relação à outra imagem em um grupo de imagens, cuj o compensador de movimento de base 1006 obtém no lado de entrada.

São conhecidas particularmente técnicas para o cálculo dos dados de movimentos, para o cálculo de um vetor de movimentos para um macrobloco, que basicamente uma região de pixels em uma imagem de vídeo digital.

De preferência, é usado o cálculo da compensação de movimentos, já que está padronizado no padrão de codificação de vídeo H.264/AVC.

Portanto, é considerado um macrobloco de uma imagem posterior e é determinado como o macrobloco movimentou-se em comparação com uma imagem anterior. Esse movimento (na direção xy) é indicado por um vetor de movimentos bidimensional, que é calculado pelo bloco 1006 para cada macrobloco e enviado a um codificador de imagem de base 1010 por meio de uma linha de dados de movimentos 1008. Então, é calculado para a próxima imagem como * · ·«· · • · 4 ·« • * ♦ >4 • · 4 4·

4 44

4 4 4' • * ·

A • * ♦ · «

♦ · t • · · um macrobloco movimentou-se da imagem anterior para imagem.

Em uma implementação, esse novo movimentos, que, de certa forma, indica o movimento para uma terceira imagem,

* « * * ♦ · • 4 · ♦ 4 próxima vetor de da segunda pode ser novamente transmitido como um vetor bidimensional. Entretanto, por motivos de eficiência, preferível somente transmitir uma diferença do vetor de movimentos, que significa a diferença do vetor de movimentos de um macrobloco da segunda para a terceira imagem e o vetor de movimentos do macrobloco da primeira para segunda imagem. Também podem ser usadas referências alternativas diferenças de vetores de movimentos, respectivamente, não às imagens imediatamente anteriores, mas a outras imagens anteriores.

Os dados de movimentos, que foram calculados pelo bloco 1006, serão então fornecidos a um preditor de movimento de base 1012, que é projetado para calcular uma sequência base de imagens de erro residual para o uso dos dados de movimentos e do grupo de imagens. Assim, o preditor de movimento de base realiza a compensação de movimentos, que foi, de certa forma, preparada pelo compensador de movimentos e pelo estimador de movimentos, respectivamente. Essa sequência base de imagens de erro residual será então enviada ao codificador de imagem de base. O codificador de imagem de base é formado para prover a camada de escalação base 1002 em sua saída.

Ainda, o codificador da invenção compreende um compensador de movimento de realce ou estimador de movimento de realce 1014 para a detecção dos dados de movimentos de realce.

Esses dados de movimentos de realce são enviados a um preditor de

• 4

Λ •

t·4·*· ♦

movimento de realce 1016, que gera uma seqüência de realce de imagens de erro residual no lado de saída e a envia para um preditor a jusante de camada intermediária 1018. Assim, o preditor de movimento de realce realiza a compensação de movimentos, que, 5 de certa forma, foi preparada pelo compensador de movimentos e pelo estimador de movimentos, respectivamente.

O preditor de camada intermediária é formado para calcular as imagens de erro residual de predição de realce no lado de saída. Dependendo da implementação, o preditor de camada intermediária usa adicionalmente os dados, que obtém do bloco

1016, que significa adicionalmente à seqüência de realce das imagens de erro residual, a seqüência base de imagens de erro residual, como provida pelo bloco 1012 por meio de uma linha de desvio pontilhada 1020. De forma alternativa, o bloco 1018 também 15 pode usar uma seqüência interpolada de imagens de erro residual, que é fornecida na saída do bloco 1012 e interpolada por um interpolador 1022. Novamente de forma alternativa, o preditor de camada intermediária também pode prover uma seqüência base reconstruída de imagens de erro residual, como provida em uma 20 saída 1024 do codificador de imagem de base 1010. Como pode ser visto na Fig. Ia, essa seqüência base reconstruída de imagens de erro residual pode ser interpolada 1022 ou não interpolada 1020.

Assim, em geral, o preditor de camada intermediária opera usando a seqüência base de imagens de erro residual, caracterizada pelo 25 fato de que são obtidas as informações na entrada do preditor de camada intermediária 1026, por exemplo, por uma reconstrução ou interpolação da seqüência base de imagens de erro residual na saída do bloco 1012.

1018,

• 4	• r «	te	• ·*	• 4«	·»· ··«	• «
	•	•	te	•		•	V ·	a
• ·	*		•		•		• ·	··
··		•	•			* 9	t	• ·
•		te	•	• ·	te	» ·	* » · ·	• *
•					te · >	•	t ·	•

intermediária

À jusante do preditor de camada existe um codificador de imagem de realce

1028, que é formado para codificar as imagens de erro residual de predição de realce para obter a camada de escalação de realce codificada 1004.

Em uma configuração preferida da presente invenção, o preditor de camada intermediária é formado para subtrair o sinal em sua salda 1026, macrobloco a macrobloco imagem a imagem, do respectivo sinal, que o preditor de camada

intermediária 1018 obtém do preditor de movimento de realce 1016.

O sinal resultante obtido dessa subtração representa então um macrobloco de uma imagem das imagens de erro residual de predição de realce.

Em uma configuração preferida da presente invenção, o preditor de camada intermediária é formado de maneira 15 adaptativa. Para cada macrobloco, existe um marcador preditor de camada intermediária 1030, que indica o preditor de camada intermediária para o qual deve fazer uma predição, ou que indica,

em seu outro estado, que não devem ser feitas predições, mas que o correspondente macrobloco na saída do preditor de movimento de realce 1016 deve ser enviado para o codificador de imagem de realce 1028 sem mais predições. Essa implementação adaptativa tem a vantagem que uma predição de camada intermediária é somente feita onde seja útil, onde o sinal residual de predição conduza a uma menor taxa de imagem de saída comparada com o caso em que não deva ser feita nenhuma predição de camada intermediária, mas onde os dados de saída do preditor de movimento de realce 1016 tiverem sido diretamente codificados.

No caso de uma escalabilidade espacial, é provido

4ò »« *

• · ··

«*· · ··« · ·· ··· ··« ·· ·*·· ««· · ·· • · · ·· · ·· « · ·· »·· · · · · e · · • »«·· · )······· ♦ »· * * · ·· « · · · um decimador 1032 entre a camada de escalação de realce e a camada de escalação base, sendo formado para converter a seqüência de video em sua entrada, que possui uma determinada resolução espacial, para uma seqüência de video em sua saída, que tem uma menor resolução. Se for pretendida uma escalabilidade SNR pura, que significa que, se o codificador de imagem de base 1010 e 1028 para as duas camadas de escalação operarem com diferentes parâmetros de quantização

1034 e

1036, respectivamente, o

decimador

1032 não é fornecido.

Isto está ilustrado esquematicamente na Fig. Ia pela linha de contorno 1038.

Além disso, no caso de escalabilidade espacial, deve ser provido o interpolador

1022. No caso de uma escalabilidade SNR pura, o interpolador 1022 não é fornecido. Ao invés disso, é tomada a linha de contorno 1020, como ilustrado na

Fig. Ia.

Em uma implementação, o compensador de movimento de realce 1014 é formado para calcular totalmente um campo de

movimento individual, ou usar o campo de movimento calculado pelo compensador de movimento de base

1006 diretamente (linha de contorno 1040) ou após o upsampling por um upsampler 1042. No caso de uma escalabilidade espacial, o upsampler 1042 deve ser fornecido para fazer o upsample do vetor de movimentos dos dados de movimento de base para uma maior resolução, o que significa, por exemplo, escalar. Se, por exemplo, a resolução de realce for duas vezes maior e mais larga que a resolução base, um macrobloco (amostras de luminância 16x16) na camada de realce cobre uma região de uma imagem, o que corresponde a um sub-macrobloco (amostras de luminância 8x8) na camada de base.

Assim, para poder usar o vetor de movimentos de base para o macrobloco da camada de escalação de realce, o vetor de movimentos de base é duplicado em suas componentes x e y, o que significa ser escalado pelo fator

2. Isto será discutido em maiores detalhes com referência à

Fig. 6b.

Se, entretanto, somente houver uma escalabilidade

SNR, o campo de movimentos será o mesmo para todas as camadas de escalação. Portanto, deve ser somente calculado uma vez e pode ser

diretamente usado por todas as camadas superiores de escalação na forma em que foi calculado pela camada de escalação inferior.

Para a predição da camada intermediária, também pode ser usado o sinal na saída do preditor de movimento de base 1012. De maneira alternativa, pode ser usado o sinal reconstruído na linha 102 4. A seleção, que é usada por esses dois sinais para fazer a predição, é feita pelo comutador 1044. O sinal na linha

1024 difere do sinal na saída do bloco 1012 pelo fato de que este já passou por uma quantização. Isto significa que sinal na linha

1024 tem um erro de quantização em comparação com sinal na saída do bloco

1012. A alternativa para o uso do sinal na linha

1024 para a predição da camada intermediária é particularmente vantaj osa quando é usada uma escalabilidade SNR individualmente ou em conjunto com uma escalabilidade espacial, já que o erro de quantização feito pelo codificador de imagem de base 1010 é então conduzido para uma maior camada de escalação, j á que sinal de primeira camada de escalação, que será então quantizado na entrada

1036 pelo codificador de imagem de realce em uma largura de etapa quantizadora tipicamente mais fina e um parâmetro de quantização saída no bloco 1018 conterá então o erro de quantização feito pela alterado 2, respectivamente

e será escrito na camada de escalação de realce 1004.

De maneira análoga ao marcador preditor de camada intermediária 1030, um marcador de dados de movimento 1048 é 5 enviado ao codificador de imagens, de maneira que as informações correspondentes sobre o fato estejam contidas na camada de escalação de realce 1004, que então será usada pelo decodificador, que será discutido com referência à Fig. 2.

Se for usada uma escalabilidade espacial pura, o sinal de saída do preditor de movimento de base 1012, que significa que pode ser usada a seqüência base de imagens de erro residual ao invés do sinal na linha 1024, que significa ao invés da seqüência reconstruída de imagens de erro residual base.

Dependendo da implementação, o controle deste comutador pode ser feito manualmente ou baseado em uma função de benefício de predição.

Aqui, deve ser notado que, de preferência todas as predições, que significa a predição de movimentos, a predição dos dados de movimentos de realce e a predição do valor residual da camada intermediária são projetadas adaptadamente. Isto significa que os valores residuais da predição dos dados de movimentos não devem estar necessariamente presentes para todos os macroblocos ou sub-macroblocos em uma imagem da seqüência base de seqüência base de imagens de erro residual pode também conter macroblocos e sub-macroblocos não preditos, respectivamente, apesar do fato de que é denominada de imagem de erro residual.

imagens de erro residual, por exemplo. Assim, uma imagem da

Essa situação ocorrerá quando for constatado que, por exemplo,

4;

ocorre um novo objeto em uma imagem.

movimento compensado seria inútil, j á predição seria maior do que sinal predição de movimento de realce no bloco

Aqui, uma que o sinal original

1016, em predição na tal com residual imagem.

de

Na caso, seriam desativados operador de tanto o operador atualização desse sub-macrobloco) .

Ainda assim, é mencionada uma seqüência apesar de que possivelmente de predição como eventualmente o bloco (por exemplo, macrobloco ou por motivos de clareza, por exemplo, base de somente residual da seqüência base de imagens um único predição aplicação, imagens de erro residual, uma única imagem de erro de erro residual que tenha bloco que na realidade inclui sinais residuais de de movimentos.

Entretanto, nos casos típicos de todas as imagens de erro residual terão na realidade um grande número movimentos.

aplica

Assim, camada de

No blocos com dados residuais de predição de para a sentido seqüência de a situação na camada da presente invenção, isto também realce de de realce de base. Portanto, no sentido seqüência de realce de imagens de de imagens, caracterizada pelo somente um único bloco da única valores residuais de predição de se imagens de erro residual.

será similar da presente erro fato residual já de que no ''imagem de erro à situação na invenção, uma uma seqüência caso extremo, residual terá movimentos, enquanto em todos os demais blocos dessa imagem e mesmo em todas as outras imagens de erro residual não existem realmente erros residuais, já que predição com compensação de movimentos e, caso necessário, atualização com compensação de movimentos terão sido desativadas • ·· • · • · ·

·* ··· ··· • * • ·· ♦ ·· • · · ·· • ·· para todas essas imagens/blocos.

De acordo com a presente invenção, isto também se aplica para o preditor de camada intermediária, que calcula imagens de erro residual de predição de realce. Normalmente, as imagens de erro residual de predição de realce estarão presentes em uma seqüência. Entretanto, preditor de camada intermediária é também formado, de preferência, adaptativamente. Se, por exemplo, for achado que uma predição de dados residuais de uma camada de

base da camada de base para a camada de realce tiver sido somente útil para um único bloco de uma única imagem de erro residual, enquanto para todos os demais blocos dessa imagem e, se necessário, mesmo para todas as outras imagens da seqüência de imagens de erro residual de predição de realce, a predição de dados residuais de camada intermediária tiver sido desativada, no presente contexto, por motivos de clareza, a seqüência ainda será denominada de imagem de erro residual de predição de realce. Nessa conexão, deve ser notado que o preditor de camada intermediária

somente pode predizer dados residuais, quando em um bloco correspondente de uma imagem de erro residual nos valores compensação de movimentos da camada de base já tiverem sido calculados, e quando para um bloco correspondente a este bloco (por exemplo, na mesma posição x, y) também tiver sido feita uma predição com compensação de movimentos erro residual da seqüência de realce, de maneira em uma imagem de que nesse bloco, uma predição com compensação de movimentos.

Somente quando existirem a ser considerados reais valores residuais de predição existam valores de erros residuais na camada de realce devido a de compensação de movimentos em ambos os blocos, o preditor de • * · *« • «· • ··♦ • · · • ♦ ·· camada intermediária se tornará preferivelmente ativo para bloco de valores de erro residual em uma imagem da camada como preditor de um bloco de valores de erro residual imagem da camada de realce e então transmitir somente os

usar um de base em uma valores residuais dessa predição, que significa os dados de erro residual de predição de realce nesse bloco da imagem considerada do codificador de imagem de realce.

A seguir, será discutida uma ilustração detalhada *

do codificador de imagem de base 1010 ou do codificador de imagem de realce 1028 qualquer codificador de imagem, respectivamente, com referência

Fig. Ib.

No lado de entrada, o codificador de imagens recebe grupo de imagens residuais de erro e as envia, macrobloco macrobloco, para uma transformação 1050. Os macroblocos transformados serão então escalados em um bloco 1052 e quantizados usando um parâmetro de quantização 1034, 1036, ... Na saída do bloco 1052, é enviado o parâmetro de quantização usado, que significa a largura da etapa quantizadora usada de um macrobloco, assim como dos índices de quantização dos valores do macrobloco. Essa informação será então fornecida a um estágio de codificador de entropia não mostrado na

Fig. Ib, que compreende um codificador

Huffman ou preferivelmente um codificador aritmético, que opera de acordo com o conhecido conceito CABAC de acordo com

H.264/AVC.

O sinal de saida do meio inversa e requantização para converter os índices de quantização juntamente com o parâmetro de quantização novamente em valores numéricos, que então serão enviados a uma transformação inversa no bloco 1056 para obter um grupo reconstruído de imagens residuais

1052 também será enviado ao bloco 1054, que realiza uma escalação

de erro, que agora terá um erro de quantização na entrada do bloco de transformação 1050, comparado ao grupo original de imagens residuais de erro, que depende, respectivamente, dos parâmetros de quantização e da largura da etapa quantizadora. Dependendo do controle do comutador 1044, seja um sinal ou o outro sinal será enviado ao interpolador 1022 ou já para o preditor de camada intermediária 1018, para realizar a predição do valor residual da invenção.

Uma simples implementação do marcador preditor de camada intermediária 1030 está ilustrado na Fig. lc. Se o marcador preditor de camada intermediária estiver ativo, o preditor de camada intermediária 1018 estará ativado. Entretanto, se o marcador não estiver ativo, o preditor de camada intermediária estará desativado, de maneira que é feita uma operação simulcast para esse macrobloco ou para um sub-macrobloco subordinado a esse macrobloco. Portanto, o motivo poderia ser que o ganho do codificador pela predição fosse na realidade, uma perda do codificador, o que significa que a transmissão do macrobloco correspondente na saída do bloco 1016 proporciona um melhor ganho do codificador na subsequente codificação de entropia do que se fossem usados valores residuais de predição.

Uma simples implementação do marcador de dados de movimento 1048 está mostrada na Fig. Id. Se o marcador estiver ativado, os dados de movimentos da camada de realce são obtidos a partir dos dados de movimentos upsampled da camada de base. No caso de uma escalabilidade SNR, o upsampler 1042 não é necessário. Aqui, quando o marcador 1048 estiver ativado, os dados de movimentos da camada de realce podem ser obtidos diretamente dos £0 • ·· • ·· *· • ·· ·♦· dados de movimento de base. Deve ser notado que essa derivação dos dados de movimentos pode ser o transporte direto dos dados de

ou uma predição real caracterizada pelo fato de que o movimentos

bloco 1014	subtrai os	vetores de	movimento obtidos da	camada	de
5 base dos	vetores de	movimento	correspondentes	da	camada	de
escalação	de realce	calculada pelo bloco 1014,	para	obter	os
valores de predição	dos dados	de movimentos.	Os	dados	de

movimentos da camada feita predição de realce (se não tiver sido de qualquer tipo) ou os valores residuais da predição (se tiver sido feita uma predição real) serão enviados ao codificador de imagem de realce 102 8 por meio de uma saída mostrada na Fig.

la, de maneira que estarão contidos no fluxo de bits da camada de escalação de realce 1004 no final. Se, entretanto, for feito um transporte completo dos dados de movimentos da camada de escalação base com ou sem escalação, os dados de movimentos de realce não precisam ser escritos no fluxo de bits da camada de escalação de realce 1004.

É simplesmente suficiente sinalizar esse fato com o marcador de dados de movimento

1048 no fluxo de bits da camada de escalação de realce.

Fig. 2 mostra um equipamento para a decodificação de uma seqüência de vídeo codificado, que compreende a camada de escalação base 1002 e a camada de escalação de realce

1004. A camada de escalação de realce 1004 e a camada de escalação base 1002 podem se originar de um demultiplexador de taxa de transferência de bits, que demultiplexa uma taxa de transferência de bits escalável de correspondentemente ambas as camadas de escalação, para extrair tanto a camada de escalação base 1002 como a camada de escalação de realce 1004 da taxa de transferência de

6/

	46	• 1 · ♦ · • ♦ • ·	• · • · • * • >	• · · • • ·	• ♦ · « · · ♦ · ♦ · • · · ·	* · · • * • ·
		•	• ♦ • ·	• · •	• · · · • · · · · • · ♦ · «	• · • · · •
bits comum. A camada de	escalação	base	1002	é	enviada	a um
decodificador de imagem	de base	1060,	que	é	formado	para

decodificar a camada de escalação base para obter uma seqüência base decodificada de imagens de erro residual e dados de movimento de base, que são aplicados a uma linha de saída 1062. Os sinais de saída na linha 10 62 serão então enviados a um combinador de movimento de base 1064, que cancela o preditor de movimento de base introduzido no codificador no bloco 1012, para enviar imagens decodificadas à primeira camada de escalação do lado de saída.

Além disso, o decodificador da invenção compreende um decodificador de imagem de realce

1066 para a decodificação da camada de escalação de realce 1004 e obter imagens de erro residual de predição de realce em uma linha de saída 1068. Também, a linha de saída 1068 compreende informações de dados de movimentos, como o marcador de dados de movimento 107 0 ou, se realmente os valores dos dados de movimentos de realce ou do resíduo dos dados de movimento de realce existirem na camada de escalação de realce 1004, esses dados de movimentos de realce. Agora, a seqüência base decodificada na linha 1062 será interpolada por um interpolador 1070 ou enviada inalterada (linha 1072) a um combinador de camada intermediária 1074 para cancelar a predição de camada intermediária realizada pelo preditor de camada intermediária 1018 da Fig. la. Portanto, o combinador de camada intermediária é formado para combinar as imagens de erro residual de predição de realce com as informações sobre a seqüência base decodificada na linha 1062, seja interpolada (1070) ou não ¢1072), para obter uma seqüência de realce de imagens de erro residual, que será finalmente enviada a um combinador de movimento de realce

1076 que, como o combinador de movimento de base 10 64

compensação de movimentos realizada na camada de realce. O combinador de movimento de realce 107 6 está acoplado a um meio de determinação de dados de movimentos 1078, de maneira a prover os 5 dados de movimentos para uma combinação de movimentos no bloco

1076. Os dados de movimentos podem realmente ser totalmente dados de movimentos de realce da camada de realce provida pelo decodificador de imagem de realce na saída 1068. De maneira

alternativa, os dados de movimentos de realce também podem ser valores residuais de dados de movimentos. Em ambos os casos, os dados correspondentes serão enviados ao meio de determinação dos

dados de	movimentos	1078 por	meio	de uma	linha de	dados	de
movimentos	de realce	1080. Se,	entretanto,	o	marcador de	dados	de
movimento	1070 sinalizar que	não	foram	transmitidos	dados	de
15 movimentos	de realce	individuais da	camada	de	realce, os	dados	de

movimentos necessários serão retirados da camada de base pela linha 1082, dependendo da escalabilidade usada, seja diretamente

(linha 1084) ou após o upsampling por um upsampler 1086.

Além disso, no caso de uma predição de camada intermediária de intrablocos, que significa nenhum valor residual de dados de movimentos, é provida uma conexão correspondente entre o combinador de movimento de realce 1076 e o combinador de movimento de base 1064 no lado do decodificador, que tem, dependendo da escalabilidade espacial, um interpolador 1090 ou uma linha de desvio quando somente uma escalabilidade SNR tiver sido usada. No caso de uma escalabilidade intrablocos opcional entre duas camadas, somente será transmitido um sinal residual de predição à camada de realce desse intramacrobloco, que será

* ·· • * * * ♦ ·« • ♦ ♦· • · ·· « • · «

indicado pelas correspondentes informações de sinalização na taxa de transferência de bits. Nesse caso, o combinador de movimento de realce também fará uma soma desse único macrobloco, além da funcionalidade abaixo esclarecida, o que significa fazer uma combinação entre os valores residuais do macrobloco e os valores do macrobloco da camada inferior de escalação e enviar o macrobloco obtido para o atual processamento de compensação de movimentos inverso.

A seguir, com referência às Figs. 3 a 5d, será explicada uma configuração preferida do preditor de movimento de base 1012 ou do preditor de movimento de realce 1016 e o elemento inverso, respectivamente, que significa o combinador de movimento de realce 1076 ou o compensador de movimento de base 1064.

Basicamente, pode ser usado qualquer algoritmo de predição com compensação de movimentos, que significa também o algoritmo de compensação de movimentos ilustrado em 92 na Fig. 9. Assim, o algoritmo convencional de compensação de movimentos também segue a sistemática indicada na Fig. 1, caracterizado pelo fato de que, entretanto, o operador de atualização U ilustrado na Fig. 4 com o número de referência 45, está desativado. Isto leva ao fato de que um grupo de imagens é convertido em uma imagem original e imagens residuais e sinais residuais de predição, respectivamente, ou imagens de erro residual, dependendo da condição. Se, entretanto, for implementado um realce no esquema conhecido de compensação de movimentos em que o operador de atualização, como ilustrado na Fig. 4, está ativo e é calculado, por exemplo, como ilustrado com relação às Figs. 5a a 5d, o cálculo normal de predição com compensação de movimentos se torna «

o denominado processamento MCTF, filtragem de tempo com compensação • · • · * · ♦ · • · • · que é também de movimentos.

normal e a intra imagem da compensação respectivamente, se tornam uma imagem ·» • · • * * denominado * · · « · * · • · ♦ • · · • ♦ · 4 • * de

Aqui, a imagem de movimentos convencional, passa-baixa na operação de atualização, como a imagem original combinada com o sinal residual de predição ponderado pelo operador de

Como já descrito com uma configuração processamento MCTF caracterizado pelo atualização.

relação às Figs. Ia e 2, em preferida da presente invenção, esse é feito para todas as camadas de escalação, fato de que o processamento MCTF é feito de preferência como descrito com referência às Figs. 3 a 5d e 7 a 8.

A seguir, será descrita a configuração preferida do filtro de predição com compensação de movimentos com referência à Fig. 4 e às subsequentes Figs.

5a - 5d. Como já foi explicado, o filtro temporal com compensação de movimentos (MCTF) consiste de um esquema de elevação geral com três etapas, isto é, a decomposição polifásica, a predição e a atualização.

A estrutura correspondente de banco de filtro de análise/sintese está mostrada na Fig. 4.

No lado de análise, as amostras impares de um dado sinal são filtradas por uma combinação linear das amostras pares usando o operador de predição P e o sinal passa-alta H para os valores residuais de predição. É formado um sinal passa-baixa correspondente 1 pela adição de uma combinação linear dos valores residuais de predição h com as amostras pares do sinal de entrada 25 s usando o operador de atualização. A conexão da equação das variáveis hei mostrada na Fig. 4, assim como as configurações básicas dos operadores P e U estão mostradas na Fig. 5a.

Como tanto a etapa de predição como a etapa de

• · « · * atualização podem ser totalmente invertidas, pode ser considerada a transformação correspondente como um perfeito banco de filtros de reconstrução criticamente amostrado. O banco de filtros de síntese compreende a aplicação do operador de predição e do 5 operador de atualização na seqüência inversa com os sinais invertidos no processo de soma, caracterizado pelo fato de que são usadas as componentes polifásicas pares e ímpares. Para uma normalização das componentes passa-alta/passa-baixa, são usados os fatores correspondentes de escalação Fj. e F_h. Esses fatores de 10 escalação não necessariamente devem ser usados, mas podem ser usados quando as dimensões das etapas quantizadoras forem escolhidas durante a codificação.

sinal de vídeo com as coordenadas espaciais x = (x,y)^T, caracterizado pelo fato de que k é a coordenada de tempo. 0 operador de predição P e o operador de atualização U da decomposição temporal usando a representação de elevação da ondí cuia ha ir são dados como mostrados no lado esquerdo da Fig. 5b. Para a transformação 5/3, os operadores correspondentes ficam como mostrado no lado direito da Fig. 5b. O realce à filtragem temporal com compensação de movimento é obtido com a modificação do operador de predição e do operador de atualização, como mostrado na Fig. 5c. Particularmente, será feita referência aos índices de referência r > 0, que permitem uma filtragem adaptativa com compensação de movimentos da imagem geral. Por meio desses índices de referência, pode-se garantir que no cenário ilustrado na Fig. 4, não são somente decompostas duas imagens temporalmente e imediatamente subsequentes em uma imagem passa-alta e uma imagem passa-baixa, mas que, por exemplo, uma primeira imagem pode ser filtrada com compensação de movimentos com uma terceira imagem de uma seqüência. De forma alternativa, a escolha adequada dos índices de referência permite que, por exemplo, uma mesma imagem de uma seqüência de sequências possa ser usada para servir como base para o vetor de movimentos. Isto significa que os índices de referência permitem, por exemplo, em uma seqüência de oito imagens, que todos os vetores de movimento se relacionem, por exemplo, com a quarta imagem da seqüência, de

maneira que uma única imagem passa-baixa resulte no final pelo processamento dessas oito imagens no esquema de filtros da Fig. 4, e resultem sete imagens passa-alta (imagens de realce), com todos os vetores de movimento se relacionando com uma única e mesma imagem da seqüência original em que uma imagem de realce esteja associada a cada vetor de movimentos.

Se, portanto, for usada a mesma imagem de uma seqüência como referência para a filtragem de várias outras imagens, isso conduz a uma escalação de resolução temporal que não obedece ao fator de

2, que pode ser vantajoso para determinadas aplicações.

Sempre a mesma imagem, isto é, por exemplo, a quarta imagem de uma seqüência de oito imagens, é enviada ao ramal inferior do

4. A imagem passabaixa é mesma em todas as filtragens, isto é, a finalmente desejada única imagem passa-baixa da seqüência de imagens. Quando o parâmetro de atualização for zero, a imagem de base é simplesmente passada do ramal inferior. Em comparação, a imagem passa-alta é sempre dependente da correspondente outra imagem da seqüência original e do operador de predição, caracterizado pelo fato de que o vetor de movimentos associado a esta imagem de &

rf w 4 * Λ ♦

* * ·«« <’ t· • ··» • · * < ·· · ·« • · • * ·♦· · « · « * · • « « • · • r * » ·· entrada é usada na predição. Portanto, nesse «

» »

caso pode ser dito que a imagem passa-baixa finalmente obtida está associada a uma determinada imagem da seqüência original de imagens, e que também todas as imagens passa-alta estão associadas a uma imagem da seqüência original, onde exatamente o desvio da imagem original corresponde à seqüência (a compensação de movimentos) da imagem de base escolhida da seqüência (que é enviada ao ramal inferior do banco de filtros de análise da Fig. 4). Quando todos os parâmetros de atualização

Mqi, Mu, M₂i e M_3i forem iguais a zero, isto leva ao fato de que a imagem enviada ao ramal inferior do quarto nivel é simplesmente passada na direção do fundo. De imagem passa-baixa TP1 é enviada repetidamente filtros, enquanto as outras imagens - controladas referência - são introduzidas, uma após a outra,

certa	maneira,	a
para	o banco	de
pelos	índices	de
na entrada 64	da

Fig. 3.

Como pode ser visto nas equações anteriores, os operadores de predição e atualização da filtragem com compensação de movimentos, respectivamente, proporcionam diferentes predições para as duas diferentes ondiculas. Quando é usada a ondícula hair, é obtida uma predição unidirecional com compensação de movimentos.

Se, entretanto, a ondícula de ranhura 5/3 for usada, os dois operadores especificam uma predição bidirecional com compensação de movimentos.

Como a predição bidirecional com compensação de predição, mas aumenta a taxa do vetor de movimentos quando comparada com uma predição unidirecional, é desej ável cambiar movimentos geralmente reduz a energia do valor residual da dinamicamente entre as predições unidirecional e bidirecional, que *·· ·· significa ser possível cambiar entre uma representação de elevação da ondicula ha ir e a ondícula de ranhura 5/3 dependente de um sinal de controle dependente da imagem. O conceito da invenção, que não usa circuito fechado de feedback para a filtragem 5 temporal, facilmente permite esta mudança macrobloco a macrobloco entre duas ondiculas, que novamente suporta a flexibilidade e particuiarmente a economia da taxa de dados, que pode ser feita idealmente com adaptação de sinal.

De maneira a representar os campos de movimentos ou geralmente os campos de dados de predição

M_P e M_Uz idealmente, pode ser usada a sintaxe existente da fatia B no H.264/AVC.

Com a cascata dos estágios da decomposição de imagens pareadas, é obtida uma estrutura de árvore diádica, que decompõe um grupo de 2ⁿ imagens em 2^{n 1} imagens residuais e uma única imagem passa-baixa (ou intra) imagem, como ilustrado na

Fig.

para um grupo de oito imagens.

Particularmente, a Fig.

mostra uma imagem passa-alta de primeiro nível HP1 na saída do filtro do primeiro nível, assim como a imagem passa-baixa de primeiro nível na saída 24 do filtro de primeiro nível. As duas imagens passa-baixa TP2 na saída 16 do filtro de segundo nível, assim como as imagens passa-alta obtidas no segundo nível estão mostradas na

Fig. 7 como imagens de segundo nível. As imagens passa-baixa de terceiro nível são aplicadas na saída 76 do filtro de terceiro nível, enquanto as imagens passa-alta de terceiro nível são 25 aplicadas na saída 75 sob forma processada. O grupo de oito figuras poderia originalmente compreender oito imagens de vídeo, quando então o decodificador da Fig. 3 seria usado sem o filtro do quarto nível. Se, entretanto, o grupo de oito imagens for um grupo &

de oito imagens passa-baixa, como sâo usadas na saída 73 do filtro do quarto nível, a decomposição MCTF da invenção pode ser usada como preditor de movimento de base, preditor de movimento de realce e como combinador de movimento de base ou combinador de 5 movimento de realce, respectivamente.

Portanto, em geral, nessa decomposição de um grupo de 2ⁿ imagens, são transmitidas (2^n+1-2) descrições de campo de movimento, (2^n_1) imagens residuais, assim como uma única imagem

passa-baixa (ou intra).

Tanto o compensador de movimento de base como o compensador de movimento de realce são controlados de preferência por um parâmetro controle de base e um parâmetro de controle de realce, respectivamente, para calcular uma combinação ideal de um parâmetro de quantização (1034 ou 1036) e informações de movimentos, que são fixadas na dependência de uma taxa determinada. Isso é feito de acordo com o método a seguir, para obter uma taxa ideal com relação a uma determinada taxa máxima de

bits. Portanto, foi achado que, para menores taxas de bits, o que significa parâmetros de quantização relativamente grosseiros, os vetores de movimento são mais importantes do que para mais altas camadas de escalação, onde são tomados parâmetros de quantização relativamente finos. Assim, para os casos de quantização grosseira e, portanto menor taxa de bits, são calculados menos dados de movimentos do que para camadas mais altas de escalação. Assim, é preferível nas camadas de escalação mais altas mover para modos sub-macrobloco para melhor calcular um lote de dados de movimentos de boa qualidade e para uma situação ideal quando com alta taxa de bits, do que no caso de uma menor taxa de bits, em que os dados de

Go movimentos contam proporcionalmente mais com relação aos dados residuais do que no caso de uma maior camada de escalação. Isto será discutido abaixo.

São dadas as imagens A e B, que são imagens originais ou imagens representando sinais passa-baixa, que são gerados em um estágio anterior de análise.

os conjuntos correspondentes de amostras descrição de movimento M_i0 é estimada de forma macrobloco

macrobloco como segue:

Para todas as possíveis partições macrobloco sub-macrobloco de um macrobloco i dentro de uma imagem B, os vetores de movimento associados são determinados minimizando a

m,. =argmin{ D_w(z,m)4-Â-Á(f,m)}, meS caracterizada pelo fato de função de Lagrange que o termo de deterioração é dado como segue:

(Λ n>) = Σ i ^bí^x’ ’ y -^m JI

Aqui, S especifica a região de busca do vetor de movimentos dentro 20 da imagem de referência A. P é a região coberta pela partição do macrobloco ou partição de sub-macrobloco considerado. R(i,m) especifica o número de bits, que são necessários para transmitir todas as componentes do vetor de movimentos m, caracterizado pelo fato de que λ é um multiplicador fixo de Lagrange.

Primeiro, a busca de movimento prossegue por todos os vetores exatos de movimento da amostra inteira na dada região de busca S. Depois, usando o melhor vetor de movimentos ♦ * ··· ···

inteiro, são testados os oito vetores exatos de movimento da meia amostra circundante. Finalmente, usando os melhores vetores exatos de movimento metade, são testados os oito vetores exatos de movimento de quarto de amostra circundante. Para o aperfeiçoamento 5 do vetor exato de movimentos metade e quarto de metade, o termo a[x-m_x,y-m_y\ é interpretado como operador de interpolação.

Em geral, a decisão de modo para o modo

macrobloco e o modo sub-macrobloco segue a mesma abordagem. 0 modo p_iz que minimiza a seguinte função de Lagrange, é escolhido a partir de um dado conjunto de possíveis modos macrobloco ou sub macrobloco S_mode ’

P: = arg min { D_sw (i,p) + X-R(i,p)} termo de deterioração é dado como segue:

-°μο('.Ρ)= Σ caracterizado pelo fato de que P especifica a região macrobloco ou sub-macrobloco, e onde m[p,x,y] é o vetor de movimentos que está associado ao modo macrobloco ou sub-macrobloco p e à partição ou partição sub-macrobloco, que compreende a posição luma (x,y).

termo taxa R(i,p) representa o número de bits, que é associado à escolha do modo do codificador p. Para os modos de codificador com compensação de movimentos, este compreende os bits para o modo macrobloco (se aplicável) , o modo e modos sub25 macrobloco (se aplicável), respectivamente, e o vetor e vetores de movimentos, respectivamente. Para o intramodo, este compreende os bits do modo macrobloco e os conjuntos de niveis de coeficientes quantizados luma e de transformação chroma.

conjunto de possíveis modos dado por por {P_8x8, P_8x4,

O conjunto de

P_4x8, P_4x4).

possíveis caracterizado pelo fato somente usado quando é estimada movimentos M_i0 usada para a etapa multiplicador de uma acordo com a quantizaçao da

QP_ni do estágio movimentos .* decomposição compromisso codificador.

seguinte equação • · *·· «·· ·· • · · · * · · · · ·

GL· sub-macrobloco é modos macrobloco é dado

P_8x8, INTRA}, de que o modo INTRA descrição de campo de Lagrange λ é estabelecido na camada de base para a de decomposição, para

Λ = 0.33·2^Λ(274·/3-4) de de dependência do parâmetro imagem o qual

De acordo com a invenção, de ou imagens é estimado é usado o passa-alta o campo de esquema de mostrado na Fig. 8, que se supõe permitir um sensível entre a escalabilidade temporal e a eficiência do

A seqüência das imagens originais é tratada como seqüência das esse esquema imagens de entrada A, B, A, B, A, B, proporciona um estágio com ótima temporal (igual distância entre entrada para todos os seguintes tratada como seqüências de imagens

A, B, onde os espaços entre as

..., A, B. Assim, escalabilidade as imagens passa-baixa).

estágios de decomposição, de entrada B,

A, A, B, B, A imagens passa-baixa que são seqüência de imagens passa-baixa, que é usada como sinal de decompostas, são mantidos pequenos no seguinte esquema de análise

Go • · ♦ · • ·

de dois canais,	como pode ser visto na Fig. 8.	referências	às
A	seguir	serão	feitas
implementações	preferidas da	predição	de camada	intermediária	dos
dados de movimentos	e da predição de camada	intermediária	dos
dados residuais com	relação	às Figs.	. 6a a 6d	Para obter	uma

escalabilidade espacial e uma SNR, respectivamente, basicamente, são usados os dados de movimentos e dados de textura de uma camada inferior de escalação com objetivos de predição de uma camada

superior de escalação. Aqui, particularmente na escalabilidade espacial, será necessário um upsampling dos dados de movimentos, antes que possam ser usados como predição para a decodificação das camadas de realce representação subconjunto preferência, da da são espacial. Os dados camada sintaxe de predição de movimentos da de base existente introduzidos mais são da dois codificação do campo de movimentos de uma transmitidos usando fatia modos camada um

B do AVC.

macrobloco para de realce.

De

O primeiro modo macrobloco é o base_layer_mode e o segundo modo é o qpel_refinement_mode.

Para a sinalização

desses dois outros modos macrobloco, são adicionados dois marcadores, isto

BLFlag e o QrefFlag à sintaxe de camada de macrobloco, antes do elemento de sintaxe mb mode, como mostrado na

Fig. 1. Assim, o primeiro marcador BLFlag

1098 sinaliza o modo de camada de base, enquanto o outro marcador

1100 simboliza o modo de refinamento qpel.

Se esse marcador for estabelecido, possui

6a. Portanto, se o marcador 1098 tiver valor

1, o marcador 1100 e o modo macrobloco de elemento de sintaxe

1102 não terão mais valor 1, e o fluxo de transmissão de dados será o mostrado na Fig.

importância. Se, entretanto, o marcador 1098 tiver valor zero, não • · · ♦ · · · • *· • · · · • *· • · · «· está estabelecido, e será usado o marcador

1100, que, quando for estabelecido, novamente faz a ponte do elemento

1102. Se, entretanto, ambos os marcadores 1098 e 1100 tiverem valores zero, o que significa que não estão estabelecidos, o modo macrobloco será avaliado no elemento de sintaxe 1102.

Quando BLFlag

1, é usado o modo de camada de base, não sendo usadas outras informações para o macrobloco correspondente. Esse modo macrobloco indica que as informações de

predição de movimentos, incluindo que a partição do macrobloco do macrobloco correspondente da camada de base é diretamente usada daquela maneira para a camada de realce.

Deve ser notado que aqui e em toda a especificação, termo camada de base representa uma próxima camada inferior com relação á camada atualmente considerada, que significa camada de realce. Quando a camada de base representar uma camada com a metade da resolução espacial, campo do vetor de movimentos, que significa o campo dos vetores de movimento incluindo partição de macrobloco, correspondentemente escalado, como ilustrado na Fig. 6b. Nesse

caso, o macrobloco corrente compreende a mesma região que um sub20 macrobloco 8x8 do campo de movimento da camada de base. Portanto, se o correspondente macrobloco de camada de um modo 16x16, 16x8 ou 8x16, ou quando o correspondente submacrobloco de camada de base for codificado no modo

8x8 ou no modo por outro lado, o sub-macrobloco de camada de base for codificado no modo 8x4, 4x8 ou 4x4, o modo macrobloco para o macrobloco corrente = 16x8, 8x16 ou 8x8 (com todos os modos sub-macrobloco direto 8x8, o modo 16x16 é usado para o macrobloco corrente. Se,

8x8). Quando o macrobloco de camada de base representar um macrobloco

INTRA BASE, camada de corrente, partições

INTRA, o macrobloco que significa que é um

4 corrente é estabelecido em macrobloco com uma predição da base. Para as partições do macrobloco do macrobloco são usados os mesmos índices de referência que para as de macrobloco/sub-macrobloco correspondentes do bloco de camada de base.

multiplicados por um mostrada na Fig. 6b,

Os vetores de movimento associados são fator 2. Esse fator se aplica para a situação onde a camada de base 1102 compreende metade da região e o número de realce 1104. Se a de pixels, respectivamente, do que a camada razão de resolução espacial da camada de base para a resolução espacial da camada de realce

1/2, são usados os correspondentes fatores de vetor de movimentos.

Se, entretanto, o marcador

1098 o marcador

1100 igual

1, for diferente de escalação para o for modo igual a zero macrobloco qpel_refinement_mode é preferivelmente presente sinalizado. O quando a camada camada com metade da resolução espacial então, o modo macrobloco no conjunto de possíveis similar ao modo de camada como os índices de obtidos marcador

1100 está de base representar uma da camada corrente. Ou (qpel_refinement_mode) modos macrobloco. Este referência como no modo de camada não modo está contido macrobloco é e os vetores de movimento são de base. Entretanto, para cada vetor de movimentos, existe um outro refinamento do vetor de movimentos de quarto de amostra -1,0 ou +1 para cada componente do vetor de movimentos, que é adicionalmente transmitido e adicionado ao vetor de movimentos obtido.

Quando o marcador 1098 = zero e o marcador 1100

CpG • * · · * * · • · · • * * ·♦· zero, ou quando o marcador 1100 não estiver presente, modo macrobloco, assim como os correspondentes índices de referência e diferenças de vetor de movimentos são especificados como normalmente.

Isto significa que o conjunto total de dados de movimentos é transmitido para a camada de realce da mesma forma que para a camada de base. Entretanto, de acordo com a invenção, é dada a possibilidade de usar o vetor de movimentos da camada de base como preditor do vetor de movimentos da camada de realce corrente (ao invés do preditor do vetor de movimentos espaciais).

Assim, lista X (onde X se situa entre 0 e 1) serve para especificar a lista do índice de referência do vetor de movimentos considerado. Se todas as condições subsequentes forem verdadeiras, é transmitido um marcador MvPrdFlag, como mostrado na Fig. 6c, para cada diferença do vetor de movimentos:

- o macrobloco de camada de base compreendendo as partições macrobloco/sub-macrobloco correntes não é codificado em um modo macrobloco INTRA;

a partição macrobloco/sub-macrobloco de camada de base cobrindo a amostra esquerda superior da partição macrobloco/sub-macrobloco corrente usa a lista X ou uma bipredição;

a lista X do índice de referência da partição macrobloco/sub-macrobloco de camada de base, que compreende a amostra superior esquerda da partição macrobloco/sub-macrobloco macrobloco/sub-macrobloco corrente.

Se o marcador 1106 da

Fig. 6c não estiver corrente é igual à lista X do índice de referência da partição presente, ou se este marcador 1106 = zero, o preditor do vetor de • ··· · · ··· movimentos espaciais é especificado como for o caso no

Por outro lado, quando o marcador

1106 correspondente vetor de camada de base vetor de movimentos.

Nesse caso, vetor (onde X = 0 ou

1) da obtido somando lista X para escalado da

representam marcador de

Ql padrão AVC.

estiver presente e = 1, o é usado como preditor do de movimentos da lista X corrente partição macrobloco/sub-macrobloco é diferença do vetor de movimentos transmitido da vetor de movimentos da lista partição macrobloco/sub-macrobloco da

Assim, os marcadores 1098,

X possivelmente camada de base.

1100 e 1106 em conjunto uma possibilidade de implementar o dados de movimento 1048 geralmente indicado na Fig. la e geralmente um respectivamente.

de sinalização, naturalmente um sinal de controle de dados de movimentos 1048,

É claro, existem outras diferentes possibilidades caracterizado pelo fato de que pode ser usado acordo fixo entre transmissor e receptor, o que permite uma redução das informações de sinalização.

Em resumo, está ilustrada em maiores detalhes com relação às

Figs. le, If e lg uma implementação detalhada do compensador de movimento de realce 1014 da Fig.

la e do meio de determinação dos dados de movimentos de realce

2, respectivamente.

Com referência à Fig. le, pode ser visto que o compensador de movimento de realce 1014 tem que fazer basicamente duas coisas. Assim, em primeiro deve calcular os dados de enviá-los para o preditor de movimento de realce 1016, de maneira que possa utilizar esses vetores de maneira não codificada para obter a sequência de realce das imagens de erro residual que é, na movimentos de realce, tipicamente todos os vetores de movimentos e

G?

técnica anterior, tipicamente feito de maneira adaptativa e bloco a bloco. Outro assunto, entretanto, é o processamento dos dados de movimentos de realce, que se trata de como os dados de movimentos usados para uma predição com compensação de movimentos serão agora comprimidos o máximo possível e escritos em uma taxa de transferência de bits. Para que algo seja escrito na taxa de transferência de bits, os respectivos dados devem ser levados ao codificador de imagem de realce 1028, como ilustrado com relação à Fig. le. Assim, o meio de processamento dos dados de movimentos de realce 1014b tem a função de reduzir o máximo possível a redundância contida nos dados de movimentos de realce, determinada pelo meio de cálculo dos dados do movimento de realce 1014a, com relação à camada de base.

De acordo com a invenção, os dados de movimento de base ou os dados de movimento de base upsampled. podem ser usados tanto pelo meio de cálculo dos dados do movimento de realce 1014a para o cálculo dos dados de movimentos de realce a serem realmente usados como também podem ser usados somente para o processamento dos dados de movimentos de realce, o que significa para a compressão dos dados de movimentos de realce, apesar de não terem importância para o cálculo dos dados de movimentos de realce. Enquanto as duas possibilidades 1.) e 2.) da Fig. lg mostram configurações em que os dados de movimento de base e os dados de movimento de base upsampled são realmente usados para o cálculo dos dados do movimento de realce, a configuração 3.) da Fig. Ib mostra um caso em que as informações sobre os dados de movimento de base não são usadas para o cálculo dos dados de movimentos de realce mas somente para a codificação e captura dos

Οι dados residuais, respectivamente .

A Fig. lf mostra a implementação do lado do decodificador do meio de determinação dos dados de movimentos de realce 1078, que tem um módulo de controle

1078a para o controle bloco a bloco, que contém as informações de sinalização da taxa de transferência de bits e do decodificador de imagem de realce 1066, respectivamente. Além determinação dos dados de movimentos de realce

1078 compreende um meio de reconstrução dos

dados de movimentos de realce

1078b, que realmente determina os vetores de movimento do campo de dados de movimentos de realce, seja somente pelo uso dos dados de movimento de base decodificados como pelos dados de movimento de base de upsampling decodificado ou pela combinação de informações sobre os dados de movimento de base decodificados e dos dados residuais extraídos do decodificador de movimento de realce 1066 da camada de escalação de realce

1004, que podem então ser usados pelo combinador de movimento de realce 1076, que pode ser formado como combinador comum para com compensação de movimentos do lado do codificador.

A seguir, será feita referência às diferentes configurações como se apresentam ilustradas na Fig. Ig em visão geral. Como já ilustrado com relação à Fig. 6a, o BLFlag

1098 sinaliza um transporte completo dos dados de movimento de base meio 1014a formado para transportar completamente os dados de movimento de base e nos caso de diferentes resoluções das diferentes camadas, transportar os dados de movimentos em formato upscaled para a predição de movimento de realce. Nesse caso, o upscaled e

transmiti-los ao meio 1016 respectivamente.

7)

*♦· · · · • * • ♦

Entretanto, não são transmitidas informações sobre os campos de movimento ou vetores de movimento ao codificador de imagem de realce. Ao invés disso, é somente transmitido um marcador individual 1098 para cada bloco, seja um macrobloco ou um sub5 macrobloco.

No lado do decodificador, isto significa que o meio 1078a da Fig. lf decodifica o marcador 1098 para um bloco e, se estiver ativo, usa os dados de movimento de base decodificados presentes da camada de base ou os dados de movimento de base 10 decodificados upsampled para calcular os dados de movimentos de realce, que então são enviados ao bloco 1076. Nesse caso, o meio 1078 não requer os dados residuais do vetor de movimentos.

Na segunda configuração da presente invenção, que é sinalizada pelo marcador QrefFlag 1100, o vetor de movimentos de base é integrado ao cálculo dos dados do movimento de realce, que é feito pelo meio 1014a. Como ilustrado na Fig. Ig na parte 2.) e acima descrito, o cálculo dos dados de movimentos e o cálculo do vetor de movimentos m, respectivamente, são feitos buscando o mínimo do termo (D + λ R) .

As diferenças entre um bloco de uma imagem corrente B e um bloco de uma imagem anterior e/ou posterior alterada por um determinado vetor de movimentos potencial são introduzidas no termo de distorção D. O parâmetro de quantização 25 do codificador de imagem de realce indicado na Fig. la por 1036 é introduzido no fator λ. O termo R fornece informações sobre o número de bits usados para a codificação de um potencial vetor de movimentos.

V/

Normalmente,

«·*·*«·* feita uma busca

entre os diferentes vetores de movimento potenciais, caracterizado pelo fato de que o termo de distorção D é calculado para todos os novos vetores de movimentos, sendo calculado o termo taxa R, e onde é 5 considerado o parâmetro de quantização de realce 1036, que é preferivelmente fixo, mas que pode variar. O termo soma descrito é avaliado em relação aos diferentes vetores de movimento potenciais, onde é usado o vetor de movimentos, que fornece o resultado mínimo da soma.

Agora, de acordo com a invenção, o vetor de movimentos de base do bloco correspondente da camada de base é também integrado nessa busca iterativa. Se este observar os critérios de busca, novamente só o marcador 1100 deve ser transmitido, não devendo ser transmitidos os valores residuais ou 15 nada mais para esse bloco. Assim, quando o vetor de movimentos de base observar o critério (mínimo do termo anterior) para um bloco, o meio 1014a usa o vetor de movimentos de base para transmiti-lo ao meio 1016. Entretanto, somente é transmitido o marcador 1100 para o codificador de imagem de realce.

No lado do decodificador, isto significa que o meio 1078a controla o meio 1078b quando este decodifica o marcador 1100 para determinar o vetor de movimentos para este bloco a partir dos dados de movimento de base, já que o decodificador de imagem de realce não transmitiu dados residuais.

Em uma variação da segunda configuração, não somente o vetor de movimentos de base como também uma pluralidade de vetores de movimento de base obtidos do vetor de movimentos de base e (levemente) alterados, são integrados à busca. Dependendo da implementação, qualquer componente do vetor de movimentos pode ser independentemente aumentado ou reduzido de um incremento, ou ser mantido o mesmo. Este incremento pode representar uma determinada granularidade de um vetor de movimentos, por exemplo, uma etapa de resolução, uma etapa de meia resolução ou uma etapa de quarto de resolução. Se um desses vetores de movimentos de base alterados atender os critérios de busca, a alteração, que significa o incremento, significando +1, 0 ou -1 é transmitida como dados residuais, adicionalmente ao marcador 1100.

Ativado pelo marcador 1100, um decodificador então fará a busca do incremento no fluxo de dados, além de recuperar o vetor de movimentos de base ou o base vetor de movimentos upsãmpled e combinar o incremento com o correspondente vetor de movimentos de base no bloco 1078b, para obter o vetor de movimentos para o bloco correspondente na camada de realce.

Na terceira configuração, que é sinalizada pelo marcador 1106, a determinação dos vetores de movimento pode ser, basicamente, feita de forma arbitrária. Com relação à flexibilidade total, o meio 1014a pode determinar os dados de movimentos de realce, por exemplo, de acordo com o objetivo de minimização mencionado em relação à segunda configuração. Depois, o vetor de movimentos determinado é usado para a predição com compensação de movimentos do lado do codificador, sem considerar as informações da camada de base. Entretanto, nesse caso, o processamento dos dados de movimentos de realce 1014a é feito para incorporar os vetores de movimento de base ao processamento do vetor de movimentos para a redução de redundância, o que significa antes da atual codificação aritmética.

* · · « · ··

·· ··· ··* <** « · • ··

Assim, de acordo com o padrão H.264/AVC, é fei é feita uma transmissão das diferenças do vetor de movimentos, caracterizado pelo fato de que são determinadas dentro de uma imagem as diferenças entre os blocos adjacentes. Na implementação, a diferença pode ser formada entre diferentes blocos adjacentes, para a seleção da menor diferença. Agora, de acordo com a invenção, o vetor de movimentos de base para o bloco correspondente em uma imagem é incorporado a essa busca do preditor mais favorável da diferença do vetor de movimentos. Se este observar o critério de prover o menor valor de erro residual como preditor, será sinalizado pelo marcador 1106 e somente será transmitido o valor do erro residual para o bloco 1028. Se o vetor de movimentos de base não observar esse critério, o marcador 1106 não é estabelecido, e será feito um cálculo da diferença do vetor de movimentos espaciais.

Entretanto, para implementações mais simples de codificador, ao invés da busca iterativa, simplesmente sempre e para blocos determinados de maneira adaptativa, o vetor de movimentos de base, respectivamente, e uma versão upsampled deste, respectivamente, podem servir de preditores.

De acordo com a invenção, será também feita uma predição de camada intermediária dos dados residuais. Isto será discutido abaixo. Quando as informações de movimento são alteradas de uma camada para a próxima, pode ser favorável ou desfavorável predizer as informações residuais e, no caso de uma decomposição MCTF, as informações passa-alta da camada de realce, respectivamente, da camada de base. Quando os vetores de movimento de um bloco da camada corrente são similares aos vetores de

movimento da correspondente camada de base _t e macrobloco a macrobloco, aos correspondentes vetores de movimento da correspondente camada de base, é provável que a eficiência do codificador possa ser aumentada quando o sinal residual da camada de base codificada (sinal passa-alta) é usado como predição do sinal residual de realce (sinal passa-alta de realce), onde somente a diferença entre o sinal residual de realce e a reconstrução da camada de base (linha 1024 da Fig. la) são codificadas. Entretanto, quando os vetores de movimento não forem similares, é muito improvável que uma predição do sinal residual melhore a eficiência do codificador. Como consequência, é usada uma abordagem adaptativa para a predição do sinal residual e do sinal passa-alta, respectivamente. Essa abordagem adaptativa, que significa se o preditor de camada intermediária está ativo ou não, pode ser feita por um cálculo real do beneficio baseado no sinal de diferença ou pode ser feita com base em uma estimativa, de quão diferente o vetor de movimentos da camada de escalação base do macrobloco é do macrobloco correspondente na camada de escalação de realce. Se a diferença for menor que um determinado limite, o preditor de camada intermediária é ativado por meio da linha de controle 130. Entretanto, se a diferença for maior que um determinado limite, é desativado o preditor de camada intermediária desse macrobloco.

É transmitido um marcador ResPrdFlag 1108. Quando o marcador 1108 = 1, o sinal residual reconstruído da camada de base é usado como predição do sinal residual do macrobloco corrente da camada de realce, caracterizado pelo fato de que somente uma aproximação da diferença entre o sinal residual • · ··* ··· corrente da camada de realce e sua reconstrução de camada de base será codificada. Por outro lado, o marcador 1108 não existe ou é igual a zero. Aqui, será então codificado o sinal residual do macrobloco corrente na camada de realce, sem predição da camada de 5 base.

Quando a camada de base representar uma camada com a metade da resolução espacial da camada de realce, o residual é upsampled usando um filtro de interpolação, antes sinal que o sinal residual upsampled da camada de base seja usado como sinal de predição. Esse filtro é um filtro de interpolação com seis taps_f de maneira que para a interpolação de um valor da maior resolução espacial da camada de realce, que não esteve presente na camada de base devido à menor resolução, são usados os valores circunvizinhos para obter um resultado de interpolação, que é o melhor possível.

Se, entretanto, forem interpolados os valores na borda de um bloco de transformação, e o filtro de interpolação usar somente valores de outro bloco de transformação para

interpolação, é preferível não fazer isso, mas sintetizar os valores do filtro de interpolação fora do bloco considerado, de maneira que ocorra uma interpolação com o menor número possível de problemas.

Com base no denominado experimento núcleo, foi achado que a predição de camada intermediária de movimento e os 25 valores residuais melhoram significativamente a eficiência do codificador da abordagem MCTF baseada em AVC. Para determinados pontos de teste, foram obtidos ganhos PSNR de mais de 1 dB.

Particularmente, com taxas de bits muito baixas para cada resolução • · · ·* • · · · • · · · · • · · · · espacial (à exceção da camada de base), • · · · ······ • · · melhoria vc • · • * • · » da qualidade de reconstrução ficou claramente visível.

Dependendo das circunstâncias, método da invenção pode ser implementado em hardware ou em software.

implementação pode ser feita em um meio de armazenamento digital, particularmente um disco ou CD com sinais de leitura por meio eletrônico, que possam cooperar com um sistema de computador programável em que o método é realizado. Assim, em geral, a invenção consiste também de um produto de programa de computador com um código de programas para a realização do método da invenção armazenado em um portador com leitura por máquina, quando o produto de programa de computador opera em um computador. Em outras palavras, a invenção também pode ser realizada sob a forma de programa de computador com um código de programa para a 15 realização do método quando o programa de computador opera em um computador.

Além disso, a presente invenção refere-se a um

meio de leitura por computador, em que o fluxo de dados escaláveis com uma primeira camada de escalação e uma segunda camada de escalação em conjunto com os caracteres associados de controle são armazenados para os diferentes meios do lado do decodificador.

Portanto, o meio de leitura por computador pode ser um portador de dados ou a internet, onde o fluxo de dados é transmitido a partir de um provedor para um receptor.

1/12

Claims

REIVINDICAÇÕES

1. Equipamento para a geração de uma sequência de video codificado tendo uma camada de escalação base (1002) e uma camada de escalação de realce (1004), compreendendo: um compensador de movimento de base (1006) configurado para o cálculo dos dados de movimento de base, que indicam como um bloco de uma imagem corrente movimentou-se em relação à outra imagem em um grupo de imagens; um preditor de movimento de base (1012) configurado para calcular a sequência base de imagens de erro residual usando os dados de movimento de base; um codificador de imagem de base (1010) configurado para gerar uma primeira camada de escalação codificada da sequência base de imagens de erro residual; um compensador de movimento de realce (1014) configurado para a determinação dos dados de movimentos de realce; caracterizado pelo fato de que o compensador de movimento de realce é formado para determinar os dados de movimentos de realce adaptativamente e bloco a bloco, usando os dados de movimento de base e para prover informações de sinalização bloco a bloco; em que as informações de sinalização indicam, para cada bloco, se uma previsão de dados de movimento de intensificação usando os dados de movimento base foi realizada e de que tipo é a previsão de dados de movimento de intensificação; em que as informações de sinalização estão associadas a cada bloco; em que as informações de sinalização têm um primeiro estado para um primeiro bloco da sequência de videos codificados, as informações de sinalização tendo um segundo estado para um segundo bloco da sequência de videos codificados, o segundo bloco sendo diferente do primeiro bloco; um preditor de movimento de realce (1016) para o cálculo de

Petição 870180065261, de 27/07/2018, pág. 19/30
2/12 uma sequência de realce de imagens de erro residual usando os dados de movimentos de realce; e um codificador de imagem de realce (1028) para codificar as informações sobre a sequência de realce das imagens de erro residual e para codificar as informações de sinalização bloco a bloco para obter uma camada de escalação de realce codificada, em que a sequência de videos codificados compreende a camada de escalonamento base codificada e a camada de escalonamento de intensificação codificada, a camada de escalonamento de intensificação codificada compreendendo a informação codificada sobre a sequência de intensificação de imagens de erro residual e informações de sinalização codificada associadas com o primeiro bloco, em que quaisquer dados de movimento de intensificação para o primeiro bloco não está contido na camada de escalonamento de intensificação codificada, a camada de escalonamento de intensificação codificada compreendendo, ainda, além das informações de sinalização codificada associadas com o segundo bloco, dados de movimento de intensificação codificados para o segundo bloco.

2. Equipamento, de acordo com a reivindicação 1, caracterizado pelo fato de que o compensador de movimento de base é formado para calcular os dados de movimento de base para imagens com menor resolução espacial do que as imagens em que se baseia o compensador de movimento de realce para determinar os dados de movimentos de realce, onde é ainda provido um upsampler (1042) para escalar os dados de movimento de base de acordo com uma diferença da resolução espacial do grupo de imagens, e onde o compensador de movimento de realce (1014) é formado para calcular os dados de movimentos de realce baseados nos dados de movimento

Petição 870180065261, de 27/07/2018, pág. 20/30
3/12 de base escalados.

3. Equipamento, de acordo com a reivindicação 2, caracterizado pelo fato de que o compensador de movimento de realce (1014) é formado para transportar os dados de movimento de base escalados para um bloco como dados de movimentos de realce, e

para enviar um sinal de transporte (1098) ao codificador de imagem de realce (1028) desse bloco.
4. Equipamento, de acordo com a reivindicação 2, caracterizado pelo fato de que o compensador de movimento de realce (1014) é formado para usar os dados de movimento de base escalados como preditores para um bloco de dados de movimentos de realce para calcular um sinal de resíduo dos dados de movimento de realce e para enviar o sinal de resíduo dos dados de movimento de realce em conjunto com uma sinalização de predição ao codificador de imagem de realce (1028).
5. Equipamento, de acordo com a reivindicação 1 ou 2, caracterizado pelo fato de que o codificador de imagem de base (1010) é formado para quantizar com um parâmetro de quantização base (1034), onde o compensador de movimento de base é formado para calcular os dados de movimento de base, dependendo de um parâmetro controle de base (1034) que depende do parâmetro de quantização base, onde o codificador de imagem de realce (1028) é formado para quantizar com um parâmetro de quantização de realce (1036), e onde o compensador de movimento de realce (1014) é formado para calcular os dados de movimentos de realce na dependência de um parâmetro de controle de realce (1036), que depende do parâmetro de quantização de realce e diferir do parâmetro controle de base para o codificador de imagem de base.

Petição 870180065261, de 27/07/2018, pág. 21/30

4/12
6. Equipamento, de acordo com a reivindicação 5, caracterizado pelo fato de que o compensador de movimento de realce é formado para usar os dados de movimento de base como preditores dos dados de movimentos de realce e para enviar um sinal de resíduo dos dados de movimento de realce com uma sinalização bloco a bloco ao codificador de imagem de realce (1028) .
7. Equipamento, de acordo com a reivindicação 5, caracterizado pelo fato de que o compensador de movimento de realce (1014) é formado para fazer uma busca entre os vários vetores potenciais de movimento para a determinação de um vetor de movimentos para um macrobloco de uma imagem da camada de intensificação de acordo com um critério de busca, onde o compensador de movimento de realce (1014) é formado para usar um vetor de movimentos já determinado para um macrobloco de uma imagem da camada de base correspondente ao macrobloco da imagem da camada de intensificação na busca, e quando o critério de busca é observado pelo vetor de movimentos já determinado para o macrobloco da imagem de camada de base, para então transportar o vetor de movimentos da camada de base e para enviar informações (1100) referentes a aquisição para o codificador de imagem de realce (1028) .
8. Equipamento, de acordo com qualquer uma das reivindicações de 5 a

7, caracterizado pelo fato de que o compensador de movimento de realce (1014) ainda formado para considerar um vetor de movimentos alterado em incrementos da camada de base incrementalmente alterado por uma mudança incrementai, e quando o vetor de movimentos alterado em

Petição 870180065261, de 27/07/2018, pág. 22/30

5/12 incrementos da camada de base observar um critério de busca para enviar o vetor de movimentos alterado em incrementos ao codificador de imagem de realce (1028) a um bloco juntamente com uma sinalização (1100) para o bloco.
9. Equipamento, de acordo com qualquer uma das reivindicações anteriores, caracterizado pelo fato de que o compensador de movimento de realce (1014) é formado para determinar vetores de movimento para os blocos de uma imagem e para ainda pós-processar os vetores de movimento para determinar as diferenças do vetor de movimentos entre os dois vetores de movimento e enviá-las ao codificador de imagem de realce (1028), e onde o compensador de movimento de realce (1014) é ainda formado para usar, na dependência de uma função de custos ao invés de uma diferença entre vetores de movimento para dois blocos da mesma imagem, uma diferença entre um vetor de movimentos do bloco de uma imagem da camada de realce e um vetor de movimentos modificado ou não modificado de um bloco correspondente de uma imagem da camada de base e para enviar essa diferença ao codificador de imagem de realce (1028) junto com uma sinalização (1106) para o bloco.
10. Equipamento, de acordo com a reivindicação 9, caracterizado pelo fato de que o compensador de movimento de realce (1014) é formado para usar uma quantidade de uma diferença como função de custo.
11. Equipamento, de acordo com a reivindicação 10 ou 12, compreendendo ainda: um decimador (1032) para decimar a resolução de um grupo de imagens, caracterizado pelo fato de que o decimador (1032) é formado para prover um grupo de imagens com uma resolução base para o compensador de movimento de base (1006), que

Petição 870180065261, de 27/07/2018, pág. 23/30

6/12 é menor do que uma resolução de realce de um grupo de imagens, fornecida ao compensador de movimento de realce (1014); e um interpolador (1022) para a interpolação espacial da sequência base de imagens de erro residual ou de uma sequência base reconstruída de imagens de erro residual para obter uma sequência base interpolada de imagens de erro residual, que pode ser enviada ao preditor de camada intermediária (1018) como informação (1026) sobre a sequência base de imagens de erro residual.
12. Método para a geração de uma sequência de vídeo codificado tendo uma camada de escalação base (1002) e uma camada de escalação de realce (1004), compreendendo as etapas de: calcular (1006) os dados de movimento de base, que indicam como um bloco de uma imagem corrente se movimentou em relação a uma outra imagem de um grupo de imagens; calcular (1012) uma sequência base de imagens de erro residual usando os dados de movimento de base; fazer uma codificação de imagem de base (1010) para gerar uma primeira camada de escalação codificada a partir da sequência base de imagens de erro residual; determinar (1014) os dados de movimentos de realce caracterizados pelo fato de que os dados de movimentos de realce são determinados adaptativamente e bloco a bloco usando os dados de movimento de base, e onde são providas adaptativamente informações de sinalização e bloco a bloco, em que as informações de sinalização indicam, para cada bloco, se uma previsão de dados de movimento de intensificação usando os dados de movimento base foi realizada e de qual tipo é a previsão de dados de movimento de intensificação, em que as informações de sinalização estão associadas a cada bloco; em que as informações de sinalização têm um primeiro estado para um primeiro bloco da

Petição 870180065261, de 27/07/2018, pág. 24/30

1/12 sequência de videos codificados, as informações de sinalização tendo um segundo estado para um segundo bloco da sequência de vídeos codificados, o segundo bloco sendo diferente do primeiro bloco calcular (1016) uma sequência de realce de imagens de erro residual usando os dados de movimentos de realce; e fazer uma codificação de imagem de realce (1028) codificando as informações sobre a sequência de realce de imagens de erro residual e codificando as informações de sinalização bloco a bloco para obter uma camada de escalação de realce codificada, em que a sequência de vídeos codificados compreende a camada de escalonamento base codificada e a camada de escalonamento de intensificação codificada, a camada de escalonamento de intensificação codificada compreendendo a informação codificada sobre a sequência de intensificação de imagens de erro residual e informações de sinalização codificada associada com o primeiro bloco, em que quaisquer dados de movimento de intensificação para o primeiro bloco não está contido na camada de escalonamento de intensificação codificada, camada de escalonamento de intensificação codificada ainda compreendendo, além das informações de sinalização codificada associadas com o segundo bloco, dados de movimento de intensificação codificados para o segundo bloco.
13. Equipamento para a decodificação de uma sequência de vídeo codificado de uma camada de escalação base (1002) e uma camada de escalação de realce (1004), caracterizado pelo fato de que compreende: um decodificador de imagem de base (1060) configurado para a decodificação da camada de escalação base para obter uma sequência base decodificada de imagens de erro

Petição 870180065261, de 27/07/2018, pág. 25/30

8/12 residual e dados de movimento de base; um decodificador de imagem de realce (1066) configurado para a decodificação da camada de escalação de realce para obtenção de informações sobre uma sequência de realce de imagens de erro residual e informações sobre os dados de movimentos de realce, em que as informações sobre os dados de movimento de intensificação compreendem informações de sinalização em blocos; em que as informações de sinalização em blocos têm um primeiro estado para um primeiro bloco da sequência de videos codificados, o primeiro bloco não contendo quaisquer dados de movimento de intensificação transmitidos para o primeiro bloco, as informações de sinalização tendo um segundo estado para um segundo bloco da sequência de videos codificados, o segundo bloco sendo diferente do primeiro bloco e contendo, além das informações de sinalização, dados de movimento de intensificação transmitidos para o segundo bloco; um calculador de dados de movimentos de realce (1078) configurado para calcular em blocos de dados de movimentos de realce primárias para o primeiro bloco e os dados secundários de movimento de intensificação para o segundo bloco avaliando as informações , em que a calculadora dos dados de movimento de intensificação é configurada para usar, em resposta ao primeiro estado das informações de sinalização, apenas os dados de movimento base para calcular o dados primários de movimento de intensificação para o primeiro bloco em que a calculadora dos dados de movimento de intensificação é ainda configurada para usar, em resposta ao segundo estado das informações de sinalização diferente do primeiro estado das informações de sinalização, os

Petição 870180065261, de 27/07/2018, pág. 26/30

9/12 dados de movimento de intensificação transmitidos para o segundo bloco extraído pelo decodificador de imagem de intensificação da camada de escalonamento de intensificação exclusivamente ou em combinação com os dados de movimento da camada base para calcular os dados secundários de movimento de intensificação para o segundo bloco; e um combinador de movimento de realce (1076) configurado para, obter uma sequência de imagens da camada de escalação de realce em blocos usando a sequência de realce das imagens de erro residual e os dados de movimentos de realce primários para o primeiro bloco e os dados secundários de movimento de intensificação para o segundo bloco.
14. Equipamento, de acordo com a reivindicação 13, caracterizado pelo fato de que o decodificador de imagem de realce (1066) é formado para fornecer um sinal de transporte de dados de movimentos da camada de escalação de realce, onde é ainda provido um upsampler (1086) para converter os dados de movimento de base da resolução da camada de escalação base para uma resolução da camada de escalação de realce, e onde o calculador dos dados de movimentos de realce (1078) é formado para prover os dados de movimento de base convertidos como dados primários ou secundários de movimentos de realce, na dependência do sinal de transporte dos dados de movimentos (1098) .
15. Equipamento, de acordo com a reivindicação 13, caracterizado pelo fato de que o decodificador de imagem de realce (1066) é formado para fornecer uma sinalização de predição (1100, 1106) e um sinal de resíduo dos dados de movimento de realce da camada de escalação de realce, onde o calculador dos dados de movimentos de realce (1078) é formado para combinar o

Petição 870180065261, de 27/07/2018, pág. 27/30

10/12 sinal do resíduo dos dados de movimento de realce na dependência da sinalização de predição (1100, 1106) dos dados de movimento de base ou dos dados de movimento de base convertidos em suas resoluções para obter os dados de movimentos de realce.
16. Equipamento, de acordo com a reivindicação 13, caracterizado pelo fato de que o decodificador de imagem de realce (1066) é formado para prover uma sinalização de predição de diferença (1106) e um sinal de resíduo dos dados de movimento de realce sob a forma de diferenças de vetor de movimentos para os blocos da camada de escalação de realce, e onde o calculador dos dados de movimentos de realce (1078) é formado para combinar a diferença do vetor de movimentos com um vetor de movimentos de base de um bloco correspondente para calcular um vetor de movimentos de um bloco na dependência da sinalização de predição de diferença (1106).
17. Método para a decodificação de uma sequência de vídeo codificado de uma camada de escalação base (1002) e uma camada de escalação de realce (1004), caracterizado pelo fato de compreender as etapas de: decodificar (1060) a camada de escalação base para obter uma sequência base decodificada de imagens de erro residual e dados de movimento de base;; decodificar (1066) a camada de escalação de realce para obter as informações sobre uma sequência de realce de imagens de erro residual e as informações sobre os dados de movimentos de realce, , em que as informações sobre os dados de movimento de intensificação compreendem informações de sinalização em blocos, em que as informações de sinalização em blocos têm um primeiro estado para um primeiro bloco da sequência de vídeos codificados, o primeiro bloco não

Petição 870180065261, de 27/07/2018, pág. 28/30

11/12 contendo quaisquer dados de movimento de intensificação transmitidos para o primeiro bloco, as informações de sinalização tendo um segundo estado para um segundo bloco da sequência de vídeos codificados, o segundo bloco sendo diferente do primeiro bloco e contendo, além das informações de sinalização, dados de movimento de intensificação transmitidos para o segundo bloco; calcular (1078) dados de movimentos de realce primários para o primeiro bloco e os dados secundários de movimento de intensificação para o segundo bloco avaliando a sinalização, em que o cálculo dos dados primários de movimento de intensificação usa, em resposta ao primeiro estado das informações de sinalização, apenas os dados de movimento base para calcular os dados de movimento de intensificação para o primeiro bloco, em que o cálculo dos dados secundários de movimento de intensificação usa, em resposta ao segundo estado das informações de sinalização sendo diferente do primeiro estado das informações de sinalização, os dados de movimento de intensificação transmitidos para o segundo bloco extraído pela decodificação da camada de escalonamento de intensificação exclusivamente ou em combinação com os dados de movimento da camada base para calcular os dados secundários de movimento de intensificação para o segundo bloco; e realizar uma combinação de movimentos de realce (1076) para obter uma sequência de imagens da camada de escalação de realce em blocos usando a sequência de realce das imagens de erro residual e os dados de movimentos de realce primários para o primeiro bloco e os dados secundários de movimento de intensificação para o segundo bloco.

Petição 870180065261, de 27/07/2018, pág. 29/30

12/12

18. Meio de leitura por computador com uma sequência de vídeo codificado tendo uma camada de escalação base (1002) e uma camada de escalação de realce (1004), caracterizado pelo fato de que a sequência de vídeo codificado é formada de maneira que resulte em uma primeira camada de escalação decodificada e uma segunda camada de escalação decodificada quando for decodificada por um equipamento de decodificação de acordo com a reivindicação 15.

Petição 870180065261, de 27/07/2018, pág. 30/30 η

1/14 ·· ··· * ··· · ·· ··· ··· · ·····» ··· · ·· ·· · ·«·· · ·· · · ·· • * · · * ···«· · · · ω

2/14

Ο <Π3 0 O· (Φ Φ θ’ Ν Φ •Η M 4-> •H α -P Φ c Φ ZJ tr σ φ ω Tf q ο Μ w 4J k ω Φ υ Ê r4 <Φ q Μ α Φ Ή Λ

·· ·*· ····· • · «· ·· · · ·· * · · · ·· grupo reconstruído de imagens residuais de erro (com erro de quantização) xa

CD u_

ο Φ Μ C Μ Φ Φ tn Φ Φ β q Ή φ Φ Η τ) Φ Φ ο q

3/14 marcador preditor de camada intermediária (por bloco de macros)

estabelecido preditor de camada intermediária está ativado Não estabelecido preditor de camada intermediária está desativado