BRPI0611946A2 - método de decodificação de um quadro atual a partir de um quadro de referência, e aparelho para decodificação de um quadro atual a partir de um quadro de referência - Google Patents

método de decodificação de um quadro atual a partir de um quadro de referência, e aparelho para decodificação de um quadro atual a partir de um quadro de referência Download PDF

Info

Publication number
BRPI0611946A2
BRPI0611946A2 BRPI0611946-8A BRPI0611946A BRPI0611946A2 BR PI0611946 A2 BRPI0611946 A2 BR PI0611946A2 BR PI0611946 A BRPI0611946 A BR PI0611946A BR PI0611946 A2 BRPI0611946 A2 BR PI0611946A2
Authority
BR
Brazil
Prior art keywords
frame
lower layer
weighting factor
information
current
Prior art date
Application number
BRPI0611946-8A
Other languages
English (en)
Inventor
Kyo-Hyuk Lee
Woo-Jin Han
Bae-Keun Lee
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of BRPI0611946A2 publication Critical patent/BRPI0611946A2/pt

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/53Multi-resolution motion estimation; Hierarchical motion estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

MéTODO DE DECODIFICAçãO DE UM QUADRO ATUAL A PARTIR DE UM QUADRO DE REFERêNCIA, E APARELHO PARA DECODIFICAçAO DE UM QUADRO ATUAL A PARTIR DE UM QUADRO DE REFERêNCIA. Trata-se de um método e um aparelho para codificação eficiente de camadas utilizando informações inter-camadas em um codec de vídeo baseado em muitiolas camadas. O método de codificação de vídeo inclui operações de leitura dos fatores de ponderação de uma camada; realização de compensação de movimento em quadros de referência para o quadro atual com base em um vetor de movimento; geração de um quadro previsto para o auadro atual mediante aquisição de uma soma ponderada dos quadros de referência com compensação de movimento utilizando os fatores de ponderação lindos; e codificação da diferença entre o quadro atual e o quadro previsto.

Description

MÉTODO DE DECODIFICAÇÃO DE UM QUADRO ATUAL A PARTIR DE UMQUADRO DE REFERÊNCIA, E APARELHO PARA DECODIFICAÇÃO DE UMQUADRO ATUAL A PARTIR DE UM QUADRO DE REFERÊNCIA
Área Técnica
Os métodos e aparelhos correspondentes à presenteinvenção referem-se na generalidade a codificação de vídeo,e referem-se mais particularmente a um método e um aparelhopara codificação eficiente de uma pluralidade de camadasutilizando informações inter-camadas em um codec(codificador-decodificador) de vídeo baseado em múltiplascamadas.
Técnica Anterior
Com o crescente desenvolvimento das tecnologias deinformações e comunicações, incluindo a Internet, ocorre umcrescimento das comunicações baseadas em imagens, bem comode comunicações baseadas em texto e comunicações baseadasem voz. As comunicações existentes baseadas em texto sãoinsuficientes para atenderem as diversas demandas dosconsumidores. Desta forma, a provisão de serviços demultimídia capazes de atender os requisitos de diversostipos de informações, tais como texto, imagem, e música vemexperimentando crescimento. Devido ao grande tamanho dosdados de multimídia, os mesmos requerem mídias dearmazenamento de alta capacidade e grandes larguras debanda no momento da transmissão. Por exemplo, uma imagem dotipo "true color" de 24 bits com uma resolução de 640 χ 480requer 640 χ 480 χ 24 bits por quadro, ou seja, cerca de 7,37 Mbits de dados. Para transmissão dessas imagens a umataxa de 30 quadros por segundo, é necessária uma largura debanda de 221 Mbits/seg. Adicionalmente, para armazenar umfilme com 90 min. de duração, é necessário um espaço dearmazenamento de cerca de 1.200 Gbits. Desta forma, paratransmissão de dados de multimídia incluindo texto, imagense áudio, o uso de uma técnica de codificação de compressãoé essencial.
O principio fundamental da compressão de dadosconsiste em eliminar redundância nos dados. Os dados podemser compactados mediante eliminação de redundânciaespacial, tal como no caso em que uma cor idêntica ou umobjeto idêntico se repete em uma imagem, redundânciatemporal, tal como no caso em que existem poucas alteraçõesentre quadros vizinhos ou quando um som idêntico érepetido, ou redundância psico-visual, que leva emconsideração a insensibilidade visual e auditiva humanarelativamente às altas freqüências. A compressão de dadospode ser classificada como compressão com perdas/semperdas, compressão intra-quadro/inter-quadros, oucompressão simétrica/assimétrica, que dependemrespectivamente da existência ou inexistência de perda dedados, de a compressão ser ou não realizadaindependentemente para respectivos quadros, e de acompressão e a descompressão requererem ou não a mesmaquantidade de tempo. A este respeito, um caso em que otempo de demora de compressão-descompressão não excede 50ms é classificado como compressão em tempo real, e um casoem que as resoluções de quadros são variáveis éclassificado como compressão escalável. Para texto e dadosmédicos, é principalmente empregada a compressão semperdas, e para dados de multimídia é principalmenteempregada compressão com perdas. Para eliminação deredundância espacial, é empregada compressão intra-quadro,e para eliminação de redundância temporal, é empregadacompressão inter-quadros.
O desempenho difere de acordo com a mídia detransmissão. As mídias de transmissão atualmente utilizadaspossuem diversas velocidades de transmissão em uma faixaque vai desde a velocidade de uma rede de comunicações develocidade ultra-elevada, que pode transmitir dados a umataxa de transmissão de várias dezenas de megabits porsegundo, até a velocidade de uma rede de comunicação móvel,que pode transmitir dados a uma taxa de transmissão de 384Kbits por segundo. Os esquemas de codificação de vídeoconvencionais, tais como os de padrão Motion PictureExperts Group (MPEG)-I, MPEG-2, H.263 e H.264, eliminam aredundância temporal mediante utilização de compensação demovimento, e eliminam a redundância espacial medianteutilização de codificação de transformação com base em ummétodo de previsão de compensação de movimento. Estesesquemas obtêm taxas de compressão desejadas, porém nãopossuem flexibilidade para uma seqüência de bitsverdadeiramente escalável devido ao fato de os algoritmosprincipais apresentarem uma abordagem recursiva. Destaforma, vêm sendo recentemente realizadas de forma muitoativa pesquisas com relação a codificação de vídeoescalável baseada em onda pequena ("wavelet"). Acodificação de vídeo escalável refere-se a uma técnica decodificação de vídeo que é escalável. A escalabilidaderefere uma característica em que uma decodificação parcial,isto é, a reprodução de diversos pedaços de vídeo, pode serrealizada a partir de uma única seqüência de bitscompactada. O conceito de escalabilidade incluiescalabilidade espacial, capaz de ajustar a resolução devídeo, escalabilidade de Razão de Sinal-para-Ruído("Signal-to-Noise Ratio" - SNR), capaz de ajustar aqualidade do vídeo, escalabilidade temporal, capaz deajustar a taxa de quadros, e combinações das mesmas.
A entidade Joint Video Team (JVT) isto é, um grupointegrado das entidades MPEG e InternationalTelecommunication Union (ITU) está criando a norma H.264Scalable Extension (H.264 SE). O padrão H.264 écaracterizado por adotar basicamente a maioria das técnicasde codificação baseadas no padrão H.264 sem alteraçõesporém utilizando relevância inter-camadas para codificaçãode uma pluralidade de camadas. Uma pluralidade de camadasapresentam diferenças de resolução, taxa de quadros, ouSNR, porém são consideravelmente similares pelo fato de ascamadas serem criadas a partir de uma mesma origem. Destaforma, estão sendo propostas diversas técnicas parautilização eficiente de informações sobre uma camadainferior durante a codificação dos dados de uma camadasuperior.
A FIG. 1 é uma vista ilustrativa da previsãoponderada proposta no padrão H.264 existente. A previsãoponderada refere-se a uma tecnologia para aumento daeficiência de previsão mediante atribuição de escalaapropriada a quadros de referência, ao invés de uma simplesobtenção de média de quadros de referência.
Um bloco 11 de movimento (um macro-bloco ou sub-macro-bloco ao qual é atribuído um vetor de movimento)dentro de um quadro atual 10 corresponde a uma imagem 21 deum quadro de referência 20 de lado esquerdo através de umvetor 22 de movimento posterior, e corresponde a uma imagem31 de um quadro 20 de referência de lado direito através deum vetor 32 de movimento anterior.
Após a obtenção de uma imagem prevista das imagens21 e 31, um codificador reduz a quantidade de dadosnecessária para o bloco de movimento 1 mediante subtraçãoda imagem prevista do bloco de movimento 11.
Quando não é utilizada previsão ponderada, umaimagem prevista é obtida simplesmente mediante obtenção damédia das imagens 21 e 31. Entretanto, em geral, o bloco 11de vetor de movimento não coincide com a média da imagemesquerda 21 e da imagem direita 31, e dessa forma éimpossível obter uma imagem prevista correta.Desta forma, no padrão H.264, são determinadosfatores de ponderação W0 e em uma base por fatias e umresultado final obtido mediante multiplicação das imagens21 e 31 pelos fatores de ponderação Wq e Wi e adição dosresultados é utilizado como uma imagem prevista. A fatiapode ser composta por uma pluralidade de macro-blocos, oupode corresponder a um quadro. Uma pluralidade de fatiaspodem compor um único quadro. Neste caso, uma imagemprevista apresentando uma diferença muito reduzidarelativamente ao bloco 11 de movimento pode ser obtidamediante ajuste dos fatores de ponderação wo e W1, e aeficiência de codificação pode ser aperfeiçoada mediantesubtração da imagem prevista do bloco 11 de movimento.
Divulgação da Invenção
Problema Técnico
A previsão ponderada do padrão H.2 64 é muitoeficaz, porém é aplicada somente em codificação de camadaúnica. Não estão atualmente sendo realizadas pesquisas paradeterminar a forma de aplicar a previsão ponderada àcodificação de video escalável baseada em múltiplascamadas.
Solução Técnica
Um aspecto da presente invenção proporciona ummétodo e um aparelho para realização de previsão ponderadapara uma camada utilizando fatores de ponderação, que sãoutilizados quando é realizada previsão ponderada para umaout r a camada, em um codec de video baseado em múltiplascamadas.
De acordo com um aspecto da presente invenção, éprovido um método de codificação de video para realizaçãode previsão ponderada na imagem atual de uma primeiracamada mediante utilização de pelo menos um fator deponderação de uma imagem correspondente em uma segundacamada, em que o método de codificação de video compreendeoperações de (a) leitura do pelo menos um fator deponderação; (b) realização de compensação de movimento empelo menos uma imagem de referência para a imagem atual combase em um correspondente vetor de movimento; (c) geraçãode uma imagem prevista para a imagem atual medianteaquisição de uma soma ponderada da pelo menos uma imagem dereferência com compensação de movimento utilizando o pelomenos um fator de ponderação; e (d) codificação de umadiferença entre a imagem atual e a imagem prevista.
De acordo com um aspecto da presente invenção, éprovido um método de decodificação de video para realizaçãode previsão ponderada em uma imagem atual de uma primeiracamada utilizando pelo menos um fator de ponderação de umaimagem correspondente em uma segunda camada, em que ométodo de decodificação de video compreende operações de(a) extração de dados de textura da imagem atual naprimeira camada, pelo menos um vetor de movimento e pelomenos um fator de ponderação de uma seqüência de bits deentrada; (b) realização de compensação de movimento em pelomenos uma imagem de referência para a imagem atual com baseem um vetor de movimento correspondente de entre o pelomenos um vetor de movimento; (c) geração de uma imagemprevista para a imagem atual mediante aquisição de uma somaponderada da pelo menos uma imagem de referência comcompensação de movimento mediante utilização do pelo menosum fator de ponderação; e (d) adição dos dados de texturada imagem atual e da imagem prevista.
De acordo com um aspecto da presente invenção, éprovido um codificador de video incluindo uma unidade deestimativa de movimento que adquire pelo menos um vetor demovimento mediante realização de estimativa de movimento emuma imagem atual de uma primeira camada com referência apelo menos uma imagem de referência em uma localizaçãotemporal diferente da localização temporal da imagem atual;uma unidade de compensação de movimento que realizacompensação de movimento na pelo menos uma imagem dereferência mediante utilização do pelo menos um vetor demovimento; uma unidade de previsão ponderada que gera umaimagem prevista para a imagem atual mediante aquisição deuma soma ponderada da pelo menos uma imagem de referênciacom compensação de movimento utilizando pelo menos um fatorde ponderação que é utilizado para codificar uma imagemtemporalmente correspondente em uma segunda camada; e umaunidade que codifica a diferença entre a imagem atual e aimagem prevista.
De acordo com um aspecto da presente invenção, éprovido um decodificador de video incluindo uma unidade dedecodificação de entropia que extrai os dados de textura deuma imagem atual de uma primeira camada, pelo menos umvetor de movimento e pelo menos um fator de ponderação deuma imagem temporalmente correspondente em uma segundacamada de uma seqüência de bits de entrada; uma unidade decompensação de movimento que realiza compensação demovimento em pelo menos uma imagem de referência para aimagem atual utilizando pelo menos um vetor de movimento;uma unidade de previsão ponderada que gera uma imagemprevista para a imagem atual mediante aquisição de uma somaponderada da pelo menos uma imagem de referência comcompensação de movimento mediante utilização do pelo menosum fator de ponderação; e um dispositivo de adição queadiciona os dados de textura da imagem atual e da imagem deprevisão.
Descrição dos Desenhos
Os objetivos, características e vantagens dapresente invenção referidos acima, entre outros, serão maisclaramente entendidos a partir da descrição detalhada quese encontra a seguir, considerada em combinação com osdesenhos em anexo, nos quais:
A FIG. 1 é uma vista ilustrativa da previsãoponderada proposta no padrão H.264 existente;
a FIG. 2 é um diagrama de fluxo ilustrativo de ummétodo de previsão ponderada baseada em múltiplas camadasde acordo com uma configuração exemplar da presenteinvenção;a FIG. 3 é um diagrama de fluxo ilustrativo dasoperações detalhadas da operação S50 da FIG. 2 de acordocom uma configuração exemplar da presente invenção;
a FIG. 4 é uma vista, de acordo com umaconfiguração exemplar da presente invenção, ilustrativa deuma estrutura de video baseada em múltiplas camadas em quea resolução de um quadro de camada superior corresponde aodobro do valor da resolução de um quadro de camadaanterior, e em que as taxas de quadros de ambas as camadassão idênticas;
a FIG. 5 é uma vista, de acordo com umaconfiguração exemplar da presente invenção, ilustrativa deuma estrutura de video baseada em múltiplas camadas em quetanto uma camada superior quanto uma camada inferiorpossuem a estrutura MCTF;
a FIG. 6 é uma vista, de acordo com umaconfiguração exemplar da presente invenção, ilustrativa deuma estrutura de video baseada em múltiplas camadas em quetanto uma camada superior quanto uma camada inferiorpossuem a estrutura B hierárquica;
a FIG. 7 é uma vista, de acordo com umaconfiguração exemplar da presente invenção, ilustrativa deuma estrutura de video baseada em múltiplas camadas em queuma camada superior possui a estrutura MCTF e uma camadainferior possui uma estrutura B hierárquica;
a FIG. 8 é uma vista, de acordo com umaconfiguração exemplar da presente invenção, ilustrativa deuma estrutura cie vídeo baseada em múltiplas camadas, em queas taxas de quadros de ambas as camadas são idênticas, e osquadros possuem uma variedade de métodos de referência;
a FIG. 9 é um diagrama de blocos ilustrativo daconstrução de um codificador de vídeo de acordo com umaconfiguração exemplar da presente invenção;
a FIG. 10 é um diagrama de blocos ilustrativo daconstrução de um decodificador de vídeo de acordo com umaconfiguração exemplar da presente invenção; e
a FIG. 11 é um diagrama ilustrativo da construçãode um sistema para implementação de um codificador de vídeoou decodificador de vídeo de acordo com uma configuraçãoexemplar da presente invenção.
Modo da Invenção
As configurações exemplares da presente invençãosão descritas detalhadamente abaixo com referência aosdesenhos em anexo.
Uma imagem prevista (predPart) baseada na previsãoponderada do padrão H.264 pode ser calculada utilizando aEquação 1 a seguir. predPartLO refere-se à imagemcorrespondente de um quadro de referência de lado esquerdoe predPartL1 refere-se à imagem correspondente de um quadrode referência de lado direito.
<formula>formula see original document page 12</formula>
A previsão ponderada inclui previsão ponderadaexplícita e previsão ponderada implícita.
Na previsão ponderada explícita, os fatores deponderação W0 e w-L são estimados por um codificador, e sãoincluídos em um cabeçalho de fatia e transmitidos para umdecodificador. Na previsão ponderada implícita, os fatoresde ponderação w0 e Wi não são transmitidos para umdecodificador. Ao invés disso, o decodificador estima osfatores de ponderação w0 e Wi com base nas localizaçõestemporais relativas de um quadro de referência LO (Lista 0)e um quadro de referência Ll (Lista 1} . Neste caso, XOrefere-se a um quadro de referência posterior (um quadro dereferência temporalmente precedente) ao passo que Ll serefere a um quadro de referência anterior (um quadro dereferência temporalmente subseqüente).
No padrão H.264 existem tipos de fatias, tal comoum tipo de fatia I, um tipo de fatia P, e um tipo de fatiaΒ. A previsão ponderada explícita pode ser utilizadas parafatias P, e tanto a previsão ponderada explícita quanto aprevisão ponderada implícita podem ser utilizadas parafatias B. Como resultado, podem existir três tipos.
São atribuídos valores padrão ("default") a um oumais fatores de ponderação. Desta forma, em um modo no qualnão é utilizada previsão ponderada, são utilizados osvalores padrão. Em referência bidirecional (tipo de fatia3) , os valores padrão de wQ e W1 são 1/2 (média simples) .Em referência unídirecional (tipos de fatia P e SP) , ovalor padrão de e Wi é 1.
Os três tipos de previsão ponderada utilizados nopadrão H.264 são descritos abaixo.Em primeiro lugar, a previsão ponderada explícitapara o tipo de fatia P é realizada quando o valor dosinalizador weighted_pred_fIag é 1, e o tipo de referênciaé uma referência unidirecional. Neste caso, uma imagemprevista pode ser obtida mediante utilização da Equação 2 aseguir.
predPart = wx χ predPartLx
em que χ é 0 ou 1 (2)
As informações sobre um fator de previsão wx sãocodificadas no cabeçalho de fatia de uma seqüência de bitse são subseqüentemente transmitidas para um decodificador.
Em segundo lugar, a previsão ponderada explícitapara o tipo de fatia B é realizada quando o valor dosinalizador weighted_bipred_fIag é 1 e o tipo de referênciaé uma referência bidirecional. Neste caso, pode ser obtidauma imagem de previsão mediante utilização da Equação 1acima. As informações sobre w0 e W1 são codificadas nocabeçalho de fatia da seqüência de bits e sãosubseqüentemente transmitidas para o decodificador.
Em terceiro lugar, a previsão ponderada implícitapara o tipo de fatia B é realizada quando o valor dosinalizador weighted_bipred_fIag é 2 e o tipo de referênciaé uma referência bidirecional. Neste caso, as informaçõessobre w0 e W1 não são transmitidas para o decodif icador,sendo ao invés disso estimadas e geradas pelo processo deprevisão ponderada do decodificador de padrão H.264. Oprocesso de previsão ponderada é concebido considerando adistância temporal de um quadro de referência.
A vantagem da previsão implícita sobre a previsãoexplícita consiste no fato de não ser gerado ônusoperacional ("overhead") devido ao fato de não sernecessário registrar informações separadas sobre previsãoponderada na seqüência de bits. Entretanto, a previsãoimplícita não é vantajosa devido ao fato de a qualidade deum quadro restaurado poder ser degradada já que Kr0 e wxestimados no decodif icador não são idênticos aos w0 e W1calculados no codificador.
A presente invenção propõe um método de realizaçãode previsão ponderada em uma camada superior medianteaplicação dos fatores de ponderação de uma camada inferiorà camada superior sem alteração no codec de vídeo demúltiplas camadas. A entidade Joint Video Team (JVT) adotao modelo Joint Scalable Video Model (JSVM) em seu rascunhode trabalho. A camada inferior do modelo JSVM é compatívelcom o padrão H.264. Desta forma, para aplicação da presenteinvenção ao modelo JSVM, é preferencial, porém nãonecessário, que a camada inferior seja codificada de acordocom o padrão H.264. Entretanto, isto não constitui umalimitação para a presente invenção, mas pode ser aplicadono caso em que é utilizado um fator de ponderação na camadainferior.
A previsão ponderada funciona de forma muitoeficiente em uma seqüência de vídeo de seqüência deaparecimento ("fade-in") ou desaparecimento ("fade-out") deimagem de video. Se a seqüência de video de aparecimento deimagem ou de desaparecimento de imagem for codific aaa porum codec baseado em múltiplas camadas da mesma forma que nomodelo JSVM, é previsto que os fatores de ponderação dacamada superior sejam similares aos da camada inferior.
Entretanto, no caso de previsão residual, será maisapropriado aplicar a mesma previsão ponderada a uma fatiapossuindo uma fatia de camada inferior correspondente. Aprevisão residual é um método para aperfeiçoamentoadicional da eficiência de codificação mediante subtraçãode um sinal residual, gerado através de previsão temporalem uma camada superior, e um sinal residual, gerado atravésde previsão temporal em uma camada inferior e localizado namesma localização temporal do sinal residual anterior, umdo outro. A previsão residual é incluída no modelo JSVM.
A FIG. 2 é um diagrama de fluxo ilustrativo de ummétodo de previsão ponderada baseada em múltiplas camadasde acordo com uma configuração exemplar da presenteinvenção. Se um quadro atual de uma camada superior ocorrercomo entrada na operação S10, o codificador determina se oquadro atual é um quadro sincronizado na operação S20. Apresente invenção, o termo 'quadro sincronizado' refere-sea um quadro em uma camada superior possuindo um quadrocorrespondente em uma camada inferior, isto é, um quadropossuindo a mesma localização temporal {doravante aquireferido como um 'quadro de base'). Desta forma, o termoquadro não-sincronizado1 refere-se a um quadro em umacamada superior que não possui um quadro correspondente emuma camada inferior. 0 fato de a localização temporal serou não a mesma pode ser determinado dependendo de acontagem de ordem de imagem ("Picture Order Count" - POC)definida no modelo JSVM ser ou não idêntica.
Se, como resultado da determinação realizada naoperação S20, for determinado que o quadro atual é umquadro sincronizado (SIM na operação S20), o codificadordetermina se o método de referência e a distância dereferência do quadro atual são respectivamente os mesmoscom relação a um quadro de base na operação S20. 0 métodode referência pode incluir referência posterior, referênciaanterior, referência bidirecional e referência múltipla.
Adicionalmente, a distância de referência refere-se àdistância temporal entre um quadro ao qual será feitareferência e um quadro de referência. No modelo JSVM, adistância temporal pode ser expressa como uma diferençaentre a contagem POC de um quadro ao qual será feitareferência e a contagem POC do quadro de referência.
Se, como resultado da determinação realizada naoperação S20, for determinado que o método de referência ea distância de referência do quadro atual são idênticos aosdo quadro de base (SIM na operação S30) , o codificadordetermina se é utilizada previsão ponderada para o quadrode base na operação S40. De acordo com o modelo JSVM, adeterminação de utilização ou não de previsão ponderadapara o quadro de base pode ser realizada mediante exame dossinalizadores weighted_pred_fIag ou weighted_bipred_fIag doquadro de base (ou da fatia de base).
Conforme foi descrito acima, no caso em que a fatiade base é uma fatia P, no caso de utilização de previsãoponderada (explicita) é indicado quando o valor deweighted_pred_flag é 1, ao passo que o caso em que não éutilizada previsão ponderada é indicado quando o valor deweighted_pred_fIag é 0. Adicionalmente, no caso em que afatia de base é uma fatia Β, o caso em que não é utilizadaprevisão ponderada é indicado quando o valor deweighted_bipred_fIag é 0, ao passo que o caso em que éutilizada previsão ponderada (explicita) é indicado quandoo valor de weighted_pred_f Iag é 1, e o caso em que éo valor de weighted_bipred_fIag é 1.
Se, como resultado da determinação realizada naoperação S40, for determinada a utilização da previsãoponderada proposta (doravante aqui designada como previsãoponderada inter-camadas) para o quadro de base (SIM naoperação S40), o codificador aplica previsão ponderada aoquadro atual na operação S50.
Entretanto, se o quadro atual for um quadro não-sincronizado (NÃO na operação S20), o método de referênciado quadro atual for diferente daquele do quadro de base(NÃO na operação S30) ou não for utilizada previsãoponderada para o quadro de base (NÃO na operação S4 0) , nãoé aplicada previsão ponderada ao quadro atual na operaçãoS60 ou é aplicada ao quadro atual a previsão ponderadaconvencional (previsão ponderada implícita, previsãoponderada explícita, etc.}.
A FIG. 3 é um diagrama de fluxo ilustrando asoperações detalhadas da operação S50 da FIG. 2 de acordocom uma configuração exemplar da presente invenção.
Um decodificador lê em primeiro lugar um fator deponderação Wo e/ou Wi do quadro de base na operação S51.Apesar de o codificador poder ler o fator de ponderação docabeçalho da fatia, o codificador lê um tipo de parâmetrodo fator de ponderação que foi previamente armazenado emuma memória antes de ser registrado no cabeçalho da fatia.
Subseqüentemente, o codificador realiza compensaçãode movimento no quadro de referência para o quadro atualutilizando um vetor de movimento na operação S52. Noprocesso de compensação de movimento, é utilizado um vetorde movimento estimado através de um processo de estimativade movimento. Quando existe uma pluralidade de quadros dereferência, será necessário realizar compensação demovimento em cada um dos respectivos quadros utilizando umvetor de movimento correspondente.
Adicionalmente, o codificador multiplica o quadrode referência com compensação de movimento pelo fator deponderação ^o e/ou w% e adiciona o quadro de referência,que é multiplicado pelo fator de ponderação, ao quadroatuai na operação S53. Como resultado da adição é obtido umquadro previsto (ou uma fatia de previsão).
0 codificador calcula a diferença entre o quadroatual (ou fatia) e o quadro previsto (ou fatia) na operaçãoS54, e codifica a diferença calculada na operação S55.
Na camada superior, não é necessário transmitirpara o decodificador nenhum sinalizador ("flag") adicionalou fator de ponderação relacionado com a previsão ponderadainter-camadas. 0 decodificador pode utilizar o sinalizadore o fator de ponderação da camada inferior sem alterações.
As FIGS. 4 até 8 são vistas exemplares ilustrandoas estruturas de diversas camadas superiores e inferioresàs quais a presente invenção pode ser aplicada. Nosdesenhos, a FIG. 4 ilustra o caso, de acordo com umaconfiguração exemplâr da presente invenção, em que aresolução de um quadro de camada superior (camada 2) tem odobro do valor da resolução de um quadro de camada inferior(camada 1) , as taxas de quadros de ambas as camadas sãoidênticas, e ambas as camadas possuem um único níveltemporal. Na FIG. 4 'I1 designa um quadro-I (ou fatia), 'P1designa um quadro-P (ou fatia) e 1B' designa um quadro-B(ou fatia).
Na FIG. 4 pode ser observado que os quadros dereferência possuem as mesmas localizações relativamente àsrespectivas camadas visto que os quadros correspondentesentre as camadas possuem o mesmo método de referência edistância de referência, apesar de as camadas teremresoluções diferentes. O quadro atual da camada superior,possuindo um quadro de base correspondente (um quadro decamada inferior) com o mesmo método de referência edistância de referência, pode ser codificado oudecodificado mediante utilização do fator de ponderação doquadro de base sem alterações. Desde que um quadro nãoadjacente ao quadro atual tenha o mesmo método dereferência, o quadro poderá ser utilizado como quadro dereferência.
A FIG. 5 ilustra o caso, de acordo com umaconfiguração exemplar da presente invenção, em que tanto acamada superior (camada 2) quanto a camada inferior (camada1) possuem uma estrutura MCTF. Fazendo referência à FIG. 5,a taxa de quadros de uma camada superior tem o dobro dovalor da taxa de quadros de uma camada inferior. Destaforma, um número de niveis temporais da camada superior émaior que o número de niveis temporais da camada inferiorpor um fator de um. A presente invenção pode ser aplicadaao caso em que tanto as camadas superiores quanto ascamadas inferiores possuem estruturas de nivel temporalhierárquicas. Isto é, os quadros 54, 55 e 56 dos quadros dealta freqüência da camada superior que atendem as condiçõesdescritas relativamente à FIG. 2 podem ser eficientementecodificados ou decodificados respectivamente medianteutilização dos fatores de ponderação dos correspondentesquadros de base 57, 58 e 59 sem alterações. Entretanto, osquadros de alta freqüência 50, 51, 52 e 53 que existemsomente no nivel mais alto (nivel 2) não possuem quadros debase correspondentes, e dessa forma não é aplicada previsãoponderada ou é aplicada previsão ponderada convencional aosquadros de alta freqüência 50, 51, 52 e 53.
A FIG. 6 ilustra o caso, de acordo com umaconfiguração exemplar da presente invenção, em que tanto acamada superior (camada 2) quanto a camada inferior (camada1} possuem as estruturas B hierárquicas do padrão H.264. NaFIG. 6, a taxa de quadros da camada superior tem o dobro dovalor da taxa de quadros da camada inferior. Na estrutura Bhierárquica, a resolução temporal é realizada de formadiferente de MCTF. Ou seja, quanto mais baixo for o nível,mais alta será a taxa de quadros. Supondo-se que a taxa dequadros da camada superior seja A, o codificador somentepode transmitir quadros de nível 2 se o decodificadorrequerer vídeo com uma taxa de quadros de A/4, e somentepode transmitir quadros existentes nos níveis 2 e 1 se odecodificador requerer vídeo com uma taxa de quadros deA/2. Como é evidente, se o decodificador requerer vídeo comuma taxa de quadros de A, o codificador pode transmitirtodos os quadros.
A presente invenção pode igualmente ser aplicada aocaso em que ambas as camadas superior e inferior possuemestruturas B hierárquicas. Por exemplo, um quadro de altafreqüência 61 possui o mesmo método de referência edistância de referência que os de um quadro de basecorrespondente 64, e um quadro de alta freqüência 62 tem omesmo método de referência e distância de referência que osde um quadro de base correspondente 65. Desta forma, aprevisão ponderada pode ser realizada nos quadros de altafreqüência 61 e 62 mediante utilização de fatores deponderação de correspondentes quadros de base 64 e 65 semalterações. Em contraste, o quadro de alta freqüência 63não tem um quadro de base correspondente, e portanto aprevisão ponderada não é aplicada ou é aplicada ao mesmouma previsão ponderada convencional.
A FIG. 7 ilustra o caso, de acordo com umaconfiguração exemplar da presente invenção, em que umacamada superior (camada 2) possui uma estrutura MCTF e umacamada inferior (camada 1) possui uma estrutura Bhierárquica. Neste caso, os quadros de alta freqüênciaexistentes no nivel 2 da camada superior não possuem nenhumquadro de base correspondente, e dessa forma não é aplicadaprevisão ponderada ou é aplicada aos mesmos uma previsãoponderada convencional. Entretanto, os quadros de altafreqüência existentes no nivel 1 ou nivel 0 possuem quadrosde base correspondentes. Por exemplo, o quadro de basecorrespondente de um quadro de alta freqüência 72 é umquadro 75. O quadro 72 e o quadro 75 diferem entre si nofato de o quadro 72 ser um quadro MCTF ao passe que oquadro 73 é um quadro B hierárquico. Entretanto, desde queos quadros tenham o mesmo método de referência e distânciade referência, será possível aplicar aos mesmos previsãoponderada inter-camadas sem problemas. Devido ao fato de oquadro 72 ter o mesmo método de referência e distância dereferência que o quadro 75, é possível aplicar ao mesmo aprevisão ponderada inter-camadas. Da mesma forma, aprevisão ponderada inter-camadas pode ser realizada noquadro 73 mediante utilização do fator de ponderação de umquadro 74 sem alterações.
A FIG. 8 ilustra o caso, de acordo com umaconfiguração exemplar da presente invenção, em que cada umadas camadas superior e inferior possui um único níveltemporal, e todos os quadros de alta freqüência da camadasuperior possuem quadros de base correspondentes.
Entretanto, os quadros de alta freqüênci a que possuem osmesmos métodos de referência e distâncias de referência quequadros de base correspondentes, e quadros de altafreqüência que não possuem os mesmos métodos de referênciae distâncias de referência de quadros de basecorrespondentes existem igualmente.
Por exemplo, um quadro de alta freqüência 81 possuio mesmo método de referência e distância que um quadro debase correspondente 85 devido ao fato de os mesmos terem ummétodo de referência bidirecional e uma distância dereferência de 1. Um quadro de alta freqüência 82 tem omesmo método de referência e distância que um quadro debase correspondente 8 6 devido ao fato de os mesmos terem ummétodo de referência posterior e uma distância dereferência de 1. Entretanto, os quadros de alta freqüência83 e 84 não possuem os mesmos métodos de referência quequadros de base correspondentes, e portanto não é aplicadaprevisão ponderada ou é aplicada aos mesmos uma previsãoponderada convencional.
A FIG. 9 é um diagrama de blocos ilustrativo daconstrução de um codificador de video 100 de acordo com umaconfiguração exemplar da presente invenção. Um quadro atualF é alimentado como entrada para uma unidade 105 deestimativa de movimento, uma unidade 115 de subtração, e umdispositivo 170 de amostragem descendente ("down-sampler").
O dispositivo 170 de amostragem descendente realizauma amostragem espacialmente ou temporalmente descendentedo quadro atual F e fornece o quadro atual com amostragemdescendente para um codificador 180 de camada inferior. 0codificador 180 de camada inferior recebe o quadro atualcom amostragem descendente e produz como saida os dados 3codificados de uma camada inferior. O codificador 180 decamada inferior utiliza um de diversos tipos de métodos decodificação, e fornece informações de camada inferior,incluindo um fator de ponderação, para uma unidade 160 deprevisão ponderada. Na configuração exemplar da presenteinvenção, na medida em que é suficiente que o codificador180 de camada inferior tenha uma função para realização decodificação através da previsão ponderada convencional, oalgoritmo de codificação para a camada inferior encontra-sefora do escopo da configuração exemplar da presenteinvenção. Desta forma, o codificador 180 de camada inferioré representado por um módulo. Entretanto, devido ao fato deo padrão H.264, que utiliza previsão ponderada, serutilizado para uma camada única atual, o codificador 180 decamada inferior será preferencialmente, porém nãonecessariamente, um codificador baseado no padrão H.264.
A operação da camada superior é descritadetalhadamente abaixo.
A unidade 105 de estimativa de movimento obtém umvetor de movimento mediante realização de estimativa demovimento em um quadro atual com referência a um quadro dereferência em uma localização temporal diferente daquela doquadro atual. Entretanto, uma imagem original Fr (paracodificação de enlace aberto) ou uma imagem decodificadaFr. (para codificação de enlace fechado) pode ser utilizadacomo quadro de referência. A descrição a seguir é dada combase na suposição de que o codificador de video 100 daconfiguração exemplar da presente invenção utiliza o métodode codificação de enlace fechado.
Para a estimativa de movimento é amplamenteutilizado um algoritmo de equiparação de bloco. Isto é, oalgoritmo de equiparação de bloco proporciona um processopara estimativa de um deslocamento possuindo o menor valorde erro como um vetor de movimento durante o deslocamentode um bloco previamente determinado em uma base de pixel ousub-pixel (1/2 pixel ou 1/4 de pixel) dentro de uma regiãode pesquisa especifica do quadro de referência. Muitoembora possa ser utilizado um bloco fixo para estimativa demovimento, pode ser utilizado um método hierárquico baseadoem Equiparação de Bloco de Tamanho Variável Hierárquica("Hierarchical Variable Size Block Matching"-HVSBM).
Uma unidade 110 de compensação de movimento adquireum quadro com compensação de movimento mc(Fr') medianterealização de compensação de movimento no quadro dereferência Fr' utilizando o vetor de movimento. Se existiruma pluralidade de quadros de referência Fr', a pluralidadede quadros de referência deverá ser submetida a compensaçãode movimento.
A unidade 160 de previsão ponderada determina sedeverá ser aplicada previsão ponderada inter-camadas aoquadro atual de acordo com o algoritmo descrito comreferência à FIG. 2. Para esta finalidade, a unidade 160 deprevisão ponderada pode receber informações sobre alocalização temporal de um quadro de camada inferior (porexemplo, uma POC), informações sobre um método dereferência {por exemplo, L0, LI), informações sobre umadistância de referência (por exemplo, uma diferença de POC)e fatores de ponderação (por exemplo, ω0 e ωχ) .
Se for determinado que deverá ser aplicado aprevisão ponderada inter-camadas, um quadro P previsto parao quadro atual poderá ser gerado mediante aquisição da somaponderada dos quadros de referência com compensação demovimento rac(Fr') mediante utilização dos fatores deponderação dos quadros de base. 0 termo 'soma ponderada'refere-se à multiplicação de respectivos fatores deponderação e correspondentes quadros de referência (quadrosde referência com compensação de movimento) e adição dosresultados de multiplicação. Quando existe um quadro dereferência, um fator de ponderação é simplesmentemultiplicado pelo quadro de referência.
Entretanto, se for determinado que não deverá seraplicada a previsão ponderada inter-camadas, o quadro Pprevisto é gerado mediante utilização de valores padrão defatores de ponderação, isto é, sem utilização de fatores deponderação dos quadros de base. Desta forma, no ca so dareferência bidirecional, o quadro P previsto pode sergerado mediante multiplicação de cada um dos quadros dereferência com compensação de movimento por 1/2 e comsubseqüente adição dos resultados de multiplicação. No casoda referência unidirecional, os quadros de referência comcompensação de movimento podem ser utilizados como quadrosP previstos sem alterações.
A unidade 115 de subtração fornece um sinalresidual R, que é calculado mediante subtração do quadroprevisto do quadro atual F, para uma unidade detransformação 120.
A unidade de transformação 120 gera um coeficientede transformação Rt mediante realização de transformaçãoespacial no sinal residual R utilizando a Transformação deCo-seno Distinto ("Discrete Cosine Transform" - DCT) ,transformação de onda pequena ("wavelet transform"), ououtros. Quando é utilizada transformação de onda pequena, ocoeficiente de transformação é um coeficiente de ondapequena.Em seguida, uma unidade 125 de quantificaçãoquantifica o coeficiente de transformação. 0 termo'quantificação' refere-se a um processo de representação deum coeficiente de transformação, que é um número realpreviamente determinado, na forma de valores distintos. Porexemplo, a unidade 125 de quantificação pode realizar aquantificação dividindo o coeficiente de transformação poruma etapa de quantificação previamente determinada earredondar o resultado para um valor de número inteiro.
O resultado de quantificação obtido pela unidade125 de quantificação, isto é, um coeficiente dequantificação R0, é fornecido para uma unidade 150 decodificação de entropia e uma unidade 130 de quantificaçãoinversa.
A unidade 130 de quantificação inversa quantificainversamente o coeficiente de quantificação. O processo dequantificação inversa é um processo de restauração de umvalor de equiparação de um índice gerado no processo dequantificação mediante utilização da etapa de quantificaçãoque foi utilizada no processo de quantificação.
Uma unidade 135 de transformação inversa realiza umprocesso de transformação inversa em um resultado dequantificação inversa. 0 processo de transformação inversaé realizado de uma forma inversa com relação ao processo detransformação da unidade 120 de transformação. De formamais detalhada, podem ser utilizados um processo detransformação DCT inversa, de transformação de onda pequenainversa, ou outros. Um dispositivo 140 de adição pode aerarum quadro atual restaurado Fi mediante adição de umresultado de transformação inversa e o quadro P previstoutilizado no processo de compensação de movimento daunidade 110 de compensação de movimento.
Uma memória de armazenamento temporário ("buffer")~145 armazena um resultado fornecido pelo dispositivo 140 deadição. Desta forma, a memória de armazenamento temporáriopode armazenar não somente o quadro atual restaurado F' mastambém o quadro de referência restaurado Fr.
A unidade 150 de codificação de entropia codificasem perdas em uma seqüência de bits o vetor de movimento MVestimado na unidade 105 de estimativa de movimento, ocoeficiente de quantificação R0 produzido como saida pelaunidade 125 de quantificação, e os dados B produzidos comosaida pelo codificador 180 de camada inferior. Um dediversos métodos, tal como codificação Huffman, codificaçãoaritmética e codificação de extensão variável poderá serutilizado como método de codificação sem perdas.
A FIG. 10 é um diagrama de blocos ilustrativo daconstrução de um decodificador de video 200 de acordo comuma configuração exemplar da presente invenção.
Uma unidade 210 de decodificação de entropiadecodifica sem perdas uma seqüência de bits de entrada, eextrai os dados B codificados da camada inferior, o vetorde movimento MV da camada superior e os dados de textura R0da camada superior. A decodificação sem perdas é umprocesso que é realizado de uma forma inversa à do processode codificação sem perdas realizado no codificador.
Os dados B de textura extraídos da camada inferiorsão fornecidos para um decodificador 290 de camadainferior, o vetor de movimento MV extraído é fornecido parauma unidade 2 60 de compensação de movimento, e os dados detextura R0 são fornecidos para uma unidade 220 dequantificação inversa.
0 decodificador 290 de camada inferior utiliza ummétodo de decodificação correspondente ao método utilizadopelo codificador 18 0 de camada inferior da FIG. 9, efornece à unidade 270 de previsão ponderada as informaçõesde camada inferior incluindo os fatores de ponderação. Asinformações de camada inferior podem ser inseridas naseqüência de bits. Em particular, os fatores de ponderaçãopodem ser registrados no cabeçalho do quadro ou nocabeça-lho da fatia. 0 decodif icador 290 de camada inferiorfornece as informações de camada inferior para uma unidade270 de previsão ponderada. O decodificador 290 de camadainferior pode consistir em um decodificador baseado nopadrão H.264.
A unidade 220 de quantificação inversa quantificainversamente os dados de textura Rc. 0 processo dequantificação inversa é um processo de restauração de umvalor de equiparação de um índice gerado no processo dequantificação utilizando uma tabela de quantificação quefoi utilizada no processo de quantificação.Uma unidade 230 de transformação inversa realizauma transformação inversa em um resultado de quantificaçãoinversa. O processo de transformação inversa é realizado deuma forma inversa à do processo de transformação realizadono codificador. Mais detalhadamente, podem ser utilizadastransformação DCT inversa, transformação de onda pequenainversa, ou outras. O sinal residual R', restaurado comoresultado da transformação inversa, é enviado para umdispositivo 240 de adição.
A unidade 260 de compensação de movimento gera umquadro com compensação de movimento mc(Fr') medianterealização de compensação de movimento no quadro dereferência Fr> da camada inferior, que foi previamenterestaurado e armazenado em uma memória de armazenamentotemporário 250, utilizando o vetor de movimento extraídoMV, e envia o quadro com compensação de movimento geradomc(Fr') para o dispositivo 240 de adição. Se existir umapluralidade de quadros de referência Fr·, a compensação demovimento deverá ser realizada em cada quadro dapluralidade de quadros de referência.
A unidade 270 de previsão ponderada determina seserá aplicada previsão ponderada inter-camadas ao quadroatual de acordo com o algoritmo descrito com referência àFIG. 2. Para esta finalidade, a unidade 270 de previsãoponderada pode receber informações sobre a localizaçãotemporal de um quadro de camada inferior (por exemplo, umaPOC), informações sobre um método de referência (porexemplo, LO, LI), informações sobre uma distância dereferência (por exemplo, uma diferença de POC} e fatores deponderação (por exemplo, ωο e ωχ) .
Se for determinado que deverá ser aplicado aprevisão ponderada inter-camadas, é gerado um quadro Pprevisto para o quadro atual mediante multiplicação doquadro de referência com compensação de movimento mc(Fr')por um fator de ponderação. Como é evidente, se existir umapluralidade de quadros de referência, o quadro P previstopoderá ser gerado mediante multiplicação de um quadro dereferência correspondente pelo fator de ponderação, comsubseqüente adição dos resultados de multiplicação.
Entretanto, se for determinado que não deverá seraplicada a previsão ponderada inter-camadas, o quadro Pprevisto é gerado mediante utilização de um valor padrão defator de ponderação, isto é, sem utilização do fator deponderação do quadro de base. Desta forma, no caso dareferência bidirecional, o quadro P previsto pode sergerado mediante multiplicação do quadro de referência comcompensação de movimento por 1/2 com subseqüente adição dosresultados de multiplicação. No caso da referênciaunidirecional, o quadro de referência com compensação demovimento pode ser utilizado como o quadro P previsto semalterações.
0 dispositivo de adição 240 adiciona os valores deR' e P recebidos e produz como saida o quadro atualrestaurado F'. A memória de armazenamento temporário 250armazena temporariamente o quadro restaurado F* . Destaforma, a memória de armazenamento temporário 250 armazenanão somente o quadro F' mas também o quadro de referênciaanteriormente armazenado Fr'.
Muito embora a previsão ponderada inter-camadas dacamada superior através de fatores de ponderação da camadainferior tenha sido descrita como sendo realizada em umabase de quadro, esta descrição é meramente ilustrativa. Aprevisão ponderada inter-camadas da camada superior podeser realizada em uma base idêntica àquela (quadro, fatia,macro-bloco, bloco de movimento ou similar) utilizada nacamada inferior. Muito embora a múltipla camada tenha sidodescrita como consistindo em duas camadas - uma camadasuperior e uma camada inferior, esta descrição é meramenteilustrativa. Aqueles que são versados na técnica poderãoapreciar que a presente invenção pode ser aplicada entreuma camada, à qual já tiver sido aplicada uma previsãoponderada, e uma outra camada, mesmo se existirem três oumais camadas.
A FIG. 11 é um diagrama ilustrativo da construçãode um sistema para implementação do codificador de vídeo100 ou do decodif icador de vídeo 200 de acordo com umaconfiguração exemplar da presente invenção. O sistema podeconsistir em um televisor (TV), um dispositivo do tipo"set-top box", um computador de mesa ("desktop"), umcomputador portátil ("laptop"), um computador de bolso("palmtop"), um dispositivo do tipo Assistente DigitalPessoal ("Personal Digital Assistant" - PDA), ou umdispositivo de armazenamento de vídeo ou imagens (porexemplo, um gravador de videocassete ("Video CassetteRecorder" - VCR) ou um gravador de vídeo digital ("DigitalVideo Recorder" - DVR)). Adicionalmente, o sistema podeconsistir em uma combinação dos dispositivos descritosacima, ou um dos dispositivos descritos acima podeencontrar-se incluído em um outro. O sistema pode incluirpelo menos uma fonte de vídeo 910, pelo menos umdispositivo de Entrada/Saída ("Input/Output" - 1/0) 920, umprocessador 940, uma memória 950 e um dispositivo deexibição 930.
A fonte de vídeo 910 pode consistir em um receptorde TV, um VCR ou um outro tipo de dispositivo dearmazenamento de vídeo. Adicionalmente, a fonte de vídeo910 pode consistir em pelo menos uma conexão de rede parareceber vídeo de um servidor através da Internet, de umarede de área ampla ("Wide Area Network" - WAN), uma rede deárea local ("Local Area Network" - LAN), um sistema dedifusão terrestre, uma rede via cabo, uma rede decomunicação por satélite, uma rede sem fios, uma redetelefônica ou similares. Adicionalmente, a fonte de vídeopode consistir em uma combinação das redes descritas acima,ou uma das redes descritas acima pode ser incluída ernoutra.
0 dispositivo de entrada/saída 1/0 920, oprocessador 940 e a memória 950 comunicam entre si atravésde uma mídia de comunicação 960. A mídia de comunicação 960pode consistir em um barramento de comunicação, uma rede decomunicação, ou pelo menos um circuito interno de conexão.
Os dados de vídeo de entrada recebidos da fonte de vídeo910 podem ser processados pelo processador 940 de acordocom pelo menos um programa de software armazenado namemória 950, e podem ser executados pelo processador 940para geração de uma saída de vídeo que é fornecida para odispositivo de exibição 930.
Em particular, o programa de software armazenado namemória 950 pode incluir um codec de vídeo baseado emmúltiplas camadas que realiza o método de acordo com asconfigurações exemplares da presente invenção citadasacima. O codec pode ser armazenado na memória 950, pode serlido de uma mídia de armazenamento tal como um CD-ROM ou umdisquete, ou pode ser "baixado" ("downloaded") de umservidor previamente determinado através de uma ou váriasredes. O codec pode ser inteiramente baseado em software,inteiramente baseado em hardware, ou pode consistir em umacombinação de software e um circuito de hardware.
Aplicação Industrial
Conforme foi descrito acima, de acordo com ocodificador/decodificador de vídeo conforme asconfigurações exemplares da presente invenção, o fator deponderação de um quadro de base correspondente pode serutilizado sem alterações. Dessa forma, uma previsãoponderada pode ser eficientemente realizada nos quadros deuma camada aperfeiçoada sem transferência de informaçõesadicionais para o decodificador.
É possível aperfeiçoar adicionalmente a eficiênciade codificação de dados de vídeo através de previsãoponderada.
Muito embora as configurações preferenciais dapresente invenção tenham sido divulgadas para propósitosilustrativos, aqueles que são versados na técnica poderãoapreciar que são possíveis diversas modificações, adições esubstituições, sem afastamento do escopo e espírito dainvenção conforme divulgados nas reivindicações que seencontram em anexo.

Claims (18)

1. MÉTODO DE DECODIFICAÇÃO DE UM QUADRO ATUAL APARTIR DE UM QUADRO DE REFERÊNCIA, o método sendocaracterizado por compreender:restauração do quadro de referência;cálculo de informações sobre um fator deponderação a ser aplicado ao quadro de referência com baseem informações sobre uma camada inferior que corresponde auma camada superior no quadro atual;aplicação do fator de ponderação ao quadro dereferência com base nas informações sobre o fator deponderação; erestauração do quadro atual a partir do quadro dereferência ao qual foi aplicado o fator de ponderação.
2. Método, de acordo com a reivindicação 1,caracterizado por compreender adicionalmente:determinação da existência ou não do quadro decamada inferior que corresponde ao quadro atual, em que éutilizado um valor padrão para o fator de ponderação se fordeterminado que o quadro de camada inferior que correspondeao quadro atual não existe.
3. Método, de acordo com a reivindicação 2,caracterizado por a determinação da existência ou não doquadro de camada inferior que corresponde ao quadro atualser realizada mediante utilização de uma Contagem de Ordemde Imagem ("Picture Order Count" - POC) de um quadro.
4. Método, de acordo com a reivindicação 1,caracterizado por um valor padrão ser utilizado como fatorde ponderação se o fator de ponderação não puder sercalculado das informações sobre a camada inferiorcorrespondendo a uma camada superior no quadro atual.
5. Método, de acordo com a reivindicação 1,caracterizado por a camada inferior ser codificada deacordo com o padrão H.2 64.
6. Método, de acordo com a reivindicação 1,caracterizado por o fator de ponderação ser registrado emum cabeçalho de quadro ou um cabeçalho de fatia da camadainferior.
7. Método, de acordo com a reivindicação 1,caracterizado por as informações sobre o fator deponderação a ser aplicado ao quadro de referência seremcalculadas com base em informações que são codificadas emum cabeçalho da camada inferior.
8. Método, de acordo com a reivindicação 7,caracterizado por as informações que são codificadas nocabeçalho da camada inferior serem registradas em umcabeçalho de quadro ou um cabeçalho de fatia da camadainferior.
9. Método, de acordo com a reivindicação 7,caracterizado por as informações que são codificadas nocabeçalho da camada inferior incluírem um sinalizador("flag") que indica se o fator de ponderação deverá seraplicado.
10. APARELHO PARA DECODIFICAÇÃO DE UM QUADRO ATUALA PARTIR DE UM QUADRO DE REFERÊNCIA, o aparelho sendocaracterizado por compreender:meios para restauração do quadro de referência;meios para cálculo de informações sobre um fatorde ponderação a ser aplicado ao quadro de referência combase em informações sobre uma camada inferior quecorresponde a uma camada superior no quadro atual;meios para aplicação do fator de ponderação aoquadro de referência com base nas informações sobre o fatorde ponderação; emeios para restauração do quadro atual a partir doquadro de referência ao qual foi aplicado o fator deponderação.
11. Aparelho, de acordo com a reivindicação 10,caracterizado por compreender adicionalmente:meios para determinação da existência ou não doquadro de camada inferior que corresponde ao quadro atual,em que é utilizado um valor padrão para o fator deponderação se for determinado que o quadro de camadainferior que corresponde ao quadro atual não existe.
12. Aparelho, de acordo com a reivindicação 11,caracterizado por a determinação da existência ou não doquadro de camada inferior que corresponde ao quadro atualser realizada mediante utilização de uma Contagem de Ordemde Imagem ("Picture Order Count" - POC) de um quadro.
13. Aparelho, de acordo com a reivindicação IC1fcaracterizado por um valor padrão ser utilizado como fatorde ponderação se o fator de ponderação não puder sercalculado das informações sobre a camada inferiorcorrespondendo a uma camada superior no quadro atual.
14. Aparelho, de acordo com a reivindicação 10,caracterizado por a camada inferior ser codificada deacordo com o padrão H.2 64.
15. Aparelho, de acordo com a reivindicação 10,caracterizado por o fator de ponderação ser registrado emum cabeçalho de quadro ou um cabeçalho de fatia da camadainferior.
16. Aparelho, de acordo com a reivindicação 10,caracterizado por as informações sobre o fator deponderação a ser aplicado ao quadro de referência seremcalculadas com base em informações que são codificadas emum cabeçalho da camada inferior.
17. Aparelho, de acordo com a reivindicação 16,caracterizado por as informações que são codificadas nocabeçalho da camada inferior serem registradas em umcabeçalho de quadro ou um cabeçalho de fatia da camadainferior.
18. Aparelho, de acordo com a reivindicação 16,caracterizado por as informações que são codificadas nocabeçalho da camada inferior incluírem um sinalizador("flag") que indica se o fator de ponderação deverá seraplicado.
BRPI0611946-8A 2005-06-24 2006-06-22 método de decodificação de um quadro atual a partir de um quadro de referência, e aparelho para decodificação de um quadro atual a partir de um quadro de referência BRPI0611946A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020050055041A KR100714696B1 (ko) 2005-06-24 2005-06-24 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR10-2005-0055041 2005-06-24
PCT/KR2006/002423 WO2006137709A1 (en) 2005-06-24 2006-06-22 Video coding method and apparatus using multi-layer based weighted prediction

Publications (1)

Publication Number Publication Date
BRPI0611946A2 true BRPI0611946A2 (pt) 2010-10-13

Family

ID=37125972

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0611946-8A BRPI0611946A2 (pt) 2005-06-24 2006-06-22 método de decodificação de um quadro atual a partir de um quadro de referência, e aparelho para decodificação de um quadro atual a partir de um quadro de referência

Country Status (7)

Country Link
US (1) US20060291562A1 (pt)
EP (1) EP1737243A3 (pt)
KR (1) KR100714696B1 (pt)
CN (1) CN101208958B (pt)
BR (1) BRPI0611946A2 (pt)
TW (1) TWI326188B (pt)
WO (1) WO2006137709A1 (pt)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7974342B2 (en) * 2003-07-08 2011-07-05 Trident Microsystems (Far East) Ltd. Motion-compensated image signal interpolation using a weighted median filter
EP1915871B1 (en) * 2005-07-21 2017-07-05 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
US8867618B2 (en) * 2005-07-22 2014-10-21 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
WO2007047271A2 (en) * 2005-10-12 2007-04-26 Thomson Licensing Methods and apparatus for weighted prediction in scalable video encoding and decoding
KR101103724B1 (ko) * 2007-07-02 2012-01-11 니폰덴신뎅와 가부시키가이샤 동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체
US20090010341A1 (en) * 2007-07-02 2009-01-08 Feng Pan Peak signal to noise ratio weighting module, video encoding system and method for use therewith
ES2634162T3 (es) * 2007-10-25 2017-09-26 Nippon Telegraph And Telephone Corporation Método de codificación escalable de vídeo y métodos de decodificación que utilizan predicción ponderada, dispositivos para ello, programas para ello, y medio de grabación donde se graba el programa
ATE526787T1 (de) * 2007-12-11 2011-10-15 Alcatel Lucent Verfahren zum zustellen eines videostroms über einen drahtlosen kanal
KR101442608B1 (ko) * 2008-02-05 2014-09-25 삼성전자주식회사 영상을 효율적으로 부호화/복호화하는 방법 및 장치
US20100098156A1 (en) 2008-10-16 2010-04-22 Qualcomm Incorporated Weighted prediction based on vectorized entropy coding
US9161057B2 (en) 2009-07-09 2015-10-13 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US8711930B2 (en) * 2009-07-09 2014-04-29 Qualcomm Incorporated Non-zero rounding and prediction mode selection techniques in video encoding
US8995526B2 (en) * 2009-07-09 2015-03-31 Qualcomm Incorporated Different weights for uni-directional prediction and bi-directional prediction in video coding
KR101611437B1 (ko) * 2009-10-28 2016-04-26 삼성전자주식회사 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
KR20110071047A (ko) * 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
CN102413326B (zh) * 2010-09-26 2014-04-30 华为技术有限公司 视频编码、解码方法和装置
ES2773774T3 (es) * 2010-10-06 2020-07-14 Ntt Docomo Inc Dispositivo, método y programa de codificación bipredictiva de imágenes, y dispositivo, método y programa de decodificación bipredictiva de imágenes
CN102055979B (zh) * 2010-12-28 2014-09-03 深圳市云宙多媒体技术有限公司 帧运动补偿编码、解码方法及装置
US9008181B2 (en) 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
WO2013051897A1 (ko) * 2011-10-05 2013-04-11 한국전자통신연구원 영상 부호화 방법과 영상 복호화 방법
WO2013061551A1 (ja) * 2011-10-27 2013-05-02 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
PL2773111T3 (pl) 2011-10-28 2020-06-29 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów i urządzenie do dekodowania obrazów
WO2013061549A1 (ja) 2011-10-28 2013-05-02 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US9648321B2 (en) * 2011-12-02 2017-05-09 Qualcomm Incorporated Coding picture order count values identifying long-term reference frames
WO2013106482A1 (en) * 2012-01-09 2013-07-18 Huawei Technologies Co., Ltd. Quantization matrix (qm) coding based on weighted prediction
TWI528803B (zh) * 2012-04-06 2016-04-01 瑞昱半導體股份有限公司 多媒體系統、多媒體信息顯示裝置及其信息傳送方法
US9843801B2 (en) * 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding
US9641836B2 (en) * 2012-08-07 2017-05-02 Qualcomm Incorporated Weighted difference prediction under the framework of generalized residual prediction
BR112015000422B1 (pt) * 2012-09-28 2023-04-25 Sony Corporation Dispositivo e método de processamento de imagem
WO2014058207A1 (ko) * 2012-10-08 2014-04-17 엘지전자 주식회사 다시점 비디오 신호의 인코딩 방법, 디코딩 방법 및 이에 대한 장치
CN104871540B (zh) * 2012-12-14 2019-04-02 Lg 电子株式会社 编码视频的方法、解码视频的方法以及使用其的装置
SG10201510265XA (en) * 2012-12-26 2016-01-28 Sony Corp Image Processing Device And Method
US9979971B2 (en) * 2013-10-14 2018-05-22 Qualcomm Incorporated Device and method for scalable coding of video information
CN105072481A (zh) * 2015-07-23 2015-11-18 柳州龙辉科技有限公司 一种视频数据的加载及播放方法
CN116708784A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
US11172221B2 (en) * 2017-06-26 2021-11-09 Interdigital Madison Patent Holdings, Sas Method and apparatus for intra prediction with multiple weighted references
CN107483949A (zh) * 2017-07-26 2017-12-15 千目聚云数码科技(上海)有限公司 增加svac svc实用性的方法及系统
US10412410B2 (en) * 2017-08-14 2019-09-10 Google Llc Compound motion-compensated prediction

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2127151A1 (en) * 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
US6788740B1 (en) 1999-10-01 2004-09-07 Koninklijke Philips Electronics N.V. System and method for encoding and decoding enhancement layer data using base layer quantization data
CA2395605C (en) * 1999-12-22 2011-04-05 General Instrument Corporation Video compression for multicast environments using spatial scalability and simulcast coding
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US6792044B2 (en) 2001-05-16 2004-09-14 Koninklijke Philips Electronics N.V. Method of and system for activity-based frequency weighting for FGS enhancement layers
US7170937B2 (en) * 2002-05-01 2007-01-30 Texas Instruments Incorporated Complexity-scalable intra-frame prediction technique
US6750204B2 (en) * 2002-06-25 2004-06-15 Enanta Pharmaceuticals, Inc. 11-C-substituted ketolides

Also Published As

Publication number Publication date
WO2006137709A1 (en) 2006-12-28
TWI326188B (en) 2010-06-11
US20060291562A1 (en) 2006-12-28
KR20070000022A (ko) 2007-01-02
CN101208958A (zh) 2008-06-25
TW200709695A (en) 2007-03-01
EP1737243A2 (en) 2006-12-27
EP1737243A3 (en) 2013-04-24
CN101208958B (zh) 2012-05-30
WO2006137709A8 (en) 2007-11-29
KR100714696B1 (ko) 2007-05-04

Similar Documents

Publication Publication Date Title
BRPI0611946A2 (pt) método de decodificação de um quadro atual a partir de um quadro de referência, e aparelho para decodificação de um quadro atual a partir de um quadro de referência
KR100763182B1 (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR100703788B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
KR100703760B1 (ko) 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
KR100679011B1 (ko) 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
KR100703740B1 (ko) 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치
KR20060135992A (ko) 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
KR100694137B1 (ko) 동영상 부호화 장치, 동영상 복호화 장치, 및 그 방법과,이를 구현하기 위한 프로그램이 기록된 기록 매체
KR100703745B1 (ko) 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
EP1709812A1 (en) Video coding apparatus and method for inserting key frame adaptively
KR100703746B1 (ko) 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
JP2007081720A (ja) 符号化方法
JP2007266749A (ja) 符号化方法
KR100827091B1 (ko) 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치
WO2006118384A1 (en) Method and apparatus for encoding/decoding multi-layer video using weighted prediction
KR100703751B1 (ko) 가상 영역의 영상을 참조하여 인코딩 및 디코딩 하는 방법및 장치
US20060088100A1 (en) Video coding method and apparatus supporting temporal scalability
EP1889487A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction
JP4243286B2 (ja) 符号化方法
JP4169767B2 (ja) 符号化方法
KR100827094B1 (ko) 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치
WO2006043754A1 (en) Video coding method and apparatus supporting temporal scalability
WO2006098586A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels
KR20130107094A (ko) 부호화 효율을 높인 인트라 프레임 처리 장치 및 방법

Legal Events

Date Code Title Description
B15K Others concerning applications: alteration of classification

Ipc: H04N 19/577 (2014.01), H04N 19/105 (2014.01), H04N

B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]
B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]