BRPI0710093A2 - método e aparelho para codificação de vìdeo redundante - Google Patents

método e aparelho para codificação de vìdeo redundante Download PDF

Info

Publication number
BRPI0710093A2
BRPI0710093A2 BRPI0710093-0A BRPI0710093A BRPI0710093A2 BR PI0710093 A2 BRPI0710093 A2 BR PI0710093A2 BR PI0710093 A BRPI0710093 A BR PI0710093A BR PI0710093 A2 BRPI0710093 A2 BR PI0710093A2
Authority
BR
Brazil
Prior art keywords
image
redundant
encoded
encoder
decoder
Prior art date
Application number
BRPI0710093-0A
Other languages
English (en)
Inventor
Zhenyu Wu
Jill Macdonald Boyce
Original Assignee
Thomson Licensing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing filed Critical Thomson Licensing
Publication of BRPI0710093A2 publication Critical patent/BRPI0710093A2/pt

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

MéTODO E APARELHO PARA CODIFICAçãO DE VìDEO REDUNDANTE Um método e aparelho são fornecidos para codificação de vídeo redundante. O aparelho inclui um codificador (100) para codificar uma imagem codificada redundante que corresponde a uma imagem fonte selecionando blocos individuais na imagem fonte para inclusão na imagem codificada redundante.

Description

[Some texts missing on original document] APARELHO PARA CODIFICAÇÃO DE VÍDEO REDUNDANTE"REFERÊNCIA CRUZADA AOS PEDIDOS RELACIONADOS
Este pedido reivindica o benefício do Pedido provisório US No. 60/793.539, deposi-tado em 20 de abril de 2006, que é incorporado aqui por referência em sua totalidade.
CAMPO DA INVENÇÃO
A presente invenção refere-se em geral à codificação e decodificação e, mais parti-cularmente, a um método e aparelho para codificar vídeo redundante.
ANTECEDENTES DA INVENÇÃO
Em redes de transmissão de vídeo, dados de vídeo podem freqüentemente serperdidos sob liberação na terminação do decodificador. Isto pode ser causado por váriasrazões tais como, por exemplo, congestão de rede, enfraquecimento e interferência de canal,transbordamento de dados do receptor, e assim sucessivamente. Para manter um certo ní-vel de experiências de visualização do usuário, resiliência de erro é usualmente acrescenta-da de vários modos aos fluxos de bits pelo codificador.
Fatia redundante é uma ferramenta nova introduzida na Organização Internacionalpara Padronização / Comissão Eletrotécnica Internacional (ISO/IEC) Grupos de Especialis-tas de Imagens em Movimento-4 (MPEG-4) Parte 10 padrão de Codificação de Vídeo Avan-çada (AVC) / União de Telecomunicação Internacional, Setor de Telecomunicação (ITU-T)recomendação H.264 (doravante o "padrão de AVC de MPEG-4") para melhorar a robustezde erro de vídeo. Fatia redundante fornece um modo para adicionar redundância da fontepor um codificador de vídeo. Com codificação de fatia redundante, uma representação re-dundante de uma imagem é codificada, com parâmetros de codificação possivelmente dife-rentes que a imagem codificada primária. No decodificador, quando uma fatia primária éperdida mas sua fatia redundante está disponível, o decodificador reconstrói a imagem de-codificando a fatia redundante, e conseqüentemente restabelece parte ou toda da informa-ção perdida.
A resiliência de erro fornecida pela fatia redundante é às custas da taxa de bit extra.Um projeto ineficaz de codificação de fatia redundante pode consumir uma quantidade signi-ficativa de taxa de bit, enquanto apenas fornecendo capacidade limitada de reduzir a distor-ção de vídeo.
O padrão de AVC de MPEG-4 provê sintaxe para codificação de fatias redundantes,mas não especifica que tipo de informação deveria ser incluída na fatia redundante codifica-da. Não há nenhum comportamento normativo especificado no padrão de AVC de MPEG-4para codificar ou decodificar fatias redundantes.
Uma característica de vários métodos para implementar fatia redundante é que nemtodos os bits gastos em uma fatia redundante são eficazes em reduzir a distorção de vídeoliberado. Alguma informação codificada nas fatias redundantes pelos métodos pode ser fa-cilmente obtida de outras partes do sistema de terminal-a-terminal. Isto causa um desperdí-cio de taxa de bit e conseqüentemente resulta em uma eficiência de codificação diminuída.
SUMÁRIO DA INVENÇÃO
Estes e outros inconvenientes e desvantagens da técnica anterior são tratados pelapresente invenção que é direcionada a um método e aparelho para codificação de vídeoredundante.
De acordo com um aspecto dos presentes princípios, é fornecido um aparelho. Oaparelho inclui um codificador para codificar uma imagem codificada redundante que cor-responde a uma imagem fonte selecionando blocos individuais na imagem fonte para inclu-são na imagem codificada redundante.
De acordo com outro aspecto dos presentes princípios, é fornecido um método. Ométodo inclui codificação uma imagem codificada redundante que corresponde a uma ima-gem fonte selecionando blocos individuais na imagem fonte para inclusão na imagem codifi-cada redundante.
De acordo com ainda outro aspecto dos presentes princípios, é fornecido um apare-lho. O aparelho inclui um decodificador para decodificar uma imagem codificada redundantequando uma imagem primária que corresponde à imagem codificada redundante estiverindisponível, formando uma imagem oculta com base em pelo menos uma imagem primáriapreviamente codificada e uma imagem decodificada redundante com base na imagem codi-ficada redundante e combinando a imagem oculta e a imagem decodificada redundante paraformar uma imagem reconstruída.
De acordo com ainda outro aspecto dos presentes princípios, é fornecido um méto-do. O método inclui decodificação de uma imagem codificada redundante quando uma ima-gem primária que corresponde à imagem codificada redundante estiver indisponível, for-mando uma imagem oculta com base em pelo menos uma imagem primária previamentecodificada e uma imagem decodificada redundante com base na imagem codificada redun-dante e combinando a imagem oculta e a imagem decodificada redundante para formar umaimagem reconstruída.
Estes e outros aspectos, características e vantagens da presente invenção ficarãoevidentes da descrição detalhada a seguir das modalidades exemplares, que é para ser lidacom relação aos desenhos em anexo.
BREVE DESCRIÇÃO DOS DESENHOS
A presente invenção pode ser melhor entendida de acordo com as figuras exempla-res a seguir, em que:
FIG. 1 mostra um diagrama de blocos para um codificador de vídeo exemplar aoqual os presentes princípios podem ser aplicados, de acordo com uma modalidade dos pre-sentes princípios;FIG. 2 mostra um diagrama de blocos para um decodificador de vídeo exemplar aoqual os presentes princípios podem ser aplicados, de acordo com uma modalidade dos pre-sentes princípios;
FIG. 3 mostra um fluxograma para um método exemplar para selecionar blocos pa- ra inclusão em uma estrutura codificada redundante, de acordo com uma modalidade dospresentes princípios;
FIG. 4 mostra um fluxograma para um método exemplar para codificar uma estrutu-ra com uma fatia redundante, de acordo com uma modalidade dos presentes princípios; e
FIG. 5 mostra um fluxograma para um método exemplar para decodificar uma es- trutura com uma fatia redundante, de acordo com uma modalidade dos presentes princípios.
DESCRIÇÃO DETALHADA
A presente invenção é direcionada a um método e aparelho para codificação de ví-deo redundante.
A presente descrição ilustra os princípios da presente invenção. Desse modo será apreciado que aqueles versados na técnica serão capazes de inventar vários arranjos que,embora não explicitamente descritos ou mostrados aqui, incorporam os princípios da inven-ção e são incluídos dentro de seu espírito e escopo.
Todos os exemplos e linguagem condicional recitada aqui são intencionados parapropósitos pedagógicos para auxiliar o leitor no entendimento dos princípios da invenção e dos conceitos contribuídos pelo inventor favorecendo a técnica, e são para ser interpretadoscomo estando sem limitação a tais exemplos e condições especificamente recitados.
Além disso, todas as declarações aqui recitando princípios, aspectos, e modalida-des da invenção, como também exemplos específicos da mesma, são intencionadas abran-ger equivalentes estruturais e funcionais dos mesmos. Adicionalmente, é intencionado que tais equivalentes incluam tanto equivalentes correntemente conhecidos como também equi-valentes desenvolvidos no futuro, isto é, qualquer elemento desenvolvido que execute amesma função, independente da estrutura.
Desse modo, por exemplo, será apreciado por aqueles versados na técnica que osdiagramas de blocos apresentados aqui representam vistas conceituais de circuição ilustra- tiva incorporando os princípios da invenção. Similarmente, será apreciado que quaisquerfluxogramas, diagramas de fluxo, diagramas de transição de estado, pseudocódigo, e outrosrepresentam vários processos que podem ser substancialmente representados em meioslegíveis por computador e assim executados por um computador ou processador, quer ounão tal computador ou processador seja explicitamente mostrado. As funções dos vários elementos mostrados nas figuras podem ser fornecidas pelouso de hardware dedicado como também hardware capaz de executar software em associa-ção com software apropriado. Quando fornecidas por um processador, as funções podemser fornecidas por um processador dedicado simples, por um processador compartilhadosimples, ou por uma pluralidade de processadores individuais, alguns destes podem sercompartilhados. Além disso, uso explícito do termo "processador" ou "controlador" não deve-ria ser interpretado referir-se exclusivamente a hardware capaz de executar software, e po-de incluir implicitamente, sem limitação, hardware de processador de sinal digital ("DSP"),memória exclusiva de leitura ("ROM") para armazenar software, memória de acesso aleató-rio ("RAM"), e armazenamento de não-volátil.
Outro hardware, convencional e/ou de costume, pode também ser incluído. Simi-larmente, quaisquer interruptores mostrados nas figuras são conceituais apenas. Sua funçãopode ser realizada através da operação de lógica de programa, através de lógica dedicada,através da interação de controle de programa e lógica dedicada, ou mesmo manualmente, atécnica particular sendo mais selecionável pelo implementador uma vez mais especifica-mente entendido do contexto.
Qualquer elemento expresso como um meio para executar uma função especifica-da é intencionado abranger qualquer modo de desempenhar aquela função, incluindo, porexemplo, a) uma combinação de elementos de circuito que executam aquela função ou b)software em qualquer forma, incluindo, portanto, firmware, microcódigo ou outros, combina-do com circuição apropriada para executar aquele software para executar a função. A inven-ção como definida por tais reivindicações reside no fato que as funcionalidades fornecidaspelos vários meios recitados são combinadas e reunidas em uma maneira que as reivindica-ções exigem. É desse modo considerado que quaisquer meios que possam fornecer aque-las funcionalidades são equivalentes àqueles mostrados aqui.
Referência no relatório descritivo a "1 modalidade" ou "uma modalidade" dos pre-sentes princípios significa que um aspecto particular, estrutura, característica, e assim su-cessivamente descrito com relação à modalidade é incluído em pelo menos uma modalida-de dos presentes princípios. Desse modo, os aparecimentos da frase "em 1 modalidade" ou"em uma modalidade" aparecendo em vários lugares ao longo do relatório descritivo não sãonecessariamente todos referindo à mesma modalidade.
Voltando à FIG. 1, um codificador de vídeo exemplar ao qual os presentes princí-pios podem ser aplicados é indicado em geral pelo numerai de referência 100.
Uma entrada para o codificador de vídeo 100 está conectada em comunicação desinal com uma entrada não-inversa de um combinador 110. A saída do combinador 110 estáconectada em comunicação de sinal com um transformador/quantizador 120. A saída dotransformador/quantizador 120 está conectada em comunicação de sinal com um codifica-dor de entropia 140. Uma saída do codificador de entropia 140 está disponível como umasaída do codificador 100.
A saída do transformador/quantizador 120 está também conectada em comunica-ção de sinal com um transformador/quantizador inverso 150. Uma saída do transforma-dor/quantizador inverso 150 está conectada em comunicação de sinal com uma entrada deum filtro de desbloqueio 160. Uma saída do filtro de desbloqueio 160 está conectada emcomunicação de sinal com os armazenamentos de imagem de referência 170. Uma primeirasaída dos armazenamentos de imagem de referência 170 está conectada em comunicaçãode sinal com uma primeira entrada de um estimador de movimento 180. A entrada para ocodificador 100 está também conectada em comunicação de sinal com uma segunda entra-da do estimador de movimento 180. A saída do estimador de movimento 180 está conecta-da em comunicação de sinal com uma primeira entrada de um compensador de movimento190. Uma segunda saída dos armazenamentos de imagem de referência 170 está conecta-da em comunicação de sinal com uma segunda entrada do compensador de movimento 190.A saída do compensador de movimento 190 está conectada em comunicação de sinal comuma entrada inversora do combinador 110.
Voltando-se para a FIG. 2, um decodificador de vídeo exemplar ao qual os presen-tes princípios podem ser aplicados é indicado em geral pelo numerai de referência 200.
O decodificador de vídeo 200 inclui um decodificador de entropia 210 para receberuma seqüência de vídeo. Uma primeira saída do decodificador de entropia 210 está conec-tada em comunicação de sinal com uma entrada de um quantizador/transformador inverso220. Uma saída do quantizador/transformador inverso 220 está conectada em comunicaçãode sinal com uma primeira entrada não-inversora de um combinador 240.
A saída do combinador 240 está conectada em comunicação de sinal com uma en-trada de um filtro de desbloqueio 290. Uma saída do filtro de desbloqueio 290 está conecta-da em comunicação de sinal com uma entrada de uns armazenamentos de imagem de refe-rência 250. A saída dos armazenamentos de imagem de referência 250 está conectada emcomunicação de sinal com uma primeira entrada de um compensador de movimento 260.Uma saída do compensador de movimento 260 está conectada em comunicação de sinalcom uma segunda entrada não-inversa do combinador 240. Uma segunda saída do decodi-ficador de entropia 210 está conectada em comunicação de sinal com uma segunda entradado compensador de movimento 260. A saída do filtro de desbloqueio 290 está disponívelcomo uma saída do decodificador de vídeo 200.
Os presentes princípios são direcionados a um método e aparelho para codificaçãode vídeo redundante. Quando uma fatia redundante é codificada no codificador, a informa-ção que pode ser restabelecida pelo encobrimento de erro do decodificador para sua ima-gem codificada primária é considerada. Esta informação é usada pelo codificador para efi-cazmente reduzir o conteúdo necessário a ser codificado na imagem codificada redundante,desse modo resultando em umas economias da taxa de bit potencial sem sacrificar o de-sempenho. Um método de sinalização correspondente é descrito de modo que o codificadorpossa eficientemente informar ao decodificador acerca da manipulação diferente das áreasdecodificadas quando usar uma fatia redundante para reconstruir uma estrutura original.
Embora primariamente descrito aqui com respeito ao padrão de AVC de MPEG-4,será apreciado que, dado os ensinamentos dos presentes princípios fornecidos aqui, os pre-sentes princípios não são limitados a somente o padrão de AVC de MPEG-4 e, desse modo,podem ser implementados com respeito a outros padrões de codificação de vídeo e reco-mendações, ao mesmo tempo mantendo o escopo dos presentes princípios.
Em uma modalidade, um codificador codifica uma fatia redundante para uma estru-tura dada selecionando se os blocos individuais na estrutura dada deveriam ser incluídos naregião de codificação para a fatia redundante. O codificador pode incluir um módulo tendo oalgoritmo de encobrimento de erro de um decodificador que é usado pelo decodificador seuma imagem primária para a estrutura dada for perdida. O codificador pode usar o módulopara selecionar quais blocos individuais da estrutura dada serão incluídos na região de codi-ficação para a fatia redundante. Um modo SKIP pode ser usado para indicar que um bloconão está codificado na fatia redundante, e o codificador pode ser modificado para garantirque o modo SKIP não seja usado para os blocos que estão incluídos na região de codifica-ção da fatia codificada redundante. Uma medida de distorção de diferença absoluta podeser usada para determinar se um bloco está incluído na região de codificação. A medida dedistorção de diferença absoluta pode ser com base na diferença entre (1) o resultado doalgoritmo de encobrimento de erro e (2) um resultado esperado do decodificador se a ima-gem primária não for perdida. Um valor da medida de distorção de diferença absoluta podeser comparado a um limiar para determinar se ou não selecionar o bloco, e o bloco pode serselecionado para ser codificado na imagem codificada redundante (por exemplo, a fatia re-dundante) se o resultado exceder o limiar. O bloco pode ter um tamanho de 16x16.
Em uma modalidade, um decodificador é configurado para decodificar fatias redun-dantes quando a imagem primária não estiver disponível para o decodificador e a imagemcodificada redundante estiver disponível. O decodificador forma uma imagem com erro ocul-to (uma imagem oculta) com base em imagens primárias previamente codificadas, e formauma imagem decodificada redundante da fatia redundante, e combina estas duas imagens.Um modo SKIP pode ser usado para um bloco para indicar que a imagem oculta deveria serusada, e o modo não SKIP para a fatia redundante. O método de encobrimento de erro podeser cópia da estrutura ou cópia do movimento. O bloco pode ter um tamanho de 16x16.
Como observado acima, fatia redundante é uma ferramenta de resiliência de erronova introduzida no Padrão de AVC de MPEG-4. No Padrão de AVC de MPEG-4, uma ima-gem codificada primária (PCP) é uma representação de imagem codificada tendo efeitonormativo no processo de decodificação. Contrariamente, uma imagem codificada redun-dante (RCP) inclui uma representação codificada de uma imagem ou uma parte de uma i-magem sem um efeito normativo no processo de decodificação. Uma imagem codificadaredundante pode ser codificada por meio de uma fatia redundante. Portanto, ao codificaruma fatia redundante, o codificador tem a flexibilidade de usar parâmetros de codificaçãototalmente diferentes diferentes daqueles da imagem codificada primária, tais como regiõesde codificação diferentes, tamanhos de etapa de quantização, e assim sucessivamente. Nodecodificador, uma fatia redundante é apenas decodificada quando a fatia primária não pu-der ser reconstruída corretamente (por exemplo, a fatia primária é perdida ou corrompida),do contrário a fatia redundante é descartada.
Um problema que existe no uso de fatias redundantes é como eficientemente gas-tar bits em uma fatia redundante, de acordo com suas características, para melhorar a resili-ência de erro de vídeo liberado. Uma meta pode ser reduzir a distorção do vídeo liberadoapresentada ao espectador final, e esta meta pode ser alcançada de uma perspectiva desistema de terminal-a-terminal.
Deixe ^^^ ser n° estrutura original, a estrutura reconstruída por codificador ea estrutura reconstruída por decodificador, em uma seqüência de vídeo, respectivamente.Em um sistema de transmissão de vídeo, a distorção total Dn da estrutura η percebida peloespectador final inclui distorção induzida de fonte Dsn e distorção induzida por canal Dcn,que são definidos como segue;
<formula>formula see original document page 8</formula>
onde Eg{.} denota a operação de ponderação-em-pixel, e E{.} denota a concatena-ção de expectativa e operação de ponderação-em-pixel. De acordo com sua definição, umafatia redundante não afeta a decodificação de uma fatia primária, assim a fatia redundantenão pode causar impacto na distorção induzida de fonte Dsn. Portanto, focalizamos em utili-zar codificação de fatia redundante para diminuir a distorção induzida por canal Dcn.
No decodificador de vídeo, quando uma imagem de vídeo codificada perdida é de-tectada ou corrompida, é comum invocar alguma operação de encobrimento de erro E.C.{.}para restabelecer a informação. Em geral, E.C.{.} utiliza a correlação de vizinhos espaciaisou temporais para reconstruir a região estragada. Para considerar um caso especial ondeuma seqüência de vídeo é codificada em I P P P... com perfil de Linha Base por um codifi-cador de AVC de MPEG-4 e uma fatia redundante é para ser codificada para uma imagemdo tipo P. Estrutura suposta η é perdida no decodificador, e o decodificador oculta a estrutu-ra η com base na estrutura disponível anterior n-1, de forma que:
<formula>formula see original document page 8</formula>Com base na observação acima, minimizar o termo (ƒn-E.C.{ƒn-1}) pode eficaz-mente reduzir Dc,n e conseqüentemente Dn também.
Encobrimento de erro freqüentemente representa um papel importante em restabe-lecer informação perdida no decodificador. Em geral, encobrimento de erro pode eficazmen-te esconder regiões com movimento pequeno ou lento, enquanto pode produzir artefatospara regiões com movimento ativo e caótico. No entanto, com exceção de alguns casos es-peciais tais como alteração de cena, uma quantidade significativa de informação pode serrestabelecida através de encobrimento de erro para uma estrutura perdida. Entretanto, exis-tem alguns algoritmos de encobrimento de erro bem definidos, extensamente usados, taiscomo algoritmos de repetição de estrutura e de cópia de movimento.
Para eliminar Dcn causado pela perda de estrutura n, mais diretamente, sua ima-gem codificada redundante deveria incluir uma duplicata da estrutura. Porém, é esperadoque o decodificador restabeleça parte da informação perdida através de encobrimento deerro da perspectiva de sistema de terminal-a-terminal. Portanto, se o codificador souber co-mo o decodificador esconde a estrutura perdida, então a informação recuperável pode serexcluída da codificação de fatia redundante no codificador sem qualquer impacto em reduzira distorção. Também, no decodificador, a parte perdida da informação pode ser obtida atra-vés de encobrimento de erro.
Presume-se que o codificador seja capaz de executar a operação de encobrimentode erro que o decodificador executa para esconder uma estrutura perdida. Defina a estruturade distorção residual ƒn para a estrutura η como segue:
<formula>formula see original document page 9</formula>
Assim ƒn descreve a imagem de distorção produzida quando a estrutura simples nestá perdida e escondida pela operação de encobrimento de erro. É ser observado que seƒn for codificado em uma fatia redundante e estiver disponível no decodificador, então deacordo com a equação acima, a estrutura n pode ser até mesmo completamente restabele-cida se sua fatia primária for perdida. É para ser também observado que fn é obtenívelpelo codificador após o codificador executar a codificação e o encobrimento de erro paraestrutura n. Uma vez que a operação E.C. {ƒn-1} pode reproduzir muito da informação paraa estrutura n, pode ser esperado que f n inclua menos informação que fn ou f n e, dessemodo, custaria menos bits se cada uma destas estruturas fosse codificada.
Porém, devido à natureza de codificação predicativa de compactação de vídeo, di-retamente codificar a estrutura residual é usualmente bem menos eficiente que codificar aestrutura original, em que a correlação temporal não pode ser utilizada. Para tratar desteproblema mas com a meta de reduzir Dcn, método a seguir é tomado. Após obter a estrutura
ƒn, o codificador verifica quais regiões em f n incluem distorção significativa. Após identifi-car todas tais regiões em ƒn o codificador seleciona as correspondentes na estrutura origi-nal fn e as copia na fatia redundante para codificar. Considerando que o codificador codifi-ca as áreas diretamente da estrutura original, o ganho de codificação principal da codifica-ção predicativa é preservado. Entretanto, uma vez que apenas regiões selecionadas da es-trutura original são codificadas na fatia redundante, menos custo de taxa de bit pode seralcançado.
O procedimento de selecionar regiões de distorção é realizado em um bloco atravésda base de bloco. Presume-se que PAD (diferença absoluta de pixel) é a medida de distor-ção. Claro que, será apreciado que o uso de diferença absoluta de pixel é para propósitosilustrativos e, desse modo, outras medidas de distorção podem também ser utilizado de a-cordo com os ensinamentos dos presentes princípios, ao mesmo tempo mantendo o escopodos presentes princípios. Suponha-se que cada bloco é de tamanho LxL em pixéis. Defina
Th1 como o limiar da diferença absoluta de pixel e um pixel em f n é considerado como dis-torcido sempre que seu valor de diferença absoluta de pixel for acima de Th1. Defina Th2como o limiar do número de pixéis e um bloco é considerado como distorcido sempre quehouver mais que pixéis de Th2 no bloco que é considerado como distorcido. Uma modalida-de mostrando o procedimento de seleção é mostrada e descrita com respeito à FIG. 1. Ob-serve que os limiares Th1 e Th2 diretamente controlam a porcentagem da estrutura original,ou equivalentemente a quantidade de redundância a ser codificada na fatia redundante. Di-minuindo os limiares inclui mais áreas na fatia redundante, e vice-versa. Incluindo mais á-reas da estrutura original na fatia redundante, mais áreas da estrutura decodificada podemser corretamente reconstruídas e, conseqüentemente, diminui a distorção da estrutura e apropagação de erro associada, mas à custa de mais taxa de bit.
Na análise de diferença absoluta de pixel acima, componentes múltiplos (por exem-plo, RGB ou YUV) podem ser adicionados. Alternativamente, uma medida de distorção dediferença absoluta pode ser usada em um componente simples de um pixel tal como, porexemplo, luminância, e o valor de diferença absoluta de pixel para o componente simplespode ser comparado a um limiar. Também, em outras implementações, uma análise de dife-rença absoluta de pixel pode ser executada no bloco inteiro, somando as diferenças absolu-tas a cada pixel no bloco, e comparando a soma a um limiar.
Uma vantagem do método acima é sua simplicidade. Seleção de área de distorçãoé em uma base por bloco, de forma que as estruturas de dados existentes no codificadorpodem ser utilizadas. Para realizar a funcionalidade descrita, em uma modalidade, apenasum módulo de encobrimento de erro e operações de comparar-e-copiar muito limitadas ne-cessitam ser acrescentadas ao codificador. Uma vez que há muitos algoritmos de encobri-mento de erro simples fora-da-prateleira, a complexidade extra adicionada ao codificador élimitada. Uma vez as áreas a serem codificadas na fatia redundante são determinadas, ocodificador tem a flexibilidade para selecionar parâmetros apropriados para codificar a fatia.Nós selecionamos codificar com um tamanho de etapa de quantização mais grosso. Comeste método, a estrutura original representada por uma fatia redundante tem uma distorçãode fonte maior que a fatia primária, mas isto também custa menos bits para codificar. Com-parada à distorção causada quando uma fatia primária sem fatia redundante for perdida, adistorção de fonte é em geral muito menor e menos notável decodificando a fatia redundante.Outra vantagem de usar um tamanho de etapa de quantização mais grosso é que a fatiaredundante pode tipicamente ser codificada pela rotina de codificação normal com apenasalterações secundárias que serão debatidas doravante. Usar outros métodos de codificaçãopara codificar a fatia redundante é também possível.
No decodificador, uma estrutura pode ser reconstruída como segue quando sua fa-tia primária for perdida mas sua fatia redundante estiver disponível. O decodificador obtémuma estrutura escondida por encobrimento de erro e uma imagem codificada redundantedecodificando a fatia redundante. Depois o decodificador funde as duas estruturas junto pa-ra formar a estrutura reconstruída. Na fundição das duas estruturas, quando uma área debloco for identificada como sendo codificada na fatia redundante, a área de bloco é copiadada localização correspondente na imagem codificada redundante. Do contrário, a área debloco é copiada da localização correspondente na estrutura escondida.
O tamanho de bloco 16x16, que é um MB total (macrobloco), pode ser usado comoo tamanho de unidade para aplicar o limiar e determinar que regiões serão codificadas naimagem codificada redundante. Outros tamanhos de bloco menores, ou tamanhos de blocomaiores, podem também ser usados.
Com o método descrito, o codificador seleciona alguns macroblocos da estrutura o-riginal a ser codificada na fatia redundante, e o decodificador decodifica estes macroblocose os funde com a estrutura escondida para reconstruir a estrutura original. Vantajosamente,os presentes princípios permitem macroblocos que não são selecionados na fatia redundan-te a ser representada com custo indireto mínimo. Além disso, vantajosamente, os presentesprincípios permitem o decodificador ser informado de se ou não um macrobloco é selecio-nado ao decodificar uma fatia redundante. Em uma modalidade direcionada para manter ocusto indireto baixo e re-usar a maioria das funções existentes no codificador/decodificador,nós redefinimos o modo SKIP para servir como o mecanismo de sinalização entre o codifi-cador e decodificador ao codificar as fatias redundantes.
Especificamente, quando uma fatia redundante é codificada no codificador, paraaqueles macroblocos que não são selecionados da estrutura original, o codificador os forçaa ser codificados em modo SKIP. Entretanto, para aqueles macroblocos que são copiadosda estrutura original, o codificador desabilita o uso de modo SKIP quando eles forem codifi-cados. No decodificador, quando uma fatia redundante for decodificada, umskip_mode_map de arranjo 2-dimensão é criado, com cada elemento registrando se um ma-crobloco é codificado em modo SKIP ou não. Uma vez a fatia redundante inteira é decodifi-cada, skip_mode_map é enchido. Durante a próxima etapa de fusão, para cada macroblocona estrutura reconstruída, o decodificador verifica skip_mode_map para determinar que es-trutura copiar de, ou da estrutura escondida se o macrobloco é codificado em SKIP, ou daimagem codificada redundante do contrário.
Com este método, as rotinas de codificação e decodificação existente podem serre-usadas para codificar fatias redundantes, e evita a complexidade de definir sintaxe novacomo um mecanismo de sinalização. Além disso, com este método, aqueles macroblocosnão selecionados na fatia redundante podem ser eficientemente codificados porque o modoSKIP apenas leva muito poucos bits para codificar. Por outro lado, desabilitando o modoSKIP para aqueles macroblocos selecionados leva à perda de eficiência de codificação limi-tada. Isto é em parte devido ao fato que, quando o encobrimento de erro é eficaz, aquelesmacroblocos com distorção excessiva são também improváveis de ser codificados em modoSKIP na codificação regular. O codificador necessita ser ajustado para assegurar que o mo-do SKIP não é selecionado ao codificar os macroblocos na imagem codificada redundante.
É para ser apreciado que muito do debate acima focalizou em uma implementaçãosimples para propósitos de clareza. Porém, é para ser também apreciado que, dados osensinamentos dos presentes princípios fornecidos aqui, outras implementações são possí-veis, por exemplo, variando um ou mais detalhes das modalidades e implementações acimadescritas, enquanto mantendo o escopo dos presentes princípios. Por exemplo, embora ométodo de codificação de fatia redundante seja descrito no caso de imagens de referência P,pode ser diretamente aplicado a outros tipos de estruturas, tais como estruturas I, estruturasB, e assim sucessivamente. O método de codificação de fatia redundante também pode seraplicado, por exemplo, para estruturas de restauração de decodificação instantânea (IDR).
Também, o aspecto de codificar uma porção de uma estrutura dada em uma se-gunda vez pode ser aplicado em geral a outros padrões de compactação de vídeo e siste-mas de comunicação, e não é restringido apenas ao Padrão de AVC de MPEG-4. Por e-xemplo, outros sistemas de comunicação podem prover uma segunda codificação para aporção da estrutura dada que não pode ser replicada em um decodificador sob perda deuma primeira codificação da estrutura dada.Uma modalidade pode incluir um mecanismo de sinalização, tal como, por exemplo,o uso do modo SKIP descrito acima, ou algum outro mecanismo para indicar quais regiõesem uma estrutura dada são codificadas em uma segunda vez e/ou indicando como aquelasregiões são codificadas. Um mecanismo de sinalização pode usar elementos existentes (porexemplo, o modo SKIP) de um padrão, tal como, por exemplo, o Padrão de AVC de MPEG-4, ou pode definir uma sintaxe nova. Se o mecanismo de sinalização usar um elemento exis-tente ou definir uma sintaxe nova, o fluxo de bits resultante enviado, por exemplo, do codifi-cador para o decodificador pode ser formado de acordo com um formato de sinal indicandoquais regiões são codificadas em uma estrutura dada em uma segunda vez e/ou indicandocomo aquelas regiões são codificadas.
Dado os ensinamentos dos presentes princípios fornecidos aqui, estas e outras va-riações e implementações e métodos de sinalização dos presentes princípios, como tambémoutros padrões/recomendações e sistemas de comunicação aos quais os presentes princí-pios podem ser aplicados, são facilmente determinados por alguém de habilidade usual nes-tas e relacionadas, ao mesmo tempo mantendo o escopo dos presentes princípios.
Voltando para a FIG. 3, um método exemplar para selecionar blocos para incluir emuma estrutura codificada redundante é indicado em geral pelo numerai de referência 300.
O método 300 inclui um bloco de início 305 que passa o controle para um bloco defunção 310. O bloco de função 310 introduz estruturas fn e fn e passa controle para umbloco de limite de laço 315. O bloco de limite de laço 315 começa um laço para cada bloco
LxL na estrutura fn, e passa o controle para um bloco de função 320. O bloco de função320 ajusta num_pixel_cnt igual a zero, e passa o controle para um bloco de limite de laço325. O bloco de limite de laço 325 começa um laço para cada pixel no bloco (i, j <= L), epassa o controle para um bloco de decisão 330. O bloco de limite de laço 330 determina seou não |fn(i,j)| ≤Th1. Se sim, então o controle é passado para um bloco de limite de laço
335. Do contrário, o controle é passado para um bloco de função 355.
O bloco de limite de laço 335 termina o laço sobre cada pixel no bloco, e passa ocontrole para um bloco de decisão 340. O bloco de decisão 340 determina se ou nãonum_pixel_cnt > Th2. Se sim, então o controle é passado para um bloco de função 345. Docontrário, o controle é passado para um bloco de função 350.
O bloco de função 345 seleciona o bloco correspondente em fn para copiar na ima-gem codificada redundante (RCP), e passa o controle para um bloco de limite de laço 350.O bloco de limite de laço 350 termina o laço em cada bloco na estrutura, e passa o controlepara um bloco de finalização 399.
O bloco de função 355 incrementa num_pixel_cnt em um, e passa o controle para obloco de limite de laço 335.Voltando para a FIG. 4, um método exemplar para codificar uma estrutura com umafatia redundante é indicado em geral pelo numerai de referência 400.
O método 400 inclui um bloco de início 405 que passa o controle para um bloco defunção 410. O bloco de função 410 introduz estrutura de vídeo η (não-IDR, estrutura de refe-rência), e passa o controle para um bloco de função 415. O bloco de função 415 codifica afatia primária, e passa o controle para um bloco de função 420. O bloco de função 420 exe-cuta encobrimento de erro para estrutura n, e passa o controle para um bloco de função 425.O bloco de função 425 executa seleção de área de distorção para formar o conteúdo da fatiaredundante, e passa o controle para um bloco de limite de laço 430. O bloco de limite delaço 430 começa um laço para cada macrobloco na fatia redundante, e passa o controlepara um bloco de decisão 440. O bloco de decisão 440 determina se ou não este macroblo-co é selecionado para copiar na fatia redundante. Se sim, então o controle é passado paraum bloco de função 445. Do contrário, o controle é passado para um bloco de função 460.
O bloco de função 445 desabilita apenas modo SKIP, e passa o controle para umbloco de função 450. O bloco de função 450 executa codificação regular do macrobloco, epassa o controle para um bloco de limite de laço 455. O bloco de limite de laço 455 terminao laço para cada macrobloco na fatia redundante, e passa o controle para um bloco de fina-lização 499.
O bloco de função 460 desabilita todo o macrobloco que codifica os modos exceto omodo SKIP, e passa o controle para o bloco de função 450.
Voltando para a FIG. 5, um método exemplar para decodificar uma estrutura comuma fatia redundante é indicado em geral pela numerai de referência 500.
O método 500 inclui um bloco de início 505 que passa o controle para um bloco defunção 510. O bloco de função 510 introduz uma(s) fatia(s) para a estrutura n, e passa ocontrole para um bloco de decisão 515. O bloco de decisão 515 determina se ou não a fatiaprimária está presente. Se sim, então o controle é passado para um bloco de função 520.Do contrário, o controle é passado para um bloco de decisão 530.
O bloco de função 520 decodifica a fatia primária, e passa o controle para um blocode função 525. O bloco de função 525 descarta a fatia redundante, e passa o controle paraum bloco de finalização 599. O bloco de terminação 599 termina a decodificação da estrutu-ra.
O bloco de decisão 530 determina se ou não a fatia redundante está presente. Sesim, o controle é passado para um bloco de função 535. Do contrário, o controle é passadopara um bloco de função 575.
O bloco de função 535 obtém a estrutura escondida, e passa o controle para umbloco de função 540. O bloco de função 540 inicializa a estrutura de skip_mode_map, epassa o controle para um bloco de função 545. O bloco de função 545 decodifica a fatia re-dundante, preenche a estrutura de skip_mode_map, e passa o controle para um bloco delimite de laço 550. O bloco de limite de laço 550 começa um laço em cada macrobloco naestrutura reconstruída, e passa o controle para um bloco de decisão 555. O bloco de deci-são 555 determina se ou não o macrobloco está em modo SKIP de acordo comskip_mode_map. Se sim, então o controle é passado para um bloco de função 560. Do con-trário, o controle é passado para um bloco de função 570.
O bloco de função 560 copia o macrobloco da estrutura escondida, e passa o con-trole para um bloco de limite de laço 565. O bloco de limite de laço 565 termina o laço paracada macrobloco na estrutura reconstruída, e passa o controle para um bloco de finalização599. O bloco de terminação 599 termina a decodificação da estrutura.
O bloco de função 575 esconde a estrutura, e passa o controle para o bloco de fina-lização 599.
O bloco de função 570 copia o macrobloco da fatia redundante decodificada, e pas-sa o controle para o bloco de limite de laço 565.
Uma descrição será agora dada de algumas das muitos vantagens/característicasconcomitantes da presente invenção, algumas destas foram mencionadas acima. Por e-xemplo, uma vantagem/característica é um aparelho tendo um codificador para codificaruma imagem codificada redundante que corresponde a uma imagem fonte selecionandoblocos individuais na imagem fonte para inclusão na imagem codificada redundante. Outravantagem/característica é o aparelho tendo o codificador como descrito acima, em que ocodificador seleciona os blocos individuais usando uma operação de encobrimento de errode decodificador que considera quando uma imagem primária que corresponde à imagemcodificada redundante está indisponível em um decodificador. Ainda outra vanta-gem/característica é o aparelho tendo o codificador como descrito acima, em que o codifica-dor usa o modo SKIP para indicar que um particular dos blocos individuais não está codifi-cado na imagem codificada redundante. Ainda outra vantagem/característica é o aparelhotendo o codificador como descrito acima, em que o codificador é configurado para assegurarque o modo SKIP está proibido de usar para quaisquer dos blocos individuais codificados naimagem codificada redundante. Além disso, outra vantagem/característica é o aparelho ten-do o codificador como descrito acima, em que o codificador seleciona os blocos individuaiscom base em uma medida de distorção. Também, outra vantagem/característica é o apare-lho tendo o codificador que seleciona os blocos individuais com base em uma medida dedistorção como descrito acima, em que a medida de distorção é calculada usando a diferen-ça absoluta de pixel. Também, outra vantagem/característica é o aparelho tendo o codifica-dor como descrito acima, em que o codificador respectivamente seleciona os blocos indivi-duais classificando cada um dos pixéis em uma imagem de distorção quando distorcidaquando uma respectiva medida de distorção entre um particular dos pixéis na imagem dedistorção e um pixel correspondente na imagem fonte for maior que um primeiro limiar erespectivamente selecionando quaisquer dos blocos individuais tendo um respectivo númerode pixéis distorcidos maior que um segundo limiar. Adicionalmente, outra vanta-gem/característica é o aparelho tendo o codificador que seleciona os blocos individuais u-sando a classificação de pixel e o primeiro limiar como descrito acima, em que a imagem dedistorção representa uma diferença entre uma imagem reconstruída por codificador e umaimagem reconstruída por decodificador formada usando uma operação de encobrimento deerro de decodificador. Além disso, outra vantagem/característica é o aparelho tendo o codifi-cador que seleciona os blocos individuais usando a classificação de pixel e o primeiro limiarcomo descrito acima, em que a imagem de distorção é calculada usando uma operação deencobrimento de decodificador aplicada a uma imagem reconstruída por codificador quecorresponde à imagem fonte e outra imagem reconstruída por codificador que correspondeà outra imagem fonte imediatamente precedendo a imagem fonte. Também, outra vanta-gem/característica é o aparelho tendo o codificador que seleciona os blocos individuais u-sando a classificação de pixel e o primeiro limiar como descrito acima, em que quaisquerdos blocos individuais tendo o respectivo número de pixéis distorcidos maior que o segundolimiar são classificados como distorcidos. Também, outra vantagem/característica é o apare-lho tendo o codificador como descrito acima, em que cada um dos blocos individuais tem umtamanho de bloco de 16x16.
Os detalhes de uma ou mais implementações são expostos nesta revelação. Porém,outras características serão evidentes da revelação. Os vários aspectos, implementações, ecaracterísticas nesta revelação podem ser implementados em um ou mais de uma varieda-de de modos, até mesmo se descritos acima usando apenas uma maneira. Por exemplo, osvários aspectos, implementações, e características podem ser implementados usando, porexemplo, um ou mais de um método, um aparelho, um aparelho para executar um método,um programa ou outro conjunto de instruções, um aparelho que inclui um programa ou umconjunto de instruções, e um meio legível por computador. O meio legível por computadorpode incluir, por exemplo, instruções, software, imagens, e outros dados.
Como sugerido acima, as implementações podem incluir um ou mais dispositivosconfigurados para executar um ou mais processos. Um dispositivo pode incluir, por exemplo,hardware distinto ou integrado, firmware, e software. Um tal dispositivo pode incluir, por e-xemplo, um processador que se refere a dispositivos de processamento em geral, incluindo,por exemplo, um microprocessador, um circuito integrado, ou um dispositivo lógico progra-mável. Portanto, uma implementação inclui um codificador e um decodificador software cor-rente para implementar um ou mais dos algoritmos descritos.
Um dispositivo também pode incluir um ou mais meios legíveis por computador ten-do instruções para realizar um ou mais processos. O meio legível por computador pode in-cluir, por exemplo, um dispositivo de armazenamento tal como, por exemplo, um disco rígido,um disquete compacto, uma memória de acesso aleatório ("RAM"), ou uma memória exclu-siva de leitura ("ROM"). Um meio legível por computador também pode incluir, por exemplo,codificação de ondas eletromagnética formatadas codificando ou transmitindo instruções.
Instruções podem ser, por exemplo, em hardware, firmware, software, ou em uma onda ele-tromagnética. Instruções podem ser encontradas, por exemplo, em um sistema operacional,uma aplicação separada, ou uma combinação dos dois. Portanto, um processador pode sercaracterizado como, por exemplo, tanto um dispositivo configurado para levar a cabo umprocesso como um dispositivo incluindo meios legíveis por computador tendo instruçõespara levar a cabo um processo.
Adicionalmente, será entendido que várias modificações podem ser feitas. Por e-xemplo, elementos de implementações diferentes podem ser combinados, suplementados,modificados, ou removidos para produzir outras implementações. Conseqüentemente, ou-tras implementações estão dentro do escopo dos presentes princípios.
Estas e outras características e vantagens da presente invenção podem ser apura-das facilmente por alguém de habilidade usual na técnica pertinente com base nos ensina-mentos aqui. É para ser entendido que os ensinamentos da presente invenção podem serimplementados em várias formas de hardware, software, firmware, processadores de propó-sito especial, ou combinações dos mesmos.
O mais preferivelmente, os ensinamentos da presente invenção são implementadoscomo uma combinação de hardware e software. Além disso, o software pode ser implemen-tado como um programa de aplicação tangivelmente incorporado em uma unidade de arma-zenamento de programa. O programa de aplicação pode ser transferido, e executado por,uma máquina compreendendo qualquer arquitetura adequada. Preferivelmente, a máquina éimplementada em uma plataforma de computador tendo hardware tal como uma ou maisunidades de processamento centrais ("CPU"), uma memória de acesso aleatório ("RAM"), einterfaces de entrada/saída ("I/O"). A plataforma de computador pode também incluir umsistema operacional e código de microinstrução. Os vários processos e funções descritosaqui podem ser qualquer parte do código de microinstrução ou parte do programa de aplica-ção, ou qualquer combinação do mesmo que possa ser executado por uma CPU. Além dis-so, várias outras unidades periféricas podem ser conectadas à plataforma de computadortais como uma unidade de armazenamento de dados adicional e uma unidade de impressão.
É também para ser entendido que, porque alguns dos componentes do sistemaconstituinte e métodos descritos nos desenhos em anexo são preferivelmente implementa-dos em software, as conexões atuais entre o componente do sistema ou os blocos de fun-ção do processo podem diferir dependendo da maneira em que a presente invenção é pro-gramada. Dado os ensinamentos aqui, alguém de habilidade usual na técnica pertinentepoderá contemplar estas implementações ou configurações e similares da presente invenção.
Embora as modalidades ilustrativas tenham sido descritas aqui com referência aosdesenhos em anexo, é para ser entendido que a presente invenção não é limitada àquelasmodalidades precisas, e que várias alterações e modificações podem ser realizadas nelapor alguém de habilidade usual na técnica pertinente sem divergir do escopo ou espírito dapresente invenção. Todas tais alterações e modificações são intencionadas ser incluídasdentro do escopo da presente invenção como exposto nas reivindicações em anexo.

Claims (34)

1. Aparelho, CARACTERIZADO pelo fato de que compreende:um codificador (100) para codificar uma imagem codificada redundante que corres-ponde a uma imagem fonte selecionando blocos individuais na imagem fonte para inclusãona imagem codificada redundante.
2. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de queo dito codificador (100) seleciona os blocos individuais usando uma operação de encobri-mento de erro de decodificador que considera quando uma imagem primária que correspon-de à imagem codificada redundante está indisponível em um decodificador.
3. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de queo dito codificador (100) usa modo SKIP para indicar que um particular dos blocos individuaisnão está codificado na imagem codificada redundante.
4. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de queo dito codificador (100) é configurado para assegurar que o modo SKIP está proibido de usopara quaisquer dos blocos individuais codificados na imagem codificada redundante.
5. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de queo dito codificador (100) seleciona os blocos individuais com base em uma medida de distor-ção.
6. Aparelho, de acordo com a reivindicação 5, CARACTERIZADO pelo fato de quea medida de distorção é calculada usando diferença absoluta de pixel.
7. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de queo dito codificador (100) respectivamente seleciona os blocos individuais classificando cadaum dos pixéis em uma imagem de distorção quando distorcida quando uma respectiva me-dida de distorção entre um particular dos pixéis na imagem de distorção e um pixel corres-pondente na imagem fonte for maior que um primeiro limiar e respectivamente selecionandoquaisquer dos blocos individuais tendo um respectivo número de pixéis distorcidos maiorque um segundo limiar.
8. Aparelho, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de quea imagem de distorção representa uma diferença entre uma imagem reconstruída por codifi-cador e uma imagem reconstruída por decodificador formada usando uma operação de en-cobrimento de erro de decodificador.
9. Aparelho, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de quea imagem de distorção é calculada usando uma operação de encobrimento de decodificadoraplicada a uma imagem reconstruída por codificador que corresponde à imagem fonte eoutra imagem reconstruída por codificador que corresponde à outra imagem fonte imediata-mente precedendo a imagem fonte.
10. Aparelho, de acordo com a reivindicação 7, CARACTERIZADO pelo fato de quequaisquer dos blocos individuais tendo o respectivo número de pixéis distorcidos maior queo segundo limiar são classificados como distorcidos.
11. Aparelho, de acordo com a reivindicação 1, CARACTERIZADO pelo fato de quecada um dos blocos individuais tem um tamanho de bloco de 16x16.
12. Método, CARACTERIZADO pelo fato de que compreende:codificar uma imagem codificada redundante que corresponde a uma imagem fonteselecionando blocos individuais na imagem fonte para inclusão na imagem codificada re-dundante (345).
13. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de quea dita etapa de codificação seleciona os blocos individuais usando uma operação de enco-brimento de erro de decodificador que considera quando uma imagem primária que corres-ponde à imagem codificada redundante está indisponível em um decodificador (420).
14. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de quea dita etapa de codificação usa o modo SKIP para indicar que um particular dos blocos indi-viduais não está codificado na imagem codificada redundante (445).
15. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de quea dita etapa de codificação é configurada para assegurar que o modo SKIP está proibido deuso para quaisquer dos blocos individuais codificados na imagem codificada redundante(445).
16. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de quea dita etapa de codificação seleciona os blocos individuais com base em uma medida dedistorção (425).
17. Método, de acordo com a reivindicação 16, CARACTERIZADO pelo fato de quea medida de distorção é calculada usando diferença absoluta de pixel.
18. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de quea dita etapa de codificação respectivamente seleciona os blocos individuais classificandocada um dos pixéis em uma imagem de distorção como distorcidos quando uma respectivamedida de distorção entre um particular dos pixéis na imagem de distorção e um pixel cor-respondente na imagem fonte for maior que um primeiro limiar e respectivamente selecio-nando quaisquer dos blocos individuais tendo um respectivo número de pixéis distorcidosmaior que um segundo limiar (330, 340, 345).
19. Método, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de quea imagem de distorção representa uma diferença entre uma imagem reconstruída por codifi-cador e uma imagem reconstruída por decodificador formada usando uma operação de en-cobrimento de erro de decodificador.
20. Método, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de quea imagem de distorção é calculada usando uma operação de encobrimento de decodificadoraplicada a uma imagem reconstruída por codificador que corresponde à imagem fonte eoutra imagem reconstruída por codificador que corresponde à outra imagem fonte imediata-mente precedendo a imagem fonte.
21. Método, de acordo com a reivindicação 18, CARACTERIZADO pelo fato de quequaisquer dos blocos individuais tendo o respectivo número de pixéis distorcidos maior queo segundo limiar são classificados como distorcidos (340).
22. Método, de acordo com a reivindicação 12, CARACTERIZADO pelo fato de quecada um dos blocos individuais tem um tamanho de bloco de 16x16.
23. Estrutura de sinal de vídeo para codificação de vídeo, CARACTERIZADA pelofato de que compreende:uma imagem codificada redundante que corresponde a uma imagem fonte codifica-da selecionando blocos individuais na imagem fonte para inclusão na imagem codificadaredundante.
24. Meios de armazenamento tendo dados de sinal de vídeo neles codificados,CARACTERIZADOS pelo fato de que compreende:uma imagem codificada redundante que corresponde a uma imagem fonte codifica-da selecionando blocos individuais na imagem fonte para inclusão na imagem codificadaredundante.
25. Aparelho, CARACTERIZADO pelo fato de que compreende:um decodificador (200) para decodificar uma imagem codificada redundante quan-do uma imagem primária que corresponde à imagem codificada redundante estiver indispo-nível, formando uma imagem oculta com base em pelo menos uma imagem primária previ-amente codificada e uma imagem decodificada redundante com base na imagem codificadaredundante e combinando a imagem oculta e a imagem decodificada redundante para for-mar uma imagem reconstruída.
26. Aparelho, de acordo com a reivindicação 25, CARACTERIZADO pelo fato deque o dito decodificador (200) usa a imagem oculta para decodificar um bloco individualquando o bloco individual for codificado usando modo SKIP, e usa a imagem codificada re-dundante para decodificar o bloco individual quando o bloco individual for codificado usandoum modo não-SKIP.
27. Aparelho, de acordo com a reivindicação 26, CARACTERIZADO pelo fato deque a imagem oculta é formada usando cópia de estrutura.
28. Aparelho, de acordo com a reivindicação 26, CARACTERIZADO pelo fato deque a imagem oculta é formada usando cópia de movimento.
29. Aparelho, de acordo com a reivindicação 26, CARACTERIZADO pelo fato deque cada um dos blocos individuais tem um tamanho de bloco de 16x16.
30. Método, CARACTERIZADO pelo fato de que compreende:decodificar uma imagem codificada redundante quando uma imagem primária quecorresponde à imagem codificada redundante estiver indisponível, formando uma imagemoculta com base em pelo menos uma imagem primária previamente codificada e uma ima-gem decodificada redundante com base na imagem codificada redundante e combinando aimagem oculta e a imagem decodificada redundante para formar uma imagem reconstruída(530, 535, 545, 555, 560, 570).
31. Aparelho, de acordo com a reivindicação 30, CARACTERIZADO pelo fato deque a dita etapa de decodificação usa a imagem oculta para decodificar um bloco individualquando o bloco individual for codificado usando modo SKIP, e usa a imagem codificada re-dundante para decodificar o bloco individual quando o bloco individual for codificado usandoum modo não-SKIP (560, 570).
32. Aparelho, de acordo com a reivindicação 31, CARACTERIZADO pelo fato deque a imagem oculta é formada usando cópia de estrutura.
33. Aparelho, de acordo com a reivindicação 31, CARACTERIZADO pelo fato deque a imagem oculta é formada usando cópia de movimento.
34. Aparelho, de acordo com a reivindicação 31, CARACTERIZADO pelo fato deque cada um dos blocos individuais tem um tamanho de bloco de 16x16.
BRPI0710093-0A 2006-04-20 2007-02-27 método e aparelho para codificação de vìdeo redundante BRPI0710093A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US79353906P 2006-04-20 2006-04-20
US60/793.539 2006-04-20
PCT/US2007/005115 WO2007126517A2 (en) 2006-04-20 2007-02-27 Method and apparatus for redundant video coding

Publications (1)

Publication Number Publication Date
BRPI0710093A2 true BRPI0710093A2 (pt) 2011-08-02

Family

ID=38543698

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0710093-0A BRPI0710093A2 (pt) 2006-04-20 2007-02-27 método e aparelho para codificação de vìdeo redundante

Country Status (7)

Country Link
US (1) US9300956B2 (pt)
EP (1) EP2008468B1 (pt)
JP (2) JP5313880B2 (pt)
KR (1) KR101378079B1 (pt)
CN (1) CN101427582B (pt)
BR (1) BRPI0710093A2 (pt)
WO (1) WO2007126517A2 (pt)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
US9300956B2 (en) * 2006-04-20 2016-03-29 Thomson Licensing Method and apparatus for redundant video encoding
US9872045B2 (en) 2006-10-16 2018-01-16 Conversant Wireless Licensing S.A R.L. Method, electronic device, system, computer program product and circuit assembly for reducing error in video coding
FR2910211A1 (fr) * 2006-12-19 2008-06-20 Canon Kk Procedes et dispositifs pour re-synchroniser un flux video endommage.
CN101321284B (zh) * 2007-06-10 2012-01-04 华为技术有限公司 一种编解码方法、设备及系统
US8249142B2 (en) * 2008-04-24 2012-08-21 Motorola Mobility Llc Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques
EP2302845B1 (en) 2009-09-23 2012-06-20 Google, Inc. Method and device for determining a jitter buffer level
JP5368631B2 (ja) 2010-04-08 2013-12-18 株式会社東芝 画像符号化方法、装置、及びプログラム
US8630412B2 (en) 2010-08-25 2014-01-14 Motorola Mobility Llc Transport of partially encrypted media
US8477050B1 (en) 2010-09-16 2013-07-02 Google Inc. Apparatus and method for encoding using signal fragments for redundant transmission of data
US8751565B1 (en) 2011-02-08 2014-06-10 Google Inc. Components for web-based configurable pipeline media processing
US20120320993A1 (en) * 2011-06-14 2012-12-20 Google Inc. Apparatus and method for mitigating the effects of packet loss on digital video streams
US8819525B1 (en) 2012-06-14 2014-08-26 Google Inc. Error concealment guided robustness
EP2838268B1 (en) * 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
CN104754341B (zh) * 2013-12-31 2019-02-26 华为技术有限公司 一种视频数据编码、解码的方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480542B1 (en) * 1994-08-24 2002-11-12 Siemens Aktiengesellschaft Method for decoding compressed video data with a reduced memory requirement
US5724369A (en) * 1995-10-26 1998-03-03 Motorola Inc. Method and device for concealment and containment of errors in a macroblock-based video codec
CN1134174C (zh) * 2001-06-08 2004-01-07 清华大学 地面数字电视广播中的视频差错隐藏方法
US6910175B2 (en) * 2001-09-14 2005-06-21 Koninklijke Philips Electronics N.V. Encoder redundancy selection system and method
US6697290B2 (en) 2001-12-12 2004-02-24 Agilent Technologies, Inc. Apparatus for random access memory array self-repair
WO2004047062A2 (en) 2002-11-14 2004-06-03 Opentv, Inc. Positioning of images in a data stream
KR20050105271A (ko) * 2003-03-03 2005-11-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 인코딩
US7000155B2 (en) 2003-04-21 2006-02-14 International Business Machines Corporation Redundancy register architecture for soft-error tolerance and methods of making the same
US20040218669A1 (en) * 2003-04-30 2004-11-04 Nokia Corporation Picture coding method
TW200627967A (en) * 2004-07-15 2006-08-01 Qualcomm Inc Methods and apparatus for spatial error concealment
US9300956B2 (en) 2006-04-20 2016-03-29 Thomson Licensing Method and apparatus for redundant video encoding

Also Published As

Publication number Publication date
JP5313880B2 (ja) 2013-10-09
KR20090003305A (ko) 2009-01-09
JP5722943B2 (ja) 2015-05-27
KR101378079B1 (ko) 2014-03-28
US9300956B2 (en) 2016-03-29
JP2013176129A (ja) 2013-09-05
CN101427582A (zh) 2009-05-06
EP2008468B1 (en) 2012-06-13
WO2007126517A3 (en) 2008-05-22
US20090052543A1 (en) 2009-02-26
EP2008468A2 (en) 2008-12-31
CN101427582B (zh) 2013-10-23
JP2009534922A (ja) 2009-09-24
WO2007126517A2 (en) 2007-11-08

Similar Documents

Publication Publication Date Title
BRPI0710093A2 (pt) método e aparelho para codificação de vìdeo redundante
JP6691253B2 (ja) 高忠実度コーダにおいて低忠実度コーディングをエミュレートする方法およびデバイス
CN108028919B (zh) 一种视频或者图像编解码的方法及装置
JP7152516B2 (ja) 動画を復号する方法、装置、及びコンピュータプログラム
KR100878812B1 (ko) 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
EP2465267B1 (en) Method and apparatus for encoding and decoding image based on skip mode
US11050903B2 (en) Video encoding and decoding
BRPI0717936B1 (pt) Método e aparelhos para a filtragem de remoção de artefato em laço
BR112020024520A2 (pt) projeto e sinalização de filtro de malha adaptativo (alf) baseado em bloco
BR102013001124A2 (pt) Ocultação de múltiplos bits de sinal dentro de uma unidade transformada
CN105472371B (zh) 视频码流处理方法和装置
KR101631280B1 (ko) 스킵 모드에 기초한 영상을 복호화하는 방법 및 장치
GB2486901A (en) Video encoding and decoding with improved error resilience
KR20100122386A (ko) 영상 시퀀스에 인위적으로 삽입된 적어도 하나의 영상 프레임을 부호화/복호화하는 방법 및 장치
WO2021004420A1 (zh) 编码、解码方法、传输方法、编码、解码装置及系统
CN113938679A (zh) 图像类型的确定方法、装置、设备及存储介质
KR101710622B1 (ko) 스킵 모드에 따라 영상을 부호화, 복호화하는 방법 및 장치
KR100856215B1 (ko) 동영상 복호화시 프레임 손실의 은폐 방법 및 장치
WO2023055267A1 (en) Efficient transmission of decoding information
KR20040020306A (ko) 겹치는 사각 슬라이스 구조를 이용한 영상 부호화 및복호화 장치 및 방법

Legal Events

Date Code Title Description
B08F Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette]

Free format text: REFERENTE A 10A ANUIDADE.

B08K Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette]
B15K Others concerning applications: alteration of classification

Ipc: H04N 19/00 (2014.01), H04N 19/154 (2014.01), H04N